JP7254345B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

脳波等の生体情報を用いて機器を操作することが考えられる。

引用文献１には、使用者の脳波から脳波生体信号を検出し、使用者の表面筋電位から表面筋電位生体信号を検出し、両生体信号に基づいて制御信号を演算する装置が記載されている。

引用文献２には、使用者の脳波を取得し、その脳波を分析することで得られた分析結果に従って複数の被操作装置を選択的に操作する装置が記載されている。

特開２０１５－２１１７０５号公報 特開２０１６－６７９２２号公報

ところで、生体情報によって機器を正確に操作できるとは限らない。

本発明の目的は、生体情報を利用して機器を操作する場合において、機器の操作の精度を向上させることにある。

請求項１に係る発明は、プロセッサを有し、前記プロセッサは、機器に対してユーザが手動で操作したときに発せられる前記ユーザの音声の認識結果を示す情報、及び、前記ユーザの音声以外の生体情報が、前記機器に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、生体情報に基づいて前記機器を操作し、前記機器に対する手動の操作を示す手動操作情報と、前記機器の操作を音声で表す音声情報と、前記音声が発せられたときの前記ユーザの音声以外の生体情報とが予め紐付けられて管理情報に登録されており、前記機器に対して前記ユーザが手動で操作するときに測定された前記ユーザの音声の認識結果を示す情報と、前記管理情報に登録されている音声情報との差異が第１許容範囲内である場合に操作し、前記機器に対して前記ユーザが手動で操作したときに測定された前記ユーザの音声以外の生体情報と、前記管理情報に登録されている生体情報との差異が第２許容範囲内である場合、生体情報に基づいて前記機器を操作する、情報処理装置である。

請求項２に係る発明は、ユーザ毎に、手動操作情報と、音声情報と、生体情報とが紐付けられており、前記プロセッサは、ユーザ毎に音声を判別して、生体情報に基づいて前記機器を操作する、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記プロセッサは、前記ユーザの睡眠中は、音声情報と生体情報とを紐付ける処理を中止する、ことを特徴とする請求項１に記載の情報処理装置である。

請求項４に係る発明は、前記プロセッサは、前記ユーザの睡眠中は、生体情報による操作を中止する、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。

請求項５に係る発明は、予め定められた数以上のユーザの音声が測定された場合、前記プロセッサは、生体情報による操作を中止する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。

請求項６に係る発明は、前記プロセッサは、外部からの刺激を受けた前記ユーザから発生した前記生体情報に基づいて前記機器を操作する、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。

請求項７に係る発明は、前記外部からの刺激は、前記ユーザの会話相手の音声である、ことを特徴とする請求項６に記載の情報処理装置である。

請求項８に係る発明は、前記外部からの刺激は、匂いである、ことを特徴とする請求項６に記載の情報処理装置である。

請求項９に係る発明は、前記外部からの刺激は、温度である、ことを特徴とする請求項６に記載の情報処理装置である。

請求項１０に係る発明は、前記外部からの刺激は、前記ユーザが目視した状況である、ことを特徴とする請求項６に記載の情報処理装置である。

請求項１１に係る発明は、前記生体情報は脳波である、ことを特徴とする請求項１から請求項１０のいずれか一項に記載の情報処理装置である。

請求項１２に係る発明は、コンピュータに、機器に対してユーザが手動で操作したときに発せられる前記ユーザの音声の認識結果を示す情報、及び、前記ユーザの音声以外の生体情報が、前記機器に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、生体情報に基づいて前記機器を操作させ、前記機器に対する手動の操作を示す手動操作情報と、前記機器の操作を音声で表す音声情報と、前記音声が発せられたときの前記ユーザの音声以外の生体情報とが予め紐付けられて管理情報に登録されており、前記機器に対して前記ユーザが手動で操作するときに測定された前記ユーザの音声の認識結果を示す情報と、前記管理情報に登録されている音声情報との差異が第１許容範囲内である場合に操作させ、前記機器に対して前記ユーザが手動で操作したときに測定された前記ユーザの音声以外の生体情報と、前記管理情報に登録されている生体情報との差異が第２許容範囲内である場合、生体情報に基づいて前記機器を操作させる、プログラムである。

請求項１，１２に係る発明によれば、生体情報を利用して機器を操作する場合において、機器の操作の精度を向上させることができる。

請求項２に係る発明によれば、ユーザ毎の生体情報に基づいて機器を操作することができる。

請求項３に係る発明によれば、紐付ける必要のない音声情報と生体情報とが紐付けられることが防止される。

請求項４に係る発明によれば、ユーザの睡眠中に生体情報に基づいて機器が操作されることが防止される。

請求項５に係る発明によれば、ユーザの意図しない操作が行われることが防止される。

請求項６に係る発明によれば、外部からの刺激を受けたユーザから発生した生体情報に基づいて機器を操作することができる。

請求項７に係る発明によれば、会話相手の音声を受けたユーザから発生した生体情報に基づいて機器を操作することができる。

請求項８に係る発明によれば、匂いを嗅いだユーザから発生した生体情報に基づいて機器を操作することができる。

請求項９に係る発明によれば、温度を感じたユーザから発生した生体情報に基づいて機器を操作することができる。

請求項１０に係る発明によれば、ユーザが目視した状況に応じて当該ユーザから発生した生体情報に基づいて機器を操作することができる。

請求項１１に係る発明によれば、脳波に基づいて機器を操作することができる。

本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る情報処理装置の構成を示すブロック図である。 管理テーブルを示す図である。 管理テーブルを示す図である。

図１を参照して、本実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。

本実施形態に係る情報処理システムは、情報処理装置１０と、１又は複数の生体情報測定装置１２と、１又は複数のマイク１４と、１又は複数のカメラ１６と、１又は複数の臭気センサ１８と、１又は複数の温度センサ２０と、１又は複数の機器２２とを含む。なお、図１に示されている各装置及び各センサの数は一例に過ぎず、各装置及び各センサの数が、図１に示されている各装置及び各センサの数に限定されるものではない。また、情報処理システムは、図１に示されている装置以外の他の装置（例えばサーバ等の外部装置）を含んでもよい。

情報処理装置１０、生体情報測定装置１２、マイク１４、カメラ１６、臭気センサ１８、温度センサ２０、及び、機器２２は、他の装置や他のセンサ等と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置及び各センサは、他の装置や他のセンサ等とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤ（Radio Frequency Identifier）やＮＦＣ等である。各装置は、ＬＡＮ（Local Area Network）やインターネット等の通信経路を介して他の装置や他のセンサ等と通信してもよい。

情報処理装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン、携帯電話、又は、その他の装置である。情報処理装置１０は、ユーザが携帯することが可能な端末装置（例えば、タブレットＰＣやスマートフォンや携帯電話等）であってもよいし、テーブル等に設置されて使用される装置であってもよい。情報処理装置１０は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよい。情報処理装置１０は、屋内（例えば、部屋の床、天井、テーブル等）に設置されてもよいし、屋外に設置されてもよい。また、情報処理装置１０は、移動可能な装置（例えば自走式の装置）でもよい。

生体情報測定装置１２は、センサや電極等を有し、ユーザの生体情報を測定するように構成されている。複数の生体情報測定装置１２が情報処理システムに含まれている場合、各生体情報測定装置１２は、異なる種類の生体情報を測定してもよい。もちろん、すべての生体情報測定装置１２の中の一部又は全部は、同じ種類の生体情報を測定するように構成されてもよい。また、各生体情報測定装置１２は、１つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。

生体情報測定装置１２は、自装置で測定した生体情報を情報処理装置１０に送信する。生体情報測定装置１２は、生体情報を測定する度に生体情報を情報処理装置１０に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置１０に送信してもよいし、ユーザが指定したタイミングで生体情報を情報処理装置１０に送信してもよい。また、生体情報測定装置１２は、他の生体情報測定装置１２が測定した生体情報を当該他の生体情報測定装置１２から受信し、自装置が測定した生体情報と当該他の生体情報測定装置１２が測定した生体情報とを情報処理装置１０に送信してもよい。

生体情報測定装置１２は、自装置又は他の生体情報測定装置が測定した生体情報を分析し、その分析結果を示す情報を情報処理装置１０に送信してもよい。例えば、生体情報測定装置１２はプロセッサを含み、当該プロセッサが生体情報を分析してもよい。もちろん、その分析は情報処理装置１０にて行われてもよい。

生体情報測定装置１２は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、情報処理装置１０から電力の供給を受けて駆動してもよい。

生体情報測定装置１２は、生体情報測定装置１２全体がユーザに装着されて生体情報を測定するウェアラブル装置であってもよい。例えば、生体情報測定装置１２は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置（例えば腕時計型の装置等）であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。

生体情報は、生体であるユーザから発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報（例えば、脳波、脳の血流量、脳磁場信号等）、脈拍数、血圧、心拍数、心電波形、筋電波形、眼球運動、体温、発汗量、視線、音声、及び、ユーザの動き等が含まれる。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置１２は、これらの生体情報の中の１つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。

情報処理装置１０は、生体情報測定装置１２から生体情報を受けて、生体情報の分析、生体情報の記憶、生体情報の出力、生体情報の分析結果を示す情報の記憶、及び、生体情報の分析結果を示す情報の出力等を行う。もちろん、生体情報の分析は生体情報測定装置１２によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の分析結果を示す情報を出力することは、例えば、分析結果を示す情報を表示することや、分析結果を音声情報として出力すること等である。情報処理装置１０は、生体情報や分析結果を示す情報を他の装置に送信してよい。

情報処理装置１０は、１又は複数の生体情報測定装置１２を含んでもよい。つまり、１又は複数の生体情報測定装置１２は、情報処理装置１０に組み込まれて、１つの装置が構成されてもよい。１又は複数の生体情報測定装置１２を含む情報処理装置１０全体が、ユーザに装着されて生体情報を測定してもよい。つまり、情報処理装置１０はウェアラブル装置であってもよい。例えば、情報処理装置１０は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置（例えば腕時計型の装置）であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。

もちろん、情報処理装置１０と生体情報測定装置１２は、別々の装置であってもよい。例えば、情報処理装置１０はスマートスピーカであり、生体情報測定装置１２は、ユーザに装着されるウェアラブル装置であってもよい。

マイク１４は、音波を集める装置である。マイク１４の周囲の音（例えば、人の音声やその他の音）がマイク１４に入力されて、マイク１４によって音データが生成される。マイク１４に入力された音を表す音データは、マイク１４の周囲の環境を示す環境情報の一例に相当する。その意味で、マイク１４は、環境情報測定装置の一例に相当する。また、マイク１４に入力されたユーザの音声を表す音データは、当該ユーザの生体情報の一例に相当する。その意味で、マイク１４は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。

カメラ１６は、撮影装置である。情報処理装置１０の周囲やその他の場所がカメラ１６によって撮影されて、当該周囲を表す画像データやその他の場所を表す画像データが生成される。当該画像データは、動画像データであってもよいし、静止画像データであってもよい。カメラ１６によって撮影された画像データは、カメラ１６の撮影範囲に含まれている環境を示す環境情報の一例に相当する。その意味で、カメラ１６は、環境情報測定装置の一例に相当する。また、カメラ１６によってユーザが撮影されることで生成された、当該ユーザを表す画像データは、当該ユーザの生体情報の一例に相当する。例えば、当該画像データから検知される当該ユーザの動きや当該ユーザの体型等は、当該ユーザの生体情報の一例に相当する。その意味で、カメラ１６は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。

臭気センサ１８は、臭気センサ１８の周囲の匂いを測定し、測定した匂いを表す臭気データを生成する装置である。臭気センサ１８によって測定された匂いを表す臭気データは、臭気センサ１８の周囲の環境を示す環境情報の一例に相当する。その意味で、臭気センサ１８は、環境情報測定装置の一例に相当する。また、臭気センサ１８によって測定されたユーザの匂いを表す臭気データは、当該ユーザの生体情報の一例に相当する。その意味で、臭気センサ１８は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。

温度センサ２０は、温度センサ２０の周囲の温度を測定し、測定した温度を表す温度データを生成する装置である。温度センサ２０によって測定された温度を表す温度データは、温度センサ２０の周囲の環境を示す環境情報の一例に相当する。その意味で、温度センサ２０は、環境情報測定装置の一例に相当する。また、温度センサ２０によって測定されたユーザの温度を表す温度データは、当該ユーザの生体情報の一例に相当する。その意味で、温度センサ２０は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。

なお、カメラ１６、臭気センサ１８及び温度センサ２０は、情報処理システムに含まれなくてもよいし、これらの中の少なくとも１つが情報処理システムに含まれもよい。これら以外の環境情報測定装置（例えば、湿度センサや照度センサや気圧センサや赤外線センサ等）が、情報処理システムに含まれてもよい。１又は複数の環境情報測定装置が、情報処理装置１０に含まれてもよい。例えば、カメラ１６が情報処理装置１０に含まれてもよい。また、マイク１４が情報処理装置１０に含まれてもよい。

機器２２は、例えば、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（例えばドローン））、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器２２の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器２２の範疇に含まれてもよい。

以下、情報処理装置１０の構成について詳しく説明する。

情報処理装置１０は、例えば、通信装置２４と、ＵＩ２６と、記憶装置２８と、プロセッサ３０とを含む。情報処理装置１０は、これら以外の構成を含んでもよい。

通信装置２４は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置２４は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置２４は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、ＬＡＮやインターネット等の通信経路を介して他の装置と通信してもよい。通信装置２４は、生体情報測定装置１２と通信することで、生体情報測定装置１２から送信されてきた生体情報を受信する。通信装置２４は、生体情報測定装置１２の動作を制御するための制御情報を生体情報測定装置１２に送信してもよい。また、通信装置２４は、環境情報測定装置と通信することで、環境情報測定装置から送信されてきた環境情報を受信する。通信装置２４は、環境情報測定装置の動作を制御するための制御情報を環境情報測定装置に送信してもよい。

ＵＩ２６はユーザインターフェースであり、表示装置と操作装置とを含む。表示装置は、液晶ディスプレイやＥＬディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ２６は、表示装置と操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、マイクがＵＩ２６に含まれてもよいし、音を発するスピーカがＵＩ２６に含まれてもよい。

記憶装置２８は、各種のデータを記憶する１又は複数の記憶領域を構成する装置である。記憶装置２８は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数の記憶装置２８が情報処理装置１０に含まれている。

記憶装置２８には、管理情報が記憶されている。管理情報は、機器２２を操作するための生体情報を管理するための情報である。例えば、機器２２の操作毎に、機器２２に対する手動の操作を示す手動操作情報と、当該機器２２の操作を音声で表す音声情報と、当該音声が発せられたときの音声以外の生体情報と、当該機器２２の操作を示す制御情報とが、予め紐付けられて管理情報に登録されている。ユーザ毎に、手動操作情報と、音声情報と、音声以外の生体情報と、制御情報とが紐付けられて管理情報に登録されてもよい。

プロセッサ３０は、ユーザの生体情報に基づいて機器２２を操作するように構成されている。例えば、機器２２に対してユーザが手動で操作したときに発せられた当該ユーザの音声の認識結果、及び、音声以外の当該ユーザの生体情報が、当該機器２２に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、プロセッサ３０は、当該ユーザの生体情報に基づいて当該機器２２を操作する。それ以降の操作においては、プロセッサ３０は、ユーザの音声と、音声以外の当該ユーザの生体情報との組み合わせに基づいて、機器２２を操作してもよいし、音声以外のユーザの生体情報に基づいて、機器２２を操作してもよい。例えば、プロセッサ３０は、制御情報に従って当該機器２２を操作する。

機器２２に対してユーザが手動で操作したときに発せされた当該ユーザの音声は、マイク１４によって測定され、そのときの当該ユーザの生体情報は、生体情報測定装置１２によって測定される。

また、プロセッサ３０は、カメラ１６によって撮影された画像データを解析することで、ユーザによって手動で操作された機器２２と当該操作の内容とを認識してもよいし、各機器２２と通信することで、ユーザによって手動で操作された機器２２と当該操作の内容とを認識してもよい。例えば、機器２２は、自装置がユーザによって操作されると、自装置がユーザによって操作されたことを示す情報と、当該操作の内容を示す情報と、自装置を識別するための情報とを含む通知情報を、情報処理装置１０に送信する。プロセッサ３０は、機器２２から送信されてきた通知情報に基づいて、ユーザによって手動で操作された機器２２と当該操作の内容とを認識する。

プロセッサ３０は、例えば、ユーザの音声の波形、及び、音声以外の生体情報を表す波形に基づいて、ユーザの音声の認識結果、及び、音声以外の当該ユーザの生体情報が、手動操作情報の許容範囲に含まれるか否かを判断する。例えば、その判断のための要素として、波形の形状、ピーク、周期又は振幅等の、波形の特徴が用いられる。また、プロセッサ３０は、音声の認識結果からユーザの発言の意味内容を把握し、その意味内容が、手動操作情報の許容範囲に含まれるか否かを判断してもよい。

機器２２に対してユーザが手動で操作したときに発せられた当該ユーザの音声の認識結果、及び、音声以外の当該ユーザの生体情報が、当該機器２２に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合とは、例えば、当該機器２２に対して当該ユーザが手動で操作したときに測定された当該ユーザの音声の認識結果と、管理情報に登録されている音声情報との差異が第１許容範囲内であり、当該機器２２に対して当該ユーザが手動で操作したときに測定された当該ユーザの音声以外の生体情報と、管理情報に登録されている生体情報との差異が第２許容範囲内になる場合である。第１許容範囲及び第２許容範囲は、予め定められた値であり、ユーザ等によって変更されてもよい。

つまり、機器２２に対してユーザが手動で操作したときに測定された当該ユーザの音声の認識結果と、管理情報に登録されている音声情報との差異が第１許容範囲内であり、当該機器２２に対して当該ユーザが手動で操作したときに測定された当該ユーザの音声以外の生体情報と、管理情報に登録されている生体情報との差異が第２許容範囲内である場合、それ以降の操作においては、プロセッサ３０は、当該ユーザの生体情報に基づいて当該機器２２を操作する。

機器２２に対してユーザが手動で操作したときとは、機器２２に対して手動で操作が行われたその時点であってもよいし、手動で操作が行われた時点を含む期間であってもよい。手動で操作が行われた時点を含む期間は、手動で操作が行われた時点よりも後の期間を含む期間であってもよいし、手動で操作が行われた時点よりも前の期間を含む期間であってもよいし、手動で操作が行われた時点の前後の期間を含む期間であってもよい。手動で操作が行われた時点よりも後の期間を含む期間は、手動で操作が行われた時点から予め定められた時間が経過するまでの期間である。手動で操作が行われた時間よりも前の期間を含む期間は、手動で操作が行われた時点よりも前の予め定められた時点から手動で操作が行われた時点までの期間である。手動で操作が行われた時点の前後の期間を含む期間は、手動で操作が行われた時点よりも後の期間と、手動で操作が行われた時点よりも前の期間の両方を含む期間である。つまり、プロセッサ３０は、手動で操作が行われたその時点で測定された音声及び他の生体情報、手動で操作が行われた時点よりも後の期間を含む期間に測定された音声及び他の生体情報、手動で操作が行われた時点よりも前の期間を含む期間に測定された音声及び他の生体情報、又は、手動で操作が行われた時点の前後の期間を含む期間に測定された音声及び他の生体情報が、手動操作情報の許容範囲に含まれるか否かを判断する。その判断に用いられる音声及び他の生体情報が測定された時点又は期間は、ユーザによって定められてもよいし、予め定められてもよい。

手動で行われる操作の内容が複数の操作を含む場合、当該複数の操作に含まれる最初の操作が行われた時点が、手動で操作が行われた時点であってもよいし、当該複数の操作に含まれる途中の操作が行われた時点が、手動で操作が行われた時点であってもよいし、当該複数の操作に含まれる最後の操作が行われた時点が、手動で操作が行われた時点であってもよい。例えば、エアコンの設定温度を変更するボタンを連続的に押して設定温度を変える場合等のように、同一の操作が手動で連続的に行われる場合、連続的な操作の最初の時点（例えば連続的に操作される同一のボタンが押された最初の時点）、連続的な操作の途中の時点（例えば連続的に操作される同一のボタンが押されている途中の時点）、又は、連続的な操作の最後の時点（例えば連続的に操作される同一のボタンが押された最後の時点）のいずれかが、手動で操作が行われた時点として定められる。また、複数の異なるボタンを連続的に押す場合等のように、複数の異なる操作が手動で連続的に行われる場合も同様に、連続的な操作の最初の時点（例えば複数の異なるボタンの中の最初のボタンが押された時点）、連続的な操作の途中の時点（例えば複数の異なるボタンの中の途中のボタン（最初と最後のボタン以外のボタン）が押された時点）、又は、連続的な操作の最後の時点（例えば複数の異なるボタンの中の最後のボタンが押された時点）のいずれかが、手動で操作が行われる時点として定められる。その時点は、ユーザによって定められてもよいし、予め定められてもよい。

ユーザの音声を認識する処理は、プロセッサ３０によって行われてもよいし、サーバ等の外部装置によって行われてもよい。音声を認識する処理として、例えば公知技術が用いられる。また、音声を認識する処理が、人工知能によって行われてもよい。

ユーザ毎に、手動操作情報と、音声情報と、音声以外の生体情報と、制御情報とが紐付けられて管理情報に登録されている場合、プロセッサ３０は、ユーザ毎に音声を判別して、生体情報に基づいて機器２２を操作してもよい。

例えば、脳の活動を測定する生体情報測定装置１２と情報処理装置１０とによって、ブレイン・マシン・インターフェースが構築されてもよい。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ３０は、ユーザの脳の活動（例えば脳波等）に基づいて機器２２を操作する。プロセッサ３０は、機器２２を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて機器２２を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や、ウェーブレット変換（ＷＴ：Wavelet Transform）、ＴＦＤ（Time Frequency Distribution）、ＥＭ（Eigenvector Methods）、自己回帰モデル（ＡＲＭ：Auto Regressive Method）等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と機器２２の操作とを結び付ける方法として、例えば、独立成分分析（ＩＣＡ：Independent Component Analysis）、ｋ平均法、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、畳み込みニューラルネットワーク等が用いられてもよい。

また、プロセッサ３０は、情報処理装置１０の各部の動作を制御するように構成されている。プロセッサ３０は、メモリを含んでもよい。

以下、具体例を挙げて、本実施形態に係る情報処理システムについて詳しく説明する。

図３には、管理情報の一例である管理テーブルの一例が示されている。管理テーブルのデータは、記憶装置２８に記憶されている。なお、管理テーブルのデータは、記憶装置２８に記憶されずに、サーバ等の外部装置に記憶されてもよい。

管理テーブルにおいては、機器２２の操作毎に、ＩＤと、機器情報と、手動操作情報と、音声情報と、音声以外の生体情報の一例である脳波と、制御情報とが予め紐付けられている。図３に示されている管理テーブルは、個々のユーザの具体的な生体情報が反映された管理テーブルではなく、予め作成されたデフォルトの管理テーブルである。ここでは、音声以外の生体情報として脳波が用いられているが、音声以外の生体情報であれば、脳波以外の生体情報が用いられてもよい。

ＩＤは、機器２２の操作を管理するための情報である。機器情報は、操作される機器２２を識別するための情報であり、例えば、当該機器２２の名称、機器ＩＤ又は型番等である。手動操作情報は、当該機器２２に対するユーザの手動の操作を示す情報である。音声情報は、当該機器２２の当該操作を音声で表す情報である。音声情報は、当該機器２２の当該操作を音声で表す音声データ（例えば、当該音声を表す波形）そのものであってもよいし、当該音声の認識結果を示す情報であってもよい。当該音声の認識結果を示す情報は、当該音声を文字列で表す情報であってもよいし、当該音声の特徴を表す情報であってもよいし、当該音声が表す意味内容を示す情報であってもよい。具体的には、音声情報は、当該機器２２に対してユーザが、当該手動操作情報が示す操作を手動で行うときに、当該ユーザから発せられると想定される音声を表す情報である。脳波は、当該機器２２に対する当該操作を表す生体情報である。具体的には、脳波は、当該機器２２に対して当該操作が行われるときに当該ユーザから発せられると想定される生体情報である。なお、脳波そのもの（つまり波形）が、管理テーブルに登録されずに、脳波を分析することで特定された操作を示す情報が、管理テーブルに登録されてもよい。制御情報は、当該機器２２の操作を示す情報である。

以下、具体例を挙げて説明する。

ＩＤ「１」に紐付けられている情報は、機器２２の一例である「エアコンα」の操作に関する情報である。

ＩＤ「１」に紐付けられている手動操作情報は、「「エアコンα」の電源がオフのときに電源ボタンを押す」という手動の操作を示す情報である。「エアコンα」の電源がオフのときに「エアコンα」の電源をオンする場合、ユーザは「エアコンα」の電源ボタンをオンすることが想定される。この手動操作情報は、その手動の操作を示す情報である。「エアコンα」の電源ボタンは、例えば、「エアコンα」を操作するためのリモコン等に設けられている。

ＩＤ「１」に紐付けられている音声情報は、「スイッチオン」という音声を表す情報である。この音声情報は、「スイッチオン」という音声を表す音声データ（例えば、当該音声を表す波形）そのものであってもよいし、文字列「スイッチオン」を示す情報であってもよい。「スイッチオン」という音声を表す音声情報は、「エアコンα」の電源がオフの場合においてユーザが電源ボタンを押すときに当該ユーザから発せられると想定される音声を表す情報である。つまり、「エアコンα」の電源がオフの場合においてユーザが電源ボタンを押すときに、当該ユーザは「スイッチオン」を表す音声を発すると想定される。

ＩＤ「１」に紐付けられている脳波は、「エアコンα」の電源をオンするという操作を表す脳波である。具体的には、この脳波は、「エアコンα」の電源がオフの場合においてユーザが電源をオンするときに当該ユーザから発せられると想定される脳波である。つまり、「エアコンα」の電源がオフの場合においてユーザが電源をオンするときに、当該ユーザから、ＩＤ「１」に紐付けられている脳波が発せられると想定される。

ＩＤ「１」に紐付けられている制御情報は、「エアコンα」の電源をオンするという操作を示す情報である。

例えば、「エアコンα」の電源がオフのときに、ユーザが、音声を発しながら「エアコンα」の電源ボタンを押したものとする。その音声は、マイク１４によって測定される。また、当該ユーザが音声を発しながら「エアコンα」の電源ボタンを押したときに当該ユーザから発せられた脳波が、生体情報測定装置１２によって測定される。

「エアコンα」の電源がオフのときに「エアコンα」の電源ボタンを押すという操作は、ＩＤ「１」の操作である。例えば、機器２２である「エアコンα」は、ユーザによって手動で操作されると、自装置がユーザによって手動で操作されたことを示す情報と、当該操作の内容（例えば電源をオンする操作）を示す情報と、自装置である「エアコンα」を識別するための情報とを含む通知情報を、情報処理装置１０に送信する。プロセッサ３０は、「エアコンα」から送信されてきた通知情報に基づいて、「エアコンα」がユーザによって手動で操作されたことを認識し、更に、その操作の内容が電源をオンすることであることを認識する。つまり、プロセッサ３０は、ＩＤ「１」の操作が行われたことを認識する。また、ユーザが「エアコンα」のリモコン等を用いて電源をオンする操作の様子が、カメラ１６によって撮影されている場合、プロセッサ３０は、その撮影によって生成された画像データを解析することで、「エアコンα」がユーザによって操作されたことを認識し、更に、その操作の内容が電源をオンすることであることを認識してもよい。

「エアコンα」の電源ボタンを押したときにユーザが発した音声の認識結果が「スイッチオン」である場合、当該音声の認識結果は、ＩＤ「１」に紐付けられている音声情報と一致する。また、そのときに測定された脳波が、ＩＤ「１」に紐付けられている脳波と一致する場合、それ以降の操作においては、プロセッサ３０は、ユーザの音声と脳波との組み合わせに基づいて「エアコンα」を操作してもよいし、ユーザの脳波に基づいて「エアコンα」を操作してもよい。

機器２２を操作するときにユーザが発した音声の内容には、ユーザの意図が正確に反映されていると推測される。つまり、ユーザ自身が機器２２を操作するときに、ユーザはわざわざ嘘をつくことはないと考えられるため、機器２２を操作するときにユーザが発した音声の内容は、ユーザの意図が正確に反映されていると想定される。例えば、ユーザが手動で電源をオンするときに、ユーザは、その操作の内容に反する発言（例えば「オフ」という発言）をすることは考えられない。従って、機器２２を操作するときにユーザが発した音声の内容には、ユーザの意図が正確に反映されており、また、そのときにユーザが発した、音声以外の生体情報（例えば脳波）にも、ユーザの意図が正確に反映されていると推測される。従って、音声を用いることで、機器２２に対する操作の精度を向上させることができる。

例えば、それ以降の操作においては、「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられている脳波がユーザから測定され、ＩＤ「１」に紐付けられている音声情報が表す音声がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンする。例えば、プロセッサ３０は、電源のオンを指示する制御情報を「エアコンα」に送信することで、「エアコンα」の電源をオンにする。ユーザから測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が許容範囲内であり、ユーザから測定された音声と、ＩＤ「１」に紐付けられている音声情報が表す音声との差異が許容範囲内である場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。機器２２を操作するときに、その操作を表す音声を発することで、音声を発しない場合と比較して、脳波にその操作が反映され易いと推測される。従って、機器２２を操作するときに、その操作を表す音声を発することで、音声を発しない場合と比較して、機器２２に対する操作の精度を向上させることができる。

別の例として、それ以降の操作においては、「エアコンα」の電源がオフとのときに、ＩＤ「１」に紐付けられている脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。ユーザから測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が許容範囲内である場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。

「エアコンα」の電源ボタンを押したときにユーザが発した音声の認識結果と、ＩＤ「１」に紐付けられている音声情報「スイッチオン」との差異が第１許容範囲内であり、そのときに測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内である場合、それ以降の操作においては、プロセッサ３０は、ユーザの音声と脳波との組み合わせに基づいて「エアコンα」の電源をオンする操作を行ってもよいし、ユーザの脳波に基づいて「エアコンα」の電源をオンする操作を行ってもよい。

例えば、「エアコンα」の電源ボタンを押したときにユーザが発した音声の認識結果が「オン」である場合、その認識結果「オン」は、ＩＤ「１」に紐付けられている音声情報「スイッチオン」とは異なる。この場合、プロセッサ３０は、その認識結果「オン」と、ＩＤ「１」に紐付けられている音声情報「スイッチオン」との差異が第１許容範囲内であるか否かを判断する。プロセッサ３０は、例えば、音声の認識結果である、当該音声を表す文字列「オン」と、ＩＤ「１」に紐付けられている音声情報「スイッチオン」を表す文字列「スイッチオン」とを比較し、これらの文字列の差異が第１許容範囲内であるか否かを判断する。プロセッサ３０は、例えば、各文字列を解析することで各文字列が表す意味内容を認識し、それらの意味内容の差異が第１許容範囲内であるか否かを判断してもよい。プロセッサ３０は、例えば、自然言語処理、形態要素解析、構文解析、及び、統計的自然言語処理等を用いることで文字列を解析してもよい。また、人工知能によって、文字列の解析や、音声の認識結果の比較等が行われてもよい。ユーザが発した音声の認識結果「オン」は、電源をオンする等の意味を有するため、ここでは一例として、プロセッサ３０は、音声の認識結果「オン」と、ＩＤ「１」に紐付けられている音声情報「スイッチオン」との差異は、第１許容範囲内であると判断する。

別の例として、プロセッサ３０は、ユーザが発した音声の認識結果である、当該音声の波形と、ＩＤ「１」に紐付けられている音声情報が示す波形とを比較してもよい。具体的には、プロセッサ３０は、各波形から、波形の形状、ピーク、周期及び振幅等の特徴を抽出し、両波形の特徴を比較し、両波形の特徴の差異が第１許容範囲内であるか否かを判断してもよい。

また、プロセッサ３０は、両波形の間の類似度を算出し、その類似度が第１閾値以上であるか否かを判断してもよい。第１閾値は、第１許容範囲に対応する閾値である。両波形の間の類似度が第１閾値以上である場合、プロセッサ３０は、両波形は類似していると判断し、ユーザが発した音声の認識結果と、ＩＤ「１」に紐付けられている音声情報との差異が第１許容範囲内であると判断する。なお、波形の類似度を算出するために、公知の技術が用いられてもよい。

また、「エアコンα」の電源ボタンを押したときにユーザから測定された脳波が、ＩＤ「１」に紐付けられている脳波と異なる場合、プロセッサ３０は、その測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内であるか否かを判断する。具体的には、プロセッサ３０は、ユーザから測定された脳波とＩＤ「１」に紐付けられている脳波のそれぞれから、脳波の形状、ピーク、周期及び振幅等の特徴を抽出し、各波形の特徴を比較し、両波形の特徴の差異が第２許容範囲内であるか否かを判断する。

また、プロセッサ３０は、両波形の間の類似度を算出し、その類似度が第２閾値以上であるか否かを判断してもよい。第２閾値は、第２許容範囲に対応する閾値である。両波形の間の類似度が第２閾値以上である場合、プロセッサ３０は、両波形は類似していると判断し、ユーザから測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内であると判断する。

ユーザが発した音声の認識結果と、ＩＤ「１」に紐付けられている音声情報との差異が第１許容範囲内であり、ユーザから測定された脳波と、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内である場合、それ以降の操作においては、プロセッサ３０は、ユーザの音声と脳波との組み合わせに基づいて「エアコンα」の電源をオンする操作を行ってもよいし、ユーザの脳波に基づいて「エアコンα」の電源をオンする操作を行ってもよい。

例えば、それ以降の操作においては、「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられている音声情報が表す音声との差異が第１許容範囲内となる音声がユーザから測定され、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内となる脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンする。

別の例として、それ以降の操作においては、「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内となる脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンする。

ＩＤ「１」の操作以外の他の操作についても、ＩＤ「１」についての操作と同様に、ユーザの音声の認識結果と脳波が、手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、音声と脳波との組み合わせに基づいて、又は、脳波に基づいて、当該操作が行われる。

また、ユーザの音声と脳波との組み合わせに基づいて機器２２が操作され、その操作の回数が閾値以上になった場合、プロセッサ３０は、それ以降の操作においては、ユーザの脳波のみに基づいて機器２２を操作してもよい。別の例として、ユーザの音声と脳波との組み合わせに基づく操作の成功率が閾値以上になった場合、プロセッサ３０は、それ以降の操作においては、ユーザの脳波のみに基づいて機器２２を操作してもよい。

このように、プロセッサ３０は、機器２２を操作するために用いられる情報を段階的に減らしてもよい。具体的には、第１段階においては、プロセッサ３０は、ユーザによる手動の操作と、音声と、音声以外の生体情報（例えば脳波）との組み合わせに基づいて、機器２２を操作する。第２段階においては、プロセッサ３０は、ユーザの音声と音声以外の生体情報との組み合わせに基づいて、機器２２を操作する。第３段階においては、プロセッサ３０は、音声以外のユーザの生体情報に基づいて、機器２２を操作する。第１段階での操作の成功率が閾値以上になった場合、第２段階での操作が行われ、第２段階での操作の成功率が閾値以上になった場合、第３段階での操作が行われてもよい。

なお、ユーザが機器２２を手動で操作するときに、ユーザは、操作される機器２２を識別するための機器情報を表す音声を発してもよい。その音声はマイク１４によって測定され、プロセッサ３０は、当該音声を解析することで、操作される機器２２を特定する。そして、プロセッサ３０は、管理テーブルにおいて、操作される機器２２を検索し、その機器２２についての操作を制御する。例えば、ユーザが、「エアコンα」の電源がオフのときに「エアコンα」の電源ボタンを押しながら「エアコンα」を表す音声を発した場合、プロセッサ３０は、その音声に基づいて、操作される機器２２が、「エアコンα」であることを特定する。「エアコンα」の電源がオフのときに「エアコンα」の電源ボタンを押すという操作は、ＩＤ「１」に紐付けられている操作であるため、プロセッサ３０は、ユーザの音声の認識結果と脳波が、ＩＤ「１」に紐付けられている手動操作情報の許容範囲に含まれるか否かを判断する。

また、ユーザが脳波に基づいて機器２２を操作するときに、ユーザは、操作される機器２２を識別するための機器情報を表す音声を発してもよい。プロセッサ３０は、当該音声を解析することで、脳波によって操作される機器２２を特定する。そして、プロセッサ３０は、管理テーブルにおいて、脳波によって操作される機器２２を検索し、その機器２２に紐付けられている脳波と、ユーザから測定された脳波とを比較する。両脳波の差異が第２許容範囲内である場合、プロセッサ３０は、その機器２２に紐付けられている脳波に紐付けられている制御情報に従って、当該機器２２を操作する。例えば、ユーザが、脳波によって「エアコンα」をオンにするときに、「エアコンα」を表す音声を発した場合、プロセッサ３０は、その音声に基づいて、脳波によって測定される機器２２が、「エアコンα」であることを特定する。図３に示す例では、「エアコンα」についての操作は、ＩＤ「１」に紐付けられた操作と、ＩＤ「２」に紐付けられた操作が、管理テーブルに登録されている。プロセッサ３０は、ＩＤ「１」及びＩＤ「２」のそれぞれに紐付けられている脳波と、ユーザから測定された脳波とを比較する。ＩＤ「１」に紐付けられている脳波と、ユーザから測定された脳波との差異が、第２許容範囲内であり、ＩＤ「２」に紐付けられている脳波と、ユーザから測定された脳波との差異が、第２許容範囲内ではない場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」を操作する。この場合、プロセッサ３０は、「エアコンα」の電源をオンにする。一方、ＩＤ「１」に紐付けられている脳波と、ユーザから測定された脳波との差異が、第２許容範囲内ではなく、ＩＤ「２」に紐付けられている脳波と、ユーザから測定された脳波との差異が、第２許容範囲内である場合、プロセッサ３０は、ＩＤ「２」に紐付けられている制御情報に従って、「エアコンα」を操作する。この場合、プロセッサ３０は、「エアコンα」の電源をオフにする。

また、ユーザ毎に、手動操作情報と、音声情報と、脳波と、制御情報とが紐付けられて管理テーブルに登録されてもよい。具体的には、個々のユーザの具体的な脳波が管理テーブルに登録されてもよい。

図４には、個々のユーザの具体的な脳波が登録されている管理テーブルが示されている。図４に示されている管理テーブルにおいては、機器２２の操作毎に、ＩＤと、機器情報と、手動操作情報と、音声情報と、音声以外の生体情報の一例である脳波と、制御情報と、ユーザ情報とが紐付けられている。同じ操作に関して、各ユーザの脳波が、管理テーブルに登録されている。ユーザ情報は、ユーザを識別するための情報（例えば、ユーザ名やユーザＩＤ等）である。なお、ユーザ情報は、管理テーブルに登録されていなくてもよい。

例えば、ユーザＡが、「エアコンα」の電源がオフのときに「エアコンα」の電源ボタンを押しながら、「スイッチオン」を表す音声を発したものとする。このようにユーザＡによって「エアコンα」が操作されると、「エアコンα」は、自装置がユーザによって手動で操作されたことを示す情報と、当該操作の内容（例えば、電源がオフのときに電源ボタンを押して電源をオンする操作）を示す情報と、自装置である「エアコンα」を識別するための情報とを含む通知情報を、情報処理装置１０に送信する。プロセッサ３０は、「エアコンα」から送信されてきた通知情報に基づいて、「エアコンα」がユーザによって操作されたことを認識し、更に、その操作の内容が、電源がオフのときに電源ボタンを押して電源をオンすることであることを認識する。また、ユーザＡが「エアコンα」のリモコン等を用いて電源をオンする操作の様子が、カメラ１６によって撮影されている場合、プロセッサ３０は、その撮影によって生成された画像データを解析することで、「エアコンα」がユーザによって操作されたことを認識し、更に、その操作の内容が、電源がオフのときに電源ボタンを押して電源をオンすることであることを認識してもよい。

「スイッチオン」を表す音声はマイク１４によって測定される。また、ユーザＡが当該音声を発しながら「エアコンα」の電源ボタンを押したときにユーザＡから発せられた脳波が、生体情報測定装置１２によって測定される。

プロセッサ３０は、ユーザによって操作された機器２２である「エアコンα」を識別するための機器情報と、電源がオフのときに電源ボタンを押すことを示す手動操作情報と、マイク１４によって測定された音声「スイッチオン」を示す音声情報と、生体情報測定装置１２によって測定された脳波と、電源をオンする操作を示す制御情報とを紐付けて、管理テーブルに登録する。その登録される脳波は、ユーザＡから測定された脳波である。また、音声情報は、音声を表す音声データそのものであってもよいし、当該音声の認識結果を示す情報であってもよい。音声データは、ユーザＡの音声を表すデータである。図４に示す例では、これらの情報は、ＩＤ「１」に紐付けられて管理テーブルに登録される。ＩＤ「１」に紐付けられている脳波は、ユーザＡから測定された脳波である。

各情報が管理テーブルに登録された後、プロセッサ３０は、ユーザの音声と脳波との組み合わせに基づいて、又は、ユーザの脳波に基づいて、「エアコンα」を操作する。具体的には、「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられている音声情報が表す音声がユーザから測定され、ＩＤ「１」に紐付けられている脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンする。「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられている音声情報が表す音声との差異が第１許容範囲内となる音声がユーザから測定され、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内となる脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられた脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。「エアコンα」の電源がオフのときに、ＩＤ「１」に紐付けられた脳波との差異が第２許容範囲内となる脳波がユーザから測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンしてもよい。なお、ユーザＡを識別するためのユーザ情報がＩＤ「１」に紐付けられていない場合、ユーザＡ以外の他のユーザから、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波とが測定されたり、ＩＤ「１」に紐付けられている脳波が測定されたりすると、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンする。

ユーザＡを識別するためのユーザ情報が、ＩＤ「１」に紐付けられて管理テーブルに登録されてもよい。例えば、ＩＤ「１」に紐付けられている各情報が管理テーブルに登録された後に、ユーザが管理テーブルを編集することで、ＩＤ「１」にユーザ情報を紐付けてもよい。別の例として、ユーザＡのみが情報処理装置１０にログインしている状態で、音声と脳波が測定された場合、プロセッサ３０は、測定された音声と脳波は、ユーザＡの音声と脳波であると認識し、ログインしているユーザＡを識別するためのユーザ情報をＩＤ「１」に紐付けてもよい。また、ユーザ情報の登録対象のユーザが「ユーザＡ」であることが情報処理装置１０に設定されている場合、プロセッサ３０は、測定された音声と脳波は、ユーザＡの音声と脳波であると認識し、登録対象のユーザＡを識別するためのユーザ情報をＩＤ「１」に紐付けてもよい。ユーザ情報の登録対象のユーザは、例えば、ユーザによって情報処理装置１０に設定される。

ユーザＡを識別するためのユーザ情報が、ＩＤ「１」に紐付けられて管理テーブルに登録されている場合において、ユーザＡから、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波との組み合わせが測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにする。この処理は、上述した第２段階の処理に該当する。

例えば、ユーザＡのみが情報処理装置１０にログインしている状態で、ユーザＡから、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波との組み合わせが測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにする。具体的には、ユーザＡのみが情報処理装置１０にログインしているときに、マイク１４によって音声が測定され、生体情報測定装置１２によって脳波が測定されると、プロセッサ３０は、ログインしているユーザＡを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている音声情報と脳波との組み合わせを検索する。図４に示す例では、ＩＤ「１」に紐付けられている音声情報と脳波との組み合わせと、ＩＤ「３」に紐付けられている音声情報と脳波との組み合わせが、ユーザＡの音声情報と脳波との組み合わせとして管理テーブルに登録されているため、これらの組み合わせが検索される。測定された音声と脳波との組み合わせが、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波との組み合わせと一致する場合、又は、測定された音声とＩＤ「１」に紐付けられている音声情報が表す音声との差異が第１許容範囲内であり、測定された脳波とＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内である場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにする。なお、測定された音声と脳波との組み合わせが、ＩＤ「３」に紐付けられている音声情報が表す音声と脳波との組み合わせと一致する場合、又は、測定された音声とＩＤ「３」に紐付けられている音声情報が表す音声との差異が第１許容範囲内であり、測定された脳波とＩＤ「３」に紐付けられた脳波との差異が第２許容範囲内である場合、プロセッサ３０は、ＩＤ「３」に紐付けられている制御情報に従って、「エアコンα」の電源をオフにする。

別の例として、機器２２を操作するユーザが「ユーザＡ」であることが情報処理装置１０に設定されている状態で、ユーザＡから、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波との組み合わせが測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにしてもよい。具体的には、機器２２を操作するユーザが「ユーザＡ」であることが情報処理装置１０に設定されている状態で、マイク１４によって音声が測定され、生体情報測定装置１２によって脳波が測定されると、プロセッサ３０は、機器２２を操作するユーザであるユーザＡを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている音声情報と脳波との組み合わせを検索する。測定された音声と脳波との組み合わせが、ＩＤ「１」に紐付けられている音声情報が表す音声と脳波との組み合わせと一致する場合、又は、測定された音声とＩＤ「１」に紐付けられている音声情報が表す音声との差異が第１許容範囲内であり、測定された脳波とＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内である場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにする。機器２２を操作するユーザは、例えば、ユーザによって情報処理装置１０に設定される。

別の例として、ユーザＡを識別するためのユーザ情報が、ＩＤ「１」に紐付けられて管理テーブルに登録されている場合において、ユーザＡから、ＩＤ「１」に紐付けられている脳波が測定された場合、又は、ＩＤ「１」に紐付けられている脳波との差異が第２許容範囲内となる脳波が測定された場合、プロセッサ３０は、ＩＤ「１」に紐付けられている制御情報に従って、「エアコンα」の電源をオンにしてもよい。この処理は、上述した第３段階の処理に該当する。

ユーザＡ以外の他のユーザについても、ユーザＡと同様に、各情報が管理テーブルに登録される。例えば、ＩＤ「２」に紐付けられている各情報は、ユーザＢが「エアコンα」の電源をオンにしたときの操作に関する情報である。ＩＤ「３」に紐付けられている各情報は、ユーザＡが「エアコンα」の電源をオフにしたときの操作に関する情報である。

プロセッサ３０は、ユーザ毎に音声を判別し、音声と音声以外の生体情報との組み合わせに基づいて、又は、音声以外の生体情報に基づいて、機器２２を操作してもよい。プロセッサ３０は、例えば、マイク１４によって測定された音声に基づいて、当該音声を発したユーザを判別する。例えば、ユーザ毎に、ユーザの音声を表す音声データと、当該ユーザを識別するためのユーザ情報とが紐付けられて、記憶装置２８やサーバ等に予め記憶されている。マイク１４によって音声が測定されると、プロセッサ３０は、測定された音声を表す音声データに紐付けられているユーザ識別情報を検索し、当該音声を発したユーザを特定する。そして、プロセッサ３０は、図４に示されている管理テーブルにおいて、当該音声を発したユーザのユーザ情報が紐付けられている操作を特定し、当該ユーザの音声を表す音声情報と脳波との組み合わせに基づいて、又は、当該ユーザの脳波に基づいて、機器２２を操作する。

ユーザが睡眠中は、プロセッサ３０は、生体情報による機器２２の操作を中止してもよい。プロセッサ３０は、例えば公知の技術を用いることで、ユーザから測定される生体情報に基づいて、当該ユーザが睡眠中か否かを判断する。脳波の種類や強度や推移等に基づいて、人の睡眠状態を把握することができることが知られている。睡眠状態は、例えば、レム睡眠、ノンレム睡眠及び覚醒に分類される。もちろん、この分類は一例に過ぎず、別の分類が用いられてもよい。ここでは一例として、ユーザの睡眠状態が、レム睡眠又はノンレム睡眠である場合、ユーザの状態は眠っている状態であり、ユーザの睡眠状態が、覚醒である場合、ユーザの状態は眠っていない状態であるものとする。プロセッサ３０は、公知技術を用いることで、測定された脳波の種類や強度や推移等に基づいて、ユーザの睡眠状態を判断する。

入眠するときの脳波は、β波、α波、θ波、δ波の順番で発生することが知られている。ユーザが体を横にして目を閉じると、β波が発生している状態から、体がリラックスしてきてα波が発生する。その段階から、意識が薄らいでくるとθ波が発生し、睡眠が深くなるとδ波が発生する。プロセッサ３０は、このようにして発生する脳波を分析することで、ユーザの睡眠状態を判断する。

生体情報測定装置１２の一例である加速度センサがユーザに装着され、ユーザの加速度、つまり動きが測定されてもよい。プロセッサ３０は、加速度の大きさや変化量に基づいて、ユーザの睡眠状態を認識してもよい。また、プロセッサ３０は、ユーザの脈拍数や血圧等に基づいて、ユーザの睡眠状態を把握してもよい。

ユーザの睡眠中は、プロセッサ３０は、当該ユーザの音声情報と生体情報とを紐付ける処理を中止してもよい。例えば、睡眠中のユーザから音声や脳波が測定されても、プロセッサ３０は、音声情報と脳波とを紐付けず、それらを管理テーブルに登録しない。

複数のユーザの音声、又は、予め定められた数以上のユーザの音声がマイク１４によって測定された場合、プロセッサ３０は、生体情報による機器２２の操作を中止してもよいし、生体情報によるアプリケーションの操作のみを許可してもよいし、音声情報と生体情報との紐付けを中止してもよい。

ユーザの音声と音声以外の生体情報（例えば脳波）との組み合わせに基づいて機器２２を操作する場合において、認証されたユーザ以外の音声がマイク１４によって測定された場合、プロセッサ３０は、音声と音声以外の生体情報との組み合わせに基づく機器２２の操作、及び、音声以外の生体情報に基づく機器２２の操作を中止してもよい。認証されたユーザは、例えば、情報処理装置１０、又は、認証サーバ等の他の装置によって、認証されたユーザである。例えば、情報処理装置１０にログインしているユーザや、生体情報を用いて機器２２を操作することを許可されたユーザ等が、認証されたユーザの一例に相当する。

ユーザの音声と音声以外の生体情報との組み合わせに基づいて、又は、音声以外の生体情報に基づいて、機器２２が操作される場合、プロセッサ３０は、機器２２が操作される前に、操作の内容をユーザに通知してもよい。ユーザの同意が得られた場合、プロセッサ３０は、機器を操作してもよい。例えば、プロセッサ３０は、操作の内容を音声によってユーザに通知してもよいし、ＵＩ２６の表示部に操作の内容を示す情報を表示させてもよい。また、ユーザの同意は、ユーザの生体情報によって与えられてもよい。例えば、同意を表す脳波が生体情報測定装置１２によって測定された場合、プロセッサ３０は、機器２２を操作する。

操作対象の機器２２が操作範囲内に存在しない場合、プロセッサ３０は、警告を出力してもよい。プロセッサ３０は、例えば、警告を示す情報をＵＩ２６の表示部に表示させてもよいし、警告音を発してもよい。操作範囲は、例えば、予め定められた位置を基準として、その位置から予め定められた距離以内の範囲である。予め定められた位置は、ユーザの位置であってもよいし、情報処理装置１０が設置されている位置であってもよいし、ユーザによって指定された任意の位置であってもよい。例えば、ユーザが携帯する端末装置（例えばスマートフォン等）の位置をＧＰＳ（Global Positioning System）等によって特定することで、当該ユーザの位置が特定される。情報処理装置１０の位置は、情報処理装置１０に設定されていてもよいし、ＧＰＳ等によって特定されてもよい。

プロセッサ３０は、複数の機器２２のそれぞれに対する操作の指示を表す生体情報を受け付けた場合、生体情報に対応する制御情報を各機器２２に送信することで、各機器２２を操作してもよい。

以下、変形例について説明する。変形例では、プロセッサ３０は、外部からの刺激を受けたユーザから発生した生体情報に基づいて、機器２２を操作する。プロセッサ３０は、環境情報測定装置によって測定された環境情報に基づいて、外部からの刺激を検出し、ユーザが外部から刺激を受けたか否かを判定する。また、プロセッサ３０は、ユーザから測定された生体情報が、外部からの刺激を受けた当該ユーザから発生した生体情報であるか否かを判定する。ユーザから測定された生体情報が、外部からの刺激を受けた当該ユーザから発生した生体情報である場合、プロセッサ３０は、当該生体情報に基づいて機器２２を操作する。環境情報測定装置は、例えば、マイク１４、カメラ１６、臭気センサ１８、及び、温度センサ２０等である。これら以外のセンサ等が環境情報測定装置として用いられてもよい。プロセッサ３０は、例えば、マイク１４によって測定された音データ、カメラ１６によって撮影された画像データ、臭気センサ１８によって測定された臭気データ、及び、温度センサ２０によって測定された温度データの中の少なくとも１つのデータに基づいて、ユーザが外部から刺激を受けたか否かを判定する。プロセッサ３０は、これら以外のデータに基づいて、ユーザが外部から刺激を受けたか否かを判定してもよい。

例えば、特定の環境情報が測定され、その特定の環境情報が測定された後にユーザから測定された生体情報は、外部からの刺激を受けた当該ユーザから発生した生体情報であると推測される。この場合、特定の環境情報が表す環境が、外部からの刺激の一例に相当する。例えば、特定の環境情報が測定された時点から予め定められた時間が経過するまでの間にユーザから測定された生体情報は、外部からの刺激を受けた当該ユーザから発生した生体情報であると推測される。特定の環境情報が表す環境は、例えば、機器２２の操作に関する環境である。例えば、機器２２の操作に関する特定の環境情報が測定された場合、プロセッサ３０は、その特定の環境情報が測定された後にユーザから測定された生体情報に基づいて、機器２２を操作する。

以下、変形例について詳しく説明する。

（変形例１）
変形例１では、マイク１４によって測定された特定の音声が、外部からの刺激の一例に相当し、当該特定の音声を表す音声データが、特定の環境情報の一例に相当する。また、生体情報は一例として脳波である。特定の音声は、例えば、機器２２の操作に関する音声（例えば会話等）である。特定の音声を表す音声データが測定された後にユーザから測定された生体情報は、外部からの刺激である特定の音声を受けた当該ユーザから発生した生体情報であると推測される。この場合、プロセッサ３０は、特定の音声を受けた当該ユーザから発生した生体情報に基づいて、機器２２を操作する。つまり、プロセッサ３０は、特定の音声を聞いて当該ユーザから発生した生体情報に基づいて、機器２２を操作する。例えば、特定の音声が測定された時点から予め定められた時間が経過するまでの間にユーザから測定された生体情報は、外部からの刺激である特定の音声を聞いた当該ユーザから発生した生体情報であると推測される。

例えば、生体情報である脳波が測定されるユーザ（例えばユーザＡ）の会話相手の音声が、外部からの刺激の一例に相当し、その音声を表す音声データが、特定の環境情報の一例に相当する。

脳波が測定されるユーザＡとその会話相手とが会話している場合、プロセッサ３０は、その会話相手の音声を聞いてユーザＡから測定された脳波を受け付け、当該脳波に紐付けられている操作を特定する。例えば、プロセッサ３０は、図４に示されている管理テーブルを参照することで、ユーザＡから測定された当該脳波に紐付けられている操作を特定する。プロセッサ３０は、その操作の内容を表す画像をＵＩ２６の表示部に表示させてもよいし、その操作の内容を表す音声をスピーカから発ししてもよい。その操作を実行することの合意がユーザＡから得られた場合、プロセッサ３０は、その操作を実行するための制御情報を機器２２に送信することで、当該機器２２を操作する。

例えば、マイク１４によって、ユーザＡと会話相手の音声を表す音声データが測定され、プロセッサ３０は、マイク１４によって測定された音声データを解析することで、ユーザＡと会話相手との間の会話の内容を認識する。また、カメラ１６によってユーザＡと会話相手が撮影され、プロセッサ３０は、その撮影によって生成された画像データに基づいて、ユーザＡと会話相手を認識してもよい。プロセッサ３０は、機器２２の操作に関する、会話相手の発言内容を認識し、その発言を聞いてユーザＡから測定された脳波を受け付け、その脳波に対応する操作を制御するための制御情報を機器２２に送信する。機器２２の操作に関する、会話相手の発言内容が、外部からの刺激の一例に相当し、その発言内容を表す音声データが、特定の環境情報の一例に相当する。その会話相手の発言の後に測定された脳波（例えば、その会話相手が発言した時点から予め定められた時間が経過するまでの間に測定された脳波）が、その会話相手の発言を聞いてユーザＡから発せられた脳波、つまり、外部からの刺激を受けたユーザＡから発せられた脳波であると推測される。

具体例を挙げて説明する。会話相手が「テレビで○○を見たい？」と発言した場合、その発言内容がマイク１４によって測定され、プロセッサ３０は、マイク１４によって測定された音声を解析することで、その発言内容を認識する。その発言内容は、機器２２であるテレビの操作に関する発言であり、外部からの刺激の一例に相当し、その発言内容を表す音声データは、特定の環境情報の一例に相当する。プロセッサ３０は、その発言を受けてユーザＡから測定された脳波を受け付ける。例えば、会話相手が「テレビで○○を見たい？」と発言した時点から予め定められた時間が経過するまでの間に測定された脳波が、その会話相手の発言を聞いたユーザＡから発せられた脳波であると推測される。その脳波が、同意を表す脳波である場合、プロセッサ３０は、「テレビをオンしますか？」といった内容のメッセージを出力する。例えば、プロセッサ３０は、そのメッセージの音声をスピーカから発してもよいし、そのメッセージをＵＩ２６の表示部に表示させてもよい。プロセッサ３０は、そのメッセージが出力された後にユーザＡから測定された脳波を受け付ける。その脳波が、同意を表す脳波である場合、プロセッサ３０は、機器２２であるテレビをオンする操作を実行するための制御情報を当該テレビに送信することで、当該テレビの電源をオンする。

（実施例２）
変形例２では、臭気センサ１８によって測定された特定の匂いが、外部からの刺激の一例に相当し、当該特定の匂いを表す臭気データが、特定の環境情報の一例に相当する。例えば、臭気センサ１８によって、ユーザの周囲の匂いが測定される。また、生体情報は一例として脳波である。特定の匂いは、例えば、機器２２の操作に関する匂いである。特定の匂いを表す臭気データが測定された後にユーザから測定された生体情報は、外部からの刺激である特定の匂いを受けて当該ユーザから発生した生体情報であると推測される。この場合、プロセッサ３０は、特定の匂いを受けて当該ユーザから発生した生体情報に基づいて、機器２２を操作する。つまり、プロセッサ３０は、特定の匂いを嗅いで当該ユーザから発生した生体情報に基づいて、機器２２を操作する。例えば、特定の匂いが測定された時点から予め定められた時間が経過するまでの間にユーザから測定された生体情報は、外部からの刺激である特定の匂いを嗅いだ当該ユーザから発生した生体情報であると推測される。

特定の匂いが測定された場合、プロセッサ３０は、その特定の匂いを嗅いたユーザから測定された脳波を受け付け、当該脳波に紐付けられている操作を特定する。例えば、プロセッサ３０は、図４に示されている管理テーブルを参照することで、ユーザから測定された当該脳波に紐付けられている操作を測定する。プロセッサ３０は、その操作の内容を表す画像をＵＩ２６の表示部に表示させてもよいし、その操作の内容を表す音声をスピーカから発してもよい。その操作を実行することの合意がユーザから得られた場合、プロセッサ３０は、その操作を実行するための制御情報を機器２２に送信することで、当該機器２２を操作する。機器２２の操作に関する特定の匂いが測定された後に測定された脳波（例えば、特定の匂いが測定された時点から予め定められた時間が経過するまでの間に測定された脳波）が、その特定の匂いを嗅いだユーザから発せられた脳波、つまり、外部からの刺激を受けたユーザから発せられた脳波であると推測される。

具体例を挙げて説明する。料理をした後、部屋に調理時の匂いが残り、臭気センサ１８によって、その匂いを表す臭気データが測定される。その匂いは、機器２２である空気清浄機の操作に関する匂いであり、外部からの刺激の一例に相当し、その匂いを表す臭気データは、特定の環境情報の一例に相当する。プロセッサ３０は、その匂いを嗅いだユーザから測定された脳波を受け付ける。例えば、料理の後の匂いが測定された時点から予め定められた時間が経過するまでの間に測定された、「匂いが不快」を表す脳波が、その匂いを嗅いだユーザから発せられた脳波であると推測される。この場合、プロセッサ３０は、「空気清浄機をオンしますか？」といった内容のメッセージを出力する。例えば、プロセッサ３０は、そのメッセージの音声をスピーカから発してもよいし、そのメッセージをＵＩ２６の表示部に表示させてもよい。プロセッサ３０は、そのメッセージが出力された後にユーザから測定された脳波を受け付ける。その脳波が、同意を表す脳波である場合、プロセッサ３０は、機器２２である空気清浄機をオンする操作を実行するための制御情報を当該空気清浄機に送信することで、当該空気清浄機の電源をオンする。なお、空気清浄機と共に、又は、空気清浄機の代わりに、香りを拡散させるためのアロマディフューザーが用いられてもよい。

（変形例３）
変形例３では、温度センサ２０によって測定された、特定の温度範囲に含まれる温度が、外部からの刺激の一例に相当し、当該特定の温度範囲に含まれる温度を表す温度データが、特定の環境情報の一例に相当する。例えば、温度センサ２０によって、ユーザの周囲の温度が測定される。また、生体情報は一例として脳波である。例えば、特定の温度範囲に含まれる温度は、機器２２の操作に関する温度である。特定の温度範囲に含まれる温度を表す温度データが測定された後にユーザから測定された生体情報は、外部からの刺激である温度を受けて当該ユーザから発生した生体情報であると推測される。この場合、プロセッサ３０は、特定の温度範囲に含まれる温度を受けた当該ユーザから発生した生体情報に基づいて、機器２２を操作する。つまり、プロセッサ３０は、特定の温度範囲に含まれる温度を感じた当該ユーザから発生した生体情報に基づいて、機器２２を操作する。例えば、特定の温度範囲に含まれる温度が測定された時点から予め定められた時間が経過するまでの間にユーザから測定された生体情報は、外部からの刺激である特定の温度範囲に含まれる温度を感じた当該ユーザから発生した生体情報であると推測される。

特定の温度範囲に含まれる温度が測定された場合、プロセッサ３０は、その特定の温度範囲に含まれる温度を感じたユーザから測定された脳波を受け付け、当該脳波に紐付けられている操作を特定する。例えば、プロセッサ３０は、図４に示されている管理テーブルを参照することで、ユーザから測定された当該脳波に紐付けられている操作を測定する。プロセッサ３０は、その操作の内容を表す画像をＵＩ２６の表示部に表示させてもよいし、その操作の内容を表す音声をスピーカから発してもよい。その操作を実行することの合意がユーザから得られた場合、プロセッサ３０は、その操作を実行するための制御情報を機器２２に送信することで、当該機器２２を操作する。機器２２の操作に関する温度が測定された後に測定された脳波（例えば、特定の温度範囲に含まれる温度が測定された時点から予め定められた時間が経過するまでの間に測定された脳波）が、その温度を感じたユーザから発せられた脳波、つまり、外部からの刺激を受けたユーザから発せられた脳波であると推測される。

具体例を挙げて説明する。ユーザが帰宅したときに部屋が暑く、部屋に設置された温度センサ２０によって、予め定められた閾値以上の温度が測定されたものとする。予め定められた閾値以上の温度は、特定の温度範囲に含まれる温度であり、ここでは一例として、一般的に人が暑さを感じると推測される温度である。特定の温度範囲に含まれる温度は、機器２２であるエアコンの操作に関する温度であり、外部からの刺激の一例に相当し、その温度を表す温度データは、特定の環境情報の一例に相当する。プロセッサ３０は、その温度を感じたユーザから測定された脳波を受け付ける。例えば、特定の温度範囲に含まれる温度が測定された時点から予め定められた時間が経過するまでの間に測定された、「暑くて不快」を表す脳波は、その温度を感じたユーザから発せられた脳波であると推測される。この場合、プロセッサ３０は、「エアコンをオンにしますか？」といった内容のメッセージを出力する。例えば、プロセッサ３０は、そのメッセージの音声をスピーカから発してもよいし、そのメッセージをＵＩ２６の表示部に表示させてもよい。プロセッサ３０は、そのメッセージが出力された後にユーザから測定された脳波を受け付ける。その脳波が、同意を表す脳波である場合、プロセッサ３０は、機器２２であるエアコンをオンする操作を実行するための制御情報を当該エアコンに送信することで、当該エアコンの電源をオンする。

（変形例４）
変形例４では、生体情報が測定されるユーザが目視した特定の状況が、外部からの刺激の一例に相当し、当該特定の状況を表す画像データが、特定の環境情報の一例に相当する。例えば、カメラ１６によって、ユーザとその周囲が撮影される。また、生体情報は一例として脳波である。例えば、特定の状況は、機器２２の操作に関する状況である。特定の状況を表す画像データが測定された後にユーザから測定された生体情報は、外部からの刺激である特定の状況を受けた当該ユーザから発生した生体情報であると推測される。この場合、プロセッサ３０は、特定の状況を受けた当該ユーザから発生した生体情報に基づいて、機器２２を操作する。つまり、プロセッサ３０は、特定の状況を目視した当該ユーザから発生した生体情報に基づいて、機器２２を操作する。例えば、特定の状況を表す画像データが撮影された時点から予め定められた時間が経過するまでの間にユーザから測定された生体情報は、外部からの刺激である特定の状況を目視した当該ユーザから発生した生体情報であると推測される。

例えば、プロセッサ３０は、ユーザとその周囲が表されている画像データを解析することで、ユーザが見ている方向を特定し、ユーザが目視している状況を認識する。

特定の状況を表す画像データが撮影された場合、プロセッサ３０は、その特定の状況を目視したユーザから測定された脳波を受け付け、当該脳波に紐付けられている操作を特定する。例えば、プロセッサ３０は、図４に示されている管理テーブルを参照することで、ユーザから測定された当該脳波に紐付けられている操作を測定する。プロセッサ３０は、その操作の内容を表す画像をＵＩ２６の表示部に表示させてもよいし、その操作の内容を表す音声をスピーカから発してもよい。その操作を実行することの合意がユーザから得られた場合、プロセッサ３０は、その操作を実行するための制御情報を機器２２に送信することで、当該機器２２を操作する。機器２２の操作に関する特定の状況を表す画像データが撮影された後に測定された脳波（例えば、特定の状況を表す画像データが撮影された時点から予め定められた時間が経過するまでの間に測定された脳波）が、その特定の状況を目視したユーザから発せられた脳波、つまり、外部からの刺激を受けたユーザから発せられた脳波であると推測される。

具体例を挙げて説明する。ユーザが、床に落ちている綿埃を見つけ、ユーザがその状況を見ている様子がカメラ１６によって撮影されて、その様子を表す画像データが生成されたものとする。床に綿埃が落ちている状況は、機器２２であるロボット掃除機の操作に関する状況であり、外部からの刺激の一例に相当し、その状況を表す画像データは、特定の環境情報の一例に相当する。プロセッサ３０は、その状況を見たユーザから測定された脳波を受け付ける。例えば、床に落ちている綿埃をユーザが見ている様子を表す画像データが撮影された時点から予め定められた時間が経過するまでの間に測定された、「埃が不快」を表す脳波は、その状況を見たユーザから発せられた脳波であると推測される。この場合、プロセッサ３０は、「ロボット掃除機をオンにしますか？」といった内容のメッセージを出力する。例えば、プロセッサ３０は、そのメッセージの音声をスピーカから発してもよいし、そのメッセージをＵＩ２６の表示部に表示させてもよい。プロセッサ３０は、そのメッセージが出力された後にユーザから測定された脳波を受け付ける。その脳波が、同意を表す脳波である場合、プロセッサ３０は、機器２２であるロボット掃除機をオンする操作を実行するための制御情報を当該ロボット掃除機に送信することで、当該ロボット掃除機の電源をオンする。

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

１０ 情報処理装置、１２ 生体情報測定装置、１４ マイク、２２ 機器、３０ プロセッサ。

Claims (12)

1. プロセッサを有し、
   前記プロセッサは、
   機器に対してユーザが手動で操作したときに発せられる前記ユーザの音声の認識結果を示す情報、及び、前記ユーザの音声以外の生体情報が、前記機器に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、生体情報に基づいて前記機器を操作し、
   前記機器に対する手動の操作を示す手動操作情報と、前記機器の操作を音声で表す音声情報と、前記音声が発せられたときの前記ユーザの音声以外の生体情報とが予め紐付けられて管理情報に登録されており、
   前記機器に対して前記ユーザが手動で操作するときに測定された前記ユーザの音声の認識結果を示す情報と、前記管理情報に登録されている音声情報との差異が第１許容範囲内である場合に操作し、
   前記機器に対して前記ユーザが手動で操作したときに測定された前記ユーザの音声以外の生体情報と、前記管理情報に登録されている生体情報との差異が第２許容範囲内である場合、生体情報に基づいて前記機器を操作する、
   情報処理装置。
2. ユーザ毎に、手動操作情報と、音声情報と、生体情報とが紐付けられており、
   前記プロセッサは、ユーザ毎に音声を判別して、生体情報に基づいて前記機器を操作する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記ユーザの睡眠中は、音声情報と生体情報とを紐付ける処理を中止する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記プロセッサは、前記ユーザの睡眠中は、生体情報による操作を中止する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 予め定められた数以上のユーザの音声が測定された場合、前記プロセッサは、生体情報による操作を中止する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 前記プロセッサは、外部からの刺激を受けた前記ユーザから発生した前記生体情報に基づいて前記機器を操作する、
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記外部からの刺激は、前記ユーザの会話相手の音声である、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記外部からの刺激は、匂いである、
   ことを特徴とする請求項６に記載の情報処理装置。
9. 前記外部からの刺激は、温度である、
   ことを特徴とする請求項６に記載の情報処理装置。
10. 前記外部からの刺激は、前記ユーザが目視した状況である、
    ことを特徴とする請求項６に記載の情報処理装置。
11. 前記生体情報は脳波である、
    ことを特徴とする請求項１から請求項１０のいずれか一項に記載の情報処理装置。
12. コンピュータに、
    機器に対してユーザが手動で操作したときに発せられる前記ユーザの音声の認識結果を示す情報、及び、前記ユーザの音声以外の生体情報が、前記機器に対する手動の操作を示す手動操作情報の許容範囲に含まれる場合、それ以降の操作においては、生体情報に基づいて前記機器を操作させ、
    前記機器に対する手動の操作を示す手動操作情報と、前記機器の操作を音声で表す音声情報と、前記音声が発せられたときの前記ユーザの音声以外の生体情報とが予め紐付けられて管理情報に登録されており、
    前記機器に対して前記ユーザが手動で操作するときに測定された前記ユーザの音声の認識結果を示す情報と、前記管理情報に登録されている音声情報との差異が第１許容範囲内である場合に操作させ、
    前記機器に対して前記ユーザが手動で操作したときに測定された前記ユーザの音声以外の生体情報と、前記管理情報に登録されている生体情報との差異が第２許容範囲内である場合、生体情報に基づいて前記機器を操作させる、
    プログラム。

Images