JP7330507B2

JP7330507B2 - 情報処理装置、プログラム、及び、方法

Info

Publication number: JP7330507B2
Application number: JP2019225150A
Authority: JP
Inventors: 賢吾得地; 雅弘佐藤
Original assignee: 株式会社Agama-X
Priority date: 2019-12-13
Filing date: 2019-12-13
Publication date: 2023-08-22
Anticipated expiration: 2039-12-13
Also published as: CN112987911A; US20210181843A1; US11868529B2; JP2021096497A

Description

本発明は、情報処理装置、プログラム、及び、方法に関する。

脳波等の生体情報を用いて操作対象を操作することが考えられる。

特許文献１には、定常視覚刺激誘発電位（ＳＳＶＥＰ）を利用したＢＭＩ装置が記載されている。

特許文献２には、使用者の脳波から脳波生体信号を検出し、使用者の表面筋電位から表面筋電位生体信号を検出し、両方の生体信号に基づいて制御信号を演算するＢＭＩ運動補助装置が記載されている。

特許文献３には、身体についての特定の動作を想起した場合に生じる脳波の条件である脳波条件を予め格納し、脳波情報を取得し、取得した脳波情報に含まれる脳波が、格納されている脳波条件を満たす場合、撮像装置が被写体を撮像する場合の条件である撮像条件を当該撮像装置に出力する撮像制御装置が記載されている。

特許文献４には、脳波信号と人の意思とを一致させる方法が記載されている。

特開２０１４－０７１８２５号公報特開２０１５－２１１７０５号公報特開２０１５－１０２６５０号公報特開２００２－１６６０５０号公報

ところで、生体情報を用いて操作対象を操作することができない場合がある。

本発明の目的は、生体情報を用いて操作対象を操作することができない場合に、生体情報を用いて操作対象を操作することができるようにユーザを補助することにある。

請求項１に係る発明は、プロセッサを有し、前記プロセッサは、ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作し、前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作し、前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作し、前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作する、情報処理装置である。

請求項２に係る発明は、コンピュータに、ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作させ、前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作させ、前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作させ、前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作させる、プログラムである。

請求項３に係る発明は、コンピュータが、ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作し、前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作し、前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作し、前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作する、方法である。

請求項１，２，３に係る発明によれば、生体情報を用いて操作対象を操作することができない場合に、生体情報を用いて操作対象を操作することができるようにユーザを補助することができる。また、請求項１，２，３に係る発明によれば、第２操作モードでは、相似又は類似の関係性が第１操作モードでの関係性よりも相似又は類似しない場合であっても、操作対象を操作することができる。

本実施形態に係る情報処理システムの構成を示すブロック図である。本実施形態に係る情報処理装置の構成を示すブロック図である。本実施形態に係る情報処理装置による処理の流れを示すフローチャートを示す図である。第１管理テーブルを示す図である。第２管理テーブルを示す図である。第１管理テーブルを示す図である。第２管理テーブルを示す図である。生体情報の時間変化を示すグラフを示す図である。生体情報の波形を示す図である。生体情報の時間変化を示すグラフを示す図である。画面を示す図である。

図１を参照して、本実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。

本実施形態に係る情報処理システムは、情報処理装置１０と、１又は複数の生体情報測定装置１２と、１又は複数の機器１４とを含む。図１に示されている各装置の数は一例に過ぎない。情報処理システムは、図１に示されている装置以外の他の装置（例えば、端末装置やサーバ等）を含んでもよい。なお、機器１４が用いられない場合、機器１４は情報処理システムに含まれなくてもよい。

情報処理システムに含まれている各装置は、他の装置と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置は、他の装置とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤ（Radio Frequency Identifier）やＮＦＣ等である。各装置は、ＬＡＮ（Local Area Network）やインターネット等の通信経路を介して他の装置と通信してもよい。

情報処理装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン、携帯電話、又は、その他の装置（例えば、サーバやロボットやその他の機器等）である。情報処理装置１０は、人が携帯することが可能な端末装置（例えば、タブレットＰＣやスマートフォンや携帯電話等）であってもよいし、テーブル等に設置されて使用される装置であってもよいし、移動可能な装置（例えば自走式の装置）であってもよいし、作業を行う装置であってもよいし、人と対話することが可能な装置であってもよい。例えば、情報処理装置１０は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよいし、人と対話し、作業するロボットであってもよい。情報処理装置１０は、人工知能（ＡＩ）を搭載した装置であってもよい。

生体情報測定装置１２は、人の生体情報を測定するように構成されている装置である。例えば、生体情報測定装置１２は、各種のセンサや電極等を有し、人の生体情報を測定する。複数の生体情報測定装置１２が用いられる場合、各生体情報測定装置１２は、異なる種類の生体情報を測定してもよい。複数の生体情報測定装置１２の中の一部又は全部は、同じ種類の生体情報を測定してもよい。また、生体情報測定装置１２は、１つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。

生体情報測定装置１２は、測定された生体情報を情報処理装置１０に送信する。生体情報測定装置１２は、生体情報を測定する度に生体情報を情報処理装置１０に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置１０に送信してもよいし、人が指定したタイミングで生体情報を情報処理装置１０に送信してもよい。また、生体情報測定装置１２は、他の生体情報測定装置１２が測定した生体情報を当該他の生体情報測定装置１２から受信し、自身が測定した生体情報と当該他の生体情報測定装置１２が測定した生体情報とを情報処理装置１０に送信してもよい。

生体情報測定装置１２は、自装置又は他の生体情報測定装置が測定した生体情報を解析し、その解析の結果を示す情報を情報処理装置１０に送信してもよい。例えば、生体情報測定装置１２はプロセッサを含み、当該プロセッサが生体情報を解析してもよい。もちろん、その解析は情報処理装置１０又は他の装置によって行われてもよい。

生体情報測定装置１２は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、他の装置（例えば情報処理装置１０等）から電力の供給を受けて駆動してもよい。

生体情報測定装置１２は、人に設置されてもよい。例えば、生体情報測定装置１２は、人に装着されて生体情報を測定するウェアラブル装置であってもよい。具体例を挙げると、生体情報測定装置１２は、人の頭部（例えば額等）に装着される装置であってもよいし、人の耳に装着されるヒアラブル装置（例えば、イヤフォンやヘッドフォン等）であってもよいし、人の腕や手や手首や指等に装着される装置（例えば、スマートウォッチ等の腕時計型の装置等）であってもよいし、人の首に掛けられる装置であってもよいし、人の胴体（例えば腹部や胸部等）に装着される装置であってもよいし、人の下肢（例えば、大腿、下腿、膝、足、足首等）に装着される装置であってもよい。生体情報測定装置１２は、人の腕や手や胴体や下肢に装着される健康器具等であってもよい。生体情報測定装置１２は、これら以外の部位に装着されてもよい。また、複数の部位のそれぞれに生体情報測定装置１２が装着されてもよい。

生体情報は、生体である人から発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報（例えば、脳波、脳の血流量、脳磁場信号等）、脈拍数を示す情報、筋電波形等の筋電情報、唾液に関する情報（例えば唾液量を示す情報）、脈波を示す情報、血圧を示す情報、血流量を示す情報、脈拍を示す情報、心拍数を示す情報、心電波形を示す情報、眼球運動を示す情報、体温を示す情報、発汗量を示す情報、視線を示す情報、音声情報、及び、人の動きを示す情報等が含まれる。また、バイオマーカによって特定される情報が、生体情報として用いられてもよい。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置１２は、これらの生体情報の中の１つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。

また、生体情報の概念の範疇には、生体から測定される電位を示す生体電位情報が含まれる。生体電位情報の概念の範疇には、例えば、脳の活動に伴い発生する微小電流の測定結果である脳波、心臓の拍動に伴い発生する微小電流の測定結果である心電図、筋肉の活動に伴い発生する微小電流の測定結果である筋電図、皮膚に生じる微小電流の測定結果である皮膚電位等が含まれる。これらは生体電位情報の一例に過ぎず、これら以外の生体電位情報が用いられてもよい。

情報処理装置１０は、生体情報測定装置１２から生体情報を受け付けて、生体情報の解析、生体情報の記憶、生体情報の出力、生体情報の解析の結果を示す情報の記憶、及び、生体情報の解析の結果を示す情報の出力等を行う。もちろん、生体情報の解析は、生体情報測定装置１２又は他の装置によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の解析の結果を示す情報を出力することは、例えば、解析の結果を示す情報を表示することや、解析の結果を音声情報として出力すること等である。情報処理装置１０は、生体情報や解析の結果を示す情報を他の装置に送信してよい。

情報処理装置１０は、１又は複数の生体情報測定装置１２を含んでもよい。つまり、１又は複数の生体情報測定装置１２は、情報処理装置１０に組み込まれて、１つの装置が構成されてもよい。１又は複数の生体情報測定装置１２を含む情報処理装置１０全体が、人に装着されて生体情報を測定してもよい。つまり、情報処理装置１０はウェアラブル装置であってもよい。例えば、情報処理装置１０は、人の頭部（例えば額等）に装着される装置であってもよいし、人の耳に装着されるヒアラブル装置（例えば、イヤフォンやヘッドフォン等）であってもよいし、人の腕や手や手首や指等に装着される装置（例えば、スマートウォッチ等の腕時計型の装置等）であってもよいし、人の首に掛けられる装置であってもよいし、人の胴体（例えば腹部や胸部等）に装着される装置であってもよいし、人の下肢（例えば、大腿、下腿、膝、足、足首等）に装着される装置であってもよい。情報処理装置１０は、人の腕や手や胴体や下肢に装着される健康器具等であってもよい。情報処理装置１０は、これら以外の部位に装着されてもよい。

情報処理装置１０と生体情報測定装置１２は、別々の装置であってもよい。例えば、情報処理装置１０は、ロボットやスマートスピーカやサーバ等の装置であり、生体情報測定装置１２は、人に装着されるウェアラブル装置であってもよい。

機器１４は、操作対象の一例である。機器１４は、例えば、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（例えばドローン））、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１４の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器１４の範疇に含まれてもよい。

機器１４は、通信インターフェースである通信装置、データを記憶する記憶装置、及び、当該機器１４の動作を制御するプロセッサを有する。機器１４は、ユーザインターフェースを有してもよい。機器１４は、自装置である機器１４を識別するための機器識別情報を情報処理装置１０に送信してもよい。機器識別情報は、例えば、機器１４のＩＤ、名称、型番、又は、アドレス（例えばＭＡＣアドレスやＩＰアドレス等）等である。

本実施形態においては、ユーザの生体情報に基づいて操作対象が操作される。例えば、情報処理装置１０は、ユーザの生体情報を生体情報測定装置１２から取得し、その取得した生体情報に基づいて操作対象を操作する。例えば、情報処理装置１０は、ユーザの生体情報を生体情報測定装置１２から取得し、その取得した生体情報に基づいて操作対象の操作内容を特定し、その特定した操作内容に従って操作対象を操作する。操作内容を特定する処理は、生体情報測定装置１２又は他の装置（例えばサーバや機器１４や端末装置等）によって行われてもよい。情報処理装置１０以外の装置（例えばサーバや端末装置等）が、操作対象を操作してもよい。例えば、情報処理装置１０が生体情報に基づいて操作内容を特定し、情報処理装置１０以外の装置が、情報処理装置１０によって特定された操作内容に従って操作対象を操作してもよい。

操作対象は、ハードウェアであってもよいし、ソフトウェアであってもよいし、ハードウェアとソフトウェアの両方であってもよい。

操作対象のハードウェアは特に限定されるものではなく、例えば、機器１４、又は、機器１４以外の装置（例えば、情報処理装置１０、生体情報測定装置１２又はサーバ等）である。複数のハードウェアが操作対象であってもよい。例えば、複数の機器１４、情報処理装置１０と１又は複数の機器１４との組み合わせ、及び、機器１４とサーバとの組み合わせ等が、操作対象のハードウェアの一例である。もちろん、これら以外のハードウェアや組み合わせが操作対象のハードウェアであってもよい。

操作対象のソフトウェアは特に限定されるものではなく、例えば、アプリケーションプログラムやＯＳ（オペレーティングシステム）等である。操作対象のソフトウェアは、情報処理装置１０にインストールされているソフトウェアであってもよいし、機器１４にインストールされているソフトウェアであってもよいし、その他の装置（例えば、生体情報測定装置１２、サーバ又は他の装置）にインストールされているソフトウェアであってもよいし、インターネット等の通信経路を介して提供されるソフトウェアであってもよい。複数のソフトウェアが操作対象であってもよい。複数のソフトウェアが操作対象である場合、各ソフトウェアは、同じハードウェアにインストールされていてもよいし、異なるハードウェアにインストールされていてもよい。

本実施形態においては、ユーザの生体情報に基づいて、第１操作モード又は第２操作モードに従って操作対象が操作される。

操作モードに従って操作対象を操作することは、ユーザの生体情報に基づいて操作対象を操作するための条件や基準に従って操作対象を操作すること、ユーザの生体情報の測定に関する条件や基準（例えば、検出の感度に関する条件や基準）に従って操作対象を操作すること、又は、ユーザの生体情報が測定される環境に関する条件や基準に従って操作対象を操作すること等である。

第１操作モードに従って操作対象を操作することは、ユーザの生体情報に基づいて操作対象を操作するための第１条件や第１基準に従って操作対象を操作すること、ユーザの生体情報の測定に関する第１条件や第１基準に従って操作対象を操作すること、又は、ユーザの生体情報が測定される環境に関する第１条件や第１基準に従って操作対象を操作すること等である。

第２操作モードに従って操作対象を操作することは、ユーザの生体情報に基づいて操作対象を操作するための第２条件や第２基準に従って操作対象を操作すること、ユーザの生体情報の測定に関する第２条件や第２基準に従って操作対象を操作すること、又は、ユーザの生体情報が測定される環境に関する第２条件や第２基準に従って操作対象を操作すること等である。

第１条件と第２条件は異なる条件である。第１基準と第２基準は異なる基準である。

例えば、操作モードが第１操作モードに設定されており、第１操作モードに従って操作対象が操作される場合において、ユーザの生体情報に基づいて操作対象が操作されない場合、操作モードが第１操作モードから第２操作モードに切り替わり、第２操作モードに従って操作対象が操作される。操作モードの具体例については後で詳しく説明する。

以下、図２を参照して、情報処理装置１０の構成について詳しく説明する。図２には、情報処理装置１０の構成の一例が示されている。

情報処理装置１０は、例えば、通信装置１６と、ＵＩ１８と、記憶装置２０と、プロセッサ２２とを含む。情報処理装置１０は、これら以外の構成を含んでもよい。

通信装置１６は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置１６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置１６は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、ＬＡＮやインターネット等の通信経路を介して他の装置と通信してもよい。例えば、通信装置１６は、生体情報測定装置１２から送信されてきた生体情報を受信する。通信装置１６は、生体情報測定装置１２の動作を制御するための制御情報を生体情報測定装置１２に送信してもよい。また、通信装置１６は、機器１４の動作を制御するための制御情報を機器１４に送信してもよいし、機器１４から送信されてきた情報を受信してもよい。

ＵＩ１８はユーザインターフェースであり、表示装置及び操作装置の中の少なくとも１つを含む。表示装置は、液晶ディスプレイやＥＬディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ１８は、表示装置と操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。

記憶装置２０は、データを記憶する１又は複数の記憶領域を構成する装置である。記憶装置２０は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数の記憶装置２０が情報処理装置１０に含まれている。

記憶装置２０には、例えば、第１管理情報と第２管理情報とが記憶されている。

第１管理情報と第２管理情報は、ユーザの生体情報に基づいて、操作対象の操作内容を特定するための情報である。

第１管理情報は、第１操作モードにて用いられる管理情報である。第２管理情報は、第２操作モードにて用いられる管理情報である。つまり、第１操作モードに従って操作対象が操作される場合、第１管理情報に基づいて操作内容が特定される。第２操作モードに従って操作対象が操作される場合、第２管理情報に基づいて操作対象が特定される。

別の例として、第１操作モードと第２操作モードのいずれにおいても、第１管理情報が用いられ、第２管理情報が用いられなくてもよい。つまり、第１操作モードに従って操作対象が操作される場合、第１管理情報に基づいて操作内容が特定される。第２操作モードに従って操作対象が操作される場合も、第２管理情報に基づいて操作対象が操作される。

例えば、予め定められた第１基準生体情報と、操作対象の操作内容を示す操作情報とが、予め紐付けられて第１管理情報に登録されている。第１基準生体情報は、当該第１基準生体情報に紐付けられている操作を行うユーザから発生すると推定される生体情報であってもよいし、当該操作の実行を要求するユーザから発生すると推定される生体情報であってもよい。第１基準生体情報は、操作対象の操作内容を示す生体情報であるともいえる。操作内容を示す操作情報は、当該操作内容に従って操作される操作対象を示す情報を含んでもよい。ユーザ毎に、第１基準生体情報と操作情報とが紐付けられて第１管理情報に登録されてもよい。

また、予め定められた第２基準生体情報と、操作対象の操作内容を示す操作情報とが、予め紐付けられて第２管理情報に登録されている。第２基準生体情報は、第１基準生体情報とは異なる生体情報である。

なお、第１管理情報及び第２管理情報の中の少なくとも１つの管理情報は、情報処理装置１０に記憶されずに、又は、情報処理装置１０に記憶されると共に、情報処理装置１０以外の装置に記憶されてもよい。

プロセッサ２２は、ユーザの生体情報を取得し、当該生体情報に基づいて操作対象を操作するように構成されている。

例えば、生体情報測定装置１２によってユーザから生体情報が測定されると、当該生体情報は生体情報測定装置１２から情報処理装置１０に送信される。プロセッサ２２は、当該生体情報を受け付け、当該生体情報に基づいて操作対象の操作内容を特定する。プロセッサ２２は、その特定した操作内容に従って操作対象を操作する。プロセッサ２２は、ユーザの生体情報に基づいて、操作対象と当該操作対象の操作内容とを特定してもよい。別の例として、操作対象は予め定められていてもよい。例えば、ユーザによって操作対象が指定されてもよい。この場合、プロセッサ２２は、ユーザの生体情報に基づいて、その定められた操作対象の操作内容を特定する。

操作対象が機器１４である場合、プロセッサ２２は、特定した操作内容を示す操作情報を含む制御情報を機器１４に送信することで、当該機器１４を操作する。操作対象である機器１４は、当該制御情報に従って動作する。機器１４以外のハードウェアが操作対象である場合も同様である。

操作対象がソフトウェアである場合、プロセッサ２２は、特定した操作内容に従ってソフトウェアを操作する。例えば、プロセッサ２２は、ソフトウェアを起動したり、ソフトウェアを用いて処理を行ったりする。ソフトウェアが情報処理装置１０にインストールされている場合、プロセッサ２２は、情報処理装置１０にインストールされているソフトウェアを操作する。ソフトウェアが情報処理装置１０以外の装置にインストールされている場合、プロセッサ２２は、操作内容を示す操作情報を含む制御情報を、ソフトウェアがインストールされている装置に送信することでソフトウェアを操作する。

例えば、操作モードが第１操作モードである場合、プロセッサ２２は、ユーザの生体情報と、上記の第１管理情報に登録されている各第１基準生体情報とを比較し、当該生体情報との差異が許容範囲内に含まれる第１基準生体情報を検索する。プロセッサ２２は、その検索された第１基準生体情報に紐付けられている、操作対象に対する操作内容を特定する。これにより、操作対象と当該操作対象の操作内容とが特定される。許容範囲は予め定められている。許容範囲はユーザによって変更されてもよい。許容範囲はユーザ毎に定められてもよい。

ユーザの生体情報との差異が許容範囲内に含まれる複数の第１基準生体情報が検索された場合、プロセッサ２２は、当該複数の第１基準生体情報の中で、当該生体情報との差異が最小となる第１基準生体情報を特定し、特定した当該第１基準生体情報に紐付けられている操作内容を特定してもよいし、当該複数の第１基準生体情報のそれぞれに紐付けられている操作内容を特定してもよい。

第１基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ２２は、ユーザの生体情報から特徴的な成分を抽出し、その抽出された成分との差異が許容範囲内に含まれる成分を有する第１基準生体情報を検索してもよい。例えば、生体情報として脳波が用いられる場合、プロセッサ２２は、ユーザの脳波から特徴的な成分を抽出し、当該成分を解析することで、当該脳波が表す操作内容を推測してもよい。

第１基準生体情報が第１閾値として用いられてもよい。例えば、第１基準生体情報が波形を示している場合、その波形中のピークの振幅が第１閾値として用いられる。この場合、プロセッサ２２は、ユーザの生体情報が示す波形に相似又は類似する波形を有する第１基準生体情報であって、ユーザの生体情報が第１閾値以上となる第１基準生体情報を検索し、検索した当該第１基準生体情報に紐付けられている操作内容を特定する。つまり、ユーザの生体情報が示す波形が、ある第１基準生体情報が示す波形に相似又は類似し、ユーザの生体情報が示す波形のピークの振幅が、当該第１基準生体情報が示す波形のピークの振幅である第１閾値以上である場合、プロセッサ２２は、当該第１基準生体情報に紐付けられている操作内容を特定する。

操作モードが第２操作モードである場合、プロセッサ２２は、ユーザの生体情報と、上記の第２管理情報に登録されている各第２基準生体情報とを比較し、当該生体情報との差異が許容範囲内に含まれる第２基準生体情報を検索する。プロセッサ２２は、検索した第２基準生体情報に紐付けられている、操作対象に対する操作内容を特定する。これにより、操作対象と当該操作対象の操作内容とが特定される。許容範囲は予め定められている。許容範囲はユーザによって変更されてもよい。許容範囲はユーザ毎に定められてもよい。

ユーザの生体情報との差異が許容範囲内に含まれる複数の第２基準生体情報が検索された場合、プロセッサ２２は、当該複数の第２基準生体情報の中で、当該生体情報との差異が最小となる第２基準生体情報を特定し、特定した基準生体情報に紐付けられている操作内容を特定してもよいし、当該複数の第２基準生体情報のそれぞれに紐付けられている操作内容を特定してもよい。

第１管理情報が用いられる場合と同様に、第２基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。

また、第２基準生体情報が第２閾値として用いられてもよい。例えば、第２基準生体情報が波形を示している場合、その波形中のピークの振幅が第２閾値として用いられる。この場合、プロセッサ２２は、ユーザの生体情報が示す波形に相似又は類似する波形を有する第２基準生体情報であって、ユーザの生体情報が第２閾値以上となる第２基準生体情報を検索し、検索した第２基準生体情報に紐付けられている操作内容を特定する。つまり、ユーザの生体情報が示す波形が、ある第２基準生体情報が示す波形に相似又は類似し、ユーザの生体情報が示す波形のピークの振幅が、当該第２基準生体情報が示す波形のピークの振幅である第２閾値以上である場合、プロセッサ２２は、当該第２基準生体情報に紐付けられている操作内容を特定する。

第２閾値は、第１閾値よりも小さい値である。つまり、第２基準生体情報が示す波形のピークの振幅は、第１基準生体情報が示す波形のピークの振幅よりも小さい。

なお、操作モードが第２操作モードである場合であっても、プロセッサ２２は、第１管理情報を用いることで、操作対象の操作内容を特定してもよい。

脳の活動を示す情報を用いて操作対象を操作する場合、脳の活動を測定する生体情報測定装置１２と情報処理装置１０とによって、ブレイン・マシン・インターフェースが構築されてもよい。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ２２は、ユーザの脳の活動（例えば脳波等）に基づいて操作対象を操作する。プロセッサ２２は、操作対象を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて操作対象を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や、ウェーブレット変換（ＷＴ：Wavelet Transform）、ＴＦＤ（Time Frequency Distribution）、ＥＭ（Eigenvector Methods）、自己回帰モデル（ＡＲＭ：Auto Regressive Method）等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と操作対象の操作内容とを結び付ける方法として、例えば、独立成分分析（ＩＣＡ：Independent Component Analysis）、ｋ平均法、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、畳み込みニューラルネットワーク等が用いられてもよい。

また、プロセッサ２２は、操作対象から送信されてきた、当該操作対象の識別情報を受け付けて、当該操作対象を識別してもよい。例えば、プロセッサ２２は、識別情報の取得の要求を操作対象に送信し、その要求に応じて操作対象から送信されてきた識別情報を取得する。また、情報処理装置１０と接続される等して情報処理装置１０と通信することが可能になったハードウェアから、当該ハードウェアの識別情報や、当該ハードウェアにインストールされているソフトウェアの識別情報が、情報処理装置１０に送信されてもよい。プロセッサ２２は、そのようにして送信されてきた識別情報を受け付ける。

プロセッサ２２は、ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作する。ユーザの生体情報が測定されている場合において、予め定められた時間以上にわたって、当該ユーザの生体情報に基づいて第１操作モードに従って操作対象が操作されない場合、プロセッサ２２は、当該ユーザの生体情報に基づいて、第２操作モードに従って操作対象を操作する。例えば、予め定められた時間以上にわたって、ユーザの生体情報に基づいて第１操作モードに従って操作内容が特定されない場合、プロセッサ２２は、当該ユーザの生体情報に基づいて、第２操作モードに従って操作対象を操作する。以下、当該予め定められた時間を「第１時間」と称することとする。なお、第１時間はユーザによって変更されてもよいし、ユーザ毎に定められてもよい。

例えば、ユーザの生体情報の測定が開始された時点、生体情報の測定が開始した後の特定の時点、ユーザの生体情報を測定する生体情報測定装置１２の電源がオンになった時点、又は、ユーザが生体情報測定装置１２を装着した時点が、基準の時点として定められ、その基準の時点から第１時間以上にわたって、当該ユーザの生体情報に基づいて第１操作モードに従って操作対象が操作されない場合、プロセッサ２２は、当該ユーザの生体情報に基づいて、第２操作モードに従って操作対象を操作する。当該特定の時点は、ユーザが指定してもよいし、予め定められてもよい。

ユーザの生体情報が測定されている場合において、基準の時点から第１時間未満内に、操作対象の操作内容を示す生体情報が当該ユーザから測定された場合、プロセッサ２２は、当該ユーザの生体情報に基づいて第１操作モードに従って当該操作対象を操作してもよい。また、ユーザの生体情報が測定されている場合において、基準の時点から第１時間未満内に、操作対象の操作内容を示す生体情報が当該ユーザから測定されない場合、プロセッサ２２は、当該ユーザの生体情報に基づいて第２操作モードに従って操作対象を操作してもよい。

操作モードが第１操作モードから第２操作モードに切り替えられた場合、プロセッサ２２は、操作モードが第１操作モードから第２操作モードに切り替えられたことをユーザに通知してもよい。例えば、プロセッサ２２は、操作モードが切り替えられたことを示す情報をＵＩ１８の表示装置に表示させてもよいし、当該情報を表す音声を発してもよい。

また、プロセッサ２２は、情報処理装置１０の各部の動作を制御するように構成されている。プロセッサ２２は、メモリを含んでもよい。

なお、プロセッサ２２による処理は、情報処理装置１０以外の装置（例えば、端末装置、サーバ、生体情報測定装置１２、機器１４又はその他の装置等）によって実行されてもよい。また、処理の一部が情報処理装置１０によって実行され、処理の別の一部が情報処理装置１０以外の装置によって実行されてもよい。例えば、生体情報の解析（例えば操作内容を特定する処理）が、情報処理装置１０以外の装置によって実行され、操作対象の操作が、情報処理装置１０によって実行されてもよい。

以下、図３を参照して、情報処理装置１０による処理の流れの一例について説明する。図３には、情報処理装置１０による処理の流れの一例を示すフローチャートが示されている。

まず、プロセッサ２２はユーザの生体情報を取得する（Ｓ０１）。例えば、ユーザの生体情報が生体情報測定装置１２によって測定され、当該生体情報が生体情報測定装置１２から情報処理装置１０に送信され、プロセッサ２２は当該生体情報を取得する。

次に、プロセッサ２２は、ユーザの生体情報に基づいて、第１操作モードに従って操作内容を特定する（Ｓ０２）。例えば、プロセッサ２２は、第１管理情報において、ユーザの生体情報との差異が許容範囲内に含まれる第１基準生体情報を検索し、当該第１基準生体情報に紐付けられている操作情報が示す操作内容を特定する。もちろん、プロセッサ２２は、第１管理情報を用いる方法以外の方法によって操作内容を特定してもよい。

例えば、基準の時点から第１時間未満内に、第１操作モードに従って操作内容が特定された場合（Ｓ０３，Ｙｅｓ）、プロセッサ２２は、その特定された操作内容に従って操作対象を操作する（Ｓ０４）。そして、処理はステップＳ０１に戻る。例えば、ユーザの生体情報との差異が許容範囲内に含まれる第１基準生体情報が第１管理情報から検索された場合、操作内容が特定され、その操作内容に従って操作対象が操作される。

基準の時点から第１時間以上にわたって、第１操作モードに従って操作内容が特定されない場合（Ｓ０３，Ｎｏ）、プロセッサ２２は、ユーザの生体情報に基づいて、第２操作モードに従って操作内容を特定する（Ｓ０５）。つまり、プロセッサ２２は、操作モードを第１操作モードから第２操作モードに切り替える。例えば、基準の時点から第１時間以上にわたって、ユーザの生体情報との差異が許容範囲内に含まれる第１基準生体情報が第１管理情報から検索されない場合、第１操作モードに従って操作内容が特定されない。この場合、ステップＳ０５の処理が実行される。例えば、プロセッサ２２は、第２管理情報において、ユーザの生体情報との差異が許容範囲内に含まれる第２基準生体情報を検索し、当該第２基準生体情報に紐付けられている操作情報が示す操作内容を特定する。もちろん、プロセッサ２２は、第２管理情報を用いる方法以外の方法によって操作内容を特定してもよい。

第２操作モードに従って操作内容が特定された場合（Ｓ０６，Ｙｅｓ）、プロセッサ２２は、その特定された操作内容に従って操作対象を操作する（Ｓ０４）。そして、処理はステップＳ０１に戻る。

例えば、ある時点から第２時間未満内に、第２操作モードに従って操作内容が特定された場合、プロセッサ２２は、その特定された操作内容に従って操作対象を操作する。例えば、ある時点は、上記の基準の時点であってもよいし、操作モードが第１操作モードから第２操作モードに切り替えられた時点であってもよいし、その切り替えの時点から予め定められた時間が経過した時点であってもよい。プロセッサ２２は、操作モードが第１操作モードから第２操作モードに切り替えられたことをユーザに通知してもよい。

操作モードが第１操作モードから第２操作モードに切り替えられて、ユーザの生体情報に基づいて操作対象が操作された場合、以降の処理においては、プロセッサ２２は、第２操作モードに従って操作内容を特定して操作対象を操作してもよい。別の例として、第２操作モードに従って操作対象が操作され始めた時点、第２操作モードに従って操作対象が操作され始めた時点より後の特定の時点、又は、操作モードが第１操作モードから第２操作モードに切り替えられた時点から、予め定められた時間内に、操作モードが第２操作モードから第１操作モードに切り替えられてもよい。また、ユーザの指示に従って、操作モードが第２操作モードに維持されてもよいし、操作モードが第２操作モードから第１操作モードに切り替えられてもよい。

第２時間未満内に第２操作モードに従って操作内容が特定されない場合（Ｓ０６，Ｎｏ）、ユーザの生体情報に基づいて操作対象は操作されず、処理はステップＳ０１に戻る。例えば、ユーザの生体情報との差異が許容範囲内に含まれる第２基準生体情報が第２管理情報から検索されない場合、第２操作モードに従って操作内容が特定されない。この場合、操作対象は操作されない。プロセッサ２２は、第２操作モードに従って操作内容が特定されないことをユーザに通知してもよい。以降の処理において、プロセッサ２２は、第１操作モードに従って操作内容を特定して操作対象を操作してもよいし、第２操作モードに従って操作内容を特定して操作対象を操作してもよい。

以下、図４を参照して、第１管理情報の具体例について説明する。図４には、第１管理情報の一例である第１管理テーブルの一例が示されている。第１管理テーブルのデータは記憶装置２０に記憶されている。第１管理テーブルのデータは、記憶装置２０に記憶されずに、又は、記憶装置２０に記憶されると共に、情報処理装置１０以外の装置に記憶されてもよい。

第１管理テーブルにおいては、ＩＤと、第１基準脳波と、操作対象の操作内容を示す操作情報とが、予め紐付けられている。第１基準脳波は、第１基準生体情報の一例である。ここでは一例として、第１基準生体情報の一例として脳波が用いられているが、脳波以外の生体情報が第１基準生体情報として用いられてもよい。

ＩＤは、第１管理テーブルに登録されている情報を管理するための情報である。

第１基準脳波は、例えば、統計的な処理によって定められ、当該第１基準脳波に紐付けられている操作内容を行うユーザから一般的に発生すると推定される脳波、又は、当該操作内容の実行を要求するユーザから一般的に発生すると推定される脳波である。第１基準脳波は、特定の周波数帯の脳波であってもよいし、複数の周波数帯の脳波を含む脳波であってもよい。

操作情報は、操作対象を識別するための情報である識別情報と、当該操作対象に対して行われる操作内容を示す情報とを含む情報である。

例えば、ハードウェアの操作内容は、当該ハードウェアの電源をオン又はオフする操作であってもよいし、当該ハードウェアの機能レベルを設定する操作であってもよい。電源をオン又はオフする操作と機能レベルを設定する操作の両方が、操作内容として第１管理テーブルに登録されてもよい。

機能レベルは、例えば、ハードウェアの性能や出力に関するレベルである。具体例を挙げて説明すると、空調機の設定温度、空調機の風量、空調機の風向き、空調機の除湿機能の有無、表示装置の輝度、照明装置の輝度、スピーカの音量、自走可能な装置（例えばロボットや自走式の掃除機等）の移動速度、撮像装置や記録装置や再生装置等の装置の設定値、冷蔵庫や炊飯器や電子レンジ等の装置の設定値、及び、各種のセンシング機器の設定値等が、機器レベルの一例に相当する。これらは一例に過ぎず、これら以外の設定値等が機能レベルであってもよい。

例えば、ＩＤ「１」の第１基準脳波は、空調機の冷房をオンするという操作内容を示す脳波である。ＩＤ「２」の第１基準脳波は、空調機の冷房をオフするという操作内容を示す脳波である。

例えば、操作モードが第１操作モードである場合において、ＩＤ「１」の第１基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２２は、当該第１基準脳波に紐付けられている「空調機の冷房をオンする」という操作内容を特定する。そして、プロセッサ２２は、「空調機の冷房をオンする」という操作内容を示す情報を含む制御情報を、当該空調機に送信する。当該空調機は当該制御情報に従って動作する。これにより、当該空調機の冷房がオンする。

以下、図５を参照して、第２管理情報の具体例について説明する。図５には、第２管理情報の一例である第１管理テーブルの一例が示されている。第１管理テーブルのデータは記憶装置２０に記憶されている。第１管理テーブルのデータは、記憶装置２０に記憶されずに、又は、記憶装置２０に記憶されると共に、情報処理装置１０以外の装置に記憶されてもよい。

第２管理テーブルにおいては、ＩＤと、第２基準脳波と、操作対象の操作内容を示す操作情報とが、予め紐付けられている。第２基準脳波は、第２基準生体情報の一例である。ここでは一例として、第２基準生体情報の一例として脳波が用いられているが、脳波以外の生体情報が第２基準生体情報として用いられてもよい。

ＩＤは、第２管理テーブルに登録されている情報を管理するための情報である。第２管理テーブルに登録されている操作情報は、第１管理テーブルに登録されている操作情報と同じ操作情報である。

第２基準脳波は、第１基準脳波を基準として振幅や特徴が変更された波形を有する脳波である。

例えば、第２基準脳波の振幅は、第１基準脳波の振幅よりも小さい。具体例を挙げて説明すると、ＩＤ「１」の第２基準脳波は、ＩＤ「１」の第１基準脳波と同じ数のピークを有する波形であるが、ＩＤ「１」の第２基準脳波の各ピークの振幅は、ＩＤ「１」の第１基準脳波の各ピークの振幅よりも小さい。例えば、第１基準脳波の各ピークの振幅が第１閾値として用いられ、第２基準脳波の各ピークの振幅が第２閾値としても用いられてもよい。別の例として、第２基準脳波の特徴量は、第１基準脳波の特徴量よりも少なくてもよい。特徴量は、例えば波形のピークの数である。

例えば、操作モードが第２操作モードである場合において、ＩＤ「１」の第２基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２２は、当該第２基準脳波に紐付けられている「空調機の冷房をオンする」という操作内容を特定する。そして、プロセッサ２２は、「空調機の冷房をオンする」という操作内容を示す情報を含む制御情報を当該空調機に送信することで、当該空調機の冷房をオンする。

例えば、ユーザの生体情報が測定されている場合において、基準の時点から第１時間未満内に、第１管理テーブル中のＩＤ「１」の第１基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２２は、当該第１基準脳波に紐付けられている「空調機の冷房をオンする」という操作内容を特定し、当該空調機の冷房をオンする。

ユーザの生体情報が測定されている場合において、基準の時点から第１時間以上にわたって、第１管理テーブルに登録されている各第１基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定されない場合、プロセッサ２２は、第２管理テーブルを用いることで操作内容を特定する。例えば、第２管理テーブル中のＩＤ「１」の第２基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２２は、当該第２基準脳波に紐付けられている「空調機の冷房をオンする」という操作内容を特定し、当該空調機の冷房をオンする。

ユーザ毎に、第１基準生体情報と操作情報とが紐付けられて第１管理テーブルに登録されてもよい。例えば、ユーザの生体情報が、当該ユーザの第１基準生体情報として第１管理テーブルに登録されてもよい。同様に、ユーザ毎に、第２基準生体情報と操作情報とが紐付けられて第２管理テーブルに登録されてもよい。第２基準生体情報は、第１基準生体情報を基準として振幅や特徴が変更された生体情報である。

図６には、個々のユーザの具体的な第１基準生体情報が登録されている第１管理テーブルの一例が示されている。図６に示されている第１管理テーブルにおいては、ＩＤと、ユーザ情報と、第１基準生体情報の一例である第１基準脳波と、操作情報とが紐付けられている。ユーザ情報は、ユーザを識別するための情報（例えば、ユーザ名やユーザＩＤやユーザアカウント等）である。

ユーザ情報に紐付けられている第１基準脳波は、当該ユーザ情報が示すユーザが、当該第１基準脳波に紐付けられている操作内容を行うときに当該ユーザから測定された脳波、又は、当該ユーザが当該操作内容を要求するときに当該ユーザから測定された脳波である。各ユーザから測定された各第１基準脳波は、予め各ユーザから測定されて第１管理テーブルに登録される。

例えば、ユーザＡが「空調機」の冷房を手動でオンしたときにユーザＡの脳波が生体情報測定装置１２によって測定され、その測定された脳波が、ユーザＡが「空調機の冷房をオンする」という操作内容を表す第１基準脳波として、第１管理テーブルに登録される。

この場合、測定されたユーザＡの当該第１基準脳波と、「空調機の冷房をオン」するという操作内容を示す操作情報と、ユーザＡを識別するためのユーザ情報とが紐付けられて第１管理テーブルに登録される。その登録は、情報処理装置１０を用いて行われてもよいし、他の装置を用いて行われてもよい。図６に示す例では、これらの情報はＩＤ「１」の情報として登録される。他の操作や他のユーザについても同様である。

なお、登録の作業を複数回行い、これによって測定された複数の脳波の平均を、第１基準脳波として登録してもよい。例えば、ユーザＡが「空調機」の冷房を手動でオンし、そのときにユーザＡから発生した脳波を生体情報測定装置１２によって測定するという作業を、複数回行い、これによって測定された複数の脳波の平均を、ユーザＡの第１基準脳波として第１管理テーブルに登録してもよい。

例えば、操作モードが第１操作モードである場合において、ユーザＡが情報処理装置１０にログインしている状態で、ユーザＡから、ＩＤ「１」の第１基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ２２は、ＩＤ「１」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。より詳しく説明すると、ユーザＡが情報処理装置１０にログインしているときに、生体情報測定装置１２によって脳波が測定されると、プロセッサ２２は、ログインしているユーザＡを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている第１基準脳波を検索する。図６に示す例では、ＩＤ「１」の第１基準脳波とＩＤ「２」の第１基準脳波が、ユーザＡの基準脳波として管理テーブルに登録されているため、これらの第１基準脳波が検索される。測定された脳波とＩＤ「１」の第１基準脳波との差異が許容範囲内である場合、プロセッサ２２は、ＩＤ「１」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。測定された脳波とＩＤ「２」の第１基準脳波との差異が許容範囲内である場合、プロセッサ２２は、ＩＤ「２」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオフする。

別の例として、操作モードが第１操作モードである場合において、操作対象を操作するユーザが「ユーザＡ」であることが情報処理装置１０に設定されている状態で、ユーザＡから、ＩＤ「１」の第１基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ２２は、ＩＤ「１」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンしてもよい。より詳しく説明すると、操作対象を操作するユーザが「ユーザＡ」であることが情報処理装置１０に設定されている状態で、生体情報測定装置１２によって脳波が測定されると、プロセッサ２２は、操作対象を操作するユーザであるユーザＡを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている第１基準脳波を検索する。測定された脳波とＩＤ「１」の第１基準脳波との差異が許容範囲内である場合、プロセッサ２２は、ＩＤ「１」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。操作対象を操作するユーザは、例えば、ユーザによって情報処理装置１０に設定される。

ユーザＡ以外の他のユーザについても、ユーザＡと同様に、各情報が第１管理テーブルに登録される。

図７には、個々のユーザの具体的な第２基準生体情報が登録されている第２管理テーブルの一例が示されている。図７に示されている第２管理テーブルにおいては、ＩＤと、ユーザ情報と、第２基準生体情報の一例である第２基準脳波と、操作情報とが紐付けられている。

図５に示されている第２管理テーブルと同様に、第２基準脳波は、第１基準脳波を基準として振幅や特徴が変更された波形を有する脳波である。

例えば、第２基準脳波の振幅は、第１基準脳波の振幅よりも小さい。具体例を挙げて説明すると、ＩＤ「１」の第２基準脳波は、ＩＤ「１」の第１基準脳波と同じ数のピークを有する波形であるが、ＩＤ「１」の第２基準脳波の各ピークの振幅は、ＩＤ「１」の第１基準脳波の各ピークの振幅よりも小さい。別の例として、第２基準脳波の特徴量は、第１基準脳波の特徴量よりも少なくてもよい。特徴量は、例えば波形のピークの数である。

例えば、図６に示されている各第１基準脳波が加工されることで、図７に示されている各第２基準脳波が生成される。その加工は、情報処理装置１０によって行われてもよいし、他の装置によって行われてもよい。

例えば、操作モードが第２操作モードである場合において、ユーザＡが情報処理装置１０にログインしている状態で、ユーザＡから、ＩＤ「１」の第２基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ２２は、ＩＤ「１」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。

ユーザＡ以外の他のユーザについても、ユーザＡと同様に、各情報が第２管理テーブルに登録される。

図４から図７には、ハードウェアの電源をオン又はオフする操作を示す操作情報が示されているが、ハードウェアの機能レベルの設定を示す操作情報が各管理テーブルに登録されてもよい。また、ソフトウェアの操作内容を示す操作情報が、各管理テーブルに登録されてもよい。ハードウェアの操作内容を示す操作情報とソフトウェアの操作内容を示す操作情報の両方が、各管理テーブルに登録されてもよい。

なお、第１管理テーブルに登録されている情報と第２管理テーブルに登録されている情報は、別々の管理テーブルに登録されずに、同じ管理テーブルに登録されてもよい。例えば、ＩＤと第１基準脳波と第２基準脳波と操作情報とが、予め紐付けられて同じ管理テーブルに登録されてもよい。これらの情報にユーザ情報が更に紐付けられてもよい。

以下、各実施例について説明する。

（実施例１）
以下、図８を参照して、実施例１について説明する。図８には、生体情報の時間変化を示すグラフが示されている。横軸は時間を示しており、縦軸は振幅を示している。

実施例１においては、プロセッサ２２は、第１操作モードでは、ユーザの生体情報と第１閾値との比較の結果に従って操作対象を操作する。また、プロセッサ２２は、第２操作モードでは、ユーザの生体情報と、第１閾値とは異なる第２閾値との比較の結果に従って、操作対象を操作する。第２閾値は、第１閾値よりも小さい値である。以下、実施例１について詳しく説明する。

図８中の波形２４は、ある操作内容Ｘを示す操作情報に紐付けられている第１基準生体情報の一例である。波形２４の各ピークの振幅は、第１閾値として用いられる。波形２６は、当該操作内容Ｘを示す操作情報に紐付けられている第２基準生体情報の一例である。波形２６の各ピークの振幅は、第２閾値として用いられる。波形２６の各ピークの振幅は、波形２４の各ピークの振幅よりも小さい。つまり、第２閾値は第１閾値よりも小さい。

例えば、波形２４，２６は脳波である。波形２４は、第１管理テーブルに登録されている第１基準脳波の一例である。波形２６は、第２管理テーブルに登録されている第２基準脳波の一例である。波形２４，２６は共に、同じ操作内容Ｘを示す操作情報に紐付けられている基準脳波である。波形２４，２６は、脳波以外の生体情報であってもよい。

第１操作モードにおいては、プロセッサ２２は、ユーザの生体情報（例えば脳波）が示す波形と波形２４とを比較する。ユーザの生体情報が示す波形の形状が、波形２４の形状に相似又は類似する波形であり、ユーザの生体情報が示す波形の各ピークの振幅が、波形２４の各ピークの振幅以上である場合、プロセッサ２２は、波形２４に紐付けられている操作情報が示す操作内容Ｘを特定する。つまり、ユーザの生体情報が示す波形の各ピークの振幅が、波形２４が示す第１閾値以上である場合、プロセッサ２２は、波形２４に紐付けられている操作情報が示す操作内容Ｘを特定する。プロセッサ２２は、特定した操作内容Ｘを示す操作情報を含む制御情報に従って操作対象を操作する。

第２操作モードにおいては、プロセッサ２２は、ユーザの生体情報（例えば脳波）が示す波形と波形２６とを比較する。ユーザの生体情報が示す波形の形状が、波形２６の形状に相似又は類似する波形であり、ユーザの生体情報が示す波形の各ピークの振幅が、波形２６の各ピークの振幅以上である場合、プロセッサ２２は、波形２６に紐付けられている操作情報が示す操作内容Ｘを特定する。つまり、ユーザの生体情報が示す波形の各ピークの振幅が、波形２６が示す第２閾値以上である場合、プロセッサ２２は、波形２６に紐付けられている操作情報が示す操作内容Ｘを特定する。プロセッサ２２は、特定した操作内容Ｘを示す操作情報を含む制御情報に従って操作対象を操作する。

例えば、プロセッサ２２は、基準の時点から第１時間未満内においては、第１操作モードに従って、ユーザの脳波と第１管理テーブルに登録されている各第１基準脳波とを比較する。ユーザの脳波が示す波形の形状が、波形２４の形状に相似又は類似する波形であり、ユーザの脳波が示す波形の各ピークの振幅が、波形２４の各ピークの振幅以上である場合、プロセッサ２２は、波形２４に紐付けられている操作情報が示す操作内容Ｘを特定する。

基準の時点から第１時間以上にわたって、第１操作モードに従って操作内容が特定されない場合、プロセッサ２２は、第２操作モードに従って、ユーザの脳波と第２管理テーブルに登録されている各第２基準脳波とを比較する。ユーザの脳波が示す波形の形状が、波形２６の形状に相似又は類似する波形であり、ユーザの脳波が示す波形の各ピークの振幅が、波形２６の各ピークの振幅以上である場合、プロセッサ２２は、波形２６に紐付けられている操作情報が示す操作内容Ｘを特定する。

すなわち、基準の時点から第１時間以上にわたって、第１操作モードに従って操作内容が特定されない場合、プロセッサ２２は、閾値を第１閾値から第２閾値に下げて、第２閾値を用いることで、ユーザの脳波に対応する操作内容を特定する。

例えば、生体情報測定装置１２の電極やセンサ等の接触不良、操作対象を操作するための生体情報をどのようにして発生させるのかがユーザにおいて分からない、ユーザが生体情報をうまく発生させることが困難である、又は、ユーザがどのような事柄を想起すれば操作対象を操作することができるのか分からない等といった理由で、操作対象に操作を指示することができない事態が生じ得る。そのような場合、操作モードを第１操作モードから第２操作モードに切り替えることで、そのような事態の発生を抑制又は防止することができる。

なお、第１閾値及び第２閾値は、振幅以外のパラメータに関する閾値であってもよい。例えば、第１閾値及び第２閾値は、波形の周波数や周波数帯に関する閾値であってもよい。この場合、プロセッサ２２は、ユーザの生体情報が示す波形の周波数や周波数帯と、閾値である周波数や周波数帯とを比較することで、操作内容を特定してもよい。

（実施例２）
以下、図９を参照して、実施例２について説明する。図９には、生体情報が示す波形の一例が示されている。

実施例２においては、プロセッサ２２は、第２操作モードでは、ユーザの生体情報を測定するセンサ（例えば生体情報測定装置１２）の感度を、第１操作モードでの感度よりも上げる。つまり、プロセッサ２２は、第２操作モードにおける検出感度を、第１操作モードにおける検出感度よりも上げる。

波形２８は、第１操作モードにおいて測定された生体情報が示す波形である。波形３０は、第２操作モードにおいて測定された生体情報が示す波形である。第２操作モードでは、第１操作モードよりも検出感度が高くなっているため、波形３０の振幅は、波形２８の振幅よりも振幅ΔＳの分だけ大きい。

実施例２では、第２管理テーブルは用いられず、第１管理テーブルが用いられる。つまり、プロセッサ２２は、第１操作モード及び第２操作モードのいずれにおいても、第１管理テーブルを参照することで操作内容を特定する。

例えば、波形２８，３０が脳波を表しているものとする。プロセッサ２２は、基準の時点から第１時間未満内においては、第１操作モードに従って、ユーザから測定された波形２８と第１管理テーブルに登録されている各第１基準脳波とを比較することで操作内容を特定する。

基準の時点から第１時間以上にわたって、第１操作モードに従って操作内容が特定されない場合、プロセッサ２２は、第２操作モードに従って、検出感度が上げられてユーザから測定された波形３０と第１管理テーブルに登録されている各第１基準脳波とを比較することで操作内容を特定する。

例えば、ユーザの不慣れ等の理由で、操作対象を操作するために必要な強度（例えば振幅）を有する生体情報がユーザから測定されない事態が発生し得る。そのような場合、操作モードを第１操作モードから第２操作モードに切り替えることで、そのような事態の発生を抑制又は防止することができる。

（実施例３）
以下、図１０を参照して、実施例３について説明する。図１０には、生体情報の時間変化を示すグラフが示されている。横軸は時間を示しており、縦軸は振幅を示している。

波形３２は、ある操作内容Ｘを示す操作情報に紐付けられている第１基準生体情報の一例である。波形３２は、３つのピーク（例えばピーク３２ａ，３２ｂ，３２ｃ）を有する波形である。ピーク３２ａ，３２ｂ，３２ｃは、波形３２の特徴を表している。

波形３４は、ユーザから測定された生体情報である。波形３４は、２つのピーク（例えばピーク３４ｂ，３４ｃ）を有する波形である。ピーク３４ｂ，３４ｃは、波形３４の特徴を表している。

例えば、波形３２，３４は脳波である。波形３２は、第１管理テーブルに登録されている第１基準脳波の一例である。波形３４は、ユーザから測定された脳波である。波形３２，３４は、脳波以外の生体情報であってもよい。

第１操作モードにおいては、プロセッサ２２は、ユーザの生体情報（例えば脳波）の特徴と第１基準生体情報の特徴との一致点に応じて操作対象を操作する。例えば、プロセッサ２２は、ユーザの生体情報が示す波形が有するピークの数と、第１基準生体情報が示す波形が有するピークの数とを比較し、ユーザの生体情報が示す波形が有する各ピークの時間軸上の位置と、第１基準生体情報が示す波形が有する各ピークの時間軸上の位置とを比較する。

第２操作モードにおいて、プロセッサ２２は、ユーザの生体情報の特徴と第１基準生体情報の特徴との一致点の数が第１操作モードでの一致点の数よりも少ない場合であっても、操作対象を操作する。

例えば、第１操作モードにおいては、ユーザの生体情報の特徴と第１基準生体情報の特徴との一致点の数が第３閾値以上である場合、プロセッサ２２は、当該第１基準生体情報に紐付けられている操作情報が示す操作内容を特定する。

また、第２操作モードにおいては、ユーザの生体情報の特徴と第１基準生体情報の特徴との一致点の数が第４閾値以上である場合、プロセッサ２２は、当該第１基準生体情報に紐付けられている操作情報が示す操作内容を特定する。第４閾値は、第３閾値よりも小さい値である。

例えば、プロセッサ２２は、基準の時点から第１時間未満内においては、第１操作モードに従って、ユーザの脳波と第１管理テーブルに登録されている各第１基準脳波とを比較する。

例えば、第３閾値は「３」であるものとする。３つのピークを有する波形を示す脳波であって、各ピークの位置がピーク３２ａ，３２ｂ，３２ｃのそれぞれの位置に対応する波形を示す脳波が、ユーザから測定された場合、プロセッサ２２は、波形３２を示す第１基準脳波に紐付けられている操作情報が示す操作内容を特定する。つまり、特徴の一致点の数が第３閾値以上であるため、プロセッサ２２は、波形３２が示す第１基準脳波に紐付けられている操作情報が示す操作内容を特定する。

基準の時点から第１時間以上にわたって、第１操作モードに従って操作内容が特定されない場合、プロセッサ２２は、第２操作モードに従って、ユーザの脳波と第１管理テーブルに登録されている各第１基準脳波とを比較する。

例えば、波形３４がユーザから測定されたものとする。波形３４のピーク３４ｂは、波形３２のピーク３２ｂに対応するピークであり、波形３４のピーク３４ｃは、波形３２のピーク３２ｃに対応するピークである。特徴の一致点の数は「２」であり、第３閾値未満であるため、第１操作モードでは、波形３４に基づいて操作内容は特定されない。第４閾値が「２」である場合、特徴の一致点の数は第４閾値以上であるため、プロセッサ２２は、波形３２が示す第１基準脳波に紐付けられている操作情報が示す操作内容を特定する。

また、プロセッサ２２は、操作対象の操作内容を示す生体情報とユーザの生体情報とを並べてＵＩ１８の表示装置やユーザの端末装置の表示装置等に表示させてもよい。図１０に示す例では、プロセッサ２２は、波形３２，３４を並べて表示装置に表示させる。プロセッサ２２は、波形３２，３４を重ねて表示装置に表示させてもよい。波形３２は、操作対象を操作するための生体情報であり、ユーザが目標とすべき生体情報であるといえる。ユーザは、自分自身の生体情報である波形３４と目標の波形である波形３２とを比較しながら、生体情報の発生を制御することができる。

実施例３では、第２管理テーブルは用いられず、第１管理テーブが用いられる。つまり、プロセッサ２２は、第１操作モード及び第２操作モードのいずれにおいても、第１管理テーブルを参照することで操作内容を特定する。

別の例として、特徴（例えばピーク）の数が第１基準脳波よりも少ない第２基準脳波が第２管理テーブルに登録され、第２操作モードでは、当該第２管理テーブルを用いることで操作内容が特定されてもよい。例えば、第２管理テーブルには、波形３２よりもピークの数が１つ少ない波形が第２基準脳波として登録される。プロセッサ２２は、第２操作モードにおいては、ユーザの脳波と第２管理テーブルに登録されている各第２基準脳波とを比較し、特徴の一致点の数が第４閾値以上となる第２基準脳波を検索し、当該第２基準脳波に紐付けられている操作情報が示す操作内容を特定する。

（実施例４）
以下、図１１を参照して、実施例４について説明する。図１１には、画面が示されている。

ユーザの生体情報が示す操作内容の候補が複数ある場合、プロセッサ２２は、当該複数の候補をユーザに通知する。例えば、第１操作モード及び第２操作モードのそれぞれにおいて、ユーザの生体情報に基づいて複数の操作内容が特定された場合、プロセッサ２２は、当該複数の操作内容をユーザに通知する。

例えば、図１１に示すように、プロセッサ２２は、画面３６を、ＵＩ１８の表示装置やユーザの端末装置の表示装置等に表示させる。図１１に示す例では、「冷房をオンする」という操作内容や、「扇風機をオンする」という操作内容等が特定されており、それらを示す情報が表示される。なお、プロセッサ２２は、画面３６を表示すると共に、又は、画面３６を表示せずに、特定された複数の操作内容を表す音声をスピーカから発してもよい。

プロセッサ２２は、複数の操作内容がユーザに通知された後、生体情報以外の手法によってユーザから操作の指示を受けた場合、当該指示に従って操作対象を操作する。例えば、ユーザが画面３６上にて操作内容を指定し、当該操作内容の実行を指示した場合（例えば「ＯＫ」ボタンを押した場合）、プロセッサ２２は、当該指示を受けて、当該指示に従って操作対象を操作する。例えば、ユーザが画面３６上で「冷房をオンする」という操作内容を指定し、当該操作内容の実行を指示した場合、プロセッサ２２は、空調機の冷房をオンする。

プロセッサ２２は、複数の操作内容がユーザに通知された後、予め定められた時間以内に、生体情報以外の手法によってユーザから指示を受けた場合、当該指示に従って操作対象を操作してもよい。プロセッサ２２は、予め定められた時間が経過した後に、生体情報以外の手法によってユーザから指示を受けても、当該指示に従って操作対象を操作しない。

（実施例５）
以下、実施例５について説明する。

第２操作モードにおいては、プロセッサ２２は、操作対象の操作内容を示す生体情報の発生を促すための処理を実行してもよい。例えば、プロセッサ２２は、操作内容を示す生体情報がユーザから発生し易くなる環境を形成する。プロセッサ２２は、操作内容を示す生体情報がユーザから発生することを妨げる原因を除去する処理を実行してもよい。

具体的には、プロセッサ２２は、人がリラックスすると推定される音楽をスピーカから発してもよいし、照明を暗くする等して明るさを調整してもよいし、ノイズ音をキャンセルしてもよいし、ユーザの周囲の音を除去してもよい。例えば、生体情報測定装置１２がヒアラブル装置である場合、プロセッサ２２は、人がリラックスすると推定される音楽を流したり、ノイズ音をキャンセルしたり、周囲の音を除去したりする。

操作内容を示す生体情報の発生を促すための処理は、操作モードが第１操作モードから第２操作モードに切り替えられた後に、自動的に実行されてもよいし、ユーザの指示に従って実行されてもよい。

なお、上述した実施例１から実施例４においても、操作内容を示す生体情報の発生を促すための処理が実行されてもよい。

上述した各実施例において、第１操作モードでは、操作対象は、ユーザの生体情報のみに基づいて操作されてもよい。この場合において、プロセッサ２２は、第２操作モードにでは、生体情報以外のユーザの操作に基づいて操作対象が操作されるように操作対象を制御してもよい。例えば、機器１４は、第１操作モードでは、生体情報の一例である脳波のみに基づいて操作されてもよい。機器１４は、脳波のみを受け付けて動作し、脳波以外の生体情報やユーザの指示を受け付けなくてもよい。プロセッサ２２は、第２操作モードでは、脳波以外のユーザの操作を受け付けることを機器１４に指示する。機器１４は、当該指示に従って、脳波以外のユーザの操作を受け付けて動作する。例えば、ユーザは、端末装置を用いて機器１４を操作してもよいし、機器１４のＵＩを用いて機器１４を操作してもよい。なお、操作対象は、機器１４以外のハードウェアやソフトウェアであってもよい。

予め定められた時間以上にわたってユーザから脳波が測定されない場合、又は、操作内容を示す脳波が、予め定められた時間以上にわたってユーザから測定されない場合、プロセッサ２２は、脳波以外のユーザの操作を受け付けることを機器１４に指示してもよい。

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

１０情報処理装置、１２生体情報測定装置、１４機器、２２プロセッサ。

Claims

プロセッサを有し、
前記プロセッサは、
ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作し、
前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作し、
前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作し、
前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作する、
情報処理装置。
コンピュータに、
ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作させ、
前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作させ、
前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作させ、
前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作させる、
プログラム。
コンピュータが、
ユーザの生体情報に基づいて第１操作モードに従って操作対象を操作し、
前記ユーザの生体情報が測定されている場合において、前記ユーザの生体情報に基づいて前記第１操作モードに従って前記操作対象が操作されない場合、前記ユーザの生体情報に基づいて、前記第１操作モードとは異なる第２操作モードに従って前記操作対象を操作し、
前記第１操作モードでは、前記ユーザの生体情報の特徴と前記操作対象の操作内容を示す生体情報である基準生体情報の特徴との相似又は類似の関係性に応じて前記操作対象を操作し、
前記第２操作モードでは、前記相似又は類似の関係性が前記第１操作モードでの前記関係性よりも相似又は類似しない場合でも、前記操作対象を操作する、
方法。