JP2024504041A - ウェアラブル脳波センサーおよびそれを用いた機器制御方法 - Google Patents

Abstract

【要約】本明細書では、検出された脳活動に基づいて電子装置を制御するシステムおよび方法が開示される。たとえば、システムには、一連の乾式ＥＥＧセンサー、カメラ、プロセッサ、およびプログラミング命令を備えたウェアラブル耳かけ型電子装置が含まれる。プログラミング命令により、プロセッサはカメラから画像を受信し、その画像を処理して既知の装置に対応する特徴を識別し、ＥＥＧセンサーから脳波信号を受信する。このシステムは、脳波信号を比較して脳活動のレベルを測定する。（ａ）既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱する脳活動レベルの両方が検出されると、システムは、既知の装置を作動させ、前記既知の装置のコントローラにコマンド信号を送信させるように構成されたコマンド信号を生成する。【選択図】 図１

Description

（関連出願への相互参照）
本出願は、２０２１年１１月５日に出願された米国特許出願第１７／５２０，２５５号および２０２１年１１月５日に出願された米国特許出願第１７／５２０，２３７号に対する優先権を主張し、両出願は、２０２０年１２月３０日に提出された米国仮出願第６３／１３２，００１号の３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に基づく優先権を主張し、その開示内容全体が参照により本明細書に組み込まれる。

脳波検査は、人間の頭皮上の電気活動を非侵襲的に記録する電気生理学的モニタリング方法であり、その下の脳の表層の巨視的な活動を表すことが示されている。ブレイン・コンピュータ・インターフェイス（ＢＣＩ）は、脳信号をマシンコマンドに変換することにより、ユーザーが外部環境と対話するのに役立つ通信システムである。脳波（ＥＥＧ）信号の使用は、その使いやすさと信頼性により、ＢＣＩの最も一般的なアプローチとなっている。しかし、既存のＢＣＩは、通常の日常活動中に着用するには不快、不体裁、および／または扱いにくい傾向がある。

本明細書は、上述したような問題および／または他の問題に対処する方法およびシステムについて説明する。

本開示は、ウェアラブル脳波センサーおよび関連する装置制御方法、および環境内の制御可能な物体のデータベースを開発する方法に関する実施形態を説明する。一実施形態では、人の脳波を検出するシステムが開示される。このシステムは、人の耳にフィットするように構成されたハウジングを含む。ハウジングは、耳上のブリッジと、ブリッジから人のこめかみ上の位置まで前方に延びる第１の部分と、ブリッジから後方に延びる第２の部分とを含む。このシステムはさらに、第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、第１の部分に配置された第２の乾式ＥＥＧセンサーと、電源と、プロセッサと、プロセッサと通信するカメラと、プロセッサと通信する送信機とを含む。

本開示の実装には、以下の任意選択の機能が１つ以上含まれてよい。いくつかの実施形態では、カメラは第１の部分に配置され、ハウジングを耳に装着したときに人の視野内の物体の画像を取り込むように構成される。いくつかの実装形態では、システムは、ハウジングから下方に延在し、人が装着したときに耳たぶの下にフィットするように配置された可撓性イヤピースと、可撓性イヤピース内に配置された第３の乾式ＥＥＧセンサーとを含む。このシステムは、ハウジング内に配置された位置センサーまたは配向センサーをさらに含むことができる。いくつかの例では、システムは、ハウジング内に配置されたメモリを含む。メモリは、既知の装置に関連付けられた特徴、つまり既知の装置の取り込まれた画像から抽出された特徴を表すデータを含むデータストアを保持することができる。

一実施形態では、環境内の１つ以上の物体を制御する方法が開示される。この方法は、電子装置のプロセッサによって、ＥＥＧセンサーを有する電子装置のカメラから画像を受信する工程と、既知の装置に対応する特徴を識別するために画像を処理するステップとを含む。この方法は、少なくとも２つのＥＥＧセンサーから脳波信号を受信する工程と、脳波信号を比較して脳活動のレベルを測定する工程とを含む。（ａ）既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱する脳活動レベルの両方が検出されると、この方法は、既知の装置を作動させるように構成されたコマンド信号を生成し、コマンド信号を既知の装置（または既知の装置のコントローラ）に送信する工程を含む。

本開示の実装には、以下の任意選択の特徴のうちの１つまたは複数を含めることができる。いくつかの実装形態では、既知の装置に対応する特徴を識別するために画像を処理する工程は、画像から１つ以上の画像特徴を抽出する工程と、その画像特徴を、既知の装置の以前に取り込まれた画像から抽出された１つ以上の既知の特徴と比較する工程を含む。画像特徴を１つ以上の既知の特徴と比較する工程は、少なくとも閾値数の画像特徴が既知の特徴に対応することを決定する工程を含む。この特徴には、既知の装置の表面に刻印されたシンボルまたはシンボルのパターンを含んでもよい。この方法は、画像を毎秒少なくとも２回の速度で受信する工程をさらに含むことができる。

いくつかの例では、電子装置は、慣性測定ユニット（ＩＭＵ）を含み、方法は、既知の装置が調整可能な設定点を有するとの決定に応答して、ＩＭＵを使用して設定点を調整する工程をさらに含む。いくつかの例では、電子装置は慣性測定ユニット（ＩＭＵ）を含み、方法は、既知の装置が電子ユーザーインターフェースであるとの決定に応答して、ＩＭＵを使用して、作動が起こる電子ユーザーインターフェース上の位置を選択する工程をさらに含む。

一実施形態では、環境内の１つ以上の物体を制御するシステムが開示される。このシステムには、一組の乾式ＥＥＧセンサー、カメラ、プロセッサ、およびプログラミング命令を備えたウェアラブル耳かけ型電子装置が含まれる。プログラミング命令は、プロセッサがカメラから画像を受信し、その画像を処理して既知の装置に対応する特徴を識別し、少なくとも２つのＥＥＧセンサーから脳波信号を受信するように構成される。このシステムは脳波信号を比較して脳活動のレベルを測定する。（ａ）既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱した脳活動レベルの両方が検出されると、システムは既知の装置を作動させるように構成されたコマンド信号を生成し、既知の装置（または既知の装置のコントローラ）へコマンド信号を送信する。

本開示の実装には、以下の任意選択の機能が１つ以上含まれてもよい。脳波信号にはベータ波信号が含まれてもよい。既知の装置に対応する特徴には、既知の装置の表面の形状が含まれ得る。この特徴には、既知の装置の表面に刻印されたシンボルまたはシンボルのパターンが含まれる場合がある。いくつかの例では、システムは、慣性測定ユニット（ＩＭＵ）と、既知の装置が調整可能な設定点を有するとの決定に応答して、プロセッサに、ＩＭＵを使用して設定点を調整させるように構成された追加のプログラミング命令とをさらに含む。いくつかの例では、システムは、慣性測定ユニット（ＩＭＵ）と、既知の装置が電子ユーザーインターフェースであるとの決定に応答してプロセッサに、ＩＭＵを使用して作動が起こる電子ユーザーインターフェイス上の位置を選択させるように構成された追加のプログラミング命令とをさらに含む。

ウェアラブル耳かけ型電子装置は、人の耳にフィットするように構成されたハウジングをさらに含むことができ、ハウジングは、耳の上にブリッジを含み、ブリッジから人のこめかみ上の位置まで前方に延在する第１の部分、およびブリッジから後方に延びる第２の部分をさらに含む。ウェアラブル耳かけ型電子装置は、第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、第１の部分に配置された第２の乾式ＥＥＧセンサーと、電源と、プロセッサと通信する送信機とをさらに含み得る。

ウェアラブル耳かけ型電子装置は、既知の装置に対応する既知の特徴を含むデータストアをさらに含んでもよく、既知の特徴は、既知の装置の以前に取り込まれた画像から抽出されたものである。プログラミング命令は、受信した画像から１つ以上の画像特徴を抽出し、その画像特徴を既知の特徴と比較して既知の装置を識別するための命令を含むことができる。画像特徴を既知の特徴と比較する命令は、閾値数の画像特徴が既知の特徴に対応することを決定する命令を含むことができる。

一実施形態では、環境内の物体のデータベースを開発する方法が開示される。この方法は、カメラを備えたモバイル装置を使用して、環境内の物体の画像を取り込む工程を含む。各物体について、この方法は、ユーザーインターフェースを介して、物体のユーザーによる選択を受信する工程と、ユーザーによる選択の受信に応答して、物体の認識可能な特徴のパターンを作成する工程とを含む。認識可能な特徴のパターンは、１つ以上の画像内の物体に関連する特徴を識別し、その特徴をモバイル装置とウェアラブル電子装置の間の通信リンクを介してウェアラブル電子装置に送信し、パターンをウェアラブル電子装置のデータストアに保存することによって作成される。

本開示の実装には、以下の任意選択の機能が１つ以上含まれる場合がある。いくつかの例では、方法は、選択された物体に関連付けられた実行可能コマンドを受信する工程と、通信リンクを介して実行可能コマンドをウェアラブル電子装置に送信する工程とをさらに含み、これにより、ウェアラブル電子装置に実行可能コマンドをパターンに関連付けさせる。実行可能コマンドは、ウェアラブル電子装置によって実行されると、ウェアラブル電子装置に物体の設定を調整させることができる。特徴を識別する工程は、１つ以上の画像内の１つ以上のキーポイントを特定する工程と、キーポイントに識別子を割り当てる工程を含むことができる。識別子には、バイナリロバスト独立基本特徴（ＢＲＩＥＦ）記述子が含まれる場合がある。物体のユーザーによる選択を受信する工程は、物体の画像のユーザーによる選択を受信する工程を含んでもよい。

一実施形態では、機械学習モデルをトレーニングする方法が開示される。この方法は、カメラを備えたモバイル装置を使用して、環境内の物体の画像を取り込む工程を含む。各物体について、この方法は、ユーザーインターフェースを介して物体のユーザーによる選択を受信する工程と、選択された物体に関連付けられたコマンドを受信する工程と、ユーザーによる選択の受信に応答して、物体を認識するように機械学習モデルをトレーニングする工程とを含む。この方法は、物体の複数の画像を受け取り、複数の画像に基づいて機械学習モデルをトレーニングすることによって、物体を認識するように機械学習モデルをトレーニングする。この方法は、モバイル装置とウェアラブル電子装置との間の通信リンクを介して、トレーニングされたモデルおよびコマンドをウェアラブル電子装置に送信し、ウェアラブル電子装置にトレーニングされた機械学習モデルをウェアラブル電子装置内のデータストアに保存させ、コマンドをトレーニングされた機械学習モデルに関連付けさせる工程を含む。

本開示の実装には、以下の任意選択の機能が１つ以上含まれる場合がある。ウェアラブル電子装置にコマンドをトレーニングされた機械学習モデルに関連付けさせる工程は、トレーニングされた機械学習モデルがウェアラブル電子装置によって取り込まれた画像内の物体を認識することに応答して、ウェアラブル電子装置にコマンドを実行させることができる。コマンドが実行されると、物体が第１の状態から別の状態に変化してもよい。機械学習モデルにはニューラルネットワークが含まれる場合がある。複数の画像を受信する工程は、複数の角度で物体のビデオを撮影することを含むことができる。機械学習モデルは、物体が画像内に存在する確率を決定するように構成されることができ、機械学習モデルは、決定された確率が確率閾値を満たす場合に物体を認識するようにさらに構成されてもよい。

この方法は、複数の画像のうちの１つ以上の関心領域を決定することと、１つ以上の関心領域内の複数の画像の部分に基づいて機械学習モデルをトレーニングすることとをさらに含み得る。いくつかの例では、この方法は、選択された物体の基準画像を受信することと、基準画像内の選択された物体に関連する基準特徴を識別することとを含む。この方法は、複数の画像のうちの１つ以上の画像内の物体の周囲に境界ボックスを構築すること、境界ボックス内の各画像の部分から特徴を抽出すること、および抽出された特徴を基準特徴と比較することをさらに含むことができる。基準特徴と一致する抽出された特徴の閾値数に応じて、この方法は、境界ボックス内の画像の部分について機械学習モデルをトレーニングすることを含むことができる。いくつかの例では、方法は、抽出された特徴の閾値数が基準特徴と一致するまで、物体の周囲の境界ボックスの寸法、位置、または向きを調整することを含む。この方法は、複数の画像のうちの１つ以上の画像内の物体の周囲に境界ボックスを構築する工程と、境界ボックス内の各画像の部分から特徴を抽出する工程と、抽出された特徴を基準特徴と比較する工程とをさらに含む。閾値数の抽出された特徴が基準特徴と一致することに応じて、この方法は、境界ボックス内の画像の部分について機械学習モデルをトレーニングする工程をさらに含む。いくつかの例では、方法は、閾値数の抽出された特徴が基準特徴と一致するまで、物体の周囲の境界ボックスの寸法、位置、または向きを調整する工程を含む。

一実施形態では、機械学習モデルをトレーニングするためのシステムが開示される。このシステムは、環境内の物体の画像を取り込むためのカメラを備えたモバイル装置を含む。モバイル装置は、ユーザーインターフェースを介して物体のユーザーによる選択を受信し、選択された物体に関連付けられたコマンドを受信し、物体を認識するように機械学習モデルをトレーニングするように構成されている。このシステムは、物体の複数の画像を受信し、複数の画像に基づいて機械学習モデルをトレーニングし、トレーニングされたモデルとコマンドをモバイル装置とウェアラブル電子装置の間の通信リンクを介してウェアラブル電子装置に送信し、ウェアラブル電子装置に、トレーニングされた機械学習モデルをウェアラブル電子装置内のデータストアに保存し、コマンドをトレーニングされた機械学習モデルに関連付けさせることによって、物体を認識するように機械学習モデルをトレーニングする。

本開示の実装には、以下の任意選択の機能が１つ以上含まれてもよい。複数の画像を受信することは、複数の角度で物体のビデオを撮影することを含むことができる。モバイル装置は、複数の画像のうちの１つ以上の関心領域を決定し、１つ以上の関心領域内の複数の画像の部分に基づいて機械学習モデルをトレーニングするようにさらに構成される。いくつかの例では、モバイル装置は、選択された物体の基準画像を受信し、基準画像内の選択された物体に関連する基準特徴を識別するように構成される。モバイル装置は、複数の画像のうちの１つ以上の画像内の物体の周囲に境界ボックスを構築し、境界ボックス内の各画像の部分から特徴を抽出し、抽出された特徴を基準特徴と比較することができる。閾値数の抽出された特徴が基準特徴に一致することに応じて、モバイル装置は、境界ボックス内の画像の部分について機械学習モデルをトレーニングすることができる。モバイル装置は、閾値数の抽出された特徴が基準特徴と一致するまで、物体の周囲の境界ボックスの寸法、位置、または向きを調整するように構成される。

図１は、脳活動に基づいて装置を制御するための環境例を示す。 図２は、ウェアラブルＥＥＧ装置の例を示す。 図３は、脳活動を検出する方法のフローチャートである。 図４は、制御すべき装置を検出する方法のフローチャートである。 図５は、機械学習モデルをトレーニングする方法のフローチャートである。 図６Ａ及び６Ｂは、脳活動に基づいてカーソル位置を制御するための環境例を示す図である。 図６Ａ及び６Ｂは、脳活動に基づいてカーソル位置を制御するための環境例を示す図である。 図７は、例示的なウェアラブルＥＥＧ装置のデータストアを管理するための例示的な環境を示す。 図８は、データストアの詳細を示す。 図９Ａ－９Ｂは、脳活動に基づいて装置を制御するための環境例を示す図である。 図９Ａ－９Ｂは、脳活動に基づいて装置を制御するための環境例を示す図である。 図１０は、本開示の電子コンポーネントのいずれかに含まれる内部ハードウェアのブロック図を示す。

本明細書で使用されている単数形「ａ」、「ａｎ」、「ｔｈｅ」には、文脈上明らかに別段の指示がない限り、複数形も含まれる。他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、当業者によって一般に理解されるのと同じ意味を有する。本明細書で使用される「ｃｏｍｐｒｉｓｉｎｇ有する」（または「ｃｏｍｐｒｉｓｅｓ」）という用語は、「ｉｎｃｌｕｄｉｎｇ含む（またはｉｎｃｌｕｄｅｓ）」が、これに限定されないことを意味する。本明細書で使用される「例示的な」という用語は、「例として」を意味するものであり、特定の例示的な項目が好ましい、または必要であることを示すものではない。

本明細書では、「第１」や「第２」などの用語が名詞や語句を修飾するために使用される場合、そのような使用は単にある項目を別の項目から区別することを目的としており、特に記載がない限り、順序を要求することを意図したものではない。「約」という用語は、数値に関連して使用される場合、その数値に近いが、正確には数値ではない値を含むことを意図している。例えば、いくつかの実施形態では、「約」という用語は、その値の±１０パーセント以内の値を含み得る。

本開示は、一般に、環境内の制御可能な物体のデータベースを開発し、脳活動を検出し、検出された脳活動に基づいて１つ以上の電気または電子装置を制御するための方法およびシステムに関する。図１は、脳活動に基づいて装置１３０を制御するための例示的な環境１００を示す。環境１００は、ウェアラブルＥＥＧ装置２００に関連付けられたユーザー１０２を含む。ここで、ウェアラブルＥＥＧ装置２００は、ユーザー１０２の耳に取り付けられ、１つ以上のＥＥＧセンサー２２０（図２）によって脳活動をモニターするようの構成されている。ウェアラブルＥＥＧ装置２００は、装置１３０の１つ以上の機能または特性を制御できる装置コントローラ１２０と無線通信している。無線通信は、近距離無線通信（ＮＦＣ）、ブルートゥース（登録商標）、ＷｉＦｉ、赤外線（ＩｒＤＡ）などの通信プロトコル、または情報を無線で送信および／または受信できるその他の技術に準拠することができる。装置コントローラ１２０は、命令を受信し、その命令の受信に応答して、その命令に従って装置１３０を制御、動作、または調整することができる。この例では、装置コントローラ１２０は、電球をオンおよびオフにすることができる。他の例では、装置コントローラ１２０は、環境制御システムの温度設定、またはテレビまたはオーディオシステムの放送局および／または音量などの設定値を調整することができる。装置コントローラ１２０は、設定の時間プロファイルなど、より複雑なパラメータを調整することができる。装置コントローラ１２０はまた、コンピュータ画面上のカーソルまたは他の物体の位置、またはカウントダウンタイマーの残り時間などの仮想設定を調整することもできる。装置コントローラ１２０は、装置１３０の状態を変化させることができるスイッチ、トランジスタ、または別の装置（マイクロプロセッサまたは集積回路など）を含む。例えば、装置コントローラ１２０は、装置１３０と電源とを含む回路を閉じ、また装置１３０と電源との間の回路を開いて、装置をオンおよびオフにすることができる。装置コントローラ１２０はまた、光の明るさ制御、音量制御、ファン速度制御、または他の制御装置など、装置１３０の１つ以上の機能を調整できる回路を含んでもよい。装置コントローラ１２０によって制御され得る装置１３０の他の例には、遠隔制御のドア、窓、天窓、ブラインドまたはシェードなど、トースター、ブレンダー、オーブン、レンジトップ、生ごみ処理機、ゴミ圧縮機等のキッチン家電、シンク、シャワー、トイレなどの配管装置、スマートプラグなどのモノのインターネット（ＩｏＴ）装置、およびコンピュータを使用して制御できるその他の装置が含まれる。

いくつかの実施形態では、ウェアラブルＥＥＧ装置２００は、ユーザー１０２に関連付けられたコンピューティング装置１０４と無線通信する。コンピューティング装置１０４は、装置１３０の１つ以上の機能または特性を直接制御することができる。有線または無線の通信チャネルを使用して装置に命令を送信する。例えば、コンピューティング装置１０４は、オーディオ、ビデオ、または他の電子機器を制御するために、例えば装置の状態を変更させるために、赤外線またはＲＦ信号を送信することができる。たとえば、装置がテレビの場合、コマンドは、テレビの電源スイッチを操作して、オンからオフに切り替えること、またはその逆、または別の局に変更することができる。コンピューティング装置１０４は、仮想アシスタントなどの音声制御装置に音声信号を送信することもできる。あるいは、コンピューティング装置１０４は、装置コントローラ１２０と通信し、コンピューティング装置１０４が装置コントローラ１２０を介して装置１３０の１つ以上の機能または特性を制御できるようにしてもよい。例えば、コンピューティング装置１０４は、スマートコンセントをオンまたはオフにするため、またはオーブン、ポット、衣類洗濯機／乾燥機、冷蔵庫、ガレージドアオープナー、食器洗い機、掃除機、警報システム、空調システムなどのスマート家電を制御するための信号（光信号または命令による通信など）を送信することができる。コンピューティング装置の例には、スマートフォン、タブレット、ラップトップコンピュータ、またはウェアラブルＥＥＧ装置２００と無線通信し、装置コントローラ１２０とインターフェースすることによって装置１３０の１つ以上の機能または特性を直接的または間接的に制御することができる他の装置が含まれる。

ウェアラブルＥＥＧ装置２００はまた、撮像システム２４０の視野１１４内の物体の画像を受信することができるカメラなどの撮像システム２４０（図２）を含む。撮像システム２４０は、ユーザーの視野内の物体の画像を取り込むように構成される。ここで、電球は撮像システム２４０の視野１１４内にある。ウェアラブルＥＥＧ装置２００は、ユーザー１０２がユーザーの視野内の物体に焦点を合わせていることを示すユーザー１０２の脳活動を検出することができる（例：電球）。脳活動の検出に応答して、ウェアラブルＥＥＧ装置２００は、装置コントローラ１２０に信号を送信し、装置コントローラ１２０に照明を点灯させることができる。この信号は、装置コントローラ１２０のプロセッサによって受信されると、プロセッサが装置コントローラ１２０に動作（装置１３０のオンまたはオフ等）を開始させるなどのアクションを実行させる、プログラミング命令および／またはエンコードされたデータパケットを転送するデジタル信号であってもよい。この信号はまた、装置コントローラ１２０によって受信され、そのプロセッサによって認識されると、プロセッサに装置のアクティブ化または非アクティブ化、または装置１３０の状態の変更を引き起こすパルスの時限シーケンス（変調された赤外線信号のパルスなど）であってもよい。

図２は、ウェアラブルＥＥＧ装置２００の一例を示す。装置２００は、装置２００の他の構成要素を支持および／または収容するハウジング２１０を含む。ハウジング２１０は、ユーザー１０２の耳に装着されるように構成される。プラスチックなどの硬質または半硬質の材料から形成され、ユーザーの頭の側面に適合するように湾曲またはその他の形状にすることができる。

ハウジング２１０は、前部セクション２１１、中央セクション２１２、および後部セクション２１３を備えた細長い構造であってもよい。装置がユーザーの耳に装着されると、前部セクション２１１はユーザーの耳からユーザーの顔に向かって延び、そして後部セクション２１１は、ユーザーの耳からユーザーの後頭部および／または首の後ろに向かって延びる。中央セクション２１２は、前方セクション２１１と後方セクション２１３を結合することによってユーザーの耳の上のブリッジとして機能し、耳の上、耳輪の後ろ（および任意選択で耳輪から上方に延びる）に配置されるようにサイズ設定および配置された半円形のくぼみ２３０を含む。任意選択で、半円形のくぼみ２３０は、より快適なフィット感を提供し、使用中にユーザーの耳から装置の落下を防止するために、ゲル、シリコーンなどのエラストマー、または他の弾性もしくはゴム状材料、または他の弾性材料で形成されたライナー２３５を含んでもよい。

ハウジング２１０は、２つ以上のＥＥＧセンサーおよび撮像システム２４０のための取り付け位置を含み得る。ここでは、乾式ＥＥＧセンサーである３つのＥＥＧセンサー２２０ａ、２２０ｂ、２２０ｃがハウジング２１０に取り付けられる（本明細書では、番号２２０を使ってまとめてＥＥＧセンサーを指す）。乾式ＥＥＧセンサーは、導電性ゲルまたはペーストを使用せずに動作できる。しかしながら、湿式ＥＥＧセンサーであるＥＥＧセンサーも本開示の範囲内である。いくつかの例では、ウェアラブルＥＥＧ装置２００は、頭皮電極の位置を記述する国際１０－２０システムの位置Ｔ４、Ｆ８、およびＡ２の近くに３つのＥＥＧセンサー２２０ａ、２２０ｂ、２２０ｃをそれぞれ配置するように構成されている。

図示されるように、第１のＥＥＧセンサー２２０ａは、ウェアラブルＥＥＧ装置２００がユーザー１０２によって着用されるときに、第１のＥＥＧセンサー２２０ａがユーザーの脳の側頭葉の上のユーザーの耳の後ろの位置でユーザー１０２と接触するように（つまり、耳輪の下、または耳輪とユーザーの頭の後ろの間の位置）、ハウジング２１０の中央セクション２１２に取り付けられる。

第２のＥＥＧセンサー２２０ｂは、第２のＥＥＧセンサー２２０ｂがユーザーの脳の前頭葉上のユーザーのこめかみまたはその近くの位置でユーザー１０２と接触するように、ハウジング２１０の前部セクション２１１に取り付けられる。

第３のＥＥＧセンサー２２０ｃは、第３のＥＥＧセンサー２２０ｃが、第１のＥＥＧセンサー２２０ａおよび第２のＥＥＧセンサーの位置よりもユーザーの頭部の相対的に低い位置でユーザー１０２に接触するように、ハウジング２１０に取り付けられる。例えば、第３のＥＥＧセンサー２２０ｃの位置は、装着時にユーザーの耳たぶの下にある位置に対応してもよい。

いくつかの例では、第３のＥＥＧセンサー２２０ｃは、ハウジング２１０の中央セクション２１２または後部セクション２１３のいずれかから離れて（例えば、下方に）延在する可撓性イヤピース２５０上に取り付けられる。可撓性イヤピース２５０は、ゲル、シリコーンなどのエラストマー、または他の弾性もしくはゴム状材料、または他の材料から形成されてもよく、ライナー２３５と一体であっても、ライナー２３５とは別個であってもよい。可撓性イヤピース２５０は、ハウジング２１０内の電気部品から第３のＥＥＧセンサー２２０ｃにつながる配線を含んでもよい。

いくつかの例では、配線はＢｅｎｅｃｒｅａｔのアルミニウム配線を含む。可撓性イヤピース２５０は、さらなる快適さを提供するために布および／またはパッドで覆われてもよい。可撓性イヤピース２５０は、ウェアラブルＥＥＧ装置２００をユーザー１０２の耳の上に配置し、ウェアラブルＥＥＧ装置２００をユーザー１０２にしっかりと取り付けることを容易にするために曲げることができる。いくつかの例では、可撓性イヤピース２５０は、活発な活動中であっても、ウェアラブルＥＥＧ装置をユーザー１０２に固定することができる。可撓性イヤピース２５０は、ユーザー１０２がウェアラブルＥＥＧ装置２００を装着しているときに、ユーザー１０２の耳にグリップ力を加え得る。いくつかの例では、ハウジング２１０は、可撓性イヤピース２５０のグリップ力をＥＥＧセンサー２２０に移すように構成され、これにより、ＥＥＧセンサー２２０がユーザー１０２にしっかりと押し付けられ、強力なＥＥＧ信号の受信が容易になる。

図１および図２を一緒に参照すると、撮像システム２４０は、ハウジング２１０の前部セクション２１１の前部に取り付けられており、レンズはユーザーの顔に向かって配置され、撮像の視野１１４内の物体の画像を取り込むように構成されている。撮像システム２４０は、ユーザー１０２がウェアラブルＥＥＧ装置２００を装着しているときに、視野１１４がユーザー１０２の目の視野内にある装置１３０を含むように、ハウジング２１０に取り付けられてもよい。

ハウジング２１０は、例えばコンポーネントを損傷または危険にさらされることから保護するために、ウェアラブルＥＥＧ装置２００の他のコンポーネントを囲んでもよい。コンポーネントには、図１０に示されるような部品が含まれてもよく、送信機を含む通信装置１０１０、送信機と通信するプロセッサ１００５、ＥＥＧセンサー（図２の２２０、図１０の１０２０）、および撮像システム（図２の２４０、図１０の１０４０）を含む。コンポーネントには、信号調整コンポーネント（例えば、バンドパスフィルタ）などの配線およびインターフェースコンポーネントも含まれ得、その一部は、ハウジング２１０内に封入されたプリント回路基板（ＰＣＢ）上に実装できる。プロセッサ１００５は、関連するメモリを有してもよく、これには、実行されるとプロセッサ１００５に、脳活動を検出し、検出された脳活動に基づいて１つ以上の装置１３０を制御するなどの方法を実行させるプログラミング命令を含む。構成要素はまた、ウェアラブルＥＥＧ装置２００の電気部品に電力を供給する電源１０８０（例えば、充電式バッテリ）を含んでもよい。バッテリは、充電の間にウェアラブルＥＥＧ装置２００を長時間使用できるようにサイズ設定され得る。さらに、プロセッサ１００５は、例えば携帯電話で使用するために設計された低電力コンポーネントであってもよい。バッテリは、電気接続を通じて、または誘導無線充電によって充電することができ、ウェアラブルＥＥＧ装置２００は、再充電間の時間を延長するために環境からエネルギーを収集することができる。いくつかの例では、ウェアラブルＥＥＧ装置２００は、ハウジング２１０の一部に配置された光起電装置を含む。

上述したように、いくつかの例では、３つのＥＥＧセンサー２２０は、これらのＥＥＧセンサー２２０がユーザーの頭部の特定の位置でユーザー１０２と接触するように、ハウジング２１０上に配置される。例えば、第３のＥＥＧセンサー２２０ｃは、ユーザー１０２の耳の下、ＥＥＧ信号強度の低い場所でユーザーに接触してもよい。この位置では、第３のＥＥＧセンサー２２０ｃは、外側半球の皮質活動がほとんど検出されない、頭蓋骨の正中矢状面上またはその近くに配置されることによって、他の２つのＥＥＧセンサー２２０ａ、２２０ｂに対する接地基準として機能することができる。第２のＥＥＧセンサー２２０ｂは、ユーザーのこめかみ付近の比較的高いＥＥＧ信号強度の場所でユーザーと接触することができる。いくつかの例では、バンドパスフィルタなどのフィルタが、第２のセンサー２２０ｂからの関連性の低い信号を減衰させる。例えば、バンドパスフィルタは、デルタ波、シータ波、ガンマ波、およびアルファ波を減衰させながら、ベータ波（例えば、２０～３０Ｈｚの範囲の信号）を通過させることができる。いくつかの例では、プロセッサ１００５は、例えば、ベータ波信号の代わりにアルファ波信号を通過させる、またはアルファ波信号を通過させるのとベータ波信号を通過させるのを切り替えるために、フィルタのパラメータを調整することができる。第１のＥＥＧセンサー２２０ａは、第２のＥＥＧセンサー２２０ｂの位置よりも比較的低いＥＥＧ信号強度の位置でユーザーの耳の後ろに接触することができる。

装置の一部のバリエーションでは、別の場所に追加のＥＥＧセンサーが配置されている場合がある。他の装置にはセンサーが３つ未満しかない場合がある。例えば、システムは、ユーザーのこめかみおよび前頭葉の上に配置された第１のＥＥＧセンサー２２０ａと、接地基準を提供する第３のＥＥＧセンサー２２０ｃのみで動作することができる。あるいは、システムは、第２のＥＥＧセンサー２２０ｂのみがユーザーの耳輪の下で側頭葉の上に配置され、第３のＥＥＧセンサー２２０ｃが接地基準を提供する状態で動作してもよい。

図３は、装置のユーザーの脳活動がユーザーの集中力の増加を示す時を決定するために脳活動を検出する方法３００を示す。工程３０２で、方法３００は、ウェアラブルＥＥＧ装置、またはウェアラブルＥＥＧ装置と通信しそれに近接する別個の電子装置のプロセッサによって、１つ以上のＥＥＧセンサー２２０からフィルタリングされたＥＥＧ信号を受信する工程を含む。プロセッサは、例えばアナログデジタル変換器（ＡＤＣ）を使用してフィルタリングされた脳波信号をサンプリングして、通過帯域における脳波信号の代表的な振幅３０４を決定することができる。代表的な振幅は、二乗平均平方根（ｒｍｓ）値、または通過帯域の周波数範囲内の脳活動のレベルを表す他の値であってもよい。いくつかの例では、時間が経過するにつれて、プロセッサは、第１のＥＥＧセンサー２２０ａと第２のＥＥＧセンサー２２０ｂからの脳波信号の代表的な振幅の差３０６を決定し、脳活動のレベルを決定する。フィルタおよびＡＤＣは、プロセッサＰＣＢとインターフェースされるドーターＰＣＢ上に配置され得る。いくつかの例では、ＥＥＧセンサーは、脳波信号をフィルタリングおよびサンプリングし、シリアルまたはパラレルデータバス等を介して信号のデジタル表現をプロセッサに提供する。プロセッサは、１秒あたり２回など、不規則または規則的な時間間隔で３０２個のＥＥＧ信号を受信することができる。工程３０６で、プロセッサはさらに、第１の間隔の１つのレベルを前の（または後の）間隔の第２のレベルと比較することによって、間隔間の脳活動の代表的なレベルの変化を測定することができる。

いくつかの例では、プロセッサは、脳活動の代表的なレベルの測定された変化を閾値３０８と比較する。脳活動の代表的なレベルの変化が閾値を超えると、プロセッサは、ユーザーの集中力が高まったと判断することができる。閾値は、ユーザーの脳活動のベースラインレベルに基づくことができる。いくつかの例では、ユーザーは、例えばハウジング上のボタンを押すことによって、例えばコンピューティング装置上で実行されるアプリケーション７１０（図７）を通じて、またはウェアラブルＥＥＧ装置２００上のアクチュエータを通じて、ウェアラブルＥＥＧ装置２００をトリガして、ユーザーの脳活動のベースラインレベルを決定する。他の例では、ウェアラブルＥＥＧ装置２００は、ユーザー１０２の脳活動のベースラインレベルを、例えば一定期間にわたるユーザー１０２の脳活動の代表的なレベル中の変動を伴うその期間の平均レベルとして自動的に決定する。

いくつかの例では、ウェアラブルＥＥＧ装置２００は、既知の装置に関する記述情報を含むデータストア８００（図８）を含む。図２に示されるように、撮像システム２４０は、撮像システム２４０の視野１１４内の物体の画像を取り込むように構成される。装置１３０が撮像システム２４０の視野内にあるとき、ウェアラブルＥＥＧ装置２００は、撮像システム２４０によって捕捉された画像に基づいて装置１３０を認識し、データストア８００に含まれる既知の装置から装置１３０を選択することができる。画像認識方法の例については、以下の図４の説明で説明する。

工程３１０で、ユーザーの集中力の増加に応答して、プロセッサ１００５は、選択された装置１３０を制御する機能を実行することができる。いくつかの例では、データストア８００は、既知の各装置に関連付けられたパターンまたは特徴８０８（図８）も含む。パターンは、装置１３０の以前に取り込まれた画像であってもよく、またはパターンは、例えば画像処理によって、装置１３０の以前に取り込まれた画像から抽出された装置１３０の特徴を含んでもよい。抽出された特徴には、装置１３０の表面の色、装置１３０の検出されたエッジなどの幾何学的特徴、または装置１３０の表面のパターン、テクスチャもしくは形状が含まれ得る。いくつかの例では、パターンはエイプリルタグ、バーコード、ＱＲコード、または装置１３０に関連付けられた、例えば装置の表面に貼り付けられた他の形式のコンピュータ可読データを含む。いくつかの例では、抽出された特徴には、ロゴなど、装置１３０の表面に刻印されたシンボルまたはシンボルのパターンが含まれる。抽出された特徴には、装置１３０に関連付けられたノブ、スイッチ、または他のコントロール、または装置１３０に関連付けられたテキストまたは他の表示情報が含まれ得る。

図４は、検出装置１３０を制御する方法４００を示す。工程４０２で、プロセッサ１００５は、撮像システム２４０から画像を受信し、工程４０４で、受信した画像から特徴を抽出することができる。特徴には、全体的な形状、コーナー、エッジ、コーナーとエッジの間の関係、色、パターンなどの画像の特徴が含まれ得る。いくつかの例では、プロセッサ１００５は、スケール不変特徴変換（ＳＩＦＴ）または同様のアルゴリズムを実行して、画像の１つ以上の「キーポイント」を見つける。「キーポイント」は、画像内の形状のサイズ、アスペクト比、またはその他の非対称性の影響を受けない特徴である。プロセッサは、キーポイントがスケールに依存しないこと、キーポイントが回転不変（画像の向きの影響を受けない）であることを確実にし、キーポイントに一意の識別子を割り当てるために、スケール空間を構築することができる。いくつかの実施形態では、固有の識別子は、１２８ビットまたは２５６ビットのバイナリロバスト独立基本特徴（ＢＲＩＥＦ）記述子であってもよい。いくつかの例では、プロセッサは、高速セグメントテスト（ＦＡＳＴ）のコーナー検出アルゴリズムからの特徴を実行して、特徴を抽出する。プロセッサ１００５は、特徴抽出を行うために、パイソンモジュールＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴおよびＲｏｔａｔｅｄ ＢＲＩＥＦ）などのソフトウェアライブラリの機能を実行することができる。プロセッサ１００５は、工程４０６で、受信画像および／または受信画像から抽出された特徴を、データストア８００に含まれる既知の装置に関連する特徴と比較することができる。

例えば、プロセッサ１００５は、画像のキーポイントに割り当てられた一意の識別子を既知の装置で以前に取り込まれた画像のキーポイントに割り当てられた一意の識別子と比較することができる。プロセッサ１００５は、抽出された特徴の閾値数が以前に取り込まれた画像の特徴と一致する場合、工程４０８で既知の装置から装置１３０を選択することができる。例えば、データストア８００に含まれる各既知の画像は、例えば、以前に取り込まれた装置１３０の画像から抽出された３０以上の特徴８０８を含むことができる。この例では、１０ 個以上の特徴が一致する場合、プロセッサ１００５は、既知の装置から装置１３０を選択することができる。プロセッサ１００５はまた、既知の装置のうちの２つ以上が装置１３０の取り込まれた画像から抽出された閾値数を超える一致特徴を有する場合、最大数の一致特徴を有する装置１３０を選択することもできる。

あるいは、４０８で装置を分類するために、ウェアラブルＥＥＧ装置２００は、機械学習アルゴリズムを使用して装置１３０を認識してもよい。例えば、プロセッサ１００５は、受信した画像を既知の物体を認識するようにトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）などの深層学習ニューラルネットワークに提供してもよい。図５は、制御すべき既知の装置１３０を認識するために機械学習モデル（深層学習ニューラルネットワークなど）をトレーニングする方法５００を示す。いくつかの例では、ユーザー（または他の監督されたトレーナー）は、既知の物体のいくつかの画像を使用して深層学習ニューラルネットワークをトレーニングする。工程５０２で、方法５００は、物体選択を受信する工程を含む。例えば、ユーザーは、アプリケーション７１０（図７）を通じて物体の画像を取得することによって、システムにシーン内の物体を既知の装置１３０として選択させることができる。ユーザーは、アプリケーション７１０を介して、選択された物体にラベルを付けるか注釈を付けることができる。システムは、まず物体の単一の基準画像を取得し、上述のように画像から特徴を抽出することができる。工程５０４で、方法５００は、物体画像を受信する工程を含む。例えば、ユーザーは、システムに１つ以上の静止画像を取得させたり、１０秒などの一定期間、毎秒６０フレームなどの固定フレームレートで連続ビデオを取得させたりすることができる。システムは、物体に対して様々な角度で、物体から様々な距離で、様々な照明条件下で、および／または画像内の物体の外観の変化を提供する他の状況で、追加の画像を取得することができる。例えば、システムは、ユーザーが物体の周りを歩き回り、および／または物体に向かってまたは物体から遠ざかりながら、および／または物体を照らす光を増減しながら、物体のビデオを取得することができる。いくつかの例では、システムは、物体の画像のデータストアから追加の画像を受信する。これらの追加画像は、物体を既知の装置１３０として認識するように深層学習ネットワークをトレーニングするための追加トレーニング画像として機能する。

いくつかの例では、システムはその後、追加画像に対して画像処理を実行して、トレーニング画像として使用するための追加画像を準備する。例えば、システムは、既知の装置の周囲の関心領域を決定し、既知の装置に関係のない追加画像の部分を切り出すことができる。いくつかの例では、ユーザーが追加画像内の既知の装置の周囲に境界ボックスを描画する場合があり、これに応じてシステムは境界ボックスの外側の画像部分を無視する。

いくつかの例では、境界ボックスは画像処理を使用して自動的に決定される。例えば、システムは、画像処理アルゴリズムを適用して、第１の（基準）画像内の物体のキーポイントなどの特徴を抽出することができる。次に、システムは、基準画像から抽出された特徴を追加画像から抽出された特徴と比較することができる。システムは、追加画像に１つまたは複数の境界ボックスを適用し、境界ボックス内の追加画像の部分から抽出された特徴のしきい値数が基準画像から抽出された特徴と一致するまで、寸法や向きなどの境界ボックスの側面を調整することができる。例えば、システムは、画像を処理する間に、境界ボックスの寸法を上下、境界ボックスの位置または向きを上下、前後、および／または線形値または角度値の範囲にわたって、スケール変更することができる。システムは、一致する特徴の閾値数に関連付けられていない境界ボックスの寸法および／または角度の範囲を破棄する場合がある。一致する特徴の閾値数に関連付けられた一組の寸法および／または向きが、トレーニングのために保持され得る。境界ボックスが閾値数の一致する特徴をもたらさない場合（すなわち、閾値数の一致する特徴を画像全体から抽出できない場合）、システムは基準画像自体を破棄してもよい。したがって、画像処理アルゴリズムを実装するためにシステムが従うプロセスでは、深層学習ネットワークをトレーニングする前に、既知の装置に関係のない画像または追加画像の一部が無視される。工程５０６で、方法５００は、機械学習モデルをトレーニングすることを含む。境界ボックス内に含まれる追加画像の一部は、深層学習ニューラルネットワークに入力され、さまざまな状況（たとえば、さまざまな倍率、向き、照明などを含む）で既知の装置を認識するように深層学習ニューラルネットワークをトレーニングすることができる。トレーニングの後、深層学習ニューラルネットワークは、新しく取得した画像に既知の装置が含まれる確率を予測することができる。工程５０８で、方法５００は、トレーニングされた深層学習ニューラルネットワークをウェアラブルＥＥＧ装置２００に送信する工程を含む。１つ以上のトレーニングされた深層学習ニューラルネットワークは、ウェアラブルＥＥＧ装置２００のデータストア８００に格納され、ウェアラブルＥＥＧ装置２００によって取得された画像に適用され得る。いくつかの例では、１つ以上の深層学習ニューラルネットワークは、既知の装置１３０が新たに取得された画像内に存在する確率を決定することができる。１つ以上の深層学習ニューラルネットワークは、予測確率が閾値を満たすか、または閾値を超える場合に、既知の装置１３０が新たに取得された画像内にあることを検出することができる。工程５１０および５１２で、方法５００は、既知の装置１３０に関連付けられたコマンドを受信する工程と、関連付けられたコマンドをウェアラブルＥＥＧ装置２００に送信する工程とを含む。ユーザーは、図８で説明されるように、１つ以上の深層学習ニューラルネットワークに関連付けられたコマンドまたは機能を提供することができ、それにより、ウェアラブルＥＥＧ装置２００は、深層学習ニューラルネットワークが物体を認識すると、関連するコマンドまたは機能を実行する。

ウェアラブルＥＥＧ装置２００が物体を分類し、その物体が１つ以上の他の閾値条件を満たす場合、４１０で、システムは、ＥＥＧ装置２００が制御する物体として装置を選択することができる。たとえば、システムは、ＥＥＧ装置のカメラの視野内で複数の装置を検出することができる。どの装置を制御するかを決定するために、システムは、制御される装置が視野の中心点の上、または視野の中心点からしきい値距離内など、視野内の中央に少なくともしきい値期間の間、配置されることを要求する場合がある。システムは、制御する装置を選択するために、装置が中央の領域または視野内にある間にユーザーの集中力が高まっていることを要求する場合もある。（集中力が高まったかどうかを決定する方法は、図３の説明で上述した）。ＥＥＧ装置２２０が装置１３０を制御対象の装置として選択すると、ウェアラブルＥＥＧ装置２００は、装置１３０の１つ以上の機能または特性を制御できる（４１２）。

ウェアラブルＥＥＧ装置２００は、プロセッサ１００５と通信し、プロセッサ１００５に位置／方位情報を提供する、加速度計、慣性測定ユニット（ＩＭＵ）、または他の位置／方位センサー２６０（図２）をさらに含み得る。例えば、ＩＭＵは、ハウジング２１０内のユーザーの耳とこめかみの間の位置、またはユーザーの頭の動きによく追跡する他の適切な位置に配置される。プロセッサ１００５は、装置１３０が位置／配向情報を受信できる電子インターフェースを含むと判断することができる。例えば、プロセッサ１００５は、装置１３０がＢｌｕｅｔｏｏｔｈ（登録商標）マウス、トラックボール、または他の無線位置制御コンピュータ周辺機器を発見できると判断することができる。プロセッサ１００５は、ウェアラブルＥＥＧ装置２００に装置１３０とインターフェース（例えば、ペアリング）させ、位置／配向センサー２６０からの情報を使用して、装置１３０に関連付けられたカーソル位置または他の集中点を制御することができる。例えば、ウェアラブルＥＥＧ装置２００は、例えばＢｌｕｅｔｏｏｔｈヒューマンインターフェース装置（ＨＩＤ）プロファイルに従って、相対的なＸ軸およびＹ軸データを装置１３０に送信することができる。Ｘ軸とＹ軸のデータは、装置のカーソルを現在の位置から移動するためのピクセル数を示す場合がある。ＥＥＧ装置２００のユーザー１０２は、ウェアラブルＥＥＧ装置２００の向きを変更することによって表示画面上のカーソルの位置を調整し、それにより位置／配向センサー２６０の向きを変更することができる。たとえば、ユーザーの頭を上下に傾けると、それに応じてＩＭＵの向きが変化する。システムは、ユーザーの頭が上下に傾いたときの位置／配向の１つ以上の値の変化を測定する。システムは、位置／配向の測定された変化を比例定数によってスケールして、カーソルを上下に移動するピクセル数を決定する。次に、システムは、スケーリングされた測定データを、例えば相対的なＹ軸データとして装置１３０に送信し、ユーザーの頭が上下に傾くのに応じてカーソルを上下に移動させる。同様に、システムは、ユーザーの頭が左右に動き、装置のカーソルが前後に動くと、相対的なＸ軸データを装置１３０に送信することができる。

例えば、図６Ａは、コンピュータシステムの制御可能な表示画面６０２上のカーソル６０４の位置を制御するための環境例６００を示す。環境６００は、選択可能なウィンドウ６０６およびカーソル６０４を表示するコンピュータシステムの制御可能な表示画面６０２を含む。コンピュータシステムは、装置コントローラアプリケーションを含み、近距離または他の無線通信プロトコルを介してＥＥＧ装置と直接通信することができる。あるいは、環境６００は、装置コントローラアプリケーションがインストールされた携帯電子装置６１４を含むこともできる。ＥＥＧ装置２００が、図４の説明で上述したようなプロセスを使用して表示画面６０２を認識すると、ＥＥＧ装置２００の動きを使用して、カーソル６０４の動きおよび起動を制御することができる。カーソル６０４は、図６Ａの表示画面６０２の右下隅近くに位置するように示されているが、実際には、カーソル６０４は表示画面６０２の任意の位置から開始することができる。
ＥＥＧ装置２００のユーザー１０２は、ウェアラブルＥＥＧ装置２００の向きを変更することによって表示画面上のカーソル位置を調整することができ、これにより、位置／配向センサー２６０の向きを変更することができる。携帯電子装置６１４またはコンピュータシステムの装置コントローラアプリケーションは、位置／配向センサーの動きに対応する位置にカーソルを移動するコマンドを生成する。

例えば、図６Ｂでは、ウェアラブルＥＥＧ装置２００が上方に傾斜することに応答して、カーソル６０４がコンピュータ画面６０２上のより高い位置に移動されている。いくつかの例では、システムは、ユーザーの集中力が少なくとも最低限の時間の間、閾値以上に留まっていたという決定、またはカーソル６０４および／または表示画面６０２が、少なくとも最低限の時間の間、ＥＥＧ装置２００の撮像システムの視野の中心に位置する（すなわち、中心点の閾値範囲内）という決定などの特定のトリガーを検出したときに、表示画面６０２上のカーソル６０４の位置などの基準点を決定する。トリガーが発生すると、システムは ＥＥＧ装置の位置／配向センサーの初期位置および／または配向値を決定し、その情報をオンボードメモリに保存する。システムは、基準点と比較した位置／配向センサーの１つ以上の値の変化を測定する。

プロセッサはさらに、例えばブルートゥースのヒューマンインターフェース装置（ＨＩＤ）プロファイルに従って、装置１３０が選択イベント（例えばマウスの左クリック）を受信できることを決定することができる。プロセッサは、ユーザーの集中力が高まったことの決定に応答して、ウェアラブルＥＥＧ装置２００に選択イベントを装置１３０に送信させることができる。図示の例では、ユーザーはカーソル６０４をウィンドウ６０６内に（例えば、ウィンドウのタイトルバーにＸとして示される選択可能な閉じるボタンの上に）配置し、ウィンドウまたはウィンドウの機能（例えば、ウィンドウを閉じる、閉じる機能を選択）を選択することができる。

このようにして、ウェアラブルＥＥＧ装置２００は、大型プレゼンテーション画面、ビデオゲーム、スマートフォンなどのモバイルコンピューティングプラットフォーム、スマートテレビ、自動車インフォテインメントシステム、および可動カーソルを備えた他の電子装置を制御することができる。ユーザー１０２は、カーソルを所望の位置に置き、その位置に集中点を合わせることで、画面上の位置または物体を選択させることができる。いくつかの例では、ウェアラブルＥＥＧ装置２００は、複数の装置１３０と同時にペアリングすることになる。いくつかの例では、ウェアラブルＥＥＧ装置２００は、装置１３０がウェアラブルＥＥＧ装置２００のデータストア８００に含まれており、ウェアラブルＥＥＧ装置２００によって認識される場合にのみ、装置１３０とペアリングすることになる。

図７は、ウェアラブルＥＥＧ装置２００のデータストア８００を管理するための例示的な環境７００を示す。ここで、ユーザー１０２に関連付けられたコンピューティング装置１０４は、ウェアラブルＥＥＧ装置２００のデータストア８００内の既知の装置を管理するアプリケーション７１０を実行することができる。いくつかの例では、アプリケーション７１０は、ユーザー１０２がコンピューティング装置１０４を介してアクセスするウェブサーバなどのリモートサーバ上で実行される。アプリケーション７１０は、コンピューティング装置１０４の撮像システムの視野７１４内の装置１３０などの物体の画像を取り込み、例えば画像処理によって装置１３０の取り込まれた画像から特徴を抽出することができる。

いくつかの例では、装置１３０の画像は、コンピュータネットワークまたはバスを介してコンピューティング装置１０４にアップロードされる。アプリケーション７１０は、装置１３０の画像をユーザー１０２に提示することができる。これに応答して、ユーザー１０２は、ウェアラブルＥＥＧ装置２００のデータストア８００に含めるべき既知の装置として装置１３０を選択することができる。これに応答して、アプリケーション７１０は、コンピューティング装置１０４に、選択された装置１３０（および選択された装置１３０に関連付けられたパターン）をウェアラブルＥＥＧ装置２００に送信させることができる。ウェアラブルＥＥＧ装置２００は、選択された装置と、取り込まれた画像および／または抽出された特徴など、選択された装置に関連付けられたパターン８０８とをデータストア８００に追加することができる。いくつかの例では、コンピューティング装置１０４は、ウェアラブルＥＥＧ装置２００のデータストア８００に含まれる既知の装置のリストを受信する。アプリケーション７１０は、ユーザー１０２にリストを提示し、その結果、ユーザー１０２は、リストから削除する装置を選択することができる。ユーザー１０２による選択に応答して、アプリケーション７１０は、コンピューティング装置１０４に、選択された装置をウェアラブルＥＥＧ装置２００に送信させ、ウェアラブルＥＥＧ装置２００に、選択された装置をデータストア８００から削除させることができる。このようにアプリケーション７１０を使用することにより、ユーザーは、ウェアラブルＥＥＧ装置２００のデータストア８００に含まれる既知の装置のリストに含まれる物体を追加、削除、および更新することができる。

図８は、データストア８００の詳細を示す。各既知の装置１３０は、関連付けられた装置ＩＤ８０２を有することができる。いくつかの例では、既知の装置のリストは、各装置１３０に関連付けられた機能８０４を含む。例示的な機能には、アクティブ化／非アクティブ化、開閉、順番の次の要素または位置への工程（例えば、ラジオまたはテレビ受信機を次の局に合わせる、または環境制御システムの冷房、オフ、および暖房の設定、または冷却ファンの速度の切り替え）が含まれる。一部の装置１３０は、複数の関連機能８０４を有し得る。たとえば、複数のファン速度を持つ冷却ファンには、オン／オフできる照明が含まれる場合もある。図７に示すように、電球はオン状態とオフ状態との間で切り替えることができる。さらに、電球に関連付けられた動きセンサー（照明の近くの動きを検出すると照明を点灯できる）も、アクティブ状態と非アクティブ状態の間で切り替えることができる。いくつかの例では、アプリケーション７１０は、ユーザー１０２が、ユーザーの集中力の増加に応じてウェアラブルＥＥＧ装置２００によって実行される機能を選択できるようにする。ここでは、電球の状態を表す機能を選択する。アプリケーション７１０は、ユーザーが選択できるように、既知の各装置に関連付けられた機能のリストを提供することができる。アプリケーション７１０は、ユーザーが各既知の装置（または既知の装置のグループ）に関連付けられた追加機能８０４を定義できるようにすることができる。例えば、アプリケーション７１０は、ＴＣＬ、ｐｅｒｌ、またはｐｙｔｈｏｎなどのコマンド言語またはスクリプト言語の構文に従って、またはＪａｖａなどの汎用コンピューティング言語の構文に従って、ユーザーが追加の機能を入力できるようにすることができる。アプリケーション７１０は、コンピューティング装置１０４に、定義されたおよび／または選択された機能をウェアラブルＥＥＧ装置２００に送信させ、ウェアラブルＥＥＧ装置２００に、ユーザーの集中力の増加に応答してその機能を実行させることができる。いくつかの例では、アプリケーション７１０は、装置または装置のクラスに関連付けられた機能のリポジトリから機能をダウンロードすることができる。アプリケーション７１０はまた、例えば適切な程度のテストの後、機能をリポジトリにアップロードすることもできる。

いくつかの例では、既知の装置のリストは、各装置１３０に関連付けられた設定８０６を含む。プロセッサ１００５は、例えば、位置／方位センサー２６０から受信した情報に基づいて、ウェアラブルＥＥＧ装置２００の位置または方位の変化を決定し得る。位置または向きの変化の決定に応答して、プロセッサ１００５は、選択された装置１３０の設定を制御する機能を実行することができる。例えば、ユーザーの頭が下向きの位置からより上向きの位置に移動することに応答して、プロセッサ１００５は、プロセッサ１００５は、選択された装置１３０の音量設定を上げることができる。同様に、ユーザーの頭が上向き位置からより下向き位置に移動することに応答して、プロセッサ１００５は、選択された装置１３０の音量設定を下げることができる。装置１３０に関連付けられた機能の場合と同様に、アプリケーション７１０は、ユーザー１０２が、各既知の装置（または既知の装置のグループ）に関連付けられた追加機能８０４を定義し、ウェアラブルＥＥＧ装置２００によって制御する設定を位置や向きの変化に反応して選択できるようにすることができる。このようにして、ユーザー１０２は、集中レベルに基づいて装置１３０をアクティブ化または非アクティブ化することができ、また、ユーザーの頭の動きに基づいて装置１３０の設定を調整することができる。

図９Ａは、装置１３０に関連付けられた設定８０６を制御するための環境９００の一例を示す。環境９００は、装置コントローラ１２０によって制御される電球１３０を含む。装置コントローラ１２０は、電球１３０をオンまたはオフに、電球１３０のスイッチを入れることができる起動コントローラ９０４と、電球１３０の明るさを電球１３０に流れる電流を調整するなどして、調整可能な調光コントローラ９０６を含む。ここで、調光コントローラ９０６の設定８０６は、低レベルの明るさに対応する比較的低い値である。図９Ｂに示されるように、調光コントローラ９０６の設定８０６は、ウェアラブルＥＥＧ装置２００が上方に傾斜することに応答して、より高い値に移動されている。装置を検出するプロセスおよびウェアラブルＥＥＧ装置の動きを検出するプロセスは、上述したとおりであり得る。たとえば、システムは、装置のヨーの増減量に一致する（またはその関数となる）ように、明るさの増減を計算することができる。前述のように、脳活動の検出に応答して、ウェアラブルＥＥＧ装置２００はまた、装置コントローラ１２０に信号を送信し、装置コントローラ１２０に起動コントローラ９０４を介して照明をオンまたはオフにすることもできる。このようにウェアラブルＥＥＧ装置２００を使用すると、ユーザー１０２は、集中レベルに基づいて照明１３０をオンまたはオフにすることができ、ユーザーは、ユーザーの頭の動きに基づいて照明１３０の明るさを調整することができる。ウェアラブルＥＥＧ装置２００は、ファンのオンとオフおよび速度の制御、オーディオ機器のアクティブ化／非アクティブ化および音量の調整、クライメイトコントロールシステムのアクティブ化／非アクティブ化を含む、様々な装置１３０のアクティブ化／非アクティブ化および温度調整等、様々は装置１３０のアクティブ化／非アクティブ化、及び設定の調整に使用され得る。図９Ａおよび９Ｂは、装置１３０およびその装置コントローラ１２０と直接通信するウェアラブルＥＥＧ装置２００を示すが、通信は、図１、６Ａ、６Ｂ、７に示されるような１つ以上の中間装置を介してルーティングされ得る。

図１０は、ウェアラブルＥＥＧ装置２００の内部処理システムなど、システムの電子コンポーネントのいずれかに含まれ得る例示的なハードウェアを示す。電気バス１０００は、ハードウェアの他の図示されたコンポーネントを相互接続する情報ハイウェイとして機能する。プロセッサ１００５はシステムの中央処理装置であり、プログラミング命令を実行するために必要な計算および論理演算を実行するように構成されている。本明細書および特許請求の範囲で使用される「プロセッサ」および「処理装置」という用語は、単一のプロセッサ１００５、または中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、リモートサーバー、またはこれらの組み合わせなどの一連の動作を集合的に実行する一連のプロセッサ内の任意の数のプロセッサを指し得る。読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ハードドライブ、および電子データを記憶できる他の装置は、メモリ装置１０２５の例を構成する。メモリ装置には、データおよび／または命令が格納される単一の装置または装置の集合が含まれてもよい。本発明の様々な実施形態は、１つ以上のプロセッサに、前の図の文脈で説明した機能を実行させるように構成されたプログラミング命令を含むコンピュータ可読媒体を含み得る。

オプションの表示インターフェース１０３０により、バス１０００からの情報を、車両のダッシュボード内表示システムなどの表示装置１０３５上に視覚、グラフィック、または英数字形式で表示できるようにすることができる。オーディオインターフェイスおよびオーディオ出力（スピーカーなど）も提供可能である。外部装置との通信は、無線アンテナ、無線周波数識別（ＲＦＩＤ）タグ、および／または短距離または近距離通信トランシーバなどの様々な通信装置１０１０を使用して行うことができ、それらのそれぞれは、任意選択で、１つ以上の通信システムを介して装置の他のコンポーネントと通信可能に接続することができる。通信装置１０１０は、送信機、トランシーバ、またはインターネット、ＷｉーＦｉまたはローカルエリアネットワークまたは携帯電話データネットワークなどの通信ネットワークに通信可能に接続されるように構成された他の装置を含んでもよい。または、Ｂｌｕｅｔｏｏｔｈトランスミッターや赤外線発光器など、近くにある１つ以上の装置との直接通信接続を確立する。

ハードウェアはまた、キーボードまたはキーパッド、ジョイスティック、タッチスクリーン、タッチパッド、リモコン、ポインティング装置および／またはマイクなどの入力装置１０５０からのデータの受信を可能にするユーザーインターフェースセンサー１０４５を含んでもよい。デジタル画像フレームは、ビデオおよび／または静止画像を取り込むことができるカメラ１０４０から受信することもできる。システムはまた、ＥＥＧセンサー２２０などの１つ以上のセンサー１０２０、および慣性測定センサーなどの動き／位置センサー１０７０からデータを受信することもできる。

第１の実施形態では、システムは人の耳にフィットするように構成されたハウジングを含む。ハウジングは、耳上のブリッジと、ブリッジから人のこめかみ上の位置まで前方に延びる第１の部分と、ブリッジから後方に延びる第２の部分とを含む。このシステムはさらに、第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、第１の部分に配置された第２の乾式ＥＥＧセンサーと、電源と、プロセッサと、プロセッサと通信するカメラと、プロセッサと通信する送信機とを含む。

任意選択で、上記の実施形態では、カメラは第１の部分に配置され、ハウジングを耳の上に装着したときに人の視野内の物体の画像を取り込むように構成される。

任意選択で、または上記の実施形態のいずれかにおいて、システムは、ハウジングから下方に延在し、人が装着したときに耳たぶの下にフィットするように配置された可撓性イヤピースと、可撓性イヤピース内に配置された第３の乾式ＥＥＧセンサーとを含む。

任意選択で、または上記の実施形態のいずれかにおいて、システムは、ハウジング内に配置された位置センサーまたは配向センサーをさらに含む。

任意選択で、または上記の実施形態のいずれかにおいて、システムは、ハウジング内に配置されたメモリを含む。任意選択で、メモリは、既知の装置に関連付けられた特徴、つまり既知の装置の取り込まれた画像から抽出された特徴を表すデータを含むデータストアを保持する。

第２の実施形態では、環境内の１つ以上の物体を制御する方法は、電子装置のプロセッサによって、ＥＥＧセンサーを有する電子装置のカメラから画像を受信する工程と、既知の装置に対応する特徴を識別するために画像を処理する工程とを含む。この方法は、少なくとも２つのＥＥＧセンサーから脳波信号を受信する工程と、脳波信号を比較して脳活動のレベルを測定する工程とを含む。（ａ）既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱する脳活動レベルの両方が検出されると、この方法は、既知の装置を作動させるように構成されたコマンド信号を生成し、コマンド信号を既知の装置（または既知の装置のコントローラ）に送信する。

任意選択で、上記の実施形態では、既知の装置に対応する特徴を識別するために画像を処理する工程は、画像から１つ以上の画像特徴を抽出する工程と、その画像特徴を既知の装置に対応する１つ以上の既知の特徴と比較する工程とを含み、ここで、既知の特徴は、既知の装置の以前に取り込まれた画像から抽出されたものである。

任意選択で、または上記の実施形態のいずれかにおいて、画像特徴を１つ以上の既知の特徴と比較する工程は、少なくとも閾値数の画像特徴が既知の装置に対応する既知の特徴に対応することを決定する工程を含む。

任意選択で、または上記の実施形態のいずれかにおいて、特徴は、既知の装置の表面に刻印されたシンボルまたはシンボルのパターンを含む。

任意選択で、または上記の実施形態のいずれかにおいて、この方法は、１秒当たり少なくとも２回の速度で画像を受信する工程をさらに含む。

任意選択で、または上記の実施形態のいずれかにおいて、電子装置は慣性測定ユニット（ＩＭＵ）を含み、方法は、既知の装置が調整可能な設定点を有するとの決定に応答して、ＩＭＵを使用して設定点を調整する工程をさらに含む。

任意選択で、または上記の実施形態のいずれかにおいて、電子装置は、慣性測定ユニット（ＩＭＵ）を含み、方法は、既知の装置が電子ユーザーインターフェースであるとの決定に応答して、作動が起こる電子ユーザーインターフェース上の位置をＩＭＵを使用してを選択するステップをさらに含む。

第３の実施形態では、環境システム内の１つ以上の物体を制御するシステムは、一組の乾式ＥＥＧセンサー、カメラ、プロセッサ、およびプログラミング命令を有するウェアラブル耳かけ型電子装置を含む。プログラミング命令は、プロセッサがカメラから画像を受信し、その画像を処理して既知の装置に対応する特徴を識別し、少なくとも２つのＥＥＧセンサーから脳波信号を受信するように構成される。このシステムは脳波信号を比較して脳活動のレベルを測定する。（ａ）既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱した脳活動レベルの両方が検出されると、システムは既知の装置を作動させるように構成されたコマンド信号を生成し、既知の装置（または既知の装置のコントローラ）へコマンド信号を送信する。

任意選択で、上記の実施形態では、脳波信号はベータ波信号を含む。

任意選択で、または上記の実施形態のいずれかにおいて、既知の装置に対応する特徴には、既知の装置の表面の形状が含まれる。

任意選択で、または上記の実施形態のいずれかにおいて、特徴は、既知の装置の表面に刻印されたシンボルまたはシンボルのパターンを含む。

任意選択で、または上記の実施形態のいずれかにおいて、システムは、慣性測定ユニット（ＩＭＵ）と、既知の装置が調整可能な設定点を有するとの決定に応答して、プロセッサに、ＩＭＵを使用して設定値を調整する追加のプログラミング命令を含む。

任意選択で、または上記の実施形態のいずれかにおいて、システムは、慣性測定ユニット（ＩＭＵ）と、既知の装置が電子ユーザーインターフェースであるとの決定に応答して、プロセッサにＩＭＵを使用して、作動が発生する電子ユーザーインターフェイス上の位置を選択させる追加のプログラミング命令を含む。

任意選択で、または上記の実施形態のいずれかにおいて、ウェアラブル耳かけ型電子装置は、人の耳にフィットするように構成されたハウジングをさらに含み、ハウジングは、耳上のブリッジを含み、ブリッジから人のこめかみ上の位置までの部分まで前方に延びる第１の部分と、ブリッジから後方に延びる第２の部分とを含む。

任意選択で、または上記の実施形態のいずれかにおいて、ウェアラブル耳かけ型電子装置は、第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、第１の部分に配置された第２の乾式ＥＥＧセンサーと、電源と、プロセッサと通信する送信機とをさらに有する。

任意選択で、または上記の実施形態のいずれかにおいて、ウェアラブル耳かけ型電子装置は、既知の装置に対応する既知の特徴を含むデータストアをさらに含み、既知の特徴は、既知の装置の以前に取り込まれた画像から抽出されたものである。プログラミング命令には、受信した画像から１つ以上の画像特徴を抽出し、その画像特徴を既知の特徴と比較して既知の装置を識別するための命令が含まれる。任意選択で、画像特徴を既知の特徴と比較するための命令は、閾値数の画像特徴が既知の特徴に対応することを決定するための命令を含む。

第４の実施形態では、環境内の物体のデータベースを開発する方法は、カメラを有するモバイル装置を使用して環境内の物体の画像を取り込むことを含む。各物体について、この方法は、ユーザーインターフェースを介して、物体のユーザーによる選択を受信する工程と、ユーザーによる選択の受信に応答して、物体の認識可能な特徴のパターンを作成する工程とを含む。認識可能な特徴のパターンは、１つ以上の画像内の物体に関連する特徴を識別し、その特徴をモバイル装置とウェアラブル電子装置の間の通信リンクを介してウェアラブル電子装置に送信し、パターンをウェアラブル電子装置のデータストアに保存させることによって生成する。

任意選択で、上記の実施形態では、本方法は、選択された物体に関連付けられた実行可能コマンドを受信する工程と、通信リンクを介して実行可能コマンドをウェアラブル電子装置に送信する工程とをさらに含み、これにより、ウェアラブル電子装置に実行可能コマンドをパターンに関連付けさせる。任意選択で、実行可能コマンドは、ウェアラブル電子装置によって実行されると、ウェアラブル電子装置に物体の設定を調整させる。

任意選択で、または上記の実施形態のいずれかにおいて、特徴を識別する工程は、１つ以上の画像内の１つ以上のキーポイントを特定し、キーポイントに識別子を割り当てる工程を含む。任意選択で、識別子にはＢＲＩＥＦ（バイナリロバスト独立基本特徴）記述子が含まれる。

任意選択で、または上記の実施形態のいずれかにおいて、物体のユーザーによる選択を受信する工程は、物体画像のユーザーによる選択を受信する工程を含む。

第５の実施形態では、機械学習モデルをトレーニングする方法は、環境内の物体の画像を取り込むためのカメラを有するモバイル装置を使用する工程を含む。各物体について、この方法は、ユーザーインターフェースを介して物体のユーザーによる選択を受信する工程と、選択された物体に関連付けられたコマンドを受信する工程と、ユーザーによる選択の受信に応答して、物体を認識するように機械学習モデルをトレーニングする工程とを含む。

この方法は、物体の複数の画像を受信し、複数の画像に基づいて機械学習モデルをトレーニングすることによって、物体を認識するように機械学習モデルをトレーニングする。この方法は、モバイル装置とウェアラブル電子装置との間の通信リンクを介して、トレーニングされたモデルおよびコマンドをウェアラブル電子装置に送信し、ウェアラブル電子装置にトレーニングされた機械学習モデルをウェアラブル電子装置内のデータストアに保存させ、コマンドをトレーニングされた機械学習モデルに関連付けさせる工程を含む。

任意選択で、上記の実施形態では、ウェアラブル電子装置にコマンドをトレーニングされた機械学習モデルに関連付けさせる工程は、トレーニングされた機械学習モデルがウェアラブル電子装置によって取り込まれた画像内の物体を認識することに応答して、ウェアラブル電子装置にコマンドを実行させる。任意選択で、コマンドが実行されると、物体が第１の状態から別の状態に変化する。

任意選択で、または上記の実施形態のいずれかにおいて、機械学習モデルはニューラルネットワークを含む。

任意選択で、または上記の実施形態のいずれかにおいて、複数の画像を受信する工程は、複数の角度で物体のビデオを取り込む工程を含む。

任意選択で、または上記の実施形態のいずれかにおいて、機械学習モデルは、物体が画像内に存在する確率を決定するように構成され、機械学習モデルはさらに、決定された確率が確率の閾値を満たす場合に物体を認識するように構成されている。

任意選択で、または上記の実施形態のいずれかにおいて、方法は、複数の画像のうちの１つ以上の画像の１つ以上の複数の関心領域を決定する工程と、１つ以上の関心領域内で複数の画像の一部に基づいて機械学習モデルをトレーニングする工程とをさらに含む。

任意選択で、または上記の実施形態のいずれかにおいて、方法は、選択された物体の基準画像を受信する工程と、基準画像内の選択された物体に関連する基準特徴を識別する工程とを含む。

任意選択で、または上記の実施形態のいずれかにおいて、方法は、複数の画像のうちの１つ以上の物体の周囲に境界ボックスを構築する工程と、境界ボックス内の各画像の部分から特徴を抽出する工程と、抽出された特徴を基準特徴と比較する工程とをさらに含む。閾値数の抽出された特徴が基準特徴と一致することに応じて、この方法は、境界ボックス内の画像の部分について機械学習モデルをトレーニングする工程を含む。

任意選択で、または上記の実施形態のいずれかにおいて、方法は、閾値数の抽出された特徴が基準特徴と一致するまで、物体の周囲の境界ボックスの寸法、位置、または向きを調整する工程を含む。

第６の実施形態では、機械学習モデルをトレーニングするためのシステムは、環境内の物体の画像を取り込むためのカメラを有するモバイル装置を含む。モバイル装置は、ユーザーインターフェースを介して物体のユーザーによる選択を受信し、選択された物体に関連付けられたコマンドを受信し、物体を認識するように機械学習モデルをトレーニングするように構成されている。このシステムは、物体の複数の画像を受信し、複数の画像に基づいて機械学習モデルをトレーニングし、トレーニングされたモデルとコマンドをモバイル装置とウェアラブル電子装置の間の通信リンクを介してウェアラブル電子装置に送信し、ウェアラブル電子装置に、トレーニングされた機械学習モデルをウェアラブル電子装置内のデータストアに保存させ、コマンドをトレーニングされた機械学習モデルに関連付けさせて、機械学習モデルが物体を認識するようにトレーニングする。

任意選択で、上記の実施形態では、複数の画像を受信する工程は、複数の角度で物体のビデオを取り込む工程を含む。

任意選択で、または上記の実施形態のいずれかにおいて、モバイル装置はさらに、複数の画像のうちの１つ以上の画像の１つ以上の関心領域を決定し、１つ以上の関心領域内の複数の画像の一部に基づいて機械学習モデルをトレーニングするように構成される。

任意選択で、または上記の実施形態のいずれかにおいて、モバイル装置は、選択された物体の基準画像を受信し、基準画像内の選択された物体に関連する既知の特徴を識別するように構成される。モバイル装置は、複数の画像のうちの１つ以上の画像内の物体の周囲に境界ボックスを構築し、境界ボックス内の各画像の部分から特徴を抽出し、抽出された特徴を既知の特徴と比較する。閾値数の抽出された特徴が既知の特徴と一致することに応じて、モバイル 装置は境界ボックス内の画像の部分で機械学習モデルをトレーニングする。

任意選択で、または上記の実施形態のいずれかにおいて、モバイル装置は、抽出された閾値数の特徴が既知の特徴と一致するまで、物体の周囲の境界ボックスの寸法、位置、または向きを調整するように構成される。

本明細書では、「電子装置」または「コンピューティング装置」とは、プロセッサおよびメモリを含む装置を指す。各装置は独自のプロセッサおよび／またはメモリを備えていてもよく、またはプロセッサおよび／またはメモリは、仮想マシンまたはコンテナ構成のように他の装置と共有されていてもよい。メモリは、プロセッサによって実行されると、電子装置にプログラミング命令に従って１つ以上の動作を実行させるプログラミング命令を格納または受信する。

「メモリ」、「メモリ装置」、「コンピュータ可読媒体」、「データストア」、「データ記憶設備」などの用語はそれぞれ、コンピュータ可読データ、プログラミング命令またはその両方が保存される非一時的な装置を指す。特に明記しない限り、「メモリ」、「メモリ装置」、「コンピュータ可読媒体」、「データストア」、「データ記憶設備」などは、単一の装置の実施形態、複数のメモリを備えた実施形態を含むことを意図し、装置は、一連のデータや命令だけでなく、そのような装置内の個々のセクターも一緒に、またはまとめて格納する。コンピュータプログラム製品は、プログラミング命令が格納されたメモリ装置です。

「プロセッサ」および「処理装置」という用語は、マイクロプロセッサまたは他の論理回路など、プログラミング命令を実行するように構成された電子装置のハードウェアコンポーネントを指す。プロセッサおよびメモリは、マイクロコントローラ、カスタム構成可能な集積回路、プログラム可能なシステムオンチップ、またはさまざまな機能を実行するようにプログラムできる他の電子装置の要素であってもよい。特に明記しない限り、「プロセッサ」または「処理装置」という単数の用語は、単一の処理装置の実施形態と、複数の処理装置が一緒にまたは集合的にプロセスを実行する実施形態の両方を含むことを意図している。

「撮像システム」とは、物体を光学的に観察し、その物体の解釈を電子信号に変換できる任意の装置またはシステムである。撮像装置の一例はデジタルカメラである。

「機械学習モデル」または「モデル」とは、現実世界のプロセスの出力（例えば、物体の識別または分類）を明示的にプログラムされていない入力機能のセットに基づいて予測できる一連のアルゴリズムルーチンおよびパラメータを指す。ソフトウェアルーチンの構造（例えば、サブルーチンの数とそれらの間の関係）および／またはパラメータの値は、モデル化されている現実世界のプロセスの実際の結果を使用できるトレーニングプロセスで決定できる。このようなシステムやモデルは必然的にコンピュータ技術に根ざしていると理解されており、実際、コンピューティング技術がなければ実装できず、存在することさえできない。機械学習システムはさまざまな種類の統計分析を利用するが、機械学習システムは、明示的なプログラミングを行わずに学習できることと、コンピュータテクノロジーに根ざしているという点で統計分析とは区別される。機械学習モデルは、サンプル データセット（「トレーニングデータ」と呼ばれる）でトレーニングできる。

「境界ボックス」という用語は、物体の位置を表す長方形のボックスを指す。境界ボックスは、ボックスの第１のコーナー（右上角など）に対応するｘ軸およびｙ軸の座標［ｘｍａｘ，ｙｍａｘ］と、第１のコーナーの反対側にある長方形のコーナー（左下角など）に対応するｘ軸およびｙ軸の座標［ｘｍｉｎ，ｙｍｉｎ］によってデータで表すことができる。これは、物体のすべての点を含む最小の長方形として計算され、任意選択で誤差の範囲を考慮して追加のスペースを加えることもできる。物体の点は、カメラによって取り込まれた画像のピクセルなど、１つまたは複数のセンサーによって検出された点であってもよい。

本明細書では、「無線通信」という用語は、送信元と宛先の間の通信経路の少なくとも一部に、物理的な導体を介した信号の送信ではなく、Ｗｉ－Ｆｉネットワーク、Ｂｌｕｅｔｏｏｔｈ接続、または別の短距離または近距離通信プロトコルを介した、空気を介した信号の送信が関わる通信プロトコルを指す。ただし、「無線通信」という用語は、通信経路全体が無線であることを必ずしも必要とするわけではなく、通信経路の一部には、経路の無線位置にわたる通信を容易にする送信機の前または受信機の後に配置された物理導体を含むことができる。

本明細書において、「前」と「後」、または「前方」と「後」などの位置に関する相対的な用語を使用する場合、それは、装置が人によって装着され、人が前方または正面とみなされる方向を向いている配置をカバーすることを意図している。

本発明を特定の実施形態を用いて説明してきたが、当業者には他の代替案、変更形態、および変形形態が明らかである。したがって、添付の特許請求の範囲の精神および範囲内にそのような代替案、修正案、および変形案をすべて含むことが意図される。

Claims (40)

1. 人の脳波を検出するためのシステムであって、
   人の耳上にフィットするように構成されたハウジングであって、
   耳上のブリッジと、
   前記ブリッジから人のこめかみ上の位置まで前方に延びる第１の部分と、
   前記ブリッジから後方に延びる第２の部分と、
   を有する、ハウジングと、
   前記第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、
   前記第１の部分に配置された第２の乾式ＥＥＧセンサーと、
   電源と、
   プロセッサと、
   前記プロセッサと通信するカメラと、
   前記プロセッサと通信する送信機と、
   を有する、システム。
2. 請求項１記載のシステムにおいて、前記カメラは、前記第１の部分に配置され、前記ハウジングを耳上に装着したときに人の視野内の物体の画像を取り込むように構成されるものである、システム。
3. 請求項１に記載のシステムにおいて、さらに、
   前記ハウジングから下方に延び、人が装着したときに耳たぶの下にフィットするように配置される可撓性のイヤピースと、
   前記可撓性のイヤピースに配置された第３の乾式ＥＥＧセンサーと、
   を有するものである、システム。
4. 請求項１に記載のシステムにおいて、
   前記ハウジング内に配置された位置センサーまたは配向センサーをさらに備えるものである、システム。
5. 請求項１に記載のシステムにおいて、
   前記ハウジング内に配置されたメモリをさらに備え、前記メモリは、既知の装置に関連付けられた特徴を表すデータを含むデータストアを保持し、前記特徴は、前記既知の装置の取り込まれた画像から抽出されるものである、システム。
6. 環境内の１つ以上の物体を制御する方法であって、電子装置のプロセッサによる以下の工程：
   前記電子装置のカメラから画像を受信する工程であって、前記電子装置はＥＥＧセンサーを有する、受信する工程と、
   前記画像を処理して既知の装置に対応する特徴を識別する工程と、
   少なくとも２つの前記ＥＥＧセンサーから脳波信号を受信し、前記脳波信号を比較して脳活動のレベルを測定する工程と、
   （ａ）前記既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱した脳活動レベル、の両方が検出されると、前記既知の装置を作動させるように構成されたコマンド信号を生成する工程と、
   前記コマンド信号を前記既知の装置、または前記既知の装置のコントローラに送信する工程と、
   を有する、方法。
7. 請求項６記載の方法において、
   前記画像を処理して既知の装置に対応する特徴を識別する工程は、
   前記画像から１つ以上の画像特徴を抽出する工程と、
   前記画像特徴を、前記既知の装置に対応する１つ以上の既知の特徴と比較する工程であって、前記既知の特徴は、前記既知の装置の以前に取り込まれた画像から抽出されたものである、比較する工程と、
   を有するものである、方法。
8. 請求項７記載の方法において、前記画像特徴を、前記既知の装置に対応する１つ以上の既知の特徴と比較する工程は、少なくとも閾値数の画像特徴が、前記既知の装置に対応する既知の特徴に対応すると決定する工程を含むものである、方法。
9. 請求項６の方法において、
   前記電子装置は、慣性測定ユニット（ＩＭＵ）をさらに有し、
   この方法は、前記既知の装置が調整可能な設定値を備えているとの決定に応答して、ＩＭＵを使用して前記設定値を調整する工程をさらに含むものである、方法。
10. 請求項６に記載の方法であって、
    前記電子装置は、慣性測定ユニット（ＩＭＵ）をさらに有し、
    この方法は、前記既知の装置が電子ユーザーインターフェースであるとの決定に応答して、前記ＩＭＵを使用して、作動が起こる前記電子ユーザーインターフェース上の位置を選択する工程をさらに有するものである、方法。
11. 請求項６記載の方法において、前記画像を少なくとも毎秒２回の速度で受信する工程をさらに含むものである、方法。
12. 請求項６記載の方法において、前記特徴は、前記既知の装置の表面に刻印されたシンボルまたはシンボルのパターンを含むものである、方法。
13. 環境内の１つ以上の物体を制御するためのシステムであって、
    一連の乾式脳波（ＥＥＧ）センサーと、カメラと、プロセッサと、このプロセッサに次の工程を行わせるように構成されたプログラミング命令とを備えたウェアラブル耳かけ型電子装置であって、前記工程は、
    前記カメラから画像を受信する工程と、
    前記画像を処理して既知の装置に対応する特徴を識別する工程と、
    少なくとも２つの前記ＥＥＧセンサーから脳波信号を受信し、脳波信号を比較して脳活動のレベルを測定する工程と、
    （ａ）前記既知の装置に対応する特徴と、（ｂ）少なくとも閾値レベルだけベースラインから逸脱した脳活動レベル、の両方が検出されると、前記既知の装置を作動させるように構成されたコマンド信号を生成する工程と、
    前記コマンド信号を前記既知の装置または前記既知の装置のコントローラに送信する工程と、
    を有するものである、システム。
14. 請求項１３記載のシステムにおいて、前記ウェアラブル耳かけ型電子装置は、
    人の耳上にフィットするように構成されたハウジングであって、耳上のブリッジと、前記ブリッジから人のこめかみ上の位置まで前方に延びる第１の部分と、前記ブリッジから後方に延びる第２の部分と、を有する、ハウジングと、
    前記第２の部分に配置された第１の乾式脳波（ＥＥＧ）センサーと、
    前記第１の部分に配置された第２の乾式ＥＥＧセンサーと、
    電源と、
    前記プロセッサと通信する送信機と
    を有するものである、システム。
15. 請求項１３記載のシステムにおいて、さらに、
    慣性測定ユニット（ＩＭＵ）と、
    追加のプログラミング命令であって、前記既知の装置が調整可能な設定値を備えているとの決定に応答して、前記プロセッサに前記ＩＭＵを使用させて、前記設定値を調整するように構成されている、追加のプログラミング命令と、
    を有するものである、システム。
16. 請求項１３記載のシステムにおいて、さらに、
    慣性測定ユニット（ＩＭＵ）と、
    追加のプログラミング命令であって、前記既知の装置が電子ユーザーインターフェースであるとの決定に応答して、前記プロセッサに前記ＩＭＵを使用させて、前記作動が発生する電子ユーザーインターフェース上の位置を選択するように構成されている、追加のプログラミング命令と、
    を有するものである、システム。
17. 請求項１３記載のシステムにおいて、前記ウェアラブル耳かけ型電子装置がさらに、
    前記既知の装置に対応する既知の特徴を含むデータストアであって、この既知の特徴は、前記既知の装置の以前に取り込まれた画像から抽出されるものである、データストアを有し、
    前記プログラミング命令は、
    前記受信した画像から１つ以上の画像特徴を抽出し、
    前記画像特徴を前記既知の特徴と比較して、前記既知の装置を識別する、
    命令を有するものである。
18. 請求項１７記載のシステムにおいて、前記画像特徴を前記既知の特徴と比較する命令は、閾値数の画像特徴が既知の特徴に対応することを決定する命令を含むものである、システム。
19. 請求項１３記載システムにおいて、前記脳波信号はベータ波信号を含むものである、システム。
20. 請求項１３記載システムにおいて、
    前記特徴は、前記既知の装置の表面の形状を含むものである、システム。
21. 環境内の物体のデータベースを開発する方法であって、
    カメラを備えたモバイル装置を使用して前記環境内の物体の画像を取り込む工程と、
    物体ごとに
    ユーザーインターフェースを介して、前記物体のユーザーによる選択を受信する工程と、
    前記ユーザーによる選択の受信に応答して、前記物体の認識可能な特徴のパターンを作成する工程であって、
    １つ以上の前記画像内の物体に関連する特徴を識別し、
    前記モバイル装置とウェアラブル電子装置との間の通信リンクを介して前記特徴を前記ウェアラブル電子装置に送信し、これにより前記ウェアラブル電子装置に前記パターンを前記ウェアラブル電子装置内のデータストアに保存させることにより、特徴のパターンを作成する工程と、
    を有するものである、方法。
22. 請求項２１に記載の方法において、さらに、
    前記選択された物体に関連付けられた実行可能コマンドを受信する工程と、
    前記通信リンクを介して前記実行可能コマンドを前記ウェアラブル電子装置に送信して、前記ウェアラブル電子装置に前記実行可能コマンドを前記パターンに関連付けさせる工程と、
    を有するものである、方法。
23. 請求項２２記載の方法において、前記実行可能コマンドは、前記ウェアラブル電子装置によって実行されると、前記ウェアラブル電子装置に前記物体の設定を調整させるものである、方法。
24. 請求項２１記載の方法において、
    前記特徴を識別する工程は、前記１つ以上の画像内の１つ以上のキーポイントを特定し、前記キーポイントに識別子を割り当てる工程を含むものである、方法。
25. 請求項２４記載の方法において、
    前記識別子は、バイナリロバスト独立基本特徴（ＢＲＩＥＦ）記述子を含むものである、方法。
26. 請求項２１記載の方法において、
    前記物体のユーザーによる選択を受信する工程は、前記物体の画像のユーザーによる選択を受信する工程を含むものである、方法。
27. 機械学習モデルをトレーニングする方法であって、
    カメラを備えたモバイル装置を使用して、環境内の物体の画像を取り込む工程と、
    物体ごとに：
    ユーザーインターフェースを介して前記物体のユーザーによる選択を受信する工程と、
    前記選択された物体に関連付けられたコマンドを受信する工程と
    前記ユーザーによる選択の受信に応じて、前記機械学習モデルをトレーニングするために前記物体を認識する工程であって、
    前記物体の複数の画像を受信する工程と、
    前記複数の画像に基づいて前記機械学習モデルをトレーニングする工程と、
    を有する認識する工程と、
    前記モバイル装置と前記ウェアラブル電子装置との間の通信リンクを介して、前記トレーニングされたモデルおよびコマンドを前記ウェアラブル電子装置に送信し、前記ウェアラブル電子装置に前記トレーニングされた機械学習モデルを前記ウェアラブル電子装置内のデータストアに保存させ、前記コマンドを前記トレーニングされた機械学習モデルに関連付けさせる工程と、
    を有するものである、方法。
28. 請求項２７記載の方法において、さらに、
    前記複数の画像の１つ以上で１つ以上の関心領域を決定する工程を有し、
    前記機械学習モデルをトレーニングする工程は、前記１つ以上の関心領域内の前記複数の画像の部分に基づくものである、方法。
29. 請求項２７記載の方法において、さらに、
    前記選択された物体の基準画像を受信する工程と
    前記基準画像内の前記選択された物体に関連する基準特徴を識別する工程と、
    前記複数の画像の１つ以上で前記物体の周囲に境界ボックスを構築する工程と、
    前記境界ボックス内の前記画像のそれぞれの部分から特徴を抽出する工程と、
    前記抽出された特徴を前記基準特徴と比較する工程と、
    閾値数の抽出された特徴が基準特徴に一致することに応じて、前記境界ボックス内の画像の部分で前記機械学習モデルをトレーニングする工程と、
    を有する、方法。
30. 請求項２９に記載の方法において、さらに、
    前記閾値数の抽出された特徴が基準特徴と一致するまで、前記物体の周囲の境界ボックスの寸法、位置、または向きを調整する工程と
    を有するものである、方法。
31. 請求項２７に記載の方法において、
    前記複数の画像を受信する工程は、複数の角度で前記物体のビデオを取り込む工程を含むものである、方法。
32. 請求項２７に記載の方法において、
    前記ウェアラブル電子装置に前記コマンドを前記トレーニングされた機械学習モデルに関連付けさせる工程はさらに、前記トレーニングされた機械学習モデルが、前記ウェアラブル電子装置によって取り込まれた画像内で前記物体を認識することに応答して、前記ウェアラブル電子装置に前記コマンドを実行させる工程を有するものである、方法。
33. 請求項３２記載の方法において、前記コマンドは、これが実行されると、前記物体を第１の状態から別の状態に変化させるものである、方法。
34. 請求項２７記載の方法において、
    前記機械学習モデルは、ニューラルネットワークを含むものである、方法。
35. 請求項２７記載の方法において、
    前記機械学習モデルは、前記物体が前記画像内に存在する確率を決定するように構成され、前記機械学習モデルはさらに、前記決定された確率が確率閾値を満たす場合に、前記物体を認識するようにさらに構成されているものである、方法。
36. 機械学習モデルをトレーニングするためのシステムであって、
    環境内の物体の画像を取り込むカメラを有するモバイル装置であって、このモバイル装置は、
    ユーザーインターフェースを介して、物体のユーザーによる選択を受信する工程と、
    前記選択された物体に関連付けられたコマンドを受信する工程と、
    次の方法で物体を認識するように機械学習モデルをトレーニングする工程であって、
    物体の複数の画像を受信する工程と、
    前記複数の画像に基づいて前記機械学習モデルをトレーニングする工程と、
    前記モバイル装置と前記ウェアラブル電子装置との間の通信リンクを介して、前記トレーニングされたモデルおよびコマンドを前記ウェアラブル電子装置に送信して、前記ウェアラブル電子装置に前記トレーニングされた機械学習モデルを前記ウェアラブル電子装置内のデータストアに保存させ、前記コマンドを前記トレーニングされた機械学習モデルに関連付けさせるものである、物体を認識するように機械学習モデルをトレーニングする工程と、
    を有する、方法。
37. 請求項３６記載のシステムにおいて、前記モバイル装置はさらに、
    前記複数の画像のうちの１つ以上の画像で１つ以上の関心領域を決定し、
    前記１つ以上の関心領域内の前記複数の画像の部分に基づいて前記機械学習モデルをトレーニングするように構成されたものである、システム。
38. 請求項３６記載のシステムにおいて、前記モバイル装置はさらに、
    前記選択された物体の基準画像を受信し、
    前記基準画像内の前記選択された物体に関連する既知の特徴を識別し、
    前記複数の画像のうちの１つ以上の画像で前記物体の周囲に境界ボックスを構築し、
    前記境界ボックス内の前記画像のそれぞれの部分から特徴を抽出し、
    前記抽出された特徴を前記既知の特徴と比較し、
    閾値数の抽出された特徴が既知の特徴と一致することに応じて、前記境界ボックス内の前記画像の部分について機械学習モデルをトレーニングするように構成されたものである、システム。
39. 請求項３８記載のシステムにおいて、前記モバイル装置はさらに、
    前記閾値数の抽出された特徴が既知の特徴と一致するまで、前記物体の周囲の前記境界ボックスの寸法、位置、向きを調整するように構成されたものである、システム。
40. 請求項３６記載のシステムにおいて、
    前記複数の画像を受信することは、複数の角度で前記物体のビデオを取り込むことを含むものである、システム。

Images