JP7496776B2 - 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース - Google Patents
高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース Download PDFInfo
- Publication number
- JP7496776B2 JP7496776B2 JP2020544378A JP2020544378A JP7496776B2 JP 7496776 B2 JP7496776 B2 JP 7496776B2 JP 2020544378 A JP2020544378 A JP 2020544378A JP 2020544378 A JP2020544378 A JP 2020544378A JP 7496776 B2 JP7496776 B2 JP 7496776B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- control
- control item
- sticky
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006978 adaptation Effects 0.000 title description 24
- 230000003993 interaction Effects 0.000 title description 21
- 230000001537 neural effect Effects 0.000 claims description 85
- 230000033001 locomotion Effects 0.000 claims description 69
- 230000004424 eye movement Effects 0.000 claims description 52
- 230000009471 action Effects 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 39
- 230000000763 evoking effect Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 20
- 230000033764 rhythmic process Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000001953 sensory effect Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 3
- 230000001720 vestibular Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims 2
- 230000001419 dependent effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 50
- 239000003550 marker Substances 0.000 description 39
- 210000004556 brain Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 25
- 230000002093 peripheral effect Effects 0.000 description 23
- 238000012549 training Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000007177 brain activity Effects 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000001994 activation Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 239000011521 glass Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000013179 statistical model Methods 0.000 description 7
- 210000004761 scalp Anatomy 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 5
- 230000008904 neural response Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000002566 electrocorticography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003924 mental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 229910001200 Ferrotitanium Inorganic materials 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004227 basal ganglia Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000007293 brain stem infarction Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 230000008867 communication pathway Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000003767 neural control Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000000976 primary motor cortex Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 208000011726 slow pulse Diseases 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000007598 synaptic excitation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Description
関連出願の相互参照
[0001] 本願は、2017年11月13日付けで出願された「Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions」という名称の米国仮特許出願第62/585,209号に対する優先権及びその利益を主張するものであり、この開示は、全体的に参照により本明細書に援用される。
[0001] 本願は、2017年11月13日付けで出願された「Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions」という名称の米国仮特許出願第62/585,209号に対する優先権及びその利益を主張するものであり、この開示は、全体的に参照により本明細書に援用される。
背景
[0002] 本明細書に記載される実施形態は、脳活動追跡を使用して、ヒューマン-マシン対話の高い速度及び精度のために戦略的に設計されるユーザインターフェース(UI)又はUXを提示及び更新し、マシンのユーザ操作を仲介する脳-コンピュータインターフェースの実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、眼球運動追跡と神経活動の分析とを統合して、マシンのユーザ操作を仲介するハードウェア非依存脳-コンピュータインターフェースの実施にも関する。
[0002] 本明細書に記載される実施形態は、脳活動追跡を使用して、ヒューマン-マシン対話の高い速度及び精度のために戦略的に設計されるユーザインターフェース(UI)又はUXを提示及び更新し、マシンのユーザ操作を仲介する脳-コンピュータインターフェースの実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、眼球運動追跡と神経活動の分析とを統合して、マシンのユーザ操作を仲介するハードウェア非依存脳-コンピュータインターフェースの実施にも関する。
[0003] 脳-コンピュータインターフェース(BCI)は、接続された脳と外部デバイスとの間で直接通信経路を用いて脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。BCIは、主に、脳信号の解釈から直接、動作中のマシン及びアプリケーションへのアクセスを提供するアシスティブテクノロジーとして設計されてきた。BCI開発の主な目標の1つは、他人との有効なコミュニケーションが極めて困難であり得る、完全に麻痺しているか、又は筋萎縮性側索硬化症、脳幹卒中若しくは脊髄損傷等の神経学的神経筋障害によって「閉じ込め状態」の重度障害の人々にコミュニケーション機能を提供することである。
[0004] 脳コンピュータインターフェースの幾つかの既知の実施は、Farwell及びDonchinによって設計されたもののようなスペラーを含む。このスペラーでは、26文字のアルファベットは、幾つかの他の記号及びコマンドと一緒に、ランダムに閃光する行及び列を有する6×6行列で画面に表示される。ユーザは、画面に注意を集中させ、書かれる文字に連続して集中し、その間、脳の神経応答がシグネチャ神経脳信号について監視される。シグネチャ脳信号が検出されると、システムは、所望の記号を識別することができる。Farwell-Donchinスペラーは、人々が毎分約2文字の速度でスペリングできるようにする。
[0005] BCIシステムは、マウス及びキーボード等の従来の入力インターフェース又は出力インターフェースを必要とせずに、身体的に健常な人々によるコンピュータ又は他のデータ処理マシン及び/又はソフトウェアアプリケーションの操作さえも支援及び改善するように設計することができる。BCIは、従来の入力方法よりもコンピュータとの直観的で自然な対話のためのインターフェースも提供し得る。更に、BCIは、ヒト及び動物の認知及び/又は感覚運動系並びにそれらの機能の増強、修復並びにマッピング及び研究を含め、多くの他の機能を提供するように開発することもできる。幾つかのBCI用途には、特にワードプロセッサ、適合ウェブブラウザ、車椅子又は神経義肢の脳制御及びゲームがある。
概要
[0006] 眼球運動及び脳活動を追跡して、ユーザの注視又は注目のリアルタイムポジショニング及び所望の動作の選択/アクティブ化を仲介する、ハードウェア非依存動眼-神経統合ハイブリッド脳コンピュータインターフェース(BCI)プラットフォームの種々の実施形態のためのシステム、デバイス及び方法が本明細書に記載される。本開示は、高速及び正確に動作する脳コンピュータインターフェースのニーズに対処する統合ハイブリッドBCIシステムを提示する。
[0006] 眼球運動及び脳活動を追跡して、ユーザの注視又は注目のリアルタイムポジショニング及び所望の動作の選択/アクティブ化を仲介する、ハードウェア非依存動眼-神経統合ハイブリッド脳コンピュータインターフェース(BCI)プラットフォームの種々の実施形態のためのシステム、デバイス及び方法が本明細書に記載される。本開示は、高速及び正確に動作する脳コンピュータインターフェースのニーズに対処する統合ハイブリッドBCIシステムを提示する。
図の簡単な説明
[0007]実施形態によるハイブリッド脳コンピュータインターフェースシステムの概略図である。
[0008]ハイブリッドBCIデバイスの実施形態を使用して刺激アイコンを選択/選択解除するポインティング制御特徴及び動作制御特徴の実装形態例に関わる一連のステップの図を示す。
[0009]ユーザ対話前のUIを示す。
[0009]ユーザ対話後のUIを示す。
[0009]実施形態によるビデオベースの眼球追跡器及び神経記録ヘッドセットを搭載したユーザを示す。
[0010]図3Cに示されるビデオベースの眼球追跡器及び神経記録ヘッドセットによって取得される信号例を示す。
[0010]図3Cに示されるビデオベースの眼球追跡器及び神経記録ヘッドセットによって取得される信号例を示す。
[0011]実施形態によるハイブリッド脳コンピュータインターフェースデバイスの動作のプロセス例を示す。
[0012]実施形態によるハイブリッド脳コンピュータインターフェースデバイスの概略図である。
[0013]実施形態による、動的刺激の識別及び追跡を示すハイブリッドBCIシステムのUI例を示す。
[0014]実施形態によるハイブリッドBCIシステムのUIにおけるナビゲーション制御例の図を示す。
[0015]実施形態によるハイブリッドBCIシステムによって捕捉された現実世界画像に対して実行される画像セグメンテーションの例を示す。
[0016]実施形態による、図8Aに示されるような現実世界画像の処理からの状況ベースの制御項目が埋められたUI例を示す。
[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドBCIシステムのUI例を示す。
[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドBCIシステムのUI例を示す。
[0017]実施形態による、フォーカスクリックスルー適合を示すハイブリッドBCIシステムのUI例を示す。
[0018]実施形態による、1ステップ選択プロセスをユーザに提示するハイブリッドBCIシステム例のUI例を示す。
[0019]実施形態による、事前選択プーリング適合を実施する2ステップ選択プロセスをユーザに提示するUIの別のモードを示す。
[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドBCIシステムのUI例を示す。
[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドBCIシステムのUI例を示す。
[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドBCIシステムのUI例を示す。
[0020]実施形態による、ドラッグ可能マーカ適合の実施を示すハイブリッドBCIシステムのUI例を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0021]実施形態による、ドラッグ可能スティッキーマーカの使用例を実施するハイブリッドBCIシステムのUIの図を示す。
[0022]実施形態による、ユーザ対話への適合を実施するUI例を示す。
[0023]実施形態による、選択アクティブ化のUI適合を実施するメカニズムを示す。
[0023]実施形態による、選択アクティブ化のUI適合を実施するメカニズムを示す。
[0023]実施形態による、選択アクティブ化のUI適合を実施するメカニズムを示す。
詳細な説明
[0024] 本明細書に記載される実施形態は、リアルタイム眼球運動追跡を脳活動追跡と統合して、ヒューマン-マシン対話の高い速度及び精度のために戦略的に設計されるUIを提示及び更新するハイブリッド脳-コンピュータインターフェース(BCI)の実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、リアルタイム眼球追跡及び神経脳信号のオンライン分析を使用して、マシンのユーザ操作を仲介するハードウェア非依存脳-コンピュータインターフェースの実施にも関する。
[0024] 本明細書に記載される実施形態は、リアルタイム眼球運動追跡を脳活動追跡と統合して、ヒューマン-マシン対話の高い速度及び精度のために戦略的に設計されるUIを提示及び更新するハイブリッド脳-コンピュータインターフェース(BCI)の実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、リアルタイム眼球追跡及び神経脳信号のオンライン分析を使用して、マシンのユーザ操作を仲介するハードウェア非依存脳-コンピュータインターフェースの実施にも関する。
[0025] BCI技術が患者によりよく適し、一般大衆に有用であり、現実世界タスクの制御に利用されるには、現在の実施と比較して、自然な対話ペースに合うように情報伝達率を改善する必要があり、エラーレートを下げる必要があり、及び対話インターフェースの複雑性を最小にする必要がある。更に、BCI用途は、ユーザからの高い認知負荷を要求し、したがって、UIは、静かな研究所環境から離れて現実世界に移るように改善する必要がある。BCIデバイス及びアプリケーションをより容易及びより直観的に構成するには、高速及び高精度で動作して、自然で直観的なプロセスを通してユーザ仲介動作選択を可能にする、脳マシンインターフェースの実施における改善されたデバイス及び技法が必要とされる。
ハイブリッドBCIシステム
[0026] 本明細書に記載されるように、BCIは、脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドBCIシステムは、インターフェースを通した刺激の表示、インターフェース上のユーザの焦点を位置特定するハードウェア装置、脳活動を記録し及び処理するデバイス及びユーザの環境にわたる制御に変換され得るインターフェースの制御を行う装置を含む。これらの標準特徴は、(1)ポインティング制御特徴、(2)動作制御特徴、及び(3)UI特徴として特徴付けることができる。ポインティング制御特徴は、ユーザが制御する1つ又は複数のマニピュレータの小さい組に狭められるようにするマウスポインタのような従来のポインティングデバイスに類似し得る。動作制御特徴は、ユーザが、UIへの変更、したがって接続されたマシンへの変更を行う動作を実施できるようにする選択デバイス、例えばマウスクリック又はキーボードでの打鍵に類似し得る。ハイブリッドBCIシステムでのUI特徴は、選択メニュー、ナビゲーション制御等の提供のような他の特徴に加えて、ポインティング特徴及び動作制御特徴を実施する環境をもたらし、維持するオペレーティングシステムに類似し得る。
[0026] 本明細書に記載されるように、BCIは、脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドBCIシステムは、インターフェースを通した刺激の表示、インターフェース上のユーザの焦点を位置特定するハードウェア装置、脳活動を記録し及び処理するデバイス及びユーザの環境にわたる制御に変換され得るインターフェースの制御を行う装置を含む。これらの標準特徴は、(1)ポインティング制御特徴、(2)動作制御特徴、及び(3)UI特徴として特徴付けることができる。ポインティング制御特徴は、ユーザが制御する1つ又は複数のマニピュレータの小さい組に狭められるようにするマウスポインタのような従来のポインティングデバイスに類似し得る。動作制御特徴は、ユーザが、UIへの変更、したがって接続されたマシンへの変更を行う動作を実施できるようにする選択デバイス、例えばマウスクリック又はキーボードでの打鍵に類似し得る。ハイブリッドBCIシステムでのUI特徴は、選択メニュー、ナビゲーション制御等の提供のような他の特徴に加えて、ポインティング特徴及び動作制御特徴を実施する環境をもたらし、維持するオペレーティングシステムに類似し得る。
[0027] 動作制御特徴によって実行される動作は、多くのうちの1つであり得、種々のデバイス又はマシンを制御するように設計された種々のバージョンのUIに適するように構成することができる。少数の例を挙げれば、動作は、UIのアクティブ化若しくは非アクティブ化又はUIの連続変更若しくは半連続変更(例えば、スクロール、ホバリング、ピンチ、ズーム、チルト、回転、スワイプ等)であり得る。動作は、強調表示等のような離散した開始及び停止を有するUIへの急な変更を行うこともできる。UIを介した動作制御の幾つかの他の例は、仮想キーボード制御、メニューナビゲーション、オブジェクト又はアイテムを配置及び配置解除する動作、オブジェクト又はアイテムを移動させる動作、オブジェクトの拡大及び/又は縮小、一人称視点観察者又はプレーヤの移動又はナビゲーション、観察者の視点変更及びグラッブ、ピック又はホバリングのような動作を含むことができる。動作制御のこれらの態様の幾つかについて以下に開示する。
[0028] 本明細書に記載されるハイブリッドBCIシステムの幾つかの実施形態では、ポインティング制御特徴及びユーザの焦点を識別する方法は、眼球追跡デバイスを含むことができる。幾つかの実施形態では、動作制御特徴及びユーザの意図を識別する方法は、脳における神経信号を監視する任意の適した形態を含むことができる。これは、任意の形態の脳記録活動、例えば電気的撮像、光学的撮像又は磁気的撮像のような脳撮像法を含むことができる。例えば、幾つかの実施形態では、ハイブリッドBCIシステムは、増幅器及びユーザの脳信号をBCIコマンドに変換するプロセッサを通される脳活動の神経信号を記録する電極を使用することができる。幾つかの実施形態では、ハイブリッドBCIシステムは、脳活動ベースのマシン制御を実施する高度なUIを実施することができる。後述するように、これらの特徴の1つ又は複数への特定の適合は、ハイブリッドBCIシステムとの人間の対話の高い速度及び精度を達成するために実施することができる。例えば、幾つかの実施形態では、ハイブリッドBCIシステムは、2017年8月25日付けで出願された「Brain-computer interface with high-speed eye tracking features」という名称の米国特許出願第62/549,253号(「‘253号出願」)、‘253号出願の優先権を主張する、2018年8月22日付けで出願された「Brain-computer interface with high-speed eye tracking features」という名称の国際特許出願PCT/米国特許出願公開第2018/047598号及び2018年9月21日付けで出願された「Brain-computer interface using high-speed and accurate tracking of user interactions」という名称の米国特許出願公開第16/138,791号に記載されているものと略同様であり得る。これらの各出願の開示は、全体的に参照により本明細書に援用される。
[0029] 図1は、実施形態によるハイブリッド脳コンピュータインターフェースシステム100の概略図である。一例のハイブリッド脳コンピュータインターフェースシステム100(本明細書では「ハイブリッドBCIシステム」、又は「BCIシステム」、又は「システム」とも呼ばれる)は、眼球追跡器102(例えば、ビデオベースの眼球追跡器)と、ユーザの脳の1つ又は複数の制御信号を記録する神経記録ヘッドセット104とを含む眼球運動-神経統合ハイブリッドBCIシステムである。ハイブリッドBCIシステムは、任意選択的に、眼球運動-神経ハイブリッドと統合することができるEMG信号を記録する筋電計(EMG)を含むこともできる。ビデオベースの眼球追跡器102は、任意の時間におけるユーザの焦点を示すユーザ102の目の眼球運動応答を捕捉、記録及び送信するように構成することができる(すなわちポインティング制御特徴)。神経記録ヘッドセット104は、1つ又は複数の脳領域から、ユーザの認知意図を示す神経制御信号を捕捉、記録及び送信するように構成することができる(すなわち動作制御特徴)。神経制御信号は、任意の適した手法を通して記録される任意の形態の神経活動、例えば脳波図(EEG)、皮質脳波記録(ECoG)又は脳磁気図(MEG)等であり得る。神経活動の形態例には、事象関連電位(ERP)、運動イメージ、定常状態視覚誘発電位(SSVEP)、遷移視覚誘発電位(TVEP)、脳状態コマンド、視覚誘発電位(VEP)、P300誘発電位、感覚誘発電位、運動誘発電位のような誘発電位、ミューリズム又はベータリズム等の感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)等がある。一例のハイブリッドBCIシステム100は、脳-コンピュータインターフェースデバイス110及び任意選択的に視聴覚ディスプレイ106も含む。
[0030] ハイブリッドBCIシステム100の幾つかの実施形態では、収集された神経データ及び眼球運動データは、どのような刺激が提示されたかについてのデータと共にアンサンブルとして信号を処理する脳-コンピュータインターフェースデバイス110に通信することができる。結合された情報を用いて、脳-コンピュータインターフェースデバイス110は、統計モデルに基づいて、関連する信号特徴を検出し、ユーザの意図を予測することができる。この予測された意図は、次に、例えばディスプレイ106を通して提示されるUIを介してユーザに通信することができ、UI及び任意の接続された制御可能マシンにおいて変更を行うために使用することができる。ハイブリッドBCIシステム100の幾つかの実施形態は、他の周辺機器センサ及びアクチュエータ(図1に示されず)を含むこともでき、それにより音、タッチ、向きのような他のモダリティを通してユーザの挙動についてのデータを収集し、リッチなマルチモーダルUXを提示することができる。
二次元又は三次元空間における眼球追跡 - ポインティング制御特徴
[0031] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、二次元又は三次元空間においてユーザの眼球運動を高速で辿ることにより、ユーザが視野内の何れの箇所を見ているかを特定するために使用することができる。例えば、ユーザが眼球運動の自発的な制御を有する場合、ビデオベースの眼球追跡器102は、各目が「指している」視野内のサブ空間を特定するために使用することができる。換言すれば、ビデオベースの眼球追跡器102は、ユーザの眼球運動軌跡をポインティング制御特徴として使用し、対象者の意図及び挙動についての有意な情報を明らかにすることができる。幾つかの実施形態では、視覚空間内の何れの箇所に注目が集められているか、フォーカスしている刺激がどのようなものであるか、又はどのような刺激に応答しているかの態様は、BCIシステム100において効率的に使用することができる。互いに関して両目の運動軌跡を同時に追跡することにより、ビデオベースの眼球追跡器102は、ユーザの焦点深度を登録することもでき、それにより三次元空間においてポインティング制御を可能にすることができる。
[0031] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、二次元又は三次元空間においてユーザの眼球運動を高速で辿ることにより、ユーザが視野内の何れの箇所を見ているかを特定するために使用することができる。例えば、ユーザが眼球運動の自発的な制御を有する場合、ビデオベースの眼球追跡器102は、各目が「指している」視野内のサブ空間を特定するために使用することができる。換言すれば、ビデオベースの眼球追跡器102は、ユーザの眼球運動軌跡をポインティング制御特徴として使用し、対象者の意図及び挙動についての有意な情報を明らかにすることができる。幾つかの実施形態では、視覚空間内の何れの箇所に注目が集められているか、フォーカスしている刺激がどのようなものであるか、又はどのような刺激に応答しているかの態様は、BCIシステム100において効率的に使用することができる。互いに関して両目の運動軌跡を同時に追跡することにより、ビデオベースの眼球追跡器102は、ユーザの焦点深度を登録することもでき、それにより三次元空間においてポインティング制御を可能にすることができる。
[0032] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、ヘッドマウント眼球追跡ビデオカメラを使用して、ユーザの瞳孔及び照明源の第1表面角膜反射(CR)に依存してユーザの目を撮像する。これらの2つの特徴間の位置差は、観察者の頭部内の目の向きの特定に使用することができる。ビデオベースの眼球追跡器102として使用することができる幾つかのヘッドマウント眼球追跡デバイス例は、市販のベンダーの中でも特にSenseMotoric Instruments、Tobii Eye Tracking及びPupil-labsから入手可能である。幾つかの実施形態では、ビデオベースの眼球追跡器102は、ユーザの目を照明する1つ又は複数の照明源を含むことができる。照明源は、任意の適した波長の光を発し、任意の適した位置に搭載することができる。照明源は、機能制御及びデータ送信等のために有線又は無線通信を通して接続することができる。
[0033] ビデオベースの眼球追跡器102は、各目からの瞳孔及び1つ又は複数の照明源の角膜反射を同時に撮像するように構成された左眼カメラ及び右眼カメラを含むことができる。カメラは、有線又は無線接続を通して互いに接続することができ、図1に示される脳-コンピュータインターフェース(BCI)デバイス110のような外部デバイスに接続することができる。ビデオベースの眼球追跡器は、ユーザの視野を捕捉する追加のシーンカメラを含むこともできる。シーンカメラからの信号は、有線又は無線通信方法を通してBCIデバイス110のような外部デバイスに中継することもできる。
[0034] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、虹彩によって最適に反射され、人間には不可視であるため、ユーザを邪魔しないか又はユーザを混乱させない近赤外線(IR)照明源を使用することができる。強いIR反射は、瞳孔検出に特に有益な高コントラスト像を生成することができる。幾つかの実施形態では、ビデオベースの眼球追跡器102は、コリメート遠範囲光源を使用することができ、それにより平行光線が離れた照明源から発せられ、光学構成要素によってコリメートされる。幾つかの実施形態では、ビデオベースの眼球追跡器102は、非コリメート近源を眼の照明に使用することができ、それにより、照明源は、目から有限距離(通常50mm以下)に搭載され、光源と目との間に光線をコリメートするための光学構成要素がない。
[0035] 本明細書に記載されるように、ビデオベースの眼球追跡器102は、目から反射された光を利用し、この光は、ビデオカメラ又はこの用途向けに特に設計された何らかの任意の他の適した光学センサによって検知される。次に、検知された光は、分析されて、反射の変化から目の回転を抽出する。幾つかの実施形態では、ビデオベースの眼球追跡器102は、角膜反射(すなわち第1プルキンエ像)及び瞳孔中心を経時追跡する特徴として使用することができる。幾つかの実施形態では、ビデオベースの眼球追跡器102は、より高感度の手法では、眼球運動を追跡するための特徴として、角膜の前からの反射(すなわち第1プルキンエ像)及びレンズの背面からの反射(すなわち第4プルキンエ像)を使用することができる。幾つかの実施形態では、ビデオベースの眼球追跡器102は、例えば、網膜血管等の眼内の特徴を撮像し、目が回転する際のこれらの特徴の運動を辿ることにより、更に高感度の追跡方法を使用することができる。
[0036] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、後述するように統合ディスプレイを含むことができる。ディスプレイ106と統合されたビデオベースの眼球追跡器102は、仮想現実空間を見るように構成されたシステムであり得る。幾つかの実施形態では、ディスプレイ106と統合されたビデオベースの眼球追跡器102は、拡張現実空間を見るように構成することができる。換言すれば、ディスプレイ106を通して提示される重ねられたUIに加えて、1つの眼鏡として現実世界を見るように機能する。
脳信号の神経記録 - 動作制御特徴
[0037] ハイブリッドBCIシステム100の目的は、脳活動の監視からのユーザ意図を解釈することにより、外部マシンを能動的に制御することである。この目的の中核は、ユーザの意図を示すことができる脳信号であり、それにより、脳信号は、動作制御特徴になる。ハイブリッドBCIシステム100は、ユーザによって実行される認知タスクによって同時に誘発又は関連する幾つかのシグネチャ脳信号の1つ又は複数を使用することができる。これらの脳信号の幾つかは、人々が随意に変調することを学習し得る方法で復号化することができる。制御信号とされるこれらの信号の使用により、ハイブリッドBCIシステム100は、ユーザの意図を解釈することが可能になる。
[0037] ハイブリッドBCIシステム100の目的は、脳活動の監視からのユーザ意図を解釈することにより、外部マシンを能動的に制御することである。この目的の中核は、ユーザの意図を示すことができる脳信号であり、それにより、脳信号は、動作制御特徴になる。ハイブリッドBCIシステム100は、ユーザによって実行される認知タスクによって同時に誘発又は関連する幾つかのシグネチャ脳信号の1つ又は複数を使用することができる。これらの脳信号の幾つかは、人々が随意に変調することを学習し得る方法で復号化することができる。制御信号とされるこれらの信号の使用により、ハイブリッドBCIシステム100は、ユーザの意図を解釈することが可能になる。
[0038] 電気生理学的起源の神経活動は、ニューロン間で情報を交換する電気化学伝達物質によって生成される。ニューロンは、神経細胞群内及び神経細胞群間を流れるイオン電流を生成する。多様な電流経路は、ソースから樹状トランクを通してシンクまで電流を伝導するダイポールとして簡易化することができる。これらの細胞内電流は、一次電流として知られている。電荷の保存は、一次電流が、二次電流として知られる細胞外電流によって囲まれることを決定付ける。
[0039] 神経記録ヘッドセット104は、任意の適した手法に従って神経活動を記録するように構成することができる。神経活動は、一次電流を電気的に監視することにより、直接又は二次電流を電気的に記録することによって記録することができる。更に、神経活動は、一次電流による光学変化を記録することにより、光学撮像(例えば、機能的磁気共鳴画像、fMRI)のような他の方法を通して監視することもできる。使用することができる脳の神経活動を記録する他の手法には、脳波図(EEG)、硬膜外及び硬膜下皮質脳波記録(ECoG)、機能的近赤外線撮像並びに他の同様の内因性信号撮像法、脳磁気図(MEG)、マルチ電極記録、シングルニューロン皮質内記録等がある。
[0040] 神経活動の形態の種々のシグネチャ脳信号は、動作制御特徴の実施に使用される制御信号として使用することができる。時間における神経活動の幾つかの例には、事象関連電位(ERP)、運動イメージ、定常状態視覚誘発電位(SSVEP)、遷移視覚誘発電位(TVEP)、脳状態コマンド、視覚誘発電位(VEP)、P300誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミューリズム又はベータリズム等の感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)等、及び種々の認知又は感覚運動タスクの土台をなす、依然として発見されていないシグネチャ活動電位としての他のものがある。神経活動は、周波数領域でもあり得る。幾つかの例として、特に感覚運動リズム、事象関連スペクトル摂動(ERSP)、シータ、ガンマ又はミューリズムのような特定の信号周波数帯域等がある。
[0041] 本明細書に記載されるように、神経記録ヘッドセット104は、神経活動信号を記録して、脳活動を測定し、コマンドに変換することができる追跡可能な電気信号に情報を変換する記録段階を通して、ユーザ意図についての情報を収集することができる。幾つかの実施形態では、神経記録ヘッドセット104は、高い時間解像度、低コストの準備及び保守、高可搬性を有し、ユーザにとって非侵襲的な脳波図(EEG)を通して電気生理学的活動を記録するように構成することができる。神経記録ヘッドセット104は、異なる脳部位から脳波記録信号を取得するセンサを有する電極の組を含むことができる。これらのセンサは、ニューロンにおける樹状突起のシナプス励起中の電流フローによって生じ、それにより二次電流の効果を中継する電気信号を測定することができる。神経信号は、ユーザの頭皮に配置されたとき、所望の脳部位に適宜配置される神経記録ヘッドセット104における電極を通して記録することができる。神経記録ヘッドセット例は、特に、Biosemi、Wearable Sensing及びG.Tecのような市販のベンダーから入手し得る。
[0042] 幾つかの実施形態では、神経記録ヘッドセット104は、電極、増幅器、A/D変換器及び記録デバイスを含むことができる。幾つかの実施形態では、神経記録ヘッドセット104における電極は、頭皮から信号を取得することができ、増幅器は、アナログ信号を増幅して、神経信号の振幅を拡大することができる。神経記録ヘッドセット104は、電極の数に合った適切な数の信号取得チャネルを有するように構成することができる。幾つかの実施形態では、神経記録ヘッドセット104に配置された1つ又は複数の電極は、増幅器、A/D変換器及び各電極からの信号を記憶する1つ又は複数の記録デバイスのような構成要素に接続することができる。幾つかの実施形態では、これらの構成要素は、神経記録ヘッドセット104に収容することができる。幾つかの実施形態では、即時信号増幅のみが神経記録ヘッドセット104において実行することができ、A/D変換及び記録のような他のプロセスは、信号をB-C統合デバイス110に転送した後に実行することができる。神経記録ヘッドセット104からの信号転送は、有線又は無線通信チャネルを通して構成することができる。
[0043] 幾つかの実施形態では、神経記録ヘッドセット104における電極は、米国脳波学会によって規格化された一般に準拠される国際10-20系に基づいて頭皮に置かれるように配置することができる。10-20系は、頭部の2つの基準点を使用して、電極ロケーションを定義する。これらの基準点の一方は、目と同じ高さで鼻の上に配置されるナジオンである。他方の基準点は、頭蓋底の骨隆起部に見られるイニオンである。横断面及び正中面は、これらの2点から頭蓋を分ける。幾つかの他の実施形態では、神経記録ヘッドセット104における電極は、任意の他の適した系に従って配置することができる。例えば、10-5系又はカスタム電極配置系である。幾つかの実施形態では、神経記録ヘッドセット104における電極は、頭部の左右側に対称に置くことができる。他の実施形態では、電極は、頭部の左右側に非対称に置くことができる。他の実施形態では、電極は、頭部の特定の部分、例えば頭部の上部周囲、頭部の後部周囲、両耳の周囲、頭部の側部周囲又はそれらの組合せに置くことができる。
[0044] 神経信号は、活性電極(信号電極とも呼ばれる)と基準電極との間の経時時間差として測定される。幾つかの実施形態では、接地電極として知られる第3の電極は、活性電極と基準電極との間の差動電圧を測定するために使用することができる。幾つかの実施形態では、神経記録ヘッドセット104は、1つ又は複数の活性電極、1つ又は複数の基準電極及び1つの接地電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセット104は、7つという少数の活性電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセットは、最高で128又は256の活性電極を含むことができる。電極は、塩化銀(AgCl)又は任意の他の適した材料で作ることができる。電極は、正確な信号を記録するように電極-頭皮接触インピーダンスが適宜調整可能であるように構成することができる。幾つかの実施形態では、神経記録ヘッドセット104は、2つ以上及び16未満の活性電極を有することができるか、又は別の実施形態では、12未満の活性電極を有することができるか、又は別の実施形態では8つ未満の活性電極を有することができる。
[0045] ユーザの頭皮にわたり非侵襲的に記録された神経信号は、頭皮、頭蓋及び多くの他のレイヤを渡る必要があり、それにより、信号は、弱くなり、取得が難しくなり得る。神経細胞は、脳内又は頭皮にわたり外部的に生成される背景ノイズによっても影響を受け得、背景ノイズは、記録された信号から有意義な情報を抽出する能力に影響を及ぼし得る。神経記録ヘッドセット104を含むシステム100の実施形態は、神経信号取得を改善する幾つかの適合を組み込むことができる。例えば、ゲル(すなわち導電性ゲル)は、皮膚と各電極との間に伝導路を作成して、インピーダンスを低減するために使用することができる。幾つかの実施形態では、神経記録ヘッドセット104は、ゲルを使用する必要がない「乾燥」電極を含むことができ、これは、チタン及びステンレス鋼等の他の材料で作ることができる。幾つかの実施形態では、神経記録ヘッドセット104は、非常に高い電極/皮膚界面インピーダンスに適応するために、前置増幅回路を有する乾燥活性電極を含むことができる。幾つかの実施形態では、神経記録ヘッドセット104は、いかなる能動回路も有さず、超高入力インピーダンスが構成された神経記録システムにリンクし得る乾燥受動電極を含むことができる。電気バイオ信号の振幅は、通常、マイクロボルトのオーダである。したがって、信号は、電気ノイズの影響を非常に受けやすい。幾つかの実施形態では、BCIシステム100は、特に電磁干渉シールド又は共通モード信号の低減等の適合を用いてノイズの影響を低減するように設計することができる。
[0046] 本明細書に記載されるように、神経記録ヘッドセット104は、神経活動信号を記録して、ユーザ意図についての情報を収集することができる。神経活動は、ユーザの意図を示す任意の形態の制御信号であり得る。制御信号の一例は、いわゆる運動イメージ信号の形態であり得る。運動イメージ信号は、運動イメージの心理過程を経ているユーザに関連する神経活動信号である。運動イメージの心理過程は、ユーザが脳裏で特定の動作をリハーサル又はシミュレートすることを含む。例えば、ユーザは、脳裏で指を指し、手首を回すというスワイプ動作をイメージ又はシミュレートし得る。運動イメージ信号は、例えば、ユーザが動作をイメージしている間、神経記録ヘッドセット104によって電気生理学的神経活動の形態で記録される脳信号である。運動イメージ信号の取得は、後述するようにユーザによる実際の運動を含むことも又は含まないこともある。
[0047] 神経機能の幾つかの研究では、運動イメージは、運動制御の早期段階に関わる神経回路の特定の活性化(すなわち運動プログラミング)に関連することが実証されている。実際の運動及びイメージされた運動中に測定された神経活動の研究により、イメージされた運動からの運動イメージ信号は、脳領域の少なくともサブセットにおいて、実際の運動中に誘発される神経信号を密に近似することが示されている。幾つかの神経回路は、脳領域の中でも特に、補足運動野、一次運動野、下頭頂皮質、基底核及び小脳を含む。運動イメージ中及び実際の運動実行中の心臓活動及び呼吸活動の測定により、心拍数及び肺換気のイメージされた労力の程度との共変動が明らかになった。したがって、運動イメージは、実際の運動の計画された実行と同様に運動経路を活性化することが示された。
[0048] ハイブリッドBCIシステム100の幾つかの実施形態は、運動イメージを使用して、動作制御特徴を実施することができる。例えば、ハイブリッドBCIシステム100は、運動イメージ信号に寄与することが知られている脳領域から神経活動データを収集するように適宜配置された神経記録ヘッドセット104を介して記録された神経活動信号を受信するように構成することができる。ハイブリッドBCIシステム100は、トレーニングされた様式又はトレーニングされていない様式の何れかで使用されて、ユーザがイメージした特定の運動行動に対応する運動イメージ信号を検出することができる。例えば、ユーザは、トレーニングセッションにおいて、実際の運動と共に運動イメージを実行することによってリハーサルし、スワイプ、ピンチ、ズーム及びユーザの体の他の単純又は複雑な運動のような1つ又は複数のイメージされたジェスチャを認識するようにハイブリッドBCIシステム100に教え得る。ハイブリッドBCIシステムは、ゴニオメータ及び捻転計のような周辺機器センサ108によって収集された情報を使用して、トレーニングセッション又はテストセッション中、ジェスチャをかなり詳細に認識することも促進し得る。
[0049] 動作中(トレーニングあり又はなし)、特定のジェスチャの運動イメージは、特定の動作を実施するように構成することができる。例えば、ピンチジェスチャの運動イメージは、UIにおいてズームアウト動作を実施するように構成することができる。神経記録ヘッドセットから取得された神経活動データは、運動イメージ信号について分析することができ、検出され及び適宜分類されると、BCIデバイス110は、UIの所望の部分において検出されたジェスチャに関連するその特定の動作を実施することができる。例えば、ピンチジェスチャに対応する運動イメージ信号が検出される場合、UIは、ピンチ制御特徴を実施して、動作が望まれるUIの部分を識別し、次に所望の部分において動作制御特徴、すなわちズームアウト効果を実施することができる。
ユーザインターフェース(UI)/ユーザ経験(UX)の表示及び提示
[0050] 本明細書に記載されるように、ハイブリッドBCIシステム100におけるUIは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせ及びポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。UIは、一緒になって、これもインターフェースとして機能するUXと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたUXは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激、前庭刺激又はそれらの組合せがある。幾つかの実施形態では、視覚刺激を提示するUIを、図1に示されるディスプレイ106のようなディスプレイにレンダリングすることができる。他のモダリティの刺激は、これらもハイブリッドBCIシステム100の一部である適した周辺機器アクチュエータ(図1に示されず)を通して送達することができる。
[0050] 本明細書に記載されるように、ハイブリッドBCIシステム100におけるUIは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせ及びポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。UIは、一緒になって、これもインターフェースとして機能するUXと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたUXは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激、前庭刺激又はそれらの組合せがある。幾つかの実施形態では、視覚刺激を提示するUIを、図1に示されるディスプレイ106のようなディスプレイにレンダリングすることができる。他のモダリティの刺激は、これらもハイブリッドBCIシステム100の一部である適した周辺機器アクチュエータ(図1に示されず)を通して送達することができる。
[0051] 幾つかの実施形態では、ディスプレイ106は、ハイブリッドBCIシステム100の残りの部分に接続され、データ通信することができる別個のスタンドアロン視聴覚ディスプレイユニットであり得る。すなわち、オーディオシステム(例えば、スピーカ又はヘッドホン)を備えたスタンドアロンディスプレイ(例えば、液晶ディスプレイ)は、ハイブリッドBCIシステム100の他の構成要素の1つ又は複数、例えばBCインターフェースデバイス110、ビデオベースの眼球追跡器102及び神経記録ヘッドセット104と双方向通信することができる。幾つかの実施形態では、ディスプレイ106は、眼鏡エリアの部分であるようにビデオベースの眼球追跡器102に統合することができる。統合されたビデオベースの眼球追跡器102及びディスプレイ106は、ディスプレイ106に提示されるUIの形態で仮想現実空間を見るように構成することができる。幾つかの実施形態では、統合されたビデオベースの眼球追跡器102及びディスプレイ106は、ディスプレイ106が半透明眼鏡エリアにあり、ユーザが拡張現実空間を見られるようにするように構成することができる。すなわち、ユーザは、ユーザが対話することができるUIをユーザに提示する、これも統合ディスプレイ106である半透明眼鏡エリアを通して現実世界を見ることができる。
非視覚モダリティで動作する周辺機器
[0052] 幾つかの実施形態では、ハイブリッドBCIシステム100は、図1において任意選択的なユニットとして示される(破線の枠で示される)幾つかの周辺機器アクチュエータ112及びセンサ108を含むことができる。1つ又は複数の周辺機器アクチュエータ112は、豊富なマルチモーダルUXを送達するように構成することができ、1つ又は複数の周辺機器センサ108は、ユーザ及びユーザの環境のそれぞれからマルチモーダル入力を捕捉するように構成することができる。これらの周辺機器アクチュエータ112及びセンサ108は、個々に又は他のデバイス(ビデオベースの眼球追跡器102のような)に組み込まれることによって適宜搭載することができる。例えば、ハイブリッドBCIシステム100は、聴覚刺激を中継するイヤホン及びユーザの音声コマンドのような音を捕捉するマイクロホンを含むことができる。イヤホン(聴覚センサ)及びマイクロホン(聴覚アクチュエータ)は、ハイブリッドシステム100に有線又は無線チャネルを通して接続されるスタンドアロンデバイスの何れかであり得る。代替的に、イヤホン及びマイクロホンは、ビデオベースの眼球追跡器102又は神経記録ヘッドセット104と共に搭載及び統合することができる。同様に、加速度計、ゴニオメータ、捻転計のような周辺機器センサもハイブリッドBCIシステム100に含まれて、体の運動を登録することができる。例えば、ゴニオメータは、ジェスチャを形成する四肢の運動を登録するために使用することができ、加速度計は、体の運動の登録に使用することができる。周辺機器センサは、ユーザの現実世界視野を捕捉するように構成された視野カメラを含むこともできる。視野カメラによって取得された信号は、分析され、選択可能な選択肢等を有するUIが重ねられた現実世界イメージを有する拡張又は混合現実経験を生成し、ユーザに提示するために使用することができる。ハイブリッドBCIシステム100に接続することができる周辺機器アクチュエータは、提示されるUXを豊かにするタッチ及び振動のような力を与え及びもたらすことができる触覚又は運動感覚デバイスを含むことができる。
[0052] 幾つかの実施形態では、ハイブリッドBCIシステム100は、図1において任意選択的なユニットとして示される(破線の枠で示される)幾つかの周辺機器アクチュエータ112及びセンサ108を含むことができる。1つ又は複数の周辺機器アクチュエータ112は、豊富なマルチモーダルUXを送達するように構成することができ、1つ又は複数の周辺機器センサ108は、ユーザ及びユーザの環境のそれぞれからマルチモーダル入力を捕捉するように構成することができる。これらの周辺機器アクチュエータ112及びセンサ108は、個々に又は他のデバイス(ビデオベースの眼球追跡器102のような)に組み込まれることによって適宜搭載することができる。例えば、ハイブリッドBCIシステム100は、聴覚刺激を中継するイヤホン及びユーザの音声コマンドのような音を捕捉するマイクロホンを含むことができる。イヤホン(聴覚センサ)及びマイクロホン(聴覚アクチュエータ)は、ハイブリッドシステム100に有線又は無線チャネルを通して接続されるスタンドアロンデバイスの何れかであり得る。代替的に、イヤホン及びマイクロホンは、ビデオベースの眼球追跡器102又は神経記録ヘッドセット104と共に搭載及び統合することができる。同様に、加速度計、ゴニオメータ、捻転計のような周辺機器センサもハイブリッドBCIシステム100に含まれて、体の運動を登録することができる。例えば、ゴニオメータは、ジェスチャを形成する四肢の運動を登録するために使用することができ、加速度計は、体の運動の登録に使用することができる。周辺機器センサは、ユーザの現実世界視野を捕捉するように構成された視野カメラを含むこともできる。視野カメラによって取得された信号は、分析され、選択可能な選択肢等を有するUIが重ねられた現実世界イメージを有する拡張又は混合現実経験を生成し、ユーザに提示するために使用することができる。ハイブリッドBCIシステム100に接続することができる周辺機器アクチュエータは、提示されるUXを豊かにするタッチ及び振動のような力を与え及びもたらすことができる触覚又は運動感覚デバイスを含むことができる。
脳-コンピュータインターフェースデバイス
[0053] 幾つかの実施形態では、脳-コンピュータインターフェースデバイス(又はBCIデバイス)110は、3つの主機能を達成するように構成することができる。第1に、BCIデバイス110は、戦略的に設計されたUI又はUXを生成するように構成することができる。例えば、戦略的に設計されたUXは、トレーニングセッション又はテストセッションに向けられたものであり得る。幾つかの実施形態では、UXは、仮想現実環境及び/又は拡張現実環境として設計することができる。幾つかの実施形態では、UIは、例えば、特定のユーザ履歴、反応時間、ユーザの好み等の特定のニーズに合わせることができる。BCIデバイス110は、UI/UXの生成及び更新においてこれらの全ての要件を考慮することができる。第2に、UI/UXの設計及び生成に加えて、BCインターフェースデバイス110は、ポインティング制御信号を受信し(例えば、ビデオベースの眼球追跡器102から)、動作制御信号を受信し(例えば、神経記録ヘッドセット104から)、信号をアンサンブルとして処理して、ユーザの意図を特定するように構成することができる。最後に、BCIデバイス110は、(1)神経信号から有意義な特徴を検出し、(2)ユーザの意図に従ってポインティングしている刺激への変更を実施することにより、ポインティング制御特徴及び動作制御特徴を実施するように構成することができる。幾つかの実施形態では、BCIデバイス110は、上述した視覚モダリティ以外のモダリティで機能し、ハイブリッドBCIシステム100の一部であり得る他の周辺機器デバイス、例えば周辺機器センサ及びアクチュエータに接続することもできる。そのような周辺機器センサは、オーディオマイクロホン、触覚センサ、加速度計、ゴニオメータ等を含み得、周辺機器アクチュエータは、オーディオスピーカ、触覚刺激提供器等を含むことができる。
[0053] 幾つかの実施形態では、脳-コンピュータインターフェースデバイス(又はBCIデバイス)110は、3つの主機能を達成するように構成することができる。第1に、BCIデバイス110は、戦略的に設計されたUI又はUXを生成するように構成することができる。例えば、戦略的に設計されたUXは、トレーニングセッション又はテストセッションに向けられたものであり得る。幾つかの実施形態では、UXは、仮想現実環境及び/又は拡張現実環境として設計することができる。幾つかの実施形態では、UIは、例えば、特定のユーザ履歴、反応時間、ユーザの好み等の特定のニーズに合わせることができる。BCIデバイス110は、UI/UXの生成及び更新においてこれらの全ての要件を考慮することができる。第2に、UI/UXの設計及び生成に加えて、BCインターフェースデバイス110は、ポインティング制御信号を受信し(例えば、ビデオベースの眼球追跡器102から)、動作制御信号を受信し(例えば、神経記録ヘッドセット104から)、信号をアンサンブルとして処理して、ユーザの意図を特定するように構成することができる。最後に、BCIデバイス110は、(1)神経信号から有意義な特徴を検出し、(2)ユーザの意図に従ってポインティングしている刺激への変更を実施することにより、ポインティング制御特徴及び動作制御特徴を実施するように構成することができる。幾つかの実施形態では、BCIデバイス110は、上述した視覚モダリティ以外のモダリティで機能し、ハイブリッドBCIシステム100の一部であり得る他の周辺機器デバイス、例えば周辺機器センサ及びアクチュエータに接続することもできる。そのような周辺機器センサは、オーディオマイクロホン、触覚センサ、加速度計、ゴニオメータ等を含み得、周辺機器アクチュエータは、オーディオスピーカ、触覚刺激提供器等を含むことができる。
[0054] 幾つかの実施形態では、BCIデバイス110は、有線又は無線通信チャネルを通してBCIデバイス110から信号を受信し、BCIデバイス110から1つ又は複数の外部デバイスに信号を送信するように構成された入力/出力ユニット140を含むことができる。例えば、入力/出力ユニット140は、1つ又は複数のデータ通信ポートを通してビデオベースの眼球追跡器102、神経記録ヘッドセット104及び任意選択的な視聴覚ディスプレイ106と信号を送受信することができる。BCIデバイス110は、リモートサーバ(図1に示されず)に接続し、リモートサーバに含まれるデータベース又は他の適した情報にアクセスすることが可能であるように構成することもできる。BCIデバイス110は、転送するデータのタイプに適合した通信に適したチャネルを処理するように構成された通信機180を含むことができる。通信機180は、BCIデバイス110の部分の中でも特にI/Oユニット140に接続され、入力/出力ユニット140の機能を制御することができる。信号の転送は、有線Ethernet、シリアル、FireWire若しくはUSB接続のような有線接続を通して又はBluetooth、近距離通信等のような任意の適した通信チャネルを通して無線で実行することもできる。
[0055] 幾つかの実施形態では、BCIデバイス110における入力/出力ユニット140の機能は、信号取得、信号事前処理及び/又は信号強化等のような幾つかの手順を含むことができる。取得及び/又は事前処理された信号は、BCインターフェースデバイス110内のプロセッサ120に通すことができる。幾つかの実施形態では、プロセッサ120及びそのサブ構成要素(図示せず)は、入力データを処理し、メモリ160にデータを送信し、メモリ160からデータを検索するように構成することができる。プロセッサ120は、通信機180に接続されて、リモートサーバ(図1に示されず)からの情報にアクセスし及びそれを利用することもできる。
[0056] BCIデバイス110におけるプロセッサ120は、ディスプレイ106又はビデオベースの眼球追跡器102と統合されたディスプレイにレンダリングすることができるUIを構築及び維持する機能を実行するように構成することができる。幾つかの実施形態では、プロセッサ120及びそのサブ構成要素は、脳信号のユーザ固有の解釈を可能にする機能及び外部デバイスに中継される出力信号を入力/出力ユニット140にパッケージングする機能を実行するように構成することができる。プロセッサ120及びそのサブ構成要素の他の機能は、特徴の抽出、分類及び制御インターフェースの操作のような幾つかの手順を含むことができる。
選択肢のポインティング及び選択 - ハイブリッドBCIシステムの動作
[0057] 図2は、入力記号例に焦点を合わせ、入力記号例の選択を制御するユーザの例示の一例のハイブリッドBCIシステムの動作を示す。図2における一連の動作事象の説明のための例は、UI又はUXの提示中、1人又は複数のユーザの眼球運動信号及び神経活動を捕捉することと、これらの信号を解釈して、ユーザの意図を推測することと、UIを介して1つ又は複数のマシンを制御することによって変更を行うこととを含む。ハイブリッドBCIシステムの動作のこの例示のための例は、ステップ251において、UI271を通して入力刺激(例えば、記号)を提示することで開始される。刺激を提示すると、眼球運動及びユーザからの神経応答に従い、ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の眼球運動信号275(例えば、ビデオベースの眼球追跡器からのポインティング制御特徴を実施する眼球運動を示す)を取得する。ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の神経活動信号273(例えば、神経記録ヘッドセットからのユーザの認知意図を示す動作制御特徴を実施する)を受信することもできる。この信号取得ステップ253は、他の周辺機器センサ及びアクチュエータから信号を受信することと、図2において刺激情報277で示される刺激提示についての情報を受信することとを含むことができる。
[0057] 図2は、入力記号例に焦点を合わせ、入力記号例の選択を制御するユーザの例示の一例のハイブリッドBCIシステムの動作を示す。図2における一連の動作事象の説明のための例は、UI又はUXの提示中、1人又は複数のユーザの眼球運動信号及び神経活動を捕捉することと、これらの信号を解釈して、ユーザの意図を推測することと、UIを介して1つ又は複数のマシンを制御することによって変更を行うこととを含む。ハイブリッドBCIシステムの動作のこの例示のための例は、ステップ251において、UI271を通して入力刺激(例えば、記号)を提示することで開始される。刺激を提示すると、眼球運動及びユーザからの神経応答に従い、ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の眼球運動信号275(例えば、ビデオベースの眼球追跡器からのポインティング制御特徴を実施する眼球運動を示す)を取得する。ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の神経活動信号273(例えば、神経記録ヘッドセットからのユーザの認知意図を示す動作制御特徴を実施する)を受信することもできる。この信号取得ステップ253は、他の周辺機器センサ及びアクチュエータから信号を受信することと、図2において刺激情報277で示される刺激提示についての情報を受信することとを含むことができる。
[0058] ステップ255は、取得された眼球運動信号275及び神経信号273のアンサンブル分析を含み、以下に開示するように統合手法で実行することができる。ビデオベースの眼球追跡器、神経記録ヘッドセット及び他の周辺機器デバイスからの信号のアンサンブル分析は、刺激情報277(例えば、提示された刺激の時空間属性)の状況で実行される。分析されると、特定ステップ257において、ハイブリッドBCIシステムは、幾つかのソースからの情報、例えば取得された信号、UI271を通して提示されている刺激についての情報、ユーザについての事前情報、UI271及びハイブリッドBCIシステムの使用状況を使用してユーザの意図を推定することができる。ユーザの意図に従って行動するとの特定後、任意の適した動作を続け得る。例えば、提示された刺激を選択又は選択解除するとの予測である。ユーザの意図の推定は、1つ又は複数の機械学習ツールを使用して、1つ又は複数の推定方法を通して実行することができる。特定ステップ257は、1つ又は複数の基準又は閾値を使用して、任意の適した閾値交差アルゴリズムに基づいてユーザの意図を特定することができる。例えば、推定の結果が閾値基準を交差する場合、ハイブリッドBCIシステムは、ステップ259Aに進むことができ、ステップ259Aは、UI271に提示された刺激又は記号の選択を含み、それにより接続されたマシンへの適した変更が行われ得る。他方では、例えばステップ257において、推定された値が閾値基準を交差しない場合、ハイブリッドBCIシステムは、ステップ259Bに進むことができ、ステップ259Bは、インターフェース271における刺激又は記号の選択を含まない。
ハイブリッドBCIシステムとのユーザ対話
[0059] 図3A~図3Eは、実施形態によるハイブリッドBCIシステム100とのユーザ対話の一例を示す。この例では、ハイブリッドBCIシステム100は、2ステッププロセスで言葉を綴るために使用されており、図3Aでは、ディスプレイ106は、文字の幾つかのサブグループ(例えば、キーボードで一般に見られる文字、数字及び記号)をUI371上に提示する。ユーザは、図3Cに示されるビデオベースの眼球追跡器102及び神経記録ヘッドセット104を装着する。ユーザが所望の文字を含むサブグループ(例えば、図3Aにおいて強調表示された円で示されるサブグループ)に注視を合わせる場合、ディスプレイ106に提示されたUI371は、焦点が合わせられたサブグループが拡大されている、図3Bに示されるものに変わる。次に、ユーザは、そのサブグループ内の特定の所望の文字に注視を合わせることによって文字を選択する動作を実行することができる。次に、動作制御特徴は、記録された神経活動を使用して、言葉又は文章の形成に使用する文字の選択を実行することによって実施される。
[0059] 図3A~図3Eは、実施形態によるハイブリッドBCIシステム100とのユーザ対話の一例を示す。この例では、ハイブリッドBCIシステム100は、2ステッププロセスで言葉を綴るために使用されており、図3Aでは、ディスプレイ106は、文字の幾つかのサブグループ(例えば、キーボードで一般に見られる文字、数字及び記号)をUI371上に提示する。ユーザは、図3Cに示されるビデオベースの眼球追跡器102及び神経記録ヘッドセット104を装着する。ユーザが所望の文字を含むサブグループ(例えば、図3Aにおいて強調表示された円で示されるサブグループ)に注視を合わせる場合、ディスプレイ106に提示されたUI371は、焦点が合わせられたサブグループが拡大されている、図3Bに示されるものに変わる。次に、ユーザは、そのサブグループ内の特定の所望の文字に注視を合わせることによって文字を選択する動作を実行することができる。次に、動作制御特徴は、記録された神経活動を使用して、言葉又は文章の形成に使用する文字の選択を実行することによって実施される。
[0060] 図3A及び図3Bを参照して上述したポインティング制御特徴は、図3Cに示されるビデオベースの眼球追跡器102によって取得されたデータを用いて実施される。ビデオベースの眼球追跡器102は、ユーザが注視を合わせている場所を検出し、次に例えば図3Dに示されるように信号を出力するように構成することができる。追加又は代替として、ビデオベースの眼球追跡器102は、ユーザが注視を合わせていない場所を検出するように構成することができる。動作制御特徴(すなわち刺激又は記号のアクティブ化)は、図3Cに示される神経記録ヘッドセット104によって記録されたデータを用いて実施される。神経記録ヘッドセット104は、ユーザの脳からの神経信号を記録し、次に例えば図3Eに示されるように信号を出力するように構成される。次に、プロセッサ(図示せず)は、眼球追跡信号(図3D)及び神経信号(図3E)から有意義な特徴をアンサンブルとして抽出し、教師なし及び/又は半教師ありで又は特定の各ユーザとの厳格なトレーニングを通して構築された事前モデルに基づいて信号を分類することによって分析することができる。次に、分析されたデータは、ユーザの焦点及び/又は合焦が予測された記号の選択又はアクティブ化等のユーザ挙動の予測を行うために使用することができる。
ハイブリッドBCIシステムの動作
[0061] 図2に示されるプロセスシーケンス並びに図3A~図3Eに示されるポインティング制御及び動作制御実施の例は、個々の刺激で例示することができるが、UI又はUXを介した仮想環境又は拡張マルチモーダル環境の提示中、同様のシーケンスのステップを有する同様のプロセスに従うことができる。図4に示されるように、プロセス400は、トレーニングセッションを形成する一連のサブステップ(任意選択的なものとして破線の枠で示されている)を含むことができるか、又は任意のトレーニングデータなしで新規の刺激の提示に使用することができる。
[0061] 図2に示されるプロセスシーケンス並びに図3A~図3Eに示されるポインティング制御及び動作制御実施の例は、個々の刺激で例示することができるが、UI又はUXを介した仮想環境又は拡張マルチモーダル環境の提示中、同様のシーケンスのステップを有する同様のプロセスに従うことができる。図4に示されるように、プロセス400は、トレーニングセッションを形成する一連のサブステップ(任意選択的なものとして破線の枠で示されている)を含むことができるか、又は任意のトレーニングデータなしで新規の刺激の提示に使用することができる。
[0062] 図4に示される一例のプロセス400は、ある時点において神経記録ヘッドセット及び眼球追跡器(及び他の周辺機器センサ及び/又はアクチュエータ)に関連する特定のユーザのデータ取得及び事前処理を開始する初期ステップ401を含む。例えば、この開始及び信号取得は、ハイブリッドBCIシステムにおけるBCIデバイス内のプロセッサの一部である構成要素によって実行することができる。
[0063] プロセス400は、統計モデルの生成及びトレーニングを目的としてステップのサブセット(図4における破線枠内に示される、任意選択的にトレーニングセッションに使用される)を含むことができる。トレーニングセッションのステップのサブセットは、生成されたトレーニング環境を適用して、一連の入力をユーザに提示し、ユーザの眼球運動及び神経応答を後に使用するために記録及び記憶するステップ403を含むことができる。トレーニング環境の提示は、ステップ405において提示された所定の制御された刺激の組を含むことができ、続いて、生じた眼球運動及び脳活動は、ステップ407において記録することができる。ステップ409において、取得された応答は、その応答を生じさせた既知の刺激とペアにされ、ペアリング及び関連付けを通して構築されたモデルに供給することができる。様々であるが、制御された刺激の提示並びに対応する眼球運動データ及び神経活動データの収集は、1つ又は複数の繰り返される提示における一連の刺激に対して、ステップ419に示されるように眼球運動-神経応答の各組で繰り返すことができる。既知の刺激と、記録された眼球運動-神経応答との関連付けから生成されたモデルは、トレーニングセット内の新しい刺激-応答ペアの各組を用いて更新することができる。
[0064] トレーニングセッションに続き又はトレーニングセッションなしで、ステップ401におけるデータ取得の開始に続き、UI又はUXを通してユーザに刺激を提示することができる。これは、プロセス400のステップ411に示される。ステップ411は、1つ若しくは複数の新規の刺激又はトレーニング中に提示される予めプログラムされた刺激の1つ若しくは複数に関連し得る慣れた刺激を含む新しい環境の提示を含むことができる。ハイブリッドBCIシステムは、新しい統計モデルを生成することができるか、又はトレーニング中に生成された予め構築された統計モデルを使用することができる。ユーザの眼球運動及び神経活動応答の分析に統計モデルを使用することで、ハイブリッドBCIシステムは、ステップ413において、ユーザの焦点を特定し(ポインティング制御特徴を通して)、ステップ417においてユーザの意図を推定することができる。それに続き、ステップ417において、ハイブリッドBCIシステムは、ユーザによって意図される動作(神経活動データの分析によって特定される)を実行することによって動作制御特徴を実施することができる。例えば、ステップ417は、スペラーにおける文字の選択、又はゲームでの文字の選択、又は拡張現実システムで動作することができるTVシステムに関連するオン機能の選択を含むことができる。
ハイブリットBCIシステム例
[0065] 図5は、実施形態によるハイブリッドBCIシステム500を示す。幾つかの実施形態では、BCIシステム500は、図1を参照して上述したハイブリッドBCIシステム100の対応する部分と構造及び/又は機能において同様であり得る。例えば、BCIシステム500は、ハイブリッドBCIシステム100のビデオベースの眼球追跡器106、神経記録ヘッドセット104、任意選択的なディスプレイ106及び脳-コンピュータインターフェースデバイス110と同じ又は同様であり得るビデオベースの眼球追跡器506、神経記録ヘッドセット504、任意選択的なディスプレイ506及び脳-コンピュータインターフェースデバイス510を含む。したがって、そのような同様の部分及び/又は態様について、本明細書においてこれ以上詳述しない。
[0065] 図5は、実施形態によるハイブリッドBCIシステム500を示す。幾つかの実施形態では、BCIシステム500は、図1を参照して上述したハイブリッドBCIシステム100の対応する部分と構造及び/又は機能において同様であり得る。例えば、BCIシステム500は、ハイブリッドBCIシステム100のビデオベースの眼球追跡器106、神経記録ヘッドセット104、任意選択的なディスプレイ106及び脳-コンピュータインターフェースデバイス110と同じ又は同様であり得るビデオベースの眼球追跡器506、神経記録ヘッドセット504、任意選択的なディスプレイ506及び脳-コンピュータインターフェースデバイス510を含む。したがって、そのような同様の部分及び/又は態様について、本明細書においてこれ以上詳述しない。
[0066] 幾つかの実施形態では、脳コンピュータインターフェースデバイス510は、プロセッサ520に加えて、I/Oユニット540、メモリ560及び通信機580を含むことができる。これらの構成要素は、有線又は無線接続を通して互いに接続することができる。したがって、脳-コンピュータインターフェースデバイス510のプロセッサ520は、同期事象ロガー522、信号分析器524、UI/UXエンジン526及びアーキテクチャデベロッパ532を含むことができ、全てのユニットは、互いに相互接続され、互いの情報にアクセスし、互いの間で情報を転送するように構成される。
[0067] 同期事象ロガー522は、I/Oユニット540を介して、取得された眼球追跡眼球運動信号、神経活動信号及び他の入力信号を種々の周辺機器デバイスから受信することができる。同期事象ロガー522は、互いと同期すべき信号データにタイムスタンプを付し、更なる分析に必要な任意の事前処理を実行することができる。幾つかの実施形態では、同期事象ロガー522は、後述するように高速眼球運動検出及び分類を実行するように構成することができる。
[0068] 幾つかの実施形態では、脳-コンピュータインターフェースデバイス510は、以下の統合手法の例において説明されるように、異なる生理学的信号を使用して注目のアンサンブル推定を実施するように構成することができる信号分析器524を含むことができる。脳-コンピュータインターフェースデバイス510は、パイプラインにおいて分離可能な構成要素の並列化及び非同期処理を使用して、消費者レベルパーソナルコンピュータでの性能を保証するように構成することもできる。
[0069] 幾つかの実施形態では、プロセッサ520は、トレーニング環境を生成及び提示するように構成されたUI/UXエンジン526を含むことができる(トレーニングセッションが要求される場合、UIを通してレンダリングされる)。トレーニング環境は、所定の制御される刺激の組をユーザに提示し、生じた眼球運動及び/又は脳活動を記録するように構成することができる。次に、この制御される刺激の組並びに制御される各刺激に対応する誘発された目及び脳の活動は、メモリ560に記憶され、信号分析器524により、個々のユーザに合わせて作られた統計モデルを構築するためのトレーニングデータとして使用することができる。信号分析器524は、次元縮退法、特徴抽出法、機械学習ツールのような1つ又は複数の統計ツールを使用して、分類器等を構築することができる。信号分析器524は、BCIデバイス510の部分である通信機580を通して、リモートソース(例えば、リモートサーバ、データベース等)からの情報にアクセスし及びそれを使用することもできる。モデルは、提供されるトレーニングデータを使用して構築し、テストし、相互検証することができる。次に、テストされたモデルは、新しい眼球運動データ及びその特定のユーザから取得された神経活動データにわたり信号分析器524によって使用されて、UIとの対話の高い精度及び速度を達成することができる。
[0070] 幾つかの実施形態では、UI/UXエンジン526と組み合わせた信号分析器524は、統計テストからの結果に基づいてデータを分類し、最大尤度推定、最大事後推定等のようなツールを使用してユーザ挙動の予測を生成することができる。幾つかの実施形態では、プロセッサ520は、眼球運動データ及び神経活動データを受信すると共に、プロセッサ520の他のサブ構成要素(例えば、信号分析器524、UI/UXエンジン526及び通信機580を通して外部リモートソース)からデータを受信するアーキテクチャデベロッパ532を含むこともできる。アーキテクチャデベロッパ532は、リアルタイムでの使用に向けられるものではなく、潜在的なBCIアルゴリズム検出アーキテクチャのプロトタイプに向かうロバストな統計分析オフラインに向けられることがある。
信号分析への統合手法
[0071] 本明細書に記載されるように、ハイブリッドBCIシステム100、500は、統合様式において、他の適切な信号に加えて眼球運動信号を神経活動信号と併せて処理して、高速及び高精度でBCIシステムのポインティング制御特徴及び動作制御特徴を実施することができる。幾つかの実施形態では、ポインティング制御特徴は、幾つかの情報ソースを使用してハイブリッド様式で実施することができる。すなわち、BCインターフェースデバイス110(又は510)は、統合信号をアンサンブルとして処理するように構成することができる。例えば、幾つかの実施形態では、ビデオベースの眼球追跡器102は、眼筋の運動を伝達する眼球運動データを通して、任意の適した形態の眼球運動情報、例えばサッケード、中心窩視及び/又は瞳孔拡張情報並びに中心窩視情報を検出するために使用することができる。サッカード眼球位置についての情報は、神経記録ヘッドセット104から取得される神経活動、例えば視覚応答によって誘発されるERPから間接的に取得することもできる。例えば、ハイブリッドBCIシステム100、500は、ERPの発生を時間及び空間における特定の刺激の提示と相関付けて、因果関係を形成するように構成することができる。注視位置についての間接的情報は、刺激がUI/UXエンジンによって生成され、ユーザに提示された様式の知識から取得することもできる。したがって、ビデオベースの眼球追跡器102からの眼球運動データは、信号分析器524による分析前に、神経記録ヘッドセット104からの視覚的に誘発された神経活動からのデータ及びディスプレイ506を通して送達されたUIにおける刺激の戦略的提示と組み合わせることができる。更に、幾つかの実施形態では、信号分析器524は、注視運動学の理論モデル又はユーザの眼球の生物学的モデルからのデータを含むこともでき、それによりポインティング制御特徴を実施するために眼球位置の推定を通知する。モデルは、両眼視パラメータを含むことができ、それにより焦点深度を推定し、三次元空間でのポインティング制御を可能にする。
[0071] 本明細書に記載されるように、ハイブリッドBCIシステム100、500は、統合様式において、他の適切な信号に加えて眼球運動信号を神経活動信号と併せて処理して、高速及び高精度でBCIシステムのポインティング制御特徴及び動作制御特徴を実施することができる。幾つかの実施形態では、ポインティング制御特徴は、幾つかの情報ソースを使用してハイブリッド様式で実施することができる。すなわち、BCインターフェースデバイス110(又は510)は、統合信号をアンサンブルとして処理するように構成することができる。例えば、幾つかの実施形態では、ビデオベースの眼球追跡器102は、眼筋の運動を伝達する眼球運動データを通して、任意の適した形態の眼球運動情報、例えばサッケード、中心窩視及び/又は瞳孔拡張情報並びに中心窩視情報を検出するために使用することができる。サッカード眼球位置についての情報は、神経記録ヘッドセット104から取得される神経活動、例えば視覚応答によって誘発されるERPから間接的に取得することもできる。例えば、ハイブリッドBCIシステム100、500は、ERPの発生を時間及び空間における特定の刺激の提示と相関付けて、因果関係を形成するように構成することができる。注視位置についての間接的情報は、刺激がUI/UXエンジンによって生成され、ユーザに提示された様式の知識から取得することもできる。したがって、ビデオベースの眼球追跡器102からの眼球運動データは、信号分析器524による分析前に、神経記録ヘッドセット104からの視覚的に誘発された神経活動からのデータ及びディスプレイ506を通して送達されたUIにおける刺激の戦略的提示と組み合わせることができる。更に、幾つかの実施形態では、信号分析器524は、注視運動学の理論モデル又はユーザの眼球の生物学的モデルからのデータを含むこともでき、それによりポインティング制御特徴を実施するために眼球位置の推定を通知する。モデルは、両眼視パラメータを含むことができ、それにより焦点深度を推定し、三次元空間でのポインティング制御を可能にする。
[0072] ポインティング制御を追跡する統合ハイブリッド手法では、ユーザは、注視を位置特定するために提供される情報において互いを補うビデオベースの眼球追跡器102からの種々の信号、神経記録ヘッドセット104からの視覚誘発神経活動、提示された刺激の属性についての情報及び理論モデルからのデータを用いて、眼球注視の自発的な運動によってターゲットを迅速に選択することができる。ユーザは、ターゲットに注目を視覚的に固定し、BCインターフェースデバイス110は、注視についての情報を提供する複数の信号の結合パッケージの特徴分析を通してターゲットを識別することができる。特に、ハイブリッドBCIシステム100では、結合パッケージ内の信号は、BCインターフェースデバイス110により、各信号ソースに適切な重み付けがなされてアンサンブルとして分析される。
[0073] 統合手法を使用してポインティング制御特徴を実施することの利点の1つは、眼球位置をリアルタイムで非常に迅速に推定できることである。統合手法では、ビデオベースの眼球追跡器102は、神経記録ヘッドセット104を通して記録された神経活動と同じノイズ源の影響を受けにくく、またこの逆も同じであるため、最もロバストな推定も可能である。したがって、1つのチャネルは、他方のチャネルの弱点を補償することができる。更に、両方のデータセットをアンサンブルとして処理する手法では、ユーザ履歴及びナビゲートされるインターフェースの具体的な詳細等のような他のパラメータに従って個々の信号を適宜重み付けすることができる。加えて、信号分析器254は、(1)1つ又は複数のフィルタシステム(例えば、デュアルカルマンフィルタ又は任意の他のラグなしフィルタ)を通した信号の適した処理、(2)ベイズ線形判別システム、(3)加重信号パッケージへの空間フィルタリング、(4)バギングアンサンブル分類器アルゴリズム、及び(5)実験タスク中にプログラムルーチンを用いて分類アルゴリズムからの情報を組み込み、選択精度を改善する高次オラクルアルゴリズムを使用する適した分析パイプラインを実施するように構成することができる。
[0074] ハイブリッドBCIシステム100、500は、統合手法を使用して動作制御特徴を実施することもできる。幾つかの実施形態では、例えば、信号分析器524は、神経記録ヘッドセット504からの神経活動データを、トレーニングデータから構築された統計モデル又は人間認知の理論モデル、ビデオベースの眼球追跡器502からの眼球運動データ(瞳孔拡散等のようなパラメータから注目のような脳状態を伝達する)及び種々の周辺機器センサからのマルチモーダル感覚データと組み合わせることができる。信号分析器524は、適した機械学習ツール一式及び統計分類器を使用してアンサンブル距離推定及び分類を実行し、推定を単純な値又は閾値交差信号に還元することができる。この還元された信号は、次に、所望の記号又は刺激への動作制御特徴の実施に使用することができる。ユーザ経験を改善するために、ハイブリッドBCIシステム100、500は、動作制御の実施が5秒以内、又は4秒以内、又は3秒以内、又は2秒以内、又は1秒以内、又は0.9秒以内、又は0.8秒以内、又は0.7秒以内、又は0.6秒以内、又は0.5秒以内で行われるように、速度について最適化するように調整することができる。ユーザ経験を改善するために、ハイブリッドBCIシステム100、500は、動作制御速度の実施(秒単位)にシステムの平均精度(%単位)を掛けたものが5(例えば、10秒*50%精度)未満、又は4未満、又は3未満、2未満、又は1.125(例えば、1.5秒*75%精度)未満、又は1未満、又は0.9(例えば、1秒*90%精度)未満、又は0.8未満、又は0.7未満、又は0.6未満、又は0.5(例えば、0.6秒*83.33%精度)未満であるように、速度*精度%の値を低減又は最小に抑えるように調整することができる。
UI/UXにおける適合
[0075] 本明細書に記載されるように、ハイブリッドBCIシステム100、500の動作は、ハイブリッドBCIシステムの機能にとって中核的なUI又はUXを含む。UI又はUXは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせてポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。単純な例では、UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ディスプレイ(ディスプレイ106のような)に表示される視覚刺激を提示するUIの例は、図2(UI271)及び図3(UI371)に示されている。
[0075] 本明細書に記載されるように、ハイブリッドBCIシステム100、500の動作は、ハイブリッドBCIシステムの機能にとって中核的なUI又はUXを含む。UI又はUXは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせてポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。単純な例では、UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ディスプレイ(ディスプレイ106のような)に表示される視覚刺激を提示するUIの例は、図2(UI271)及び図3(UI371)に示されている。
[0076] UIは、一緒になって、これもインターフェースとして機能するUXと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたUXは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激又は前庭刺激がある。UI又はUXは、システムハイブリッドBCIシステム500のUI/UXエンジン526によって設計及び生成することができる。UI/UXエンジン526は、信号分析器524と併せて動作して、信号分析器524から出力されたデータで、提示されたUXを更新することができる。例えば、UXは、推定されたユーザ意図に従って更新することができ、それにより動作制御特徴を実施する。
[0077] UI/UXエンジン526は、アーキテクチャデベロッパ532と併せて動作して、ユーザの要件及びハイブリッドBCIシステムの使用状況に従って適切なUI又は経験も生成及び維持することができる。UI/UXエンジン526は、ビデオベースの眼球追跡器102から記録された眼球運動信号、神経記録ヘッドセット104又は周囲環境を捕捉し得る現場カメラを含むセンサ及びアクチュエータであり得る1つ又は複数の他の周辺機器デバイスを通したユーザからのフィードバック又はユーザの環境に基づいて、UIをリアルタイムで更新するように構成することができる。UI/UXエンジン524は、BCIデバイス510がUIを維持し、入力信号を分析するために必要なバックグラウンド処理をサポートすることができるように、ユーザフィードバック及び更新されたUIに従ってBCIデバイス510においてプロセッサ520を更新するように構成することもできる。例えば、UI/UXエンジン524は、アンサンブル推定並びにポインティング制御特徴及び動作制御特徴の実施のために刺激属性を信号分析器524に供給することができる。幾つかの実施形態では、UI/UXエンジン526は、例えば、UIが視覚モダリティの対話から視聴覚モダリティの対話に切り替えた場合、信号分析器524における処理モードを切り替えることもできる。UIの幾つかの実装形態例について以下に開示される。
動的刺激
[0078] 幾つかの実施形態では、UIは、静的視覚画像のみならず、ビデオを形成する動いている一連の視覚画像からなるように構成することができる。ビデオは、UI/UXエンジン526によってBCIデバイス510内にプログラムされる合成生成された一連の画像であり得るか、又は通信機580を通してリモートソースから取得され、所望のUIに合うように更新することができる。合成生成されるか又は取得されたビデオは、ディスプレイ(106、506)を通してユーザに中継することができる。ビデオは、ユーザの現実世界環境において発生しており、ユーザの視野を捕捉する視野カメラを含む任意の適した1つの眼鏡を通してユーザに中継され、BCIデバイス510にコピーされる一連のリアルタイム事象を含むこともできる。幾つかの実施形態では、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102に組み込むことができる。
[0078] 幾つかの実施形態では、UIは、静的視覚画像のみならず、ビデオを形成する動いている一連の視覚画像からなるように構成することができる。ビデオは、UI/UXエンジン526によってBCIデバイス510内にプログラムされる合成生成された一連の画像であり得るか、又は通信機580を通してリモートソースから取得され、所望のUIに合うように更新することができる。合成生成されるか又は取得されたビデオは、ディスプレイ(106、506)を通してユーザに中継することができる。ビデオは、ユーザの現実世界環境において発生しており、ユーザの視野を捕捉する視野カメラを含む任意の適した1つの眼鏡を通してユーザに中継され、BCIデバイス510にコピーされる一連のリアルタイム事象を含むこともできる。幾つかの実施形態では、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102に組み込むことができる。
[0079] 幾つかの実施形態では、ビデオの形態の視覚刺激は、動くターゲットを有する動的刺激として扱うことができる。図6は、空間を通して移動している動的物体例の図を示す。BCIデバイス510は、適した画像処理ルーチンを実行して、ビデオ(生成されるか、取得されるか、又は視野カメラを通して捕捉される)を分析することにより、移動しているターゲットを識別し、時間及び空間を通してターゲットの動的運動を追跡するように構成することができる。画像処理中、BCIデバイス510は、サーチを実行し、通信機580を通して通信チャネルを確立することにより、リモートサーバに保持される画像データ又はビデオデータのデータベース又はリポジトリからの情報にアクセスするように構成することもできる。信号分析器524及びUI/UXエンジン526は、併せて画像セグメント化、輪郭検出、運動検出等のような分析ルーチンを実行するように動作することができる。BCIデバイス510は、任意の適した統計方法一式を使用して、移動している動的刺激を識別及び追跡することができる。BCIデバイス510は、メモリ560に記憶されたユーザの挙動の事前知識又はUI若しくはUXの状況を組み込み、動的刺激の識別及び追跡を促進することもできる。
[0080] 識別されると、図6のUI671の図例に示されるように、動的刺激にタグを割り当てることができる。タグT0、T1...T5は、それぞれが動的刺激に関連する特定の事象を示す時点であり得る。例えば、T0は、動的刺激が出現し、最初に検出された時点を示すことができる。T5は、刺激が消失する前の刺激の追跡の終わりを示すことができる。各タグ及び関連する情報は、刺激情報(例えば、刺激情報677)の一部として記憶することができ、これは、ポインティング制御特徴を実施するための眼球位置のアンサンブル推定又は動作制御特徴を実施するためのユーザ意図のアンサンブル推定を含む幾つかの他の分析で使用することができる。例えば、物体は、ユーザの注視点が、空間及び時間において追跡されている物体を見逃したことが検出された場合、追跡されている動的物体を閃光させることができる(図6の例においてタグT4で示されるように)ように識別及びタグ付けすることができる。ユーザは、次に、考えを使用して物体を操作することができる。すなわち、アンサンブル処理を受けた同時に記録された神経活動データを使用して、動的物体に関するユーザの意図を特定することができる。シグネチャ神経活動(例えば、ERP又は運動イメージ信号)が検出される場合、これは、その動的物体に関連する動作をトリガーするユーザの望みを示し得る。動作は、動的刺激の属性及び記録及び分析されている神経活動に基づくことができる。例えば、動作は、物体に関連するメニューを見るという単純な選択であり得るか、又は動作は、以下の例に開示されるように運動イメージ信号を使用することによる物体の複雑な操作であり得る。任意のそのような選択又は任意のインスタンスにおける動的物体の選択から生じたトリガーされた動作は、将来使用するために刺激情報677の一部として記憶することもできる。
三次元UX
[0081] ハイブリッドBCIシステム100、500及び本明細書に記載される他の実施形態は、空間次元において二次元又は三次元UI又はUXをサポートするように構成することができる。本明細書に記載されるように、UI又はUXは、UI/UXエンジン526によって生成される完全な仮想環境であり得る。又は、UI/UXは、眼鏡を通して中継され、ユーザの拡張現実経験を作るUIが重ねられたユーザの現実世界環境であり得る。
[0081] ハイブリッドBCIシステム100、500及び本明細書に記載される他の実施形態は、空間次元において二次元又は三次元UI又はUXをサポートするように構成することができる。本明細書に記載されるように、UI又はUXは、UI/UXエンジン526によって生成される完全な仮想環境であり得る。又は、UI/UXは、眼鏡を通して中継され、ユーザの拡張現実経験を作るUIが重ねられたユーザの現実世界環境であり得る。
[0082] 幾つかの実装形態例では、UIは、メニュー及びアイコンの形態で制御ツールの組を提供し、ポインティング制御特徴及び動作制御特徴を二次元空間又は三次元空間(すなわち視覚の奥行きを利用する)で実施する単純なシステムであり得る。幾つかの実装形態では、UIは、ユーザによってナビゲートすることができ、現実世界ナビゲーションと同様の経験を提供する仮想(又は拡張)空間のマルチモーダル提示を用いるリッチな三次元経験でもあり得る。UIは、ユーザの状況要件に合うように適宜配置された、これらと種々の他のタイプの刺激提示との組合せを含むこともできる。
[0083] ハイブリッドBCIシステム100、500は、人間の視覚系が三次元において奥行きをどのように処理するかの属性を使用して、UXを生成すると共に、アンサンブル処理中に眼球運動及び神経信号を分析することができる。例えば、人間の視覚系は、幾つかの手掛かりを使用して、視野内の物体が視覚の異なる奥行きからのものであるか否かを特定する。属性の一例は、部分遮蔽である。1つの物体が別の物体によって遮蔽される場合、遮蔽された物体が遮蔽する物体の背後に位置するという妥当な予想がある。これは、仮想環境において三次元空間を生成するために使用することができる。この属性は、ポインティング制御特徴を実施して、ユーザの焦点が、視覚から遮蔽されている物体ではなく、全体が見えている物体にあると正確に特定する場合に使用することもできる。
[0084] 属性の別の例は、物体が視覚の奥行きと共に変化する際の既知の物体の相対的なサイズ及び形状である。例えば、2つの物体が既知のサイズ及び形状を有し、一方が他方よりも小さく見える場合、小さい物体が大きい物体よりも観察者から空間距離において離れていると妥当に推定することができる。この属性は、現実的な三次元仮想空間を生成するために、UI/UXエンジン526により、様々なサイズ及び様々な視点で物体をレンダリングするために使用することもできる。この属性は、ユーザの焦点を正確に特定するために使用することもできる。
[0085] 更に、人間の視覚系は、片目に対するもう一方の目の相対運動を中継する両眼視からの情報及び各目の焦点深度を使用して、別名立体眼球追跡と呼ばれる、現実世界における物体の位置も特定する。ハイブリッドBCIシステム100、500は、立体眼球追跡を実行し、ビデオベースの眼球追跡器102、502によって収集された両目からの眼球運動信号を使用することができ、信号を使用して、焦点深度の両眼推定を生成することができる。この両眼推定は、他の奥行き情報ソースと組み合わせられて、現実、仮想又は拡張空間におけるユーザのビューにおける物体の奥行きを正確に推定することができる。
ナビゲーション制御
[0086] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ナビゲーションが関わる二次元又は三次元空間におけるUXの提示を含むことができる。例えば、UIは、Pacman又はQuakeのようなナビゲーションゲームをプレイするように構成することができる。他の場合、UIは、現実世界でユーザの車椅子をナビゲートするように構成することができる。UI/UXエンジン526は、ユーザ、BCIデバイス110(510)により、又はユーザの環境(視野カメラによって中継される)から提供される状況ベースの情報を使用し、ナビゲーションを仲介する適切な制御と共に提示されるUI又はUXを生成/更新することができる。一実施形態によるナビゲーション制御インターフェースの図例を図7に示す。
[0086] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ナビゲーションが関わる二次元又は三次元空間におけるUXの提示を含むことができる。例えば、UIは、Pacman又はQuakeのようなナビゲーションゲームをプレイするように構成することができる。他の場合、UIは、現実世界でユーザの車椅子をナビゲートするように構成することができる。UI/UXエンジン526は、ユーザ、BCIデバイス110(510)により、又はユーザの環境(視野カメラによって中継される)から提供される状況ベースの情報を使用し、ナビゲーションを仲介する適切な制御と共に提示されるUI又はUXを生成/更新することができる。一実施形態によるナビゲーション制御インターフェースの図例を図7に示す。
[0087] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ユーザの環境の状況又はユーザからの明示的な指示に基づいて、図7に示されるようなナビゲーション制御インターフェースをユーザに提示することができる。ナビゲーション制御インターフェースは、運動速度及び運動方向への制御を提供することができる。例えば、ナビゲーション制御インターフェースは、各リングが速度ゾーンを表す複数の同心円の透明アウトレイを含むことができる。各リングは、アクティブ化又は非アクティブ化することができる記号、例えば矢印の対称オーバーレイを含むこともできる。記号又は矢印は、関連する速度帯の選択を開始及び停止することによって運動を制御するように構成することができる。各矢印の角度及び位置は、運動の方向を示すことができる。
[0088] 幾つかの実施形態では、先に開示され、図7に示されるものと同様のナビゲーションインターフェースは、ポインティング制御特徴及び動作制御特徴を組み合わせて実施することによって操作することができる。例えば、ポインティング制御特徴は、運動の方向を示す、ユーザが望んだ矢印を特定するために使用することができる。動作制御特徴は、その特定の速度帯のその特定の矢印を選択するために実施することができる。このナビゲーションインターフェースを組み込んだハイブリッドBCIシステム100、500は、電子操作される車椅子のような外部ナビゲーションシステムに接続することができる。この場合、特定の速度帯に関連する特定の矢印をアクティブ化すると、所望の方向にターン又は移動する車椅子の車輪の運動をアクティブ化することができる。代替的に、ハイブリッドBCIシステム100、500は、ナビゲーション可能な仮想環境をユーザに提示することができる。この場合、ナビゲーションインターフェースにおける特定の速度帯にある特定の矢印をアクティブ化することにより、ユーザは、アクティブ化によって示された速度及び方向に従い、提示された仮想空間において移動することができる。換言すれば、UI/UXエンジン526は、ユーザが望んだ運動の知覚を生成するように、提示される仮想環境を変更し得る。ナビゲーションインターフェースは、ユーザがフィードバックをナビゲーション制御システムに提供するためのチャネルを含むこともできる。運動及びユーザのフィードバックを生じさせる記号のユーザ選択の持続時間のようなナビゲーションインターフェースの使用属性は、将来使用するために、例えばユーザ固有の較正及び設定のために刺激として記憶することができる。
状況ベースの現実世界対話
[0089] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ユーザが拡張又は混合現実空間において対話できるようにするために使用することができる。すなわち、ハイブリッドBCIシステム100、500を使用して、ユーザが見ることができるあらゆるものを捕捉するように構成された周辺機器センサ108、508の1つとして視野カメラを含む1つの眼鏡を通して現実世界をユーザに中継し得る。例えば、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102の一体部分として組み込むことができる。眼鏡は、視覚刺激を提示することが可能な統合ディスプレイ(例えば、液晶ディスプレイ)であるように構成することができる。視覚画像又は視覚ビデオは、必要に応じて、三次元空間をシミュレートするように各目に適宜合わせられて統合ディスプレイにおいて投影することができ、それによりユーザが拡張又は混合現実を経験できるようにする。例えば、投影される画像は、ポインティング制御特徴及び動作制御特徴を実施することによってアクティブ化又は選択することができるメニュー及びボタンのような制御インターフェースであり得る。投影される画像又はビデオは、ユーザが見る現実世界イメージを補うように生成されたリッチな三次元環境でもあり得る。
[0089] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ユーザが拡張又は混合現実空間において対話できるようにするために使用することができる。すなわち、ハイブリッドBCIシステム100、500を使用して、ユーザが見ることができるあらゆるものを捕捉するように構成された周辺機器センサ108、508の1つとして視野カメラを含む1つの眼鏡を通して現実世界をユーザに中継し得る。例えば、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102の一体部分として組み込むことができる。眼鏡は、視覚刺激を提示することが可能な統合ディスプレイ(例えば、液晶ディスプレイ)であるように構成することができる。視覚画像又は視覚ビデオは、必要に応じて、三次元空間をシミュレートするように各目に適宜合わせられて統合ディスプレイにおいて投影することができ、それによりユーザが拡張又は混合現実を経験できるようにする。例えば、投影される画像は、ポインティング制御特徴及び動作制御特徴を実施することによってアクティブ化又は選択することができるメニュー及びボタンのような制御インターフェースであり得る。投影される画像又はビデオは、ユーザが見る現実世界イメージを補うように生成されたリッチな三次元環境でもあり得る。
[0090] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、視野カメラを通して捕捉されたユーザが見る現実世界環境のビデオを処理するように構成することができる。例えば、視野カメラ(周辺機器デバイス508)は、捕捉された現実世界イメージを記録し、BCIデバイス510のI/Oユニット540に送信することができる。次に、BCIデバイス510内のプロセッサ520は、同期事象ロガー522を介して捕捉されたビデオにタイムスタンプを付してログし、捕捉されたビデオを信号分析器524において分析することができる。信号分析器524は、画像セグメント化、輪郭検出、運動検出、画像識別等を含め、ビデオに対して種々の画像処理ルーチンを実行することができる。信号分析器524は、メモリ560に記憶された予め取得された情報を使用することができるか、又は通信機580を介して確立された通信チャネルを介してリモートソースから追加の情報を取得することもでき、それにより画像処理ルーチンを促進する。
[0091] 図8Aは、ハイブリッドBCIシステムの一実施形態を使用して視野カメラによって捕捉された現実世界画像の例事例を示す。図8Aにおける画像例は、ユーザのリビングルームのインスタンスを示す。例えば、信号分析器524は、この画像をビデオで受信し、図8Aの例において強調表示されるように、この画像を識別可能な部分にセグメント化することができる。すなわち、信号分析器524は、輪郭を検出し、テレビ、書棚及び2匹の飼い猫のような個々のアイテムを識別することができる。更に、信号分析器524は、ユーザについて記憶されている情報又はリモートソース(例えば、ウェブサイト、データベース、ベンダーカタログ等)からの追加の情報にアクセスして、捕捉されたビデオにおいてテレビの製造元及び型番を識別することができる。識別すると、信号分析器524は、識別された特定のデバイス(例えば、特定の製造元及び型番のテレビ)との適した通信モードを特定することができる。選択された適した通信チャネル(例えば、ベンダーによって予め決定され得るBluetooth、NFC等)を使用して、BCIデバイス510は、通信機580を通して、識別されたデバイス(例えば、テレビ)と接続することができる。
[0092] 幾つかの実施形態では、テレビのような特定の制御可能な電子構成要素の識別及び接続の成功は、識別された制御可能な電子デバイスに適した状況ベースのUIの提示をトリガーすることができる。例えば、特定の製造元及び型番のテレビを識別し、接続すると、ハイブリッドBCIシステム100、500は、そのテレビの制御可能な特徴のリストを取得することができる。次に、BCIデバイス510内のUI/UXエンジンは、デバイス及びユーザについての情報を使用して、音量制御機構、チャンネル制御機構、ホームシアター制御機構等のアイテムを含め、そのテレビで利用可能な制御機構のリストを組み込んだ状況ベースの直観的なUIを生成することができる。テレビの例のそのような制御機構のUIの例を図8Bに示す。
[0093] 状況ベースのUIは、二次元空間又は三次元空間に提示され得、任意の適したモダリティを通してアクティブ化又は非アクティブ化することができる記号又はアイコンを含み得る。次に、ハイブリッドBCIシステム500は、ポインティング制御特徴を実施して、特定の制御可能な記号、例えば「音量増大」アイコンへのユーザの焦点合わせを検出することができる。それに続き、ハイブリッドBCIシステム500は、神経記録ヘッドセットを介して記録された神経活動を使用して、動作制御特徴(例えば、音量増大アイコンのアクティブ化)をUIで実施することができる。状況ベースのUIにおけるこの動作は、テレビに通信されて、現実世界でのテレビ提示(例えば、音量)のユーザ経験の変更を行うことができる。
対話を容易にするためのUI/UXへの可視適合及び不可視適合
[0094] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、UI又はUXの生成において適合を組み込んで、高速及び高精度での動作のし易さを可能にすることができる。これらの適合は、ユーザに提示されるUIの可視属性を含み得る。適合は、明らかに可視ではないが、UI又はUXの生成及び保守並びにポインティング制御特徴及び/又は動作制御特徴がどのように実施されるかに組み込まれるUIの属性を含むこともできる。適合の幾つかについて以下に開示される。
[0094] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、UI又はUXの生成において適合を組み込んで、高速及び高精度での動作のし易さを可能にすることができる。これらの適合は、ユーザに提示されるUIの可視属性を含み得る。適合は、明らかに可視ではないが、UI又はUXの生成及び保守並びにポインティング制御特徴及び/又は動作制御特徴がどのように実施されるかに組み込まれるUIの属性を含むこともできる。適合の幾つかについて以下に開示される。
フォーカスクリックスルー
[0095] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、三次元態様を組み込んで、動作可能なメニュー項目をユーザに提示することができる。乱雑さを見せずに良いサイズのメニュー項目を提示する選択肢を含め、三次元において動作可能なメニューの提示には、幾つかの利点があり得る。メニュー項目の三次元提示は、拡張又は混合現実を提示する場合と同様に、視覚UI又はUXの表示又は提示に利用可能な空間が限られている状況下でも有用であり得る。
[0095] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、三次元態様を組み込んで、動作可能なメニュー項目をユーザに提示することができる。乱雑さを見せずに良いサイズのメニュー項目を提示する選択肢を含め、三次元において動作可能なメニューの提示には、幾つかの利点があり得る。メニュー項目の三次元提示は、拡張又は混合現実を提示する場合と同様に、視覚UI又はUXの表示又は提示に利用可能な空間が限られている状況下でも有用であり得る。
[0096] UI例における三次元提示の一例を図9に示す。UIは、選択されて動作制御特徴をハイブリッドBCIシステム500によって実施することができる幾つかの選択肢を含むことができる。図9に示される例は、選択肢1及び2を含むパネルを含む。先に開示したように、UIは、人間の視覚系によって被写界深度を検出するために使用される幾つかの属性を利用することにより、三次元空間に提示することができる。図9に提示される例と同様に、UIは、輝度及びコントラストの属性を変調して、特定の項目にピントを合わせるか又はピントを外すことができる。更に、UIは、三次元における奥行きの効果をもたらすために、ある物体による別の物体の遮蔽又はある物体からの別の物体の斜視図のような属性を使用することもできる。
[0097] ポインティング制御特徴の実施中、ハイブリッドBCIシステム100、500は、各選択肢にピントを合わせることによって選択肢1及び2を順次提示することができる。所望の選択肢は、ビデオベースの眼球追跡器102によって収集される眼球運動応答を監視して、立体眼球追跡を実施すること、神経記録ヘッドセット104によって収集された神経活動にUIにおける選択肢1及び2の焦点深度の変更を相関付けること又はこれら2つの組合せを含む1つ又は複数の方法によって決定することができる。両方の方法の組合せを使用する統合手法は、より高速の検出を可能にすることができ、高精度の動作選択を維持しながら高速のユーザ対話に繋がる。
選択肢プール事前選択
[0098] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、幾つかの動作可能な項目を有する状況下で動作するために使用することができる。6つの動作可能な項目を含むUI1071の例示のための一例を図10Aに示す。特定の状況下では、UIに一度に提示される動作可能な項目の数を少なくすることが適し得る。これは、ポインティング制御特徴の実施中、ユーザの焦点の特定における不確実性を下げるためでもあり得る。動作制御特徴の実施中、選択される動作可能な項目の不確実性を下げるためでもあり得る。更に、ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、刺激を閃光させ、神経記憶ヘッドセット504を通して同時に収集された神経活動を相関させ、この相関データを更に使用して、動作可能な項目の選択を実施するように構成され得る。これらの状況下では、刺激の繰り返しの閃光を最小に抑えて、UXを強化することが望ましいことがある。これらの要件下でUI/UXエンジン524によって採用される一戦略は、選択肢項目を戦略的にプールすることであり得る。したがって、図10A及び図10Bに示される例では、1ステップで6つの潜在的な選択肢における1つの選択(図10Aに示される)の代わりに、UIは、2ステップ選択プロセスで動作するように変更することができる。例えば、第1のステップにおいて、UIは、選択肢1、2及び3を一緒にプールして、プールされた事前選択選択肢1を形成し、選択肢4、5及び6を一緒にプールして、プールされた事前選択選択肢2を形成するように変更され得る。したがって、ユーザは、第1のステップにおいて、2つの可能な事前選択選択肢の一方をポイントして選択し得る。第1のステップにおいて、ポインティング制御特徴及び選択制御特徴を事前選択選択肢に対して実施すると、UIは、次に、図10Bに示されるように、第1のステップにおいて選択したものに応じて、事前選択選択肢1又は事前選択選択肢2に含まれる実際の個々の選択肢を提示するように変更することができる。この手順は、選択に関わるステップ数を増やし得るが、選択肢を事前選択プールにプールするプロセスは、個々の選択肢の閃光数を下げ得る。更に、正確な選択肢を選択する精度は、第1のステップ及び第2のステップの両方における不確実性の低下に起因して増大し得る。
[0098] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、幾つかの動作可能な項目を有する状況下で動作するために使用することができる。6つの動作可能な項目を含むUI1071の例示のための一例を図10Aに示す。特定の状況下では、UIに一度に提示される動作可能な項目の数を少なくすることが適し得る。これは、ポインティング制御特徴の実施中、ユーザの焦点の特定における不確実性を下げるためでもあり得る。動作制御特徴の実施中、選択される動作可能な項目の不確実性を下げるためでもあり得る。更に、ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、刺激を閃光させ、神経記憶ヘッドセット504を通して同時に収集された神経活動を相関させ、この相関データを更に使用して、動作可能な項目の選択を実施するように構成され得る。これらの状況下では、刺激の繰り返しの閃光を最小に抑えて、UXを強化することが望ましいことがある。これらの要件下でUI/UXエンジン524によって採用される一戦略は、選択肢項目を戦略的にプールすることであり得る。したがって、図10A及び図10Bに示される例では、1ステップで6つの潜在的な選択肢における1つの選択(図10Aに示される)の代わりに、UIは、2ステップ選択プロセスで動作するように変更することができる。例えば、第1のステップにおいて、UIは、選択肢1、2及び3を一緒にプールして、プールされた事前選択選択肢1を形成し、選択肢4、5及び6を一緒にプールして、プールされた事前選択選択肢2を形成するように変更され得る。したがって、ユーザは、第1のステップにおいて、2つの可能な事前選択選択肢の一方をポイントして選択し得る。第1のステップにおいて、ポインティング制御特徴及び選択制御特徴を事前選択選択肢に対して実施すると、UIは、次に、図10Bに示されるように、第1のステップにおいて選択したものに応じて、事前選択選択肢1又は事前選択選択肢2に含まれる実際の個々の選択肢を提示するように変更することができる。この手順は、選択に関わるステップ数を増やし得るが、選択肢を事前選択プールにプールするプロセスは、個々の選択肢の閃光数を下げ得る。更に、正確な選択肢を選択する精度は、第1のステップ及び第2のステップの両方における不確実性の低下に起因して増大し得る。
ドラッグ可能マーカ
[0099] ハイブリッドBCIシステム100又は500は、視覚補助(例えば、カーソル)を使用して、ポインティング制御特徴の現在ステータスを示すことによって動作することができる。カーソルは、ポインティング制御特徴及び動作制御特徴を実施しながら、属性(例えば、色、形状、輝度等)を使用してシステムの現在ステータスを示すことができる記号又はマーカであり得る。例えば、マーカは、ポインティングしている間、ソリッドカラーであるが、異なる色に変わってポインティング制御(すなわちUIに提示された選択肢の選択)の実施完了を表すことができる。マーカは、更に別の形状又は色に更に変えて、動作制御特徴(すなわち選択肢のアクティブ化)の実施完了を表すことができる。
[0099] ハイブリッドBCIシステム100又は500は、視覚補助(例えば、カーソル)を使用して、ポインティング制御特徴の現在ステータスを示すことによって動作することができる。カーソルは、ポインティング制御特徴及び動作制御特徴を実施しながら、属性(例えば、色、形状、輝度等)を使用してシステムの現在ステータスを示すことができる記号又はマーカであり得る。例えば、マーカは、ポインティングしている間、ソリッドカラーであるが、異なる色に変わってポインティング制御(すなわちUIに提示された選択肢の選択)の実施完了を表すことができる。マーカは、更に別の形状又は色に更に変えて、動作制御特徴(すなわち選択肢のアクティブ化)の実施完了を表すことができる。
[0100] ハイブリッドBCIシステム100、500の幾つかの実施形態では、マーカ又はカーソルは、眼球追跡によって登録された眼球運動の軌跡を辿ることによって単に移動することができる。したがって、UIにおいて選択することができる可能な項目は、UIにおける位置がマーカの軌跡(ユーザの目の軌跡を辿る)と交わる項目である。選択は、単なる焦点合わせ又は物体への時限中心窩視等を含め、幾つかの方法によって実施され得る。
[0101] 幾つかの実施形態では、マーカは、ユーザの目の軌跡を緊密に辿らず、代わりにドラッグ可能なスティッキーマーカであるように変更することができる。すなわち、ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、ある物体又は選択肢から別の物体又は選択肢にドラッグアンドドロップすることができるスティッキーマーカを含む動作モードに切り替えられ得る。図11A及び図11Bは、スティッキーマーカ1181を含む一例のUI1171を示す。示される例では、ユーザは、ディスプレイの中央におけるホーム位置からスティッキーマーカ1181をドラッグし、選択する選択肢1179に配置することによってUI1171と対話する。例えば、図11に提示されるUXは、ビデオゲームであり得る。ユーザは、ゲームが進行している間、ゲームを一時停止することを望む場合がある。これは、スティッキーマーカ1181を使用することによって達成することができる。ユーザは、ホーム位置の中心窩視により、スティッキーマーカ1181をディスプレイの中央におけるホーム位置から「ピックアップ」することができる。次に、スティッキーマーカ1181を「ドラッグ」することにより、ユーザは、選択する選択肢、例えばブロックアイコン1179によって示される「一時停止」選択肢を中心窩視することができる。スティッキーマーカをドラッグしている間、選択肢1179を中心窩視することにより、ユーザは、次に、図11Bに示されるように一時停止選択肢1179上にスティッキーマーカ1181を「ドロップ」することができる。次に、スティッキーマーカ1181は、選択された選択肢1179に貼り付き、ポインティング制御特徴の実施を完了する。
[0102] スティッキーマーカ1181を使用するモードで動作するハイブリッドBCIシステムの実施形態では、スティッキーマーカ1181を「ピックアップ」していない状態でのユーザの任意の単なる中心窩視又はサッカード眼球運動は、選択又はポインティング制御特徴を実施するいかなる効果も有さない。これは、ユーザの目による漂游注視又は漂游固視による偽の選択の低減に繋がり得る。更に、ユーザは、スティッキーマーカを使用しない場合に必要とされ得るポインティング制御特徴の実施に十分に長い時間、中心窩視又は眼球運動を行う必要がない。したがって、スティッキーマーカの使用は、ユーザによる不自然に長い及び/又は破滅的に長い中心窩視を必要とせずに、高速及び正確なポインティング及び選択とのユーザ対話の容易さを改善することができる。
[0103] ハイブリッドBCIシステム100、500の実施形態を使用してスティッキーマーカを実施する別の例を図12A~図12Hに示す。特に、図12A~図12Hは、スティッキーマーカを使用して、選択肢を選択する場合の一連の事象を示す。例えば、図12Aにおいて、一例のUI1271は、4つの潜在的な選択肢A、B、C及びD1279並びに画面中央のホーム位置に配置されたスティッキーマーカ1281を示す。UI1271は、ポインティング制御特徴のステータスを示し、後述するように、スティッキーマーカ1281をドラッグするプロセスを支援するスティッキーグラバーオブジェクト1285も含む。UIは、リサイクルビンの記号で示される特別な選択肢1283も含む。インターフェース1271は、図12B~図12Hに繰り返し提示されて、スティッキーマーカ1281の使用中、ユーザ対話から生じる一連の変化を示す。
[0104] 例えば、図12Aでは、スティッキーマーカ1281は、ホーム位置にあり、スティッキーグラバー1285は、第1の色(例えば、青)を有し、空である。例えば、ユーザは、選択肢Bを選択することを望む場合、ホーム位置にあるスティッキーマーカ1281に注視を向けることによって開始する。これにより、図12Bに示されるように、スティッキーマーカ1281は、スティッキーグラバー1285によってグラッブされることになる。特に、ユーザがスティッキーマーカ1281を「ピックアップ」するために要求される最小固視持続時間はない。スティッキーマーカ1281のホーム位置にわたるユーザの単なる注視の通過により、スティッキーグラバー1285によってグラッブすることができる。
[0105] スティッキーマーカ1281をスティッキーグラバー1285にグラッブした後、ユーザは、選択することを望む選択肢、例えば選択肢Bに注視を渡すことができる。選択肢へのユーザの注視の単なる横断により、図12Cに示されるように、マーカをその選択肢にドラッグすることができる。選択肢は、即座に選択されない。スティッキーマーカ1281が選択肢にドラッグされると直ちに、ユーザに可視であることも又はないこともあるタイマ1287を開始することができる。予め設定された時間量後、タイマ1287が切れると、選択肢の選択を実現することができる。
[0106] しかしながら、タイマ1287が切れる前、ユーザが別の選択肢、例えば選択肢Dの選択を選択する場合、これは、ユーザがスティッキーマーカ1281を有する選択肢Bに注視を渡すことによって行うことができる。図12Eに示されるように、これは、スティッキーマーカ1281をピックアップし、スティッキーグラバー1285に戻す。これに続き、ユーザは、次に、選択する選択肢、例えば選択肢Dに注視を渡すことができ、それにより、図12Fに示されるように、スティッキーマーカ1281は、選択肢Dにドラッグされる。
[0107] 何らかの他の動作中、ユーザがスティッキーマーカ1281を非意図的にピックアップする場合、図12Fに示されるように、リサイクルビンアイコン1283を見ることにより、スティッキーマーカ1281を捨てることができる。同様に、ユーザが非意図的にスティッキーマーカ1281を望ましくない選択肢にドロップした場合、ユーザのものを、スティッキーマーカ1281を有する望ましくない選択肢に戻し、次にリサイクルビンアイコン1283を注視することにより、この選択を無効化することができる。
選択アクティブ化
[0108] ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、その状況でハイブリッドBCIシステムの動作の中核をなし得る特定の重要な記号をアクティブ化及び/又は非アクティブ化する好都合なメカニズムを提供するように構成することができる。例えば、ハイブリッドBCIシステムが、ある特定のアプリケーション又は関連するデバイスを制御するUI/UXインターフェースの実行に使用される場合、UIは、選択されると、その特定のアプリケーション又は接続されたデバイスの幾つかの態様を一元制御することができる関連する主要記号又はアイコンを含み得る。
[0108] ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、その状況でハイブリッドBCIシステムの動作の中核をなし得る特定の重要な記号をアクティブ化及び/又は非アクティブ化する好都合なメカニズムを提供するように構成することができる。例えば、ハイブリッドBCIシステムが、ある特定のアプリケーション又は関連するデバイスを制御するUI/UXインターフェースの実行に使用される場合、UIは、選択されると、その特定のアプリケーション又は接続されたデバイスの幾つかの態様を一元制御することができる関連する主要記号又はアイコンを含み得る。
[0109] 一例のアプリケーションは、コアアイコンによって一元制御される、UIを通して提示することができるビデオベースのゲームであり得る。コアアイコンは、選択されると、ゲームプレイを制御し、ゲームプレイ中、ユーザのインベントリ等を制御する幾つかのメニューを表示することができる。したがって、ユーザは、必要に応じて、コアアイコンを選択することによってこれらのメニューにアクセスすることができる。したがって、ゲームプレイへのハイブリッドBCIシステムの使用中、コアアイコンの常時提示が望まれる。しかしながら、ゲームプレイ中、コアアイコンが常時必要とされるわけではない。
[0110] 幾つかの実施形態では、コアアイコン等の制御アイコンの常時要件は、一次環境、例えばこの場合にはゲーム環境を妨げないロケーションにおいて、表示されたUI上の何れかの箇所にコアアイコンを配置することによって対処することができる。図13Aの一例のUI1371に示されるように、妨害しないように配置された制御アイコン1379は、小さい半透明の「n」であるコアアイコン例であり得る。図13Aは、UI1371の進行中の使用の通常状況下において、一例のコアアイコン1379をUI1371と共に画面にどのように表示し得るかを示す。
[0111] 図13B~図13Dは、UI1371におけるコアアイコン1379を通した上述した選択アクティブ化プロセスの一例のインスタンス化を示す。例えば、UI1371との進行中の対話中、ユーザは、コアアイコン1379を通して利用可能な制御にアクセスすることを望む場合がある。ユーザは、コアアイコン1379に向けて中心窩視し得る。眼球運動眼球追跡信号が分析されて、ユーザの注視がコアアイコン1379(図13Bに示される)又はその近傍に固定されることを示すと、UI1371は、アイコン1379の外観を変えるように変更することができる。例えば、UI1371は、コアアイコン1379の外観を半透明からソリッド及び/又は不透明に変えることができる。次に、図13Cにおいてソリッドの有色「n」で示される、ソリッド化されたコアアイコン1379の外観を再び変えることができる。例えば、この外観変更(例えば、コアアイコン1379のパルシング)は、必要に応じて、コアアイコン1379が現在選択可能であることを示すために使用することができる。コアアイコン1379が外観を変える時間期間中、ユーザの注視がコアアイコン1379から離れて移動する場合、外観変更を停止することができ、例えば図13Aに示されるように、コアアイコン1379は、非変更状態に戻ることができる。コアアイコン1379の動作において、UI1371は、後述するゴーストフラッシュを使用しても又は使用しなくてもよい。
[0112] UI1371は、提示された任意の刺激に関連する適切な眼球運動応答又は適切な神経活動を検出するために、ハイブリッドBCIシステムのプロセッサ520によって基本UIツールとして使用することができる不可視フラッシュ又はゴーストフラッシュを採用することができる。UIにおいてゴーストフラッシュを制御された様式で採用する幾つかの異なる用途があり得る。例えば、ゴーストフラッシュは、任意の可視刺激のフラッシュに対するユーザ応答を測定するために採用することができる。すなわち、ゴーストフラッシュ中の任意の同時の眼球運動又は神経応答は、真の否定応答として使用することができる。そのような真の否定応答は、適切なトリガーされた刺激、眼球運動又は神経応答の検出のために交差する必要がある1つ又は複数の閾値の設定に使用することができる。ゴーストフラッシュは、UIの選択アクティブ化適合の実施に使用されて、真の選択を漂游注視に起因する偽の選択から区別することができる。
[0113] UIに表示されるアイコン又は記号は、ユーザによって操作されるように提供することができる。したがって、アイコン又は記号の利用可能性は、外観の一時的又は一時の変更を介してユーザに示すことができる。外観の変更は、ユーザに警告して変更を意識させ得るように適宜長く及び/又は顕著であり得る。外観の変更は、アイコンの幾つかの属性の何れかの変更を通して実施することができる。例えば、閃光を通して輝度強度、コントラスト、色、サイズ、形状、位置等を変更することによる。外観の変更は、一例として本明細書では閃光として説明される。
[0114] 幾つかの実施形態では、例えば、コアアイコンの各変更は、選択肢アイコン、例えば1379の外観の1回の変更であり得る「タグ変更」(例えば、タグフラッシュ)としてカウントすることができる。タグ変更は、UI(例えば、UI1371)に表示されたアイコン又はオブジェクトに結び付けられた外観の変更(例えば、閃光、パルシング等)であり得る。幾つかの選択肢アイコンは、フラッシュグループと呼ばれるグループで一緒に閃光することができるか、又はコアアイコンのような1つの選択肢アイコンがそれ自体でフラッシュグループを形成することができる。ゴーストフラッシュは、コアアイコンに隣接するUIの部分におけるスローパルス間及び/又はNeurableアイコンのフラッシュ間で生じることができる。ゴーストフラッシュは、単独で又はフラッシュグループを形成するグループで生じるように構成することができる。ゴーストフラッシュは、選択された閾値の設定に使用することができる。眼球運動応答及び/又は神経活動応答が、ゴーストフラッシュによって設定された閾値を交差する場合、UI1371は、幾つかの選択可能な選択肢、例えば図13DにおいてA、B、C及びDで示される選択肢1379で埋められた選択メニューを表示することができる。選択メニューの提示に続き、ユーザは、上述したポインティング制御特徴及び動作制御特徴を実施することにより、選択可能な各選択肢に関連する動作を選択及びトリガーすることができる。眼球追跡分析により、ユーザ注視位置がもはや選択メニューエリアの周囲に固定されないと特定される場合、メニューを非アクティブ化することができ、透明コアアイコンを再表示することができる。
結論
[0115] まとめると、ユーザによってリアルタイムで動作可能な統合ハイブリッド脳コンピュータインターフェースの実施で使用されるシステム及び方法が本明細書に記載される。開示されるシステムは、ポインティング制御特徴を実施する眼球運動追跡システムと、動作制御特徴を実施する脳活動追跡システムとを含む。両方の特徴は、高速及び正確な動作を可能にするように戦略的に設計されるUIの提示を通して実施される。更に、開示されるシステム及び方法は、ハードウェア非依存であり、任意の適したプラットフォームでリアルタイムハイブリッドBCIを実施して、仮想、拡張又は現実環境のユーザ操作を仲介するように構成される。
[0115] まとめると、ユーザによってリアルタイムで動作可能な統合ハイブリッド脳コンピュータインターフェースの実施で使用されるシステム及び方法が本明細書に記載される。開示されるシステムは、ポインティング制御特徴を実施する眼球運動追跡システムと、動作制御特徴を実施する脳活動追跡システムとを含む。両方の特徴は、高速及び正確な動作を可能にするように戦略的に設計されるUIの提示を通して実施される。更に、開示されるシステム及び方法は、ハードウェア非依存であり、任意の適したプラットフォームでリアルタイムハイブリッドBCIを実施して、仮想、拡張又は現実環境のユーザ操作を仲介するように構成される。
[0116] 種々の実施形態について上述したが、限定ではなく単なる例として提示されたことを理解されたい。上述した方法が、特定の順序で生じる特定の事象を示す場合、特定の事象の順序は、変更可能である。更に、事象の特定のものは、上述したように順次実行することと同様に、可能な場合、並列プロセスで同時に実行され得る。
[0117] 上述した概略及び/又は実施形態が、特定の向き又は位置に配置された特定の構成要素を示す場合、構成要素の配置は、変更可能である。実施形態は、具体的に示され及び説明されたが、形態及び細部における種々の変更形態がなされ得ることが理解される。本明細書に記載される装置及び/又は方法の任意の部分は、相互に排他的な組合せを除き、任意の組合せで組み合わされ得る。本明細書に記載される実施形態は、記載された異なる実施形態の機能、構成要素及び/又は特徴の種々の組み合わせ及び/又は部分組み合わせを含むことができる。
Claims (17)
- 制御インターフェースをユーザに提示するように構成されたディスプレイと、
前記ユーザに関連する眼球運動信号を記録するように構成された眼球追跡デバイスと、
前記ユーザに関連する神経信号を記録するように構成された神経記録デバイスと、
前記ディスプレイ、前記眼球追跡デバイス及び前記神経記録デバイスに動作可能に結合されたインターフェースデバイスと
を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリに動作可能に結合されたプロセッサと
を含み、
前記プロセッサは、
前記眼球追跡デバイスから前記眼球運動信号を受信し、及び前記神経記録デバイスから前記神経信号を受信することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、
(1)前記ディスプレイ上の所定の位置に配置されるコアアイコンであって、前記コアアイコンが、前記ユーザの焦点が前記コアアイコン上に閾値より長い持続時間に渡り存続することに基づいてアクティブ化されるように構成され、前記閾値がフラッシュ刺激の提示に関連する前記ユーザからの反応に基づいて決定される、コアアイコンと、
(2)一連の動作に関連する一連の制御項目であって、前記コアアイコンがアクティブ化されることに応じて不可視から可視へと遷移するよう構成される前記一連の制御項目と、
を含む、生成及び提示することと、
前記眼球運動信号及び前記神経信号の少なくとも一方に基づいて、第1の時間における前記ユーザの焦点を特定することであって、前記焦点は、前記一連の制御項目からの第1の制御項目に関連し、前記一連の制御項目は、スティッキー制御項目の組を含み、前記スティッキー制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成される、特定することと、
前記制御インターフェースに含まれるグラッブ可能オブジェクトを提供することであって、前記グラッブ可能オブジェクトは、前記スティッキー制御項目を操作するように構成される、提供することと、
スティッキー制御項目として前記第1の制御項目を識別することと、
前記第1の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトに関連付けることと、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定することと、
前記第2の時間における前記ユーザの前記焦点に関連する第2の制御項目を識別することであって、前記第2の制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記第2の制御項目に関連付けることと、
前記スティッキー制御項目と前記第2の制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される動作を特定することと、
前記ユーザによって意図される前記動作を実施することと
を行うように構成される、装置。 - 前記眼球追跡デバイスは、光学センサを含み、
前記神経信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位(ERP)、感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)及び脳状態依存信号の少なくとも1つを含む脳波図(EEG)信号を含み、及び
前記プロセッサは、前記眼球運動信号と前記EEG信号とを統合して、前記ユーザの前記焦点を特定するように更に構成される、請求項1に記載の装置。 - 前記ディスプレイは、前記制御インターフェースを三次元空間として提示するように構成される、請求項1に記載の装置。
- 前記刺激は、視覚刺激、聴覚刺激、前庭刺激及び触覚刺激の少なくとも1つを含む、請求項1に記載の装置。
- 前記一連の制御項目は、視覚環境を通してナビゲーションを制御することに関連する、請求項1に記載の装置。
- 前記一連の制御項目は、前記ユーザの視覚運動の速度を制御することに関連する制御項目の第1のサブセット及び前記ユーザの視覚運動の方向を制御することに関連する制御項目の第2のサブセットを含む、請求項5に記載の装置。
- 前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成される、請求項1に記載の装置。
- 前記一連の制御項目は、制御項目の第1の組であり、前記刺激は、第1の刺激であり、
前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成され、及び
前記プロセッサは、
前記現実世界環境に関連する画像の組を受信することと、
前記画像の組を分析して、前記プロセッサに動作可能に接続された少なくとも1つのマシンを識別することと、
前記マシンに関連する一連の動作の情報を取得することと、
前記情報に基づいて制御項目の第2の組を生成することと、
前記制御インターフェースを介して及び前記ユーザに、前記制御項目の第2の組を含む第2の刺激を提示することと
を行うように更に構成される、請求項1に記載の装置。 - プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、前記プロセッサに、
一連の動作を実行するようにユーザによって操作されるように構成された制御インターフェースを生成することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、
(1)前記ディスプレイ上の所定の位置に配置されるコアアイコンであって、前記コアアイコンが、前記ユーザの焦点が前記コアアイコン上に閾値より長い持続時間に渡り存続することに基づいてアクティブ化されるように構成され、前記閾値がフラッシュ刺激の提示に関連する前記ユーザからの反応に基づいて決定される、コアアイコンと、
(2)一連の動作に関連する一連の制御項目であって、前記コアアイコンがアクティブ化されることに応じて不可視から可視へと遷移するよう構成される前記一連の制御項目と、
を含む、生成及び提示することと、
眼球追跡デバイスから情報を受信し、及び神経記録デバイスから情報を受信することであって、前記眼球追跡デバイス及び前記神経記録デバイスは、前記ユーザの挙動を監視するように構成される、受信することと、
前記眼球追跡デバイスからの前記情報及び前記神経記録デバイスからの前記情報の少なくとも一方に基づいて第1の時間における前記ユーザの焦点を特定することと、
前記ユーザの前記焦点に関連する、前記一連の制御項目からの第1の制御項目を識別することであって、前記一連の制御項目は、スティッキー制御項目の組を含み、前記スティッキー制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される前記情報に含まれる、識別することと、
前記制御インターフェースに含まれるグラッブ可能オブジェクトを提供することであって、前記グラッブ可能オブジェクトは、前記スティッキー制御項目を操作するように構成される、提供することと、
スティッキー制御項目として前記第1の制御項目を識別することと、
前記第1の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトに関連付けることと、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定することと、
前記第2の時間における前記ユーザの前記焦点に関連する第2の制御項目を識別することであって、前記第2の制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記第2の制御項目に関連付けることと、
前記スティッキー制御項目と前記第2の制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される動作を特定することと
を行わせるコードを含む、非一時的プロセッサ可読媒体。 - 前記命令は、前記プロセッサに、前記ユーザによって意図される前記動作を実行させるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記命令は、前記プロセッサに、
前記ユーザによる確認のために、前記ユーザによって意図される前記動作の指示を前記ユーザに提示することと、
前記ユーザによる確認を表す信号を受信することに応答して、前記ユーザによって意図される前記動作を実行することと
を行わせるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 前記眼球追跡デバイスから受信される前記情報は、前記ユーザに関連する眼球運動信号を含み、及び
前記神経記録デバイスから受信される前記情報は、前記ユーザに関連する神経信号を含み、前記神経信号は、脳波図(EEG)信号を含み、前記EEG信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位(ERP)、感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)及び脳状態依存信号の少なくとも1つを含み、及び
前記プロセッサに前記焦点を特定させる前記コードは、前記プロセッサに、前記眼球運動信号と前記EEG信号とを統合して、前記ユーザの前記焦点を特定させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記制御インターフェースによって画定される三次元仮想空間において前記一連の制御項目を提示させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記命令は、前記プロセッサに、前記一連の制御項目をグループの組にグループ化させるコードを更に含み、前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記グループの組にグループ化された前記制御項目の前記組を提示させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記一連の制御項目は、ドラッグ可能制御項目を含み、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される情報に含まれる、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記少なくとも1つの制御項目は、第1の制御項目であり、及び前記ユーザの前記焦点は、第1の時間におけるものであり、前記命令は、前記プロセッサに、
ドラッグ可能制御項目として前記第1の制御項目を識別することであって、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作され、及び前記眼球追跡デバイスから受信される前記情報に含まれるように構成される、識別すること、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定すること、
前記第2の時間における前記ユーザの前記焦点に関連するロケーションに前記ドラッグ可能制御項目を移動させること、
前記第2の時間における前記ユーザの前記焦点に関連する第2の制御項目を識別することであって、前記第2の制御項目は、前記ドラッグ可能制御項目と異なる、識別すること、
前記第2の制御項目に基づいて、前記ユーザによって意図される前記動作を特定すること
を行わせるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。 - プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、前記プロセッサに、
一連の動作を実行するためにユーザによって操作されるように構成された制御インターフェースを生成することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、一連の動作に関連する一連の制御項目であって、前記制御項目は、前記ユーザと関連する眼球運動信号に基づいて制御項目に貼り付くように操作されるように構成されるスティッキー制御項目と、前記スティッキー制御項目を操作するように構成されるグラッブ可能オブジェクトと、を含む、生成及び提示することと、
眼球追跡デバイスから情報を受信することと、
前記眼球追跡デバイスからの前記情報に基づいて、第1の時間における前記ユーザの焦点を特定することと、
前記第1の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトと関連付けることと、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定することと、
前記第2の時間における前記ユーザの前記焦点に関連するメニュー制御項目を識別することであって、前記メニュー制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記メニュー制御項目に関連付けることと、
前記スティッキー制御項目と前記メニュー制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される前記動作を特定することと
を行わせるコードを含む、非一時的プロセッサ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762585209P | 2017-11-13 | 2017-11-13 | |
US62/585,209 | 2017-11-13 | ||
PCT/US2018/060797 WO2019094953A1 (en) | 2017-11-13 | 2018-11-13 | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021502659A JP2021502659A (ja) | 2021-01-28 |
JP7496776B2 true JP7496776B2 (ja) | 2024-06-07 |
Family
ID=
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007086222A1 (ja) | 2006-01-24 | 2007-08-02 | Honda Motor Co., Ltd. | 注意領域を推定するシステムおよび方法 |
WO2009093435A1 (ja) | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム |
JP2012221498A (ja) | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 |
US20120296476A1 (en) | 2009-10-30 | 2012-11-22 | Richard John Cale | Environmental control method and system |
US20140247232A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Two step gaze interaction |
US20140347265A1 (en) | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
JP2016207115A (ja) | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
JP2017058971A (ja) | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
WO2017104869A1 (ko) | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007086222A1 (ja) | 2006-01-24 | 2007-08-02 | Honda Motor Co., Ltd. | 注意領域を推定するシステムおよび方法 |
WO2009093435A1 (ja) | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム |
US20120296476A1 (en) | 2009-10-30 | 2012-11-22 | Richard John Cale | Environmental control method and system |
JP2012221498A (ja) | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 |
US20140247232A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Two step gaze interaction |
US20140347265A1 (en) | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
JP2016207115A (ja) | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
JP2017058971A (ja) | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
WO2017104869A1 (ko) | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11972049B2 (en) | Brain-computer interface with high-speed eye tracking features | |
US20200337653A1 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
Si-Mohammed et al. | Towards BCI-based interfaces for augmented reality: feasibility, design and evaluation | |
Kohli et al. | A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities | |
Lotte et al. | Electroencephalography (EEG)-based brain-computer interfaces | |
Adhanom et al. | Eye tracking in virtual reality: a broad review of applications and challenges | |
EP3710915A1 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
US20160235323A1 (en) | Physiological parameter measurement and feedback system | |
US20190286234A1 (en) | System and method for synchronized neural marketing in a virtual environment | |
JP2024012497A (ja) | コミュニケーション方法及びシステム | |
JP7496776B2 (ja) | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース | |
US12001602B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
JP2024075573A (ja) | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース | |
Scherer et al. | Non-manual Control Devices: Direct Brain-Computer Interaction | |
Barbel | NeuroGaze in Virtual Reality: Assessing an EEG and Eye Tracking Interface against Traditional Virtual Reality Input Devices | |
Cardoso et al. | Manual 3D Control of an Assistive Robotic Manipulator Using Alpha Rhythms and an Auditory Menu: A Proof-of-Concept | |
CN116830064A (zh) | 用于预测交互意图的系统和方法 | |
CN116964545A (zh) | 用于信号传递认知状态转换的系统和方法 |