JP2024012497A - コミュニケーション方法及びシステム - Google Patents
コミュニケーション方法及びシステム Download PDFInfo
- Publication number
- JP2024012497A JP2024012497A JP2023188271A JP2023188271A JP2024012497A JP 2024012497 A JP2024012497 A JP 2024012497A JP 2023188271 A JP2023188271 A JP 2023188271A JP 2023188271 A JP2023188271 A JP 2023188271A JP 2024012497 A JP2024012497 A JP 2024012497A
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- user
- menu items
- data
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims description 36
- 238000000034 method Methods 0.000 title claims description 29
- 210000001747 pupil Anatomy 0.000 claims description 58
- 210000000744 eyelid Anatomy 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000000537 electroencephalography Methods 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 8
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 7
- 210000003205 muscle Anatomy 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 claims description 4
- 230000004397 blinking Effects 0.000 claims description 3
- 230000003278 mimic effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Fuzzy Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Pulmonology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】眼をトラッキングすること、および/または個人によって生成された他の生理学的信号をトラッキングすることを通して個人とインタフェースする制御システムを提供する。【解決手段】システム100は、取り込まれた眼の画像をジェスチャに分類する。ジェスチャは、コンピュータのジョイスティックのような制御を模倣する。これらのジェスチャにより、ユーザは、たとえばメニュー項目を備えたコンピュータまたはシステムを操作できる。【選択図】図1B
Description
本開示は、個人が、個人の眼または他の生理学的パラメータのいずれか1つまたは組み合わせをトラッキングすることにより、コミュニケーションモジュールまたは他のユーティリティを操作することを可能にするシステムに関する。
ユーザの眼をトラッキングすることによってユーザとコミュニケーションを可能にするシステムおよび方法は既知である。
WO2016142933は、一連のコミュニケーションオプションをユーザに選択的に提示する選択インタフェースを備えたそのようなシステムを開示している。光センサが、ユーザの眼から反射した光を検出して相関信号を提供し、この相関信号は、ユーザの頭に対する相対的な眼の向きを判断するために処理される。判断された相対的な眼の向きに基づいて、選択されたコミュニケーションオプションが決定され、実装される。
本開示は、眼をトラッキングすることによって、および/または個人によって生成された他の生理学的信号をトラッキングすることによって個人とインタフェースするコンピュータ化されたシステムに関する。換言すれば、それは、眼および/またはまぶたの動きをトラッキングするように構成されたカメラに関連付けられた制御ユニットを有するユーティリティを含み、別の生理学的パラメータをトラッキングするように構成されたユーティリティをさらに含み得るシステムである。本システムは、一実施形態によれば、捕捉された眼の画像をジェスチャに分類するように構成され、ジェスチャは、瞳孔位置または視線方向、一連の方向性眼球運動、まぶたのまばたきなどである。これらのジェスチャユーザが操作できるようにする。たとえば、メニュー項目のあるコンピュータまたはシステムである。このようにして、眼の動きは、例えば、ユーザがメニューをナビゲートしたり、画面上のカーソルを眼の動きで動かしたり、所定の時間に特定の位置に眼を固定したり、またはシステムは、他の生理学的データを分類し、それらをコンピュータで読み取り可能なコマンドに変換したり、1つまたは複数の周辺機器を操作するように構成したりすることもできる。例えば、本システムは、定義された眼のジェスチャを実行するか、所定の呼吸パターンを実行するか、身体の一部を移動することによって画面上のカーソルを移動するか、呼吸動作によって項目を選択するか、または電気生理学的一般に、本開示のシステムは、ユーザがジョイスティックの方法に似た方法でコンピュータを操作することを可能にする。本開示のジョイスティックのようなアプローチによって、唯一の基準点は眼の画像をキャプチャするカメラであり、ユーザが見ている、または角膜反射での正確な位置または位置を検出する必要がない。また、本開示によれば、通常、使用前に画面を使用する較正手順は必要ない(実際、システムを使用してコミュニケーションするために画面を使用する必要はない)。
一部の実施形態によれば、メニューは画面上でユーザに提示されず、メニューおよび項目選択を介したユーザのナビゲーションは、(例えば、所定の、または以前にユーザに紹介または提示されたメニューに基づいて)画面なしで実行される。
いくつかの実施形態によれば、メニューは、例えば、フィードバックまたは指示がユーザに提供される最初の導入段階の間だけ、画面上でユーザに提示される。前記段階は、分、時間、週および月のスケールでの任意の時間枠である。
一部の実施形態によれば、ユーザがコンピュータを操作することを可能にするジェスチャは、ユーザが特定の場所を見ているジェスチャ(視線)ではなく、定義された方向での一般的な表示(アイジェスチャ)である。例えば、ユーザが特定の物理的または仮想オブジェクトに視線を向けていなくても、一般的な左凝視はジェスチャとして機能する。
通常、本開示のシステムの動作は、照明条件に依存しない。
一部の実施形態によれば、ジェスチャの分類は、機械学習技術の使用に基づく。具体的には、機械学習モデルは、複数の線形変換層とそれに続く要素ごとの非線形性で構成されるニューラルネットワークモデルである。分類は、個々のユーザまたはユーザ全体の眼の特徴付けを含むことができる。いくつかの実施形態によって、分類は眼の動きの範囲を推定する。
一実施形態により、本システムは、本システム(本明細書では「ユーザ」)を使用する個人が、ユーザに提示されるメニューをナビゲートすることを可能にする。メニューの提示は、(スピーカ、イヤホン、ヘッドホン、埋め込み型可聴装置などによる)可聴提示、または(画面上のディスプレイ、個人の目の前の小さなディスプレイなどによる)視覚提示である。メニューは階層的であり、すなわち、メニュー項目を選択すると、他の下位階層の選択可能なオプションが開く。例として、選択可能なメニュー項目のより高い階層により、ユーザはいくつかの文字グループ(たとえば、文字A~Fから成る1つのグループ、文字G~Mの2番目のグループなど)の1つを選択でき、一度選択すると、ユーザには別の文字グループの1つを選択する機能が表示される(例えば、最初のグループが選択されている場合、ユーザはA、B、C、またはD~Fから選択するオプションを与えており、D~Fが選択されている場合、ユーザは、その人の選択のために個々の文字が表示される)。しかしながら、選択はまた、プロンプト駆動とすることができ、すなわち、ユーザは、特定の選択のために特定の方向に眼を動かすように促される。
いくつかの実施形態によって、メニュー項目またはその一部は、特定のニーズに合わせてカスタマイズすることができる。これは、例えばユーザまたは介護者インタフェースを介して、局所的に達成され、または、例えばリモートサーバによってリモートで達成される。
メニュー項目またはその一部は、システムまたは制御ユニットによってユーザに提案され得る。メニュー項目またはその一部は、周囲環境から受け取った入力に基づいて、ユーザに提案したり、ユーザに提示したりすることもできる。
いくつかの実施形態では、制御ユニットは、(例えば、自然言語処理によって)音声データを受信して処理する。例えば、ユーザが他の人、例えば介護者に質問されると、制御ユニットが、医師の発話を受信して処理し、他の人の発話の文脈分析に基づいて応答を提案する。本開示のシステムは、他の方法ではコミュニケーションできない麻痺した個人が、介護者や、警報システム、視聴覚システム、コンピュータなどの周辺機器を含む彼らの周囲環境とコミュニケーションすることを許可するのに有用である。個人の1つのターゲットとするグループはALSの患者であり、彼らの病気が進行すると、手足や他の筋肉を動かす能力や、音声を話したり表示したりする能力が失われる。本システムは、集中治療室の患者、一時的または永続的な呼吸補助を受けている患者など、一時的なコミュニケーション障害のある個人にも役立つ。
本開示の実施形態によって提供されるのは、コンピュータを操作するための制御システムであり、それは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように構成されたカメラと、カメラおよびコンピュータとデータ通信する制御ユニットとを具える。制御ユニットは、画像データを受信および処理し、これらを、コンピュータのジョイスティックのような制御を模倣することを目的とするジェスチャに分類するように動作可能である。
本明細書で説明するジョイスティックのような制御という用語は、瞳孔領域の位置をトラッキングすることを含むジェスチャの分類を指す。
本開示の文脈における瞳孔領域は、瞳孔を示すものとして識別される瞳孔またはその任意の部分である。
いくつかの実施形態では、瞳孔領域の位置は、ラベル付けされたジェスチャを伴う画像データを含むデータベースに基づいて決定される。前記画像データは、ユーザ自身または他のユーザまたはユーザのグループから取得される。いくつかの実施形態では、前記ラベル付けされたデータベースに基づく瞳孔領域の位置は、機械学習技術、例えば、特定のジェスチャに対応する所定の画像データの可能性を考慮したモデルを利用することによって決定される。
いくつかの実施形態によって、瞳孔領域の位置は、閾値マップ内のその位置に基づいて決定され、特定の位置は、瞳孔領域が閾値マップの境界または境界の接線に接するときはいつでも決定される。例えば、瞳孔領域が閾値マップの上部境界に接すると、画像データは「アップ」ジェスチャとして分類され、または、瞳孔領域が閾値マップの境界に触れない場合、画像データは「まっすぐ」なジェスチャとして分類される。閾値マップは、瞳孔領域の運動範囲内にある領域を含む位置マップから導出され得る。一例として、位置マップは、瞳孔領域の上部、下部、左端、および右端の位置によって定義される長方形として定義される。いくつかの実施形態では、閾値マップは、位置マップの中心から少なくとも20%、40%、60%、80%、90%、95%離れている境界によって制限されたエリアをカバーする。閾値マップは通常、位置マップの中心から少なくとも80%離れている。位置マップは、ユーザの画像データ、または、ラベル付きのジェスチャ付きまたは無しの画像データを含むデータベースに基づいて取得され得る。任意選択的に、位置マップは、眼の解剖学的特徴またはその周囲に基づいて定義された、より大きな関心領域(ROI)内にある。
いくつかの実施形態によって、本システムは、ユーザが他のジェスチャの間にまっすぐなジェスチャを実行することを要求する。
いくつかの実施形態によって、瞬きジェスチャは暗いピクセルの領域として識別される。
いくつかの実施形態によって、少なくとも0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、1、2、4、8、10秒の間、瞳孔領域が閾値マップの境界または境界の接線に接すると、ジェスチャが分類される。
いくつかの実施形態では、カメラは赤外線カメラである。
さらに、制御ユニットは、他の生理学的測定を検出するための1つまたは複数のセンサとリンクされ、そのようなデバイスまたはセンサによって取得された生理学的信号を受信および処理し、これらをコンピュータ化されたコマンドに分類するように動作できる。
たとえば、(眼窩に対する瞳孔の位置によってトラッキングされる)眼の動きと、任意選択的にまぶたの瞬きとを介して、ユーザは選択可能なオプションをナビゲートし、それらを自由に選択することができる。これには、メニュー項目のナビゲーションと選択、ハイパーリンクのナビゲーションと選択などが含まれる。特定の非限定的な一実施形態によれば、瞳孔の方向性のある動きまたは位置は、所定の方向にカーソルを向けることができ、例えば、瞳孔の上向きの位置は、画面上のカーソルを上方向に、右の位置は右方向に、といったように動かすことができ、または代替的に、システムが定義する方向だけでなく、そのようなカーソルの移動方向をユーザが定義することができる。非限定的な実施形態として、ユーザの瞬き(またはユーザによって定義された他のジェスチャまたは生理学的パラメータ)は、カメラの動作を開始させ、その後の瞬きは、ユーザが選択可能なオプションを閲覧し、そのような瞬きによってオプションを選択できるようにする。別の例によれば、メニュー項目はユーザに音声で出力され、所望のメニュー項目が音声で出力されると、ユーザは瞬きして所望の項目を選択する。別の非限定的な実施形態によれば、能力が制限されたユーザは、自身の定義に基づいて、例えば「左」ジェスチャのみの単一のジェスチャを使用して本システムを操作することができる。また、例示的且つ非限定的な実施形態として、ユーザは、音声または視覚出力によって、例えば、ある選択では「アップ」(つまり上向き)、別の選択では「ダウン」といった、いくつかのオプションから選択するように促される。さらなる例示的且つ非限定的な実施形態により、ユーザは、(例えば、音声の読み出しを通じて)オプションを提示され、それにより、特定の選択肢が提示された場合、所定の時間、特定または非特定の方向を凝視し、一連の瞬きをし、まぶたを閉じるようにユーザに促す。後者は、例えば、文章を書くための文字をすばやく選択する場合に有用である。
いくつかの実施形態によって、ジェスチャのタイプ、ジェスチャの数、ジェスチャ持続時間、および対応するコマンドのいずれかが、ユーザまたは介護者によって定義される。
一部の実施形態では、一連の1、2、3または5回の瞬きにより、「助けを求める」項目を選択することができる。
いくつかの実施形態では、最大30秒以内の一連の最大10回の瞬きが項目を選択する。
いくつかの実施形態では、1、2、3、4、5、6、7、8、9、10、30秒間目を閉じると、本システムが休止モードになる。
制御ユニットは、本開示の実施形態によれば、(i)前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、これらをジェスチャに分類するように構成されており、ジェスチャは、例えば瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンス、及びジェスチャデータの生成の1又はそれ以上を含み、(ii)ジェスチャデータを利用してコンピュータを動作させるよう構成されている。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。いくつかの実施形態では、音声出力モジュールは骨伝導補聴器である。
さらに、制御ユニットは、(i)生理学的データを受信および処理し、これらをコマンドに分類し、コマンドは、例えば、(例えば、脳波記録(EEG)装置を介して記録される)任意の電気生理学的マーカ、体性感覚、呼吸、声、動きのジェスチャまたはそれらの任意の組み合わせを含み、(ii)生理学的コマンドを利用してコンピュータを動作させるよう構成される。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。
例えば、EEG信号を、EEGコマンドが時間依存メニューでナビゲーションを開始するように記録することが可能であり、ナビゲーションメニューが所望のメニュー項目に到達すると、ユーザは、メニュー項目を選択する追加のEEGコマンドを生成し得る。別の例によれば、EEGコマンドはシステムの開始をトリガーする。
本開示の別の実施形態によって提供されるのは、生理学的パラメータを測定するための少なくとも1つのセンサおよびコンピュータとのデータ通信用に構成された制御ユニットであり、制御ユニットは、前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、これらを分類してコマンドに変換し、対応するコマンドをコンピュータに送信するように動作可能であり、これにより、コンピュータの動作を制御する。
本開示の別の実施形態によって提供されるのは、カメラ、第1の出力モジュール、および典型的にはコンピュータまたはプロセッサを含む制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。制御ユニットは、カメラおよび第1出力モジュールとデータ通信し、(i)瞳孔位置とまぶたの動きの少なくとも一方を特定し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1又はそれ以上を含むジェスチャに分類するために、上記の画像データを受信して処理し、ジェスチャデータを生成し、(ii)ユーザが前記ジェスチャデータによってナビゲートしてメニュー項目を選択できるようにする階層的なユーザ選択可能なメニュー項目を操作し、(iii)第1の出力モジュールを駆動してメニュー項目をユーザに提示するよう構成される。また任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信するよう構成される。制御ユニットはさらに、(i)前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、(ii)ユーザが前記コマンドによってメニュー項目をナビゲートおよび選択できるように階層的なユーザ選択可能メニュー項目を操作し、(iii)最初の出力モジュールを駆動してユーザにメニュー項目を表示するよう構成される。第1の出力モジュールは、メニュー項目の視覚的提示または音声提示の一方または双方をユーザに提供するよう構成される。いくつかの実施形態では、音声提示モジュールは骨伝導補聴器である。
別の実施形態によって提供されるのは、上記段落で説明した実施形態のものと同様に、カメラ、第1の出力モジュール、および制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。コントロールユニットは、カメラおよび第1出力モジュールとデータ通信する。これは、カメラから受信した画像データに応答して画像データを処理し、瞳孔位置とまぶたの動きの少なくとも一方を識別し、これらを瞳孔位置、瞳孔の位置のシーケンス、まぶたのまばたきのシーケンスの1又はそれ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成され動作可能なデータプロセッサを含む。またそれは、前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され且つ動作可能なメニュージェネレータモジュールを含む。さらに、システムは、第1の出力モジュールを駆動して、メニュー項目の視覚または音声提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目をナビゲート且つ選択できるよう構成された第1のアクチュエータモジュールを具える。
任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信し、センサから受信した生理学的データに応答し、前記生理学的データを処理してコマンドに分類するよう構成され且つ動作可能なデータプロセッサを具える。
前記ジェスチャは、瞳孔および瞬きの直線、中央、右、左、上および下の位置を含む。任意選択的に、ジェスチャは、2回以上のまぶたの瞬きのシーケンスを含む。例えば、瞳孔の正しい位置は、「入力」コマンドに分類できる。
ジェスチャは、当技術分野で知られている眼のジェスチャのいずれかまたは組み合わせから選択することができ、例えば、ジェスチャは、凝視(静止凝視)または一連の凝視、及びそれらの持続時間、凝視点及びクラスター並びにそれらの分布である。
(上記実施形態のいずれかの)システムは、警報信号(通常、音声信号および視覚信号の一方または双方)を出力するよう構成された出力モジュールを駆動するように動作可能である。
カメラは、ユーザの頭に取り付け可能なホルダに取り付けることができる。しかしながら、カメラはまた、ベッドのフレーム、医療器具を運ぶフレーム等のユーザの近くのフレームに取り付け得る。
前記メニュー項目は、階層的な方法で配置される。それらは、例えば、第1のメニュー項目の選択により、ユーザがその後、第1のメニュー項目に従属する層で第2のメニュー項目を選択できるように、連続的な階層の層に配置され得る。このような「層」はそれぞれ、通常、最大5つの選択可能な項目であって、瞳孔の中央、右、左、上、下の位置によって選択可能な項目を含む。
追加または代替として、メニュー項目はプロンプトベースのシステムを介して選択され、例えば、ユーザは、視覚または音声プロンプトを通して、1つのメニュー項目の選択のために特定の方向を注視し、2番目の項目のために別の方向を注視するといったように指示される。
いくつかの実施形態では、メニュー項目はユーザ定義可能である。
システムは、第2の出力モジュール用のドライバを含む。そのようなモジュールは、アラートを生成するよう構成されたものであり、または、例えば、仮想アシスタント、スマートホームデバイス、家庭用空調システム、テレビ、音楽プレーヤ、通信デバイス、車椅子、タブレット、スマートフォン、ゲームアクセサリー等の周辺システムを操作するように構成されたものである。システムは、システム定義またはユーザ定義の特定のジェスチャ、例えば定義された瞬きのシーケンスを通じて、このような第2の出力モジュールを操作するよう構成される。
前記生理学的測定または生理学的データは、ユーザの神経、体性感覚、声、および呼吸器系ならびに選択された筋肉の動きから取得される任意の信号を含む、ユーザの身体から取得され得る任意の信号を指す。
生理学的パラメータを測定するためのこのようなセンサは、任意のセンサユーティリティまたは測定デバイス、マイク、肺活量計、電気皮膚反応(GSR)デバイス、タッチまたは圧力プローブ、皮膚電気反応プローブ(皮膚コンダクタンスプローブ)、脳波(EEG)デバイス、脳波検査(ECoG)デバイス、筋電図検査(EMG)、心電図検査(EOG)、および心電図用のデバイスである。センサによって記録されたデータは、コマンドに分類される。
前記コマンドは、任意の身体部分の動き(例えば、指のタップまたは応答ボタンの押下)、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力のいずれか1つまたはそれらの組み合わせである。
前記神経出力は、例えば、測定された誘発反応電位、または測定されたデータの時間または頻度に関連する任意のマーカである。
本開示のシステムのユーザは、ALS患者、集中治療室の患者、閉じ込められた患者、口頭でコミュニケーションする能力のない患者といった必要とする個人である。
本明細書に開示される主題をよりよく理解し、それが実際にどのように実行され得るかを例示するために、実施形態は、添付の図面を参照して、非限定的な例としてのみここで説明される。
図1Aは、本開示の実施形態によるシステムの概略ブロック図である。
図1Bは、本開示の実施形態によるシステムの概略ブロック図である。
図2は、本開示の別の実施形態によるシステムの概略ブロック図である。
図3Aは、本開示の一態様による制御ユニットの概略ブロック図である。
図3Bは、本開示の一態様による制御ユニットの概略ブロック図である。
図4は、本開示の実施形態によるメニュー層の概略的な視覚的表現である。
図5は、本開示の別の実施形態によるメニュー層の概略的な視覚的表現である。
図6は、本開示の別の実施形態によるメニュー層の概略的な視覚的表現である。
図7は、本開示の実施形態による項目の選択のための時間ベースのプロンプトメニューの概略図である。
図8は、カメラ、骨伝導スピーカおよび制御ユニットを含む、アイトラッキングベースのシステムの一実施形態の概略図である。
図9は、瞳孔領域の位置が閾値マップ(最も内側の正方形)、位置マップ(中央の正方形)およびROIマップ(最も外側の正方形)に基づいて決定される、ジョイスティックのようなジェスチャ分類の一実施形態の概略図である。
図10は、単一のジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。
図11は、2つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。
図12は、3つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。
図13は、4つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の図である。
図14は、5つのジェスチャ操作モードにおける眼のジェスチャとコマンドの間のマッピングの一実施形態の図である。
まず、本開示の実施形態によるシステムの概略ブロック図を示す図1Aおよび1Bを参照する。アイトラッキングベースのシステム100は、フレームに取り付けられた、またはユーザの頭に取り付けられたホルダに搭載されたカメラ102を具える。カメラ102は、ユーザの眼およびまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。システム100は、典型的には第1の出力モジュール106を駆動するアクチュエータモジュール108を介して、カメラ102および第1の出力モジュール106とデータ通信する制御ユニット104を含む。出力モジュール106は、例えば、デジタル画面といった視覚表示装置、又は例えば、スピーカ、ヘッドフォン等の可聴デバイスである。
また、制御ユニット104は、カメラ102から画像データを受信および処理し、瞳孔位置およびまぶたの動きの少なくとも1つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されるプロセッサ110を含む。また、プロセッサ110は、アクチュエータモジュール108の動作を通じて、ユーザへのメニューの提示を駆動するメニュージェネレータ112を駆動するように構成される。これにより、ユーザは、上記のジェスチャデータによってメニュー項目を検索して選択できる。
図1Bは、本開示のシステムのブロック図を示しており、このシステムは、生理学的パラメータを測定するためのセンサ115(例えば、EEG、筋電図(EMG)、または頭部運動測定デバイス)とやりとりする。具体的には、デバイス115は、検出されたユーザの生理学的信号に基づいてコマンドを伝えるよう構成されている制御ユニット104とデータ通信する。生理学的信号は、分析し、システムの起動、検索プロセスの開始、メニュー項目の選択など、システム100のコマンドに変換できる。
図2~3では、図1A及び1Bと同じ要素に、100だけシフトされた参照番号が与えられた。例えば、図2の要素204は、図1Aおよび図1Bの要素104と同じ機能を果たす。したがって、読者は、図1A及び1Bの記載を参照して、それらの意味と機能を理解する。
図2のシステムは、図1Aおよび図1Bのシステムとは異なっており、前者は、システムの一部である第2の出力ユニット216を駆動するように動作可能である第2のアクチュエータモジュール214も含んでおり、又は、警告デバイス、表示画面、ユーザの近くにある(カーテン、音楽プレーヤ、ライトなどの)デバイスを操作するためのユーティリティといった外部要素を含んでいる。換言すれば、第2の出力ユニット216は、他のデバイスへの有線(例えば、赤外線)または無線接続、クラウドサーバへの接続、またはユーザの周囲とのコミュニケーション手段への接続によって、システムの環境への接続を確立する。例えば、本システムは、システム200を使用するユーザのジェスチャによって動作可能なスマートホームデバイスに、例えば、Wi-FiまたはBluetoothによって、ワイヤレスで接続できる。本システムは、特定の既定されたジェスチャによって、または、選択可能なメニュー項目を通じて、第2の出力ユニットを駆動するよう構成され得る。このような特定のジェスチャは、予め規定されているか、ユーザが選択可能である。
ここで、本開示の2つの態様による制御ユニットの概略ブロック図を示す図3を参照する。制御ユニット304は、眼の連続画像を取り込むカメラ302(図3A)とデータ通信する、又は生理学的パラメータを測定するためのセンサ301(図3B)とデータ通信するデータ入力ユーティリティ303を有している。データ入力ユーティリティ303によって受信されたデータは、プロセッサ310によって処理され、処理されたデータは、分類器305によってジェスチャに分類される。次に、分類されたジェスチャは、データ通信モジュール309によって制御ユニットとデータ通信しているコンピュータ307に送信され、これにより、コンピュータ307の動作を制御する。
ここで、本開示の実施形態によるメニュー層の概略的視覚描写である図4を参照する。理解できるように、メニュー層はいくつかのメニュー項目を有し、それらのそれぞれは異なるジェスチャによって選択される。例えば、アップジェスチャUG、すなわち、瞳孔の上位置は、音楽を再生する選択を駆動する。それに応じて、左ジェスチャLGは介護者メニューとのコミュニケーションを駆動し、中央ジェスチャCGはテレビを見ること、右ジェスチャRGは本を聞き、ダウンジェスチャDGは無料のテキストメッセージメニューを開く。一部のメニュー項目は、BluetoothやWi-Fiネットワークによるテレビとシステムの間といった、ワイヤレス接続によって有効になる一方、本を聞いたり音楽を再生したりする場合などの他のメニュー項目は、クラウドサーバへの接続によって有効になる。音楽の再生や本の聞き取りは、データをローカルメモリに保存しなくても、クラウドサーバから直接行うことができる。クラウドとのデータ交換は、データをクラウドからシステムにダウンロードし、データをシステムからクラウドにアップロードするといった、双方の方法で機能することに留意されたい。
いつでも、メニューの任意の層で、ユーザが、所定のジェスチャシーケンスPGSを作成すると、例えば、スピーカを介した音声アラート、モバイルデバイスへのテキストアラート、医療センターへのアラート、またはそれらの組み合わせといった、介護者に対する緊急アラートの出力など、所定のアクションがトリガーされる。所定のジェスチャシーケンスPGSは、ユーザの意思に従って構成でき、例えば、3回または4回の瞬きのシーケンス、アップジェスチャUG、ダウンジェスチャDG、アップジェスチャUGおよびダウンジェスチャDGのシーケンス、または他の所望のシーケンスにすることができる。
図5~7は、本開示の別の実施形態によるメニュー層の概略的な視覚的描写であり、フリーテキストの方法による項目メニューの選択の独特の方法を例示している。文字は、例えば、各グループに4、5、または6文字といった、文字のグループにクラスター化される。ユーザは、適切なタイミングで特定のジェスチャを行うことにより、グループ間を検索し、グループ内の特定の文字を選択できる。図5では、システムは文字A、B、C、D、Eのグループを表示している。ユーザは、アップジェスチャUGを作成してグループV、W、X、Y、Zにナビゲートするか、又は、ダウンジェスチャDGを作成して、グループF、G、H、I、Jにナビゲートできる。他のジェスチャは、文字の削除、バックスペースキーの使用、前のメニューに戻るといった、他のコマンドをトリガーするために行うことができ、例としてのみ表示される。これらのコマンドは、他の適切なコマンドで置き換えることや、削除できることに留意されたい。図6は、文字F、G、H、I、Jのグループを含むメニュー項目をトリガーした図5のメニュー層におけるダウンジェスチャDGのユーザ選択を例示している。システムは、図7に例示されているように、スピーカまたはヘッドフォンを介して、他の文字との時間差で各文字の名前をアナウンスするなど、グループ内の文字の自動出力セッションをトリガーすることができる。理解できるように、Fは時間t1でアナウンスされ、文字Gは時間t2でアナウンスされるなどである。特定の所定のジェスチャPGが作成されると、たとえば1回または2回瞬きして、文字が選択される。例えば、所定のジェスチャPGが時間t1<t<t2で行われる場合、文字Fが選択され、所定のジェスチャPGが時間t3<t<t4で行われる場合、文字Hが選択される。システムの別の実施形態では、グループ内の文字の出力セッションは、所定のジェスチャPGによるユーザの要求に従ってトリガーされる。これは、システムを使用している被験者が、左、右、アップ、またはダウンのジェスチャなど、一部のジェスチャを実行する能力に欠けている場合に関連性がある。このシナリオでは、システム内の検索は、第1の所定のジェスチャPG1によって開始され、項目メニューが、第2の所定のジェスチャPG2によって選択でき、第1および第2の所定のジェスチャは、異なっていても同一でもよい。例えば、システムが図6の状態にあるとき、ユーザは、眼を閉じてグループ内の文字の出力セッションをトリガーし、所望の文字が聞こえたとき、ユーザは眼を開いて文字を選択することができる。図6に示すように、アップまたはダウンのジェスチャUG、DGを行うことにより、システムは他の文字グループにナビゲートすることに留意されたい。
ジェスチャの分類を改善するために、システムは、機械/深層学習アルゴリズムによって訓練され得る。最初に、初期のデータセットを収集するために、ラベルが付けられたジェスチャ画像(瞬き、中央、アップ、ダウン、右、左)とともにシステムが受信される。次に、システムは一連のトレーニング画像とともにトレーニングセッションを実行する。このトレーニングセッション中に、システム、つまりシステムのニューラルネットワークは、ラベル付けされた画像の各カテゴリを認識する方法を学習する。現在のモデルが誤りを犯した場合、それはそれ自体を修正して改善する。ネットワークのトレーニングセッションが終了すると、画像のテストセットがシステムによって受信および処理され、新しい分類モデルをチェックする。システムによって行われた分類は、テストセットのグラウンドトゥルースラベルと比較され、正しい分類の数が計算され、このようなネットワークのパフォーマンスを定量化するために使用される精度、再現率、およびfメジャーの値が得られる。
コミュニケーション支援のアイトラッキングベースのシステムの概略図を図8に示す。このシステムは、(家族、介護者、またはユーザ自身がユーザの頭に装着する)軽量ヘッドマウント(800)に取り付けられたカメラ(802)、骨伝導スピーカ/ヘッドフォン(804)、および制御ユニット(図示せず)を具える。
本出願の発明者らによって実施された臨床試験において、数分間の短い試験の後、患者がシステムを快適に制御することができたことが実証された。非限定的な例を以下の表1に示すように、イスラエルのランベム病院で行われた臨床試験では、「助けを求める」機能の学習には1.12分の平均トレーニング時間を要し、事前に決められた一連の文を伝えるための学習には平均6.44分のトレーニング時間を要し、モバイル画面を使用したフリーテキストの文字ごとのコミュニケーションには、平均11.08分のトレーニング時間を要した。
ジョイスティックのようなジェスチャの分類の非限定的な実施形態を図9に示す。分類は、瞳孔領域の位置を見つけることに基づいている。それは、閾値マップ(最も内側の正方形)に基づいて取得される。具体的には、特定の位置が、瞳孔領域が閾値マップの境界または接線に接する度に決定される。例えば、瞳孔領域が閾値マップの上部境界に触れると、画像データが「アップ」ジェスチャとして分類される。閾値マップは、位置マップ(中央の四角)から導出でき、例えば、位置マップの中心から少なくとも80%離れており、任意選択的に、位置マップは、眼またはその周囲の解剖学的特徴に基づいて定義された、より大きな関心領域(ROI)内にある。
図10~14は、単一のジェスチャ操作モード、2、3、4、5個のジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングのいくつかの実施形態の図を提供する。図10に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することにより、スキャンセッションを開始し、項目を選択する。図11に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することによって、スキャンセッションを開始し、項目を選択し、「右」ジェスチャを実行することによって戻るコマンドを選択する。図12に示すマッピングによれば、ユーザは、2つのジェスチャ(「右」および「左」)でメニュー項目をトラバースし、第3の瞬きジェスチャを実行することによって項目を選択する。図13に示すマッピングによれば、ユーザは、3つのジェスチャ(「右」、「左」、「アップ」)でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。図14に示されるマッピングによれば、ユーザは、4つのジェスチャ(「右」、「左」、「アップ」、「ダウン」)でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。
Claims (50)
- コンピュータを操作するための制御システムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットと、
を具えており、
前記制御ユニットは、前記画像データを受信および処理し、これらを、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに分類するように動作可能であることを特徴とする制御システム。 - 請求項1に記載の制御システムにおいて、
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。 - 請求項1または2に記載の制御システムにおいて、
前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、ジェスチャデータを生成し、
前記ジェスチャデータを利用して、前記コンピュータを操作することを特徴とする制御システム。 - 請求項3に記載の制御システムにおいて、
前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むことを特徴とする制御システム。 - 請求項1~4のいずれか一項に記載の制御システムにおいて、
前記制御ユニットは、少なくとも1つの生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも1つの生理学的データを受信して処理し、それを少なくとも1つのコマンドに分類し、前記少なくとも1つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。 - 請求項5に記載の制御システムにおいて、前記センサは、脳波記録(EEG)デバイスであることを特徴とする制御システム。
- 請求項1~6のいずれか一項に記載のシステムにおいて、前記コンピュータは、視覚または音声出力モジュールを動作させることを特徴とするシステム。
- 請求項7に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
- 請求項1~8のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
- 請求項1~9のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の2回以上のまぶたの瞬きを含むことを特徴とするシステム。
- 請求項1~10のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力するように構成された出力モジュールを駆動するよう構成されていることを特徴とするシステム。
- 請求項1~11のいずれか一項に記載のシステムにおいて、前記分類が機械学習技術を使用することを特徴とするシステム。
- 眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットは、前記カメラによって取り込まれた画像を表す画像データを受信および処理し、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに前記画像データを分類し、前記コンピュータに対応する制御データを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。 - 請求項13に記載の制御ユニットにおいて、
生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。 - 生理学的パラメータを測定するための少なくとも1つのセンサおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットは、前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。 - 請求項14または15に記載の制御ユニットにおいて、
前記少なくとも1つのセンサが脳波記録(EEG)であることを特徴とする制御ユニット。 - 請求項13または14に記載の制御ユニットにおいて、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、前記ジェスチャは、例えば、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1つ以上を含み、ジェスチャデータ生成し、
前記ジェスチャデータを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。 - 請求項14~16のいずれか一項に記載の制御ユニットにおいて、
前記制御ユニットは、生理学的データを受信および処理し、これらをコマンドに分類し、前記コマンドは、例えば、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含んでおり、前記コマンドを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。 - アイトラッキングベースのシステムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能なカメラと、
通常はコンピュータ化されまたはプロセス駆動型のモジュールである第1の出力モジュールと、
前記カメラおよび前記第1の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置とまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの1つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動する、
よう構成されており、
前記第1の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されることを特徴とするアイトラッキングベースのシステム。 - 請求項19に記載のシステムにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、前記制御ユニットは、
前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動する、
よう構成されており、
前記第1の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されていることを特徴とするシステム。 - 請求項19または20に記載のシステムにおいて、
前記カメラは、前記ユーザの頭に取り付け可能なホルダに搭載されることを特徴とするシステム。 - 請求項19~21のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、瞳孔の中心、右、左、上および下の位置を含むことを特徴とするシステム。 - 請求項19~22のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、一連の2回以上のまぶたの瞬きを含むことを特徴とするシステム。 - 請求項20~23のいずれか一項に記載のシステムにおいて、
前記コマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含むことを特徴とするシステム。 - 請求項19~24のいずれか一項に記載のシステムにおいて、前記メニュー項目が階層的に配置されていることを特徴とするシステム。
- 請求項25に記載のシステムにおいて、前記メニュー項目は、第1のメニュー項目の選択により、ユーザが続いて前記第1のメニュー項目に従属する層で第2のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
- 請求項26に記載のシステムにおおて、前記メニュー項目の各層が最大5つの選択可能な項目を含むことを特徴とするシステム。
- 請求項19~27のいずれか一項に記載のシステムにおいて、選択された項目を表すデータを出力するための第2の出力モジュールのためのドライバを含むことを特徴とするシステム。
- 請求項28に記載のシステムにおいて、前記第2の出力モジュールは、警報を出力するよう構成されることを特徴とするシステム。
- 請求項29に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
- 請求項30に記載のシステムにおいて、前記ジェスチャの前記少なくとも1つは、規定された瞬きのシーケンスであることを特徴とするシステム。
- アイトラッキングベースのシステムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成され、動作可能なカメラと、
前記カメラおよび第1の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記カメラから受信した前記画像データに応答し、前記画像データを処理して瞳孔位置およびまぶたの動きの少なくとも1つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの1つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されおよび動作可能なデータプロセッサと、
前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第1の出力モジュールを駆動して、メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるようにする第1のアクチュエータモジュールと、
を具えることを特徴とするシステム。 - 請求項32に記載のシステムにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも1つのセンサによって取得された生理学的データに応答し、これらをコマンドに分類するよう構成され、動作可能なデータプロセッサと、
前記コマンドを利用して階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第1の出力モジュールを駆動して、前記メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるよう構成された第1のアクチュエータモジュールと、
を具えることを特徴とするシステム。 - 請求項32または33に記載のシステムにおいて、前記カメラは、ユーザの頭に取り付け可能なホルダに搭載されていることを特徴とするシステム。
- 請求項32~34のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、瞳孔の右、左、上、および下の位置を含むことを特徴とするシステム。 - 請求項32~35のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、一連の2回以上のまぶたの瞬きを含むことを特徴とするシステム。 - 請求項32~36のいずれか一項に記載のシステムにおいて、
前記メニュー項目は階層的に配置されることを特徴とするシステム。 - 請求項37に記載のシステムにおいて、
前記メニュー項目は、前記第1のメニュー項目の選択により、ユーザが続いて前記第1のメニュー項目に従属する層で第2のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。 - 請求項38に記載のシステムにおいて、
前記メニュー項目の各層は、最大5つの選択可能な項目を含むことを特徴とするシステム。 - 請求項32~39のいずれか一項に記載のシステムにおいて、
選択された項目を表すデータを出力するための第2の出力モジュールのためのドライバを含むことを特徴とするシステム。 - 請求項40に記載のシステムにおいて、前記第2の出力モジュールは、介護者に警報を出力するよう構成されることを特徴とするシステム。
- 請求項41に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
- 請求項42に記載のシステムにおいて、前記ジェスチャの前記少なくとも1つは、規定された瞬きのシーケンスであることを特徴とするシステム。
- 眼の連続的な画像を取り込むカメラおよび第1の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットが、
瞳孔位置とまぶたの動きの少なくとも一方を識別するために画像データを受信および処理し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1つ以上を含むジェスチャにこれらを分類して、ジェスチャデータを生成するよう動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動することを特徴とする制御ユニット。 - 請求項44に記載の制御ユニットにおいて、
生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信するよう構成され、前記制御ユニットは、
前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータとコマンドのいずれか1つまたは組み合わせによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第1出力モジュールを駆動することを特徴とする制御ユニット。 - 請求項18~30のいずれか一項に記載のシステムで使用するための、請求項44または45に記載の制御ユニット。
- 眼の連続的な画像を取り込むカメラおよび第1の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、およびまぶた瞬きのシーケンスのうちの1つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動するように構成され、動作可能であることを特徴とする制御ユニット。 - 請求項47に記載の制御ユニットにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信するよう構成され、前記制御ユニットは、前記センサからの生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータおよびコマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動するよう構成され、動作可能であることを特徴とする制御ユニット。 - 請求項32~43のいずれか一項に記載のシステムで使用するための、請求項47または48に記載の制御ユニット。
- 生理学的パラメータを測定するための少なくとも1つのセンサおよび第1の出力モジュールとデータ通信するよう構成された制御ユニットであって、前記制御ユニットは、
前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように第1の出力モジュールを駆動することを特徴とする制御ユニット。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762595694P | 2017-12-07 | 2017-12-07 | |
US62/595,694 | 2017-12-07 | ||
US201862642048P | 2018-03-13 | 2018-03-13 | |
US62/642,048 | 2018-03-13 | ||
US201862755680P | 2018-11-05 | 2018-11-05 | |
US62/755,680 | 2018-11-05 | ||
JP2020550959A JP2021506052A (ja) | 2017-12-07 | 2018-12-06 | コミュニケーション方法及びシステム |
PCT/IL2018/051335 WO2019111257A1 (en) | 2017-12-07 | 2018-12-06 | Communication methods and systems |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550959A Division JP2021506052A (ja) | 2017-12-07 | 2018-12-06 | コミュニケーション方法及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024012497A true JP2024012497A (ja) | 2024-01-30 |
Family
ID=64665588
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550959A Pending JP2021506052A (ja) | 2017-12-07 | 2018-12-06 | コミュニケーション方法及びシステム |
JP2023188271A Pending JP2024012497A (ja) | 2017-12-07 | 2023-11-02 | コミュニケーション方法及びシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550959A Pending JP2021506052A (ja) | 2017-12-07 | 2018-12-06 | コミュニケーション方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11612342B2 (ja) |
EP (1) | EP3721320B1 (ja) |
JP (2) | JP2021506052A (ja) |
CN (1) | CN111656304B (ja) |
IL (1) | IL275071B2 (ja) |
WO (1) | WO2019111257A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11457860B2 (en) * | 2018-07-09 | 2022-10-04 | Cheng Qian | Human-computer interactive device and method |
WO2020018938A1 (en) * | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
US20230040401A1 (en) * | 2020-02-04 | 2023-02-09 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method And System For Determining The Intention Of Performing A Voluntary Action |
IL285071B2 (en) * | 2021-07-22 | 2023-05-01 | Eyefree Assisting Communication Ltd | A system and method for monitoring the cognitive state of a patient based on eye and brain activity |
WO2023002488A1 (en) | 2021-07-22 | 2023-01-26 | Eyefree Assisting Communication Ltd. | A system for communication with a patient based on the determined sedation state |
WO2023076573A1 (en) * | 2021-10-28 | 2023-05-04 | Lifedrive Llc | Drive manager for power wheelchair and related methods |
US12032156B2 (en) * | 2022-04-08 | 2024-07-09 | Mirza Faizan | Apparatus to enable differently abled users to communicate and a method thereof |
CN117519487B (zh) * | 2024-01-05 | 2024-03-22 | 安徽建筑大学 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4836670A (en) | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
US4973149A (en) | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
US4950069A (en) | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
JPH0749744A (ja) | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
US5912721A (en) | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
JPH10187334A (ja) * | 1996-12-26 | 1998-07-14 | Canon Inc | 情報入力方法および情報入力装置と情報入力用記憶媒体 |
US6351273B1 (en) | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
JP2000137789A (ja) | 1998-10-29 | 2000-05-16 | Sharp Corp | 画像処理装置 |
US6456262B1 (en) | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
JP3673834B2 (ja) | 2003-08-18 | 2005-07-20 | 国立大学法人山口大学 | 眼球運動を用いた視線入力コミュニケーション方法 |
EP1755441B1 (en) | 2004-04-01 | 2015-11-04 | Eyefluence, Inc. | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US20110077548A1 (en) | 2004-04-01 | 2011-03-31 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
JP4654434B2 (ja) | 2004-11-24 | 2011-03-23 | 国立大学法人佐賀大学 | 視線方向特定システム |
EP1943583B1 (en) | 2005-10-28 | 2019-04-10 | Tobii AB | Eye tracker with visual feedback |
US8360578B2 (en) | 2006-01-26 | 2013-01-29 | Nokia Corporation | Eye tracker device |
WO2007113975A1 (ja) | 2006-03-31 | 2007-10-11 | National University Corporation Shizuoka University | 視点検出装置 |
JP4685708B2 (ja) | 2006-05-22 | 2011-05-18 | 富士通株式会社 | 携帯端末装置 |
CN101681201B (zh) * | 2008-01-25 | 2012-10-17 | 松下电器产业株式会社 | 脑波接口系统、脑波接口装置、方法 |
US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
CN102292017B (zh) * | 2009-01-26 | 2015-08-05 | 托比股份公司 | 由光学基准信号辅助的对凝视点的检测 |
US10019634B2 (en) * | 2010-06-04 | 2018-07-10 | Masoud Vaziri | Method and apparatus for an eye tracking wearable computer |
CN101893934A (zh) | 2010-06-25 | 2010-11-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种智能调整屏幕显示的方法和装置 |
US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
JP2012048358A (ja) | 2010-08-25 | 2012-03-08 | Sony Corp | 閲覧機器、情報処理方法およびプログラム |
WO2012083415A1 (en) | 2010-11-15 | 2012-06-28 | Tandemlaunch Technologies Inc. | System and method for interacting with and analyzing media on a display using eye gaze tracking |
US8888287B2 (en) | 2010-12-13 | 2014-11-18 | Microsoft Corporation | Human-computer interface system having a 3D gaze tracker |
US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US20130022947A1 (en) * | 2011-07-22 | 2013-01-24 | Muniz Simas Fernando Moreira | Method and system for generating behavioral studies of an individual |
KR101355895B1 (ko) | 2011-10-20 | 2014-02-05 | 경북대학교 산학협력단 | 사용자 의도 판단 장치 및 그 방법 |
US8955973B2 (en) * | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
US9171198B1 (en) | 2012-04-02 | 2015-10-27 | Google Inc. | Image capture technique |
KR101850035B1 (ko) | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9823742B2 (en) | 2012-05-18 | 2017-11-21 | Microsoft Technology Licensing, Llc | Interaction and management of devices using gaze detection |
US9261961B2 (en) | 2012-06-07 | 2016-02-16 | Nook Digital, Llc | Accessibility aids for users of electronic devices |
TWI471808B (zh) * | 2012-07-20 | 2015-02-01 | Pixart Imaging Inc | 瞳孔偵測裝置 |
IN2015KN00682A (ja) * | 2012-09-03 | 2015-07-17 | Sensomotoric Instr Ges Für Innovative Sensorik Mbh | |
US9007301B1 (en) * | 2012-10-11 | 2015-04-14 | Google Inc. | User interface |
JP6195462B2 (ja) | 2013-04-01 | 2017-09-13 | 矢崎総業株式会社 | ヒューズユニット |
KR102163996B1 (ko) | 2013-04-03 | 2020-10-13 | 삼성전자 주식회사 | 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치 |
KR102181897B1 (ko) | 2013-05-09 | 2020-11-23 | 에스케이플래닛 주식회사 | 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 |
US20140368442A1 (en) | 2013-06-13 | 2014-12-18 | Nokia Corporation | Apparatus and associated methods for touch user input |
US20140375541A1 (en) | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
CN105578954B (zh) * | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
CN104679226B (zh) * | 2013-11-29 | 2019-06-25 | 上海西门子医疗器械有限公司 | 非接触式医疗控制系统、方法及医疗设备 |
KR101549645B1 (ko) * | 2014-01-28 | 2015-09-03 | 영남대학교 산학협력단 | 표정 동작사전을 이용한 표정인식 방법 및 장치 |
CN107655461B (zh) * | 2014-05-05 | 2020-07-24 | 赫克斯冈技术中心 | 测量子系统和测量系统 |
US9411417B2 (en) * | 2014-07-07 | 2016-08-09 | Logitech Europe S.A. | Eye gaze tracking system and method |
EP3809241B1 (en) * | 2015-03-10 | 2023-12-13 | Eyefree Assisting Communication Ltd. | System and method for enabling communication through eye feedback |
US20170115742A1 (en) * | 2015-08-01 | 2017-04-27 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
EP3337385A4 (en) * | 2015-08-21 | 2019-04-03 | Magic Leap, Inc. | ESTIMATING THE SHAPE OF A EYEWEAR USING THE MEASUREMENT OF THE POSITION OF THE EYE |
WO2017216118A1 (en) | 2016-06-13 | 2017-12-21 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method and eye tracking system for performing a calibration procedure for calibrating an eye tracking device |
-
2018
- 2018-12-06 JP JP2020550959A patent/JP2021506052A/ja active Pending
- 2018-12-06 US US16/770,592 patent/US11612342B2/en active Active
- 2018-12-06 EP EP18819473.2A patent/EP3721320B1/en active Active
- 2018-12-06 IL IL275071A patent/IL275071B2/en unknown
- 2018-12-06 WO PCT/IL2018/051335 patent/WO2019111257A1/en active Search and Examination
- 2018-12-06 CN CN201880088114.2A patent/CN111656304B/zh active Active
-
2023
- 2023-11-02 JP JP2023188271A patent/JP2024012497A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2019111257A1 (en) | 2019-06-13 |
CN111656304A (zh) | 2020-09-11 |
IL275071B2 (en) | 2024-06-01 |
IL275071B1 (en) | 2024-02-01 |
EP3721320A1 (en) | 2020-10-14 |
JP2021506052A (ja) | 2021-02-18 |
EP3721320B1 (en) | 2022-02-23 |
US20210259601A1 (en) | 2021-08-26 |
US11612342B2 (en) | 2023-03-28 |
CN111656304B (zh) | 2023-10-17 |
IL275071A (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111656304B (zh) | 通信方法及系统 | |
JP7496776B2 (ja) | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース | |
US20200337653A1 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
US11284844B2 (en) | Electromyography (EMG) assistive communications device with context-sensitive user interface | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
KR20200101906A (ko) | 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스 | |
JP2004527815A (ja) | 感知電気生理学的データに基づく活動開始方法及びシステム | |
US20220113799A1 (en) | Multiple switching electromyography (emg) assistive communications device | |
CN108351701A (zh) | 辅助技术控制系统及相关方法 | |
JP2022548473A (ja) | 患者監視のためのシステム及び方法 | |
Šumak et al. | Design and development of contactless interaction with computers based on the Emotiv EPOC+ device | |
WO2020111962A1 (ru) | Система для коммуникации пользователей без использования мышечных движений и речи | |
Perrin et al. | A comparative psychophysical and EEG study of different feedback modalities for HRI | |
US12097030B2 (en) | System and method for patient monitoring | |
Rania et al. | EOG Based Text and Voice Controlled Remote Interpreter for Quadriplegic Patients | |
Guerreiro | Assistive technologies for spinal cord injured individuals: a survey | |
Guerreiro | Myographic Mobile Accessibility for Tetraplegics | |
CN116964545A (zh) | 用于信号传递认知状态转换的系统和方法 | |
Połok et al. | A low cost depth sensor-based computer control system for the disabled people | |
Mahajan | Multimodal interface integrating eye gaze tracking and speech recognition | |
Strzelecki | System Sensor: a Practical Human-Computer Interface for People with Disabilities | |
Yılmaz | Using sensors and embedded image processing for impaired users' computer interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240910 |