JP4582985B2 - 頭部の動きの検出およびそれに応答する出力生成を行うためのシステムおよび方法 - Google Patents

Description

【０００１】
（関連出願と相互参照）
本願は、１９９９年１１月９日に出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ａｎ Ａｃｔｉｏｎ ｏｆ Ｈｅａｄ ａｎｄ Ｇｅｎｅｒａｔｉｎｇ ａｎ Ｏｕｔｐｕｔ ｉｎ Ｒｅｓｐｏｎｓｅ Ｔｈｅｒｅｔｏ」と称される、米国仮特許出願シリアル番号６０／１６４，３６０から優先権を主張し、上記開示は、本明細書中に、完全に参照として援用される。
【０００２】
（発明の分野）
本発明は、概して、センサーを使って口腔に関する筋肉燃焼、動き、舌の動きなど、人の頭部の動作の検知し、そのような検知に反応して、例えば、システム制御機能のような出力の提供に関する。より詳細には、本発明は人間に耳の近くの空気の圧力における変化を解析し、収集されたデータを処理してそれに対応した正しい制御機能性を決定することによって、口腔内の舌の動き、位置、および動作を検知する。
【０００３】
（発明の背景）
思考を検知する装置および方法は、米国特許第６，０２４，７００号に開示されており、その全開示は参考として援用される。このようなシステムおよび方法は、同じ思考を一貫して発展させ、一貫してその思考を検知させるのに集中が必要であり得る。トレーニングが所望の集中および一貫性を得るのに必要であり得る。このような集中は、比較的厄介であり得る。思考は、このようなシステムおよび方法を使うユーザの片方または両方の耳で検知し得る空気圧または音を生じ得、このような空気圧はマイクロフォンなどの検知器によって検知され得る。思考を検知するこのようなシステムおよび方法からの模範的な出力は、それぞれ英数字、方向などを示す独立した出力のような１つまたは複数の独立した出力であり得る。
【０００４】
人の耳によって生成される音は、ときには自動音響と呼ばれる。自動音響音は、過去においては、例えば、耳の機能、または耳の状態を示す診断用に使われた。例えば、耳にインプットされた音に反応して、耳は検知し得る自動音響出力を提供することがわかった。
【０００５】
現在、腕や足を使うことができない障害者が電動車椅子を操作できる利用可能な制御装置がある。このような制御装置は、個人の口に挿入されるトラックボールまたはジョイスティックタイプデバイスを含み、個人は口および／または舌の動きを使って制御装置を操作して、メカニカルな入力を提供する。このようなデバイスは操作が難しく、口から落ちたりまたは口のなかでいらいらさせるような感覚を引き起こす場合、厄介である。
【０００６】
他の制御装置があり、メカニカルな助けを借りて、障害のある個人が機能を遂行することを可能とする。このような制御装置の操作は、典型的には、入射電磁信号、例えば、個人に向けられる赤外線または紫外線光／放射線などの信号を必要とする。その後、特定された動作または活動によって、個人は例えば、瞬きをする、頭を動かす、またはなんらかのこのような動作によって、入射電磁信号を変調させ得る。入射電磁信号の必要性は、いくつかの理由のために不便である。その理由とは、その信号を提供するのに特別な一台の装置が必要である、信号は正しく方向付けされ、配列されなければならない、検知器および変調された信号は正しく配列されなければならない、信号はユーザに悪影響（例えば、目の負傷の原因となる）を及ぼしてはならないなどである。
【０００７】
（発明の要旨）
本発明の１つの側面によると、本発明は制御信号を生成する方法である。その方法は、人の耳の中または近くの空気圧パターン、つまり人の自発的な身体的動作から生じる空気圧パターンを感じる工程と、空気圧パターンを出力信号に変換する工程とを含む。
【０００８】
本発明の別の側面によると、本発明は人の耳の近くの空気圧を監視することによって、人の自発的な動きを検知する方法である。
【０００９】
本発明の別の側面によると、本発明は制御システムである。その制御システムは、人が自発的な身体的動作を行う間、人の耳に隣接した空気圧パターンを検知し、その検知された空気圧パターンに対応する出力信号を生成する空気圧センサと、その出力信号からのパターンを識別する処理回路を含む。
【００１０】
（本発明の詳細な説明）
以下の記述は、添付の図と関連付けて、本発明の詳細な説明がなされ、同様の関連符号は一貫して同様の素子と関連する。
【００１１】
本発明は、口腔と関連して生じる動作等の人の頭部の動作を検出するための装置および方法に関し、これらの動作は、分散アウトプットのみを提供し得るのではなく、アナログタイプの信号におけるように、出力範囲を生成し得る。１例として、例えば、２次元運動または３次元運動等の口腔内の舌の運動が検出され得、または感知され得、有用な出力を提供する。例示的出力は、コンピュータマウス、マウス上のクリックボタン、コンピュータジョイスティック等によって生成されるものと類似の信号の形式であり得る。
【００１２】
見出された本発明を用いることは、いくらか厄介でないと判定され、通常、上述の思考検出装置および方法よりも少ない集中力を要求する。また、本発明は、例えば、表面に沿ってコンピュータマウスを動かすことによって生成された信号と同じ持続的特性を有する出力を提供することができる。尚、さらに、舌は３次元で運動できるので、本発明は、ジョイスティックがそれぞれの位置またはそれぞれの方向に動かされる速度と関連付けられる信号の速度特性を含む上下、左右、前後の信号出力を有するコンピュータジョイスティックによって生成される信号出力等の３次元タイプの信号出力を提供することができる。
【００１３】
本発明は、複数の目的に使用され得る。１例示的使用は、コンピュータまたは他の電気デバイスまたは電子デバイスに入力を提供する。例示的入力は、電気信号であるが、入力は、例えば、光学、流体等の電気以外であり得ることが認識される。入力は、コンピュータまたは他のデバイスを制御し得るか、または別の任意の目的に用いられ得る。本明細書中での説明の複雑さを簡易化し、説明の複雑さを回避するために、本発明は、例えば、デジタルタイプかアナログタイプかに関わらず、パーソナルコンピュータまたは他の任意のコンピュータ等に電気入力を提供して、コンピュータの動作を制御するのに用いられることに関して説明される。
【００１４】
本発明を用いて制御されるコンピュータと組合せた本発明の使用の１例は、障害者のための機能および能力を提供することである。例えば、本発明は、障害者または非障害者が製造設備における１つの機械装置の動作を制御し、動力化された車椅子または同様のデバイスの動作を制御し、ビデオゲーム等の動作を制御、すなわちビデオゲームをすることを可能にするために用いられ得る。これらは、例にすぎず、本発明は、他の多くの目的のために用いられ得ることが認識される。
【００１５】
本発明において、有用な出力を生成するための改変を要求する不定の電磁信号は必要とされない。むしろ、本発明において、例えば、舌の運動、歯または歯止め（ｐａｌｌｅｔ）に対する舌打ち等の口腔に関して、個人の頭の中で生じる個々の動作が用いられ、個人の片方、または両方の耳元で気圧または音を生成し、これらが検出され得るか、または感知され得、本発明の出力として、コンピュータまたは他の任意のデバイスへの入力として提供される。従って、本発明は、非刺激性の信号、例えば、不定の電磁信号等の不定の入力を必要とすることなく、個人の動作によって生成される信号を提供する。
【００１６】
本発明の実施形態によって、センサは、気圧、または気圧の変化、または個人の耳によって生成された音を感知するか、または検出する。本明細書中の説明を簡易化するために、感知工程または検出工程のイベントは検出工程と呼ばれ、検出されるものは気圧と呼ばれる。さらに、本明細書中の説明を簡易化するために、検出可能な気圧を引起す動作は、口腔内の舌の運動と呼ばれ、時々「舌の動作」と呼ばれる。本発明が、口腔内または口腔と関連するか、それどころか頭それ自体の、他の筋肉の運動または動作、あるいは舌の歯または歯止めに対する動作または舌打ち、肺による吐出しまたは吸込み、鼻の動作を考慮することが認識され、これらは個人の片方の耳または両方の耳元で気圧を検出することを可能にし、本発明により用いられ得る。検出可能な頭部の他の動作は、頭部を回転することか、または頭部を傾けることであり得る。気圧の検出をもたらすために舌の運動を用いることの例示的利点は、舌の運動は２次元または３次元であり得ることである（２次元は、上下または左右の運動、および３次元は前後、左右および上下の組合せである）。
【００１７】
本発明は、人の頭部の動作を検出するシステムおよび方法に関し、以下の例において、その動作は、口腔に関する舌の運動または他の動作であり、そのような検出に応答して有用な出力を提供する。本発明は、舌の動作に応答して、ほぼ瞬間的に生じる人の耳の近傍の気圧における変化をモニタリングし、実質的に、リアルタイムの検出および制御システムを提供する。さらに、気圧のモニタリングは受動的であり、従って、電気信号および電磁放射に対する被験体に関する健康および／または環境の潜在的問題を回避する。さらに、気圧における変化は、種々の舌の動作の１つと独自に対応し（例えば、独自の信号サインを有する）、複数の制御機能を必要とするシステムのための複数の異なった舌の動作が検出され、識別されることを可能にする。
【００１８】
本発明の１局面によって、舌の動作を検出し、検出に応答して、対応する出力を提供するためのシステムは、ユーザの耳の近傍に位置する圧力センサを含む。このセンサは、処理回路と電気通信して、ユーザの舌の動作が原因で起こる耳の近傍での気圧の変化を感知し、この気圧の変化を電気信号に変換する。この電気信号は、その後、処理回路によって処理され、電気信号内で、舌の動作の存在およびそのタイプを検出し、制御指令、または実行のための出力周辺装置に特定の舌の動作に対応する、コンピュータマウスまたはジョイスティックによって生成されたものと同様の出力等の、他の任意の有用な出力を提供する。例示的制御機能は、ビデオゲームディスプレイを制御すること、車椅子等の１つの医療機器を制御すること、およびコンピュータ機能を制御して、手を必要としないマウス、ジョイスティック等を実行することを含み得るが、これらに限定はされない。
【００１９】
本発明の別の局面によって、舌の動作を検出し、舌の動作に対応して制御指令を提供する方法が提供される。舌の動作は、気圧をモニタリングすることによって観察され、舌の動作および雑音に対応して気圧が耳の近傍で変化する。この方法は、気圧データをアナログ電気信号に変換することを含み、この電気信号は、実質的に、さらなる処理をするためにデジタル信号データに変換される。データ信号処理は、データを分析し、舌の動作のデータから雑音を分離し、それによって舌の動作の存在を検出するために実施される。さらなる処理は、その後、検出された舌の動作を決定し、１つ以上の有用な出力、すなわち制御指令または他の任意の出力を、適切な機能を実行するための出力周辺装置に提供するのに用いられる。
【００２０】
本発明の実施形態において、圧力センサおよび変換器はマイクロホンを含み、データ信号処理は、データセグメントの周波数領域への変換を含み、舌の動作に関するデータを雑音から識別する。さらに、所望の周波数または信号が期待される周波数帯域よりも上のおよび下の周波数で生じる雑音を分離するための帯域信号濾過機能、および閾値よりも少ない電力で生成された信号、すなわち雑音とみなされる信号を除去するパワースペクトルフィルタリングが存在する。舌の動作タイプ信号が検出された場合、さらなるデータ処理は特徴の抽出、そして、これと格納された特徴との相関関係の分析を含む。十分な相関関係が取得された場合、その後、対応する出力が提供される。出力は、例えば、１つ以上の制御指令が指令を実行するための出力周辺装置に伝送され得、それによって、システム制御機能を提供する。ニューラルネットは、相関関数を実行するのに用いられ得る。
【００２１】
ここで図面に戻って、本発明の詳細な説明を続ける。図１は、舌の動きまたは他の頭の動きを検出して、検出された舌の動きに対応した出力を提供するためのシステム１０を示すブロックレベル図である。システム１０は、Ａｄｌｉｎｋ Ｔｅｃｈｎｏｌｏｇｙ製造のＰＣＩ９１１８ＨＧデータ取得カード、またはドイツのＩｎｅｓ Ｃｏｍｐａｎｙ Ｇｍｂｈ製造のＤＡＱｉ２５０データ取得カードなど、アナログ信号をデジタル信号データに変換する、アナログ−デジタル（Ａ／Ｄ）コンバータ１６を含む処理回路部１４に結合された圧力センサ１２を含む。これらの信号が比較的連続的で、舌の継続的な運動（例えば、濾過および信号検出が以下にさらに説明するように実行され得るまでの運動）を反映し得るように、バッファ１７が設けられて、Ａ／Ｄコンバータ１６からの信号の一部を格納する。また、処理回路部１４は、Ａ／Ｄコンバータ１６およびバッファ１７からデジタル信号データを受信し、かつ、デジタル信号データ上で種々の信号処理機能を実行して、舌の動きの発生を検出して、舌の動きの種類を判定するプロセッサ１８を含む。また、システム１０は、プロセッサ１８によって提供され、検出された見解に対応した、一つ以上の制御指示を実行する、プロセッサ１８に結合された出力周辺機器２０を含む。
【００２２】
システム１０を、図２ａの例示の環境コンテキストにおいて示す。図２ａにおいて、ユーザ２２は、一対のヘッドホン２６内に圧力センサ１２を設けることによって、圧力センサ１２を耳２４の近傍に設ける。ヘッドホン２６は、好適には、二つの機能を提供する。これらの二つの機能は、（１）ヘッドホン２６の耳の近傍の比較的固定した位置に圧力センサ１２を設ける機能（２）ヘッドホン２６のわずかな量の外部音響絶縁を提供することによって、圧力センサ１２によって検出される外部雑音量を減少させる機能である。ユーザ２２が、例えば、口腔に対して舌を移動させることによって動く場合、気圧の変化が耳２４内または耳２４の近傍で生じ、気圧の変化が舌の動きを一意的に識別する。気圧の変化は、回路部１４が引き続き処理できるように検出された気圧をアナログ電子信号に変換する圧力センサ１２によって検出される。図２ａにおいて、例示的な出力周辺機器２０を、制御指示（例えば、ビデオゲームにおいて走ったり、歩いたり、飛んだり、パンチまたはキックを実行するなど）を実行するコンピュータゲームまたはビデオゲームに関連付けられたディスプレイとして示す（または、例示的な出力周辺機器２０が、機械化された車椅子および製造プロセスにおいてタスクを実行するためなどの制御機能を提供し得る）。表示される運動の方向および速度は、舌の運動の方向および速度に対応し得、キックまたはパンチの強度は、例えば、パレットまたは歯に対する舌打ちの強度に対応し得る。
【００２３】
圧力センサ１２と耳２４との位置関係を、図２ｂにより詳細に説明する。本発明は図２ｂに示すように一つのセンサ１２を用い得るが、図２ａに示すように二つのセンサを用いると、三次元情報を得る際に有利である。二つのセンサを用いることによって、各センサは、舌の三次元運動の機能として口腔または歯または舌打ちの強度等に関する異なる情報を収集する。検出された信号は、相関付けされて、実際、三つの程度の運動（例えば、三次元効果）を有する出力を提供し得る。例えば、口腔内の移動は、上下、左右、前後であり得、このような移動のそれぞれの組み合わせは、所望の三次元結果を提供し得る。これにより、各耳におけるセンサ１２は異なる気圧を検出し、この気圧はジョイスティックの三次元運動または三次元運動を示す出力信号をもたらすマウスと相関付けされ得る。
【００２４】
圧力センサ１２は、センサ上に固定されたマイクロホン３０などのセンサを有するヘッドホンハウジングなどのハウジング２８を含む。マイクロホン３０がハウジング２８に取り付けられる様式を変化させて、耳２４からのマイクロホン３０までの距離を調整し得る。マイクロホン３０は、マイクロホンの感度に依存して、耳２４の近傍（例えば、約１インチから２インチ内）にあるが、他の距離を用いることも可能であり、これは本発明の範囲内であると考えられる。マイクロホン３０を、耳２４内に快適になるように設けてもよいし、強さのレベルが増加した際に気圧の変化を受け取るように耳のできるだけ近傍に設けてもよい。図２ｂにおいて、マイクロホン３０の形状も位置も尺度を考慮して示さないが、説明を明確にするために、このように示しているだけである。
【００２５】
本発明の一実施形態において、マイクロホン３０は、少なくとも約４７ｍＶ／Ｐａ（パスカルあたりミリボルト）の感度を有し、一実施形態において、約１０Ｈｚから約８００Ｈｚの周波数の範囲内で約１００ｍＶ／Ｐａ以上の感度を有する。約２０Ｈｚのオーダーの周波数の範囲は、本明細書に説明する舌の動きから生じる気圧を検出する一実施形態において有用である。さらに、気圧を検出する基準は、気圧の検出、気圧および／または音における差を意味し得ることに再度留意されたい。用いられ得る一つの例示的なマイクロホンは、デンマークのＢｒｕｅｅｌ＆Ｋｊａｅｒ製造のＭｏｄｅｌ４１９０のマイクロホンである。しかしながら、代替として、他の種類のマイクロホンまたは他の種類の圧力センサを用いることが可能であり、それぞれのこのような変更は、本発明の範囲内であると考えられる。Ｍｏｄｅｌ４１９０のマイクロホンを用いると、アナログ出力信号はピークツーピークで約４００ｍＶである。しかし、出力信号の振幅は、電子部品の振幅係数および耳に対するマイクロホンの位置に依存し、これにより、実質的に変化し得る。
【００２６】
どの物理メカニズム、化学メカニズムまたは神経メカニズムが、種々の筋肉発動（例えば、筋肉の収縮および解放）に応答して、耳内または耳の近傍において気圧の変化を生じさせたりまたは生成するかは定かではない。しかし、ユースタキ管（ｅｕｓｔａｃｈｉａｎ ｔｕｂｅ）を介して口腔を耳に接続するため、舌の移動によって、気圧が生じ、気圧またはセンサ１２によって検出され得る検出可能な気圧を生じさせる耳への空気フローまたは耳からの空気フローにおける変化が生じ得る。物理メカニズム、化学メカニズムまたは神経メカニズムが正確であろうとなかろうと、実験的テストは、舌の動きが人の耳内または耳の近傍において圧力の変化を生成し、気圧の変化が実質的にそれぞれに固有のサイン（ｓｉｇｎａｔｕｒｅ）を有し、これにより、個々の所与の舌の動きに対して実質的に一意的であることを確認する。この結果、気圧の変化が耳の近傍においてモニタリングされ得、この気圧の変化を用いて使用者の舌の動きが検出され得る。
【００２７】
本発明は、測定されるパラメータを特徴づけるために、最も広い意味で耳の近くの用語「空気圧の変化」を使用する。あるいは、空気圧の変化は、音波として特徴付けられ得る。当業者に周知なように、音波は縦波であり、縦波では、「プッシュ」は、媒体（好適な実施形態では空気）内の分子毎に伝達される。そのような波の復元力は、空気圧に起因する。分子の密度が通常よりも高くなるときは常に、圧力も通常よりも高くなり、分子を遠くにプッシュする。図２ｃは、空気内の例示的な音波４０を示し、低分子密度４２ａおよび高分子密度４２ｂのそれぞれの交互の複数のゾーン４２からなる。分子密度が変動することから、音波が伝搬するような特定の周波数を有する空気圧の変化が生じる。さらに、当業者に周知なように、音波がそのソースから広がるにつれて、その強度は降下する。なぜなら、その波のエリアが大きく広がるのに対して、全エネルギーは一定であるからである。したがって、単位面積当たりのエネルギーは距離の平方の逆数で減少する。結果的に、耳２４に充分に近いマイクロフォン３０を有することで、空気圧変化の強度レベルが大きくなり、それにより任意のノイズに対して検出することが容易になることが望ましい。
【００２８】
音波が可聴可能な周波数の範囲は、約２０Ｈｚから約２０ＫＨｚであるが、本発明は、空気圧の変化が可聴であるかどうかに関与しない。なぜなら、マイクロフォン３０は十分感度がよく、高周波数または低周波数で空気圧変化を検出するに十分な周波数検出範囲を有するからである。本発明の実施形態において、約１０Ｈｚから約８００Ｈｚの周波数範囲が集中されている。なぜなら、舌動作を検出し、かつ、特定するのに、十分なデータが周波数範囲内で利用可能であることが、実証検定を介して決定されているからである。別の実施形態において、周波数範囲は、約２０Ｈｚ±数Ｈｚ（例えば、±約１０Ｈｚ）であり、したがって、約１０Ｈｚから約３０Ｈｚのオーダである。しかしながら、あるいは、舌動作を検出するのに適した任意の周波数範囲をモニタしてもよく、そのような改変は本発明の範囲内にあるように企図される。
【００２９】
圧力センサ１２（好適にはマイクロフォン３０を含む）は、空気圧の変化をモニタし、図２ｄに図示されるように、圧力データをアナログ電気信号５０に変換する。信号５０において、少なくとも２つの信号成分、すなわち、高周波数成分５２および低周波数成分５４が存在することに留意されたい。さらに、他の周波数も、電気信号５０内に存在し得、本発明は、好適には、プロセッサ１８によって実行される後続のデータ処理における様々な信号周波数を解析する（以下に詳細に記載する）。
【００３０】
本発明を実行するための方法１００を図３に示す。その方法１００は、ステップ１０２において人の舌動作によって生じる空気圧の変化をモニタすることによってその舌動作を検出する工程を含む。ステップ１０２において舌動作を検出すると、検出された舌動作に対応する１つ以上の制御命令または他の出力（単数または複数）がステップ１０４において出力周辺機器に提供され、所望な出力機能を達成する。
【００３１】
舌動作を検出する（ステップ１０２）方法を図４に図示する。図１および図２ａ〜２ｄに関連して示されるような圧力センサを、ステップ１２０において舌動作を検出するユーザの耳に近くに配置する。本発明の実施形態にしたがって、舌動作に応じて耳の近くの空気圧の変化が生じ、したがって、ステップ１２０において、圧力センサは耳の近くに配置される。しかしながら、あるいは、舌動作により、体の他の部分において、または、体の他の部分の近くで圧力変化が生じ得るので、本発明の代替の実施形態において、圧力センサは体の他の部分において、または、体の他の部分の近くに配置されることが企図され得、空気圧の変化を解析することによって舌動作の任意の検出が、本発明の範囲内にあるとして企図される。
【００３２】
ステップ１２２において、耳の近くの空気圧をセンサでモニタし、ステップ１２４において、後の解析のために、電気信号に変換される。ステップ１２４において電気信号に変換された後、ステップ１２６において、電気信号を解析して、舌動作を検出する。ステップ１２６において、さらなるデータを処理することなく、単に空気圧の変化に対応する信号を解析することによって、舌動作を検出し得ることが企図されるが、ステップ１２６の舌動作検出プロセスは、信号解析に関連したデータ処理を含むことが好ましい。
【００３３】
モニタされた圧力に対応する電気信号を解析し、処理する方法を図５に図示する。電気信号（図２ｄに図示されたアナログ信号）を、ステップ１４０において、デジタル信号（図６に図示される）に変換する。当業者に周知なように、選択された周波数でアナログ信号をサンプリングし、サンプリング点の各々において信号振幅を特定することによって、アナログ信号をデジタル信号に変換し得る。次いで、サンプリングされたデータ点の各々は、メモリ内のデジタルワードとして保存され、さらなる解析に使用される。図６において、サンプリングされたアナログ信号を図示する。図６において、点線は特定の時間期間の例示的なアナログ信号を図示し、点線上の複数の点はメモリに保存されたサンプリングされた振幅値を表す。サンプリング周波数は、アナログ信号を適切に表すに十分なデータ点をキャプチャするに十分であることが望ましい。具体例として、そのサンプリングレートは３２ＫＨｚであり得、解析される全信号時間長は、２０４８ｍＳｅｃであり得る。しかしながら、あるいは、他のサンプリングレートおよびデータ獲得時間フレームを使用してもよく、そのような改変は本発明の範囲内にある企図される。
【００３４】
ステップ１４０において、アナログ信号をデジタル信号データに変換すると、例えば、ステップ１４２において、信号プロセッサによって、デジタルデータを解析して、処理して、舌動作の存在を検出する。データの解析および処理は、複数のセグメントにおいて、例えば、図７および図８に図示されるように、行なわれ得る。図７に図示されるように、第１のデータセグメントは、ステップ１４４において解析され、その後、ステップ１４６において第２のデータセグメントを解析する。様々なデータセグメントが個別に解析されると、ステップ１４８において、そのデータセグメントを一緒に解析する。ステップ１５０において、全てのデータセグメントが、まだ、解析されていない場合、その方法１４２はステップ１４６に戻り、次のデータセグメントを解析して、その後、全ての前のセグメントはステップ１４８において一緒に解析される。そのプロセスは、全てのデータセグメントがステップ１５０において解析されるまで続き、それにより、ステップ１５２において、解析されたデータセグメントを用いて結果を生成することができる。
【００３５】
そのデータセグメント解析は、図８においてグラフィックに示され得る。ここで、デジタル信号データ１５４を、簡略化の目的で、連続的に図示している。解析のためのデータの全長は、６４セグメントに分離され得、その各々の長さは３２ｍＳｅｃである。信号１５４は、高周波数成分１５５と低周波数成分１５６との両方を含むことに留意されたい。舌動作に関連するデータは、潜在的に、いずれかの成分内に見出され得るか、または、舌動作データが複数のデータセグメントにまたがり得るので、データセグメントは、個別に、および、一緒に解析され得る。したがって、図７のステップ１４４において、第１のデータセグメントを解析する（領域１５７）、次いで、ステップ１４６において、第２のデータセグメントを解析し（領域１５８）、ステップ１４８において、両方のデータセグメントを一緒に解析し（領域１５９）、次いで、そのプロセスを全てのデータセグメントに対して続ける。結果として、本発明のデータ解析は、高周波数信号と低周波数信号との両方を解析して、舌動作を検出する。なぜなら、一般的に、対象の信号が約１０Ｈｚから約８００Ｈｚの範囲内にあるか、または、約２０Ｈｚ±約１０Ｈｚの範囲内にあることを実証的検定が示すからである。
【００３６】
図５に戻ると、ステップ１４２において舌動作データと考えられるデータを圧力データ内に見出すと、ステップ１６０において、続く解析を舌動作のタイプを判定するように行う。そのような解析は、それぞれの信号／そのような信号の特徴を認識するように慣らされた神経網を用いた特徴抽出および解析を含む。信号が特定の特性の舌動作を表すと神経網が判定する場合、出力を提供するか、本明細書で記載されるような使用のために、その代表的な出力の生成を行なう。しかしながら、あるいは、舌動作を検出すると、舌動作のタイプを特定する他の技術を使用してもよく、任意のそのような技術は、本発明の範囲内にあると企図される。
【００３７】
デジタル信号をデータセグメントで解析する１つの例示的な方法を図９に図示する。３２ｍＳｅｃのデータセグメントの各々について、ステップ１７０において、データは、例えば、当業者に周知な高速フーリエ変換（ＦＦＴ）を用いて、時間ドメインから周波数ドメインに変換される。周知なように、時間ドメイン信号ｆ（ｔ）は、以下の式に従って周波数ドメインｆ（ｊω）に関連付けられる。
【００３８】
【数１】

ここで、Ｆ（ｆ（ｔ））は、従来のフーリエ変換である。当業者に周知であるように、高速フーリエ変換は離散フーリエ変換を計算するための効率的なアルゴリズムであるので、高速フーリエ変換は、従来のフーリエ変換に関連している。デジタル信号データは、高速フーリエ変換を介して周波数ドメインに変換された後、ステップ１７２において、舌動作に関連するデータをノイズデータと区別するように周波数ドメインデータを処理する。当業者に周知なように、データノイズからの分離は、しばしば、周波数ドメインにおいて単純化される。なぜなら、ノイズと異なり、データ信号はある物理特性を有するからである。時間ドメインにおけるデータ信号はノイズより小さい振幅を有するが、周波数ドメインにおけるデータ信号はノイズより大きい振幅を有するからである。したがって、高速フーリエ変換は、ノイズを分離するための一般的な方法である。
【００３９】
デジタル信号データのデータ処理の周辺の詳細は、当業者に周知なさまざまなデータ処理技術を介して為され得、任意のデータ処理方法論は、本発明の範囲内にあると企図される。多くの異なるデータ処理方法論が使用され得るが、好適な方法論は、以下の方法およびシステムに関連して下記に示す。
【００４０】
図１０を参照して、本発明のシステム２００および方法を示す。１つ以上のセンサ１２はユーザの耳（単数または複数）から空気圧を検知する。センサ（単数または複数）からのアナログ信号（単数または複数）は、データ獲得カード、アナログ‐デジタルコンバータおよびバッファ１６／１７を介してプロセッサ１８に供給される。舌が動いている間、センサから受信した信号は、少なくともそれぞれの時間周期に対して実質的に連続的である。したがって、バッファ１７はプロセッサ１８による解析のための信号の十分な部分を格納可能である。
【００４１】
プロセッサ１８は、バンドパスフィルタ２０２と、パワースペクトルフィルタ２０４と、信号検出器２０６と、特徴抽出部２０８と、神経網２１０とを含む。システム２００は、また、所望な出力周辺機器２０に結合され得る出力部２１２を含む。
【００４２】
システム２００全体の動作を要約すると、センサ（１２）およびデータ獲得、Ａ／Ｄおよびバッファ１６／１７は、バンドバスフィルタ２０２に信号を供給する。バンドパスフィルタ２０２に供給される生データまたは生信号の例を、図１１のグラフの２２０で示す。生信号は、バンドパスフィルタに提供され、バンドパスフィルタによって高速フーリエ変換技術を用いて周波数ドメインに操作される。高速フーリエ変換はデジタル信号を周波数ドメインに変換する。バンドパスフィルタでは、舌動作を表す周波数範囲の上または下の周波数が、例えば、信号から取り除かれる。対象の周波数範囲より高い周波数および対象の周波数範囲より低い周波数は、一般的に、ノイズの原因となる。バンドパスフィルタ化によってフィルタリングされた後の信号の例を図１２のグラフの２２２で図示する。さまざまなバンドパスフィルタを用いて、所望な周波数範囲より高い信号周波数および所望な周波数範囲より低い信号周波数を取り除くようにバンドパスフィルタ化を行い得る。
【００４３】
２２２で表される信号の一部（例えば、部分２２２ａおよび部分２２２ｂ）は、舌動作を表さないかもしれない。例えば、それらは比較的パワーが低く、したがって、依然としてノイズかもしれない。したがって、パワースペクトルフィルタ２０４は、信号のさまざまな部分のパワーに従ってさらにフィルタ化され、舌動作に起因し、したがって、さらなる解析を考慮すべき部分を決定する。パワーフィルタ化は、図１２の信号を、図１３の２２４ａ、２２４ｂ、．．．２２４ｉで表されるような複数のセグメントまたはウィンドウにスライス化することによって実行され得る。図１２および図１３のグラフは異なるスケールであることが認識される。したがって、ウィンドウ２２４ａ〜２２４ｉは、時間ｔ_aと時間ｔ_bとの間の時間フレームをスライスする。ここで、時間ｔ_aと時間ｔ_bとの間の同じ時間フレームを図１２の信号部分２２２ｃに対して図示する。
【００４４】
パワーフィルタ化は、信号のパワーが所定の閾値または値を越えず、それにより、恐らくノイズを表す周波数を抑制するか、または、除去する。ノイズ成分をを除去することによって、舌動作を表す信号が見出され得る。パワーフィルタ化を行うために、例えば、信号のパワースペクトルを以下の公式を用いて計算する。
【００４５】
Ｐ_f＝Ｍａｇ_f ²＋Ｐｈａｓｅ_f ²
ここで、ｆ＝Ｆ₀．．．Ｆ_l、および［Ｆ₀；Ｆ_l］は舌動作から生じる信号が期待される周波数範囲を表す。
【００４６】
言い換えると、パワーは、大きさの２乗と位相の２乗との和の関数である。それぞれのウィンドウ２２４ａ、２２４ｂ．．．２２４ｉに対して上のように計算されたパワーは、図１４に示されるグラフ２２６を作成するように再構築される。グラフ２２６は、上記の計算からの値２２６ａ、２２６ｂ．．．２２６ｉを示す。曲線２２６は比較的滑らかであり、舌動作によって生じる信号が図１２のグラフ２２２内に見出され得るパワースペクトルを表す。舌動作によって生じる信号は、通常、比較的高いパワーであり、グラフ２２６のほぼ真中の時間に、例えば、図１３に示される時間フレームＴに対して生じる。時間内において信号２２２が舌動作を表している場合に、信号を検出し、または位置付けるのは、この時間フレームが生じる時間およびその時間フレームの期間である。したがって、実際には、システム２００の信号検出器構成要素２０６は、図１２および図１３のグラフとここで記載された解析とを組みあわせて、信号検出機能が提供される。時間フレームＴは、また、図１２のグラフに示され、それにより、舌動作によって生成されると考慮されるべき信号２２２ｃの（図示されるブロックウィンドウ２２２ｅにおける）部分２２２ｄを指定する。
【００４７】
次いで、信号部分２２２ｄ、または、少なくともその信号の１つの特徴は、神経網２１０に供給され得る。特徴抽出原理を用いて、信号部分２２２ｄの１つの特徴は、神経網に供給される。神経網２１０において、その特徴は、神経網が慣らされた他の特徴と比較される。神経網の慣れは周知の手順である。神経網は、入力特徴（例えば、信号部２２２ｄの代表的なもの）の許容可能に整合するか、または、神経網の慣れに許容可能に相関するかどうかを判定し得、そうである場合、神経網は出力２１２の生成を生じさせる。出力２１２は、コンピュータマウス、ジョイステックまたは他のデバイスによって生成される信号のタイプに類似した電気信号であり得る。したがって、口の前、下、左から、口の後ろ、上、右へユーザの舌を移動させることによる舌動作は、マウスパッドの左下から右上へのマウスの移動に類似した出力信号を生成し得る。別の例として、口の左前からマウスの右前までの舌の移動により、マウスを左から右へ移動したのと類似する信号を生じ得る。他も同様である。
【００４８】
例えば、信号２２２から抽出される特徴は、ある特性を示す特徴、または、他のものからの信号を表す曲線を区別する特徴であり得る。周知のさまざまな特徴が、特徴抽出方法において使用される。本発明において、例示の特徴は、信号部分２２２ｄの滑らかなパワースペクトルである。他の特徴は、パワースペクトルの対数、パワースペクトルそれ自体などであり得る。
【００４９】
神経網２１０は、一般的な形態で慣らされた従来の神経網であり得る。神経網２１０は、信号部分２２２ｄの特徴を、その慣らされたものと比較し、その特徴がある慣らされた特徴または別の慣らされた特徴により近いかどうかを判定し得る。信号部分２２２ｄの入力特徴がある慣らされた特徴に十分に近い場合、神経網は、上述したように、例えば、その出力において適切な信号を生成させる。入力特徴は、慣らされた特徴の任意のものと十分には似ていない場合、または、２つ以上の慣らされた特徴と比較的類似している場合、神経網は出力信号を生成させるための出力を生じさない。さもなければ、不確かな、望ましくない出力信号を生成される。
【００５０】
上述したように、２つのセンサ１２を使用すれば、システム２００はそれぞれのセンサからの各々の信号について順次的に動作し得るか、または、パラレル処理機能を含み得、それにより、両方のセンサからの信号は実質的に同時に処理され得る。出力部２１２は、両方のセンサから生じる信号の信号解析の結果を反映し得、出力部２１２において、実際には３次元データを反映する出力信号を供給するために用い得る。
【００５１】
特定の好適な実施形態または特定の好適な複数の実施形態に関して本発明を示し、説明してきたが、本明細書および添付の図面を読み、理解した他の当業者が、等価な代替および改変を想起することは明らかである。特に、上記の構成要素（アセンブリ、デバイス、回路など）によって実行された様々な機能に関して、そのような構成要素を説明するために使用された用語（「手段」と参照されるものを含む）は、本発明の例示的な実施形態を図示した本明細書における機能を実行する開示された構造に構造的に等価でなくても、記載された構成要素の特定の機能を実行する任意の構成要素（すなわち、機能的に等価なもの）に対応するものを意図する。さらに、本発明の特定の特徴は、いくつかの実施形態の１つのみに関して示されているかもしれないが、そのような特徴は、任意の所与の用途または特定の用途に対して所望であり、利点を有し得る場合、他の実施形態の１つ以上の他の特徴と組み合わされ得る。
【図面の簡単な説明】
【図１】 図１は、本発明による、本明細書中ではしばしば舌の動作とも呼ばれる口の動作が検知され、その口の動きを使って、検知された口の動作に対応する制御機能を提供するシステムを示すブロックレベル図である。
【図２ａ】 図２ａは、本発明による、表示と連結されたプロセッサと電気的な通信を行う耳の近くに設置された圧力センサを有するユーザの環境図である。
【図２ｂ】 図２ｂは、本発明の１側面による、耳の近くの空気圧を監視する圧力センサをより詳細に示す図２ａの一部の拡大図である。
【図２ｃ】 図２ｃは、本発明による、空気内の波の映像であり、複数の縦の分子的密度変化を表す図である。
【図２ｄ】 図２ｄは、本発明による、圧力センサに対して局所的な位置の空気圧の変化を示す圧力センサと連結されたトランスデューサによって生成される、模範的な電気信号を示すグラフである。
【図３】 図３は、本発明による、口の動作を検知し、検知された口の動作に反応して制御指示を提供する方法を示すフローチャートである。
【図４】 図４は、本発明による、空気圧を監視する方法を示すフローチャートである。
【図５】 図５は、思考を検知するために空気圧に対応する電気信号を処理する方法を示すフローチャートである。
【図６】 図６は、本発明による、アナログ電気信号のデジタル信号データへの変換を示すグラフである。
【図７】 図７は、本発明による、デジタル信号データを解析する方法を示すフロー−チャートである。
【図８】 図８は、本発明による、図７のフローチャートとともにデジタル信号データを解析する方法を示すグラフである。
【図９】 図９は、本発明による、デジタル信号データを処理する方法を示すフローチャートである。
【図１０】 図１０は、本発明の部分および機能を含むシステムを示すシステム図である。
【図１１】 図１１は、口の動作を表す空気圧を検知するのに本発明において使用されるセンサによって検知される、模範的な未処理信号情報を表すグラフである。
【図１２】 図１２は、図１２の周波数フィルタリングされた信号情報のグラフであり、例えば、周波数をフィルタリングして騒音を除去したグラフである。
【図１３】 図１３は、頭の動作を表す信号を遅れずに位置付けするのに使用する図１２の曲線のパワースペクトルのウィンドウを表すグラフである。
【図１４】 図１４は、このようなパワースペクトルのグラフである。

Claims (7)

1. 制御信号を生成する方法であって、
   人間の耳部によって生成される空気圧パターンを感知するステップであって、該空気圧パターンは該人間の自発的な肉体運動によって生じる、ステップと、
   該空気圧パターンを電気出力信号に変換するステップと、
   該電気出力信号から制御命令を生成するステップであって、該制御命令は該自発的な肉体運動に対応する、ステップと、
   該制御命令を用いて周辺出力装置を制御するステップと
   を包含する、方法。
2. 前記人間の耳部近隣に空気圧センサを配置することにより、該人間により複数の一意な自発的な肉体運動の各々と関連した空気圧パターンを感知するステップと、
   該複数の一意な肉体運動の各々に対する結果の出力信号を記録するステップと、
   一連の制御命令を生成するステップであって、該制御命令の各々は、該出力信号の対応する１つに対応する、ステップと
   をさらに包含する、請求項１に記載の方法。
3. 一連の所定の出力信号パターンのうちの１つに整合するものを求めて、前記電気出力信号を解析するステップをさらに包含する、請求項１に記載の方法。
4. 前記自発的な肉体運動は、前記人間の舌の発声を伴わない動きである、請求項１に記載の方法。
5. 人間が発声を伴わない自発的な肉体運動を行っている間の該人間の耳部によって生成される空気圧パターンを検出し、該検出された空気圧パターンに対応する電気出力信号を生成する空気圧センサと、
   該空気圧センサに電気的に結合された処理回路であって、該処理回路は、該電気出力信号からパターンを識別し、該自発的な肉体運動に対応する制御命令を生成し、該制御命令は、周辺出力装置を制御するように適合されている、処理回路と
   を備える、制御システム。
6. 前記処理回路は、複数の特定の制御命令から前記制御命令を識別する、請求項５に記載の制御システム。
7. 前記発声を伴わない自発的な肉体運動は、前記人間の舌の発声を伴わない動きである、請求項５に記載の制御システム。

Images