JP4753877B2 - マン−マシーンインタフェース方法 - Google Patents

Description

本発明はマン−マシーンインタフェース方法に関する。

特に、本発明はインタフェースオブジェクトに属し、所定の情報と関連する定められた複数のアクティブ領域との物理的相互作用を生成することと、相互作用が起こるアクティブ領域を、少なくとも１つの物理量の大きさを測定することによって検出することと、アクティブ領域がアクティブにされると、検出された各相互作用を、当該相互作用が検出されたアクティブ領域に対応する、所定の情報に関連付けることとを有するマン−マシーンインタフェース方法に関する。

特許文献１はそのような方法の例を記載している。しかしながら、この種の方法は、時間の経過に伴って、インタフェースオブジェクトのエージングおよび周囲条件、特に温度の変動の関数としてドリフトするという欠点がある。ついには、これはマン−マシンインタフェースの誤動作に至る。
フランス特許出願公開明細書ＦＲ-Ａ-２ ８１１１０７号

本発明の目的は、これら欠点を軽減することにある。

この目的のために、本発明によれば、当該種類の方法は、複数のアクティブ領域を、有限長の所定の時間の間、アクティブにし（定め）、そして該所定の時間の終わりにイナクティブにすることと、複数のアクティブ領域がイナクティブにされている間にインタフェースオブジェクトとの相互作用が検出されると、複数のアクティブ領域を、最初に連続して検出された複数の相互作用との関連で、連続して再びアクティブにする（定める）こととを特徴とする。

これらの方策によって、アクティブ領域は定期的に再びアクティブにされ（定められ）、したがって上記のドリフトの問題を避けることができる。

本発明の方法の種々の実施態様において、次の方策の１つまたは複数を任意にとってもよい。
・複数のアクティブ領域がイナクティブにされている間にインタフェースオブジェクトとの相互作用が検出されると、前記複数のアクティブ領域を、連続した複数の相互作用の所定の初期シーケンスが検出されたときにのみ、再びアクティブにする。
・複数の相互作用の所定の初期シーケンスが、所定の持続時間よりも短い時間間隔内の、インタフェースオブジェクト上の単一の場所における２つの連続した相互作用を含む。
・前記の２つの連続した相互作用の場所が第１のアクティブ領域をアクティブにする。
・初期シーケンスに続いて、複数のアクティブ領域を再びアクティブにする段階の間、所定のＫ個のアクティブ領域を、複数の相互作用の初期所定のシーケンスの後に、検出されるＫ個の初期相互作用の場所において連続してアクティブにする。
・アクティブ領域を再びアクティブにする段階を、後続する相互作用が、検出された相互作用のあとの所定のタイムアウトの間に検出されない場合に、中断する。
・複数のアクティブ領域を再びアクティブにする段階の間、測定された物理量の大きさが第１の所定の限界値よりも大きい変動を受けたときに、相互作用がアクティブ領域で検出され、アクティブ領域を再びアクティブにする段階の後、測定された物理量の大きさが、第１の所定の限界値よりも小さい第２の所定の限界値よりも大きい変動を受けたときに、相互作用がアクティブ領域で検出される。
・複数のアクティブ領域を再びアクティブにする段階の間、測定された物理量の大きさが、第１の所定の限界持続時間よりも長い持続時間の間変動を受けたときに、相互作用がアクティブ領域で検出され、アクティブ領域を再びアクティブにする段階の後、測定された物理量の大きさが、第１の所定の限界持続時間よりも短い第２の所定の限界持続時間よりも長い持続時間の間変動を受けたときに、相互作用がアクティブ領域で検出される。
・測定された物理量の大きさを、音波、機械歪、後方散乱した光の量、電界から選択する。

本発明のその他の特徴および利点は、非限定例として与えられる、添付図面を参照する、本発明の実施形態の説明から明らかとなる。

各図において、同じ参照番号は同一または類似の要素を指している。

図１は、本発明を実施し、たとえば
・マイクロコンピュータの中央処理装置（ＣＰＵ）２と、
・ＣＰＵ２に接続された画面３と、
・本例では、ＣＰＵ２に情報を送ることができるマン−マシーンインタフェース４と
を有している装置１を示している。

マン−マシーンインタフェース４は、特にフランス特許出願０２／０７２０８号に記載されているように、この例では、表面９上に衝撃を発生することによって音波が伝播させられるテーブルによって構成された立体形のインタフェースオブジェクト４を含む。

しかしながら、インタフェースオブジェクトは、窓、窓ガラス、ドア、携帯タブレット、コンピュータ画面、ディスプレイパネル、相互作用型端末装置、玩具、車両のダッシュボード、飛行機内または自動車の前部内にあるシートの背もたれの背面、壁、床、車両のバンパー（音響インタフェースによって送信された、バンパーに対する衝撃の位置である情報を有する）のような、単一の部品または一緒に組み立てられまたは単に互いに接触する複数の部品として構成された他の何らかの異質または同質の物体によって構成できることがわかるべきである。

少なくとも１つの音センサ６が物体５に固定されており、該音センサ６は、前記音波を拾いＣＰＵ２に伝えるように、ケーブル８または他の何らかの伝達手段（無線、赤外線、その他）によって、たとえばＣＰＵ２のマイクロフォン入力７に接続されている。図示の例では、センサ６はわずか１つであるが、複数のセンサを、本発明の範囲を超えることなく用いることができる。

一例として、音センサ６は圧電センサまたは他の種類のセンサ（たとえば、容量センサ、磁気ひずみセンサ、電磁センサ、音響速度計、光学センサ（レーザ干渉計、レーザ振動計・・・）、等）であってもよい。一例として、センサは、音響インタフェースを構成する物体５内を伝播する音波による変位の振幅、または実際そのような変位の速度または加速度のような物理量の大きさを測定するように構成してもよい。センサ６は、物体５内を伝播する音波による圧力変動を測定する圧力センサであってもよい。

物体５の外表面９の少なくとも一部（具体的には図１に示す例では物体５を構成するテーブルの上面）にわたって、Ｎ個のアクティブ領域１０が定められているが（ここで、数Ｎは一般に１よりも大きく、アクティブ領域は必ずしも物理的に定める必要はない）、たとえば物理的なマークによって、または表面９に像を投影することによって得られるライトマーキングによって良好に定めることができるであろう。

種々のアクティブ領域１０は単に、表面９の残りと同じである表面９の一部であってもよい。しかしながら、これらのアクティブ領域は、領域１０の１つとの相互作用（たとえば、衝撃）がアクティブ領域１０の他の１つまたは表面９の他の部分に対する衝撃によって発生する信号とは異なる音響信号を発生する限りにおいて、互いに、かつ表面９の残りと異なっている。

アクティブ領域１０の各々は、ユーザが中央処理装置２に送りたいと望んでいるかもしれない所定の情報と関連している。当該情報は、キーボード、コントロールボタン、マウス、等の従来の入力インタフェースを用いて、たとえば、コマンド、数字、文字、表面９上の位置、あるいはマイクロコンピュータ（または他の電子装置のＣＰＵ）のような電子機器に通常伝えることができる種類の他の情報であってよい。

当該情報は明示されていなくても、あるいは表面上９上の（領域１０を定めるマーキングのように、このマーキングは表面９に物理的に付けても、あるいは代わりに光の像の形で表面９上へ投影してもよい）マーキング１０ａによって明確に示されることもあることに留意すべきである。

各アクティブ領域１０に関連する所定の情報は常に同じであるか、ＣＰＵ２内を、プログラムを走らせることの作用として変えても、あるいは他のアクティブ領域１０への過去のアクションに依存してもよい（たとえば、特定の機能、特殊な文字にアクセスするために、あるいは実際に大文字を用いるために等、たとえば、あるアクティブ領域１０を、その後アクティブにされた１つまたは複数のアクティブ領域１０に与えられた機能を変更するように作動させてもよい）。いずれにせよ、該情報は、遅くとも、それが、各アクティブ領域１０が作動させられたまさにその時に有効に定められる限り所定の情報である。

このように、物体５の様々なアクティブ領域１０は、指のつめ、指先、あるいはペン、スタイラスのような物体を区別なく用いてキーボードのアクティブ領域を触れることによって、作動させることができる本物の仮想キーボードを構成する。

図２に示すように、センサ６（ＳＥＮＳ．）は従来と同じように入力端子７を介して増幅器１１に接続することができ、増幅器１１はアナログ／デジタルコンバータ（Ａ／Ｄ）１２に接続され、Ａ／Ｄ１２はそれが受信する信号をＣＰＵ２のプロセッサ１３に送り、プロセッサ１３はそれ自身１つまたは複数のメモリ（ＭＥＭ．）１４に接続され、上記の画面３（ＳＣＲ．）または情報をユーザに戻す他の出力インタフェースを制御する。

音響インタフェース４はマイクロプロセッサ以外の電子機器、たとえばプロ用または家庭用の電子機器、ドア用キーパッド、車両ＣＰＵ等に情報を入力するためのインタフェースとして使うこともできることに留意すべきである。いずれにせよ、１つまたは複数のセンサ６によって生成された電子信号は電子機器あるいは外部デジタル信号プロセッサ（ＤＳＰ）装置において処理することができる。

さらに、測定される物理量の大きさは必ずしも音波である必要はなく、
・（インタフェースオブジェクト５上の様々な場所に配置された、この目的のための１つまたは複数のストレーンゲージを用いる）機械ひずみ
・後方散乱光の量（たとえば、該装置が表面９上のかすめる振幅変調光ビーム（たとえば、たとえば４０（ｋＨＺ））を発射する赤外線または他の発信機と、たとえばユーザが前記ビームと（たとえば、指を表面９上の物体上に置くことによって）相互作用するときに後方散乱光を測定する１つまたは２つ（または３つ以上）の光学センサを含んでいるならば）または
・表面９の近傍のアンテナによって出射され、１つまたは複数のセンサによって収集された、特に高周波数（たとえば、約１００ｋＨｚ）の電界であり、ユーザの指または表面９上の他の物体の存在によって変調される電界
であってもよい。

本発明によれば、アクティブ領域１０は有限長の所定の時間（目的とする用途に応じて、たとえば数分または数時間）の間定められ、それから前記所定の時間の終わりにマイクロコンピュータ２または他の機器によってイナクティブにされる。インタフェースオブジェクト５との相互作用が、アクティブ領域１０がイナクティブにされている間、検出されると、マイクロコンピュータ２または他の機器は、前記アクティブ領域を、センサ６によって表面上で検出された最初の相互作用の作用として再び、定め、それによってある期間にわたってドリフトするインタフェースの問題を避けることができる。

本発明の方法の第１の実施形態においては、インタフェースオブジェクト５との相互作用が、アクティブ領域１０がイナクティブにされている間、検出されると、前記アクティブ領域は、相互作用の所定の初期シーケンスが検出された場合のみ、たとえばインタフェースオブジェクト上の単一の場所における２つの連続した相互作用であって、所定の持続時間（たとえば、数秒）よりも短い時間間隔だけ離れている相互作用が検出された場合にのみ、自動的に再び、定められる。この２つの相互作用が同じ場所で起こることは、同じ音響信号がセンサ６によって２度収集されることを意味している。

前記の２つの連続した相互作用の場所は有利なことに第１のアクティブ領域１０を定める。言い換えると、通常の動作では、マイクロコンピュータ２が、音響信号が前記２つの連続した相互作用の各々の間に収集されたことを認識すると、マイクロコンピュータ２は、第１の情報（数字、文字、またはその他）に対応する衝撃が第１のアクティブ領域内で起こったと判定する。

次に、前記初期シーケンスに続くアクティブ領域を再び定める段階の間、所定数Ｋ個のアクティブ領域が、相互作用の前記所定のシーケンスの後に検出されたＫ個の初期相互作用の作用として連続して定められる（ここに記載した例ではＫ＝Ｎ−１、あるいは多分Ｋ＝Ｎ、あるいは、もし初期シーケンスがｐ個のアクティブ領域を定めるならば、Ｋ＝Ｎ−ｐ個のアクティブ領域）。より具体的は、アクティブ領域を再び定めるこの段階の間、ユーザはインタフェースオブジェクトの表面９上のＫ個の異なった場所において連続的に衝撃を発生させ、マイクロコンピュータ２は各衝撃に対応する音響信号を記録する。これら音響信号の各々は独特で、音響信号を発生した衝撃の場所に特有のものである。次に、通常の動作においては、マイクロコンピュータ２が、アクティブ領域を再び定める段階の間に収集された音響信号の１つを認識すると、マイクロコンピュータ２は、所定の情報（数字、文字、またはその他）に対応する対応アクティブ領域に衝撃が起こったと判定する。

異なったアクティブ領域に対応する異なった情報は、複数のアクティブ領域が、アクティブ領域を再び定める段階の間、衝撃を受ける順序のみに依存する。マイクロコンピュータ２が、この段階の間、特にアクティブ領域が表面９上に印を付けられたとき、ユーザをガイドするためにメッセージを画面３上に表示させるようにしてもよい。

たとえば、Ｋ−１個の初期相互作用の１つが検出された後、所定のタイムアウトの間、さらなる相互作用が検出されなかった場合、アクティブ領域を再び定める段階を中断しおよび取り消すことができることが判らなければならない。このタイムアウトの持続時間はたとえば数秒であってよい。

アクティブ領域を再び定める段階の間、測定された物理量の大きさが第１の所定の限界値よりも大きい変動を受けたときにアクティブ領域で相互作用が検出され、そしてアクティブ領域を再び定める段階の後、測定された物理量の大きさが、第１の限界値よりも小さい第２の所定の限界値よりも大きい変動を受けたときにアクティブ領域で相互作用が検出される。インタフェースはこのように、使用の後続の段階における敏感さを保ったまま、アクティブ領域を再び定める段階の間、測定された物理量の大きさの寄生的変動に敏感でないようにされる。インタフェースの敏感さを変えるこの技術は、パルスタイプ、たとえば音響信号の物理量の大きさに対しても適用される。

これに対して、測定された物理量の大きさが「静的タイプ」のとき、すなわち前記大きさが、長く続いている変動を受けたとき、検出感度は、検出を生成するのに必要な、物理量の大きさの変動の最小持続時間を変えることによって変えられる。そのような状況下では、アクティブ領域を再び定める段階の間、測定された物理量の大きさが、第１の所定の限界持続時間よりも長い時間の間変動を受けたときにアクティブ領域内で相互作用が検出され、そしてアクティブ領域を再び定める前記段階の後に、測定された物理量の大きさが、第１の限界持続時間よりも短い第２の限界持続時間よりも長い時間にわたって変動を受けたときにアクティブ領域内で相互作用が検出される。この実施形態は、特に、測定された大きさが、表面９を比較的長い期間押すことに対応する機械的歪であるときに、上述したように、表面９の近くの指または物体によって後方散乱させられた光の量、または表面９の直ぐ近くに指または物体が存在することによって乱される電界に適用される。

本発明の方法の第２の実施形態において、インタフェースオブジェクトとの相互作用が、前記アクティブ領域がイナクティブにされている間に検出されたとき、検出すべき初期Ｐ個（ただし、Ｐはゼロでない所定の自然数）の相互作用が記録段階の間に記録され、それからＺ個（ただし、ＺはＰよりも小さいかＰに等しい、ゼロでない自然数）のアクティブ領域が、異なった領域で検出された相互作用に対応する（すなわち異なった音響信号に対応する）、前記Ｐ個の最初に検出された相互作用との関連で自動的に再び定められ、そして最初に検出されたＰ個の相互作用に対応する所定の情報自体が求められる。

より詳細には、ここに記載した例では、Ｚ個のアクティブ領域を再び定めることは、インタフェースオブジェクト５が表面９上にＰ回ぶつかる間センサ６によって収集されたすべての音響信号を記録段階の間、マイクロコンピュータ２に記録させることによって実施してもよい。各信号は表面９の単一の領域に特有であるので、以前に測定された音響信号とは異なる新たな各音響信号は新たなアクティブ領域、たとえばランクｋ（ここで、ｋは１とＺの間の整数）のアクティブ領域に割り当てられる。もし同じ音響信号が記録段階の間にその後検出されると、マイクロコンピュータ２はそれをランクｋの同じアクティブ領域に割り当てる。このアクティブ領域ｋに関連する情報は単に番号（たとえばｋ）でも、あるいは記録された音響信号に関連する文字または他の記号であってもよい。

本発明のこの第２の実施形態は、マークされていない表面を用いつつ、アクセスコード、たとえばドアを開くためのコード、ソフトウェアにアクセスするためのコードをたとえば入力するのに使えるので有利である。

一例として、アクセスコードが１；２；１；２；３であるならば、ユーザは
・表面９上の任意の第１の場所に1回
・次に、表面９上の任意の第２の場所に１回
・次に、２度目に第１の場所に
・次に、２度目に第２の場所に
・次に、表面９の任意の第３の場所に１回
触れなければならない。

上記の記録段階は、もし最初のＰ−１個の相互作用の１つに、所定のタイムアウト時間、たとえば数秒よりも短い期間内に次の相互作用が続かないならば、中断し、取り消すことができることに気づかなければならない。

本発明の第３の実施形態において、前記アクティブ領域がイナクティブにされている間にインタフェースオブジェクトとの相互作用が検出されたとき、最初に検出された複数の相互作用は、初期相互作用と実質的に同じである最後の相互作用までの記録段階の間記録される。これはＰ個の初期相互作用を生成し、それによって、異なった領域で検出された相互作用に対応する（すなわち、異なった音響信号に対応する）Ｐ−１個のアクティブ領域を自動的に再び定める。最後に、これらＰ−１個の再び定められたアクティブ領域に対応する、所定の情報が定められる。これらの情報は、然るべき場合に、アクティブ領域の数（Ｐ−１）に依存する。

したがって、もしＰ−１がたとえば１０に等しいならば、所定のアクティブ領域の各々に対応する情報は数字０から９になり、Ｐ−１が５に等しいならば、アクティブ領域は、たとえば、４つの方向キーと１つの入力キーに対応する。いずれにせよ、画面上の図形は、ユーザが使用されている機能の種類を映像化するのを可能にする。

然るべき場合、この実施形態は、単一のインタフェースが完全に異なる機能を有するキーパッドのいくつかの種類を、最初に生成された相互作用の数に応じて処理することを可能にする。

他の実施形態では、本方法は、たとえば、複数のユーザによって、あるいは一人のユーザによってではあるが、情報の異なる種類に対応して、互いに独立して使用可能なアクティブ領域の複数のグループを定めることを可能にする。このためには、複数のアクティブ領域の組をアクティブ領域の複数のグループ（アクティブ領域の各グループは、たとえば、表面９の所定の部分に対応する）にさらに分割することが必要である。したがって、インタフェースオブジェクトとの相互作用が、イナクティブにされたアクティブ領域のグループに属するアクティブ領域で検出されると、アクティブ領域の前記のイナクティブにされたグループの前記アクティブ領域は、自動的に、かつアクティブ領域の他のグループとは独立して連続して再び定められる。

他の実施形態では、インタフェースオブジェクトとの相互作用が、前記アクティブ領域がイナクティブにされている間検出されると、前記複数のアクティブ領域は、連続して検出された最初の相互作用の作用として自動的に、かつ連続して再び定められ、検出された相互作用は所定の情報と実質的に同時に関連付けられる。したがって、インタフェースオブジェクトのアクティブ領域を再び定めることを開始する必要なしに、装置を作動させたり、情報を関連させることができる。たとえば、もし本方法がドアまたはブラインドを作動させるのに実施されるならば、インタフェースオブジェクトに衝撃を生成することによってその領域を再びアクティブにすることができる。この衝撃はブラインドを同時に閉じさせる。この領域と同じ高さへの、決められた時間内に生成された新たな衝撃は、閉じ部材を停止させ、あるいは反対に開くのを開始させることができるであろう。決められた時間が経過した後、アクティブ領域はイナクティブにされる。

本発明の方法を実施するように構成された音響インターフェースオブジェクトを含む装置の例を示す概略斜視図である。 図１の装置のブロック図である。

Claims (9)

1. インタフェースオブジェクト（５）に属し、所定の情報と関連する定められた複数のアクティブ領域（１０）との物理的相互作用を生成することと、
   前記相互作用が起こる前記複数のアクティブ領域を、少なくとも１つの物理量の大きさを測定することによって検出することと、
   前記アクティブ領域がアクティブにされると、検出された各相互作用を、当該相互作用が検出されたアクティブ領域に対応する、前記所定の情報に関連付けることと
   を有するマン−マシーンインタフェース方法において、
   前記複数のアクティブ領域を、有限長の所定の時間の間、アクティブにし、そして該所定の時間の終わりにイナクティブにすることと、
   前記複数のアクティブ領域（１０）がイナクティブにされている間に前記インタフェースオブジェクト（５）との相互作用が検出されると、前記複数のアクティブ領域を、最初に連続して検出された複数の相互作用との関連で、連続して再びアクティブにすることと
   を特徴とするマン−マシーンインタフェース方法。
2. 前記複数のアクティブ領域（１０）がイナクティブにされている間に前記インタフェースオブジェクト（６）との相互作用が検出されると、前記複数のアクティブ領域を、連続した複数の相互作用の所定の初期シーケンスが検出されたときにのみ、再びアクティブにする、請求項１に記載の方法。
3. 前記複数の相互作用の前記所定の初期シーケンスが、所定の持続時間よりも短い時間間隔内の、前記インタフェースオブジェクト上の単一の場所における２つの連続した相互作用を含む、請求項２に記載の方法。
4. 前記の２つの連続した相互作用の場所が第１のアクティブ領域（１０）をアクティブにする、請求項３に記載の方法。
5. 前記初期シーケンスに続いて、複数のアクティブ領域を再びアクティブにする段階の間、所定のＫ個のアクティブ領域（１０）を、前記複数の相互作用の前記所定の初期シーケンスの後に、検出される最初のＫ個の相互作用の場所において連続してアクティブにする、請求項２から４のいずれか１項に記載の方法。
6. 前記アクティブ領域を再びアクティブにする段階を、後続する相互作用が、検出された相互作用のあとの所定のタイムアウトの間に検出されない場合に、中断する、請求項５に記載の方法。
7. 複数のアクティブ領域を再びアクティブにする段階の間、測定された物理量の大きさが第１の所定の限界値よりも大きい変動を受けたときに、相互作用がアクティブ領域（１０）で検出され、アクティブ領域を再びアクティブにする前記段階の後、測定された物理量の大きさが、前記第１の所定の限界値よりも小さい第２の所定の限界値よりも大きい変動を受けたときに、相互作用がアクティブ領域で検出される、請求項５または６に記載の方法。
8. 複数のアクティブ領域を再びアクティブにする段階の間、測定された物理量の大きさが、第１の所定の限界持続時間よりも長い持続時間の間変動を受けたときに、相互作用がアクティブ領域で検出され、アクティブ領域を再びアクティブにする前記段階の後、測定された物理量の大きさが、前記第１の所定の限界持続時間よりも短い第２の所定の限界持続時間よりも長い持続時間の間変動を受けたときに、相互作用がアクティブ領域で検出される、請求項５または６に記載の方法。
9. 前記の測定された物理量の大きさを、音波、機械歪、後方散乱した光の量、電界から選択する、請求項１から請求項８のいずれか１項に記載の方法。

Images