JP5615270B2 - 物体の位置決定 - Google Patents

物体の位置決定 Download PDF

Info

Publication number
JP5615270B2
JP5615270B2 JP2011512199A JP2011512199A JP5615270B2 JP 5615270 B2 JP5615270 B2 JP 5615270B2 JP 2011512199 A JP2011512199 A JP 2011512199A JP 2011512199 A JP2011512199 A JP 2011512199A JP 5615270 B2 JP5615270 B2 JP 5615270B2
Authority
JP
Japan
Prior art keywords
transmitter
receiver
pair
tracking
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011512199A
Other languages
English (en)
Other versions
JP2011522271A (ja
JP2011522271A5 (ja
Inventor
トビアス・ダール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elliptic Laboratories ASA
Original Assignee
Elliptic Laboratories ASA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elliptic Laboratories ASA filed Critical Elliptic Laboratories ASA
Publication of JP2011522271A publication Critical patent/JP2011522271A/ja
Publication of JP2011522271A5 publication Critical patent/JP2011522271A5/ja
Application granted granted Critical
Publication of JP5615270B2 publication Critical patent/JP5615270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、物体の位置を決定する装置及び方法に関し、特に、物体から反射された音響波を用いるものに関するが、それに限定されるものではない。
画面に接触又は近接するスタイラス又は指先の動きを計算機の制御に用いる、接触又は接近に基づくコンピュータディスプレイ画面が公知である。典型的には、画面表面に接触するスタイラス又は指の位置を検出するために、さまざななタイプの圧力センサ、静電センサ、又は光センサが使用される。
非特許文献1は、指の追跡について言及しているが、ディスプレイ表面のための超音波スタイラス位置検出及びカーソル制御システムについても提案している。ユーザが能動電子素子を装着又は保持することが必要なシステムも提案されている。しかしながら、このようにユーザが物体を装着又は保持することを要求するシステムはいずれも、必然的に、いくぶん面倒で不便になる。
ディスプレイ表面上の音響インパルス又は音響波を使用し、ポインティングデバイスに音を当てて送信機から受信機への音の伝搬時間を測定することにより、簡単な受動のスタイラス又は指先の位置を決定する装置も提案されている。このようなシステムは、画面に接触しているポインティングデバイスを検出するように構成可能であるが(タッチスクリーンモード)、画面表面に接触することなく近接しているポインタを検出するように使用してもよい(近接モード)。
ディスプレイ画面に直に隣接している入力を追跡するのではない、他の指入力追跡システムが開示されている。例えば、ゲートウェイ,インコーポレイテッド(Gateway, Inc.)に譲渡された特許文献1では、キーボードのそばの領域における指の動きを用いてその領域から遠隔した画面上のカーソルを制御することができる指入力制御システムが開示されている。セブン・オークス・コーポレーション(Seven Oaks Corporation)に譲渡された特許文献2では、指が移動できるフィールドと画面との間のマッピングが1対1のスケールになっていないといえる他の指入力システムが開示されている。
米国特許第6,313,825号明細書。 米国特許第5,059,959号明細書。
"Ultrasonic Cursor Position Detection", IBM Technical Disclosure Bulletin, Vol. 27, No. 11, April 1985。
しかしながら、本願出願人が認識しているところによれば、エコーに基づく指先追跡システムは、特に追跡ゾーンが手のサイズよりも大きい場合に、スタイラス又は他の付属物を必要とするシステムよりもずっと便利である(指先は比較的細かい制御を行うことができる)ものの、大きな欠点がある。それは、これらのシステムが、ユーザの手の他の部分が指先と間違えられ、結果的として制御下の装置への誤った入力をもたらしがちであるということに起因して不正確になる傾向があるということである。
さらに、本願出願人が理解しているところによれば、追跡ゾーンのサイズが増大するとこの問題も大きく増大する。例えば、典型的な手よりも大きな追跡ゾーンでは、このことが強く関連している。
本発明の目的は、少なくともいくつかの態様において、この問題に対処することにある。
本発明は、第1の態様によれば、予め決められたゾーン内におけるユーザの手の目標部分の位置を決定する装置を提供する。上記装置は、位置決定信号を送信及び/又は受信する複数のトランスデューサを備え、上記複数のトランスデューサは、上記予め決められたゾーン内における上記手の目標部分の任意の位置に関して、少なくとも2組の送信トランスデューサ及び受信トランスデューサのペアであって、上記ペアのうちの送信機から上記ユーザの手の目標部分を経由して上記ペアのうちの受信機に至る上記位置決定信号の合計伝搬時間が所定の点集合に往復する等価な合計伝搬時間より短くなるようなペアが存在するように配置される。上記点集合は、上記手の目標部分から所定の最小間隔よりも離れているが、上記装置の最近接点から、例えば画面又は他の面から、上記手の目標部分の位置までの距離と少なくとも同じ距離だけ上記装置の最近接点から離れている、上記予め決められたゾーン内におけるすべての点を含む。
本願出願人がまず理解するところ、従来技術に係る指先の位置決定/追跡システムでは、送信機及び受信機のレイアウトによっては、一部の送信機/受信機のペアの場合に、実際に指先が装置、例えば画面又は他の面に関して最も装置側にある手の部分であったとしても、指先以外の手の部分が最も近接した場所又はオーバーラップした場所として検出されるような状況を生じさせることがある。このことは、図1〜図3に示す例によって説明される。
図1は、前述の問題点を呈する指入力追跡システムの正面投影図を示す。この装置は、グラフィカルユーザインターフェースを表示するための、フレームBの境界によって包囲された矩形フラットパネルLCD画面を有する。フレームには、超音波送信機Cと、フレームBの各コーナーに1つずつある4つの超音波受信機D,E,F,Gとが設けられる。
図2は、ユーザの手Hの位置決定を行うことによってユーザが図1のシステムを対話的に操作する場合を示す。このシステムは、チェックボックス、カーソル、又はポインタのようなユーザインターフェース要素をアクティブにしたり、選択したり、さもなければ制御したりするために、ユーザの伸ばした人差し指の先端Iを追跡するためのものである。ユーザの指先Iが画面Aの垂直な中心線の上又は近くに位置しているとき、システムは、4つの受信機D,E,F,Gのそれぞれに関して取得された超音波伝搬時間情報を用いて、指先Iの位置を決定することができる。送信機Cによって放射された超音波インパルスの一部は、破線で示すように、まっすぐに指先Iに伝搬する。次いでこれは指先で反射され、破線で示すように、エコーの一部が受信機D,E,F,Gのそれぞれにおいて受信される。ここでは、左上の受信機D及び右上の受信機Eのみが「見えている」。送信機Cから指先Iを経由して各受信機に戻るインパルスの合計伝搬時間に関する情報と、空気中の音速の知識とを用いて、楕円の交点に基づく公知の方法により、空間における指先の位置を決定することができる。
図3も、ユーザが同じシステムを対話的に操作する場合を示す。ただし、この例では、ユーザの指先が画面Aの左側にさらに寄っていることに起因して、システムが指先の正しい位置を決定することができない。その理由は、左上の受信機D及び左下の受信機F(図3には示さず)に関して、送信機から受信機への伝搬時間によれば指先は送信機及び受信機に最も近接した反射物であるが、このことは右上の受信機E及び右下の受信機G(図3には示さず)に関してはもはや成り立たず、合計伝搬時間によれば、ユーザの人差し指の指先Iよりもユーザの小指の付け根の関節Jの方がこれら2つの受信機に近接しているからである。従って、受信される最初のエコーは、人差し指の指先Iからのものではなく、小指の付け根の関節Jからのものである。しかしながら、システムは、右側の受信機が指先Iからのエコーを正しく受信していないということを決定することができず、従って、不正確な位置決定をもたらすか、又は、4つの受信機D,E,F,Gのタイミングを一致させることができず、このため、エラーを返す。
しかしながら、本発明によれば、複数のトランスデューサの配置によって、これらのトランスデューサがその全体として、トランスデューサのうちの1つ又は1組のトランスデューサのペアにもっと近接しているかもしれない(最も近接した部分から最小間隔だけ離れている)手の他の任意の部分から、手の実際に最も近接した部分を区別できるようになる。このような配置によって、指先がアクティブ領域内のどこにあるときであっても、目標の指先と他の任意の物体とを区別できるように、指先まで妨げのない「見通し線」を有する少なくとも2組の送信機/受信機のペアが存在することになる。これにより、これら2組のペアからの伝搬時間情報を、指先の位置決定を少なくとも2次元で行うために使用できるようになる。当然ながら、前述の基準を満たすもっと多数の組のペアが存在するように、さらに多数のトランスデューサを用いることができる。これによれば、例えば3次元の位置決定を行うことができる。本明細書の文脈で用いるときの用語「見通し線」は、例えば自動ロボット監視又はビデオ追跡システムにおいて「妨害問題」として理解されるものとは異なっているということが以下の説明により明らかになるであろう。本明細書で説明する「見通し線」問題は、角度分解能が低いか又はまったく持たない距離測定システムに特有かつ固有である。一方、カメラは優れた角度分解能を有する。距離に基づく人の指の追跡の文脈において生じる「見通し線」問題は、むしろ、もっと古くからある一般的な「見通し線」問題に加えて、使用するセンサのタイプにかかわらず生じる。
本発明は、他の態様によれば、予め決められたゾーン内におけるユーザの手の目標部分の位置を決定する装置を提供する。上記装置は、位置決定信号を送信及び/又は受信する複数のトランスデューサを備え、上記複数のトランスデューサは、上記手の目標部分が上記ゾーンのエッジ部に最も近接した上記手の部分であるときはいつでも、少なくとも1組の送信機及び受信機のペアに関して、上記送信機から送信されて上記手の目標部分によって反射されて上記受信機によって受信される位置決定信号の最大伝搬時間が、上記手の目標部分から予め決められた距離だけ離れた上記手の部分によって反射された位置決定信号の最小伝搬時間よりも、少なくとも所定のしきい値時間だけ短くなるように配置される。
一部の好ましい実施形態、例えば測定を行うために単一のインパルス応答サンプルを用いる実施形態では、上記しきい値時間は、システムの帯域幅とシステムのサンプリング周波数との積の逆数に等しい。ここで、上記帯域幅は、出力及び入力信号において使用される利用可能なスペクトラムの比として定義される。例えば、0〜24kHzの周波数応答を有する帯域通過フィルタが、0〜48kHzの周波数応答を有する信号に適用される場合、帯域幅は0.5になる。全周波数が確保される場合、帯域幅は1として定義される。
目標物は、追跡のために十分に明確な部分を有する物体であって、所望の制御を行うために十分に細かく動かすことができる任意の物体であってよい。それは、例えば、スタイラス又は他の人工物を含むことができる。しかしながら、長所として、少なくとも好ましい実施形態では、このような人工物は必要とされず、単なる伸ばした指、例えば親指又は人差し指を追跡することができる。
指定される最小間隔の選択は、手又はポインティングに使用される他の物体の寸法に基づいて、また特に、追跡される部分、例えば指先と、従来技術の構成においてシステムを混乱させる可能性があった他の任意の物体の部分、例えば関節との間の距離に基づいて行われる。これは、おおざっぱに言うと、トランスデューサのレイアウトの(固有の位置決定の分解能と対比される)「形状の分解能」とみなすことができる。好ましくは、指定される最小間隔は2cm未満であり、好ましくは1cm未満である。好ましくは、これは1mmより大きく、好ましくは5mmより大きい。
2組のトランスデューサのペアは、別個の送信機及び受信機を両方含んでいてもよい。しかしながら、送信機及び受信機のいずれかを2組のペアの間で共用することもできる。ペアの数が増大すると、それらの間で送信機及び/又は受信機を共用する可能性も増大する。
送信機は、受信機と別個のものであってもよく、又は、エネルギーの放射及び受信をそれぞれ行うように構成された同じ物理的構成要素を備えていてもよい。
本システムは、光又は他の電磁信号及びトランスデューサを用いることができる。好ましい実施形態のセットにおいて、トランスデューサは音響トランスデューサであり、好ましくは超音波トランスデューサである。超音波信号は20kHzよりも高い周波数を有し、好ましくは30kHzより高い周波数を有する。一部の実施形態では、周波数は35〜45kHzの範囲にあってもよい。他の実施形態では、周波数は高ければ高いほどよい。従って、他の1組の実施形態では、周波数は50Hzよりも高く、又は、例えば100〜200kHzの間のように、100kHzよりも高くてもよい。送信機は、連続信号又は離散インパルスを送信するように制御されることが可能である。信号は、単一の周波数を備えてもよく、又は複数の周波数を備えてもよい。
本装置は、伝搬時間を測定して計算するように適切にプログラミングされたプロセッサなどの手段を備えてもよい。それに代わって、データ出力を提供して(有線及び無線のいずれか)、他のプロセッサ、例えばPC中のプロセッサにそのような計算を実行させてもよい。各組のペアに係る信号の伝搬時間に関する情報を決定するように動作するプロセッサ手段には、好ましくは、タイミング手段が接続される。
本願出願人が認識しているところによれば、本発明に従って送信機及び受信機を注意深く配置することにより、比較的少数の送信機及び受信機を用いたときであっても、指と手の間の曖昧さについての問題(又は同様の問題)を解消することができる。多数の送信機及び/又は受信機を設けることは、多くの消費者向け電子装置において重要なファクタである装置の価格を上昇させるので、上述のことは現在有益であると考えられる。特に、マイクロホンは比較的に安価であるかもしれないが、入力(受信機)チャネルの個数が大きく、従ってアナログ/ディジタル(A/D)変換器の個数が大きい場合には、ARMプロセッサなどの標準的な低コストプロセッサでシステムを実装することは困難になる。このようなマルチチャネルシステムを実装することは、より高価なFPGAなどのソリューションを必要とする可能性がある。
しかしながら、本願出願人が認識しているところによれば、このことは、現在又は将来における一部の用途では重要性が低い可能性があり、従って少数のトランスデューサを用いることは本質的ではない。
本システムは、すべての受信機で受信されるすべてのエコーに関して伝搬時間情報を計算するように構成されてもよい。それに代わって、反射されて受信された信号のうちの一部のみについてこのような計算を実行するように構成されてもよい。このことは、特に、本装置がもっと多数の送信機及び受信機を有する場合に最も適切である可能性があるが、必須ではない。例えば、本システムは、予め決められたゾーンの部分集合を定義し、目標物が位置した部分ゾーンに関連付けられた受信機及び/又は送信機を処理するように構成されてもよい。本発明のすべての態様の好ましい実施形態では、装置又はシステムは、位置測定に用いるために1組以上の送信機及び受信機のペアを選択するように構成される。言い換えると、一部の実施形態において、本装置は、追跡に必要とされるものよりも多数の組の送信機及び受信機のペア、すなわちチャネルを備える。チャネルのうちの一部のみが、物体の追跡又は位置決定に使用される。これにより、最良の結果をもたらすもののみを用いることができる。
どの組の送信機及び受信機のペア/チャネルを用いるのかについての決定は、例えば、物体の近似的な位置についての知識、例えば以前に計算された位置と運動の速度及び方向とから導出されるか、又は実際には他の任意のアルゴリズムから導出される位置についての知識に基づくことができる。しかしながら、一部の好ましい実施形態では、各組のペア/チャネルについて結果が取得され、比較され、最良のものが選択される。1組の実施形態において、本装置は、あるチャネルがユーザの手の目標部分と手の残りの部分との間で予め決められた区別をもたらすか否かを決定するように構成される。一部の実施形態では、例えば、本装置は、各組の送信機及び受信機のペアからインパルス応答を計算し、どのインパルス応答が手の目標部分に対応するインパルス応答と手の残りの部分に対応するインパルス応答との間で最良の分離又はしきい値を満たす分離をもたらすかという基準に基づいて、どれを用いるのかを決定する。
本発明は、別の態様によれば、物体の運動を追跡する装置を提供する。上記装置は、送信機及び受信機をそれぞれ備え、複数のチャネルを間に定義する複数のトランスデューサと、上記チャネルのうちの部分集合を選択して上記運動を計算する処理手段とを備える。追跡は、上記送信機から送信され、上記物体によって反射され、上記受信機まで伝搬する信号の伝搬時間を測定することによって実行可能である。
前述のように、選択は任意の適切な方法で行うことができる。1組の実施形態において、本装置は、あるチャネルが上記物体と干渉する反射物との間に予め決められた区別をもたらすか否かを決定するように構成される。一部の好ましい実施形態では、本装置は、上記チャネルのうちの少なくとも一部のインパルス応答を計算するように構成され、上記選択は、上記物体に対応する所定のチャネルのインパルス応答の一部をそのチャネルのインパルス応答の残りの部分から区別可能な程度に基づいて行われる。当然ながら、複数の選択技術を混合させたものを用いることもできる。
本発明の前述の態様のうちの任意のものに係る1組の実施形態において、あるチャネルの送信機から物体を経由して当該チャネルの受信機に至る信号の合計伝搬時間が所定の点集合に往復する等価な合計伝搬時間より短い場合、当該チャネルが追跡のために選択される。上記点集合は、上記物体から所定の最小間隔よりも離れているが、装置の最近接点から、例えば画面又は他の面から、上記物体までの距離と少なくとも同じ距離だけ上記装置の最近接点から離れている、上記予め決められたゾーン内におけるすべての点を含む。
手の全体を粗く追跡するのではなく、手の目標部分を追跡するために複数のチャネルが選択的に使用される場合には、1組の好ましい実施形態では、本システムは、各チャネルの受信されたインパルス応答を調べることにより、どのチャネルが良好な指/手の分離を有するのかを認識する手段を備える。手の指と他の部分とにそれぞれ関連付け可能な2つのピーク又は信号先頭部が存在する場合、本システムは、このインパルス応答の特定のチャネルが「クリア」である、すなわち妨害されていないと判断することができる。
本発明は、他の態様によれば、物体の運動を追跡する装置を提供する。上記装置は、上記物体に信号を送信する送信機と、上記物体からの上記信号の反射を受信する受信機とを備え、上記送信機及び上記受信機はともにチャネルを定義する。上記装置はさらに、上記受信機からのインパルス応答を計算する手段と、上記物体と他の反射物とにそれぞれ対応する上記インパルス応答の2つの別個のピーク又は信号先頭部を識別し、上記識別が行われたとき、上記チャネルが上記物体が妨げられていない視界を有するということを示す手段とを備える。
1組の好ましい実施形態において、本装置は、本発明の第1の態様に係る手の目標部分の近接基準を満たす1組の送信機及び受信機のペアに、特定のチャネルが関連付けられているということを決定するように構成される。言い換えると、本装置は、与えられたチャネルがクリアである、すなわち、追跡されている手の目標部分と、手の残りの部分などの他の近接した反射物との間のTOFオーバーラップによって妨害されていないということを決定する。このことは、例えば追跡のためにどのチャネルを選択するのかを決定する際に有用である。
追跡のためには少なくとも2つのクリアなチャネルが必要であり、より典型的には3つ必要である。一部の実施形態では、本装置は、予め決められた個数のチャネルが「クリア」であること、例えば、手の目標部分又は他の物体を手の残りの部分又は他の潜在的に妨害となる反射物から区別する予め決められた基準を満たしていること、又は手の目標部分の近接基準を満たしていることをユーザにフィードバックする手段を備える。このようなフィードバックは、例えばディスプレイ画面上のカーソル又はアイコンの形状又はサイズを変化させる、可視のものであってもよく、又は可聴のものであってもよい。システムが指の位置の検出又は追跡の準備ができていること、又は実行可能であることをユーザに知らせてもよい。予め決められた個数のチャネルが「クリア」ではない場合、本装置は、エラーを発生するか、単に動作しないか、又は他のモードに変化するように構成されてもよく、例えば、システムは、例えば手全体の粗い身振りの動きを追跡するなど、精度を下げて追跡するように構成されてもよい。
このような構成は、それ自体、新規性及び進歩性を有するものであるが、他の態様によれば、本発明は、ユーザの手の目標部分の位置を決定する装置を提供する。上記装置は、複数組の送信機及び受信機のペアと、上記目標部分までの距離を決定するための予め決められた基準を満たすのは上記複数組の送信機及び受信機のペアのうちのいずれであるのかを決定する手段と、上記基準を満たす送信機及び受信機のペアの組の個数に依存して、上記装置が上記目標部分を追跡できることを上記ユーザにフィードバックする手段とを備える。
前述したように、本願出願人が理解するところによれば、より多数の受信機を有する場合、指と手の間で混同が生じる問題を低下させる利点を有するが、特に必要となるアナログ/ディジタル変換に関してコストを上昇させることになる。
1組の実施形態において、本装置は、複数の受信機と、上記受信機のうちの2つ以上から信号を選択的に受信できるように構成された少なくとも1つのアナログ/ディジタル変換器とを備える。これにより、複数の受信機が1つ又は複数のアナログ/ディジタル変換器を共用し、上記変換器は必要なときに所定の受信機によって受信された信号を変換することに使用されるだけなので、本装置は、受信機よりも少ない個数のアナログ/ディジタル変換器を持つだけでよい。1つの実施例では、1組の受信機(例えば8個の受信機)のうちの1つからの出力は、利用可能なオンチップ又はオフチップのA/D入力チャネル(例えば合計で4個のチャネル)のうちの1つにスイッチング可能であるように接続される。
本発明は、他の態様によれば、物体の運動を追跡する装置を提供する。上記装置は、上記物体に信号を送信する少なくとも1つの送信機と、上記信号が上記物体から反射された後に上記信号を受信する複数の受信機とを備える。上記装置はさらに、上記受信機のうちの2つ以上から信号を選択的に受信できるように構成された少なくとも1つのアナログ/ディジタル変換器を備える。
複数のA/D変換器を共用することは、多数の方法で実施可能である。その1つは、決まったスケジュールに従って、複数のA/D入力に対して異なる受信機の出力をローテーションさせることである。8個の受信機と4個の変換器とがある前述の実施例の場合、4個のA/D変換器に最初に受信機1〜4が接続され、次いで受信機5〜8が接続されてもよく、又は、例えば最初に受信機1,2,3,4,に接続され、次いで受信機2,3,4,5に接続される、などのように、ルーティングは段階的に変更されてもよい。このことは、各受信機の時間的な更新レートを低下させる効果を有するが、手の目標部分をより多数の視点から観測することになる。
他のアプローチは、1つ又は複数のA/D入力への複数の受信機出力のルーティングを、適応的に、例えば、手の目標部分に係る以前の位置推定値に基づいて行うことである。例えば、指の位置が追跡ゾーンの左上のコーナーであると決定され、かつ上記ゾーンの中心に向かって運動していると決定されている場合、以前のステージの追跡で使用された受信機であって、左上のコーナーに良好な視界を有している可能性がある受信機、例えば受信機1,2,3は、例えば中心に最良の視界を有するマイクロホン2,3,7によって置き換えられなければならないであろうことがわかる。
複数の受信機間で少数のA/D変換器を共用する上述のアプローチは、当然ながら、送信側でも同様に有効であり、すなわち、同期して又は順番に動作する複数の送信機を有し、ディジタル/アナログ(D/A)変換器の出力を複数の送信機に選択的及び/又は適応的に接続することで実施可能である。
本発明の好ましい実施形態において、本システムは、手の部分又は他の物体の運動を追跡するために使用される。1組の実施形態において、追跡された運動は、ディスプレイ画面上の選択手段の運動を制御するために使用される。
運動を追跡する範囲を含む予め決められたゾーンは、ディスプレイから分離していてもよく、例えば、タッチパッド、タブレットなどに類似した形態であってもよい。しかしながら、1組の実施形態において、予め決められたゾーンは、ディスプレイ画面の領域の少なくとも一部を含み、好ましくは全部を含む。これにより、本発明の実施形態は、従来のタッチスクリーンに関連付けられた欠点なしに、タッチスクリーンをエミュレートすることができる。これは、現に、実際のディスプレイを変更することを一切必要とせず、タッチスクリーンによって提供されるものと同様の機能を可能にし、これにより、ディスプレイ画面を備えた既存の製品に容易に組み込むことができる。1組の有利な実施形態では、アクティブ領域は、ディスプレイ画面の少なくとも1つのエッジ部を超えて延在する。このことは、装置の物理サイズを増大させる必要なくユーザによる装置の対話的操作を容易にするので、小さな画面を有するモバイル装置において特に有用である。
一部の実施形態、例えば前述のタッチスクリーンエミュレータ又はタッチパッドの実施例では、本システムは、物体を2次元で追跡するように構成される。しかしながら、他の実施形態では、本発明の基準を満たす少なくとも3組の送信機及び受信機のペアを有することで、3次元の追跡を実行可能である。このことは、例えばコンピュータゲームを制御するさいに、より有用である可能性がある。
予め決められたゾーンがディスプレイ画面又は他の物理面の部分を含む場合、この面は制御面とみなすことができる。制御面は、この面の前において運動を認識又は追跡することができるような面として理解されるべきである。この面は必ずしも実際に接触される必要はない(ただし、接触される場合を除外するものではない)。より典型的には、運動は、面に近接するが面に接触することなく行われる。1組の好ましい実施形態において、本発明の装置は、周縁部の周りに配置された少なくとも4つのトランスデューサを有する制御面を備え、上記トランスデューサは、少なくとも1つの送信機と少なくとも1つの受信機とを備え、これにより少なくとも3組の送信機及び受信機のペアを定義する。上記トランスデューサは、各組のペアの送信機及び受信機の間の離隔距離が、上記制御面の最短の辺の長さの少なくとも4分の1になるように構成される。
このように各チャネルの送信機及び受信機の間に最小間隔を保証することにより、本発明の第1の態様で特定された条件を満たすことができる。すなわち、少なくとも2組の送信トランスデューサ及び受信トランスデューサのペアであって、上記ペアのうちの送信機から上記ユーザの手の目標部分を経由して上記ペアのうちの受信機に至る上記位置決定信号の合計伝搬時間が所定の点集合に往復する等価な合計伝搬時間より短くなるようなペアが存在し、上記点集合は、上記手の目標部分から所定の最小間隔よりも離れているが、上記制御面の最近接点から上記手の目標部分の位置までの距離と少なくとも同じ距離だけ上記制御面の最近接点から離れている、上記予め決められたゾーン内におけるすべての点を含む。
本発明は、物体を追跡する装置に拡張される。上記装置は、周縁部の周りに配置された少なくとも4つのトランスデューサを有する制御面を備え、上記トランスデューサは、少なくとも1つの送信機と少なくとも1つの受信機とを備え、これにより少なくとも3組の送信機及び受信機のペアを定義する。上記トランスデューサは、各組のペアの送信機及び受信機の間の離隔距離が、上記制御面の最短の辺の長さの少なくとも4分の1になるように配置される。
この構成は特に、上記最短の辺が少なくとも5cmである場合、例えば、7cmより長い場合、10cmより長い場合、15cmより長い場合、又は20cmより長い場合に適用可能である。
上記各組のペアの送信機及び受信機の間の離隔距離は、上記制御面の最短の辺の長さの少なくとも2分の1、又は少なくとも最短の辺の長さの全長、又は最短の辺の長さよりも長くすることができる。上記制御面は、矩形、正方形、又は他の任意の形状にすることができる。例えば、上記制御面は円形又は楕円形にすることができ、この場合、最短の辺と呼んでいる箇所は、直径又は短軸と読みかえる必要がある。
好ましくは、トランスデューサは、一方のタイプの1つのトランスデューサ(送信機又は受信機)と、他方のタイプの3つのトランスデューサとを含む。
すべてのトランスデューサが、画面の1つの辺に沿っていてもよい。すなわち、送信機及び受信機のペアのいずれの組も、制御面の一部にまたがるように設けられることはない。しかしながら、他の実施形態では、すべてのトランスデューサが同じ辺に沿っているのではない。この場合、本願出願人が発見したところによれば、同じ辺に沿ったトランスデューサは、互いにあまり近接しすぎるべきではない。特に、送信機が送信するように構成された最低周波数信号の波長の少なくとも2分の1だけ離隔して、同じタイプの少なくとも2つのトランスデューサ(すなわち、2つの送信機又は2つの受信機)が設けられるべきである。この離隔距離は、波長全体より長くてもよく、又は2波長よりも長くてもよい。これにより、当該技術において理解される用語の意味において、トランスデューサはアレーを形成するのではないということが明らかになる。好ましくは、2つのトランスデューサは、制御面の最短の辺の長さの少なくとも10%に等しい長さだけ離隔され、例えば20%よりも長い長さだけ離隔され、例えば30%よりも長い長さだけ離隔される。ここで、実際に確立されるのは「近傍界」を追跡する状況であることがわかるであろう。複数のトランスデューサは、相対的な時間差のみを用いて動作面に沿った物体の位置を決定できるようにするために十分に離隔される。このことは、トランスデューサシステムに十分なベースラインが存在しない限り不可能である。平面内の位置は相対的な時間差のみを用いて確定可能であるのに対して、垂直方向の位置のオフセットは信号の絶対的なタイミングを用いて確定され、これら2つを組み合わせて3次元の位置を生成する。
前述の装置の好ましい実施形態では、各組の送信機及び受信機のペアによって定義されるチャネルのすべてが、物体を追跡するために使用される。
信号と、従ってトランスデューサとは、光学的なものであってもよいが、好ましくは音響的なものであってもよく、さらに好ましくは超音波のものであってもよい。本願出願人が認識したところによれば、音響によるシステムでは、光学ベースのシステムのように信号が狭い視野に制限される場合よりも広い領域にわたってカバーするように信号が広がって伝搬可能であるので、位置決定及び追跡のためには音響によるシステムが有益である。このことは、完全に平坦な面を必要とするモバイル装置及び固定装置の両方の厳密な現代の画面設計の要件に適合するので、特に価値がある。ただし、典型的には、トランスデューサは一様な角度方向の送信/受信パターンを持たない。従って、好ましい実施形態では、送信機によって送信される信号又は受信機によって受信された信号には、上記送信機又は受信機の指向性パターンを補償する逆フィルタが適用される。
これは、非接触追跡の用途において物体を干渉物から識別する新規な方法であると確信する。従って、本発明は、別の態様によれば、予め決められたゾーン内における物体の運動を追跡する方法を提供する。上記方法は、送信機から音響信号を送信することと、上記信号が上記物体から反射された後に上記信号を受信機において受信することと、上記送信機による送信の前及び/又は上記受信機による受信の後に上記信号に逆フィルタを適用して上記送信機及び/又は受信機の性能の指向性変動を補償することとを含む。
一部の好ましい実施形態では、送信信号の周波数スペクトラムは、増強又は抑圧することが望ましい伝搬方向に対応する周波数を増強又は抑圧するように変更される。例えば、これによれば、物体が存在していると期待される伝搬方向に強い周波数成分を含むように送信信号を変更することにより、又は逆に、「干渉」物が存在していると期待される方向に周波数成分をほとんど持たないか又はまったく持たない信号を放射することにより、存在しうる物体がどこに位置していると考えられるかということに関する事前の知識を考慮できるということになる。
逆フィルタは、周波数領域でも時間領域でも等しく良好に導出することができ、周波数領域では、さまざまな周波数のさまざまな重み付けを用いて導出可能であり、時間領域では、さまざまな方向のエコーのフィルタリングを「逆マッピング」する目的を果たす一般形式の逆行列、すなわち必ずしもテプリッツ行列ではない行列として実装可能である。フィルタリングは、信号の包絡線上で実行されてもよく、又は、連続した複数の周波数帯の包絡線上で実行されさえしてもよい。特に、複数の物体が一部の周波数サブバンドにおいて同様の又は等しい反射能力を有する場合、これは、システムのクロスレンジ分解能を増大させるために使用可能である。逆フィルタは、線形である必要はなく、線形手段によって計算される必要もない。例えば、それらは、情報理論的アプローチ及びエントロピーの尺度を用いて分離及び/又は情報内容を最大化する学習関数を含む、ニューラルネット又は遺伝的アルゴリズムを用いて適応的に計算可能である。最後に、フィルタリングは、送信機側及び受信機側の両方において同時に実行可能であり、また、反射物自体による逆フィルタリングのステップさえ含んでいてもよく、この場合、例えば、物体を所定の角度に傾斜させ、これにより信号に非線形の位相遅延を導入し、そうしなかった場合に比べて鋭くさせる。製品によっては、物体の向きを計算することもできる。
本願出願人が理解するところによれば、トランスデューサの指向性特性は、信号が物体から反射された前又は後における信号の向きを考慮できることにより物体の追跡をもっと正確にすることができるので、実際には肯定的に評価される特徴である。実際に、一部の実施形態では、指向性は意図的に向上されている。1組の実施形態において、トランスデューサのうちの少なくとも1つ又はその筐体は、トランスデューサの指向性を向上させるように構成される。このことは、例えば、無変更かつ無筐体の円形トランスデューサによって達成されるものよりも低い角度方向の対称性をもたらす。1組の実施形態において、前述のトランスデューサは、指向性を向上させるために、標準的なトランスデューサ及び/又は円形ではないトランスデューサよりも大きくされる。
他の1組の実施形態では、指向性を付加するために、信号又は反射の経路に散乱構造物が設けられる。散乱構造物として使用可能なさまざまな異なる構造物が存在する。限定するものではないいくつかの例として、不規則的な開口のアレーを備えたパネル、一連の不規則な突起もしくは管、又は、本体を通過する1つ以上の不規則な通路、不規則な出口のパターンに至る一連の規則的な突起もしくは管、又は、不規則な出口のパターンに至る一連の不規則な突起もしくは管、がある。
本発明は、他の態様によれば、物体への方向を決定する方法を提供する。上記方法は、
上記物体に向けて信号を送信することと、
上記物体からの上記信号の反射を受信することと、
上記受信された信号をディジタル的に解析して上記物体への方向を決定することとを含み、
上記送信された信号又は上記反射された信号は、上記信号又は反射を伝搬方向の関数として変更するように構成された散乱構造物を通過する。
本発明の態様は、物体への方向を決定する装置に拡張される。上記装置は、
上記物体に向けて信号を送信する送信機と、
上記物体からの上記信号の反射を受信する受信機と、
上記送信された信号又は上記反射された信号が通過するように配置され、使用時に上記信号又は反射を伝搬方向の関数として変更するように構成された散乱構造物と、
上記受信された信号をディジタル的に解析して上記物体への方向を決定する手段とを備える。
好ましくは、上記変更は、インパルスの振幅、周波数及び位相のうちの少なくとも1つに影響するが、当然ながら、これらのうちのいくつかに影響する可能性がある。好ましくは、信号は音響信号であり、好ましくは超音波信号である。
都合のよいことには、上記関数は、空間において不規則に分布及び/又は方向付けられた複数の方向のそれぞれについて一意的な値を有する。上記受信された信号を解析して上記方向を決定するステップは、好ましくは、上記受信された反射に上記関数の逆関数を適用することを含む。これにより、放射されたインパルスの指向性特性についての知識を用いることにより、物体の位置に関する情報を取得することができる。この情報は、上記物体の位置を正確に決定するために伝搬時間決定から必要とされるはずであった情報量を削減するために使用可能である。
上記関数は、モデリングによって決定されてもよく、それに代わって、学習フェーズにおいて経験的に決定されてもよい。これは、結果的に得られる処理された信号記録の全体的な可視性及び/又は分離性に関する1つ以上のコスト関数を最適化することで、「ブラインド推定」により、すなわち、事前の学習なしに決定することもできる。
1組の可能な実施形態において、上記散乱構造物は、複数の開口を備える。好ましくは、上記開口の寸法は1cm未満であり、より好ましくは1mm未満である。40kHzの超音波は空気中で約8mmの波長を有し、従って、孔は、低周波の超音波の波長に比較して相対的に小さい。好ましくは、上記複数の開口は、使用時に音波の点波源放射器として個別に機能するが、それらの組み合わせでは機能しない。
他の1組の実施形態では、上記散乱構造物は、上記トランスデューサの信号経路に設けられた複数の細長い突起を備える。前述した2組の実施形態は相互に排他的なものではなく、突起は、例えば、その長手方向に沿って、又は単に中空の管の口に、開口を有してもよい。
他の1組の実施形態において、上記散乱構造物は複数のチャネルを備え、上記構造物は、上記トランスデューサに往復する信号のうちの実質的にすべてが上記構造物のチャネルを通過するように、上記トランスデューサの信号経路に設けられる。好ましくは、少なくとも1つの周波数に関して、上記複数のチャネルは、上記トランスデューサから各チャネルの開口まで測定された異なる信号経路長を有する。上記チャネルは、円筒形状であってもよく、非円筒形状であってもよい。
上記散乱構造物は、ただ1つのトランスデューサに適用されてもよく、又は複数のトランスデューサに適用されてもよい。複数のトランスデューサに適用される場合、これらは送信機であっても受信機であってもよく、そのいずれか又は両方からなる複数のものであってもよい。明らかに、複数の散乱構造物は同じものであってもよく、異なるものであってもよい。複数の散乱構造物を有する好ましい実施形態において、それらの指向性パターンが合成されて合成パターンを生成してもよく、合成パターンは、典型的には、個別のパターンよりも複雑になり、従って、より良好に伝搬方向を識別する。単一の合成逆関数を、経験的に、又は複数の関数から、又は複数の散乱構造物の逆関数から計算することができる。
前述した本発明に係る特に有利な1組の実施形態では、上記散乱構造物は、電子装置、例えば指などの追跡される物体の運動により制御される電子装置の筐体を備える。これにより、1つ以上の目立たない開口が見えているだけで、トランスデューサを装置内に埋め込むことができる。これにより、既存の装置設計において、非接触機能を(ユーザにとっては)ほとんど不可視で一体化できる可能性がもたらされる。
これは、それ自体で新規性及び進歩性を有するものであり、従って、他の態様によれば、本発明は、物体への方向を決定する装置を提供する。上記装置は、
装置本体と、
上記物体に向けて信号を送信する送信機と、上記物体からの上記信号の反射を受信する受信機とを備え、上記送信機及び上記受信機のうちの少なくとも一方が上記装置本体の内部にあり、
上記装置は、
上記装置本体に開口を備え、上記装置本体内の上記送信機又は受信機と通信する散乱構造物であって、上記送信された信号又は上記反射された信号が上記構造物を通過して、使用時に上記信号又は反射を伝搬方向の関数として変更するように構成された散乱構造物と、
上記受信された信号をディジタル的に解析して上記物体への方向を決定する手段とを備える。
好ましくは、上記開口又は上記各開口は、その内側に複数の突起を備え、及び/又は非円筒形状である。
本願出願人が考える本願発明のこの態様及び他の態様に係るさらに有利な実施形態によれば、トランスデューサは、装置の内部に埋め込まれ、装置本体における開口を介して通信する。このような実施形態では、使用時に複数の別個の追跡ゾーンが定義されるように、複数の開口が設けられる。例えば携帯電話機又はPDAでは、例えば正面に設けられた1つの開口又は1組の開口が、装置の正面のゾーン内で追跡するために使用され、これは、装置を保持しているときに装置を操作するために使用可能であり、その一方、第2の1つの開口又は1組の開口が、第2の追跡ゾーンを定義するために例えば側面に設けられ、例えばこれは、装置が机上にあるとき(ゾーンが机の表面にあるとき)に使用可能である。このように、非接触動作が可能な電話機は、任意の面を仮想的なキーボード又はカーソル制御パッドに変えることができる。
他の散乱構造物が使用されたときであっても、この概念はまた、それ自体、新規性及び進歩性を有し、従って、本発明は、他の態様によれば、物体の運動を追跡する装置を提供する。上記装置は、
上記物体に向けて信号を送信する送信機と、上記物体からの上記信号の反射を受信する受信機と、
上記送信された信号又は上記反射された信号が第1の追跡ゾーンに往復する際に通過し、使用時に上記信号又は反射を伝搬方向の関数として変更するように構成された第1の散乱構造物と、
上記送信された信号又は上記反射された信号が第2の追跡ゾーンに往復する際に通過し、使用時に上記信号又は反射を伝搬方向の関数として変更するように構成された第2の散乱構造物と、
上記受信された信号をディジタル的に解析して上記物体の位置及び/又は上記物体への方向を決定する手段とを備える。
前述の実施例における装置本体の開口のように別々の散乱構造物が使用されるが、このことは、各追跡ゾーンのために別々の複数のトランスデューサが必要であることを意味しない。このことは、このような装置の複雑さ、重さ及びコストを削減するので有益である。
より一般的に、本発明の任意の態様によれば、単一の予め決められたゾーン/追跡ゾーン又は制御面のみが存在してもよいが、複数設けられてもよい。これらは互いに同様のものであってもよく、例えばユーザの両手で指の追跡をするための2つのゾーンであってもよい。しかしながら、本願出願人は、さらに有益な構成を発明し、この構成によれば、前述のように追跡を行うために1つのゾーンを使用し、他の運動を検出するために1つのゾーンを使用する。上記他の運動は、典型的には、より限定的なものであり、従って高い信頼性で検出するのがもっと容易なものである。このことは、前述した携帯電話機のテーブルに基づく操作で特に有用になる可能性があるが、その理由は、一方の手を指の追跡に使用することができ、他方を、「クリック」又はジッタを示しうる反復的な動きのような簡単な動きを行うために使用できるからである。
これによれば、同じ装置を用いて指トレースの動きと垂直方向の指の運動との両方を検出しなければならず、平面からはずれた方向では装置の分解能が低下するかもしれないという問題点が回避される。従って、1組の実施形態では、本装置はさらに、第2の予め決められたゾーン内におけるもっと限定的な1組の運動を決定するように構成された少なくとも1つの追加のチャネルを備える。上記第2のゾーンは第1のゾーンとオーバーラップしていてもよいが、好ましくは第1のゾーンとは別個のものである。
これは、それ自体で新規性及び進歩性を有するものであり、従って、別の態様によれば、本発明は、同時に動作可能な第1及び第2のゾーンを定義するように配置された複数の送信機及び複数の受信機を備え、上記第2のゾーン内においては上記第1のゾーン内に比較してより限定された1組の運動が検出可能であるように、各目標物の運動は検出可能である。前述のように、追跡のために一方のゾーンが使用されてもよく、「クリック」、タップ又はジッタなどのジェスチャー認識のために他方が使用されてもよい。
前述した本発明の所定の態様によれば、トランスデューサのレイアウトは、例えば手などのポインティングする物体の誤った部分をポインティングを行う先端部として誤って解釈することを回避するように、注意深く選択される。トランスデューサの個数が増大すると、このことを達成するのはもっと容易になる。本願出願人が理解するところによれば、これの拡張として、追跡ゾーンの1つのエッジ部に沿った複数のトランスデューサからなるアレーが得られる。本願出願人がさらに理解するところによれば、このようなアレーは、大きな複雑化なしに単一の細長いトランスデューサによって置き換え可能である。さらに、音響波とともに使用される場合に細長いトランスデューサが有益であるが、これは、点波源のトランスデューサよりも複雑な指向性パターン(従って、より良好な指向性分離)をもたらすからである。それに加えて、細長いトランスデューサを有することは、少なくともその一部に指の先端が近づく可能性が増大するので有益である。細長い送信機が特に有利であるが、その理由は、本願出願人が理解したところによれば、細長い送信機は小さな点波源のものよりも製造が容易であり、さらに、より大きな電力での送信を可能にして向上した信号対雑音比をもたらすからである。さらに、細長い送信機は、雑音が多い環境において有利になる可能性があるが(例えば、本発明の実施形態に係る2つ以上の装置が互いに近接して位置しているもの)、その理由は、点波源の場合よりも指向性の鋭い音波を生成し、これによりクロストークの可能性を低下させることができるからである。
本発明は、別の態様によれば、物体の位置を決定する装置を提供する。上記装置は、細長い送信機と、少なくとも1つの受信機と、上記送信機と通信する処理手段であって、少なくとも、上記送信機の長手方向に垂直な上記送信機の突起によって部分的に定義されるゾーン内において、物体の位置を決定するように動作する処理手段とを備える。
本発明は、物体の位置を決定する方法に拡張される。上記方法は、細長い送信機から信号を送信することと、上記物体から反射された後に受信機を用いて上記信号を受信することと、少なくとも、上記送信機の長手方向に垂直な上記送信機の突起によって部分的に定義されるゾーン内において、上記物体の位置を決定することとを含む。
このように、上記細長い送信機は、その前方に定義された領域において物体の位置決定を行うために使用される。好ましくは、本装置は、上記細長い送信機によって送信され、上記物体によって反射され、上記受信機において受信された信号の伝搬時間に基づいて上記物体の位置を決定するように構成される。好ましい実施形態では、本装置は、上記ゾーン内において上記物体の運動を追跡する。
一部の好ましい実施形態では、上記細長い送信機は、タッチパッド、又はより好ましくはディスプレイ画面などの平坦な面のエッジ部と平行に延在するように配置され、オンスクリーンの選択手段の運動を制御できるようにする。好ましい実施形態では、上記送信機は、平坦な面に対して完全に同一の面になるように設けられるか、又は、凹部に設けられる。
上記送信機は、曲がっていてもよいが、好ましくはその長手方向の軸に沿って直線状である。後者の実施例では、上記ゾーン内における物体と上記細長い送信機との間の最短の経路が上記送信機に対して垂直になるので、計算が簡単化される。
指に基づくタッチスクリーンエミュレータ、又は信号伝搬時間情報を用いた同様の近接インターフェースシステムに適用される場合、細長い送信機を用いることは、ユーザの手の意図された指先以外の部分が受信機で最初に受信される反射を生じさせる可能性を低下させることができるが、その理由は、指先と細長い送信機との間の信号経路の少なくとも一部に関して、細長い送信機の長手方向に沿ったいずれかの点において指先がユーザの手の最も近接した部分になるだけでよいからである。
一部の実施形態では、第2の細長いトランスデューサも設けられる。これは、上記受信機であってもよく、又は、第3のトランスデューサ(送信機又は受信機)であってもよい。2つの細長いトランスデューサは、互いに平行に設けられてもよく、又は、他の任意の角度で設けられてもよいが、好ましくは、実質的に互いに垂直に設けられる。一部の好ましい実施形態では、1つの細長いトランスデューサは、ディスプレイ画面の上側又は下側のエッジ部に隣接して設けられる一方、第2のものは、左側又は右側のエッジ部に隣接して設けられる。
本明細書で用いる用語「細長いトランスデューサ」は、中心の送信/受信の軸に対して直交する方向のうちの一方の長さが他方の直交する方向の長さよりも有意に長いアクティブ素子(信号を送信又は受信するもの)を含むトランスデューサを意図したものである。例えば、好ましい実施形態では、トランスデューサの長さは、その幅の少なくとも2倍であり、より好ましくは、その幅の5倍よりも長く、より好ましくは、その幅の10倍よりも長い。
先に説明したように、追跡ゾーンのフィールド内における物体と直線状の細長いトランスデューサとの間の最短距離は、垂直線である。この意味するところは、タッチスクリーンエミュレータにおいてこのようなトランスデューサを用いることにより、物体の位置を決定するために必要とされる幾何学的計算、従って必要な処理パワーを簡単化できるということである。伝搬時間の方法を用いて点の座標を決定する際に、少なくとも何らかの楕円に基づく計算を行う必要性を免除することができる。
当然ながら、注意深いトランスデューサの構成によって指と手の間の分離を支援することに関して、細長い送信機と同様に細長い受信機を有することは同じく有益である可能性がある。これらのいずれも、送信機から指を経由して受信機に至る経路のTOFを、点に基づくトランスデューサよりも平均的に短くするという性質があり、このことは、手から指への干渉を回避するので有利である。
少なくとも1つの細長い送信機又は受信機を有するシステムを用いて面上で指を首尾よく追跡するために、奥行き方向の軸に沿った距離を計算できる手段であって、指が移動して追跡面から離れたか否かを検出することに使用可能な手段を提供することが有益である。従って、少なくとも1つの細長いトランスデューサを使用することは、手の目標部分と他の物体との間の分離をもたらすことを目的としたとき、本発明の前述の態様のすべてにおいて好ましい特徴を形成する。好ましくは、3次元の位置決定を可能にするために十分な個数のトランスデューサが設けられ、このように、本発明に係る装置は、好ましくは、「タッチスクリーン」モードを提供するとともに、さらに「3次元」の指の位置決定モードを提供してもよく、有利なことには、これら2つのモードの間で滑らかに切り換え可能にされてもよい。
好ましい実施形態では、物体の位置を3次元で決定できるように配置された、少なくとも3つの受信機が設けられる。このことは、以下の理由により特に有益である。例えば、指の運動を特定の平面内に拘束することなしに指の運動を追跡できるようにする、すなわち、実際上、単なる「接触」システムではなく「非接触」システムを可能にし、また、それと同時に、細長いトランスデューサを用いることは、指のエコー又は反射を手のそれから区別可能であるということを補償できるようにする。実際に、このような構成は、接触に基づくシステムから、同じトランスデューサを用いて指を追跡する非接触のシステムへのシームレスな遷移を可能にする。
これは、それ自体で新規性及び進歩性を有するものであり、従って、別の態様によれば、本発明は、物体の運動を追跡する装置を提供する。上記装置は、位置決定信号を送信又は受信する少なくとも4つのトランスデューサを備え、上記トランスデューサのうちの少なくとも1つは細長い形状を有し、上記各トランスデューサは、上記物体の位置を3次元で決定可能である追跡空間を定義するように配置される。上記装置は、上記トランスデューサのうちの少なくとも3組の送信機及び受信機のペアによって受信された信号を処理して上記追跡空間内における上記物体の位置を決定する手段を備える。
上記追跡空間は、完全に開いた空間、すなわち自由空間であってもよく、又は、一部の実施形態では、上記トランスデューサのうちの少なくとも3つ(典型的には、細長いものを含む)は、タッチパッド(受動的又はディスプレイ形態のいずれか)を定義する物理面と同じ平面になるように設けられてもよい。これによれば、タッチパッドを対話的に操作する際に、従来と同様に操作することと、非接触、すなわち面から離れて操作することとの間でシームレスに遷移することが可能になる。
当然ながら、上記トランスデューサの個数は最小値であり、4つより多くのトランスデューサを用いてもよく、及び/又は、1つより多くの細長いものを用いてもよい。一部の実施形態では、細長いトランスデューサは送信機であるが、これは受信機であってもよい。
手と指をうまく分離する原理に従って、指を追跡可能になるように、ディスプレイ画面に対する指の位置を決定することによりディスプレイ画面用のタッチスクリーン又は近接スクリーンの制御を可能にするための特に有用な設計は、複数組の送信機及び受信機のペアを主に画面を交差する方法で配置することによってもたらされる可能性がある。ここで、画面を交差するとは、言い換えると、各ペアのうちの送信機が当該ペアの受信機に対して画面をはさんで設けられ、このとき、これら2つの間に、画面を2つの部分、例えば実質的に等しい部分に分割するか、又は小さいほうの部分が画面面積の少なくとも10%又は25%又は40%になるように分割する仮想的な直線が存在する。これによれば、より一般的なセンサ構成に対して重要な利点を得ることができる。上述のポイントは、必ずしも画面ではなく、他の任意の制御面に対して同様に適用される。
第1に、送信機から指を経由して受信機に至る経路のTOFは、少なくとも経路のTOFが最短である各組の送信機及び受信機のペアに関しては、指が面に近接しているときであっても、短い。このことは、主に「水平チャネル」又は「垂直チャネル」又は「対角チャネル」又は任意の中間の向きを有するチャネルになるように配置された各組のトランスデューサのペアに当てはまる。この短い「平均TOF」はまた、手の関連するほとんどの向きに関して、指と手の間のTOFにおいて良好な分離を保証する。
第2に、平均TOFが短いことは、少数のインパルス応答タップのみを推定及び/又は使用するだけでよいということを意味する。
最後に、チャネル毎に、すなわち各組の送信機及び受信機のペア毎にインパルス応答の短いセグメントを調べることにより、正確なxyzの追跡を行うことなくても、指の近似的な位置を得ることができる。実際に、これは、チャネルのインパルス応答の少数のタップにおいて物体の存在を単に検出することにより、すなわち、しきい値技術又はエッジ検出技術を用いることにより達成可能である。このことは、減算又は適応フィルタリングにより送信機から受信機への直接経路信号の寄与を除去しながら実行可能である。その存在を検出する検出器は、インパルス応答の特定の部分により大きなエネルギーが存在することを検出することにより、又は、指が送信機と受信機との間においてまっすぐになっている場合には、指による受信機の「隠蔽」を検出することにより、又はこれら2つの組み合わせを用いることにより、動作可能である。
前述した利点のすべては、指の位置を手の位置から分離するように用いられる、注意深いトランスデューサ構成の結果である。最後に説明した画面を交差する設計は、LCDフォトフレーム、GPSシステム、テレビジョン、又はラジオなどの多数の電子装置に適した、従来のタッチスクリーン技術に対する低コストの代替物を提供するために特に有用である。
本願出願人が理解するところによれば、伝搬時間の方法を用いて物体の位置を決定する際に信号経路の混乱が生じる可能性を低下させるための代替のアプローチは、別個の独立した複数のトランスデューサ又は細長いトランスデューサを用いるのではなく、(2次元の)追跡ゾーンを構成するその面又は(3次元の)追跡ゾーンのうちの1つの面を構成するその面のすべて、又は実質的にすべてにわたって受信するように配置された2次元トランスデューサを用いることである。
従って、本発明は、別の態様によれば、物体の位置を決定する方法を提供する。上記方法は、
追跡ゾーンに信号を送信することと、
追跡ゾーンを定義する又は追跡ゾーンのうちの面を定義する受信面において、上記物体からの上記信号の反射を受信することと、
上記信号の伝搬時間から上記物体の位置を決定することとを含む。
本発明は、物体の位置を決定する装置に拡張される。上記装置は、
追跡ゾーンに信号を送信する送信機と、
追跡ゾーンを定義する又は追跡ゾーンのうちの面を定義する受信面を有し、上記物体からの上記信号の反射を受信する受信機と、
上記信号の伝搬時間から上記物体の位置を決定する手段とを備える。
上記受信面は、任意のタイプのもの、例えば専用パネル又は他の面であってよい。しかしながら、好ましくは、上記受信面はディスプレイパネル、例えばディスプレイ画面を含む。これにより、便利かつ目立たない方法で追跡装置をディスプレイと一体化することができる。上記受信面は、複数の信号に対する一体的な感度を有してもよい。すなわち、
上記面がセンサ自体として使用されるか、又は、それに接続された複数の独立したセンサを備えてもよく、これにより、上記面において受信された信号を用いることで、上記面上のどこで信号及び任意の2次エコーが上記面に最初に当たるのかを検出することができる。
好ましくは、物体は人間の指である。
パネルに音波を受信させる技術は公知であり、例えば、このことは、適正な特性を有するガラス又はプレキシグラス(plexiglass)のパネルに超音波信号が当たったときに当該パネルが動かされることで行われる。このアプローチは、タッチスクリーンディスプレイにおいて音響表面波又は曲げ波を用いるアプローチとは対照的なものとして存在しているが、その理由は、特に、波が面自体によって発生されて面自体から放射されるからである。
好ましくは、上記パネルは平坦である。現代の製品設計のニーズを実現する際におけるこのことの重要性は前述した。この場合、受信機が周縁部に設けられる状況とは対照的に、パネル自体によって受信される音響信号は、指先がどこにあろうとも、それが手からパネルへの最短の部分である限りは、送信機とユーザの指先とフラットパネルの受信機との間のTOFがユーザの手の他の任意の部分に係るTOFよりも短くなるTOFを必ず有するということが理解されるであろう。従って、適切に配置された受信機を用いるとき、ユーザの手の意図された指先以外の部分が、画面に最も近接した物体として誤って決定される問題を緩和することができる。
本発明のこの態様に係る一部の実施形態の別の利点は、物体の位置を決定するために必要な計算を簡単化する際に分かる可能性がある。特に、楕円の交点を計算することが必要とされるのではなく、複数の受信機のそれぞれにおけるエコーの到着時間に基づいた三角測量によるアプローチが使用されてもよい。
前述した態様のすべてに関して、任意の1つの態様に係る好ましい特徴は、適切であればいつでも、他の態様のうちの任意のものに等しく適用されてもよい。
本明細書で使用するとき、用語「トランスデューサ」は、送信機又は受信機に関する、又は実際にはこれら両方の機能を実行できる構成要素に関する、包括的な用語である。
参考の目的でのみ示した入力追跡システムの正面投影図である。 図1のシステムの上面投影図であり、ユーザが上記システムを対話的に操作することを示す図である。 図2のシステムの他の上面投影図であり、システムの欠点を説明する図である。 本発明の実施形態に係る、複数のトランスデューサを備えた入力追跡システムの正面投影図である。 図4の実施形態の上面投影図であり、ユーザが上記システムを対話的に操作することを示す図である。 本発明の他の実施形態に係る、細長いトランスデューサを備えた入力追跡システムの正面投影図である。 図6の実施形態の上面投影図であり、ユーザが上記システムを対話的に操作することを示す図である。 本発明の第3の実施形態に係る、複数の細長いトランスデューサを備えた入力追跡システムの正面投影図であり、ユーザが上記システムを対話的に操作することを示す図である。 本発明の第4の実施形態に係る、散乱構造物を有する物体位置決定システムの部分を示す斜視図である。 本発明の第5の実施形態に係る、散乱構造物を有する他の物体位置決定システムの部分を示す斜視図である。 本発明の第6の実施形態に係る、散乱構造物を有する物体位置決定システムの上面投影図である。 本発明の第7の実施形態に係る、テーブル上追跡システムの水平横断面図である。 手の運動を示す一連の図であり、本発明の実施形態の動作をより詳細に説明する図である。 対応する一連のインパルス応答を示す図である。 手の異なる部分を示す図である。 手の複数の部分から反射された信号経路を示す図である。 トランスデューサの指向性パターンを示す概略図である。 本発明の他の実施形態に係る装置の概略図である。 本発明の別の実施形態に係る装置の概略図である。 本発明のさらに別の実施形態に係る装置の概略図である。 本発明の実施形態に係る携帯電話機の概略図である。 本発明の実施形態に係る携帯電話機の概略図である。 設計者が仕様を決定する際に考慮するパラメータを示す図である。 画面の反対側に設けられた送信機2002及び受信機2001を備えた画面を示す図である。
以下、本発明の所定の好ましい実施形態について、添付の図面を参照して、例示としてのみ説明する。
先に説明したように、図1〜図3は、トランスデューサのレイアウトによっては、トランスデューサのアレーに最も近接したユーザの手の部分を正しく識別する際に問題が生じる可能性があり、このことがユーザの指先の運動を追跡しようとする際に問題をもたらす可能性があるという状況を示す。これらの問題は、図13a、図13b、及び図14を参照して以下に説明されるように、インパルス応答イメージを考慮することで理解することもできる。
図13aを参照すると、図の左側に位置している画面に向かってポインティングしている手801が示されている。一連の3つの図にわたって、指は上側に向かいはじめ(802)、次いで最終的には上側をポインティングする(803)。エコーの位置決定の結果に対するこの運動の影響は、図13bの曲線807を調べることで理解できる。これらの曲線は、指がステップ801〜803に示すように移動する場合の場面の記録の「インパルス応答イメージ」を表す。
インパルス応答イメージは、所定時間にわたってシステムのインパルス応答をサンプリングしたものである。「インパルス応答」は、あるインパルスがシステムに印加されたときのシステムの応答として定義される。この場合、インパルス応答は、送信機から送信され、指及び手の残りの部分によって反射され、次いで受信機によって受信されたインパルス信号の記録された影響である。インパルス応答はまた、ディラックパルス以外の信号がシステムに印加される場合には、相互相関又は逆演算の技術などの他の手段により計算することもできる。
h(t,s)を、時刻tの周囲でサンプリングされた遅延sにおけるインパルス応答を示すものとする。典型的には、tは所定間隔で、例えば120Hzでサンプリングされ、記録されるタップ数は100〜200の間である。ここで、インパルス応答イメージは次式により正確に定義することができる。
Figure 0005615270
ここで、[i,i]は、イメージが生成される時間スナップショットの区間を示し、Δtは、連続したインパルス応答の記録の間の時間間隔を示し、[j,j]は、調べる対象であるインパルス応答におけるフィルタタップインデックスの区間を示し、fは、システムのサンプリングレートを示す。t及びsはそれぞれ、時間及びフィルタタップインデックスのサンプリングの初期値である。図13bに、この行列に係る曲線を曲線807の連続したものとして示す。このイメージでは、所定の距離にある反射物から生じるエコーを線で示す。物体が静的である場合には、この線は直線になり、移動している場合には、曲線の動きは、送信機及び受信機のペアに対する反射物の距離の変化に対応する。非接触の用途においてこれを指の動きにマッピングする場合、手の位置801は対応するインパルス応答804を生じさせ、ここでは、手のエコー809から指のエコー808が良好に分離されている。指が傾きはじめるとき(802)、指のエコー及び手のエコーは互いに接近しはじめる(805)。最後に、指が上側をポインティングしているとき(803)、指のエコー及び手のエコーは互いにオーバーラップし、簡単に分離することはできなくなる(806)。
指が画面の中心から離れて1つの辺に向かって移動するとき、同様の効果が生じる。この場合、一部の組の送信機及び受信機のペアには、指が図13aに示す「上側」の向き803にあるかのように見える。
807に示す曲線は、指が手からまっすぐに伸ばされ、その後、折りたたまれて拳の一部になる動作を表している可能性もある。インパルス応答イメージからこのような動作を検出することは、「クリック」ジェスチャーを検出するために使用可能である。
インパルス応答イメージはそれぞれ、特定のチャネル、すなわち各組の送信機及び受信機のペアに対応する。最初のステップとして、各チャネルからのインパルス応答は、指先と手の残りの部分との間で最良の分離を示すものがどれであるかということに基づいて、1つ以上の「最良」のものが選択されるように比較される。
手と指の間の混同を回避するために、すべての画面又は面がセンサの配置又は選択を必要とするわけではない。携帯電話機のような比較的小さい画面又は面の場合には、複数のセンサをさまざまな方法で直線的及び/又は対称的に配置すること、例えば、送信機及び受信機として交換可能に動作する3つのトランスデューサを用い、1つを上側に配置し、下側のコーナーのそれぞれに1つずつ配置することで、この混同は十分に回避される。画面のサイズが手よりも小さい場合には、指と手の間の混同は、指が画面の外側のポインティングを始めるときにのみ生じる。
与えられた状況において本発明に従って手と指の間の混同を解消するためのステップを実行する必要性が実際にあるか否かについては、容易にテストされる。適切なテストは、動作面、すなわちセンサを配置可能な領域(例えば、画面のフレームなど)と、設計仕様、すなわち、どのような種類の動作がシステムで機能することを許容されるかとに依存する。後者は、通常は、対話的操作の設計者によってされる決定事項であり、例えば、「ユーザは左手と右手のいずれを用いるのかを選択できなければならない」(適当な要件)、又は「システムは、手の残りの部分、すなわち画面に向かってポインティングしている指ではない部分のうちの手のひらが上向き、下向き、又は横向きのいずれであっても動作しなければならない」(もっと厳格な要件)、又は「システムは、指が画面を横向きにポインティングしている場合でも動作しなければならない」(さらにもっと厳格な要件)、又は「システムは、赤ん坊が使っている場合であっても動作しなければならない」(非常に厳格な要件)、などに言い換えることができる。手と指の間の混同の問題が生じているか否かを検出するために、以下のテストを行うことができる。所定の動作面かつ所定のセンサ構成の場合において、所定人数(好ましくは多数)のユーザに、画面のポインティングを、彼らが自然であると考える方法で画面全体にわたって実行させる。一方、対話的操作の設計者は、システムによる処理が要求されるべきではないと彼女が感じる位置からなる集合を観測して除去する。これにより、システムによって処理可能な、1組のポインティング位置と手の姿勢が残る。手の姿勢のうちの1つ以上に関して、システムのチャネルが調べられる場合であって、かつ、指と、潜在的に干渉する他の反射物、例えば他の指、指の付け根の関節、又は手の他のいずれかの部分とに係るTOFのオーバーラップが観測される場合、手と指の間の混同を解消するためのステップを実行する必要がある。特定の例として、設計者は、図21に示す以下のパラメータに値を付与することにより仕様を決定することができる。
・ポインティングする正面の指が動作面に対して有する可能性がある最小距離d0。
・ポインティングする正面の指が追跡されているときに、他の部分、おそらくは干渉を生じさせる指又は手の部分が動作面に対して有することができる最小距離dA。
・ポインティングする正面の指をシステムが追跡しているときに、ポインティングする正面の指を通る軸に対して他の指が有する可能性がある最大半径rA。
・半径rAのまわりの、潜在的に干渉する物体が位置する可能性がある(図示せず)、可能な角度の区間I。
設計者によって選択される仕様は、本発明に係る原理が適用されない場合に手と指の間の混同が生じる程度を決定する。例えば、シミュレーションによれば、5×5cmの画面の場合、最小距離d0=0,dA=4cm及びrA=5cmと、区間I又は任意の可能な角度とを用いた条件では、本発明に係る原理を必ずしも用いなくとも、単に3つのチャネルを設けるだけで手と指の間の混同の問題を回避するようにトランスデューサを配置できることがわかった。一方、シミュレーションによれば、10×10cmの画面の場合、d0,dA,rA及びIに関して同じ仕様の条件を用いたときには、手と指の間の混同の問題を回避する、さもなければ解消するためには本発明に係る原理が必要になることがわかった。従って、この仕様では本発明を適用する。さらに、シミュレーションによれば、5×5cmの画面の場合であっても、前と同様に距離d0=0,rA=5cm,及びI=任意の角度を用い、ただしdA=2cmを用いた条件、すなわち他の指を画面に近接させる条件では、混同の問題が発生し、従ってこれを解消するために本発明に係る原理を使用しなければならないこともわかった。上記条件は、使用中に他の指の位置に関する選択性が低いモバイル用途で好都合である。
図4は、本発明の実施形態に係る指入力追跡システムであって、上述の問題点の影響を受けないシステムの正面投影図を示す。矩形フラットパネルディスプレイ画面102がフレーム104によって包囲され、その上側のエッジ部に沿って一列に、超音波送信機及び受信機が交互に設けられている。この列の左から右に向かって、左端の受信機134、左側の送信機130、中央の受信機136、右側の送信機132、及び右端の受信機138を含む。
図5は、図4のシステムの上面投影図であり、ユーザが上記システムを対話的に操作することを示す。ユーザの手16が画面102の左側に向かうとき、左側の送信機130は、近くの受信機によって検出されるインパルス、すなわち、左端の受信機134、中央の受信機136、及び、フレーム104の左側又は下側のエッジ部など、ディスプレイの左側に向かって設けられた他の任意の受信機(図示せず)によって検出されるインパルスを放射することができる。(破線の輪郭線で示すように)ユーザの手16が画面の右側に向かうときは、中央の受信機136、右端の受信機138、及びディスプレイの右側に向かう他の任意の受信機と関連して、右側の送信機132を用いることができる。このように、小指の付け根の関節20など、人差し指の先端以外であるユーザの手16の部分が、アクティブな各組の送信機及び受信機のペアのうちの任意の組に対して最も近接した点になることは決してないということが保証される。従って、本システムは、指先以外の手の部分からの望ましくないインパルス応答によってシステムが指先の位置を決定できなくなるという、図1の構成によって例示された問題を回避する。位置を決定するために使用する送信機を左側の送信機130から右側の送信機132へ切り換えることの決定は、任意の適切な手段に基づいてもよく、例えば、指先の運動の連続性についての仮定を用いて、エコーを受信する受信機のうちの1つ以上に係る絶対時間から、指先の位置の追跡及び予測を行うこと、又は、赤外線ビームの構成などの完全に別個のシステムによって行うことが可能である。
図4及び図5の構成は、前述の混同が偶然によって生じない原理に従って送信機及び受信機を配置することにより、図1〜図3、図13a及び図13bを参照して説明した状況において生じる可能性がある問題のある状況を回避する。
図17及び図18は、前述した問題の影響を受けることがない、本発明の別の実施例を示す。図17において、複数の受信機1701は、典型的には左側及び上側の遠方に設けられ、これにより、音波は送信機1702から指(図示せず)を経由して受信機1701まで伝搬し、指が画面のほぼ前に位置したときに常に指が手と混同されるという状況が生じることはない。図18では、指向性情報を収集できるようにする複数の受信機が存在し、これについては後述する。図18及び図17の両方において、送信機は受信機と置き換え可能であり、その逆も可能である。これらの図において、送信機1702,1802は、画面の短辺の長さの4分の1よりも長い長さだけ、受信機1701,1801のそれぞれから離れていることに注意する。図17の場合、複数の受信機1701のすべてが、送信機1702と同じ画面の側にあるのではない。複数の受信機は、使用される超音波信号の最大波長の2分の1よりも長い距離だけ、互いに離れている。
図14a及び図14bを参照すると、Sは、追跡しようとしている指の領域を示し、Eは、関心対象ではない領域、又は追跡者に混同させるのに十分なエネルギーを反射しない領域を示し、S’は、追跡者を混同させる可能性がある手の領域であって、エコーに対するその影響が回避されるべき領域を示す。予め決められた動作ゾーン内において、S内の任意の点からのエコーの伝搬時間がS’内の任意の点からのエコーの伝搬時間未満になる少なくとも一対のトランスデューサが常に存在するように、複数のトランスデューサは配置される。言い換えると、送信機、物体及び受信機の間の伝搬時間(times-of-flight:TOF)は、少なくとも一対の送信機及び受信機に関して、S内において最長のTOFを有する点がS’内の任意の点に係る最短のTOFよりも短いTOFを有するようにされる、と述べることができる。
このことを超音波システムにおいて解析的に表すとき、t(S,i)は、i番目のチャネルを介して送信され、最長の伝搬時間をもたらすS内の点によって反射され、受信される信号の伝搬時間を示すものとし、すなわち次式で表される。
Figure 0005615270
ここで、cは、音速であり、(r,q)はそれぞれ、i番目の組の送信機及び受信機のペアに係る送信機の位置及び受信機の位置を示す。この値は、追跡する指のゾーンS内に存在するすべての点pにわたる最大値をとる。さらに、t(S’,i)は、i番目のチャネルを介して送信され、最短の伝搬時間をもたらすS’内の点によって反射され、受信される信号の伝搬時間を示すものとし、すなわち次式で表される。
Figure 0005615270
送信機及び受信機の位置が次式を満たすことが要件である。
Figure 0005615270
ここで、Nは、チャネル数、すなわち送信機及び受信機のペアの組の個数であり、Iは、式が真であることを示す定義関数(すなわち、I(2>1)=1であるのに対して、I(1>2)=0)である。関係式(*)は、Dが空間内の動作ゾーンであるとき、すべてのS⊂Dに対して成り立たなければならない。3次元において追跡する場合、式の右辺の数は3にならなければならない。この状況は、送信機及び受信機のペア(r,q)、動作ゾーンD、追跡される指のゾーンS、干渉する手のゾーンS’、及び、関心対象ではないか又は強いエネルギーを反射しないゾーンEを示す図14bを参照することで、よりよく理解することができる。Eが強いエネルギーを反射しないかもしれない理由は、連続点の拡散する効果と、超音波の送信及び受信からもたらされる固有の高域通過フィルタリングとの組み合わせに起因する可能性がある。
前述の式(*)は、理想的な無限帯域幅の場合には真である。帯域が制限されたシステムの場合には、距離t(S,i)及びt(S’,i)が、これらを分離するシステムの帯域幅に関して十分に離れていなければならないということが要件である。これが意味するところは、少なくとも一対のチャネル(2次元の追跡の場合)又は3つのチャネル(3次元の追跡の場合)が次式を満たすべきであるということである。
Figure 0005615270
ここで、Bは、システムの帯域幅であり、fは、システムのサンプリング周波数である。システムがサンプリング周波数に対して全帯域幅を有する場合(すなわちB=1)、エコーを分離するためにエコー間に少なくとも1つのサンプリング期間が必要になる。従って、われわれは、センサ(r,q)を次式のように配置することを提案する。
Figure 0005615270
2次元の追跡の場合、及び3次元以上の追跡の場合。
このように、本発明の好ましいモードでは、各組のトランスデューサのペアと、指などの「追跡物体ゾーン」内の点と、手などの「干渉物ゾーン」内の点との間にわたる各伝搬時間の間に特定の関係が存在する。特に、本発明の好ましい実施形態では、予め決められたゾーン内に配置された物体を追跡するために、追跡物体ゾーン内におけるすべての点にわたる最長のTOFが、干渉物ゾーン内におけるすべての点にわたる最短のTOFから、少なくともシステムの帯域幅とサンプリング周波数との積の逆数に等しい距離だけ離れているように、複数のセンサは配置される。これによれば、単一のインパルス応答から、指先と手の残りの部分とを分離できることがわかっている。連続した複数のインパルス応答が使用される場合、各TOFの間のギャップを小さくしても、許容できる結果(すなわち、指の動きを手の動きから分離できること)を達成できる可能性がある。
トランスデューサを注意深く配置することに加えて、又はその代替として、チャネル数を最低要件(2又は3)よりも増大させ、後の処理段で、最終的な指先の位置決定のためにどのチャネルを使用するのかを選択することによって、手及び指の混同の問題を改善可能である。チャネルのうちのどれを使用するのかを選択する多数の方法が存在する。1つの方法は、潜在的なオーバーラップの有無に関して各チャネルのインパルス応答を調べることである。他の方法は、複数のチャネルからなる異なる組み合わせにそれぞれ関連するいくつかの追跡位置候補を有し、アルゴリズムにおける後の処理段においてのみ、曲線の連続性又は予測可能性などの尺度に基づいてどのチャネル集合が適切であるかを決定することである。再び、一部のチャネルは、純粋に、又は部分的に、「存在する位置」のために使用されてもよく、これにより、システムは、どのチャネルを使用し、どのチャネルを使用しないのかを認識することができる。
図6は、本発明の実施形態に係る指入力システムであって、フレーム204によって包囲された矩形フラットパネルディスプレイ202を有し、フレーム204において、左上のコーナーにおける左側の受信機242と、右上のコーナーにおける右側の受信機244と、ディスプレイ領域202の上側に沿ってディスプレイ領域の幅全体にわたる細長い送信機240とが設けられたシステムの正面図を示す。細長い送信機240は、複数の圧電ドライバ上に設けられた細長くかつ薄いフィルムを備え、複数の圧電ドライバは、細長い送信機から、その長さ全体にわたって実質的に瞬間的に超音波インパルスを放射させるように動作する。より正確な位置情報、例えばディスプレイ202の平面から垂直方向に離れた指の距離を取得するために、フレームの周りに追加のトランスデューサ(細長いもの又は従来のもの)が設けられてもよい。
図7は、図6の実施形態の上側投影図を示す。システムを対話的に操作するユーザの手16が示されている。ユーザの人差し指の指先18がフレーム204の境界内のどこに位置していても、これから細長い送信機240までの最短直線は、細長い送信機に対して必ず垂直になる。このため、図1の構成の場合に比較すると、ユーザの手16の他の部分、例えば小指20の付け根の関節が、正確な位置決定結果を得ることの妨げとなる可能性は低くなる。
図8は、本発明の実施形態に係る指入力システムであって、フレーム304によって包囲された矩形ディスプレイ302を有し、フレームの上側に沿って細長い送信機350及び細長い受信機352が設けられ、これらの両方はディスプレイ302の上側のエッジ部に平行に延在し、細長い送信機350は細長い受信機352よりもディスプレイ302からわずかに遠い位置に延在しているシステムの正面図である。同様に、フレーム304の左側のエッジ部に別の細長い送信機356及び細長い受信機354が設けられ、ディスプレイの左側のエッジ部に平行に延在ている。細長いトランスデューサのそれぞれは、それに隣接したディスプレイのエッジ部の長さ全体にわたる。破線は、各細長い送信機及びそれに隣接した細長い受信機に関して、放射されてユーザの人差し指の指先18を経由して逆方向に反射される、最短伝搬時間の経路を通る2つの超音波インパルスの伝搬を示す。
ユーザの指先18がディスプレイ302の面上のどこに位置しているときであっても、また、ディスプレイに実質的に垂直な方向にどこをポインティングしているときであっても、2つの最短の反射インパルス経路は、各細長い送信機及びそれに隣接した受信機に対して必ず垂直になるので、定数ファクタにより尺度を変更する必要があるだけで、2つの各経路の伝搬時間測定値から直接的にx座標及びy座標を得ることができる。楕円の交点に関する計算は必要とされず、従って、指先18の位置を決定するために信号を処理する計算の複雑さは大幅に低下する。この実施形態は、ディスプレイ302の平面に存在している、すなわち接触している指先18の正確な位置決定をもたらす。このことは、スクリーンに近接した「死角」を有する可能性がある光学システムに対する重要な利点である。しかしながら、一方、指先18がディスプレイの面に近接しているが接触していない場合にも、許容できる精度を達成することができる。指が接触しているか否かにかかわらず動作可能なこの柔軟性は、もう1つの大きな利点である。物体がディスプレイの面に接触していないか又はほとんど接触していない場合において、指先を含む物体からのカーソルの運動を除去するために、容量性の検出システム(これは、画面の一部として一体化可能であるという利点を有する)や、赤外線光シートなどの、ディスプレイの面に対して近接していることを検出する別個の機構が使用されてもよい。カーソルの移動は、この機構がトリガーされたときにのみ許可されてもよい。それに代わって、又はそれに加えて、フレーム304上に別のトランスデューサが設けられてもよい。
図9は、本発明の実施形態に係る物体位置決定システムであって、前述の図面に示したようなフラットパネルディスプレイを包囲するフレームを設けることが適したシステムの部分を示す。これは、中央の送信機460の両側に設けられた、左側の送信機462と右側の送信機464とを示す。互いに不規則な間隔を有して開けられた複数の孔468を有する実質的に平坦な板を備えた散乱構造物466が送信機の直前に設けられる。中央の送信機460によって音響インパルスが放射されたとき、それは複数の孔468を通過し、複数の孔468のそれぞれは実質的に点放射源として機能して、半球状に放射する。孔468を通過する音響波は、互いに強め合うように干渉して音波の強度が相対的に強い領域を生成するとともに、互いに弱め合うように干渉して音波の強度が相対的に弱い領域を生成する。
これらの組み合わされた効果は、方向により複雑なパターンの変動を有する、送信機からの出力信号を生成することにある。適切な逆関数を適用することにより、対応する受信機は、特定の信号が物体により反射される前に物体へ入射したときの方向の決定又は推定を行うことができる。これは、物体の位置決定及び物体の運動の追跡を支援する際に価値ある情報であり、これにより、例えば、正確な位置決定のために必要とされる送信機及び受信機のペアの組の個数を削減することができる。
ここで、方向関数の逆関数をどのように適用するのかということについてさらに詳細に説明する。図15は、システムを送信機として概略的に示す図であって、この送信機から音波がさまざまな方向に伝搬するが、各方向に事実上異なるフィルタが適用される場合を示す図である。例えば、ベクトルΘ=(φ,θ)によって表される方向において、この伝搬方向に沿って受信機によって受信される信号は、次式によって表すことができる。
Figure 0005615270
ここで、「*」は、線形畳み込み演算子を示し、τは、送信機と受信機おtの間の距離に依存する遅延パラメータである。b(Θ,t)は、伝搬方向における信号の畳み込みを表すフィルタである。音波が最初の散乱物に当たって反射し、その後に受信機によって受信されたとき、受信された信号はさらに変更されて次式になる。
Figure 0005615270
ここで、s(t)は、一方のトランスデューサから伝搬し、物体に当たって反射し、他方のトランスデューサによって受信されるときの、散乱物のエコーインパルス応答又は「フィルタリング効果」を定義する。この式では、−τの項は、都合よくs(t)にモデル化することができるので除去されている。この場合、すべての組のトランスデューサのペアに関して、「見られる」多数の散乱物が存在し、従って次式が得られる。
Figure 0005615270
ここで、y(t)の項は、x(t)を送信し、x(t)が固有のインパルス応答をそれぞれ有する多数の散乱物に当たって反射されたときのエコー効果の総和を示す。連続である場合の近似として、すべての可能な角度からなる集合は、この連続性を表すN個の異なる角度からなる離散部分集合に分割される。しかしながら、多くの方向においてエコーは存在せず、このため、式をさらに簡単化することができる。Sは、エコーが存在する方向からなる集合を示すものとする。これらは、都合のよいことには、複数の方向からなる集合の全体にわたって最初のスキャンを行うことによって、又は物体の位置に関する事前の知識を用いることによって、ほぼ発見可能である。ここで次式が得られる。
Figure 0005615270
望まれるものは、一部の方向を他の方向から分離できるフィルタを作成することである。次式を満たすフィルタが必要とされる。
Figure 0005615270
言い換えると、このフィルタは、出力信号x(t)によって畳み込みされた、k番目の方向に沿って存在する散乱物のインパルス応答を復元する。理想的には、このフィルタは、信号x(t)が何であっても適用可能であるべきである。本来、x(t)が既知である場合には、これは、より優れたフィルタを設計するために使用可能であるが、ここで考慮されている場合では、時系列x(t)任意の値からなる集合の値をとることができる。関心対象であるのはインパルス応答s(t)であるので、都合のよいことには、x(t)はディラックのデルタ関数又はsinc関数であると仮定することができる。ここで、sinc関数は、x(t)の帯域幅が制限されている実際の状況での、帯域幅について制限されたディラックデルタである。x(t)がディラック信号ではない場合であっても、上述の式におけるx(t)の影響は、x(−t)で相互相関を計算することによって(x(t)が白色である場合)、又は、逆行列の原理による信号の逆演算によって、除去することができる。くだけた言い方をするお、このことは、式の両辺からx(t)を「相殺」する効果を有する。ここで次式が得られる。
Figure 0005615270
簡単な例として、3方向のみから有意な反射がされていると仮定する。表記上の簡単化のためにb(Θ,t)=b(t)として、次式を得る。
Figure 0005615270
望まれるものは、k番目のフィルタb(t)で畳み込みをしたときにディラックデルタフィルタ∂(t)を生成し、他のフィルタで畳み込みをしたときにそのすべての関連部分でゼロに近い信号をもたらすようなフィルタfを発見することである。例えば、fは、理想的には次式のように設計されるべきである。
Figure 0005615270
これは、すなわち、「第1」の方向に存在する物体からのインパルス応答である。本質的には、望まれるものは次式で表される。
Figure 0005615270
ここで、0は、ゼロを要素とする時系列を示す。実際には、これは達成不可能であるが、以下のように近似的に実現可能である。当該技術において公知であるように、畳み込みは、行列形式で表すことができる。例えば、畳み込みf(t)*b(t)=b(t)*f(t)は、行列/ベクトルの積Bfとして表すことができ、ここで、Bは、畳み込み関数Bを表すN×Kのテプリッツ行列であり、fは、信号f(t)のK個のフィルタタップを含む長さKのベクトルである。Nは、Kとフィルタb(t)の長さとの和から1をひいたものに等しい。この原理を用いて得られる1組の行列方程式は、次式で表される。
Figure 0005615270
ここで、dは、中央の要素以外はすべてゼロであるNベクトルであり、従ってディラックのデルタ関数を表すベクトルであり、0は、ゼロの要素のみを有するNベクトルである。ブロック行列の形式では、上述の式は次式になる。
Figure 0005615270
フィルタfは、左辺のブロック行列の擬似逆行列又は正則化された逆行列と右辺のベクトルとを乗算することで計算可能である。明らかに、ディラック関数であるようにdを構成することは常に理想的であるわけではない。実際の場合には、チャネルの帯域幅は制限され、帯域幅について制限されたディラックデルタ、すなわちカーディナルサイン又はsinc関数に適合するようにdを選択するほうがよい。実際には、どの程度良好にフィルタfがフィルタb及びbからの信号成分を抑圧するのかということと、bと整合しているときにどの程度良好にディラックデルタ又はsincに適合するのかということとの間にもトレードオフが存在する。ここでは、ディラックデルタ又はsinc型関数の波形をひきかえにしてb及びbの影響を抑圧することのみに集中した変形など、トレードオフのある多数の方式を想定することができる。他のさまざまな折衷案を考えることもでき、例えば、散乱物が存在しないと予めわかっている一部の方向における抑圧をひきかえにして、重要な散乱物が位置していることが既知であるか又は仮定されている他の方向における抑圧を行ってもよい。一部の場合では、ディラックのデルタ信号ではなく、より広いインパルス応答又は広い線を表すインパルス応答などのような特定の波形の信号が本発明の目標になり、これにより粗い分解能の位置決定が簡単化され、又は、「立ち上がりエッジ検出」を簡単化するために、エッジを表すインパルス応答を用いてもよい。
ただ1つの散乱物が1つの方向に存在するか、又は複数のトランスデューサの指向性インパルス応答特性が同じである複数の方向からなる平面に存在する状況では、逆フィルタの処理は、その平面から受信される信号に「焦点を合わせる」ことを支援する。この「指向性フィルタの逆演算」に加えて、「機械的フィルタの逆演算」をさらに適用して機械的又は電気的な影響に起因する反射を補償することもできる。機械的又は電気的な影響に起因する反射を補償することは、トランスデューサの指向性の影響を補償することとは異なる。
前述した方法は逆フィルタを推定する直接的な方法を提案するが、多数の変形を想定することができる。例えば、フィルタは、出力信号x(t)についての知識に基づいてさらに改良することができる。どこに散乱物が存在すると考えられているかということについての事前の知識を考慮することもでき、この場合、散乱物があると期待される伝搬方向に強い周波数成分を有する信号を送信するようにx(t)を変更すること、又は逆に、「干渉する」散乱物があると期待される方向に周波数成分を持たない信号を放射することが可能である。フィルタは、周波数領域で導出することも時間領域で実装することも同様に可能であり、周波数領域では、さまざまな周波数にさまざまな重み付け係数を用い、時間領域では、さまざまな方向のエコーのフィルタリングを「逆マッピング」する目的を果たす一般形式の逆行列、すなわち必ずしもテプリッツ行列ではない行列として実装可能である。フィルタリングは、信号の包絡線に対して実行することも可能であり、連続した複数の周波数帯に対して実行することさえ可能である。特に、複数の物体が一部の周波数サブバンドにおいて同様の又は等しい反射能力を有する場合、これは、システムのクロスレンジ分解能を増大させるために使用可能である。
図10は、本発明の実施形態に係る物体位置決定システムであって、前述の図面に示したようなフラットパネルディスプレイを包囲するフレームを設けることが適したシステムの部分を示す。これは、中央の送信機560の両側に設けられた、左側の送信機562と右側の送信機564とを示す。送信機の直前に散乱構造物566が設けられ、散乱構造物566は、ほぼ球形かつ中空の、互いに近接して充填された複数の散乱構成要素570を備え、各構成要素は後開口部(図示せず)と前開口部572とをそれぞれ有し、前開口部572は、超音波の単なる点波源として機能することがないように十分に大きい。これら2つの開口部により、音波は構成要素を通過できるようになる。中央の送信機560からのインパルスが散乱構成要素を通過するとき、各散乱構成要素570は音波を特定の方向に強めて、この最終的な効果として、散乱構成要素によって全体として放射される音波は、異なる方向では強度及び/又は位相について変化するものであり、これは周波数に依存する、すなわち「ブロードバンドシグニチャ」である。それに加えて、各散乱構成要素570によって放射される波の間に干渉が発生し、これはさらに指向性の変動を追加する。
図11は、本発明の実施形態に係る指入力追跡システムの上面図を示す。これはディスプレイ画面フレーム604を備え、それの前方に面した上側のエッジ部には、中央の送信機660、左側の受信機662、及び右側の受信機664が設けられる。中央の送信機660は、水平方向では、その奥行きよりも実質的に長く、2つの受信機662及び664のいずれよりも相対的に長い。中央の送信機660の前に散乱構成要素674が設けられる。これは、実質的に音波に対して多孔性の媒体を備え、この媒体の中には、実質的に音波を反射する媒体からなり、互いに不規則な間隔を有する複数の反射球676が埋め込まれている。それに代わって、送信機660及び散乱構成要素674の両方がフレーム604の凹部に設けられてもよく、これによりフレーム604の平坦な前面を維持することができる。
動作時には、中央の送信機660からの音波は、散乱構成要素660を通過するときに反射球676間で当たって反射し、これにより、音波が散乱構成要素674の前面又は側面から最終的に放射されるときの方向に依存して、経路長が変化し、従って位相も変化し、また、強度も変化する。
散乱構成要素を備えた実施形態、すなわち図9、図10、及び図11の実施形態のそれぞれに関して、送信機の前に配置される散乱構成要素に代えて、又はそれに加えて、1つ以上の受信機の前に同様に散乱構成要素を配置してもよい。指先などの物体の位置を決定する際におけるこれらの実施形態のそれぞれに係る動作は同様であり、送信機からインパルスが放射され、関心対象の物体からのエコーが受信機において受信される。物体の位置に関する情報を取得するために従来の伝搬時間を計算することに加えて、散乱構成要素によって精製されたインパルスの指向性の「色づけ」も使用される。予め、モデル化及び経験的方法のいずれかにより、散乱構成要素の指向性の影響の少なくとも一部が決定され、この決定された情報は逆演算されて、前述のように受信エコー信号に適用される。特に、音波に対する反射率など、物体の音響特性が既知である場合、又は以前のインパルス応答から推測可能である場合には、送信されたインパルスの方向特異的な特性から、物体の位置に関する追加の情報を取得することができる。これは、望ましくない方向からの信号をフィルタリングして除去するために使用可能である。これは、画面の前方からはずれた信号源からのものである可能性があり、また、例えば、他の指又は手の部分からのものである可能性もある。
図12は、本発明の実施形態に係るテーブル上追跡システムの平面図を示す。この実施形態はディスプレイ画面を備えていないが、テーブルなどの面上、又はその上方における運動を追跡することに適している。これは、例えば、ラップトップコンピュータのタッチパッドを用いたときに行われるものと同様の指の運動を追跡するために使用可能である。本装置は中実のボックス780を備え、このボックス780を通るように、3つの非円筒形状の管状の空隙780が設けられる。ボックスの後部に音響送信機760が設けられ、送信機の両側に2つの音響受信機762及び764が設けられる。送信機及び受信機はそれぞれ、3つの管状の空隙780のいずれかの方向に向かうように配置される。複数の球形の反射物782が、特に管状の空隙780のうちの1つに突出するように、ボックスの体積778の中に埋め込まれる。管状の空隙780は、ボックス778の前面に開口784を有し、これにより音波は空隙に進入するとともに、空隙から放射することができるようになる。
使用時には、中央の送信機760から音響信号が放射される。この信号は、空隙780を通過してボックス778の前側の開口に至る。開口は必ずしも点状の開口ではないので、音波は、指向性を有して合焦されてもよく、また、空隙の非円筒形状の性質に起因して、ボックス778の前側から放射されるときに異なる方向では異なる位相及び強度を有するものになる。さらに、孔自体が円筒形状である状況であっても、出口の間隔と、その後の放射される波の合成とにより、指向性の効果がもたらされるが、このことは、単一の孔ではなく複数の孔が存在することで、点状ではないトランスデューサであって、従って所定の指向性特性を有する全体的なトランスデューサを生成するという事実に起因する。球状の反射物782はさらに、音波の指向性特性に寄与し、また、空隙780の滑らかな表面から生じるはずであった低域通過フィルタリングの影響を防止する。それに加えて、複数の出口を用いることにより、1つ以上のもっと大きな内部トランスデューサを使用できるようになり、大きな内部トランスデューサは、面上に設けられるトランスデューサではより典型的であるもっと小さなトランスデューサ素子よりも、多くの合計エネルギーを送ることがでる。トランスデューサから各出口までの距離が同じである場合、これば「位相プラグ」を用いることに対応し、距離が同じでない状況では、一様でない波先が生成され、これはトランスデューサの指向性ダイバーシティを増大させる。
受信機762及び764に接続された空隙780も、ボックス778に進入する音波に対して同様の効果を有し、このことが実際に成り立つことは、波動方程式の相反性に注目することによって理解できる(ただし、雑音特性は変化する可能性がある)。従って、使用時には、音波がボックス778から追跡対象の物体に放射されるときと、音波が物体から反射されて受信されるときとの両方において、音波に指向性の「色づけ」が適用される。この指向性の効果についての知識を、伝搬時間に関する情報と組み合わせて、従来の音響送信機及び一対の受信機のみを用いて可能であったものよりも正確な物体位置決定を行うことができる。
都合のよいことには、前述のような実施形態を装置の筐体に組み込み、それをユーザに操作させることができる。例えば、信号のアクセスを可能にするために1つ又は少数の小さな開口を設けるだけで、電子装置の本体にトランスデューサを効果的に埋め込むことができる。限定するものではない1つの実施例を参照し、ソニーによって製造されたLCDフォトディスプレイ「エスフレームDPF−V900」について検討する。このような製品を非接触で操作するためには、以前は、画面の周囲に1組のセンサを設けておくことが必要であり、センサに含まれる送信機は受信機よりも大きくなる場合が多く、このため設計に影響を与える。しかしながら、本明細書で前述した本発明の実施形態によれば、送信されたエネルギーの入口及び出口は、都合のよいことには、フレームの下方に配置することができる。フレームは面上に立っているときにわずかに傾けられているので、信号がこれらの孔から出入りするための十分な空間をなお確保しながら、変更は実際上、ほとんどのユーザにとって目につくことはない。このアイデアは図16に示され、(1601)は、トランスデューサの出口、又はトランスデューサ自体を示し、(1602)は、限定するものではない例として、細長いトランスデューサの出口、又はそれに代わって、トランスデューサ自体を示す。
本発明のこのような構成に係る他の利点は、少数のトランスデューサのみを用いて、装置に対して複数の異なるゾーンで追跡するために使用可能な複数の音波の出口及び入口を設ける余地を容易に確保することである。例えば、携帯電話機又はPDAのようなモバイル装置は、複数の出口及び入口をとともに、カバーの内側に設けられた1つ以上のトランスデューサを有することができる。モバイル装置の前方において追跡するために1組の出口及び入口を使用可能であるが、このことは、ブラウジング中にモバイル装置を片手で保持している際に有用である。電話機の側面又は下方に、同じ1組のトランスデューサに係る他の1組の出口及び入口を設けてもよく、これにより、モバイル装置がテーブルなどの面上に配置されたときにモバイル装置の側方で追跡できるようになる。この概念は図20に示され、(2001)は、装置内のトランスデューサを示し、(2002)は、2つの出口を示す。図19は、モバイル画面(1903)の背後に設けられ、(1901)などの複数の出口を有する、より大きなトランスデューサ(1902)を用いることで、どのようにコストを削減することができ、設計過程を簡単化することができるのかを示す。より大きなトランスデューサは、典型的には製造が容易になり、より小さなトランスデューサよりも多くのエネルギーを出力可能である。このようなトランスデューサの多目的の使用により、システム全体のコスト及び複雑さを大幅に低下させることができる。
図22は、画面の反対側に設けられた送信機2002及び受信機2001を備えた画面を示す図である。これは、スクリーンを交差して定義されたチャネルを用いることを可能にし、これは、追跡の目的で画面に対して指2003の位置を決定する際の手及び指の混同の問題を解消することに特に有効であることがわかっている。
本明細書で開示された本発明のさまざまな実施形態に係る特徴は、いかなる方法でも組み合わせ可能である。限定するものではない例として、指向性及びトランスデューサの逆フィルタの使用をその配置と組み合わせて、例えば、指及び手からのエコーの間のオーバーラップを回避することができる。トランスデューサに対する指及び手の位置決定のうちの一部の場合では、このようなオーバーラップは完全に回避可能であるが、他の場合では、手のエコーから指のエコーを分離するために、指向性とその後における信号の逆フィルタリングを使用可能である。さらに、本発明のこれら両方のモードは、それら自体が非接触対話的操作を改善することに加えて、又は互いに組み合わせて、追跡対象の物体に係る正確な位置決定、追跡、及び形状認識を行うために2次的な位置決定情報源を必要とする可能性がある他の非接触対話的操作システム、例えばカメラシステム又は投影光システムを支援するために使用可能である。

Claims (8)

  1. 物体の運動を追跡する装置であって、上記装置は、
    少なくとも2組の送信機及び受信機のペアを構成する複数のトランスデューサと、
    1組の送信機及び受信機のペアのうちの送信機から送信され、上記物体によって反射され、上記送信機及び受信機のペアのうちの受信機まで伝搬する信号の伝搬時間を測定する手段と、
    (i)上記送信機及び受信機の各ペアについてインパルス応答を計算し、(ii)上記物体及び他の反射物にそれぞれ対応する2つの別個のピーク又は信号先頭部を含むインパルス応答を有する、上記送信機及び受信機の各ペアのうちの部分集合のペアを決定し、(iii)上記送信機及び受信機の各ペアのうちの部分集合のペアによる伝搬時間の測定値を用いて上記物体の運動を追跡する処理手段とを備えた装置。
  2. 予め決められた組数の送信機及び受信機のペアが追跡対象の上記物体のクリアな視界を有することをユーザにフィードバックする手段を備えた請求項1記載の装置。
  3. 上記物体の運動を追跡可能な予め決められたゾーンは、ディスプレイ画面の領域の少なくとも一部を含む請求項1又は2記載の装置。
  4. 上記装置は、周縁部の周りに配置された少なくとも4つのトランスデューサを有する制御面を備え、
    上記トランスデューサは、少なくとも1つの送信機と少なくとも1つの受信機とを備え、これにより少なくとも3組の送信機及び受信機のペアを定義し、
    上記トランスデューサは、各ペアの送信機及び受信機の間の離隔距離が、上記制御面の最短の辺の長さの少なくとも4分の1になるように配置された請求項1〜3のうちのいずれか1つに記載の装置。
  5. 上記トランスデューサのすべてが上記制御面の同じ辺に沿って設けられることはなく、
    同じタイプの少なくとも2つのトランスデューサは、同じ辺に設けられるとき、上記制御面の最短の辺の長さの少なくとも10%に等しい長さだけ離隔される請求項4記載の装置。
  6. 上記装置は、制御面と複数組の送信機及び受信機のペアとを備え、上記複数組の送信機及び受信機のペアは、各ペアのうちの送信機が当該ペアの受信機に対して上記面をはさんで設けられるように配置された請求項1〜5のうちのいずれか1つに記載の装置。
  7. 少なくとも1つの超音波送信機及び少なくとも1つの超音波受信機を備え、超音波を用いて上記物体の運動を追跡するように構成された請求項1〜6のうちのいずれか1つに記載の装置。
  8. 物体の運動を追跡する方法であって、上記方法は、
    少なくとも2組の送信機及び受信機のペアを構成する複数のトランスデューサを用いることと、
    1組の送信機及び受信機のペアのうちの送信機から送信され、上記物体によって反射され、上記送信機及び受信機のペアのうちの受信機まで伝搬する信号の伝搬時間を測定することと、
    上記送信機及び受信機の各ペアについてインパルス応答を計算することと、
    上記物体及び他の反射物にそれぞれ対応する2つの別個のピーク又は信号先頭部を含むインパルス応答を有する、上記送信機及び受信機の各ペアのうちの部分集合のペアを決定することと、
    上記送信機及び受信機の各ペアのうちの部分集合のペアによる伝搬時間の測定値を用いて上記物体の運動を追跡することとを含む方法。
JP2011512199A 2008-06-04 2009-06-04 物体の位置決定 Active JP5615270B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0810179.2 2008-06-04
GBGB0810179.2A GB0810179D0 (en) 2008-06-04 2008-06-04 Object location
PCT/GB2009/001402 WO2009147398A2 (en) 2008-06-04 2009-06-04 Object location

Publications (3)

Publication Number Publication Date
JP2011522271A JP2011522271A (ja) 2011-07-28
JP2011522271A5 JP2011522271A5 (ja) 2012-07-12
JP5615270B2 true JP5615270B2 (ja) 2014-10-29

Family

ID=39638138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011512199A Active JP5615270B2 (ja) 2008-06-04 2009-06-04 物体の位置決定

Country Status (5)

Country Link
US (1) US20110148798A1 (ja)
EP (1) EP2294501A2 (ja)
JP (1) JP5615270B2 (ja)
GB (1) GB0810179D0 (ja)
WO (1) WO2009147398A2 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851924B1 (en) * 2004-12-21 2012-12-05 Elliptic Laboratories AS Channel impulse response estimation
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8941625B2 (en) * 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
FR2948471B1 (fr) 2009-07-21 2016-02-26 Commissariat Energie Atomique Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet
EP2486469B1 (en) 2009-10-07 2017-12-13 Elliptic Laboratories AS Method and system for implementing a touchless user interface
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
GB201013117D0 (en) 2010-08-04 2010-09-22 Elliptic Laboratories As Control of electronic devices
WO2012022979A1 (en) * 2010-08-19 2012-02-23 Elliptic Laboratories As Interaction with portable devices
WO2012028884A1 (en) 2010-09-02 2012-03-08 Elliptic Laboratories As Motion feedback
US8223589B2 (en) * 2010-10-28 2012-07-17 Hon Hai Precision Industry Co., Ltd. Gesture recognition apparatus and method
GB201021477D0 (en) 2010-12-17 2011-02-02 Elliptic Laboratories As Signal processing
JP5924802B2 (ja) * 2011-01-26 2016-05-25 日本電気株式会社 入力装置
EP2482164B1 (en) * 2011-01-27 2013-05-22 Research In Motion Limited Portable electronic device and method therefor
US9417696B2 (en) 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
GB201105587D0 (en) 2011-04-01 2011-05-18 Elliptic Laboratories As User interfaces for electronic devices
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
WO2012167199A1 (en) * 2011-06-01 2012-12-06 Powers Winston J Touch screen system
GB201116734D0 (en) 2011-09-28 2011-11-09 Elliptic Laboratories As Improvements in touchless object motion estimation
EP2793044B1 (en) 2011-12-12 2016-11-02 Murata Manufacturing Co., Ltd. Position measurement device
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
GB201203851D0 (en) 2012-03-05 2012-04-18 Elliptic Laboratories As Touchless user interfaces
GB201203830D0 (en) 2012-03-05 2012-04-18 Elliptic Laboratories As Touchless user interfaces
WO2013140130A1 (en) 2012-03-21 2013-09-26 Elliptic Laboratories As Signal processing for acoustic user input
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9189108B2 (en) 2013-08-21 2015-11-17 Qualcomm Incorporated Ultrasound multi-zone hovering system
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN103885590A (zh) * 2014-03-10 2014-06-25 可牛网络技术(北京)有限公司 获取用户指令的方法及用户设备
US9223441B1 (en) * 2014-08-07 2015-12-29 Microsoft Technology Licensing, Llc Detection surface for a computing device
KR102038965B1 (ko) * 2014-11-26 2019-10-31 삼성전자주식회사 초음파 센서 및 초음파 센서의 대상체 인식 방법
GB201421427D0 (en) 2014-12-02 2015-01-14 Elliptic Laboratories As Ultrasonic proximity and movement detection
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US9928398B2 (en) 2015-08-17 2018-03-27 Invensense, Inc. Always-on sensor device for human touch
GB201518761D0 (en) * 2015-10-22 2015-12-09 Elliptic Laboratories As Proximity sensor
GB201602319D0 (en) 2016-02-09 2016-03-23 Elliptic Laboratories As Proximity detection
EP3446206B1 (en) 2016-04-22 2022-05-11 Chirp Microsystems, Inc. Ultrasonic input device
US20170329431A1 (en) * 2016-05-10 2017-11-16 Mediatek Inc. Proximity detection for absorptive and reflective object using ultrasound signals
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
WO2018023080A2 (en) 2016-07-29 2018-02-01 Apple Inc. Methodology and application of acoustic touch detection
CN116279746A (zh) * 2017-02-27 2023-06-23 华为技术有限公司 车载系统的控制方法和装置
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11237266B2 (en) * 2020-06-23 2022-02-01 Synaptics Incorporated Multi-tone ultrasonic proximity detection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5059959A (en) * 1985-06-03 1991-10-22 Seven Oaks Corporation Cursor positioning method and apparatus
JPH06186330A (ja) * 1992-12-21 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 非接触型3次元位置測定装置
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
US7629969B2 (en) * 1996-08-12 2009-12-08 Tyco Electronics Corporation Acoustic condition sensor employing a plurality of mutually non-orthogonal waves
KR100595925B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
AU2342000A (en) * 1998-09-11 2000-04-17 Loquitor Technologies Llc Generation and detection of induced current using acoustic energy
US6313825B1 (en) * 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
EP1330777A1 (en) * 2000-10-27 2003-07-30 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
AU2003295944A1 (en) * 2002-11-26 2005-02-04 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
TWI296383B (en) * 2004-09-14 2008-05-01 Ind Tech Res Inst Surface acoustic wave touch panel and system of the same
EP1851924B1 (en) * 2004-12-21 2012-12-05 Elliptic Laboratories AS Channel impulse response estimation
US7646379B1 (en) * 2005-01-10 2010-01-12 Motion Computing, Inc. Wireless and contactless electronic input stylus having at least one button with optical scan and programmable pointer functionality
US7414705B2 (en) * 2005-11-29 2008-08-19 Navisense Method and system for range measurement
US8139029B2 (en) * 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
US20080169132A1 (en) * 2007-01-03 2008-07-17 Yao Ding Multiple styli annotation system
EP2156433A4 (en) * 2007-06-15 2012-04-04 Luidia Inc INTERACTIVITY IN A LARGE FLAT SCREEN DISPLAY
US8625846B2 (en) * 2008-03-18 2014-01-07 Elliptic Laboratories As Object and movement detection
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements

Also Published As

Publication number Publication date
GB0810179D0 (en) 2008-07-09
US20110148798A1 (en) 2011-06-23
JP2011522271A (ja) 2011-07-28
WO2009147398A8 (en) 2010-03-04
WO2009147398A2 (en) 2009-12-10
EP2294501A2 (en) 2011-03-16
WO2009147398A3 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
JP5615270B2 (ja) 物体の位置決定
US10013119B2 (en) Touchless interfaces
US10001882B2 (en) Vibrated waveguide surface for optical touch detection
US9152276B2 (en) Acoustic motion determination
KR101750300B1 (ko) 터치 입력 힘 검출
US8169404B1 (en) Method and device for planary sensory detection
JP5628144B2 (ja) 目的物及び動作検出
US8139029B2 (en) Method and device for three-dimensional sensing
US20190113966A1 (en) Input device for ar/vr applications
US8913039B2 (en) Method and device for locating at least one touch on a touch-sensitive surface of an object
US8614669B2 (en) Touchless tablet method and system thereof
US9760215B2 (en) Method for detecting a touch-and-hold touch event and corresponding device
US11009998B2 (en) Systems and methods for ultrasonic, millimeter wave and hybrid sensing
JP2023550997A (ja) 非接触要素検出デバイス

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140909

R150 Certificate of patent or registration of utility model

Ref document number: 5615270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250