JP6933584B2 - 移動モデルを用いた物体への位置測定のマッピング - Google Patents

移動モデルを用いた物体への位置測定のマッピング Download PDF

Info

Publication number
JP6933584B2
JP6933584B2 JP2017568198A JP2017568198A JP6933584B2 JP 6933584 B2 JP6933584 B2 JP 6933584B2 JP 2017568198 A JP2017568198 A JP 2017568198A JP 2017568198 A JP2017568198 A JP 2017568198A JP 6933584 B2 JP6933584 B2 JP 6933584B2
Authority
JP
Japan
Prior art keywords
movement
model
objects
movement model
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017568198A
Other languages
English (en)
Other versions
JP2018535460A (ja
JP2018535460A5 (ja
Inventor
マーチン ホッホ,
マーチン ホッホ,
ジョアン フェヘイラ,
ジョアン フェヘイラ,
アクセル ハイム,
アクセル ハイム,
Original Assignee
マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー
マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー, マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー filed Critical マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー
Publication of JP2018535460A publication Critical patent/JP2018535460A/ja
Publication of JP2018535460A5 publication Critical patent/JP2018535460A5/ja
Application granted granted Critical
Publication of JP6933584B2 publication Critical patent/JP6933584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

(関連出願の相互参照)
本願は、2015年9月29日に出願された共有に係る米国仮特許出願第62/234,321号に対する優先権を主張するものであり、該米国仮特許出願は、あらゆる目的のために参照により本明細書中に援用される。
本開示は、ユーザの手または指等の物体によって行われるジェスチャを検出するためのシステムのための信号処理等、移動する物体を追跡するための信号処理に関する。
センサシステムが、ジェスチャを検出および分析し、電子デバイスの拡張制御機能を提供することが可能なタッチ式および非タッチ式入力システムを提供するために開発されている。タッチ検出システムは、通常、マトリクスに配列される水平および垂直電極を伴う、容量システムを使用する。相互および自己静電容量測定が、1つまたはそれを上回るタッチ点を判定するために使用されることができる。コントローラは、移動を追跡し、ジェスチャを評価するように構成されることができる。例示的タッチコントローラは、本願の譲受人によって製造されたMTCH6303である。Microchip Technology, Inc.から入手可能なアプリケーションノート「MTCH6303 Projected Capacitive Touch Controller Data Sheet」DS40001803が、参照することによって全体として本明細書に組み込まれる。
いくつかのセンサシステムでは、測定されたタッチ位置を接点識別子(ID)にマップすることは、測定されたタッチ位置と既知の接点の予測される位置との間の距離を計算し、それらの距離に基づいて最適割当を判定することによって解決される、組み合わせ割当問題である。タッチセンサシステムの状況では、用語「接点」および「接点識別子」は、同義的に使用され得る。さらに、本開示はまた、用語「物体」および「物体識別子」を「接点」ならびに「接点識別子」の使用と同意語として使用し得る。
MTCH6303 Projected Capacitive Touch Controller Data Sheet、DS40001803
種々の実施形態によると、接点への新しく測定された位置のマッピングのためのコスト関数が、非自明距離測定とは対照的に、接点の移動のための確率論的モデルの状態から導出される。したがって、コスト関数は、自己調節モデルならびに移動方向と水平および垂直な加速の尤度によって推定される、移動の速度ならびに方向を考慮することができる。
物体追跡システムでは、タスクは、測定された位置と物体の組み合わせ割当問題を解くことに遭遇する。それに加えて、コストマトリクスが、各物体への各測定された位置の割当のための個々のコストから構成される。最適割当が、次いで、例えば、ハンガリアン(Kuhn−Munkres)アルゴリズム[Harold W. Kuhn,"The Hungarian Method for the assignment problem",Naval Research Logistics Quarterly,2:83−97,1955]を用いて判定されることができる。
最適割当は、典型的には、最小総コストを伴う割当を含み得る。
割当毎のコストは、接点の新しく測定されたタッチ位置と最新(または予測)位置との間のマンハッタン距離または(平方)ユークリッド距離のような単純メトリックであってもよい。我々の新しいアプローチでは、本メトリックは、移動モデルから導出される。
本開示の実施形態は、位置追跡システムを含む。本システムは、プロセッサと、プロセッサに結合されるメモリとを含んでもよい。メモリは、プロセッサによってロードおよび実行されると、プロセッサに、複数の測定をセンサから受信させ、確率論的モデルを使用して、推定される物体の場所を測定にマップさせる、命令を含んでもよい。マッピングは、場所および測定に関するコストに基づいてもよい。確率論的モデルは、場所に基づいてもよい。
さらに、本開示の実施形態は、命令を含む、非一過性コンピュータ可読媒体を含む。命令は、プロセッサによってロードおよび実行されると、プロセッサに、複数の測定をセンサから受信させ、確率論的モデルを使用して、推定される物体の場所を測定にマップさせる。マッピングは、場所および測定に関するコストに基づいてもよい。確率論的モデルは、場所に基づいてもよい。
また、本開示の実施形態は、方法を含む。本方法は、複数の測定をセンサから受信するステップと、確率論的モデルを使用して、推定される物体の場所を測定にマップするステップとを含んでもよい。マッピングは、場所および測定に関するコストに基づいてもよい。確率論的モデルは、場所に基づいてもよい。
本発明は、例えば、以下を提供する。
(項目1)
位置追跡システムであって、
少なくとも1つのプロセッサと、
前記プロセッサに通信可能に結合される、少なくとも1つのコンピュータ可読媒体であって、前記媒体は、前記プロセッサによってロードおよび実行されると、前記プロセッサに、
複数の測定をセンサから受信することと、
移動モデルを使用して、物体の場所を測定にマップすることであって、前記マッピングは、前記移動モデル、測定データ、および前記場所から算出されるコストに基づく、ことと
を行わせるための命令を含む、媒体と、
を備える、位置追跡システム。
(項目2)
前記測定は、位置データを含む、項目1に記載の位置追跡システム。
(項目3)
前記移動モデルは、確率論的モデルを含む、項目1または2に記載の位置追跡システム。
(項目4)
前記移動モデルは、前記物体の過去の軌道に基づく、前記項目のいずれか一項に記載の位置追跡システム。
(項目5)
前記移動モデルは、前記物体の移動方向と前記物体の移動に直交する方向との間で異なる、確率分散を含む、前記項目のいずれか一項に記載の位置追跡システム。
(項目6)
前記移動モデルは、前記物体の移動に直交する方向より前記物体の移動方向に関して大きい確率を含む、前記項目のいずれか一項に記載の位置追跡システム。
(項目7)
前記物体の移動方向および前記物体の移動に直交する方向に関する確率を判定するための前記移動モデルの分散は、カルマンフィルタから得られる、前記項目のいずれか一項に記載の位置追跡システム。
(項目8)
命令を備える、少なくとも1つの非一過性コンピュータ可読媒体であって、前記命令は、プロセッサによってロードおよび実行されると、前記プロセッサに、
複数の測定をセンサから受信することと、
移動モデルを使用して、物体の場所を測定にマップすることであって、前記マッピングは、前記移動モデル、前記測定、および前記場所から算出されるコストに基づく、ことと
を行わせる、媒体。
(項目9)
測定データは、位置データを含む、項目8に記載の媒体。
(項目10)
前記移動モデルは、確率論的モデルを含む、項目8または9に記載の媒体。
(項目11)
前記移動モデルは、前記物体の過去の軌道に基づく、項目8〜10のいずれか一項に記載の媒体。
(項目12)
前記移動モデルは、前記物体の移動方向と前記物体の移動に直交する方向との間で異なる、確率分散を含む、項目8〜11のいずれか一項に記載の媒体。
(項目13)
前記移動モデルは、前記物体の移動に直交する方向より前記物体の移動方向に関して大きい確率を含む、項目8〜12のいずれか一項に記載の媒体。
(項目14)
前記物体の移動方向および前記物体の移動に直交する方向に関する確率を判定するための前記移動モデルの分散は、カルマンフィルタから得られる、項目8〜13のいずれか一項に記載の媒体。
(項目15)
方法であって、
複数の測定をセンサから受信するステップと、
移動モデルを使用して、物体の場所を測定にマップするステップであって、前記マッピングは、移動モデル、前記測定、および前記場所から算出されるコストに基づく、ステップと、
を含む、方法。
(項目16)
前記測定は、位置データを含む、項目15に記載の方法。
(項目17)
前記移動モデルは、確率論的モデルを含む、項目15または16に記載の方法。
(項目18)
前記移動モデルは、前記物体の過去の軌道に基づく、項目15〜17のいずれか一項に記載の方法。
(項目19)
前記移動モデルは、前記物体の移動方向と前記物体の移動に直交する方向との間で異なる、確率分散を含む、項目15〜18のいずれか一項に記載の方法。
(項目20)
前記移動モデルは、前記物体の移動に直交する方向より前記物体の移動方向に関して大きい確率を含む、項目15〜19のいずれか一項に記載の方法。
図1は、物体の移動を追跡するためのシステムの例示的実施形態を図示する。 図2は、物体の移動を追跡するために行われる測定を図示する。 図3は、ユークリッド距離を使用した物体の移動の例示的分析を図示する。 図4は、移動モデルから得られるコスト関数の例示的実施形態を図示する。 図5は、確率論的モデルを使用した物体の移動の例示的分析を図示する。 図6は、物体の移動を追跡するための方法の例示的実施形態を図示する。
図1は、物体の移動を追跡するためのシステム100の例示的実施形態の例証である。システム100は、指、手、他の身体部分、または物体全体等の物体を追跡してもよい。物体は、電子デバイス104等の電子デバイスとインターフェースをとる、またはその近傍で動作するにつれて、追跡されてもよい。追跡されるべき物体は、図1に示されないが、追跡されるべきこれらの物体は、センサまたはセンサのセットの感知範囲に触れる、ほぼ触れる、もしくは別様にその中にあってもよい。一実施形態では、システム100は、物体が将来位置するであろう場所を予測することによって、物体の移動を追跡してもよい。センサからの測定を前提として、システム100は、測定が、雑音である、ある物体からのものである、または電子デバイス104によって追跡され得る1つを上回る物体の物体からのものであるかどうかを判定してもよい。一実施形態では、システム100は、新しい測定を物体の移動の以前の測定または計算されたトレースに関連させる確率モデルに基づいて、そのような判定を行ってもよい。別の実施形態では、システム100は、物体の垂直移動ではなく、物体の以前の線形移動、加速、または減速に関連する、より高い確率を測定に割り当てることによって、そのような判定を行ってもよい。
任意の好適なセンサが、物体の移動を追跡するシステム100内で使用されてもよい。例えば、電子デバイス104は、センサ106を含んでもよい。センサ106は、容量、光学、赤外線、超音波、または他のセンサ等のタッチセンサもしくは近接度センサとして実装され、ユーザの手等の物体の移動を検出およびトレースしてもよい。
センサ106は、分析のための測定を発してもよい。システム100は、センサ106からの測定を分析し、そのような測定が感知された特定の物体に割り当てられるべきかどうかを判定するための任意の好適な機構を含んでもよい。さらに、システム100は、そのような物体の移動のトレースをマップするための任意の好適な機構を含んでもよい。例えば、システム100は、移動分析モジュール(MAM)102を含んでもよい。MAM102は、任意の好適な様式で実装されてもよい。例えば、MAM102は、ハードウェア、ソフトウェア、アナログ回路、デジタル回路、再構成可能論理、または任意の好適なそれらの組み合わせにおいて実装されてもよい。一実施形態では、MAM102は、プロセッサ108によって実行されると、本開示に説明される動作を行うようにMAM102を構成し得る、メモリ110等のコンピュータ可読媒体内の命令によって実装されてもよい。そのような場合、MAM102は、プロセッサ108上での実行のために、1つまたはそれを上回る関数、コード、プロセス、スクリプト、実行可能ファイル、アプリケーション、オブジェクト、または他のエンティティによって実装されてもよい。プロセッサ108は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向けインターフェース回路(ASIC)、マイクロコントローラ、または汎用再構成可能プロセッサ等によって、任意の好適な様式で実装されてもよい。種々の実施形態では、MAM102は、移動モデル112およびコストマトリクス114を含む、またはそれに通信可能に結合されてもよい。
MAM102は、任意の好適な数の物体または次元を追跡するように構成されてもよい。以下の実施例では、MAM102は、トラックパッド、ディスプレイ入力、または電子デバイス104への他の類似入力に対して2本の指を追跡するように示される。しかしながら、MAM102の動作および構成は、これらの実施例から、センサの可用性に応じて、任意の好適な数ならびに種類の物体を追跡することに拡張されてもよい。例えば、MAM102は、消費者電子機器内の測位システム、2次元または3次元空間、医学(血管内の移動する粒子の追跡等)、軍用標的追跡、ロボット、ビデオ監視、屋内および/または屋外測位システムにおいて複数の物体を追跡するように構成されてもよい。いくつかの事例では、エンドユーザが着目し得ない物体が、追跡され得る。例えば、2次元タッチパッド上の水滴は、指のタッチに類似する測定を生じさせ得る。しかしながら、最終的に、そのような物体は、より高レベルの用途のために無視されるべきである。これらの物体は、標的物体と異なる移動モデルを有し得る。
図2は、例示的タッチデータの例証である。2つの物体(指等)ID0およびID1を前提として、そのような物体は、円形マークによって図2に示される個別の位置にあることが事前に判定されていてもよい。そのような判定は、それ自体が予測または推定となっていてもよい。2次元または3次元移動を判定および追跡することが可能であるが、MAM102は、したがって、これらの基準点を物体トレースにマップし得る。
図2において#0および#1として表され、十字マークを使用して示される、2つの新しい測定を検討する。MAM102は、これらの測定のそれぞれがすでに追跡されている物体、新しく検出された物体に属するか、またはいかなる物体にも全く属さないかどうかを判定するように構成されてもよい。例えば、そのような測定は、雑音または不注意によるタッチである場合がある。
他の用途は、(平方)ユークリッド距離、マンハッタン距離、または個別の物体からの他の距離に基づいて、測定#0および#1を物体ID0ならびにID1のいずれかに割り当ててもよい。例えば、測定#0は、ID1から3コスト単位であって、ID0から2コスト単位である。したがって、本単純比較に基づいて、測定#0は、ID0に割り当てられ得る。しかしながら、同時またはほぼ同時に、測定#1が、行われた。測定#1は、ID1から4単位であって、ID0から3単位であることが判定され得、したがって、任意の他の考慮を伴わない場合、測定#1もまた、ID0に割り当てられるであろう。しかしながら、両測定は、同一物体に同時に帰属することができない。その結果、いくつかの追跡モデルは、組み合わせ割当アルゴリズムを適用し、該当する場合、どの測定がどの物体に属するかを判定してもよい。そのような組み合わせ割当アルゴリズムを用いても、誤差が、生成され得る。
例えば、図3は、物体の最後の既知のまたは計算された位置への測定値からの平方ユークリッド距離の結果として生成され得る追跡された物体への測定のマッピングを図示する。図3は、グラフの上からグラフの下に向かって移動する、2つの物体(ID0およびID1)の移動のX−Yプロットを図示する。図中の各十字「×」は、測定を表す。前の測定は、グラフを通して移動されるにつれて、物体のトレースのうちの1つに帰属し得る。
面積301内には、測定位置bが約x=10にあって、測定位置bが約x=12にある、新しい測定のセットが見出され得ることが表される。距離のみの判定を前提として、ユークリッドまたは別の距離のいずれか使用すると、測定位置bは、ID1に帰属し得、測定位置bは、ID0に帰属し得る。これは、bとID1の予測される接点位置との間の距離+bおよびID0の予測される接点位置との間の距離が、bとID0の予測される接点位置との間の距離+bとID1の予測される接点位置との間の距離より小さいためであり得る。距離計算判定は、したがって、正しくない可能性が高い交差トレースを生じさせ得る。これは、接点識別子への測定されたタッチ位置のマッピングが、全測定されたタッチ位置と全既知の接点の予測される位置との間の距離を計算し、次いで、それらの距離に基づいて、最適割当を判定することによって(正しくなく)解かれ得る、組み合わせ割当問題である、従来のタッチマッピングから生じ得る。コストマトリクスからの測定の割当は、例えば、ハンガリアン(Kuhn−Munkres)アルゴリズム[Harold W. Kuhn,"The Hungarian Method for the assignment problem",Naval Research Logistics Quarterly,2:83-97,1955]を使用して個々の物体に行われ得る。しかしながら、実際には、これは、例えば、2本の指がその前の平行トレース動作を維持する可能性が高いため、正しいマッピングである可能性が低くあり得る。
故に、一実施形態では、MAM102は、物体への新しく測定された位置のマッピングのための異なるコスト関数を利用してもよい。そのようなコスト関数は、他の距離のみの計算と異なり得る。さらなる実施形態では、コスト関数は、物体の移動の確率論的モデルに基づいてもよい。
図4は、本開示の実施形態による、MAM102によって適用され得る、確率論的モデルを用いたコスト関数値の例証である。確率論的モデルは、完全または部分的に、移動モデル112を実装してもよい。MAM102は、確率論的モデルをセンサ106から受信された測定に適用し、コストマトリクス114を求めてもよく、そこから、最適マッピングが、判定されてもよい。確率論的モデルは、前の位置と、そのような位置から、速度、加速、または躍度とを考慮してもよい。さらに、確率論的モデルは、角度、弧、およびその派生物を含む、移動方向を考慮してもよい。確率論的モデルは、所与の現在のまたは予測される位置およびこれらの他のパラメータのうちの1つもしくはそれを上回るものを前提として、物体の次の測定がドメイン空間(XYまたは付加的次元)空間内の任意の所与の位置であろう確率を識別してもよい。ドメイン空間の種々の部分は、確率の代表値として定義されてもよい。部分は、図4に示されるように、等値線を用いて定義されてもよい。最新位置を含有する部分は、最高確率であり得る。本第1の部分から離れるように移動する部分は、低下確率を表し得る。第1の部分に関する任意の好適な初期確率値および任意の勾配確率が、使用されてもよい。
確率論的モデルは、追跡されている物体毎に生成または適用されてもよい。したがって、新しい測定を前提として、MAM102は、各物体の確率論的モデルを新しい測定に適用し、新しい測定が各個別の物体に属する確率を判定してもよい。本分析の結果は、コストマトリクス114等のマトリクス内に記憶されてもよい。続いて、MAM102は、最適化ルーチンを適用し、1つまたはそれを上回る測定のために、種々の物体にマップされるように、または雑音として判定されるように、測定のための最良適合を判定してもよい。
次の測定が現在の位置推定に関連するであろう種々のコスト関数値を表す等値線の特定の形状が、任意の好適な基準に従って判定されてもよい。例えば、物体が高速で移動するほど、物体の軌道内の将来の測定が物体にマップするであろう確率が高くなる。したがって、物体の移動は、確率論的モデルを判定するために使用されてもよい。確率論的モデルによって判定されるコスト関数は、モデル化されている物体の移動の速度および方向を考慮してもよい。一実施形態では、確率論的モデルは、自己調節してもよい。物体が移動し、方向を変化させるにつれて、確率論的モデルのパラメータおよび変数は、再計算されてもよい。
一実施形態では、確率論的モデルは、物体が、垂直、加速、または減速ではなく、線形を伴って移動するであろう可能性がより高いことを定義してもよい。したがって、追跡されている物体は、方向を変化させるよりも既存の軌道内で加速または減速するであろう(線形もしくは別様に)可能性がより高い。図4に示される卵形等値線は、そのような確率を反映する。
確率論的モデルは、物体が、図4における矢印によって示されるように、一定速度で一定方向の移動(ニュートンの運動)を保つ傾向となるであろうと仮定し得る。いくつかの測定は、物体の雑音または意図的移動に起因して、ランダム要素を含み得る。等値線および確率値を定義する確率分布は、物体のニュートンの運動に適用されるガウス分布等の分布に従って行われてもよい。確率は、移動が一定であると仮定して割り当てられてもよい。移動方向と平行の加速は、移動方向と垂直な加速より可能性が高いと予測され得る。偏差に関する確率分布は、図4の輪郭に示されるように、それに直交する方向より線形または平行移動方向に大きな分散を有する。
確率論的モデルは、追跡される物体毎にパラメータのセットを維持してもよい。確率分布の分散は、一定である、または物体の移動の現在の速度、加速、躍度、角度、もしく軌道に適合されてもよい。測定を物体に割り当てるためのメトリックは、測定位置が個別の物体の移動モデルを用いて得られる、確率(または対数尤度)である。
確率論的モデルは、カルマンフィルタが基づくモデルから適合されてもよい。カルマンフィルタは、新しい位置推定が古いモデル状態から予測される、予測段階と、決定論的入力と、ランダムプロセス雑音の分散の自己調節推定とを含む。位置推定は、典型的には、直接、フィルタ状態内に含有されるであろう。確率論的モデルは、物体の位置推定、物体の推定される一定移動からの制御入力に基づいてもよく、プロセス雑音が、予測される位置からのランダム偏差によって実装され得る。カルマンフィルタの他の使用に対する変更は、x−およびy−方向における移動のみを区別するのではなく、移動方向および移動と直交する方向におけるプロセス雑音分散を区別することも含んでもよい。
確率論的モデルは、好適な様式で判定されたパラメータを伴う、ガウス分布に基づいてもよい。一実施形態では、平均値μ、標準偏差σ、および以下の確率分布を伴う、ガウス分布ランダム変数zに関して、
Figure 0006933584
(対数)尤度関数は、以下のように定義され得る。
Figure 0006933584
2つのそのようなランダム変数の同時確率分布は、相関しない場合、非相関成分を伴う二変量ガウス確率分布に類似する、その個々の確率分布の積となる。対応する尤度関数は、2つの個々の尤度関数の和である。次元xおよびyを伴う2次元デカルト座標系内に指数iを伴う追跡される物体に関して、a=[xa,i、ya,i]を予期される位置、v=[vx,i、vy,i]を予期される移動量、ならびに
Figure 0006933584
をそれぞれ予期される移動方向と平行ならびに垂直な移動に関する標準偏差とする。平行移動および垂直移動は、相関しないと仮定され得る。故に、点b=[x、y]が測定される尤度は、以下となる(定数項を省略する)。
Figure 0006933584
演算子「・」によって表されるvとの(b−a)の内積によってvの方向における(b−a)の部分が抽出され、演算子「×」によって表されるvとの(b−a)の外積によって、vの方向と垂直な(b−a)の部分が、抽出される場合、ベクトルおよびスカラーのユークリッドノルムは、それぞれ、||・||および|・|によって表され、.は、ベクトル転置を表す。図2では、a=[0、0]、v=[2、1]、
Figure 0006933584
である。予期される移動がゼロ(v=[0、0])である場合、例外が、要求される。したがって、無方向移動が有利に働き、尤度は、以下によって計算されることができる
Figure 0006933584
すなわち、bおよびaのユークリッド距離に依存する。
図5は、本開示の実施形態による、MAM102の例示的動作を図示する。図5では、MAM102は、測定されたタッチ位置の検出に先立って、移動モデルに従ってトレースを生成していてもよい。各トレースにわたる重畳は、追跡される物体毎に、所与の領域内の測定がその物体に起因するであろう可能性を示す、確率モデルである。測定されたタッチ位置は、図3に示されるものと同一であってもよい。しかしながら、図5では、確率論的モデルの使用は、物体ID1の軌道をトレースし、トレースからの確率論的モデルを適用していてもよい。図5におけるドメイン上に示されるようなモデルは、MAM102が、ID1からの将来的タッチが右の一連の等値線内のドメインの種々の部分内に生じる可能性が高い一方、ID0からの将来的タッチが左の一連の等値線内のドメインの種々の部分内に生じる可能性が高いことを予期することを示す。約x=10における測定bは、ID0モデルの高確率内にあって、約x=12における測定bは、ID1モデルの中程度の確率内にある。これは、測定bが、概して、ID1の前の軌道内にあって、垂直移動ではなく、軌道の同一方向における減速を表すためである(ID0と関連付けられる、または測定bがID1物体である場合に該当するであろうように)。また、新しい位置の予測が基づく位置は、すでに平滑トレース上にある。したがって、相互に交差するのではなく、ID0およびID1のトレースは、平行のままである。
故に、MAM102は、位置を追跡し、コストまたは分布関数F(a、b)に基づいて、セットAからの位置aをセットBからの位置b(またはその逆)へとマップしてもよい。Fは、位置aに基づいて、変更または生成されてもよい。Aは、追跡される物体と関連付けられた位置推定のセットであってもよい。Bは、測定データから得られる位置推定のセットであってもよい。Fは、aおよびbに関する尤度(または逆に、コスト、距離)測定を返してもよい。戻り値は、対(a、b)の尤度が高/低であるとき、高/低であり得る。関数Fは、aの履歴に依存し得、尤度は、aの移動方向およびaの移動に直交する方向において異なって変化する。典型的には、尤度は、aの移動に直交する方向における減少よりもaの移動方向にゆっくりと減少する。関数Fは、総コストを算出するために使用され得る、入力位置対(a,b)に関するコスト出力値を提供してもよい。一実施形態では、Fは、平均値aを伴う多変量ガウス関数であってもよい。Fは、aを中心としてもよい。カルマンフィルタリングが、物体位置を追跡するために適用されてもよく、aは、所与の追跡される物体に関するカルマン予測段階から生じる位置である。ガウス関数は、aの移動方向およびaの移動に直交する方向に異なる分散を含む、異なる方向に異なる分散を有し得る。ガウス関数の分散は、適合される、または一定であってもよく、さらに、物体位置を追跡するために使用されるカルマンフィルタから得られてもよい。
図6は、物体の位置を追跡するための方法600の例示的実施形態の例証である。一実施形態では、方法600は、ソフトウェアに実装されてもよい。方法600は、システム100等の任意の好適な機構によって実装されてもよい。
605では、本方法は、最大N個の物体を追跡するように設定される。そのような物体は、例えば、2つまたは3つの異なる次元を通して追跡されてもよい。物体は、例えば、タッチまたは近接度センサによって追跡されてもよい。確率論的移動モデルは、物体毎に初期化されてもよい。
610では、測定bが、センサから受信されてもよい。
615では、物体a毎の確率論的モデルが、測定b毎に評価されてもよい。確率論的モデルは、物体の位置、角度、移動、速度、加速、躍度、または他の好適なパラメータに基づいてもよい。これらのパラメータは、方法600の以前の実行から生じてもよい。これらの評価の結果は、測定と物体を関連付けるための確率、尤度、またはコスト関数であってもよい。コスト関数の結果は、コストマトリクスCをポピュレートするために使用されてもよい。したがって、N個の物体a(i=1…N)およびM個の測定b(j=1…M)毎に、測定b毎に、および身体a毎に、コストマトリクスCのエントリ(i、j)が、aのためのモデルに従って、bからaへのマッピングのコストに割り当てられる。aのインスタンス毎のモデルは、異なってもよい。
620では、測定bを物体aに割り当てる問題が、コスト最適化アルゴリズムに従って、コストマトリクスCを用いて解かれてもよい。
625では、移動モデルの変数、例えば、物体、角度、速度、加速、躍度のトレース、ならびに移動方向およびそれと垂直な方向における移動の確率が、更新されてもよい。それによって、個別の新しく割り当てられる測定bが、検討されてもよい。
方法600は、随意に、終了する、または必要に応じて、繰り返されてもよい。
ステップの例示的順序が示されるが、前述の方法のステップは、任意の順序で行われてもよい。さらに、1つまたはそれを上回るステップは、随意に、繰り返される、並行して行われる、もしくは省略されてもよい。方法600は、複数回、行われてもよい。本方法は、任意の好適な初期化点から開始するように行われてもよい。
例示的実施形態が前述されたが、他の変形例および実施形態も、これらの実施形態の精神ならびに範囲から逸脱することなく、本開示から行われてもよい。

Claims (14)

  1. n個までの物体を追跡するための位置追跡システムであって、nは、1より大きい整数であり、前記位置追跡システムは、
    n個までの物体の場所を検出するように構成される少なくとも1つの2Dおよび/または3D位置追跡センサと、
    前記位置追跡センサと結合される少なくとも1つのプロセッサと、
    前記プロセッサに通信可能に結合される少なくとも1つのコンピュータ可読媒体であって、前記媒体は、前記プロセッサによってロードおよび実行されると、前記プロセッサに、
    前記n個の物体の各々の移動モデルを、それぞれの物体の複数のパラメータに基づいて初期化することであって、各移動モデルは、2Dまたは3D空間上の連続確率分布または同等の測度の観点からそれぞれの物体についての可能性のある将来的な場所を判定し、前記物体の移動方向および前記物体の移動に直交する方向に関する確率を判定するための前記移動モデルの分散は、カルマンフィルタから得られる、ことと、
    n個の物体をn個の開始場所に割り当てることと、
    続いて、
    n個の測定のセットを前記センサから受信することと、
    前記n個の物体の各々の確率測度によって、それぞれの移動モデルを使用して、可能性のある将来的な場所を計算することであって、前記計算は、それぞれの物体に関連付けられた以前の場所に少なくとも基づく、ことと、
    前記確率測度を考慮して前記測定の全ての最良適合を判定することによって、前記n個の物体の各々に独占的に前記測定のうちの1つを関連付けることと、
    随意に、測定を受信するステップと計算するステップと関連付けるステップとを繰り返すことと
    を行うことによって、前記物体の後に測定される場所をそれぞれの物体モデルにマップさせるための命令を含む、媒体と
    を備える、位置追跡システム。
  2. あり得る将来的な場所の計算は、速度、加速度、躍度、以前の位置からの移動の方向のうちの1つ以上を考慮する、請求項1に記載の位置追跡システム。
  3. 前記移動モデルは、確率論的モデルを含む、請求項1に記載の位置追跡システム。
  4. 前記移動モデルは、前記物体の過去の軌道に基づく、請求項1〜3のいずれか一項に記載の位置追跡システム。
  5. 前記移動モデルは、前記物体の前記移動方向と前記物体の移動に直交する前記方向との間で異なる確率分散を含む、請求項1〜3のいずれか一項に記載の位置追跡システム。
  6. 前記移動モデルは、可能性のある場所を表す等値線を計算し、各等値線は、関連付けられた確率を有する、請求項1〜3のいずれか一項に記載の位置追跡システム。
  7. 前記移動モデルは、前記物体の移動に直交する前記方向より前記物体の前記移動方向に関して大きい確率を含む、請求項1〜3のいずれか一項に記載の位置追跡システム。
  8. n個までの物体の場所を検出および追跡するように構成される2Dおよび/または3Dセンサを使用する方法であって、nは、1より大きい整数であり、前記方法は、
    a)前記n個の物体の各々のn個の移動モデルを、それぞれの物体の複数のパラメータに基づいて初期化することであって、各移動モデルは、2Dまたは3D空間上の連続確率分布または同等の測度の観点からそれぞれの物体についての可能性のある将来的な場所を判定し、前記物体の移動方向および前記物体の移動に直交する方向に関する確率を判定するための前記移動モデルの分散は、カルマンフィルタから得られる、ことと、
    b)n個の物体をn個の開始場所に割り当てることと、
    続いて、
    c)m個の測定のセットを前記センサから受信することと、
    d)前記n個の物体の各々の確率測度によって、それぞれの移動モデルを使用して、可能性のある将来的な場所を計算することであって、前記計算は、それぞれの物体に関連付けられた以前の場所に少なくとも基づく、ことと、
    e)前記確率測度を考慮して前記測定(b,b)の全ての最良適合を判定することによって、前記n個の物体の各々に独占的に前記測定(b,b)のうちの1つを関連付けることと、
    随意に、ステップc)とステップd)とステップe)とを繰り返すことと
    を含む、方法。
  9. あり得る将来的な場所を計算するステップは、速度、加速度、躍度、以前の位置からの移動の方向のうちの1つ以上を考慮する、請求項に記載の方法。
  10. 前記移動モデルは、確率論的モデルを含む、請求項に記載の方法。
  11. 前記移動モデルは、前記物体の過去の軌道に基づく、請求項10のいずれか一項に記載の方法。
  12. 前記移動モデルは、前記物体の前記移動方向と前記物体の移動に直交する前記方向との間で異なる確率分散を含む、請求項10のいずれか一項に記載の方法。
  13. 前記移動モデルは、可能性のある場所を表す等値線を計算し、各等値線は、関連付けられた確率を有する、請求項10のいずれか一項に記載の方法。
  14. 前記移動モデルは、前記物体の移動に直交する前記方向より前記物体の前記移動方向に関して大きい確率を含む、請求項10のいずれか一項に記載の方法。
JP2017568198A 2015-09-29 2016-09-29 移動モデルを用いた物体への位置測定のマッピング Active JP6933584B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562234321P 2015-09-29 2015-09-29
US62/234,321 2015-09-29
US15/278,534 US10234990B2 (en) 2015-09-29 2016-09-28 Mapping of position measurements to objects using a movement model
US15/278,534 2016-09-28
PCT/EP2016/073371 WO2017055517A1 (en) 2015-09-29 2016-09-29 Mapping of position measurements to objects using a movement model

Publications (3)

Publication Number Publication Date
JP2018535460A JP2018535460A (ja) 2018-11-29
JP2018535460A5 JP2018535460A5 (ja) 2019-10-24
JP6933584B2 true JP6933584B2 (ja) 2021-09-08

Family

ID=57121219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017568198A Active JP6933584B2 (ja) 2015-09-29 2016-09-29 移動モデルを用いた物体への位置測定のマッピング

Country Status (7)

Country Link
US (1) US10234990B2 (ja)
EP (1) EP3356924A1 (ja)
JP (1) JP6933584B2 (ja)
KR (1) KR102501658B1 (ja)
CN (1) CN107850977B (ja)
TW (1) TWI731879B (ja)
WO (1) WO2017055517A1 (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248409B (zh) * 2005-08-22 2012-08-22 三星电子株式会社 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法
US20100073318A1 (en) * 2008-09-24 2010-03-25 Matsushita Electric Industrial Co., Ltd. Multi-touch surface providing detection and tracking of multiple touch points
TW200925966A (en) * 2007-12-11 2009-06-16 J Touch Corp Method of controlling multi-point controlled controller
US20110193777A1 (en) * 2008-06-05 2011-08-11 Smart Technologies Ulc Multiple pointer ambiguity and occlusion resolution
JP5554517B2 (ja) 2009-04-22 2014-07-23 富士通コンポーネント株式会社 タッチパネルの位置検出方法及びタッチパネル装置
TWI401591B (zh) * 2010-02-11 2013-07-11 Asustek Comp Inc 可攜式電子裝置
CN201698387U (zh) * 2010-06-08 2011-01-05 北京汇冠新技术股份有限公司 用于带摄像头触摸屏的光源、触摸屏、触摸系统和显示器
US8760424B2 (en) 2011-03-17 2014-06-24 Intellitact Llc Touch enhanced interface
GB201110156D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
JP6155448B2 (ja) * 2012-11-01 2017-07-05 アイカム エルエルシー 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
DE102013215742A1 (de) * 2013-08-09 2015-02-12 Ford Global Technologies, Llc Verfahren sowie Bedienvorrichtung zum Bedienen eines elektronischen Gerätes über einen Touchscreen
EP2911089B1 (en) * 2014-02-25 2018-04-04 Karlsruher Institut für Technologie Method and system for handwriting and gesture recognition
CN104777984A (zh) * 2015-04-30 2015-07-15 青岛海信电器股份有限公司 一种触摸轨迹跟踪的方法、装置及触屏设备

Also Published As

Publication number Publication date
TWI731879B (zh) 2021-07-01
JP2018535460A (ja) 2018-11-29
WO2017055517A1 (en) 2017-04-06
CN107850977A (zh) 2018-03-27
KR20180059395A (ko) 2018-06-04
US10234990B2 (en) 2019-03-19
US20170300173A1 (en) 2017-10-19
EP3356924A1 (en) 2018-08-08
TW201721400A (zh) 2017-06-16
KR102501658B1 (ko) 2023-02-20
CN107850977B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
US9483146B2 (en) Input classification for multi-touch systems
KR101956073B1 (ko) 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR20170030613A (ko) 터치 분류
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
US20140104194A1 (en) Input Classification for Multi-Touch Systems
MX2015004634A (es) Entrada sin contacto para una interfase de usuario.
WO2014062973A1 (en) Input classification for multi-touch systems
US9047001B2 (en) Information processing apparatus, information processing method, and program
US9779292B2 (en) System and method for interactive sketch recognition based on geometric contraints
US20120249487A1 (en) Method of identifying a multi-touch shifting gesture and device using the same
US10503256B2 (en) Force feedback
CN103677240A (zh) 虚拟触摸交互方法和虚拟触摸交互设备
US10788917B2 (en) Input device, input method and program
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
US9471983B2 (en) Information processing device, system, and information processing method
CN105474164A (zh) 间接输入的歧义消除
JP6933584B2 (ja) 移動モデルを用いた物体への位置測定のマッピング
WO2018098771A1 (zh) 确定方位角或姿态的方法、触控输入装置、触控屏及系统
US9927917B2 (en) Model-based touch event location adjustment
CN105260044B (zh) 电子设备及触控操作识别方法
EP2715492A2 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
KR101633507B1 (ko) 엔드 포인트를 보정하는 시스템 및 방법
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
CN108572778B (zh) 输入方法及使用该输入方法的触控装置和手势侦测装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150