JP4932500B2 - 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー - Google Patents

多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー Download PDF

Info

Publication number
JP4932500B2
JP4932500B2 JP2006553627A JP2006553627A JP4932500B2 JP 4932500 B2 JP4932500 B2 JP 4932500B2 JP 2006553627 A JP2006553627 A JP 2006553627A JP 2006553627 A JP2006553627 A JP 2006553627A JP 4932500 B2 JP4932500 B2 JP 4932500B2
Authority
JP
Japan
Prior art keywords
contact
point
graphical object
controlling
predetermined processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006553627A
Other languages
English (en)
Other versions
JP2007527061A (ja
Inventor
ジョゲ，パスカル
ラーギリエール，ギヨーム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stantum SAS
Original Assignee
Stantum SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34834225&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4932500(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Stantum SAS filed Critical Stantum SAS
Publication of JP2007527061A publication Critical patent/JP2007527061A/ja
Application granted granted Critical
Publication of JP4932500B2 publication Critical patent/JP4932500B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
  • Details Of Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、音楽コントローラーの分野に関する。
本発明は、特に人―機械インターフェースに関し、例えば、仮想オブジェクトの操作を用いた多点接触の触知（タッチ）スクリーンにより、音楽ソフトウェア又はコントローラーのコントロールを可能にするインターフェースに関する。
先行技術には、すでにマニュアルタイプのソフトウェアコントローラーがある。これらのソフトウェアコントローラーとしては、例えばユーザーにより端末から操作されるポテンショメーターがある。このポテンショメーターは、音楽ソフトウェアの種々のファンクションをコントロールする。このような端末は、例えば特許文献１の主題とされている。
このタイプのコントローラーの問題は、あまり人間工学的でなく、ソフトウェアの操作が効率的でないことにある。
本発明が提案する解決方法は、ソフトウェアファンクション（機能）の操作及びアクセスのためのタッチスクリーンを用いることである。
タッチコントローラーの分野において、すでに先行技術には、特許文献２又は特許文献３があり、マトリックスセンサー上にタッチコントローラーを備えた音楽コントローラーが開示されている。これらの上記特許文献に記載の技術によれば、多点接触タイプのタッチコントロールが可能であり、ソフトウェアのコントロールに対してすべての指が介在することができる。
しかしながら、これらの上記文献には、マトリックスセンサーそれぞれが不透明タイプであるために、操作に対する視覚的リターンが提案されていない。
また、先行技術には、特許文献４（Ｌｅｓｔｅｒ Ｆｒａｎｃｋ Ｌｕｄｗｉｇ）“Ｔａｃｔｉｌｅ，Ｖｉｓｕａｌ ａｎｄ Ａｒｒａｙ Ｃｏｎｔｒｏｌｌｅｒｓ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｃｏｎｔｒｏｌ ｏｆ Ｍｕｓｉｃ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｘｉｎｇ，Ｖｉｄｅｏ ａｎｄ Ｌｉｇｈｔｉｎｇ”があり、プレゼンテーション、録音中において、タッチセンサー、圧力センサーのマトリックス、光変換器のマトリックス、化学センサーのマトリックス、体感センサーのマトリックス、及びデジタル処理から導かれるイメージを用いる複合環境において、リアルタイムに信号処理、シンセサイザー、楽器、ＭＩＤＩプロセッサー、光、ビデオ、及び特別効果を、コントロールするシステム及び方法が開示されている。特許文献４に記載の発明は、タッチコントロールのインターフェースとして、タッチパッド、圧力センサーのマトリックス及び体感センサーのマトリックスを、光変換器のようなビデオカメラ及び光センサーのマトリックスを、更に化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の装置のマトリックスを備えている。タッチ変換器は、従来からある楽器の鍵盤の上に配置されたり、既存の楽器に付加されたり、また新しい楽器又は新しいコントローラーを作り出すために用いることができる。化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の機器のマトリックスは、環境条件又は自己組織化プロセスの振る舞いのような自然物理現象を、観察したり、シミュレートするために用いることができる。スカラー量又はベクトル量のマトリックスは、パターンリミット、（幾何学的中心又は重み付けされたモーメント等の）リミット内のピクセルの幾何学的性質、及び（回転方向、セグメント化された領域、パターン分類、構文、文法、シークエンス等の）外部のビデオ及び視覚機器をコントロールするためのコントロール信号を作り出したり、アルゴリズムを作り出すために用いられるより高いレベルから導かれる情報を抽出するために処理される。またこの発明は、ＭＩＤＩ及び非ＭＩＤＩのコントロール信号が供給されるようにもできる。
しかし、この特許文献４には、操作への視覚的リターンが提案されていない。この特許文献４は、命令法則についても記載されていない。更に、特許文献４には、複数の指がセンサー上に直交して位置するように置かれた場合に生じるマスキング現象への技術的解決法が提案されていない。これらの問題の解決は、多点接触タッチセンサーを実現するためには不可欠である。
更に、先行技術には、特許文献５（Ｙａｍａｈａ）“Ｍｕｓｉｃａｌ Ｔｏｎｅ Ｇｅｎｅｒａｔｉｎｇ Ａｐｐａｒａｔｕｓ”があり、音楽音を生成する機器が開示されている。この機器は、楽器の位置情報（ＰＳ）を平面座標の値として生成するデバイスを備えている。この位置情報（ＰＳ）は、メモリーデバイスに記憶されるか、又はマニュアル操作による選択的方法で決定される。またこの機器は、位置情報（ＰＳ）を、音楽音をコントロールするパラメーター情報（ＰＤ）へ変換するデバイスを備えている。このＰＤコントロール情報は、音楽音（Ｓ１１，Ｓ１２及びＳ１３）の音源信号をコントロールして、舞台上に配置された複数の楽器の位置に対応する音場を生成する。これは、操作者に舞台上の複数の楽器の位置を検証させるので、本当のライブパフォーマンス中にいる感覚を与える。
この特許文献５には、多点接触が記載されているが、一軸上の２点のみであり、デカルト座標上の多点接触は記載されていない。特許文献５に記載の機器は、多点を選択した時には直線状にのみ機能して、（軌跡を追うような）トラッキングはしない。また、特許文献５に記載の機器は、各楽器に特有の多数のセンサーを必要とするのに対して、本発明は、汎用のセンサーに関したものである。
更にまた、先行技術には、特許文献６があり、操作されたオブジェクトの視覚的リターンを備えたタッチスクリーンタイプの音楽コントローラーの解決法が開示されている。特許文献６には、（基本的にスライドタイプ及びジョグシャトルタイプの）前もって決められたオブジェクトしか記載されていない。これらのタイプのオブジェクトは、限定的であり、所定の操作に対して人間工学的でないことが明らかである。更に、特許文献６に記載されている感知モードはリアルタイムではない。つまり、指で最初に触ることにより、まずアイコンを起動しなくてはならず、その後、操作されたオブジェクトと値は、アイコンが取り除かれた後に、始めてアップデートされる。この解決法では、オブジェクトに関連するパラメーターのリアルタイムの処理が許容されていない。更に、この特許文献６で用いられているタッチセンサーは、「単一接触」センサーであり、例えば一本の指しか感知できないので、一度に一つのオブジェクトのコントロールしかできない。この特徴は、複数のオブジェクトの効果的な操作に対して大変限定的である。
特許文献６のように、「単一接触」センサーが、一度に一本の指又は一本のスタイラスしか感知できないことに対して、以下、「多点接触」という言葉は、コンタクトゾーンにおける複数の指を一度に感知できるタッチセンサーを意味する。
国際公開第０１／６９３９９号パンフレット 国際公開第０３／０４１００６号パンフレット 米国特許第６５７００７８号明細書 米国特許出願公開第２００２／００５１０８号明細書 米国特許第５０２７６８９号明細書 米国特許第５５５９３０１号明細書
本発明は、上記先行技術の有する問題点を解決することを課題として、音楽コントロールの多点接触タッチスクリーンを提供する。このタッチスクリーンは、パラメーター設定可能なグラフィカルオブジェクトに対して、使用者が操作をすると、その操作ごとに視覚的リターンを備えている。
本発明は、上記課題を解決するための上述したタイプであり、触知情報を感知する多点接触の２次元センサーと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、
透明な多点接触の触知センサーの下に位置するスクリーン上に、複数のグラフィカルオブジェクトを生成する段階を有しており、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられており、前記センサーは、各感知段階中に複数の触知情報を配信し、該触知情報それぞれが、前記複数のグラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理の対象となることを特徴とするコンピューター化された装置をコントロールする方法に関し、その最も広い意味において注目に値する。
上記方法は、前記触知センサーでの対象物の前記接触領域の境界領域の検出を備えていることが好ましい。
上記方法は、重心の検出を備えていることが好ましい。
上記方法は、少なくとも一つ前の感知段階中に実行される処理機能として、グラフィカルオブジェクトをリフレッシュする段階を備えていることが好ましい。
実施形態では、グラフィカルコンポーネント及びファンクションのライブラリーからのグラフィック表示の生成及び関連する処理法則の決定で構成される該グラフィカルオブジェクトを編集する段階を備えている。
上記触知情報の検知周波数は、５０Ｈｚ以上であることが好ましい。
また、本発明は、触知情報を感知する多点接触の２次元センサーを備えている、コンピューター化された装置をコントロールするデバイスにおいて、上記２次元センサーの下に配された表示スクリーンと、それぞれが、少なくとも一つの処理法則と関連付けられている複数のグラフィカルオブジェクトを記録するメモリーと、感知した上記触知情報の位置を解析し且つ上記グラフィカルオブジェクトの位置との相対的な上記触知情報の位置の作用としての処理法則を適用するローカル計算機とを備えていることを特徴とするコンピューター化された装置をコントロールするデバイス。
更に、上記デバイスは、複数のコントローラーのネットワークを形成するためのハブ（マルチソケットネットワーク）とも接続されていることが好ましい。
この多点接触２次元センサーは、抵抗性タイルであることが好ましい。
更にまた、上記デバイスは、受け取ったネットワークケーブルのネットワーク出力ケーブルも備えていることが好ましい。
本発明は、下記実施形態を添付図面を参照して、以下の説明に助けられてより理解されるだろう。
下記のすべてにおいて、コントロールはコンピューター化された一つの装置により行われる。この装置としては、例えば、音楽ソフトウェア、コントローラー、オーディオビジュアル装置、又はマルチメディア装置がある。
図１Ａ及び図１Ｂ、より正確には図２Ａに示すように、本発明の第１の基本的な要素は、キャプチャーインタフェース１０２の補助で多点接触操作の感知に必要なマトリックスセンサー１０１である。センサーは、必要ならば、複数のパートに分割して、各パートで同時に走査（スキャン）することにより、キャプチャーを加速することができる。
一般原則は、センサーに検知されるゾーンにある接触点と同じくらい多くの数のカーソル（例えば、マウスカーソルのようなカーソル）を生成すること、及びそれら接触点の動きに追従することである。
ユーザーがセンサー上から指をのけると、この指に関連しているカーソルも消失する。
このように、複数の指の位置とその動きがセンサー上で同時に取得される。これが多点接触キャプチャーであり、このタイプのコントローラーとしては非常に革新的である。
本発明の実施形態で使用されているセンサーは、既知の抵抗性の触知（タッチ）マトリックスタイルである。
抵抗性のタッチマトリックスタイルは、２つの重ねあわされた層から構成されており、各層上には、半透明の導電性物質であるＩＴＯ（インジウム・すず酸化物）からなる複数のトラックが形成されている。複数のトラックは、上層上では行方向に並んでおり、下層上では列方向に並んでおり、マトリックスを形成している（図２Ａ参照）。
２枚の導電性層は、互いにスペース支柱により絶縁されている。行方向のトラックと列方向のトラックとの交差点は、接触点を形成する。一本の指がタイルの上に置かれて、一本又は複数の上層上の列方向のトラックが押されて、一本又は複数の下層上の行方向のトラックと接触すると、一つ又は複数の接触点が形成される（図２Ｂ参照）。
本発明の変形例として、スペース材を透明な抵抗性物質（例えば、導電性ポリマー）により置き換えて構成しても良い。この抵抗性物質の抵抗は、十分な圧力が働くとその抵抗が減少するように、圧力の関数として変化する。このようにして、行方向―列方向の各交差点における抵抗測定を行うことにより、表面に働いた圧力を検知することが可能である。
これらのタイルを音楽又はオーディオビジュアルで使用する観点から、指の動きを２０ｍｓ以内の間隔で測定する必要がある。
タイルの状態は、少なくとも１秒間に１００回測定される。このタイルは、平行処理を行うために、複数のゾーンに分割されている。
従って、本発明では、タイルのサンプリング周波数は、少なくとも１００Ｈｚである。
第２の基本的な要素は、タッチタイルをスキャンするための電子デバイスである。この電子デバイスは、マトリックスセンサー上の複数の接触点を同時に検知することができる。実際の所、このタイプのセンサーが感知する既知の方法では、同時に複数の接触点を検知することはできなかった。
過去における既知の方法では、図２Ｃに示された問題点は解決できなかった。
ある列方向のトラックに給電した状態で、すべての行方向のトラックを同時に測定すると、直交性の問題が生じる。第１の接触点が、第２の接触点を隠してしまう。同様に、すべての列方向のトラックに給電した状態で、ある行方向のトラックを測定すると、第２の接触点が第１の接触点を隠してしまう。この問題点を解決するために提案する方法は、センサーを順番にスキャンすることである。
列方向のトラックが、例えば５Ｖで、順に給電されて、トラックの高い又は低いレベルが順に測定される。
ある列方向のトラックに電圧が印加されている時には、他の列方向のトラックは高インピーダンスなので、電圧が印加されている列方向のトラックからの電流が、他の列方向のトラックへ伝播することが防止される。
最初に第１の列方向のトラックに給電されている間は、他の列方向のトラックは高インピーダンスである。
そして、行方向のトラックは、次々に、つまり順に測定される。最初に第１の行方向のトラックの値が測定されている間は、すべての他の行方向のトラックはアースされている。次に、第１の行方向のトラックがアースされて、第２の行方向のトラックの値が測定される。そして、すべての行方向のトラックの値が測定されるまで続く。
その後、第１の列方向のトラックは高インピーダンス状態になり、第２の列方向のトラックが給電される。そして、各行方向のトラックの状態の測定が再開する。
このように、最後の列方向のトラックまで、スキャンが行われる。
目的は、多点接触タイルを作製することなので、各交差点の値を１秒間に４〜５回測定するために、マトリックスのすべてのスキャンが高い周波数で行われる。
タイルデータを感知する装置が、図２Ｄに示されている。図２Ｄには、１００本の行方向のトラックと１３５本の列方向のトラックとを備えたタイルの感知アルゴリズムが示されている。
しかし、ある点が、一つ又は複数の他の接触点により隠されてしまう問題が生じる場合がある。
実際の所、列方向のトラック及び行方向のトラックを形成している透明性物質であるＩＴＯの抵抗は、トラックの長さに比例して増加する。そして、センサーの下方左隅で測定される電位は、上方右隅で測定される電位よりも大きくなる。
図２Ｅ及び図２Ｆにおいて、接触点の固まりは、給電されている列方向のトラックの電位の多くの部分を吸収する。そのため、孤立した接触点で測定される電位は、非常に小さくて測定できない。
この問題点の解決法は、行方向のトラックの出力をデジタル処理する電圧コンパレーターを用いて、電圧がタッチタイル上の指の動きから生じたものと十分考えられるのかどうかを決めることにある。コンパレーターの参照値（比較スレッシュホールド）は、行方向のトラックごとに低減されている。その結果、最後の行方向のトラックの参照値は、最初の行方向のトラックの参照値よりも低くなっており、下方左又は上方右に位置する接触点が、同様に測定されるのを可能にしている。
そして、例えばタイルの全部のサンプリングが、列方向及び行方向のトラックに対して１秒間に１００回以上行なわれる。
そして、キャプチャーインターフェース１０２からのデータが、センサーの総計を表すイメージを形成する。このイメージはメモリーに記憶されて、プログラムが、フィルタリング処理をして、指を検知して、カーソルを作成する。この作用については、図１を参照のこと。
図３Ｂに示されているフィルタリングの段階では、感知インターフェース又はセンサー自身により生成されたノイズが除去される。複数の接触点の固まりだけが、指の圧力に対応していると考えられる。そこで、孤立した接触点を除去するために、境界領域の検出が行われる。
次の段階では、カーソルの各支持点への関連付けを行う（図３Ｃ）。最後には、有界ゾーンごとに重心が計算される。そして、指がタッチセンサーから離されると、この指と対応するカーソルがスクリーンから除かれる。
メインプロセッサーによりローカルに実行されるプログラムは、グラフィカルオブジェクトを操作するために、カーソルを、スクリーン１０５上に表示されている該グラフィカルオブジェクトに関連付けるのを可能にする。同時に、このローカルプログラムは、ホストコンピューター又はコントロールされた機器へ向けて、コントロールメッセージを生成するのに、これらのカーソルを使用する。
更に、プログラムは複数の物理モデルのシミュレーターを有しており、このプログラムは、カーソルとグラフィカルオブジェクト間の相互作用規則の変更を可能にする。複数の異なる物理モデルを用いることが可能で、ばね仕掛けのシステム、弦の振動、衝突の操縦、重力の法則、電磁場が使用できる。
カーソルの位置と、それぞれのカーソルがどのグラフィカルオブジェクトに位置付けられているのかとが、プログラムにより検討される。検討対象のグラフィカルオブジェクトのファンクションとして、センサーから生じたデータには、所定の処理が与えられる。例えば、（短時間の間にタッチタイル上に指により形成されたスポットの動きに対応する）ある圧力の測定は解釈可能である。また、加速、速度、軌跡等の他のパラメーターが、グラフィカルオブジェクトの性質による機能として推定される。また、異なる指を区別するために、形状認知のアルゴリズムが適用される。
メインプログラム１０３は、また、スクリーン１０５上に表示されるデータを、グラフィカルインターフェース１０４へ送る。更に、このグラフィカルインターフェース１０４は、グラフィカルプロセッサーにより構成されている。このグラフィカルプロセッサーは、例えば既知のタイプでも良い。後者のグラフィカルインターフェース１０４は、基本的なグラフィカルフンクションから構成されていても良い。このグラフィカルフンクションは、例えば、ビットマップ表示、ポリゴンフォントの表示、２次元又は３次元の図形の表示、ベクトルデザイン、アンチエイリアス処理、テクスチャ・マッピング、色の透明化や内挿が挙げられる。
本実施形態では、メインプログラムが、数学的関数の入力と計算がリアルタイムで行える数学的表示のアナライザーも備えている。これらの関数は、どの変数の値も変えることができる。例えば、グラフィカルオフジェクト内部のカーソルの座標（ｘ、ｙ）は、０と１との間の値を有する２つの変数と考えることができる。数学的表示のアナライザーにより、「ｘ*１０００+６００」というタイプの表示を作成して、１０００と１６００との間に値を持つ新しい変数を得ることができる。こうして得られた変数により、例えば、６００ヘルツと１６００ヘルツとの間の周波数を有する発信器のコントロールができる。
数学的表示は、ベクトル量と同様にスカラー量にも用いることができる。
数学的表示のアナライザーは、グラフィカルオフジェクトの変数を、リアルタイムで計算して処理できるツールである。
また、ローカルプログラム１０３は、ネットワークポート１０６に対する通信フォームにデータ形式を整える。ネットワークポート１０６は、コンピューターアプリケーションが処理されるコンピューターとデータの通信をする。
ネットワークインターフェースとしては、例えばＴＣＰ／ＩＰプロトコルを用いてパケットにより通信する標準インタフェースである、イーサネット（登録商標）１０／１００ＢＡＳＥ−Tがある。またネットワークインターフェースは、無線タイプであっても良い。
図１１に示すように、イーサネット（登録商標）接続によれば、シンプルなハブ（マルチソケットネットワーク）を用いて、本発明のコントローラーのネットワークを構成することにより、ユーザーのコントロール機器を無数に拡張できる可能性がユーザーに提供されることに注目すべきである。
ネットワーク内において、一つのコントローラー又は複数のコントローラーは、メッセージを相互に送る形で、コントローラー相互に又はホストコンピューターと通信する。
更に、機械装置を構成するユニットは、既知のタイプのバッテリー（図示せず）か、又はＡＣアダプターにより給電される。
更にまた、ユーザーのコンピューターのレベルにおいて、インターフェースエディター１０７により、インターフェースをグラフィカル的にプログラムすることができる。つまり、スクリーン１０５上に表示されているグラフィカルオブジェクトの全体が、グラフィカル的にプログラムすることができる。本実施形態では、インターフェース自身が、複数のシーンで構成されており、各インターフェースは高い階層構造を有している。実際、各シーンは、いくつかのインターフェースを備える。ユーザーは、入出力ポート１０９に接続されたボタンキーボード又はコントロールペダルボードを用いて、インターフェースを入れ替えることができる。
インターフェースエディターの他のファンクションとして、コントロールデータに、ユーザーがコントロールしたいパラメーターを割り当てることがある。
ユーザーは、例えば、パラメーター設定可能なグラフィカルオブジェクトのライブラリーを自由に持つ。このグラフィカルオブジェクトは、求められるアプリケーションに従って、異なるインターフェースを構成することを可能にする。図４及び図５には、ユーザーの意向による、いくつかのグラフィカルオブジェクトが示されている。
グラフィカルオブジェクトは、あらかじめ定義されたり、音楽、オーディオビジュアル機器のコントロール、またはコンピューター化された装置へ特別に専用にすることができる。例えば、直線状ポテンショメーター４０３，４０４は、音信号のボリューム、周波数のフィルターとして、連続的パラメーターのコントロールに特に適している。鋸歯状ホイール（ジョグシャトル）４０１は、例えばオーディオ又はビデオ再生機のコントロールに役立つ。また、グラフィカルオブジェクトは、既知のタイプのデブロップメント（開発）キット１０９（ＳＤＫ）を用いて、自由に開発することができる。デブロップメントキットにより、コントローラーの基本的なグラフィカルファンクションを利用できる。
このように、インターフェースエディター１０７により、ユーザーは、直ぐにコントロールインターフェースのパーソナライズ化が可能となる。インターフェースエディターは、ユーザーのコンピューター上で実行されるソフトウェアである。インターフェースエディターは、タイルのタッチ表面を表すメインウインドウから成り、メインウインドウ上には、ライブラリーから提案されたグラフィカルオブジェクトを配置することができる。表面上でグラフィカルオブジェクトを操作したり配置することは、例えばマウスを用いて行われる。メインウインドウ上にあるグラフィカルオブジェクトは、同時にコントローラー上にも表示されており、このグラフィカルオブジェクトはコントローラーのメモリーに記録される。都合に応じて、グラフィカルオブジェクトを後で動かしたり、次元を変えることが、コントローラーによりできる。
メインウインドウ上にグラフィカルオブジェクトの位置が決められると共に、他の２次ウインドウにより、グラフィカルオブジェクトに固有の異なるパラメーター（グラフィカルな性質、物理的動作）を調節することができる。例えば、ボタン４０２は、またスイッチ又はトリガーとして作動できる。トリガーモードの場合には、押圧の測定が任意に行える。パラメーター設定可能なグラフィカルオブジェクトの他の例として、２Ｄエリア５０３，５４４がある。この２Ｄエリアは、境界ゾーン内部をポーン（歩）が動き回る構成を原則とする。２Ｄエリア内部にあるポーンの数は、任意にパラメーター設定可能である。エリアは、一平面図モード又はマルチ平面図モードに設定することができる。一平面図モードは、その平面内で複数のポーンが互いに衝突し合う。マルチ平面図モードは、重なっている異なった平面内に、複数のポーンが置かれている。平面上のポーンの摩擦係数、隅にいるポーン及びポーン間の反発、引力等の物理的パラメーターもまた設定することができる。
またインターフェースエディターは、表面上に存在するグラフィカルオブジェクトをリストにしたり、数学的表示のアナライザー用いて、ファンクション及び変数の生成を行える。
そして、グラフィカルオブジェクトは、初期設定として、基本軸に対応した所定数の変数（ｘ、ｙ、ｚ・・・）を有している。これらの変数は、常に０と１との間の値を有しており、３２ビット浮動小数点形式で変化する。ユーザーは、自分がコントロールしたい、より代表的な他の値へ、これらの変数を結び付けられるはずである。そして、数学的表示のアナライザーにより、単純な数学的表示を用いて、新しい変数を作成する機会が与えられる。例えば、直線状ポテンショメーターは、基本軸であるｘを有している。ユーザーが５００Ｈｚから２５００Ｈｚの周波数をコントロールしたいならば、ａ＝２０００ｘ＋５００という変数を作成しなければならない。
また、状態表示オプションが望まれる。このオプションにより、パラメーターの状態を視覚的にコントロールできる。
主計算ユニット１０３のレベルにおいて、タイル上の操作によって、グラフィカルオブジェクトへ適用されるべき更なる処理は、グラフィカルオブジェクトそれぞれのタイプに特有である。
実際、仮想的直線状ポテンショメーター４０３，４０４上で指を円形に動かすことは、円形のポテンショメーター４０１の場合にはポテンショメーターの状態を変えるだろうが、直線状ポテンショメーター４０３，４０４の状態には影響を与えないだろう。同様に、あるグラフィカルオブジェクト（例えば、直線状ポテンショメーター）は、一度に一本の指を考慮するだけであるが、他のグラフィカルオブジェクト（キーボード、２Ｄエリア）は、複数の指の相互作用を受け入れる。
例えば、「２Ｄエリア」５０３，５０４は、表面が長方形であり、所定数のポーンを有しており、各ポーンは所定の場所に位置している。ポーンはユーザーにより動かされる。
全てのグラフィカルオブジェクトに対する物理系へ、以下の法則が導入される。つまり、ユーザーにより動かされたポーンは、ユーザーが該ポーンをとき放した時に、慣性による速度を得る。このように速度を得たポーンは、２Ｄエリアの隅で反発したり、またポーン間で反発する。更にポーンは、隅及びポーン間で引力及び斥力を受けると共に、エリア２Ｄの表面の摩擦係数により、所定の時間経過後には停止する。全てのこれらのパラメーターはパラメーター設定可能であろう。
２Ｄエリアの他の変形例には、ばね仕掛けタイプの物理法則を適用して構成されるものがある。ある仮想ゴムバンドが、各カーソル及び各ポーンの間で引き伸ばされる。ユーザーは、摩擦及び内挿ファクターを設定することにより、このグラフィカルオブジェクトの動作を変更することができる。またこれらの性質は、他のグラフィカルオブジェクトを用いて、リアルタイムに変更できる。
他の変形例として、マルチスライダー５０１がある。マルチスライダーは、複数のカーソルからなるテーブルであり、カーソルの数は調節可能である。マルチスライダーの典型的な使用例は、グラフィックイコライザー又はスペクトラル包絡線のコントロールである。マルチスライダーと、複数のシンプルな直線状ポテンショメーターを並列配置したものとの差は、指をスライドすることによって、複数のカーソル全体の構成を変更できることである。マルチスライダーは、また別々な弦として用いることができる。これには、ユーザーにより張力のプログラムが可能な弦の物理的モデルを、マルチスライダーに適用することで足りる。
異なるタイプのグラフィカルオブジェクトを結合したインターフェースの他の実施形態を視覚化したものを図６から図９に示す。上述したいくつかのグラフィカルオブジェクトが、図６から図９に見られる。
図６には、６つの２Ｄエリア６０１が配置されており、各２Ｄエリアには一つのポーンが含まれている。このインターフェースは、例えば、６つの異なるフィルターをコントロールでき、各フィルターは、一つ又は複数の音源に割り当てられる。この場合には、ゾーンごとにおける各ポーンの横座標の動きが、フィルターの周波数をコントロールしており、一方、縦座標の動きが、クオリティファクター又はフィルターの帯域幅をコントロールする。
図７には、既知のタイプの、シンセサイザー又はサンプラーのコントロールの実施形態が示されている。インターフェースは、調律されたキーボード７０４と、４つの縦型ポテンショメーター７０３のグループとから成っている。キーボードにより、音程がコントロールされ、ポテンショメーターにより、例えば動的エンベロープ（アタックタイム、ホールドレベル、リリースタイム）がコントロールされる。２Ｄエリア７０１は、３つのポーンを有しており、例えば音に適用される影響（反響音、エコー、フィルター）がコントロールされる。１６個のボタンからなるマトリックス７０２は、例えば１６個の異なる録音された音楽シークエンスをリリースしたり、又は上述したコントロールの事前記録された１６個の配置を呼び出す。
図８には、本発明を適用した他の実施形態が示されている。図８は、複数のラウドスピーカーにより構成されるデバイス上の空間内への、異なる音源の放送のためのデバイスのコントロールが示されている。この配置では、放送空間を表す２Ｄエリア８０１は、４つの音源に対応する４つのポーン８０１を有している。また２Ｄエリアは、５つのラウドスピーカーの位置を示す５つのアイコン８０２を有している。閉じた空間に対する各音源のレベル及び／又は位相は、各ポーン８０２を動かすことにより調節される。音源の空間内における位置は、ポーンにより定められている。また、４つの直線状ポテンショメーター８０３からなるグループにより、各音源の相対的レベルが調節される。４つのボタン８０４からなるユニットにより、各音源のＯＮ／ＯＦＦがなされる。
図９には、他の実施形態が示されている。図９は、図７に示されている配置とは異なったシンセサイザー又はサウンドジェネレーターのコントロールが示されている。ここでは、サウンドジェネレーターの周波数は、４つの仮想弦９０３によりコントロールされる。各弦における初期の張力（ピッチ）は、例えば直線状ポテンショメーター９０２によりコントロールされる。２Ｄエリアは、例えば出力レベル、音質、パニング等のサウンドジェネレーターの他のパラメーターをコントロールする。
図１０には、既知のタイプのオーディオ及び／又はビデオを編集する機器のコントロールが示されている。ジョグシャトル１００１により、オーディオ及び／又はビデオソースの再生速度がコントロールされる。状態表示オブジェクト１００２により、既知のタイプの形式（時間、分、秒、画像）に従って再生位置が示される。ボタン１００３のセットにより、コントロールされる機器の再生及び編集のファンクションを操作できる。
本発明が、上述したように例として説明された。当該技術分野の専門家は、本特許の範囲から逸脱することなしに、本発明の異なる変形例を実現できることが理解される。
図１Ａは、本発明のコントローラーの機能図である。 図１Ｂは、本発明の機能図に関連したコントローラーの構造を示す。 図１Ｃは、センサーから生じた感知データを処理する段階、指と関連したカーソルを生成する段階、グラフィカルオブジェクトとの相互作用の段階、及びコントロールメッセージを生成する段階の各機能図を示す。 図２Ａは、タッチマトリックスセンサーの説明である。 図２Ｂは、多点接触情報を得るためにセンサーがスキャンしている第１段階を説明する。 図２Ｃは、直交性の問題の解法を説明する。 図２Ｄは、キャプチャーインタフェースの機能図である。 図２Ｅは、直交性の問題の解法を説明する。 図２Ｆは、直交性の問題の解法を説明する。 図３Ａは、カーソルの生成段階を説明する。 図３Ｂは、フィルタリング段階を説明する。 図３Ｃは、重心の計算段階を説明する。 図３Ｄは、マッピング及びグラフィカルオブジェクトのコントロール段階を説明する。 図４は、グラフィカルオブジェクトの他の実施形態を示す。 図５は、グラフィカルオブジェクトの他の実施形態を示す。 図６は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。 図７は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。 図８は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。 図９は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。 図１０は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。 図１１は、ユーザーのコンピューターと接続されたコントローラーのネットワークの使用を示している。

Claims (10)

  1. 触知情報を感知する多点接触の２次元タッチスクリーンと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、
    第１グラフィカルオブジェクトを、前記多点接触の２次元タッチスクリーン上の第１オブジェクト位置に表示し、且つ、第２グラフィカルオブジェクトを、前記多点接触の２次元タッチスクリーン上の第２オブジェクト位置に表示するステップと、
    第１の所定の処理法則を前記第１グラフィカルオブジェクトに結びつけ、且つ、第２の所定の処理法則を前記第２グラフィカルオブジェクトに結びつけるステップと、
    前記多点接触の２次元タッチスクリーン上の第１接触点及び第２接触点を検知し、且つ、前記第１接触点に対する第１接触位置及び前記第２接触点に対する第２接触位置を決定するステップと、
    前記第１接触位置と前記第１オブジェクト位置との間の相対的な位置の作用として、前記第１接触位置を前記第１グラフィカルオブジェクトに関連づけるステップと、
    前記第２接触位置と前記第２オブジェクト位置との間の相対的な位置の作用として、前記第２接触位置を前記第２グラフィカルオブジェクトに関連づけるステップと、
    前記第１グラフィカルオブジェクトの前記第１の所定の処理法則を、前記第１接触位置に適用するステップと、
    前記第２グラフィカルオブジェクトの前記第２の所定の処理法則を、前記第２接触位置に適用するステップと、
    前記第１の所定の処理法則を適用するステップの結果に基づいて、前記第１グラフィカルオブジェクト又は前記第１オブジェクト位置の内の少なくとも一方を変更するステップと、
    前記第２の所定の処理法則を適用するステップの結果に基づいて、前記第２グラフィカルオブジェクト又は前記第２オブジェクト位置の内の少なくとも一方を変更するステップと、
    を備えることを特徴とするコンピューター化された装置をコントロールする方法。
  2. 前記多点接触の２次元タッチスクリーンがマトリックスセンサーを用いており、前記検知し且つ決定するステップが、該センサーの連続的スキャンを備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
  3. 前記検知し且つ決定するステップが、前記第１接触点から第１接触領域を生成し且つ前記第２接触点から第２接触領域を生成するステップと、前記第１接触領域に対する第１境界領域を計算し且つ前記第２接触領域に対する第２境界領域を計算する第１計算ステップと、前記第１境界領域に対する第１カーソル位置を計算し且つ前記第２境界領域に対する第２カーソル位置を計算する第２計算ステップと、を備えている請求項１記載のコンピューター化された装置をコントロールする方法。
  4. 前記第２計算ステップは、更に、前記第１境界領域の重心に基づいて前記第１カーソル位置を計算し且つ前記第２境界領域の重心に基づいて前記第２カーソル位置を計算する請求項３記載のコンピューター化された装置をコントロールする方法。
  5. 触知情報を感知する多点接触の２次元タッチスクリーンを備えている、コンピューター化された装置をコントロールするデバイスにおいて、
    前記多点接触の２次元タッチスクリーンは、前記多点接触の２次元タッチスクリーン上の第１接触点及び第２接触点を検知し、前記第１接触点に対する第１接触位置及び前記第２接触点に対する第２接触位置を決定するように構成されており、
    前記デバイスは、更に、
    第１グラフィカルオブジェクト及び第２グラフィカルオブジェクト、並びに、前記第１グラフィカルオブジェクトに結びつけられた第１の所定の処理法則及び前記第２グラフィカルオブジェクトに結びつけられた第２の所定の処理法則を記録するメモリーと、
    前記第１グラフィカルオブジェクトを第１オブジェクト位置に表示し且つ前記第２グラフィカルオブジェクトを第２オブジェクト位置に表示する画像表示部と、
    前記第１接触位置と前記第１オブジェクト位置との間の相対的な位置の作用として、前記第１接触位置を前記第１グラフィカルオブジェクトに関連づけるように構成され、且つ、前記第２接触位置と前記第２オブジェクト位置との間の相対的な位置の作用として、前記第２接触位置を前記第２グラフィカルオブジェクトに関連づけるように構成され、且つ、前記第１グラフィカルオブジェクトに結びつけられた前記第１の所定の処理法則を、前記第１接触位置に適用するように構成され、且つ、前記第２グラフィカルオブジェクトに結びつけられた前記第２の所定の処理法則を、前記第２接触位置に適用するように構成され、且つ、前記第１の所定の処理法則の適用の結果に基づいて前記第１グラフィカルオブジェクト又は前記第１オブジェクト位置の内の少なくとも一方を変更するように構成され、且つ、前記第２の所定の処理法則の適用の結果に基づいて前記第２グラフィカルオブジェクト又は前記第２オブジェクト位置の内の少なくとも一方を変更するように構成されるプロセッサと、
    を備える、ことを特徴とするコンピューター化された装置をコントロールするデバイス。
  6. 前記多点接触の２次元タッチスクリーンが、透明なマトリックスセンサーを備えていることを特徴とする請求項５に記載のコンピューター化された装置をコントロールするデバイス。
  7. 前記透明なマトリックスセンサーが、複数の導電性の行及び列を持つアレイを有することを特徴とする請求項６に記載のコンピューター化された装置をコントロールするデバイス。
  8. 更に、前記マトリックスセンサーの行及び列を連続的にスキャンし、行−列交差点の電気的特性を測定して前記第１接触点及び前記第２接触点を検知するように構成されたコントローラを備えていることを特徴とする請求項７に記載のコンピューター化された装置をコントロールするデバイス。
  9. 前記プロセッサが、更に、前記第１接触点から第１接触領域を生成し且つ前記第２接触点から第２接触領域を生成するように構成され、且つ、前記第１接触領域に対する第１境界領域を計算し且つ前記第２接触領域に対する第２境界領域を計算するように構成され、且つ、前記第１境界領域に対する第１カーソル位置を計算し且つ前記第２境界領域に対する第２カーソル位置を計算するように構成されることを特徴とする請求項５に記載のコンピューター化された装置をコントロールするデバイス。
  10. 前記プロセッサが、更に、前記第１境界領域の重心に基づいて前記第１カーソル位置を計算し且つ前記第２境界領域の重心に基づいて前記第２カーソル位置を計算するように構成されることを特徴とする請求項９に記載のコンピューター化された装置をコントロールするデバイス。
JP2006553627A 2004-02-23 2005-02-23 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー Expired - Fee Related JP4932500B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0450329 2004-02-23
FR0450329A FR2866726B1 (fr) 2004-02-23 2004-02-23 Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
PCT/FR2005/000428 WO2005091104A2 (fr) 2004-02-23 2005-02-23 Controleur par manipulation d’objets virtuels sur un ecran tactile multi-contact

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011268258A Division JP2012089150A (ja) 2004-02-23 2011-12-07 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー

Publications (2)

Publication Number Publication Date
JP2007527061A JP2007527061A (ja) 2007-09-20
JP4932500B2 true JP4932500B2 (ja) 2012-05-16

Family

ID=34834225

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006553627A Expired - Fee Related JP4932500B2 (ja) 2004-02-23 2005-02-23 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー
JP2011268258A Pending JP2012089150A (ja) 2004-02-23 2011-12-07 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011268258A Pending JP2012089150A (ja) 2004-02-23 2011-12-07 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー

Country Status (12)

Country Link
US (6) US8049730B2 (ja)
EP (5) EP2278440A2 (ja)
JP (2) JP4932500B2 (ja)
KR (1) KR101197876B1 (ja)
CN (1) CN100447723C (ja)
AT (1) ATE402436T1 (ja)
CA (1) CA2557063C (ja)
DE (1) DE602005008384D1 (ja)
ES (1) ES2311218T3 (ja)
FR (1) FR2866726B1 (ja)
PL (1) PL1719047T3 (ja)
WO (1) WO2005091104A2 (ja)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
FR2866726B1 (fr) * 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US8717301B2 (en) 2005-08-01 2014-05-06 Sony Corporation Information processing apparatus and method, and program
JP4201775B2 (ja) * 2005-03-02 2008-12-24 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法及びプログラム
EP1783593A3 (en) * 2005-10-07 2012-12-19 Sony Corporation Information processing apparatus with a user interface comprising a touch panel, method and program
ATE423344T1 (de) * 2006-06-30 2009-03-15 Christian Iten Verfahren zur positionierung eines cursors auf einem berührungsempfindlichen bildschirm
US8144129B2 (en) * 2007-01-05 2012-03-27 Apple Inc. Flexible touch sensing circuits
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
FR2914756B1 (fr) * 2007-04-05 2012-09-21 Jazzmutant Capteur multi-tactile transparent.
US9052817B2 (en) * 2007-06-13 2015-06-09 Apple Inc. Mode sensitive processing of touch data
KR101395780B1 (ko) * 2007-07-27 2014-05-16 삼성전자주식회사 촉각 감지를 위한 압력 센서 어레이 장치 및 방법
CN101458586B (zh) * 2007-12-11 2010-10-13 义隆电子股份有限公司 以多根手指在触控屏幕上操作对象的方法
AR064377A1 (es) 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
FR2925714B1 (fr) 2007-12-19 2010-01-15 Stantum Circuit electronique d'analyse a alternance de mesure capacitive/resistive pour capteur tactile multicontacts a matrice passive
FR2925716B1 (fr) 2007-12-19 2010-06-18 Stantum Circuit electronique d'analyse a modulation de caracteristiques de balayage pour capteur tactile multicontacts a matrice passive
TWI358028B (en) * 2007-12-25 2012-02-11 Htc Corp Electronic device capable of transferring object b
US8797271B2 (en) 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
US9018030B2 (en) * 2008-03-20 2015-04-28 Symbol Technologies, Inc. Transparent force sensor and method of fabrication
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
FR2934908B1 (fr) 2008-08-05 2013-09-27 Stantum Procede d'acquisition et d'analyse d'un capteur tactile multicontacts suivant un principe dichotomique, circuit electronique et capteur tactile multicontacts mettant en oeuvre un tel procede
FR2934921B1 (fr) * 2008-08-05 2010-09-24 Stantum Capteur tactile multicontacts a moyens d'espacement de taille et impedance variables
FR2936326B1 (fr) * 2008-09-22 2011-04-29 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US20100079400A1 (en) * 2008-09-26 2010-04-01 Sony Ericsson Mobile Communications Ab Touch sensitive display with conductive liquid
US8310464B2 (en) * 2008-10-16 2012-11-13 Texas Instruments Incorporated Simultaneous multiple location touch systems
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US20100141604A1 (en) * 2008-12-09 2010-06-10 Nokia Corporation Resistive multi touch screen
US8330732B2 (en) * 2008-12-19 2012-12-11 Honeywell International Inc. Method and apparatus for avionic touchscreen operation providing sensible feedback
US9342202B2 (en) * 2009-01-23 2016-05-17 Qualcomm Incorporated Conductive multi-touch touch panel
FR2942329B1 (fr) 2009-02-17 2011-07-15 Stantum Capteur multipoints
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9459734B2 (en) * 2009-04-06 2016-10-04 Synaptics Incorporated Input device with deflectable electrode
TWI466004B (zh) 2009-04-17 2014-12-21 Egalax Empia Technology Inc 電阻式多點觸控裝置及方法
CN101866253B (zh) * 2009-04-20 2013-03-20 禾瑞亚科技股份有限公司 电阻式多点触控装置及方法
KR101611511B1 (ko) 2009-05-12 2016-04-12 삼성전자주식회사 터치스크린을 구비한 휴대 단말기를 이용한 음악 생성 방법
TWI402738B (zh) * 2009-05-27 2013-07-21 Wintek Corp 觸控裝置以及觸控感測方法
US20120068969A1 (en) * 2009-05-29 2012-03-22 Matteo Paolo Bogana Method for determining multiple touch inputs on a resistive touch screen and a multiple touch controller
US9383881B2 (en) * 2009-06-03 2016-07-05 Synaptics Incorporated Input device and method with pressure-sensitive layer
IT1394716B1 (it) * 2009-06-09 2012-07-13 Corona Dispositivo e metodo di acquisizione di dati da strumenti musicali aerofoni, in particolare per launeddas e similari
CN101989143B (zh) * 2009-07-31 2013-05-01 群康科技(深圳)有限公司 触控装置及其控制方法
GB0913734D0 (en) * 2009-08-06 2009-09-16 Binstead Ronald P Masked touch sensors
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
JP5278766B2 (ja) * 2009-09-07 2013-09-04 Ｎｌｔテクノロジー株式会社 タッチ位置検出装置、情報入力システム、タッチ位置検出方法、タッチ位置検出プログラム
US8558722B2 (en) * 2009-12-10 2013-10-15 Industrial Technology Research Institute Touch apparatus, transparent scan electrode structure, and manufacturing method thereof
FR2954981A1 (fr) 2010-01-05 2011-07-08 Stantum Afficheur et capteur tactile bidimensionnel multicontacts a elements longitudinaux conducteurs inclines
FR2954982A1 (fr) * 2010-01-05 2011-07-08 Stantum Capteur tactile multicontacts a resistance de contact electrique elevee
US20110163944A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Intuitive, gesture-based communications with physics metaphors
TWI426427B (zh) * 2010-02-12 2014-02-11 Wintek Corp 觸控面板
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
DE102011006448A1 (de) 2010-03-31 2011-10-06 Tk Holdings, Inc. Lenkradsensoren
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
US8686960B2 (en) * 2010-04-23 2014-04-01 Lester F. Ludwig Piecewise-linear and piecewise-affine transformations for high dimensional touchpad (HDTP) output decoupling and corrections
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US8963874B2 (en) 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
JP5821170B2 (ja) * 2010-08-31 2015-11-24 ヤマハ株式会社 電子音楽装置及びプログラム
US8330033B2 (en) 2010-09-13 2012-12-11 Apple Inc. Graphical user interface for music sequence programming
US9158369B2 (en) * 2010-10-12 2015-10-13 Tactonic Technologies, Llc Sensors having a connecting frame and method for composite sensors
FR2968102B1 (fr) * 2010-11-26 2013-01-04 Stantum Capteur tactile a réseau matriciel de pistes conductrices et écran de contrôle tactile
FR2971068B1 (fr) 2011-01-31 2013-09-27 Stantum Capteur tactile multicontacts a couche intermédiaire résistive
FR2971346A1 (fr) * 2011-02-03 2012-08-10 Stantum Procede et dispositif d'acquisition de donnees d'un capteur tactile matriciel multicontacts
FR2972288B1 (fr) 2011-03-04 2013-04-05 Stantum Procédé de fabrication d'un film transparent, notamment pour un capteur tactile matriciel transparent
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
FR2974200B1 (fr) 2011-04-15 2014-08-01 Stantum Procede de fabrication d'un capteur tactile matriciel, et capteur tactile matriciel associe
TWI469024B (zh) * 2011-08-03 2015-01-11 Raydium Semiconductor Corp 驅動信號轉換之觸控輸入裝置
FR2979025A1 (fr) 2011-08-12 2013-02-15 Stantum Procede de caracterisation de toucher sur un ecran tactile
EP2763378B1 (en) * 2011-09-27 2019-07-24 NEC Corporation Portable electronic device, touch operation processing method and program
WO2013049816A1 (en) 2011-09-30 2013-04-04 Sensitronics, LLC Hybrid capacitive force sensors
FR2981765B1 (fr) 2011-10-20 2013-12-27 Stantum Procede d'acquisition de donnees d'un capteur tactile matriciel, notamment pour un ecran tactile
US20150033161A1 (en) * 2012-03-30 2015-01-29 Richard James Lawson Detecting a first and a second touch to associate a data file with a graphical data object
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP6086188B2 (ja) * 2012-09-04 2017-03-01 ソニー株式会社 音響効果調整装置および方法、並びにプログラム
DE112013004512T5 (de) 2012-09-17 2015-06-03 Tk Holdings Inc. Einzelschicht-Kraftsensor
US9671943B2 (en) 2012-09-28 2017-06-06 Dassault Systemes Simulia Corp. Touch-enabled complex data entry
US9122330B2 (en) 2012-11-19 2015-09-01 Disney Enterprises, Inc. Controlling a user's tactile perception in a dynamic physical environment
US20140239815A1 (en) * 2013-02-28 2014-08-28 Power One Data International, Inc. Method and system for controlling lighting operation
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
WO2015048584A1 (en) 2013-09-27 2015-04-02 Sensel , Inc. Capacitive touch sensor system and method
US11221706B2 (en) 2013-09-27 2022-01-11 Sensel, Inc. Tactile touch sensor system and method
JP6358554B2 (ja) * 2013-12-19 2018-07-18 カシオ計算機株式会社 楽音制御装置、楽音制御方法およびプログラム
US9542027B2 (en) 2014-04-16 2017-01-10 At&T Intellectual Property I, L.P. Pressure-based input method for user devices
US9336762B2 (en) * 2014-09-02 2016-05-10 Native Instruments Gmbh Electronic music instrument with touch-sensitive means
US9864460B2 (en) * 2014-09-26 2018-01-09 Sensel, Inc. Systems and methods for manipulating a virtual environment
US9779709B2 (en) * 2014-11-05 2017-10-03 Roger Linn Polyphonic multi-dimensional controller with sensor having force-sensing potentiometers
KR101784420B1 (ko) 2015-10-20 2017-10-11 연세대학교 산학협력단 감압 센서를 구비한 터치 스크린을 이용한 사운드 모듈레이션 장치 및 그 방법
CN109154872B (zh) 2016-03-25 2020-06-30 森赛尔股份有限公司 用于检测和表征表面上的力输入的系统和方法
US20190291224A1 (en) * 2018-03-22 2019-09-26 Ford Motor Company Workpiece alignment system having pressure sensors for assessing alignment of a workpiece with a fixture
US10725549B2 (en) * 2018-03-29 2020-07-28 Cirrus Logic, Inc. Efficient detection of human machine interface interaction using a resonant phase sensing system
US11537242B2 (en) 2018-03-29 2022-12-27 Cirrus Logic, Inc. Q-factor enhancement in resonant phase sensing of resistive-inductive-capacitive sensors
US10642435B2 (en) 2018-03-29 2020-05-05 Cirrus Logic, Inc. False triggering prevention in a resonant phase sensing system
US10921159B1 (en) 2018-03-29 2021-02-16 Cirrus Logic, Inc. Use of reference sensor in resonant phase sensing system
US10908200B2 (en) 2018-03-29 2021-02-02 Cirrus Logic, Inc. Resonant phase sensing of resistive-inductive-capacitive sensors
US11092657B2 (en) 2018-03-29 2021-08-17 Cirrus Logic, Inc. Compensation of changes in a resonant phase sensing system including a resistive-inductive-capacitive sensor
WO2020037439A1 (es) * 2018-08-23 2020-02-27 Pontificia Universidad Católica De Chile Controlador midi con sensibilidad personalizable
US11402946B2 (en) 2019-02-26 2022-08-02 Cirrus Logic, Inc. Multi-chip synchronization in sensor applications
US10935620B2 (en) 2019-02-26 2021-03-02 Cirrus Logic, Inc. On-chip resonance detection and transfer function mapping of resistive-inductive-capacitive sensors
US11536758B2 (en) 2019-02-26 2022-12-27 Cirrus Logic, Inc. Single-capacitor inductive sense systems
US10948313B2 (en) 2019-02-26 2021-03-16 Cirrus Logic, Inc. Spread spectrum sensor scanning using resistive-inductive-capacitive sensors
US11079874B2 (en) 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
US11579030B2 (en) 2020-06-18 2023-02-14 Cirrus Logic, Inc. Baseline estimation for sensor system
US11835410B2 (en) 2020-06-25 2023-12-05 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11868540B2 (en) 2020-06-25 2024-01-09 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11619519B2 (en) 2021-02-08 2023-04-04 Cirrus Logic, Inc. Predictive sensor tracking optimization in multi-sensor sensing applications
US11821761B2 (en) 2021-03-29 2023-11-21 Cirrus Logic Inc. Maximizing dynamic range in resonant sensing
US11808669B2 (en) 2021-03-29 2023-11-07 Cirrus Logic Inc. Gain and mismatch calibration for a phase detector used in an inductive sensor
US11507199B2 (en) 2021-03-30 2022-11-22 Cirrus Logic, Inc. Pseudo-differential phase measurement and quality factor compensation
US20230297186A1 (en) * 2021-09-13 2023-09-21 Sanctuary Cognitive Systems Corporation Scanning of grid-based sensing arrays
US11979115B2 (en) 2021-11-30 2024-05-07 Cirrus Logic Inc. Modulator feedforward compensation
US11854738B2 (en) 2021-12-02 2023-12-26 Cirrus Logic Inc. Slew control for variable load pulse-width modulation driver and load sensing

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61157931A (ja) * 1984-12-28 1986-07-17 ウオング・ラボラトリ−ズ・インコ−ポレ−テツド デ−タ処理装置に入力情報を入力し且つデ−タ処理装置からの出力情報を表示するための装置
JPH0267598A (ja) * 1988-09-02 1990-03-07 Yamaha Corp 音処理装置
JPH0816305A (ja) * 1994-07-05 1996-01-19 Sharp Corp 反射防止タブレットの座標検出装置
JPH09282095A (ja) * 1996-02-13 1997-10-31 Pilot Corp:The 液晶シートを用いた座標入力装置
JPH11112254A (ja) * 1997-10-01 1999-04-23 Sony Corp 遠隔制御装置ならびに制御装置
JPH11134158A (ja) * 1997-10-31 1999-05-21 Degital:Kk プログラム式表示装置用の表示画面作成装置
JP2000222130A (ja) * 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
JP2001228933A (ja) * 2000-01-05 2001-08-24 Iomega Corp コンピュータ入力装置の拡張スロット内の記憶装置
JP2003008808A (ja) * 2001-06-19 2003-01-10 Fuji Xerox Co Ltd タッチパネル入力装置、表示装置及び画像記録装置
JP2005510814A (ja) * 2001-11-29 2005-04-21 エヌ−トリグ リミテッド 二重機能入力装置および方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5816504B2 (ja) * 1979-09-27 1983-03-31 沖電気工業株式会社 感圧式手書き図形入力装置
US4296406A (en) * 1979-12-28 1981-10-20 Sperry Corporation Pressure sensitive switch structure
DE3220622A1 (de) * 1982-06-01 1983-12-15 M.A.N.- Roland Druckmaschinen AG, 6050 Offenbach Dateneingabeeinrichtung an druckmaschinen
US4550221A (en) 1983-10-07 1985-10-29 Scott Mabusth Touch sensitive control device
US5153829A (en) * 1987-11-11 1992-10-06 Canon Kabushiki Kaisha Multifunction musical information processing apparatus
US4914624A (en) * 1988-05-06 1990-04-03 Dunthorn David I Virtual button for touch screen
US5027689A (en) * 1988-09-02 1991-07-02 Yamaha Corporation Musical tone generating apparatus
US5053585A (en) * 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US5113042A (en) * 1990-11-20 1992-05-12 Summagraphics Corporation Digitizer tablet with reduced radiation susceptibility
US5159159A (en) * 1990-12-07 1992-10-27 Asher David J Touch sensor and controller
JP2975467B2 (ja) * 1991-11-28 1999-11-10 シャープ株式会社 表示一体型位置読取装置
JPH0743627B2 (ja) * 1993-08-12 1995-05-15 セイコーエプソン株式会社 入力装置
US5565657A (en) * 1993-11-01 1996-10-15 Xerox Corporation Multidimensional user interface input device
GB9406702D0 (en) * 1994-04-05 1994-05-25 Binstead Ronald P Multiple input proximity detector and touchpad system
JPH07281813A (ja) * 1994-04-08 1995-10-27 Oki Electric Ind Co Ltd タッチパネル装置とその位置検出方法
US5559301A (en) * 1994-09-15 1996-09-24 Korg, Inc. Touchscreen interface having pop-up variable adjustment displays for controllers and audio processing systems
GB9507817D0 (en) * 1995-04-18 1995-05-31 Philips Electronics Uk Ltd Touch sensing devices and methods of making such
JPH08307954A (ja) * 1995-05-12 1996-11-22 Sony Corp 座標入力装置および方法、並びに情報処理装置
US6255604B1 (en) * 1995-05-31 2001-07-03 Canon Kabushiki Kaisha Coordinate detecting device for outputting coordinate data when two points are simultaneously depressed, method therefor and computer control device
US6107997A (en) * 1996-06-27 2000-08-22 Ure; Michael J. Touch-sensitive keyboard/mouse and computing device using the same
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5949501A (en) * 1996-02-13 1999-09-07 Kabushiki Kaisha Pilot Coordinates input device using liquid crystal sheet
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US6229529B1 (en) * 1997-07-11 2001-05-08 Ricoh Company, Ltd. Write point detecting circuit to detect multiple write points
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
JP3632522B2 (ja) * 1999-09-24 2005-03-23 ヤマハ株式会社 演奏データ編集装置、方法及び記録媒体
FR2806497B1 (fr) 2000-03-17 2002-05-03 Naguy Caillavet Interface materielle et logicielle de controle par messages midi
DE10042300A1 (de) 2000-08-29 2002-03-28 Axel C Burgbacher Elektronisches Musikinstrument
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4686886B2 (ja) * 2001-04-06 2011-05-25 ソニー株式会社 情報処理装置
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
TW565798B (en) * 2001-10-12 2003-12-11 High Tech Comp Corp Pressing point coordinate detecting method for resistor type touch panel
FR2831707B1 (fr) * 2001-10-25 2004-10-29 Siemens Vdo Automotive Surface sensible au toucher ainsi qu'aux niveaux de pression
US6995752B2 (en) * 2001-11-08 2006-02-07 Koninklijke Philips Electronics N.V. Multi-point touch pad
JP3847641B2 (ja) * 2002-02-28 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
US6809280B2 (en) * 2002-05-02 2004-10-26 3M Innovative Properties Company Pressure activated switch and touch panel
JP2003337659A (ja) * 2002-05-20 2003-11-28 Sharp Corp 入力装置およびタッチ領域登録方法
US7461356B2 (en) * 2002-06-03 2008-12-02 Fuji Xerox Co., Ltd. Function control unit and method thereof
US7151532B2 (en) * 2002-08-09 2006-12-19 3M Innovative Properties Company Multifunctional multilayer optical film
US20040090429A1 (en) * 2002-11-12 2004-05-13 Geaghan Bernard O. Touch sensor and method of making
TWI231453B (en) * 2003-01-20 2005-04-21 Htc Corp Method and apparatus for avoiding pressing inaccuracies on a touch panel
FR2866726B1 (fr) 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US7213125B2 (en) 2004-07-31 2007-05-01 Hewlett-Packard Development Company, L.P. Method for patching virtually aliased pages by a virtual-machine monitor
WO2008028044A2 (en) * 2006-08-30 2008-03-06 Centocor, Inc. Markers and methods for assessing and treating ulcerative colitis and related disorders using 66 gene panel

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61157931A (ja) * 1984-12-28 1986-07-17 ウオング・ラボラトリ−ズ・インコ−ポレ−テツド デ−タ処理装置に入力情報を入力し且つデ−タ処理装置からの出力情報を表示するための装置
JPH0267598A (ja) * 1988-09-02 1990-03-07 Yamaha Corp 音処理装置
JPH0816305A (ja) * 1994-07-05 1996-01-19 Sharp Corp 反射防止タブレットの座標検出装置
JPH09282095A (ja) * 1996-02-13 1997-10-31 Pilot Corp:The 液晶シートを用いた座標入力装置
JPH11112254A (ja) * 1997-10-01 1999-04-23 Sony Corp 遠隔制御装置ならびに制御装置
JPH11134158A (ja) * 1997-10-31 1999-05-21 Degital:Kk プログラム式表示装置用の表示画面作成装置
JP2000222130A (ja) * 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
JP2001228933A (ja) * 2000-01-05 2001-08-24 Iomega Corp コンピュータ入力装置の拡張スロット内の記憶装置
JP2003008808A (ja) * 2001-06-19 2003-01-10 Fuji Xerox Co Ltd タッチパネル入力装置、表示装置及び画像記録装置
JP2005510814A (ja) * 2001-11-29 2005-04-21 エヌ−トリグ リミテッド 二重機能入力装置および方法

Also Published As

Publication number Publication date
KR20070031286A (ko) 2007-03-19
US20110181547A1 (en) 2011-07-28
US8665232B2 (en) 2014-03-04
PL1719047T3 (pl) 2009-03-31
EP1950649A2 (fr) 2008-07-30
EP1719047A2 (fr) 2006-11-08
CN1947087A (zh) 2007-04-11
US20110115736A1 (en) 2011-05-19
EP2278439A2 (fr) 2011-01-26
ATE402436T1 (de) 2008-08-15
EP2278440A2 (fr) 2011-01-26
US20110119580A1 (en) 2011-05-19
WO2005091104A3 (fr) 2006-07-13
JP2012089150A (ja) 2012-05-10
KR101197876B1 (ko) 2012-11-05
EP2306279A2 (fr) 2011-04-06
US20110273392A1 (en) 2011-11-10
FR2866726A1 (fr) 2005-08-26
US8659545B2 (en) 2014-02-25
ES2311218T3 (es) 2009-02-01
EP1950649A3 (fr) 2008-12-24
CA2557063A1 (fr) 2005-09-29
EP1719047B1 (fr) 2008-07-23
FR2866726B1 (fr) 2006-05-26
US8049730B2 (en) 2011-11-01
CA2557063C (fr) 2013-08-13
DE602005008384D1 (de) 2008-09-04
CN100447723C (zh) 2008-12-31
WO2005091104A2 (fr) 2005-09-29
US20070198926A1 (en) 2007-08-23
JP2007527061A (ja) 2007-09-20
US20110181546A1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
JP4932500B2 (ja) 多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP6392747B2 (ja) ディスプレイ装置
US8717287B2 (en) Force sensations for haptic feedback computer interfaces
US20020054021A1 (en) Designing force sensations for force feedback computer applications
US20100013613A1 (en) Haptic feedback projection system
US20040160415A1 (en) Designing force sensations for force feedback computer applications
US20140266569A1 (en) Controlling music variables
Berthaut et al. Piivert: Percussion-based interaction for immersive virtual environments
KR101171623B1 (ko) 멀티터치 기반 터치 패널 제어장치, 방법 및 이를 이용한 모바일 기기
JP4858777B2 (ja) 音データ生成装置およびプログラム
Berdahl et al. Wireless Vibrotactile Tokens for Audio-Haptic Interaction with Touchscreen Interfaces.
CN118212390B (zh) 使用虚拟场景画笔进行空间绘制的方法、系统及存储介质
Bernardo et al. The Smart Stage: Designing 3D interaction metaphors for immersive and ubiquitous music systems
Chu Haptic design for digital audio
JP4513620B2 (ja) 情報処理装置、情報処理装置におけるデータ呈示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110829

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees