JP5042437B2 - カメラベースのタッチシステム - Google Patents
カメラベースのタッチシステム Download PDFInfo
- Publication number
- JP5042437B2 JP5042437B2 JP2002507309A JP2002507309A JP5042437B2 JP 5042437 B2 JP5042437 B2 JP 5042437B2 JP 2002507309 A JP2002507309 A JP 2002507309A JP 2002507309 A JP2002507309 A JP 2002507309A JP 5042437 B2 JP5042437 B2 JP 5042437B2
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- image
- touch surface
- digital camera
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000006854 communication Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 239000006187 pill Substances 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 24
- 238000005259 measurement Methods 0.000 description 12
- 238000004088 simulation Methods 0.000 description 11
- 238000007667 floating Methods 0.000 description 8
- 235000019557 luminance Nutrition 0.000 description 8
- 238000010897 surface acoustic wave method Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000002370 liquid polymer infiltration Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000218691 Cupressaceae Species 0.000 description 1
- VAYOSLLFUXYJDT-RDTXWAMCSA-N Lysergic acid diethylamide Chemical compound C1=CC(C=2[C@H](N(C)C[C@@H](C=2)C(=O)N(CC)CC)C2)=C3C2=CNC3=C1 VAYOSLLFUXYJDT-RDTXWAMCSA-N 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Position Input By Displaying (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Electrophonic Musical Instruments (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
【０００１】
（技術分野）
本発明は、一般にタッチシステムに関し、特にカメラベースのタッチシステムに関する。
【０００２】
（背景技術）
タッチシステムは、公知技術であり、ユーザ入力を生成するためにポインタを使用して接触がなされるタッチ面を有するタッチスクリーンを含むのが一般的である。タッチ面上のポインタ接触を検出して、接触がなされているタッチ面の領域に応じて、対応する出力を生成するのに使用される。基本的には利用可能な２種類の一般的なタッチシステムがあり、それらは、大別すると「アクティブ（ａｃｔｉｖｅ）」タッチシステムと「パッシブ（ｐａｓｓｉｖｅ）」タッチシステムに分類できる。
【０００３】
アクティブタッチシステムでは、ユーザは、ある形態のオンボード電源（通常はバッテリ）を通常必要とする特別なポインタで、タッチ面と接触してユーザ入力を生成する。その特別なポインタは、赤外光、可視光線、超音波周波数、電磁周波数等のようなタッチ面を励起する信号を放射する。
【０００４】
パッシブタッチシステムは、パッシブポインタがタッチ面と接触することによって、ユーザ入力を生成し、タッチ面を励起するのに特別なポインタを使用する必要がない。パッシブポインタは、指、ある素材の円筒状のもの、またはタッチ面上の予め定められた、ある関心ある領域と接触するのに使用するどんな適切な物体でもよい。
【０００５】
タッチ面に接触するのに、ユーザの指を含むどんな適切なポインティングデバイスでもポインタとして使用可能な点で、パッシブタッチシステムは、アクティブタッチシステムよりも利点がある。その結果、ユーザ入力が容易に生成可能となる。また、パッシブタッチシステムでは特別なアクティブポインタを必要としないので、ユーザは、バッテリ電力レベルおよび／またはポインタ損傷、盗難、またはポインタの置き間違いを心配しなくてすむ。
【０００６】
パッシブタッチシステムは、コンピュータ操作およびビデオディスプレイに関連した多くのアプリケーションがある。例えば、１つの対話型アプリケーションにおいて、本発明の譲受人に譲渡されたマーティン（Ｍａｒｔｉｎ）の米国特許第５、４４８、２６３号に開示されているように、パッシブタッチシステムは、コンピュータと結合し、コンピュータディスプレイがタッチスクリーンのタッチ面に表示される。特定の位置を表示しているタッチ面上の座標が、コンピュータディスプレイにマップされる。ユーザがタッチ面と接触すると、接触位置の座標がコンピュータにフィードバックされてコンピュータディスプレイにマップされるので、その結果、ユーザは、単にタッチ面と接触することでコンピュータマウスを使用するのと同様にコンピュータを操作できる。さらに、コンピュータにフィードバックされた座標は、アプリケーションに記憶でき、あとで、再表示可能である。一般的に、接触座標の記憶は、ユーザがタッチ面に書き込みまたは描画した情報を記憶する必要があるときに実行される。
【０００７】
パッシブタッチスクリーンの解像度は、タッチシステムが、タッチスクリーン上に書き込みまたは描画される記録情報に適しているか、またはコンピュータまたはビデオディスプレイを操作するのに、コンピュータまたはビデオディスプレイの領域にマップされるタッチスクリーンの領域を選択するのに役に立つかどうかだけかで決定される。解像度は、一般的にドット／インチ（ＤＰＩ： ｄｏｔｓ ｐｅｒ ｉｎｃｈ）で測定される。ＤＰＩは、タッチスクリーンの大きさ、およびタッチ面上の接触を検出するのに使用するタッチシステムのハードウェアおよびソフトウェアのサンプリング能力に関連する。
【０００８】
低解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイが表示する画素の大きなグループ内のタッチ面上の接触を検出するのに足るＤＰＩを有するだけでよい。したがって、これらの低解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイを処理する用途にのみ有効である。
【０００９】
一方、高解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイの少数の画素またはサブピクセルに比例する接触を検出するのに充分なＤＰＩを有している。しかし、高解像度タッチスクリーンに対する要求条件は、ポインタがタッチ面と接触した時の検出能力である。この能力は、書き込み、描画、マウス−クリック操作等に必要である。もしタッチスクリーンとのポインタ接触を検出する能力がないとしたら、書込みおよび描画は、１つの連続操作となり、マウスクリックができなくなり、そのため実質的にコンピュータディスプレイの操作は不可能になる。第２の要求条件は、ポインタがタッチ面上に「浮上している」ときに、検出する能力である。書き込みまたは描画には必要ないが、今日のコンピュータオペレーティングシステムが、コンピュータまたはビデオディスプレイ、またはポップアップ情報ボックスを操作するのに浮上情報を使用する用途がますます増えている。
【００１０】
パッシブタッチスクリーンは、一般的にアナログ電気抵抗タイプ、表面弾性波（ＳＡＷ： ｓｕｒｆａｃｅ ａｃｏｕｓｔｉｃ ｗａｖｅ）タイプ、または容量性タイプのいずれかである。残念なことに、これらのタッチスクリーンは、後述するように多くの問題や短所を欠点として持っている。
【００１１】
アナログ電気抵抗タッチスクリーンは、一般的に高解像度を有している。タッチシステムの複雑さによるが、タッチスクリーンの解像度としては、４０９６×４０９６ ＤＰＩ、またはそれ以上を発生可能である。アナログ電気抵抗タッチスクリーンは、抵抗材料を塗布し、サンドイッチのように配置した２枚のフレキシブルシートを使用して構成される。接触が発生するまではシートは互いに接触しない。２枚のシートは、一般的に絶縁性マイクロドットまたは絶縁空気層で分離される。シートは、大半、透明なＩＴＯ（Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）から構成される。したがって、タッチスクリーンは、若干の画像歪みをもたらすが、視差はほとんど生じない。
【００１２】
アナログ電気抵抗パッシブタッチスクリーンの操作中には、均一な電圧勾配が第１のシートに沿った一方向へ印加される。タッチ面上に接触した結果、２枚のシートが互に接触するときに、第２シートは、第１のシートに沿った電圧を測定する。第１のシートの電圧勾配を第１のシートに沿った距離に変換できるので、測定電圧は、タッチ面上の接触の位置と比例している。第１のシート上の接触座標が取得されると、その後、均一な電圧勾配が第２シートに印加され、第１のシートが第２シートに沿った電圧を測定する。第２シートの電圧勾配は、第２シートに沿った距離に比例している。この２個の接触座標は、デカルト座標系のタッチ面上の接触位置Ｘ−Ｙを表示する。
【００１３】
残念なことに、両方のシートを接触させるには機械的圧力が必要になるので、２枚のシートを共に接触させるのに充分な圧力が加えられたときだけアナログ電気抵抗タッチスクリーンは、接触を検出できる。アナログ電気抵抗パッシブタッチスクリーンは、また、ポインタがタッチ面上に浮上しているときには感知することができない。したがって、アナログ電気抵抗タッチスクリーンの場合、実際の接触がタッチ面に発生したときに、接触したという事象および位置が検出されるだけである。
【００１４】
表面弾性波（ＳＡＷ）タッチスクリーンでは、一般的に中間的な解像度を得られるが、良い書き込み品質を記憶するには適切でない。ＳＡＷタッチスクリーンは、ガラスを振動させてガラス表面上に波紋を起こす音波を発生するので、ガラス表面の縁上に変換器が使用される。ガラス表面に接触が発生すると音波が反射して戻り、接触位置が反射された音波のシグネチャー（ｓｉｇｎａｔｕｒｅ）から決定される。
【００１５】
残念なことに、ＳＡＷタッチスクリーンは、ビデオまたはコンピュータディスプレイの表面に配置される振動ガラスの厚みにより顕著な視差を示す。また、実際にガラス表面と接触したとき、接触したという事象および位置が検出されるだけである。さらに、ＳＡＷタッチスクリーンは、対角線で２、３フィートを越える大きさには拡大できない。
【００１６】
大面積（およそ１／２インチ×１／２インチ）の接触を決定するだけなので、容量性のタッチスクリーンは、低解像度である。したがって、容量性タッチスクリーンは、書き込みまたは描画を記憶するには使用できないが、ビデオまたはコンピュータディスプレイに表示されるコンピュータ生成ボタンに対応した、タッチスクリーン上の領域を選択するには適している。容量性のタッチスクリーンもまたそれらが温度や湿度に影響されやすいという不利な欠点を持っている。アナログ電気抵抗タッチスクリーンおよびＳＡＷタッチスクリーンと同様に、容量性タッチスクリーンは、また、実際の接触がタッチ面に発生したとき、接触したという事象および位置を検出できるだけである。
【００１７】
より大規模な電子デジタイザの要求が増大しているので、パッシブタッチスクリーンの拡張性は、重要である。デジタイザは、かつては小さいデスクトップ機器に応用されていたが、今日では、電子ホワイトボードへのアプリケーションに発展してきた。新規なタッチスクリーンアプリケーションへの要求条件として、パッシブタッチに敏感な「壁」を造る必要性が生じてきた。上記に説明したタイプの既存のパッシブタッチスクリーンは、それらがまだ機能できる最大サイズという点で全てが制限されている。
【００１８】
パッシブタッチシステムに対する改良が望まれているのは当然である。したがって、本発明の目的は、新規なカメラベースのタッチシステムを提供することにある。
【００１９】
（発明の開示）
本発明の一態様によれば、
パッシブタッチ面に関連付けられ、前記タッチ面を包含する重複した視野を有する少なくとも２個のカメラであって、異なった位置から前記タッチ面の画像を取得して画像データを生成する前記少なくとも２個のカメラと、
前記少なくとも２個のカメラが生成した画像データを受信して処理し、ポインタが前記少なくとも２個のカメラで取得した画像内に撮像された場合、前記タッチ面を基準とした前記ポインタ位置を決定するプロセッサとを、
備えるカメラベースのタッチシステムを提供する。
【００２０】
少なくとも２個のカメラは、通常、タッチ面の平面に沿って見通す視野を有するデジタルカメラであるのが好ましい。各デジタルカメラが生成する画像データは、ポインタ中線ｘおよびポインタ先端位置ｚを含む。それぞれのデジタルカメラは、選択可能な画素行を有する画素配列を含む。選択可能な画素行内の画素の画素輝度は、画像データの生成中に使用される。選択可能な画素行内の関心ある領域の画素の画素輝度は、画像データの生成中に使用されるのが好ましい。
【００２１】
好適な実施例において、それぞれのデジタルカメラは、ＣＭＯＳカメライメージセンサおよびデジタル信号プロセッサを含む。デジタル信号プロセッサは、ＣＭＯＳカメライメージセンサからの画像出力を受信して、ポインタがデジタルカメラにより取得された各画像内にあるかどうかを判定し、もしあった場合にはポインタの中線ｘがあるかどうかを判定するポインタ検出ルーチンを実行する。また、各画像が取得されたあと、各デジタルカメラのデジタル信号プロセッサは、背景画像更新ルーチンを実行して背景画像を更新するのが好ましい。各デジタルカメラのデジタル信号プロセッサは、さらに、各取得した画像および背景画像の差分を判定して光条件の変化を検出するのが好ましい。
【００２２】
本発明の別の態様では、
ポインタを使用して接触する略矩形のパッシブタッチ面と、
前記タッチ面の各コーナーに隣接して取り付けられたデジタルカメラであって、前記タッチ面を包含する重複した視野を有し、前記ポインタが前記デジタルカメラで取得した画像内に撮像された場合、前記タッチ面の画像を取得してポインタ中線ｘおよびポインタ先端位置ｚを含む画像データを生成する前記デジタルカメラと、
前記デジタルカメラが生成した画像データを受信して処理し、前記タッチ面を基準とした前記ポインタ位置を決定し、前記ポインタが前記タッチ面と接触しているかどうかを判定するプロセッサとを、
備えるカメラベースのタッチシステムを提供する。
【００２３】
さらに、本発明のこの態様では、
重複した視野を有して画像データを生成するカメラを使用して異なった位置からタッチ面の画像を取得するステップと、
前記取得した画像内のポインタの存在を検出して前記タッチ面を基準とした前記ポインタの位置を決定するのに前記画像データを処理するステップと、
からなるタッチ面を基準としたポインタ位置を検出する方法を提供する。
【００２４】
本発明は、このパッシブタッチシステムが高解像度であり、ポインタがタッチ面に実際に接触していても、ポインタがタッチ面上に浮上していても検出可能で、対応する出力を生成するという利点を提供する。また、本パッシブタッチシステムは、従来技術のパッシブタッチシステムが持っていた視差、画像歪み、ポインタ位置の制約、画像射影、およびスケーラビリティの問題を欠点として持たないという利点を提供する。
【００２５】
さらに、本発明は、ＣＭＯＳデジタルカメラを使用するので、デジタルカメラの画素配列の任意の画素行を選択できる利点がある。これで、デジタルカメラのフレーム速度を著しく向上できる。また、画素行を任意に選択できるので、画素配列を所与のデジタルカメラのフレーム速度より長い時間露光でき、明るい部屋だけでなく暗い部屋でも十分な操作性を得ることができる。
【００２６】
（発明を実施するための最良の形態）
さてここで、参照番号５０で全般的に識別される本発明のカメラベースのタッチシステムを示す図１に戻る。理解できるように、タッチシステム５０は、デジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）ベースの主制御装置５４に結合するタッチスクリーン５２を含む。主制御装置５４は、またコンピュータ５６に結合する。コンピュータ５６は、１つまたはそれ以上のアプリケーションプログラムを実行し、プロジェクタ５８を介してタッチスクリーン５２に表示する表示出力を出力する。タッチスクリーン５２、主制御装置５４、コンピュータ５６、およびプロジェクタ５８は、閉ループを形成し、タッチスクリーン５２とのユーザ接触を書き込みまたは描画として記憶し、またはコンピュータ５６が実行するアプリケーションプログラムの実行を制御する。
【００２７】
図２〜４にタッチスクリーン５２をより適切に例示する。タッチスクリーン５２は、矩形のフレーム６２で縁付けされたタッチ面６０を含む。タッチ面６０は、パッシブ素材の矩形の平面シート形状をしている。ＤＳＰベースのＣＭＯＳデジタルカメラ６３は、タッチスクリーン５２の各コーナーに関連付けられる。各デジタルカメラ６３をフレームアセンブリ６４に取り付ける。各フレームアセンブリ６４は、デジタルカメラ６３が取り付けられた角度のついたサポート板６６を含む。フレームサポートエレメント７０および７２を、ポスト７４を介してプレート６６に取り付け、プレート６６をフレーム６２に固定する。
【００２８】
各デジタルカメラ６３は、二次元ＣＭＯＳカメライメージセンサおよび関連するレンズアセンブリ８０、データバスでＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に結合した先入れ先出し方式（ＦＩＦＯ： ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）バッファ８２、およびデータバスでＦＩＦＯ８２に、制御バスでＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に結合したデジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）８４を含む。ブートＥＰＲＯＭ８６および電源サブシステム８８も、また、含まれる。
【００２９】
本実施例において、ＣＭＯＳカメラのイメージセンサは、２０×６４０画素サブアレイの任意の画素行を選択できるので、２００フレーム／秒を上回る速度で画像フレームを撮像するように動作可能なフォトビット（Ｐｈｏｔｏｂｉｔ）ＰＢ３００イメージセンサを配置する。また、画素行を任意に選択できるので、画素サブ配列を所与のデジタルカメラのフレーム速度より長い時間露光でき明るい部屋だけでなく暗い部屋でも十分な操作性を得ることができる。ＦＩＦＯバッファ８２は、サイプレス社（Ｃｙｐｒｅｓｓ）が製造する製品番号ＣＹ７Ｃ４２１１Ｖ、ＤＳＰ８４は、アナログデバイセズ社（Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ）が製造する部品番号ＡＤＳＰ２１８５Ｍである。
【００３０】
ＤＳＰ８４は、制御バスを介してＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に制御情報を提供する。制御情報によって、ＤＳＰ８４は、露出、利得、配列構成、リセット、および初期化のようなＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０のパラメータを制御できる。ＤＳＰ８４は、また、ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０にクロック信号を出力し、ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０のフレーム速度を制御する。
【００３１】
図１１に示すように、各デジタルカメラ６３の視野（ＦＯＶ： ｆｉｅｌｄ ｏｆ ｖｉｅｗ）がタッチ面６０の指定された周辺エッジの向こうに延びるように、プレート６６の角度を選択する。これで、タッチ面６０は、全て、デジタルカメラ６３の視野内にはいる。
【００３２】
図５に最も適切に例示する主制御装置５４は、ＤＳＰ９０、ブートＥＰＲＯＭ９２、シリアルラインドライバ９４、および電源サブシステム９５を含む。ＤＳＰ９０は、シリアルポート９６を介してデータバス上でデジタルカメラ６３のＤＳＰ８４と通信し、シリアルポート９８およびシリアルラインドライバ９４を介してデータバス上でコンピュータ５６と通信する。本実施例では、ＤＳＰ９０は、また、アナログデバイセズが製造する製品番号ＡＤＳＰ２１８５Ｍである。シリアルラインドライバ９４は、アナログデバイセズ社が製造する製品番号ＡＤＭ２２２である。
【００３３】
主制御装置５４および各デジタルカメラ６３は、ユニバーサルシリアルバス（ＵＳＢ： ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）と同様な共通シリアルケーブルを介して双方向通信を可能にする通信プロトコルに従う。伝送帯域は、１６ビット３２チャネルに分割される。３２チャネル中、６チャネルは、デジタルカメラ６３のそれぞれのＤＳＰ８４に、および主制御装置５４のＤＳＰ９０に割り当てられ、残りの２チャネルは未使用である。主制御装置５４は、ＤＳＰ８４に割り当てられた２４チャネルをモニターし、一方、ＤＳＰ８４は、主制御装置５４のＤＳＰ９０に割り当てられた６チャネルをモニターする。主制御装置５４とデジタルカメラ６３間の通信は、割り込みに応答したバックグラウンドプロセスとして実行される。
【００３４】
以下、タッチシステム５０の一般的な操作について説明する。各デジタルカメラ６３は、所望のフレーム速度でそのＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０の視野内のタッチ面６０の画像を取得し、その取得した各画像を処理してポインタが取得した画像内にあるかどうかを判定する。ポインタが取得した画像内にある場合、タッチ面６０と接触、またはその上に浮上しているポインタの特性を判定するのに、さらに、その画像を処理する。その後、デジタルカメラ６３は、ポインタ特性を含むポインタ情報パケット（ＰＩＰ： Ｐｏｉｎｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｐａｃｋｅｔｓ）、ステータスおよび／または診断情報を生成し、ＰＩＰは、主制御装置５４に送信するのに待ち行列に入れられる。デジタルカメラ６３は、また、主制御装置５４が生成するコマンドＰＩＰを受信して応答する。
【００３５】
主制御装置５４は、ＰＩＰについてデジタルカメラ６３にポーリングする。ＰＩＰがポインタ特性情報を含む場合、主制御装置５４は、ＰＩＰのポインタ特性を三角測量してデカルト直交座標のタッチ面６０を基準としたポインタ位置を決定する。主制御装置５４は、算出ポインタ位置情報、ステータスおよび／または診断情報をパーソナルコンピュータ５６に順番に送信する。このように、パーソナルコンピュータ５６に送信されたポインタ位置情報は、書き込みまたは描画として記憶でき、またはコンピュータ５６が実行するアプリケーションプログラムの制御実行に使用できる。タッチ面６０に示される情報がポインタアクティビティを反映するように、コンピュータ５６は、また、プロジェクタ５８へ伝送される表示出力を更新する。
【００３６】
主制御装置５４は、また、コマンドＰＩＰを生成してデジタルカメラ６３へ伝達するだけでなく、パーソナルコンピュータ５６からのコマンドを受信してそれに応じて応答する。
【００３７】
次に、取得した画像の処理およびＰＩＰ中のポインタ特性の三角測量法に関する詳細を、特に図６〜図８を参照して説明する。
【００３８】
まず、タッチ面６０を基準としたポインタの接触または浮上位置を正確に決定できるように、カメラオフセット角較正ルーチンを実行して各デジタルカメラ６３のオフセット角δを決定する（図１１参照）。カメラオフセット角較正の詳細は、「三角測量フィールドを利用した対象物の位置決定を容易にするカメラのオフセット較正（Ｃａｌｉｂｒａｔｉｎｇ Ｃａｍｅｒａ Ｏｆｆｓｅｔｓ ｔｏ Ｆａｃｉｌｉｔａｔｅ Ｏｂｊｅｃｔ Ｐｏｓｉｔｉｏｎ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ｔｒｉａｎｇｕｌａｔｉｏｎ ｆｉｅｌｄ）」という発明の名称で２００１年６月１日、本出願人が出願中の米国出願に記載されているが、その要旨を本願明細書に参考として引用している。
【００３９】
カメラオフセット角較正ルーチンに続いて、表面検出ルーチンを実行して、ポインタが所与のポイントでタッチ面６０と接触しているか、またはタッチ面上に浮上しているかどうかについての判定をより確実なものにする。
【００４０】
カメラオフセット角較正から正確に知ることができるタッチ面６０の面内のポインタの直交座標によって、各デジタルカメラ６３が見通すタッチ面６０の方向を決定できる。これは、デジタルカメラがタッチ面６０の面に沿ってだけではなく、それに対して垂直な方向もまた見るという事実のために必要である。いくぶん、各デジタルカメラ６３は、タッチ面６０を下方に見下ろす。図１４は、通常デジタルカメラ６３が見たタッチ面６０の形状を示す。このため、直交座標（ｘ、ｙ）の関数としてタッチ面の位置を記述する「垂直」座標ｚを定めるのが望ましい。
【００４１】
ポインタのｚ座標は、デジタルカメラ画像から測定でき、それで、タッチ面６０上のポインタ位置のｚ座標を決定できる。この垂直方向の較正とは、ｚ座標データを所与の直交座標（ｘ、ｙ）に適合させる事である。垂直方向の較正は、一般式として次のように記述できる。
【００４２】
ｚ（ｘ、ｙ）＝Ａｘ＋Ｂｙ＋Ｃｘ2＋Ｄｙ2＋Ｅｘｙ＋Ｆ （０．１）
係数Ｃ、Ｄ、およびＥがゼロの場合、これは平面になる。式（０．１）は、線形最小二乗問題を記述しているので、最適値を容易に計算できる。該当する行列は、次の形式をとる。
【００４３】
【数３】
式（０．１）に直交座標（ｘ、ｙ）を適用して係数Ａ〜Ｅ決定するのに、特異値分解（ＳＶＤ： ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）に基づいたムーアペンローゼ（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ）擬似逆行列手法を使用して最小ノルム最小２乗法の解を求める。
【００４４】
行列は、常に次のように分解できるのは当然である。
【００４５】
Ａ＝ＵＳＶT （０．２）
行列Ａは、どんな形式も可能である。行列ＵおよびＶは直交行列で、次式を意味する。
【００４６】
ＵTＵ＝Ｉ＝ＶTＶ
対角行列Ｓは、完全に、行列Ａの固有値の二乗と関連する行列Ａの特異値からなる。その特異値分解（ＳＶＤ）の重要性は、行列Ａの逆行列は、常に計算できるという事実とともにある。さらに、不完全に決定された問題に遭遇した場合、この逆を制御することは可能である。次の線形方程式の系を考慮する。
【００４７】
【数４】
その解は、次のようになるであろう。
【００４８】
【数５】
逆行列は、ＳＶＤによって、次のように記述される。
【００４９】
Ａ-1＝ＶＳ-1ＵT （０．３）
何故なら、両行列ＵとＶは、直交するからである。不完全に決定された状況においては、特異値のいくつかは、非常に小さいが、その結果、行列Ｓ-1が形成されると、望ましくない大きい値が発生する。この場合、最も小さい特異値の逆数をゼロに設定する。これは、不完全に決定された解の一部を無視する効果を持つ。最小２乗問題にとって、これは、強力な武器である。最小２乗問題の通常の正規方程式法は、次式を解くことである。
【００５０】
【数６】
解が大きすぎる場合には、次式を解き、
【００５１】
【数７】
解が小さすぎる場合には、次式を解く。
【００５２】
【数８】
式（０．１）に系の式をあてはめる時、カメラオフセット角δを決定中に使用したのと同一手法を用いるのは当然である。同一手法が使用できるので、メモリー使用率および処理速度を所望のレベルに維持できる。
【００５３】
既知の係数Ａ〜Ｅを用いて、タッチ面上のどんな任意のポイント（ｘ、ｙ）についてもｚ座標が算出でき、したがって、ポインタがタッチ面６０と接触しているか、またはその上に浮上しているかどうかについての判定が可能になる。
【００５４】
較正されたタッチシステム５０では、各デジタルカメラ６３は、操作中にその視野内のタッチ面６０の画像を取得する。ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０は、ＤＳＰ８４から受信したクロック信号に応答した、ある間隔で画像を取得する。ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０が取得した各画像は、ＦＩＦＯバッファ８２に送信される。ＤＳＰ８４は、ＦＩＦＯバッファ８２からの各画像を順番に読み込んで画像を処理する。有益な情報を含まない多数の画素数の処理を避けるために、図９に示すように、取得した画像の画素のサブセットだけを処理する。
【００５５】
デジタルカメラ６３が取得した画像を処理する間に、ＤＳＰ８４は、図６で示すプロセスフレームルーチンを実行する。画像が処理可能な場合（ステップ１２０）、デジタルカメラ６３を調整するのに、画像を撮像したかどうかをチェックして判定する（ステップ１２２）。画像が露出調整の目的で取得された場合、ｅｘｐｏｓｕｒｅＣｏｎｔｒｏｌ（露出調整）ルーチンをデジタルカメラ６３の露出を調整するのに呼び出す（ステップ１２４）。これに続いて、ＤＳＰ８４は処理可能な次の画像の受信を待ち受ける。
【００５６】
ステップ１２２で、画像がデジタルカメラ６３の露出を調整するのに撮像されていなかった場合、画像が背景画像を交換するために撮像されていたかどうかをチェックして判定する（ステップ１２６）。画像を背景画像の交換の目的で取得していた場合、ｃａｐｔｕｒｅＢａｃｋｇｒｏｕｎｄ（背景画像取得）ルーチンを呼び出して（ステップ１２８）、取得した画像を背景画像として使用する。これは、デジタルカメラが画像を取得してポインタが画像内にあることを示すＰＩＰを主制御装置に送信したが、それが実際にはノイズであった場合に実行される。効果的に背景画像を交換することで、デジタルカメラにそれ以後のＰＩＰ中のポインタを誤って識別させないようにする。これに続いて、ＤＳＰ８４は、処理可能な次の画像の受信を待ち受ける。
【００５７】
ステップ１２６において、画像を背景画像交換の目的で撮像していなかった場合、ＤＳＰ８４は、ｃｏｐｙＩＣｕｒ（現在画像コピー）ルーチンを呼び出す（ステップ１３０）。このルーチン中に現在取得した画像は、メモリーにコピーされ、現在取得した画像と背景画像間の差分を表す差分画像を形成するだけでなく背景画像を更新するのにも使用される。ｃｏｐｙＩＣｕｒルーチン完了後、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒ（セグメントポインタ）ルーチンを呼び出し、ポインタが取得した画像内にあるかどうかを判定し、もしあった場合には、タッチ面６０を基準としたポインタ位置、およびポインタがタッチ面６０と接触しているか、またはその上に浮上しているかについて判定する（ステップ１３２）。ＳｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２は、また、光条件の変化を検出可能にする。ＳｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２に続いて、ＤＳＰ８４は、ｆｉｌｌＰＩＰ（ＰＩＰ情報設定）ルーチンを呼び出し（ステップ１３４）、主制御装置５４へ送信するＰＩＰにポインタおよび光条件情報を設定する。その後、ＤＳＰ８４は、処理可能な次の画像の受信を待ち受ける。
【００５８】
図７は、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２の実行中にＤＳＰ８４が実行するステップを例示する。理解できるように、ＤＳＰ８４がｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチンを実行すると、ＤＳＰ８４は、ｆｉｎｄＰｏｉｎｔｅｒ（ポインタ検出）ルーチンを呼び出してポインタが取得した画像内にあるかどうかを判定し、もしあった場合には、現在取得した画像内のポインタ位置を判定する（ステップ１４０）。ＦｉｎｄＰｏｉｎｔｅｒルーチン１４０が完了するとすぐに、ＤＳＰ８４は、ｕｐｄａｔｅＢａｃｋｇｒｏｕｎｄ（背景画像更新）ルーチンを呼び出して、それで背景画像を更新して照明条件の変化を処理する（ステップ１４２）。
【００５９】
ＵｐｄａｔｅＢａｃｋｇｒｏｕｎｄルーチンの実行中に、ＤＳＰ８４は、次式を使用して背景画像を連続的に更新する。
【００６０】
Ｂn+1（ｉ、ｊ）＝（１−ａ）Ｂn（ｉ、ｊ）＋ａＩ（ｉ、ｊ）
ここで、
Ｂn+1は、新規な背景画像、
Ｂnは、現在の背景画像、
Ｉは、現在取得した画像、
ｉ、ｊは、更新された背景画像画素の行および列の座標、
ａは、現在取得した画像Ｉから得られるべき学習段階を示す０〜１の数である。ａの値が大きければ大きいほど、背景画像はより速く更新される。
【００６１】
ＵｐｄａｔｅＢａｃｋｇｒｏｕｎｄルーチン１４２が実行されると、ＤＳＰ８４は、現在取得した画像と背景画像間の輝度の差分を算出する。この情報を主制御装置５４に送信して主制御装置にデジタルカメラ６３が再度露出される必要があるかどうかを判定させる。照明条件の急激な変化が発生した場合（すなわち周囲の照明がオン、オフされた）、これが必要になるであろう。デジタルカメラ６３の再露出が必要な場合、主制御装置５４は、デジタルカメラ６３にコマンドＰＩＰを送信して露出調整のために画像を取得するようにデジタルカメラに指示する。
【００６２】
図８は、ｆｉｎｄＰｏｉｎｔｅｒルーチン１４０の実行中にＤＳＰ８４が実行するステップを例示する。理解できるように、ＤＳＰ８４がｆｉｎｄＰｏｉｎｔｅｒルーチン１４０を実行する場合、ＤＳＰ８４は、ポインタ位置とポインタ先端パラメータ、ｘとｚを丁寧にクリアする（ステップ１５０）。その後、垂直輝度ヒストグラムを作成する（ステップ１５２）。この段階中に現在の画像と背景画像間の差分を表している差分画像が形成され、差分画像内の画素輝度を列ごとに合計する。このように、６４０×２０の差分画像内の各列の和を表す６４０×１のベクトルが形成される。したがって、６４０×１のベクトル内の第１のエレメントは、６４０×２０の差分画像の第１の列内の２０の画素の和を表し、６４０×１のベクトル内の第２のエレメントは、６４０×２０の差分画像の第２列内の２０の画素の和を表し、以下同様である。さらに、この処理の詳細は、Ｖ．チェン、その他（Ｖ．Ｃｈｅｎｇ ｅｔ ａｌ）により著され、２０００年７月出版の写真−光学計測技術者協会ジャーナル オブ エレクトロニック イメージング（ＳＰＩＥ Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ）の中の「高性能カメラの応用： ＤＳＰベースの人体検出と追跡（Ａ ｓｍａｒｔ ｃａｍｅｒａ ａｐｐｌｉｃａｔｉｏｎ： ＤＳＰ−ｂａｓｅｄ ｐｅｏｐｌｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ）」という題名の論文に記載されている。
【００６３】
ステップ１５２の垂直輝度ヒストグラムの作成に続き、ポインタ位置パラメータｘを、垂直輝度ヒストグラム内で、ノイズ閾値（ステップ１５４）より高い、最も高い輝度を有する列を検出して決定する。この列を垂直輝度ヒストグラムが作成したピーク基準と等しい、関心ある領域（ＲＯＩ： ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の幅として処理されるＲＯＩの中心として使用する（図１０参照）。どの列もノイズ閾値より高い輝度を持たない場合、ポインタは、取得した画像内に存在しないと推定される。
【００６４】
ポインタ位置パラメータｘを決定する場合、ＤＳＰ８４は、ポインタ先端が位置する画素行を判定し、ＲＯＩを分析してその行がタッチ面接触または浮上を表すかどうか判定する（ステップ１５６）。具体的には、ＤＳＰ８４は、図１２に示すように、白色画素がポインタを表し、黒色画素が背景を表すようにＲＯＩ内にバイナリマスクを生成する。マスクから、ポインタ中線とポインタ先端位置ｚを容易に算出できる。
【００６５】
ｆｉｌｌＰＩＰルーチン１３４中に、ＤＳＰ８４は、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２の実行中に取得したポインタと光条件情報を使用してＰＩＰを生成し、それで取得した画像を小さいデータセットに縮小して帯域幅の効率性を向上させる。ＰＩＰは、パケット内の各ワードが１６ビットからなる６個のワードパケット形式である。ＰＩＰは、一般的に次の形式をとる。
【００６６】
【表１】
ＰＩＰのヘッダ部分は、一般的に１６ビットで、決定／ソースフィールド、データタイプフィールド、画像フレーム数フィールド、シーケンス番号フィールド、パケット番号フィールドを含む。デスティネーション（宛て先）／ソースフィールドは、ＰＩＰの宛て先およびＰＩＰの送信元を識別する。ＰＩＰを主制御装置５４が生成する場合、デスティネーション（宛て先）は、単一のデジタルカメラ６３または全てのデジタルカメラとなる。データタイプは、ＰＩＰがポインタ情報、またはステータスおよび診断情報のような他の情報と関連しているかどうかを示す。画像フレーム数フィールドは、各デジタルカメラ６３からの画像を順番に主制御装置５４が処理するように番号を格納する。シーケンス番号フィールドは、ＰＩＰを他のＰＩＰと関連づける番号を格納する。パケット番号フィールドは、パケット識別番号を格納する。
【００６７】
ＰＩＰのデータ部分は、一般的に６４ビットで、ポインタＩＤフィールド、ポインタ位置パラメーターフィールド、ポインタ先端パラメーターフィールド、接触状態フィールド、ポインタの良好性フィールドを含む。ポインタＩＤフィールドは、ポインタの識別子を格納して複数のポインタを追跡可能にする。ポインタ位置パラメーターフィールドは、ＤＳＰ８４が算出するｘ値を格納する。ポインタ先端パラメーターフィールドは、ＤＳＰ８４が算出するｚ値を格納する。接触状態フィールドは、ポインタがタッチ面６０と接触、非接触、または多分接触しているという状態を示す値を格納する。ポインタの良好性フィールドは、検出されたポインタの実物の可能性に関する統計値を格納する。
【００６８】
ＰＩＰのチェックサム部分は、ＰＩＰ送信の完全性を保証するのに使用される。ＰＩＰチェックサムエラーがまれな場合、チェックサムエラーを示すＰＩＰは、宛て先のデバイスにより無視される。
【００６９】
ポインタ情報に関連がないステータスＰＩＰは、説明した上記識別されたＰＩＰとは違った形式を持つ。この性質のＰＩＰについては、データ部分は、命令タイプフィールド、命令コードフィールド、およびデータフィールドを含む。命令タイプフィールドは、命令タイプが実行すべき命令か、またはステータス要求であるかどうか識別する。命令コードフィールドは、実効命令またはステータス要求識別子を格納する。データフィールドは、命令のタイプによって、変化するデータを格納する。ステータスＰＩＰの例は、フレームヘッダＰＩＰ、コマンドＰＩＰ、およびエラーメッセージＰＩＰを含む。
【００７０】
フレームヘッダＰＩＰは、現在取得した画像と前の画像間の輝度分散のような、現在の画像の統計量を有する現在取得した画像にそったポインタＰＩＰ数値を含むのが一般的である。主制御装置５４発行のコマンドＰＩＰは、デジタルカメラに指示して露出のような１つまたはそれ以上の設定を調整するか、または新規の背景画像として使用する画像を撮像してもよい。エラーＰＩＰは、デジタルカメラ６３から主制御装置５４にエラー条件を送信してエラーログに格納してもよい。
【００７１】
各デジタルカメラ６３は、上記の方法で取得した各画像を、そのＤＳＰ８４が発生する各クロック信号に応答して処理する。主制御装置５４がデジタルカメラ６３にポーリングする場合、ＤＳＰ８４が生成したＰＩＰは、主制御装置５４に送信されるだけである。
【００７２】
主制御装置５４がデジタルカメラ６３にポーリングする場合、フレーム同期パルスをデジタルカメラ６３に送信してＤＳＰ８４が生成したＰＩＰ送信を開始する。フレーム同期パルスを受信すると、各ＤＳＰ８４は、データバス上で主制御装置５４にＰＩＰを送信する。主制御装置５４に送信されたＰＩＰは、シリアルポート９６を介して受信され、ＤＳＰ９０の中に自動バッファされる。
【００７３】
ＤＳＰ９０がデジタルカメラ６３をポーリングしてポインタ情報を含むＰＩＰをそれぞれのデジタルカメラ６３からの受信したあと、ＤＳＰ９０は、三角測量法を用いてＰＩＰを処理して座標（ｘ、ｙ）にタッチ面６０を基準としたポインタ位置を決定する。具体的には、ペアのデジタルカメラ６３からのＰＩＰは、三角測量法を用いて処理される。
【００７４】
図１１は、２つの角度φcam1とφcam2がタッチスクリーン６０を基準としたポインタ位置（ｘ0、ｙ0）を三角測量するために必要なことを示す。各デジタルカメラ６３が生成するＰＩＰは、ポインタの中線または先端を識別する数θ（図１２参照）を含む。主制御装置５４がデジタルカメラ６３からのＰＩＰを受信すると、主制御装置は、中線またはポインタ先端およびデジタルカメラの視野を表す数を使用して次式を用いて角度φcamを算出する。
【００７５】
【数９】
ここで、
ｘは、中線またはポインタ先端を表す数、
ａは、カメラからの所望の距離のデジタルカメラの視野（ＦＯＶ： ｆｉｅｌｄ ｏｆ ｖｉｅｗ）が囲む全長。
【００７６】
算出角φcamは、ＰＩＰを生成したデジタルカメラ６３のタッチ面６０の指定された周辺エッジの向こうに延長した視野の端と、取得した画像内でポインタと交差するデジタルカメラの光軸から延長した直線との間で形成される角度と等しい。視野の端は、視野内のタッチ面６０の指定された周辺エッジ（すなわち、この場合ｘ軸）の向こうに、わかっている量だけ延長するのが好ましい。しかし、ほとんど全ての場合、各デジタルカメラ６３の角度オフセット走査は、異なるものであり未知である。
【００７７】
一旦、主制御装置５４が角度φcamを算出すると、主制御装置５４は、カメラオフセット較正中に決定されたオフセット角δcamを使用して角度φcamを調整する。利用できる２つの角度および調整された角度φcamを用いて、主制御装置５４は、角度φcamを使用し、三角測量法を用いてタッチ面６０を基準としたポインタ位置を決定する。
【００７８】
本実施例では、タッチスクリーン５２が４個のデジタルカメラ６３を含むので、６個のペアのデジタルカメラを三角測量に用いることができる。以下の説明は、ポインタ位置をデジタルカメラ６３の各ペアに対して三角測量によって、決定する方法について記述する。
【００７９】
タッチスクリーン５２の左側に沿ったデジタルカメラ６３から受信したＰＩＰを使用してポインタ位置を決定するには、次式を使用して上下のデジタルカメラの角度φ0、φ1が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８０】
【数１０】
ここで、
ｈは、タッチスクリーン５２の高さ、すなわち、２個のデジタルカメラの各焦点を合わせた垂直距離、
ｗは、タッチスクリーン５２の幅、すなわち、２個のデジタルカメラの各焦点を合わせた水平距離、
φiは、水平に対する角度で、デジタルカメラｉと式（０．７）を使用して測定される。
【００８１】
タッチスクリーン５２の右辺に沿ったデジタルカメラ６３については、次式を使用して上下のデジタルカメラの角度φ2、φ3が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８２】
【数１１】
式（０．８）と（０．１０）間の類似性、すなわち、式（０．８）の角φ1、φ2に角φ2、φ3をそれぞれ代入すると、式（０．１０）＝１−式（０．８）が得られることは明白であろう。同様に、式（０．９）と（０．１１）も関連性がある。
【００８３】
タッチスクリーン５２の最下段に沿ったデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左下と右下デジタルカメラの角度φ0、φ3が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８４】
【数１２】
タッチスクリーン５２の最上部に沿ったデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左上と右上のデジタルカメラ角度φ1、φ2が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８５】
【数１３】
式（０．１２）と（０．１４）間の類似性、すなわち、式（０．１４）＝式（０．１２）は、式（０．１２）の角φ0、φ3に角φ1、φ2をそれぞれ代入して得られたものであることは明らかであろう。式（０．１３）と（０．１５）は、次のような関係を有する、すなわち、式（０．１３）の角φ0、φ3に角φ1、φ2をそれぞれ代入すると、式（０．１５）＝１−式（０．１３）が得られる。
【００８６】
左下隅と右上隅を結ぶ対角線を横切るデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左下と右上のデジタルカメラの角度φ0、φ2が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８７】
【数１４】
右下と左上を結ぶ対角線を横切るデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左上と右下のデジタルカメラ角度φ1、φ3が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８８】
【数１５】
式（０．１６）と（０．１８）間の類似性、すなわち、式（０．１６）の角φ0、φ2に角φ1、φ3をそれぞれ代入すると式（０．１６）＝式（０．１８）が得られることは明白でであろう。式（０．１７）と（０．１９）は、次のような関係を有する、すなわち、式（０．１７）の角φ0、φ2に角φ1、φ3をそれぞれ代入すると式（０．１９）＝１−式（０．１７）が得られる。
【００８９】
上記の式が目盛り［０、１］上の座標（ｘ0、ｙ0）を生成するのは、当然であろう。したがって、最大値Ｘ、最大値Ｙをｘ0、ｙ0にそれぞれ乗じてどんな適切な座標目盛りを使用しても報告できる。
【００９０】
本実施例において、ＤＳＰ９０は、対角線ペアを除く各デジタルカメラペアの三角測量法を用いてポインタ位置を算出する。その後、その結果得られたポインタ位置を平均化し、その結果得られたポインタ位置座標をシリアルポート９８およびシリアルラインドライバ９４を介してパーソナルコンピュータ５６に送信するために待ち行列に入れる。
【００９１】
三角測量によって、わかるポインタ位置（ｘ、ｙ）と共に、表面検出較正中に算出される係数Ａ〜Ｅを使用して、位置（ｘ、ｙ）に対応するｚ座標を式（０．１）を用いて決定できる。ｚ座標を算出してＰＩＰ内のｚ座標をｚパラメータと比較することで、ポインタがタッチ面６０より上に浮上しているか、またはタッチ面と実際に接触しているかどうかに関する示度が得られる。
【００９２】
図１３に示すように、必要に応じて、ＤＳＰ９０は、ポインタ速度ｖと角度を算出する。ポインタ速度は、連続したＰＩＰのポインタ位置ｚ（またはｘ切片）の変化分を調べてカメラフレーム速度を知ることで算出される。例えば、カメラフレーム速度が２００フレーム／秒で位置ｚが１画素行／フレームで変化する場合、ポインタ速度は、２００画素／秒となる。
【００９３】
ポインタの角度は、ＰＩＰが中線の画素行０と１９でｘ切片を含むという事実により決定できる。ｘ方向の距離（ｘ切片間差分）とｙ方向の距離（画素行の数）がわかるので、ポインタ角度を算出するのに必要な全ての情報が得られたことになる。
【００９４】
ポインタがタッチ面６０のある距離の範囲内にある場合、効果的にポインタを「追跡する」のにカルマンフィルタ（本質的に帰納的最小二乗法）を必要に応じて使用できる。これを実行するにはシステム方程式やフィルタで使用されるモデルを定義する必要がある。主制御装置５４からポインタ位置ｚおよび速度ｖの両方を得ることができるので、次式を用いることができる。
【００９５】
ｚ＝ｚ0＋ｖｔ
ｖ＝ｖ
フィルタは、速度の処理法を知っていなければならず、また、ｚおよびｖの両方が測定可能なので上記の第２式が必要なる。状態ベクトルを次のように定義する。
【００９６】
［ｚｖ］T
２つの連続した時間ｎおよびｎ＋１でシステムの状態を関連させるために、行列差分方程式としてシステム式を次のように記述する。
【００９７】
【数１６】
または行列ノーテーションで、
【００９８】
【数１７】
ここで、ｄｔは連続した時間ステップ間の時間間隔を示す。また、ここで、「処理ノイズ」項をＲＨＳに導入する。それは単に公式であるが、カルマンフィルタ法の一部である。また、手順に測定値をどのように導入するかを指定することが必要である。これは、行列方程式によって、実行できる。
【００９９】
ｚn＝Ｈｘn＋ｗ
ここで、ｚnは、位置と速度の測定値で、Ｈは、恒等行列と考えられる「測定行列」、ｘnは、状態ベクトル、ｗは、測定ノイズである。本質的に、測定は、状態ベクトルの雑音が多いバージョンと仮定される。また、ｗに関連する共分散行列を定義することが必要である。ｚ内の測定誤差が０．５画素の場合には、共分散行列は次のようになる。
【０１００】
【数１８】
相似な行列Ｑが上で導入された処理ノイズに必要になるが、それは多少任意なので、それをフィルタの調整パラメータとみなしてもよい。この例では、行列Ｑは、一次係数項またはそれより小さい係数を乗じた恒等行列と考えられる。上記で確定した内容でフィルタ処理を開始する充分な情報が得られた。第１の（予測）ステップは、次のとおりである。
【０１０１】
【数１９】
ここで、（−）記号は、測定がまだなされていないことを意味し、一方（＋）記号は、すでに測定がなされたことを意味する（ただし、この場合、（＋）記号は、前のステップを意味する）。また、行列Ｐの行列方程式は、共分散行列を予測する。次のステップは、フィルタ利得計算である
【０１０２】
【数２０】
一旦、測定を実行すると、状態推定およびその共分散を更新できる。
【０１０３】
【数２１】
それは、タッチ面との接触が発生したか否かを判定するのに使用される状態ｘのこの推定である。行列ＨおよびＲは、共に時間に関し定数で、行列ＫおよびＰだけが変化する（実際、Ｐは一定の行列に漸近する）ことは、注意を要する。複雑な制御処理がないので付加的な簡略化が可能である。
【０１０４】
等速度でタッチ面６０に接近しているポインタを表す一連の測定値を使用してカルマンフィルタのＭａｔｌａｂ（行列計算用コンピュータ言語、以下Ｍａｔｌａｂとよぶ）シミュレーション結果を実行した。図１５および図１６は、時間ステップｄｔ＝０．１秒、および測定精度＝０．５画素、の場合のシミュレーションを例示する。白抜きの記号は、データを表し、線は、カルマンフィルタからの推定状態を表す。明らかに、状態推定は、非常によくデータに従っている。
【０１０５】
第２のＭａｔｌａｂシミュレーションをポインタの垂直（ｚ）および水平（ｘ）運動の両方を考慮に入れて実行した。基本的に、このシミュレーションは、「平行」形態で一緒に動作している２個の類似したカルマンフィルタである。その公式化は、考慮すべき変数の数が２倍になるという点を除いて、全く同一である。図１７ａ〜図１７ｄは、そのシミュレーションの結果を示し、等速度でゆっくりｘ位置を変えながら（すなわち人の手が固定していない）タッチ面６０の方向へ向かうポインタの移動を表す。
【０１０６】
タッチシステム５０を、タッチスクリーン上に画像を表示するプロジェクタを含むように説明したが、それが必ずしも必要でないことは当業者にとっては当然であろう。タッチスクリーン５２は、ディスプレイユニットに表示される表示がタッチスクリーンを通して見えるように、透明または半透明で、ディスプレイユニット上に設置される。また、タッチスクリーンは、フレームで縁付けされた矩形シート材である必要はない。実際、タッチスクリーンは、実質的に２個またはそれ以上のデジタルカメラの重複する視野内のどんな表面でもよい。
【０１０７】
また、タッチシステム５０をデジタルカメラから分離した主制御装置を含むように説明しているが、必要に応じて、デジタルカメラの１個をカメラと主制御装置の両方として機能させ、ＰＩＰ用の他のデジタルカメラにポーリングするように調整できる。この場合、主制御装置として機能するデジタルカメラは、残りのデジタルカメラよりも高速のＤＳＰ８４を含むのが好ましい。
【０１０８】
さらに、表面検出ルーチンは、タッチスクリーンを基準とした任意のポイント（ｘ、ｙ）のポインタのｚ座標を算出するのに式（０．１）で使用する係数Ａ〜Ｅを決定するように記述しているが、表面検出ルーチン中に、タッチ面の固有の（ｘ、ｙ）領域のｚ座標を算出し、ルックアップテーブル（ＬＵＴ： Ｌｏｏｋ ｕｐ ｔａｂｌｅ）内にｚ座標を格納するように主制御装置５４をプログラムすることもできる。この場合、ポインタがデジタルカメラで撮像した画像内に現れてタッチ面を基準としたポインタ位置（ｘ、ｙ）が決定されると、ポインタが位置する（ｘ、ｙ）領域に対応しているＬＵＴ内のｚ座標をポインタ先端が位置するＣＭＯＳカメライメージセンサおよびレンズアセンブリの画素行と比較することによって、ポインタがタッチ面と接触しているかどうかを判定できる。
【０１０９】
上記のように、主制御装置５４は、各デジタルカメラのタッチ面のｚ座標を算出、または検索し、そしてｚ座標をポインタ先端位置ｚと比較してポインタがタッチ面と実際に接触しているかどうかを判定する。しかし、デジタルカメラ内のＤＳＰ８４が、画像処理ソフトウェアを含み、ポインタがタッチ面と実際に接触しているかどうかを判定できることは当業者にとっては当然であろう。この画像処理は、主制御装置ポインタ接触決定と連動してまたはその代わりに予め形成できる。
【０１１０】
本発明の好適な実施例を説明したが、添付の特許請求の範囲に記載のその趣旨および範囲から逸脱することなく、変更および修正ができることは当業者にとっては当然であろう。
【図面の簡単な説明】
【図１】 本発明のカメラベースのタッチシステムの概略図である。
【図２】 図１のタッチシステムの一部を形成しているタッチスクリーンの等角図である。
【図３】 図２のタッチスクリーンのコーナー部分の等角図である。
【図４】 図２のタッチスクリーンの一部を形成しているデジタルカメラの概略図である。
【図５】 図１のタッチシステムの一部を形成している主制御装置の概略図である。
【図６】 プロセスフレームルーチンの実行中に実行されるステップを示しているフローチャートである。
【図７】 セグメントポインタルーチンの実行中に実行されるステップを示しているフローチャートである。
【図８】 ポインタ検出ルーチンの実行中に実行されるステップを示しているフローチャートである。
【図９】 デジタルカメラが取得する画像と処理される画像の画素サブセットを示す。
【図１０】 図９の画素サブセット内の関心ある領域（ＲＯＩ）を示す。
【図１１】 図２において、例示されるタッチスクリーンのタッチ面上のポインタ接触位置を算出するのに使用する三角測量の幾何学的配列を示す。
【図１２】 ポインタ先端とその中線を含むデジタルカメラにより取得された画像を示す。
【図１３】 ポインタの異なった方向のポインタ接触とポインタ浮上を示す。
【図１４】 デジタルカメラで見たタッチスクリーンのタッチ面の画像である。
【図１５】 カルマンフィルタを使用したポインタ追跡のＭａｔｌａｂシミュレーションの結果を示す。
【図１６】 カルマンフィルタを使用したポインタ追跡のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ａ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｂ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｃ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｄ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
（技術分野）
本発明は、一般にタッチシステムに関し、特にカメラベースのタッチシステムに関する。
【０００２】
（背景技術）
タッチシステムは、公知技術であり、ユーザ入力を生成するためにポインタを使用して接触がなされるタッチ面を有するタッチスクリーンを含むのが一般的である。タッチ面上のポインタ接触を検出して、接触がなされているタッチ面の領域に応じて、対応する出力を生成するのに使用される。基本的には利用可能な２種類の一般的なタッチシステムがあり、それらは、大別すると「アクティブ（ａｃｔｉｖｅ）」タッチシステムと「パッシブ（ｐａｓｓｉｖｅ）」タッチシステムに分類できる。
【０００３】
アクティブタッチシステムでは、ユーザは、ある形態のオンボード電源（通常はバッテリ）を通常必要とする特別なポインタで、タッチ面と接触してユーザ入力を生成する。その特別なポインタは、赤外光、可視光線、超音波周波数、電磁周波数等のようなタッチ面を励起する信号を放射する。
【０００４】
パッシブタッチシステムは、パッシブポインタがタッチ面と接触することによって、ユーザ入力を生成し、タッチ面を励起するのに特別なポインタを使用する必要がない。パッシブポインタは、指、ある素材の円筒状のもの、またはタッチ面上の予め定められた、ある関心ある領域と接触するのに使用するどんな適切な物体でもよい。
【０００５】
タッチ面に接触するのに、ユーザの指を含むどんな適切なポインティングデバイスでもポインタとして使用可能な点で、パッシブタッチシステムは、アクティブタッチシステムよりも利点がある。その結果、ユーザ入力が容易に生成可能となる。また、パッシブタッチシステムでは特別なアクティブポインタを必要としないので、ユーザは、バッテリ電力レベルおよび／またはポインタ損傷、盗難、またはポインタの置き間違いを心配しなくてすむ。
【０００６】
パッシブタッチシステムは、コンピュータ操作およびビデオディスプレイに関連した多くのアプリケーションがある。例えば、１つの対話型アプリケーションにおいて、本発明の譲受人に譲渡されたマーティン（Ｍａｒｔｉｎ）の米国特許第５、４４８、２６３号に開示されているように、パッシブタッチシステムは、コンピュータと結合し、コンピュータディスプレイがタッチスクリーンのタッチ面に表示される。特定の位置を表示しているタッチ面上の座標が、コンピュータディスプレイにマップされる。ユーザがタッチ面と接触すると、接触位置の座標がコンピュータにフィードバックされてコンピュータディスプレイにマップされるので、その結果、ユーザは、単にタッチ面と接触することでコンピュータマウスを使用するのと同様にコンピュータを操作できる。さらに、コンピュータにフィードバックされた座標は、アプリケーションに記憶でき、あとで、再表示可能である。一般的に、接触座標の記憶は、ユーザがタッチ面に書き込みまたは描画した情報を記憶する必要があるときに実行される。
【０００７】
パッシブタッチスクリーンの解像度は、タッチシステムが、タッチスクリーン上に書き込みまたは描画される記録情報に適しているか、またはコンピュータまたはビデオディスプレイを操作するのに、コンピュータまたはビデオディスプレイの領域にマップされるタッチスクリーンの領域を選択するのに役に立つかどうかだけかで決定される。解像度は、一般的にドット／インチ（ＤＰＩ： ｄｏｔｓ ｐｅｒ ｉｎｃｈ）で測定される。ＤＰＩは、タッチスクリーンの大きさ、およびタッチ面上の接触を検出するのに使用するタッチシステムのハードウェアおよびソフトウェアのサンプリング能力に関連する。
【０００８】
低解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイが表示する画素の大きなグループ内のタッチ面上の接触を検出するのに足るＤＰＩを有するだけでよい。したがって、これらの低解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイを処理する用途にのみ有効である。
【０００９】
一方、高解像度のパッシブタッチスクリーンは、コンピュータまたはビデオディスプレイの少数の画素またはサブピクセルに比例する接触を検出するのに充分なＤＰＩを有している。しかし、高解像度タッチスクリーンに対する要求条件は、ポインタがタッチ面と接触した時の検出能力である。この能力は、書き込み、描画、マウス−クリック操作等に必要である。もしタッチスクリーンとのポインタ接触を検出する能力がないとしたら、書込みおよび描画は、１つの連続操作となり、マウスクリックができなくなり、そのため実質的にコンピュータディスプレイの操作は不可能になる。第２の要求条件は、ポインタがタッチ面上に「浮上している」ときに、検出する能力である。書き込みまたは描画には必要ないが、今日のコンピュータオペレーティングシステムが、コンピュータまたはビデオディスプレイ、またはポップアップ情報ボックスを操作するのに浮上情報を使用する用途がますます増えている。
【００１０】
パッシブタッチスクリーンは、一般的にアナログ電気抵抗タイプ、表面弾性波（ＳＡＷ： ｓｕｒｆａｃｅ ａｃｏｕｓｔｉｃ ｗａｖｅ）タイプ、または容量性タイプのいずれかである。残念なことに、これらのタッチスクリーンは、後述するように多くの問題や短所を欠点として持っている。
【００１１】
アナログ電気抵抗タッチスクリーンは、一般的に高解像度を有している。タッチシステムの複雑さによるが、タッチスクリーンの解像度としては、４０９６×４０９６ ＤＰＩ、またはそれ以上を発生可能である。アナログ電気抵抗タッチスクリーンは、抵抗材料を塗布し、サンドイッチのように配置した２枚のフレキシブルシートを使用して構成される。接触が発生するまではシートは互いに接触しない。２枚のシートは、一般的に絶縁性マイクロドットまたは絶縁空気層で分離される。シートは、大半、透明なＩＴＯ（Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）から構成される。したがって、タッチスクリーンは、若干の画像歪みをもたらすが、視差はほとんど生じない。
【００１２】
アナログ電気抵抗パッシブタッチスクリーンの操作中には、均一な電圧勾配が第１のシートに沿った一方向へ印加される。タッチ面上に接触した結果、２枚のシートが互に接触するときに、第２シートは、第１のシートに沿った電圧を測定する。第１のシートの電圧勾配を第１のシートに沿った距離に変換できるので、測定電圧は、タッチ面上の接触の位置と比例している。第１のシート上の接触座標が取得されると、その後、均一な電圧勾配が第２シートに印加され、第１のシートが第２シートに沿った電圧を測定する。第２シートの電圧勾配は、第２シートに沿った距離に比例している。この２個の接触座標は、デカルト座標系のタッチ面上の接触位置Ｘ−Ｙを表示する。
【００１３】
残念なことに、両方のシートを接触させるには機械的圧力が必要になるので、２枚のシートを共に接触させるのに充分な圧力が加えられたときだけアナログ電気抵抗タッチスクリーンは、接触を検出できる。アナログ電気抵抗パッシブタッチスクリーンは、また、ポインタがタッチ面上に浮上しているときには感知することができない。したがって、アナログ電気抵抗タッチスクリーンの場合、実際の接触がタッチ面に発生したときに、接触したという事象および位置が検出されるだけである。
【００１４】
表面弾性波（ＳＡＷ）タッチスクリーンでは、一般的に中間的な解像度を得られるが、良い書き込み品質を記憶するには適切でない。ＳＡＷタッチスクリーンは、ガラスを振動させてガラス表面上に波紋を起こす音波を発生するので、ガラス表面の縁上に変換器が使用される。ガラス表面に接触が発生すると音波が反射して戻り、接触位置が反射された音波のシグネチャー（ｓｉｇｎａｔｕｒｅ）から決定される。
【００１５】
残念なことに、ＳＡＷタッチスクリーンは、ビデオまたはコンピュータディスプレイの表面に配置される振動ガラスの厚みにより顕著な視差を示す。また、実際にガラス表面と接触したとき、接触したという事象および位置が検出されるだけである。さらに、ＳＡＷタッチスクリーンは、対角線で２、３フィートを越える大きさには拡大できない。
【００１６】
大面積（およそ１／２インチ×１／２インチ）の接触を決定するだけなので、容量性のタッチスクリーンは、低解像度である。したがって、容量性タッチスクリーンは、書き込みまたは描画を記憶するには使用できないが、ビデオまたはコンピュータディスプレイに表示されるコンピュータ生成ボタンに対応した、タッチスクリーン上の領域を選択するには適している。容量性のタッチスクリーンもまたそれらが温度や湿度に影響されやすいという不利な欠点を持っている。アナログ電気抵抗タッチスクリーンおよびＳＡＷタッチスクリーンと同様に、容量性タッチスクリーンは、また、実際の接触がタッチ面に発生したとき、接触したという事象および位置を検出できるだけである。
【００１７】
より大規模な電子デジタイザの要求が増大しているので、パッシブタッチスクリーンの拡張性は、重要である。デジタイザは、かつては小さいデスクトップ機器に応用されていたが、今日では、電子ホワイトボードへのアプリケーションに発展してきた。新規なタッチスクリーンアプリケーションへの要求条件として、パッシブタッチに敏感な「壁」を造る必要性が生じてきた。上記に説明したタイプの既存のパッシブタッチスクリーンは、それらがまだ機能できる最大サイズという点で全てが制限されている。
【００１８】
パッシブタッチシステムに対する改良が望まれているのは当然である。したがって、本発明の目的は、新規なカメラベースのタッチシステムを提供することにある。
【００１９】
（発明の開示）
本発明の一態様によれば、
パッシブタッチ面に関連付けられ、前記タッチ面を包含する重複した視野を有する少なくとも２個のカメラであって、異なった位置から前記タッチ面の画像を取得して画像データを生成する前記少なくとも２個のカメラと、
前記少なくとも２個のカメラが生成した画像データを受信して処理し、ポインタが前記少なくとも２個のカメラで取得した画像内に撮像された場合、前記タッチ面を基準とした前記ポインタ位置を決定するプロセッサとを、
備えるカメラベースのタッチシステムを提供する。
【００２０】
少なくとも２個のカメラは、通常、タッチ面の平面に沿って見通す視野を有するデジタルカメラであるのが好ましい。各デジタルカメラが生成する画像データは、ポインタ中線ｘおよびポインタ先端位置ｚを含む。それぞれのデジタルカメラは、選択可能な画素行を有する画素配列を含む。選択可能な画素行内の画素の画素輝度は、画像データの生成中に使用される。選択可能な画素行内の関心ある領域の画素の画素輝度は、画像データの生成中に使用されるのが好ましい。
【００２１】
好適な実施例において、それぞれのデジタルカメラは、ＣＭＯＳカメライメージセンサおよびデジタル信号プロセッサを含む。デジタル信号プロセッサは、ＣＭＯＳカメライメージセンサからの画像出力を受信して、ポインタがデジタルカメラにより取得された各画像内にあるかどうかを判定し、もしあった場合にはポインタの中線ｘがあるかどうかを判定するポインタ検出ルーチンを実行する。また、各画像が取得されたあと、各デジタルカメラのデジタル信号プロセッサは、背景画像更新ルーチンを実行して背景画像を更新するのが好ましい。各デジタルカメラのデジタル信号プロセッサは、さらに、各取得した画像および背景画像の差分を判定して光条件の変化を検出するのが好ましい。
【００２２】
本発明の別の態様では、
ポインタを使用して接触する略矩形のパッシブタッチ面と、
前記タッチ面の各コーナーに隣接して取り付けられたデジタルカメラであって、前記タッチ面を包含する重複した視野を有し、前記ポインタが前記デジタルカメラで取得した画像内に撮像された場合、前記タッチ面の画像を取得してポインタ中線ｘおよびポインタ先端位置ｚを含む画像データを生成する前記デジタルカメラと、
前記デジタルカメラが生成した画像データを受信して処理し、前記タッチ面を基準とした前記ポインタ位置を決定し、前記ポインタが前記タッチ面と接触しているかどうかを判定するプロセッサとを、
備えるカメラベースのタッチシステムを提供する。
【００２３】
さらに、本発明のこの態様では、
重複した視野を有して画像データを生成するカメラを使用して異なった位置からタッチ面の画像を取得するステップと、
前記取得した画像内のポインタの存在を検出して前記タッチ面を基準とした前記ポインタの位置を決定するのに前記画像データを処理するステップと、
からなるタッチ面を基準としたポインタ位置を検出する方法を提供する。
【００２４】
本発明は、このパッシブタッチシステムが高解像度であり、ポインタがタッチ面に実際に接触していても、ポインタがタッチ面上に浮上していても検出可能で、対応する出力を生成するという利点を提供する。また、本パッシブタッチシステムは、従来技術のパッシブタッチシステムが持っていた視差、画像歪み、ポインタ位置の制約、画像射影、およびスケーラビリティの問題を欠点として持たないという利点を提供する。
【００２５】
さらに、本発明は、ＣＭＯＳデジタルカメラを使用するので、デジタルカメラの画素配列の任意の画素行を選択できる利点がある。これで、デジタルカメラのフレーム速度を著しく向上できる。また、画素行を任意に選択できるので、画素配列を所与のデジタルカメラのフレーム速度より長い時間露光でき、明るい部屋だけでなく暗い部屋でも十分な操作性を得ることができる。
【００２６】
（発明を実施するための最良の形態）
さてここで、参照番号５０で全般的に識別される本発明のカメラベースのタッチシステムを示す図１に戻る。理解できるように、タッチシステム５０は、デジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）ベースの主制御装置５４に結合するタッチスクリーン５２を含む。主制御装置５４は、またコンピュータ５６に結合する。コンピュータ５６は、１つまたはそれ以上のアプリケーションプログラムを実行し、プロジェクタ５８を介してタッチスクリーン５２に表示する表示出力を出力する。タッチスクリーン５２、主制御装置５４、コンピュータ５６、およびプロジェクタ５８は、閉ループを形成し、タッチスクリーン５２とのユーザ接触を書き込みまたは描画として記憶し、またはコンピュータ５６が実行するアプリケーションプログラムの実行を制御する。
【００２７】
図２〜４にタッチスクリーン５２をより適切に例示する。タッチスクリーン５２は、矩形のフレーム６２で縁付けされたタッチ面６０を含む。タッチ面６０は、パッシブ素材の矩形の平面シート形状をしている。ＤＳＰベースのＣＭＯＳデジタルカメラ６３は、タッチスクリーン５２の各コーナーに関連付けられる。各デジタルカメラ６３をフレームアセンブリ６４に取り付ける。各フレームアセンブリ６４は、デジタルカメラ６３が取り付けられた角度のついたサポート板６６を含む。フレームサポートエレメント７０および７２を、ポスト７４を介してプレート６６に取り付け、プレート６６をフレーム６２に固定する。
【００２８】
各デジタルカメラ６３は、二次元ＣＭＯＳカメライメージセンサおよび関連するレンズアセンブリ８０、データバスでＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に結合した先入れ先出し方式（ＦＩＦＯ： ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）バッファ８２、およびデータバスでＦＩＦＯ８２に、制御バスでＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に結合したデジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）８４を含む。ブートＥＰＲＯＭ８６および電源サブシステム８８も、また、含まれる。
【００２９】
本実施例において、ＣＭＯＳカメラのイメージセンサは、２０×６４０画素サブアレイの任意の画素行を選択できるので、２００フレーム／秒を上回る速度で画像フレームを撮像するように動作可能なフォトビット（Ｐｈｏｔｏｂｉｔ）ＰＢ３００イメージセンサを配置する。また、画素行を任意に選択できるので、画素サブ配列を所与のデジタルカメラのフレーム速度より長い時間露光でき明るい部屋だけでなく暗い部屋でも十分な操作性を得ることができる。ＦＩＦＯバッファ８２は、サイプレス社（Ｃｙｐｒｅｓｓ）が製造する製品番号ＣＹ７Ｃ４２１１Ｖ、ＤＳＰ８４は、アナログデバイセズ社（Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ）が製造する部品番号ＡＤＳＰ２１８５Ｍである。
【００３０】
ＤＳＰ８４は、制御バスを介してＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０に制御情報を提供する。制御情報によって、ＤＳＰ８４は、露出、利得、配列構成、リセット、および初期化のようなＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０のパラメータを制御できる。ＤＳＰ８４は、また、ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０にクロック信号を出力し、ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０のフレーム速度を制御する。
【００３１】
図１１に示すように、各デジタルカメラ６３の視野（ＦＯＶ： ｆｉｅｌｄ ｏｆ ｖｉｅｗ）がタッチ面６０の指定された周辺エッジの向こうに延びるように、プレート６６の角度を選択する。これで、タッチ面６０は、全て、デジタルカメラ６３の視野内にはいる。
【００３２】
図５に最も適切に例示する主制御装置５４は、ＤＳＰ９０、ブートＥＰＲＯＭ９２、シリアルラインドライバ９４、および電源サブシステム９５を含む。ＤＳＰ９０は、シリアルポート９６を介してデータバス上でデジタルカメラ６３のＤＳＰ８４と通信し、シリアルポート９８およびシリアルラインドライバ９４を介してデータバス上でコンピュータ５６と通信する。本実施例では、ＤＳＰ９０は、また、アナログデバイセズが製造する製品番号ＡＤＳＰ２１８５Ｍである。シリアルラインドライバ９４は、アナログデバイセズ社が製造する製品番号ＡＤＭ２２２である。
【００３３】
主制御装置５４および各デジタルカメラ６３は、ユニバーサルシリアルバス（ＵＳＢ： ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）と同様な共通シリアルケーブルを介して双方向通信を可能にする通信プロトコルに従う。伝送帯域は、１６ビット３２チャネルに分割される。３２チャネル中、６チャネルは、デジタルカメラ６３のそれぞれのＤＳＰ８４に、および主制御装置５４のＤＳＰ９０に割り当てられ、残りの２チャネルは未使用である。主制御装置５４は、ＤＳＰ８４に割り当てられた２４チャネルをモニターし、一方、ＤＳＰ８４は、主制御装置５４のＤＳＰ９０に割り当てられた６チャネルをモニターする。主制御装置５４とデジタルカメラ６３間の通信は、割り込みに応答したバックグラウンドプロセスとして実行される。
【００３４】
以下、タッチシステム５０の一般的な操作について説明する。各デジタルカメラ６３は、所望のフレーム速度でそのＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０の視野内のタッチ面６０の画像を取得し、その取得した各画像を処理してポインタが取得した画像内にあるかどうかを判定する。ポインタが取得した画像内にある場合、タッチ面６０と接触、またはその上に浮上しているポインタの特性を判定するのに、さらに、その画像を処理する。その後、デジタルカメラ６３は、ポインタ特性を含むポインタ情報パケット（ＰＩＰ： Ｐｏｉｎｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｐａｃｋｅｔｓ）、ステータスおよび／または診断情報を生成し、ＰＩＰは、主制御装置５４に送信するのに待ち行列に入れられる。デジタルカメラ６３は、また、主制御装置５４が生成するコマンドＰＩＰを受信して応答する。
【００３５】
主制御装置５４は、ＰＩＰについてデジタルカメラ６３にポーリングする。ＰＩＰがポインタ特性情報を含む場合、主制御装置５４は、ＰＩＰのポインタ特性を三角測量してデカルト直交座標のタッチ面６０を基準としたポインタ位置を決定する。主制御装置５４は、算出ポインタ位置情報、ステータスおよび／または診断情報をパーソナルコンピュータ５６に順番に送信する。このように、パーソナルコンピュータ５６に送信されたポインタ位置情報は、書き込みまたは描画として記憶でき、またはコンピュータ５６が実行するアプリケーションプログラムの制御実行に使用できる。タッチ面６０に示される情報がポインタアクティビティを反映するように、コンピュータ５６は、また、プロジェクタ５８へ伝送される表示出力を更新する。
【００３６】
主制御装置５４は、また、コマンドＰＩＰを生成してデジタルカメラ６３へ伝達するだけでなく、パーソナルコンピュータ５６からのコマンドを受信してそれに応じて応答する。
【００３７】
次に、取得した画像の処理およびＰＩＰ中のポインタ特性の三角測量法に関する詳細を、特に図６〜図８を参照して説明する。
【００３８】
まず、タッチ面６０を基準としたポインタの接触または浮上位置を正確に決定できるように、カメラオフセット角較正ルーチンを実行して各デジタルカメラ６３のオフセット角δを決定する（図１１参照）。カメラオフセット角較正の詳細は、「三角測量フィールドを利用した対象物の位置決定を容易にするカメラのオフセット較正（Ｃａｌｉｂｒａｔｉｎｇ Ｃａｍｅｒａ Ｏｆｆｓｅｔｓ ｔｏ Ｆａｃｉｌｉｔａｔｅ Ｏｂｊｅｃｔ Ｐｏｓｉｔｉｏｎ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ｔｒｉａｎｇｕｌａｔｉｏｎ ｆｉｅｌｄ）」という発明の名称で２００１年６月１日、本出願人が出願中の米国出願に記載されているが、その要旨を本願明細書に参考として引用している。
【００３９】
カメラオフセット角較正ルーチンに続いて、表面検出ルーチンを実行して、ポインタが所与のポイントでタッチ面６０と接触しているか、またはタッチ面上に浮上しているかどうかについての判定をより確実なものにする。
【００４０】
カメラオフセット角較正から正確に知ることができるタッチ面６０の面内のポインタの直交座標によって、各デジタルカメラ６３が見通すタッチ面６０の方向を決定できる。これは、デジタルカメラがタッチ面６０の面に沿ってだけではなく、それに対して垂直な方向もまた見るという事実のために必要である。いくぶん、各デジタルカメラ６３は、タッチ面６０を下方に見下ろす。図１４は、通常デジタルカメラ６３が見たタッチ面６０の形状を示す。このため、直交座標（ｘ、ｙ）の関数としてタッチ面の位置を記述する「垂直」座標ｚを定めるのが望ましい。
【００４１】
ポインタのｚ座標は、デジタルカメラ画像から測定でき、それで、タッチ面６０上のポインタ位置のｚ座標を決定できる。この垂直方向の較正とは、ｚ座標データを所与の直交座標（ｘ、ｙ）に適合させる事である。垂直方向の較正は、一般式として次のように記述できる。
【００４２】
ｚ（ｘ、ｙ）＝Ａｘ＋Ｂｙ＋Ｃｘ2＋Ｄｙ2＋Ｅｘｙ＋Ｆ （０．１）
係数Ｃ、Ｄ、およびＥがゼロの場合、これは平面になる。式（０．１）は、線形最小二乗問題を記述しているので、最適値を容易に計算できる。該当する行列は、次の形式をとる。
【００４３】
【数３】
【００４４】
行列は、常に次のように分解できるのは当然である。
【００４５】
Ａ＝ＵＳＶT （０．２）
行列Ａは、どんな形式も可能である。行列ＵおよびＶは直交行列で、次式を意味する。
【００４６】
ＵTＵ＝Ｉ＝ＶTＶ
対角行列Ｓは、完全に、行列Ａの固有値の二乗と関連する行列Ａの特異値からなる。その特異値分解（ＳＶＤ）の重要性は、行列Ａの逆行列は、常に計算できるという事実とともにある。さらに、不完全に決定された問題に遭遇した場合、この逆を制御することは可能である。次の線形方程式の系を考慮する。
【００４７】
【数４】
【００４８】
【数５】
【００４９】
Ａ-1＝ＶＳ-1ＵT （０．３）
何故なら、両行列ＵとＶは、直交するからである。不完全に決定された状況においては、特異値のいくつかは、非常に小さいが、その結果、行列Ｓ-1が形成されると、望ましくない大きい値が発生する。この場合、最も小さい特異値の逆数をゼロに設定する。これは、不完全に決定された解の一部を無視する効果を持つ。最小２乗問題にとって、これは、強力な武器である。最小２乗問題の通常の正規方程式法は、次式を解くことである。
【００５０】
【数６】
【００５１】
【数７】
【００５２】
【数８】
【００５３】
既知の係数Ａ〜Ｅを用いて、タッチ面上のどんな任意のポイント（ｘ、ｙ）についてもｚ座標が算出でき、したがって、ポインタがタッチ面６０と接触しているか、またはその上に浮上しているかどうかについての判定が可能になる。
【００５４】
較正されたタッチシステム５０では、各デジタルカメラ６３は、操作中にその視野内のタッチ面６０の画像を取得する。ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０は、ＤＳＰ８４から受信したクロック信号に応答した、ある間隔で画像を取得する。ＣＭＯＳカメライメージセンサおよびレンズアセンブリ８０が取得した各画像は、ＦＩＦＯバッファ８２に送信される。ＤＳＰ８４は、ＦＩＦＯバッファ８２からの各画像を順番に読み込んで画像を処理する。有益な情報を含まない多数の画素数の処理を避けるために、図９に示すように、取得した画像の画素のサブセットだけを処理する。
【００５５】
デジタルカメラ６３が取得した画像を処理する間に、ＤＳＰ８４は、図６で示すプロセスフレームルーチンを実行する。画像が処理可能な場合（ステップ１２０）、デジタルカメラ６３を調整するのに、画像を撮像したかどうかをチェックして判定する（ステップ１２２）。画像が露出調整の目的で取得された場合、ｅｘｐｏｓｕｒｅＣｏｎｔｒｏｌ（露出調整）ルーチンをデジタルカメラ６３の露出を調整するのに呼び出す（ステップ１２４）。これに続いて、ＤＳＰ８４は処理可能な次の画像の受信を待ち受ける。
【００５６】
ステップ１２２で、画像がデジタルカメラ６３の露出を調整するのに撮像されていなかった場合、画像が背景画像を交換するために撮像されていたかどうかをチェックして判定する（ステップ１２６）。画像を背景画像の交換の目的で取得していた場合、ｃａｐｔｕｒｅＢａｃｋｇｒｏｕｎｄ（背景画像取得）ルーチンを呼び出して（ステップ１２８）、取得した画像を背景画像として使用する。これは、デジタルカメラが画像を取得してポインタが画像内にあることを示すＰＩＰを主制御装置に送信したが、それが実際にはノイズであった場合に実行される。効果的に背景画像を交換することで、デジタルカメラにそれ以後のＰＩＰ中のポインタを誤って識別させないようにする。これに続いて、ＤＳＰ８４は、処理可能な次の画像の受信を待ち受ける。
【００５７】
ステップ１２６において、画像を背景画像交換の目的で撮像していなかった場合、ＤＳＰ８４は、ｃｏｐｙＩＣｕｒ（現在画像コピー）ルーチンを呼び出す（ステップ１３０）。このルーチン中に現在取得した画像は、メモリーにコピーされ、現在取得した画像と背景画像間の差分を表す差分画像を形成するだけでなく背景画像を更新するのにも使用される。ｃｏｐｙＩＣｕｒルーチン完了後、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒ（セグメントポインタ）ルーチンを呼び出し、ポインタが取得した画像内にあるかどうかを判定し、もしあった場合には、タッチ面６０を基準としたポインタ位置、およびポインタがタッチ面６０と接触しているか、またはその上に浮上しているかについて判定する（ステップ１３２）。ＳｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２は、また、光条件の変化を検出可能にする。ＳｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２に続いて、ＤＳＰ８４は、ｆｉｌｌＰＩＰ（ＰＩＰ情報設定）ルーチンを呼び出し（ステップ１３４）、主制御装置５４へ送信するＰＩＰにポインタおよび光条件情報を設定する。その後、ＤＳＰ８４は、処理可能な次の画像の受信を待ち受ける。
【００５８】
図７は、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２の実行中にＤＳＰ８４が実行するステップを例示する。理解できるように、ＤＳＰ８４がｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチンを実行すると、ＤＳＰ８４は、ｆｉｎｄＰｏｉｎｔｅｒ（ポインタ検出）ルーチンを呼び出してポインタが取得した画像内にあるかどうかを判定し、もしあった場合には、現在取得した画像内のポインタ位置を判定する（ステップ１４０）。ＦｉｎｄＰｏｉｎｔｅｒルーチン１４０が完了するとすぐに、ＤＳＰ８４は、ｕｐｄａｔｅＢａｃｋｇｒｏｕｎｄ（背景画像更新）ルーチンを呼び出して、それで背景画像を更新して照明条件の変化を処理する（ステップ１４２）。
【００５９】
ＵｐｄａｔｅＢａｃｋｇｒｏｕｎｄルーチンの実行中に、ＤＳＰ８４は、次式を使用して背景画像を連続的に更新する。
【００６０】
Ｂn+1（ｉ、ｊ）＝（１−ａ）Ｂn（ｉ、ｊ）＋ａＩ（ｉ、ｊ）
ここで、
Ｂn+1は、新規な背景画像、
Ｂnは、現在の背景画像、
Ｉは、現在取得した画像、
ｉ、ｊは、更新された背景画像画素の行および列の座標、
ａは、現在取得した画像Ｉから得られるべき学習段階を示す０〜１の数である。ａの値が大きければ大きいほど、背景画像はより速く更新される。
【００６１】
ＵｐｄａｔｅＢａｃｋｇｒｏｕｎｄルーチン１４２が実行されると、ＤＳＰ８４は、現在取得した画像と背景画像間の輝度の差分を算出する。この情報を主制御装置５４に送信して主制御装置にデジタルカメラ６３が再度露出される必要があるかどうかを判定させる。照明条件の急激な変化が発生した場合（すなわち周囲の照明がオン、オフされた）、これが必要になるであろう。デジタルカメラ６３の再露出が必要な場合、主制御装置５４は、デジタルカメラ６３にコマンドＰＩＰを送信して露出調整のために画像を取得するようにデジタルカメラに指示する。
【００６２】
図８は、ｆｉｎｄＰｏｉｎｔｅｒルーチン１４０の実行中にＤＳＰ８４が実行するステップを例示する。理解できるように、ＤＳＰ８４がｆｉｎｄＰｏｉｎｔｅｒルーチン１４０を実行する場合、ＤＳＰ８４は、ポインタ位置とポインタ先端パラメータ、ｘとｚを丁寧にクリアする（ステップ１５０）。その後、垂直輝度ヒストグラムを作成する（ステップ１５２）。この段階中に現在の画像と背景画像間の差分を表している差分画像が形成され、差分画像内の画素輝度を列ごとに合計する。このように、６４０×２０の差分画像内の各列の和を表す６４０×１のベクトルが形成される。したがって、６４０×１のベクトル内の第１のエレメントは、６４０×２０の差分画像の第１の列内の２０の画素の和を表し、６４０×１のベクトル内の第２のエレメントは、６４０×２０の差分画像の第２列内の２０の画素の和を表し、以下同様である。さらに、この処理の詳細は、Ｖ．チェン、その他（Ｖ．Ｃｈｅｎｇ ｅｔ ａｌ）により著され、２０００年７月出版の写真−光学計測技術者協会ジャーナル オブ エレクトロニック イメージング（ＳＰＩＥ Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ）の中の「高性能カメラの応用： ＤＳＰベースの人体検出と追跡（Ａ ｓｍａｒｔ ｃａｍｅｒａ ａｐｐｌｉｃａｔｉｏｎ： ＤＳＰ−ｂａｓｅｄ ｐｅｏｐｌｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ）」という題名の論文に記載されている。
【００６３】
ステップ１５２の垂直輝度ヒストグラムの作成に続き、ポインタ位置パラメータｘを、垂直輝度ヒストグラム内で、ノイズ閾値（ステップ１５４）より高い、最も高い輝度を有する列を検出して決定する。この列を垂直輝度ヒストグラムが作成したピーク基準と等しい、関心ある領域（ＲＯＩ： ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の幅として処理されるＲＯＩの中心として使用する（図１０参照）。どの列もノイズ閾値より高い輝度を持たない場合、ポインタは、取得した画像内に存在しないと推定される。
【００６４】
ポインタ位置パラメータｘを決定する場合、ＤＳＰ８４は、ポインタ先端が位置する画素行を判定し、ＲＯＩを分析してその行がタッチ面接触または浮上を表すかどうか判定する（ステップ１５６）。具体的には、ＤＳＰ８４は、図１２に示すように、白色画素がポインタを表し、黒色画素が背景を表すようにＲＯＩ内にバイナリマスクを生成する。マスクから、ポインタ中線とポインタ先端位置ｚを容易に算出できる。
【００６５】
ｆｉｌｌＰＩＰルーチン１３４中に、ＤＳＰ８４は、ｓｅｇｍｅｎｔＰｏｉｎｔｅｒルーチン１３２の実行中に取得したポインタと光条件情報を使用してＰＩＰを生成し、それで取得した画像を小さいデータセットに縮小して帯域幅の効率性を向上させる。ＰＩＰは、パケット内の各ワードが１６ビットからなる６個のワードパケット形式である。ＰＩＰは、一般的に次の形式をとる。
【００６６】
【表１】
【００６７】
ＰＩＰのデータ部分は、一般的に６４ビットで、ポインタＩＤフィールド、ポインタ位置パラメーターフィールド、ポインタ先端パラメーターフィールド、接触状態フィールド、ポインタの良好性フィールドを含む。ポインタＩＤフィールドは、ポインタの識別子を格納して複数のポインタを追跡可能にする。ポインタ位置パラメーターフィールドは、ＤＳＰ８４が算出するｘ値を格納する。ポインタ先端パラメーターフィールドは、ＤＳＰ８４が算出するｚ値を格納する。接触状態フィールドは、ポインタがタッチ面６０と接触、非接触、または多分接触しているという状態を示す値を格納する。ポインタの良好性フィールドは、検出されたポインタの実物の可能性に関する統計値を格納する。
【００６８】
ＰＩＰのチェックサム部分は、ＰＩＰ送信の完全性を保証するのに使用される。ＰＩＰチェックサムエラーがまれな場合、チェックサムエラーを示すＰＩＰは、宛て先のデバイスにより無視される。
【００６９】
ポインタ情報に関連がないステータスＰＩＰは、説明した上記識別されたＰＩＰとは違った形式を持つ。この性質のＰＩＰについては、データ部分は、命令タイプフィールド、命令コードフィールド、およびデータフィールドを含む。命令タイプフィールドは、命令タイプが実行すべき命令か、またはステータス要求であるかどうか識別する。命令コードフィールドは、実効命令またはステータス要求識別子を格納する。データフィールドは、命令のタイプによって、変化するデータを格納する。ステータスＰＩＰの例は、フレームヘッダＰＩＰ、コマンドＰＩＰ、およびエラーメッセージＰＩＰを含む。
【００７０】
フレームヘッダＰＩＰは、現在取得した画像と前の画像間の輝度分散のような、現在の画像の統計量を有する現在取得した画像にそったポインタＰＩＰ数値を含むのが一般的である。主制御装置５４発行のコマンドＰＩＰは、デジタルカメラに指示して露出のような１つまたはそれ以上の設定を調整するか、または新規の背景画像として使用する画像を撮像してもよい。エラーＰＩＰは、デジタルカメラ６３から主制御装置５４にエラー条件を送信してエラーログに格納してもよい。
【００７１】
各デジタルカメラ６３は、上記の方法で取得した各画像を、そのＤＳＰ８４が発生する各クロック信号に応答して処理する。主制御装置５４がデジタルカメラ６３にポーリングする場合、ＤＳＰ８４が生成したＰＩＰは、主制御装置５４に送信されるだけである。
【００７２】
主制御装置５４がデジタルカメラ６３にポーリングする場合、フレーム同期パルスをデジタルカメラ６３に送信してＤＳＰ８４が生成したＰＩＰ送信を開始する。フレーム同期パルスを受信すると、各ＤＳＰ８４は、データバス上で主制御装置５４にＰＩＰを送信する。主制御装置５４に送信されたＰＩＰは、シリアルポート９６を介して受信され、ＤＳＰ９０の中に自動バッファされる。
【００７３】
ＤＳＰ９０がデジタルカメラ６３をポーリングしてポインタ情報を含むＰＩＰをそれぞれのデジタルカメラ６３からの受信したあと、ＤＳＰ９０は、三角測量法を用いてＰＩＰを処理して座標（ｘ、ｙ）にタッチ面６０を基準としたポインタ位置を決定する。具体的には、ペアのデジタルカメラ６３からのＰＩＰは、三角測量法を用いて処理される。
【００７４】
図１１は、２つの角度φcam1とφcam2がタッチスクリーン６０を基準としたポインタ位置（ｘ0、ｙ0）を三角測量するために必要なことを示す。各デジタルカメラ６３が生成するＰＩＰは、ポインタの中線または先端を識別する数θ（図１２参照）を含む。主制御装置５４がデジタルカメラ６３からのＰＩＰを受信すると、主制御装置は、中線またはポインタ先端およびデジタルカメラの視野を表す数を使用して次式を用いて角度φcamを算出する。
【００７５】
【数９】
ｘは、中線またはポインタ先端を表す数、
ａは、カメラからの所望の距離のデジタルカメラの視野（ＦＯＶ： ｆｉｅｌｄ ｏｆ ｖｉｅｗ）が囲む全長。
【００７６】
算出角φcamは、ＰＩＰを生成したデジタルカメラ６３のタッチ面６０の指定された周辺エッジの向こうに延長した視野の端と、取得した画像内でポインタと交差するデジタルカメラの光軸から延長した直線との間で形成される角度と等しい。視野の端は、視野内のタッチ面６０の指定された周辺エッジ（すなわち、この場合ｘ軸）の向こうに、わかっている量だけ延長するのが好ましい。しかし、ほとんど全ての場合、各デジタルカメラ６３の角度オフセット走査は、異なるものであり未知である。
【００７７】
一旦、主制御装置５４が角度φcamを算出すると、主制御装置５４は、カメラオフセット較正中に決定されたオフセット角δcamを使用して角度φcamを調整する。利用できる２つの角度および調整された角度φcamを用いて、主制御装置５４は、角度φcamを使用し、三角測量法を用いてタッチ面６０を基準としたポインタ位置を決定する。
【００７８】
本実施例では、タッチスクリーン５２が４個のデジタルカメラ６３を含むので、６個のペアのデジタルカメラを三角測量に用いることができる。以下の説明は、ポインタ位置をデジタルカメラ６３の各ペアに対して三角測量によって、決定する方法について記述する。
【００７９】
タッチスクリーン５２の左側に沿ったデジタルカメラ６３から受信したＰＩＰを使用してポインタ位置を決定するには、次式を使用して上下のデジタルカメラの角度φ0、φ1が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８０】
【数１０】
ｈは、タッチスクリーン５２の高さ、すなわち、２個のデジタルカメラの各焦点を合わせた垂直距離、
ｗは、タッチスクリーン５２の幅、すなわち、２個のデジタルカメラの各焦点を合わせた水平距離、
φiは、水平に対する角度で、デジタルカメラｉと式（０．７）を使用して測定される。
【００８１】
タッチスクリーン５２の右辺に沿ったデジタルカメラ６３については、次式を使用して上下のデジタルカメラの角度φ2、φ3が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８２】
【数１１】
【００８３】
タッチスクリーン５２の最下段に沿ったデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左下と右下デジタルカメラの角度φ0、φ3が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８４】
【数１２】
【００８５】
【数１３】
【００８６】
左下隅と右上隅を結ぶ対角線を横切るデジタルカメラ６３を使用してポインタ位置を決定するのに、次式を使用して左下と右上のデジタルカメラの角度φ0、φ2が与えられたポインタ位置座標（ｘ0、ｙ0）を決定する。
【００８７】
【数１４】
【００８８】
【数１５】
【００８９】
上記の式が目盛り［０、１］上の座標（ｘ0、ｙ0）を生成するのは、当然であろう。したがって、最大値Ｘ、最大値Ｙをｘ0、ｙ0にそれぞれ乗じてどんな適切な座標目盛りを使用しても報告できる。
【００９０】
本実施例において、ＤＳＰ９０は、対角線ペアを除く各デジタルカメラペアの三角測量法を用いてポインタ位置を算出する。その後、その結果得られたポインタ位置を平均化し、その結果得られたポインタ位置座標をシリアルポート９８およびシリアルラインドライバ９４を介してパーソナルコンピュータ５６に送信するために待ち行列に入れる。
【００９１】
三角測量によって、わかるポインタ位置（ｘ、ｙ）と共に、表面検出較正中に算出される係数Ａ〜Ｅを使用して、位置（ｘ、ｙ）に対応するｚ座標を式（０．１）を用いて決定できる。ｚ座標を算出してＰＩＰ内のｚ座標をｚパラメータと比較することで、ポインタがタッチ面６０より上に浮上しているか、またはタッチ面と実際に接触しているかどうかに関する示度が得られる。
【００９２】
図１３に示すように、必要に応じて、ＤＳＰ９０は、ポインタ速度ｖと角度を算出する。ポインタ速度は、連続したＰＩＰのポインタ位置ｚ（またはｘ切片）の変化分を調べてカメラフレーム速度を知ることで算出される。例えば、カメラフレーム速度が２００フレーム／秒で位置ｚが１画素行／フレームで変化する場合、ポインタ速度は、２００画素／秒となる。
【００９３】
ポインタの角度は、ＰＩＰが中線の画素行０と１９でｘ切片を含むという事実により決定できる。ｘ方向の距離（ｘ切片間差分）とｙ方向の距離（画素行の数）がわかるので、ポインタ角度を算出するのに必要な全ての情報が得られたことになる。
【００９４】
ポインタがタッチ面６０のある距離の範囲内にある場合、効果的にポインタを「追跡する」のにカルマンフィルタ（本質的に帰納的最小二乗法）を必要に応じて使用できる。これを実行するにはシステム方程式やフィルタで使用されるモデルを定義する必要がある。主制御装置５４からポインタ位置ｚおよび速度ｖの両方を得ることができるので、次式を用いることができる。
【００９５】
ｚ＝ｚ0＋ｖｔ
ｖ＝ｖ
フィルタは、速度の処理法を知っていなければならず、また、ｚおよびｖの両方が測定可能なので上記の第２式が必要なる。状態ベクトルを次のように定義する。
【００９６】
［ｚｖ］T
２つの連続した時間ｎおよびｎ＋１でシステムの状態を関連させるために、行列差分方程式としてシステム式を次のように記述する。
【００９７】
【数１６】
【００９８】
【数１７】
【００９９】
ｚn＝Ｈｘn＋ｗ
ここで、ｚnは、位置と速度の測定値で、Ｈは、恒等行列と考えられる「測定行列」、ｘnは、状態ベクトル、ｗは、測定ノイズである。本質的に、測定は、状態ベクトルの雑音が多いバージョンと仮定される。また、ｗに関連する共分散行列を定義することが必要である。ｚ内の測定誤差が０．５画素の場合には、共分散行列は次のようになる。
【０１００】
【数１８】
【０１０１】
【数１９】
【０１０２】
【数２０】
【０１０３】
【数２１】
【０１０４】
等速度でタッチ面６０に接近しているポインタを表す一連の測定値を使用してカルマンフィルタのＭａｔｌａｂ（行列計算用コンピュータ言語、以下Ｍａｔｌａｂとよぶ）シミュレーション結果を実行した。図１５および図１６は、時間ステップｄｔ＝０．１秒、および測定精度＝０．５画素、の場合のシミュレーションを例示する。白抜きの記号は、データを表し、線は、カルマンフィルタからの推定状態を表す。明らかに、状態推定は、非常によくデータに従っている。
【０１０５】
第２のＭａｔｌａｂシミュレーションをポインタの垂直（ｚ）および水平（ｘ）運動の両方を考慮に入れて実行した。基本的に、このシミュレーションは、「平行」形態で一緒に動作している２個の類似したカルマンフィルタである。その公式化は、考慮すべき変数の数が２倍になるという点を除いて、全く同一である。図１７ａ〜図１７ｄは、そのシミュレーションの結果を示し、等速度でゆっくりｘ位置を変えながら（すなわち人の手が固定していない）タッチ面６０の方向へ向かうポインタの移動を表す。
【０１０６】
タッチシステム５０を、タッチスクリーン上に画像を表示するプロジェクタを含むように説明したが、それが必ずしも必要でないことは当業者にとっては当然であろう。タッチスクリーン５２は、ディスプレイユニットに表示される表示がタッチスクリーンを通して見えるように、透明または半透明で、ディスプレイユニット上に設置される。また、タッチスクリーンは、フレームで縁付けされた矩形シート材である必要はない。実際、タッチスクリーンは、実質的に２個またはそれ以上のデジタルカメラの重複する視野内のどんな表面でもよい。
【０１０７】
また、タッチシステム５０をデジタルカメラから分離した主制御装置を含むように説明しているが、必要に応じて、デジタルカメラの１個をカメラと主制御装置の両方として機能させ、ＰＩＰ用の他のデジタルカメラにポーリングするように調整できる。この場合、主制御装置として機能するデジタルカメラは、残りのデジタルカメラよりも高速のＤＳＰ８４を含むのが好ましい。
【０１０８】
さらに、表面検出ルーチンは、タッチスクリーンを基準とした任意のポイント（ｘ、ｙ）のポインタのｚ座標を算出するのに式（０．１）で使用する係数Ａ〜Ｅを決定するように記述しているが、表面検出ルーチン中に、タッチ面の固有の（ｘ、ｙ）領域のｚ座標を算出し、ルックアップテーブル（ＬＵＴ： Ｌｏｏｋ ｕｐ ｔａｂｌｅ）内にｚ座標を格納するように主制御装置５４をプログラムすることもできる。この場合、ポインタがデジタルカメラで撮像した画像内に現れてタッチ面を基準としたポインタ位置（ｘ、ｙ）が決定されると、ポインタが位置する（ｘ、ｙ）領域に対応しているＬＵＴ内のｚ座標をポインタ先端が位置するＣＭＯＳカメライメージセンサおよびレンズアセンブリの画素行と比較することによって、ポインタがタッチ面と接触しているかどうかを判定できる。
【０１０９】
上記のように、主制御装置５４は、各デジタルカメラのタッチ面のｚ座標を算出、または検索し、そしてｚ座標をポインタ先端位置ｚと比較してポインタがタッチ面と実際に接触しているかどうかを判定する。しかし、デジタルカメラ内のＤＳＰ８４が、画像処理ソフトウェアを含み、ポインタがタッチ面と実際に接触しているかどうかを判定できることは当業者にとっては当然であろう。この画像処理は、主制御装置ポインタ接触決定と連動してまたはその代わりに予め形成できる。
【０１１０】
本発明の好適な実施例を説明したが、添付の特許請求の範囲に記載のその趣旨および範囲から逸脱することなく、変更および修正ができることは当業者にとっては当然であろう。
【図面の簡単な説明】
【図１】 本発明のカメラベースのタッチシステムの概略図である。
【図２】 図１のタッチシステムの一部を形成しているタッチスクリーンの等角図である。
【図３】 図２のタッチスクリーンのコーナー部分の等角図である。
【図４】 図２のタッチスクリーンの一部を形成しているデジタルカメラの概略図である。
【図５】 図１のタッチシステムの一部を形成している主制御装置の概略図である。
【図６】 プロセスフレームルーチンの実行中に実行されるステップを示しているフローチャートである。
【図７】 セグメントポインタルーチンの実行中に実行されるステップを示しているフローチャートである。
【図８】 ポインタ検出ルーチンの実行中に実行されるステップを示しているフローチャートである。
【図９】 デジタルカメラが取得する画像と処理される画像の画素サブセットを示す。
【図１０】 図９の画素サブセット内の関心ある領域（ＲＯＩ）を示す。
【図１１】 図２において、例示されるタッチスクリーンのタッチ面上のポインタ接触位置を算出するのに使用する三角測量の幾何学的配列を示す。
【図１２】 ポインタ先端とその中線を含むデジタルカメラにより取得された画像を示す。
【図１３】 ポインタの異なった方向のポインタ接触とポインタ浮上を示す。
【図１４】 デジタルカメラで見たタッチスクリーンのタッチ面の画像である。
【図１５】 カルマンフィルタを使用したポインタ追跡のＭａｔｌａｂシミュレーションの結果を示す。
【図１６】 カルマンフィルタを使用したポインタ追跡のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ａ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｂ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｃ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
【図１７ｄ】 カルマンフィルタを使用したポインタ追跡の他のＭａｔｌａｂシミュレーションの結果を示す。
Claims (12)
- パッシブタッチシステムであって、
タッチ面と、
該タッチ面に関連付けられた少なくとも２個の撮像装置であって、異なった位置から前記タッチ面の画像を取得し、かつ重複した視野を有する前記少なくとも２個の撮像装置と、
各撮像装置に関連付けられたデジタル信号プロセッサであって、前記少なくとも２個の撮像装置に関連付けられて、前記少なくとも２個の撮像装置によって取得された画像のピクセルサブセットを選択し、該選択された画像のサブセットによって取得されたピクセルデータを処理して、ポインタが前記取得された画像内に存在する場合、ポインタ特徴データを生成するデジタル信号プロセッサと、
該デジタル信号プロセッサと通信する主デジタル信号プロセッサであって、前記デジタル信号プロセッサからポインタ特徴データを受信し、該ポインタ特徴データを三角測量して前記タッチ面に対する前記ポインタの位置を決定する主デジタル信号プロセッサと、
を有するパッシブタッチシステム。 - タッチシステムであって、
フレームによって囲まれたタッチ面に関連付けられた少なくとも２個のＣＭＯＳデジタルカメラであって、異なった位置から前記タッチ面の画像を取得し、かつ重複した視野を有する前記少なくとも２個のＣＭＯＳデジタルカメラと、
前記少なくとも２個のデジタルカメラによって取得された画像データを受信し処理して、ポインタが前記画像内に存在することを検出し、前記タッチ面に対する前記ポインタの位置を決定し、前記各デジタルカメラの視野と前記タッチ面の周辺のなす角度を基準として補償することによって各デジタルカメラの画像データをさらに処理する処理構造と、
を有し、
各デジタルカメラの視野は前記フレームの隣接する周辺エッジを越えて延びている、
タッチシステム。 - 位置トラッキングシステムであって、
フレームと、
該フレーム内の少なくとも一部の興味のある領域と、
異なった位置から（i）前記興味のある領域の画像と（ii）前記フレームの少なくとも一部にある画像を取得し、かつ重複した視野を有する、前記フレームに関連付けられた少なくとも２個の撮像装置と、
各撮像装置に関連付けられたデジタル信号プロセッサであって、前記少なくとも２個の撮像装置によって取得された画像のピクセルサブセットのピクセルデータを処理し、ポインタが前記取得された画像内に存在する場合、ポインタ特徴データを生成するデジタル信号プロセッサと、
該デジタル信号プロセッサと通信する主デジタル信号プロセッサであって、前記デジタル信号プロセッサからポインタ特徴データを受信し、該ポインタ特徴データを三角測量して前記ポインタの位置を決定する主デジタル信号プロセッサと、
を有し、
各デジタルカメラの視野は前記フレームの隣接する周辺エッジを越えて延びている、
位置トラッキングシステム。 - インタラクティブディスプレイシステムであって、
ディスプレイ面と、
該ディスプレイ面の前の興味のある領域と、
フレームに関連付けられた少なくとも２個の光記録装置であって、異なった位置から前記興味のある領域の画像と前記フレームの少なくとも一部にある画像を取得し、かつ重複した視野を有する前記少なくとも２個の光記録装置と、
前記少なくとも２個の光記録装置によって処理前に取得された画像データのサブセットを受信し、該画像データのサブセットを処理して、ポインタが前記画像内に存在することを検出し、前記ポインタの位置を決定する処理構造であって、前記処理構造は、各々が前記光記録装置のそれぞれ１つと関連付けられた複数のプロセッサを含み、各プロセッサは前記関連付けられた光記録装置からの前記サブセットの画像データを処理のみし、ポインタパラメータデータを生成する第１の処理段階と、該第１の処理段階からの画像データを処理して前記ポインタの位置を決定する第２の処理段階と、を含む処理構造と、
を有し、
各プロセッサと各光記録装置は共通のボード上に搭載されている、
インタラクティブディスプレイシステム。 - 位置トラッキングシステムであって、
興味のある領域に関連付けられ、かつ重複した視野を有する少なくとも２個のＣＭＯＳデジタルカメラセンサであって、前記少なくとも２個のＣＭＯＳデジタルカメラセンサの各々はピクセルの配列を有し、異なった位置からの前記興味のある領域の画像を取得し、前記ＣＭＯＳデジタルカメラセンサの少なくとも１つは、単一の方向に少なくとも６４０個の画素を有する、前記少なくとも２個のＣＭＯＳデジタルカメラセンサと、
前記少なくとも２個のＣＭＯＳデジタルカメラセンサの各々のピクセルの配列内でよりも小さいピクセルのウィンドウを画像データ処理前に受信し、前記ウィンドウ内のピクセルデータを処理のみして、ポインタが前記画像内に１ピクセルの解像度まで存在することを検出し、前記ポインタの位置を三角測量し、前記各デジタルカメラセンサの視野と前記タッチ面の周辺のなす角度を基準として補償することによって各デジタルカメラセンサのピクセルをさらに処理する処理構造と、
を有し、
各デジタルカメラセンサの視野は前記興味のある領域の隣接する周辺エッジを越えて延びている、
位置トラッキングシステム。 - タッチシステムであって、
タッチ面に関連付けられ、前記タッチ面を包含する重複した視野を有する少なくとも２個のデジタル撮像装置であって、異なった位置から（i）前記タッチ面と（ii）該タッチ面の周辺上のフレームの画像を取得して、各取得された画像について、該取得された画像のピクセル行のサブセットからのピクセルデータから成る前記取得された画像のピクセルサブセットを生成する前記少なくとも２個のデジタル撮像装置と、
前記少なくとも２個のデジタル撮像装置によって生成された取得された画像の前記ピクセルサブセットを受信し、前記ピクセルサブセットのピクセルデータは処理されて、ポインタが前記取得された画像内に存在する場合に、前記ポインタのデータを生成し、該ポインタのデータを三角測量して前記タッチ面に対する前記ポインタの位置を決定し、（i）前記各デジタル撮像装置の視野と（ii）前記タッチ面の周辺のなす角度を基準として補償することによって各デジタル撮像装置のピクセルデータをさらに処理する処理構造と、
有し、
各デジタル撮像装置の視野は前記タッチ面の隣接する周辺エッジを越えて延びている、
を有するタッチシステム。 - カメラベースのタッチシステムであって、
ポインタを使用して接触がなされる略矩形のパッシブタッチ面と、
前記パッシブタッチ面の少なくとも２つのコーナーに隣接して取り付けられたデジタルカメラであって、前記パッシブタッチ面を包含する重複した視野を有し、前記ポインタが前記デジタルカメラによって取得された画像内に撮像された場合、前記パッシブタッチ面の画像を取得して、各取得された画像に対して、ポインタ中線ｘおよびポインタ先端位置ｚを含み、ピクセル行のサブセットからのピクセルデータを含むピクセルサブセットから成る画像データを生成する前記デジタルカメラと、
前記デジタルカメラによって生成された画像データのピクセルサブセットを受信して、前記ピクセルサブセットのピクセルデータを処理し、前記パッシブタッチ面に対する前記ポインタ位置を決定し、前記ポインタが前記パッシブタッチ面と接触しているかどうかを判定し、前記各デジタルカメラの視野と、前記タッチ面の周辺のなす角度を基準として補償することによって各デジタルカメラの画像データをさらに処理する処理構造とを、
有し、
各デジタルカメラの視野は前記タッチ面の隣接する周辺エッジを越えて延びている、
カメラベースのタッチシステム。 - カメラベースのタッチシステムであって、
タッチ面に関連付けられ、前記タッチ面を包含する重複した視野を有する少なくとも２個のデジタルカメラであって、異なった位置から前記タッチ面の画像を取得して、各取得された画像について、該取得された画像の選択されたピクセル行からのピクセルデータから成る前記取得された画像のピクセルサブセットを生成する前記少なくとも２個のデジタルカメラと、
前記少なくとも２個のデジタルカメラによって生成された取得された画像の前記ピクセルサブセットを受信し、前記ピクセルサブセットのピクセルデータは処理されて、ポインタが前記取得された画像内に存在する場合に、前記ポインタデータを生成し、該ポインタデータを三角測量して前記タッチ面に対する前記ポインタの位置を決定する処理構造と、
を、有し、
各デジタルカメラは、イメージセンサとデジタル信号プロセッサを含み、前記デジタル信号プロセッサは、前記イメージセンサからの画像出力を受信して、ポインタが前記デジタルカメラによって取得された各画像内にあるかどうかを判定し、もしあった場合には前記ポインタ中線ｘがあるかどうかを判定するポインタ検出ルーチンを実行し、各デジタルカメラのデジタル信号プロセッサは、各画像が取得されたあと、背景画像を更新する背景画像更新ルーチンをさらに実行する、
カメラベースのタッチシステム。 - タッチ面に対するポインタの位置を検出する方法であって、
前記タッチ面の各コーナーに位置するカメラ装置を用いて、前記タッチ面を基準としたポインタの多数の重複した画像を取得するステップと、
前記取得した画像のピクセルサブセットを受信し、各々が前記カメラ装置のそれぞれ１つに関連付けられ、かつ共通のボード上に搭載された複数のプロセッサを用いて前記ピクセルサブセットのピクセルデータを処理して、前記画像内のポインタの存在を検出してポインタデータを生成し、マスタープロセッサを用いて前記ポインタデータを処理し、三角測量法を用いて前記タッチ面を基準とした前記ポインタの位置を決定するステップと、
を有する、タッチ面に対するポインタの位置を検出する方法。 - タッチ面に対するポインタの位置を検出する方法であって、
タッチ面を見る視野を有するカメラを使用して前記タッチ面に近いポインタの多数の重複した画像を取得し、各カメラから各画像のピクセルサブセットを出力し、各前記ピクセルサブセットは取得された画像の選択されたピクセル行からのピクセルデータから成るステップと、
処理構造において前記取得された画像の出力されたピクセルサブセットを受信し、前記ピクセルサブセットのピクセルデータを処理して各カメラの視野と前記タッチ面の少なくとも一部のなす角度を基準として補償し、三角測量法を用いて前記タッチ面に対する前記ポインタの位置を決定し、前記ピクセルデータの処理中に前記ポインタの中線の交点を計算することによって前記ポインタの存在が決定され、前記ポインタの位置は、前記ポインタの中線の交点を計算し、該交点の座標を決定するのに三角測量法を用いることによって決定されるステップと、
を有し、
各カメラの視野はフレームの隣接した周辺エッジを越えて延びている、
タッチ面に対するポインタの位置を検出する方法。 - 撮像アセンブリであって、
ディスプレイ表面を囲む実質的に矩形のベゼルと、
該ベゼルの各コーナーに隣接して搭載されたデジタルカメラであって、前記ディスプレイ表面の重複した画像を撮像するように向けられているデジタルカメラと、
前記デジタルカメラによって取得された画像データを処理して、取得された画像内のポインタの存在を1ピルセルの解像度まで検出する、各デジタルカメラにおけるプロセッサと、
を有し、
各デジタルカメラの視野は前記ベゼルの隣接する周辺エッジを越えて延びている、
撮像アセンブリ。 - 撮像アセンブリと、
ディスプレイ表面の前の興味のある領域を囲む実質的に矩形のフレームと、
該フレームの各コーナーに隣接して搭載され、前記興味のある領域の重複した画像を撮像するように向けられているデジタルカメラと、
前記デジタルカメラによって取得された画像データを受信、処理して、前記画像内にポインタが存在することを検出し、前記ポインタの前記タッチ面に対する位置を決定する処理プロセッサと、
有し、
前記プロセッサ構造は第１および第２の処理段階を含み、前記第１の処理段階は少なくとも４対の、対になったデジタルカメラの画像データを処理し、前記第２の処理段階は前記第１の処理段階からの画像データを処理して前記ポインタの位置を決定し、
前記第１の処理段階は各々が前記デジタルカメラのそれぞれ１つに関連付けられた複数のデジタルシグナルプロセッサを含み、前記デジタルシグナルプロセッサは前記デジタルカメラのピクセルサブセットからピクセルデータを処理し、ポインタパラメータデータを生成し、
前記プロセッサ構造は（i）前記各デジタルカメラの視野と（ii）前記フレームの少なくとも一部のなす角度を基準として補償することによって各デジタルカメラの画像を処理する、
撮像アセンブリ。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/610,481 | 2000-07-05 | ||
| US09/610,481 US6803906B1 (en) | 2000-07-05 | 2000-07-05 | Passive touch system and method of detecting user input |
| US29461101P | 2001-06-01 | 2001-06-01 | |
| US60/294,611 | 2001-06-01 | ||
| PCT/CA2001/000980 WO2002003316A1 (en) | 2000-07-05 | 2001-07-05 | Camera-based touch system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004502261A JP2004502261A (ja) | 2004-01-22 |
| JP2004502261A5 JP2004502261A5 (ja) | 2008-09-04 |
| JP5042437B2 true JP5042437B2 (ja) | 2012-10-03 |
Family
ID=26968623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002507309A Expired - Fee Related JP5042437B2 (ja) | 2000-07-05 | 2001-07-05 | カメラベースのタッチシステム |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US7692625B2 (ja) |
| EP (3) | EP1297488B1 (ja) |
| JP (1) | JP5042437B2 (ja) |
| CN (1) | CN1310126C (ja) |
| AT (3) | ATE490501T1 (ja) |
| AU (1) | AU2001272250A1 (ja) |
| CA (1) | CA2412878C (ja) |
| DE (3) | DE60124549T2 (ja) |
| ES (4) | ES2340945T3 (ja) |
| WO (1) | WO2002003316A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10872444B2 (en) | 2018-09-21 | 2020-12-22 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Families Citing this family (179)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6261095A (ja) * | 1985-09-11 | 1987-03-17 | カシオ計算機株式会社 | 波形エディット装置 |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| JP5042437B2 (ja) | 2000-07-05 | 2012-10-03 | スマート テクノロジーズ ユーエルシー | カメラベースのタッチシステム |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| US7499033B2 (en) | 2002-06-07 | 2009-03-03 | Smart Technologies Ulc | System and method for injecting ink into an application |
| US7283126B2 (en) | 2002-06-12 | 2007-10-16 | Smart Technologies Inc. | System and method for providing gesture suggestions to enhance interpretation of user input |
| US20040001144A1 (en) | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7256772B2 (en) | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
| US8330726B2 (en) | 2003-05-19 | 2012-12-11 | Xiroku, Inc. | Position detection apparatus using area image sensor |
| US20050030293A1 (en) * | 2003-08-05 | 2005-02-10 | Lai Chih Chang | Method for predicting and estimating coordinates of a touch panel |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) * | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7355593B2 (en) * | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US7372456B2 (en) | 2004-07-07 | 2008-05-13 | Smart Technologies Inc. | Method and apparatus for calibrating an interactive touch system |
| US7711681B2 (en) | 2004-11-05 | 2010-05-04 | Accenture Global Services Gmbh | System for distributed information presentation and interaction |
| EP1815424B1 (en) * | 2004-11-16 | 2019-01-09 | Koninklijke Philips N.V. | Touchless manipulation of images for regional enhancement |
| US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
| US8164640B2 (en) | 2005-06-30 | 2012-04-24 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US20070064004A1 (en) * | 2005-09-21 | 2007-03-22 | Hewlett-Packard Development Company, L.P. | Moving a graphic element |
| US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
| WO2007074403A2 (en) * | 2005-11-18 | 2007-07-05 | Accenture Global Services Gmbh | Multiple target detection and application state navigation system |
| US8209620B2 (en) | 2006-01-31 | 2012-06-26 | Accenture Global Services Limited | System for storage and navigation of application states and interactions |
| US7599520B2 (en) * | 2005-11-18 | 2009-10-06 | Accenture Global Services Gmbh | Detection of multiple targets on a plane of interest |
| US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
| EP1821184A3 (en) * | 2006-02-08 | 2007-11-14 | Almeva AG | System and method for interacting with a display through a shop window |
| US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
| KR101127517B1 (ko) * | 2006-06-15 | 2012-03-23 | (주)나노티에스 | 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치 |
| KR101098200B1 (ko) | 2006-06-19 | 2011-12-23 | 뉴콤 테크노 가부시키가이샤 | 전자 유도에 의해 물체를 검출하는 물체 검출 장치 |
| EP2077484A1 (en) | 2006-10-24 | 2009-07-08 | Newcom, Inc. | Operating tool with conductor piece |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| DE102007021537B4 (de) * | 2006-12-13 | 2020-01-02 | Lg Display Co., Ltd. | Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion |
| KR101330471B1 (ko) | 2006-12-15 | 2013-11-20 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| US8139045B2 (en) * | 2006-12-15 | 2012-03-20 | Lg Display Co., Ltd. | Display device having multi-touch recognizing function and driving method thereof |
| KR101346865B1 (ko) * | 2006-12-15 | 2014-01-02 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| KR100915627B1 (ko) * | 2007-03-29 | 2009-09-04 | 주식회사 토비스 | 광학센서유닛에 의한 응답구조를 갖는 터치패널 구동방법 |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US20090140992A1 (en) * | 2007-06-16 | 2009-06-04 | Sunrise Telecom Incorporated | Display system |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| KR20100055516A (ko) | 2007-08-30 | 2010-05-26 | 넥스트 홀딩스 인코포레이티드 | 개선된 조광을 가진 광학 터치 스크린 |
| CA2697856A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Low profile touch panel systems |
| PL2229617T3 (pl) | 2007-12-05 | 2011-12-30 | Almeva Ag | Układ interakcyjny do interakcji między ekranem a wskaźnikiem |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US7781722B2 (en) * | 2008-02-07 | 2010-08-24 | Lumio Inc | Optical touch screen assembly |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20090278795A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Illumination Assembly Therefor |
| US8887063B2 (en) * | 2008-05-21 | 2014-11-11 | Smart Technologies Ulc | Desktop sharing method and system |
| KR20110015461A (ko) * | 2008-06-05 | 2011-02-15 | 스마트 테크놀러지스 유엘씨 | 다중 포인터 모호화 및 폐색화 해결 |
| US8131502B2 (en) * | 2008-10-10 | 2012-03-06 | Pixart Imaging Inc. | Sensing system and method for obtaining location of pointer thereof |
| US8135561B2 (en) * | 2008-10-10 | 2012-03-13 | Pixart Imaging Inc. | Sensing system |
| TWI471823B (zh) | 2008-07-31 | 2015-02-01 | Pixart Imaging Inc | 以移動向量在微小點陣圖上決定座標的方法 |
| US8531435B2 (en) * | 2008-08-07 | 2013-09-10 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device by combining beam information |
| US9092092B2 (en) | 2008-08-07 | 2015-07-28 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device using touch event templates |
| US8305363B2 (en) * | 2008-10-10 | 2012-11-06 | Pixart Imaging | Sensing system and locating method thereof |
| US8232511B2 (en) * | 2008-10-10 | 2012-07-31 | Pixart Imaging Inc. | Sensing system adapted to sense a pointer and calculate a location of the pointer |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| TW201019191A (en) * | 2008-11-07 | 2010-05-16 | Pixart Imaging Inc | Touch system and method for obtaining position of pointer thereof |
| CN101840281B (zh) * | 2009-03-20 | 2012-12-05 | 原相科技股份有限公司 | 感测系统及其取得指示物的位置的方法 |
| CN102460355B (zh) * | 2009-04-05 | 2016-03-16 | 放射粒子工程有限公司 | 一体化输入和显示系统及方法 |
| EP2287713A3 (en) * | 2009-06-17 | 2012-06-27 | SMART Technologies ULC | Interactive input system and method |
| US8860693B2 (en) * | 2009-07-08 | 2014-10-14 | Apple Inc. | Image processing for camera based motion tracking |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| KR101552988B1 (ko) * | 2009-07-10 | 2015-09-14 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치와 그 구동방법 |
| TWI420357B (zh) * | 2009-08-28 | 2013-12-21 | Pixart Imaging Inc | 觸控系統及其指示物座標偵測方法 |
| US7932899B2 (en) * | 2009-09-01 | 2011-04-26 | Next Holdings Limited | Determining the location of touch points in a position detection system |
| CN102033657B (zh) * | 2009-09-24 | 2014-04-16 | 原相科技股份有限公司 | 触控系统及其指示物高度侦测方法和指示物坐标侦测方法 |
| US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
| US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
| US20110095989A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US9213414B1 (en) * | 2009-11-13 | 2015-12-15 | Ezero Technologies Llc | Keyboard with integrated touch control |
| US9293060B2 (en) | 2010-05-06 | 2016-03-22 | Ai Cure Technologies Llc | Apparatus and method for recognition of patient activities when obtaining protocol adherence data |
| US20110153360A1 (en) | 2009-12-23 | 2011-06-23 | Al Cure Technologies LLC | Method and Apparatus for Verification of Clinical Trial Adherence |
| US9183601B2 (en) * | 2010-03-22 | 2015-11-10 | Ai Cure Technologies Llc | Method and apparatus for collection of protocol adherence data |
| US9256776B2 (en) | 2009-11-18 | 2016-02-09 | AI Cure Technologies, Inc. | Method and apparatus for identification |
| US8605165B2 (en) | 2010-10-06 | 2013-12-10 | Ai Cure Technologies Llc | Apparatus and method for assisting monitoring of medication adherence |
| US20110119073A1 (en) | 2009-11-18 | 2011-05-19 | Al Cure Technologies LLC | Method and Apparatus for Verification of Medication Administration Adherence |
| US10762172B2 (en) | 2010-10-05 | 2020-09-01 | Ai Cure Technologies Llc | Apparatus and method for object confirmation and tracking |
| US8666781B2 (en) | 2009-12-23 | 2014-03-04 | Ai Cure Technologies, LLC | Method and apparatus for management of clinical trials |
| US20110128218A1 (en) * | 2009-12-01 | 2011-06-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| CN102096526B (zh) * | 2009-12-15 | 2015-11-25 | 乐金显示有限公司 | 光学传感单元、显示模块和使用光学传感单元的显示装置 |
| JP2011175543A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 指示体検出装置及びタッチパネル |
| CN102236477B (zh) * | 2010-04-21 | 2013-05-08 | 广达电脑股份有限公司 | 背景影像更新方法及触控屏幕 |
| US8338725B2 (en) * | 2010-04-29 | 2012-12-25 | Au Optronics Corporation | Camera based touch system |
| US9883786B2 (en) | 2010-05-06 | 2018-02-06 | Aic Innovations Group, Inc. | Method and apparatus for recognition of inhaler actuation |
| US9875666B2 (en) | 2010-05-06 | 2018-01-23 | Aic Innovations Group, Inc. | Apparatus and method for recognition of patient activities |
| US10116903B2 (en) | 2010-05-06 | 2018-10-30 | Aic Innovations Group, Inc. | Apparatus and method for recognition of suspicious activities |
| CN102346599B (zh) * | 2010-08-04 | 2015-06-03 | 北京汇冠新技术股份有限公司 | 触摸定位方法和触摸屏 |
| WO2012022018A1 (zh) | 2010-08-20 | 2012-02-23 | Chen Guozen | 激光光学触控模块及其模拟数字转换系统与方法 |
| TWI494824B (zh) * | 2010-08-24 | 2015-08-01 | Quanta Comp Inc | 光學觸控系統及方法 |
| CN102402340B (zh) * | 2010-09-08 | 2014-07-09 | 北京汇冠新技术股份有限公司 | 触摸定位方法、触摸屏、触摸系统和显示器 |
| EP2447811B1 (en) * | 2010-11-02 | 2019-12-18 | LG Display Co., Ltd. | Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same |
| GB2487043B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction and illumination system and method |
| US9019239B2 (en) | 2010-11-29 | 2015-04-28 | Northrop Grumman Systems Corporation | Creative design systems and methods |
| US9665767B2 (en) | 2011-02-28 | 2017-05-30 | Aic Innovations Group, Inc. | Method and apparatus for pattern tracking |
| US9116553B2 (en) | 2011-02-28 | 2015-08-25 | AI Cure Technologies, Inc. | Method and apparatus for confirmation of object positioning |
| US8963883B2 (en) | 2011-03-17 | 2015-02-24 | Symbol Technologies, Inc. | Touchless interactive display system |
| US9262011B2 (en) | 2011-03-30 | 2016-02-16 | Smart Technologies Ulc | Interactive input system and method |
| US8390593B2 (en) * | 2011-04-13 | 2013-03-05 | Google Inc. | Click disambiguation on a touch-sensitive input device |
| CN102294119A (zh) * | 2011-08-02 | 2011-12-28 | 广州市迪拓信息科技有限公司 | 一种触控设备感应控制方法及系统 |
| EP2745505B1 (en) | 2011-08-16 | 2020-02-19 | Imax Theatres International Limited | Hybrid image decomposition and projection |
| US10558845B2 (en) | 2011-08-21 | 2020-02-11 | Aic Innovations Group, Inc. | Apparatus and method for determination of medication location |
| CN102306053B (zh) * | 2011-08-29 | 2014-09-10 | Tcl集团股份有限公司 | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 |
| CN102323866B (zh) * | 2011-09-01 | 2013-08-21 | 广东威创视讯科技股份有限公司 | 一种摄像式触摸控制方法及其装置 |
| EP2769261B1 (en) * | 2011-10-20 | 2022-07-06 | IMAX Corporation | Distortion compensation for image projection |
| US10326968B2 (en) | 2011-10-20 | 2019-06-18 | Imax Corporation | Invisible or low perceptibility of image alignment in dual projection systems |
| US8896688B2 (en) | 2011-11-04 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Determining position in a projection capture system |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| CN102609153A (zh) * | 2012-01-29 | 2012-07-25 | 胡世曦 | 一种计算物体与工作平面的接触位置的装置 |
| JP6057407B2 (ja) * | 2012-02-22 | 2017-01-11 | 学校法人東京電機大学 | タッチ位置入力装置及びタッチ位置入力方法 |
| TWI470510B (zh) * | 2012-04-19 | 2015-01-21 | Wistron Corp | 光學觸控裝置及觸控感測方法 |
| TWI475446B (zh) * | 2012-04-24 | 2015-03-01 | Wistron Corp | 光學式觸控系統及其擷取訊號調整之方法 |
| CN103488348B (zh) * | 2012-06-11 | 2016-09-07 | 东友科技股份有限公司 | 影像感测器群组的定位方法 |
| CN102789340B (zh) * | 2012-06-27 | 2015-12-16 | 深圳市巨龙科教高技术股份有限公司 | 一种电子白板的白板坐标获取方法、装置及电子白板 |
| CN102778979A (zh) * | 2012-06-28 | 2012-11-14 | 广州视睿电子科技有限公司 | 光学触摸方法及其装置 |
| DE102012217638A1 (de) | 2012-09-27 | 2014-03-27 | Robert Bosch Gmbh | Interaktive Tafel und Haussteuerungssystem |
| US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| TWI495949B (zh) * | 2012-10-24 | 2015-08-11 | Pixart Imaging Inc | 光學觸控系統之曝光機制及使用該機制之光學觸控系統 |
| TWI462033B (zh) * | 2012-11-02 | 2014-11-21 | Wistron Corp | 觸控系統及觸控系統的繪圖方法 |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
| JP2014140942A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
| US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
| US9399111B1 (en) | 2013-03-15 | 2016-07-26 | Aic Innovations Group, Inc. | Method and apparatus for emotional behavior therapy |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9317916B1 (en) | 2013-04-12 | 2016-04-19 | Aic Innovations Group, Inc. | Apparatus and method for recognition of medication administration indicator |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9436851B1 (en) | 2013-05-07 | 2016-09-06 | Aic Innovations Group, Inc. | Geometric encrypted coded image |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| JP6202942B2 (ja) * | 2013-08-26 | 2017-09-27 | キヤノン株式会社 | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| CN104423720B (zh) * | 2013-09-02 | 2018-01-05 | 颜涌 | 一种基于摄像头的电脑输入设备和方法 |
| CN104423560B (zh) * | 2013-09-09 | 2018-11-13 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| US9824297B1 (en) | 2013-10-02 | 2017-11-21 | Aic Innovations Group, Inc. | Method and apparatus for medication identification |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9625992B2 (en) | 2013-10-21 | 2017-04-18 | I-Interactive Llc | Remote control with dual activated touch sensor input |
| US9478124B2 (en) | 2013-10-21 | 2016-10-25 | I-Interactive Llc | Remote control with enhanced touch surface input |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| CN103530061B (zh) * | 2013-10-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 显示装置及控制方法 |
| CN104679353B (zh) * | 2013-11-29 | 2017-08-25 | 纬创资通股份有限公司 | 光学触控装置及触控点坐标的计算方法 |
| US9317150B2 (en) * | 2013-12-28 | 2016-04-19 | Intel Corporation | Virtual and configurable touchscreens |
| TWI528226B (zh) * | 2014-01-15 | 2016-04-01 | 緯創資通股份有限公司 | 影像式觸控裝置及其控制方法 |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| GB2522248A (en) * | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
| LU92408B1 (en) * | 2014-03-21 | 2015-09-22 | Olivier Raulot | User gesture recognition |
| CN103973975B (zh) * | 2014-04-10 | 2017-11-07 | 北京智谷睿拓技术服务有限公司 | 交互方法、装置及用户设备 |
| TWI578295B (zh) * | 2014-04-21 | 2017-04-11 | 緯創資通股份有限公司 | 顯示器及其亮度調整方法 |
| US9679113B2 (en) | 2014-06-11 | 2017-06-13 | Aic Innovations Group, Inc. | Medication adherence monitoring system and method |
| US10431145B2 (en) * | 2014-07-30 | 2019-10-01 | Hewlett-Packard Development Company, L.P. | Transparent whiteboard display |
| CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
| JP6464624B2 (ja) * | 2014-09-12 | 2019-02-06 | 株式会社リコー | 画像処理システム、画像処理装置、方法およびプログラム |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| JP6665415B2 (ja) * | 2015-03-30 | 2020-03-13 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| US10289239B2 (en) | 2015-07-09 | 2019-05-14 | Microsoft Technology Licensing, Llc | Application programming interface for multi-touch input detection |
| US11170484B2 (en) | 2017-09-19 | 2021-11-09 | Aic Innovations Group, Inc. | Recognition of suspicious activities in medication administration |
| WO2019147612A1 (en) | 2018-01-25 | 2019-08-01 | Neonode Inc. | Polar coordinate sensor |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| US11281337B1 (en) | 2019-09-24 | 2022-03-22 | Apple Inc. | Mirror accessory for camera based touch detection |
Family Cites Families (132)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4144449A (en) | 1977-07-08 | 1979-03-13 | Sperry Rand Corporation | Position detection apparatus |
| CA1109539A (en) | 1978-04-05 | 1981-09-22 | Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications | Touch sensitive computer input device |
| US4558313A (en) | 1981-12-31 | 1985-12-10 | International Business Machines Corporation | Indicator to data processing interface |
| US4507557A (en) | 1983-04-01 | 1985-03-26 | Siemens Corporate Research & Support, Inc. | Non-contact X,Y digitizer using two dynamic ram imagers |
| JPS61262917A (ja) | 1985-05-17 | 1986-11-20 | Alps Electric Co Ltd | 光電式タツチパネルのフイルタ− |
| DE3616490A1 (de) | 1985-05-17 | 1986-11-27 | Alps Electric Co Ltd | Optische koordinaten-eingabe-vorrichtung |
| US4822145A (en) | 1986-05-14 | 1989-04-18 | Massachusetts Institute Of Technology | Method and apparatus utilizing waveguide and polarized light for display of dynamic images |
| JPS6375918A (ja) | 1986-09-19 | 1988-04-06 | Alps Electric Co Ltd | 座標入力装置 |
| US4782328A (en) | 1986-10-02 | 1988-11-01 | Product Development Services, Incorporated | Ambient-light-responsive touch screen data input method and system |
| US4746770A (en) | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US4907156A (en) * | 1987-06-30 | 1990-03-06 | University Of Chicago | Method and system for enhancement and detection of abnormal anatomic regions in a digital image |
| JPH01320521A (ja) | 1988-06-22 | 1989-12-26 | Wacom Co Ltd | 電子黒板装置及びその筆記具等 |
| US5109435A (en) | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| US5097516A (en) | 1991-02-28 | 1992-03-17 | At&T Bell Laboratories | Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging |
| CA2058219C (en) | 1991-10-21 | 2002-04-02 | Smart Technologies Inc. | Interactive display system |
| GB9201949D0 (en) | 1992-01-30 | 1992-03-18 | Jenkin Michael | Large-scale,touch-sensitive video display |
| US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5724743A (en) | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US5982352A (en) | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| DE69331433T2 (de) | 1992-10-22 | 2002-10-02 | Advanced Interconnection Technology, Inc. | Einrichtung zur automatischen optischen Prüfung von Leiterplatten mit darin verlegten Drähten |
| US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
| US5502568A (en) | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
| US5359155A (en) | 1993-03-25 | 1994-10-25 | Tiger Scientific Corp. | Illumination apparatus for a digitizer tablet |
| US5729704A (en) | 1993-07-21 | 1998-03-17 | Xerox Corporation | User-directed method for operating on an object-based model data structure through a second contextual image |
| JPH07230352A (ja) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| US5484966A (en) | 1993-12-07 | 1996-01-16 | At&T Corp. | Sensing stylus position using single 1-D image sensor |
| GB2286100A (en) | 1994-01-19 | 1995-08-02 | Ibm | Touch-sensitive display apparatus |
| US5577733A (en) | 1994-04-08 | 1996-11-26 | Downing; Dennis L. | Targeting system |
| US5771039A (en) | 1994-06-06 | 1998-06-23 | Ditzik; Richard J. | Direct view display device integration techniques |
| US5528263A (en) | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| US5737740A (en) | 1994-06-27 | 1998-04-07 | Numonics | Apparatus and method for processing electronic documents |
| US5638092A (en) | 1994-12-20 | 1997-06-10 | Eng; Tommy K. | Cursor control system |
| JPH08179888A (ja) | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
| US5554828A (en) | 1995-01-03 | 1996-09-10 | Texas Instruments Inc. | Integration of pen-based capability into a field emission device system |
| US5736686A (en) | 1995-03-01 | 1998-04-07 | Gtco Corporation | Illumination apparatus for a digitizer tablet with improved light panel |
| EP0823683B1 (en) | 1995-04-28 | 2005-07-06 | Matsushita Electric Industrial Co., Ltd. | Interface device |
| JP3436828B2 (ja) | 1995-05-08 | 2003-08-18 | 株式会社リコー | 画像処理装置 |
| US5786810A (en) | 1995-06-07 | 1998-07-28 | Compaq Computer Corporation | Method of determining an object's position and associated apparatus |
| JPH09106320A (ja) | 1995-08-24 | 1997-04-22 | Symbios Logic Inc | 図形入力装置および図形入力方法 |
| US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US5825352A (en) | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| JPH09190284A (ja) | 1996-01-11 | 1997-07-22 | Canon Inc | 情報処理装置およびその方法 |
| TW394879B (en) | 1996-02-09 | 2000-06-21 | Sega Enterprises Kk | Graphics processing system and its data input device |
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| US5745116A (en) | 1996-09-09 | 1998-04-28 | Motorola, Inc. | Intuitive gesture-based graphical user interface |
| US5936615A (en) | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
| US5819201A (en) | 1996-09-13 | 1998-10-06 | Magellan Dis, Inc. | Navigation system with vehicle service information |
| JPH10124689A (ja) | 1996-10-15 | 1998-05-15 | Nikon Corp | 画像記録再生装置 |
| JP3625349B2 (ja) * | 1997-02-12 | 2005-03-02 | 株式会社東芝 | 画像入力装置および画像入力方法 |
| WO1998019201A1 (en) | 1996-10-29 | 1998-05-07 | Xeotron Corporation | Optical device utilizing optical waveguides and mechanical light-switches |
| US6061177A (en) | 1996-12-19 | 2000-05-09 | Fujimoto; Kenneth Noboru | Integrated computer display and graphical input apparatus and method |
| US6252989B1 (en) | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| JP3624070B2 (ja) | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
| US5914709A (en) | 1997-03-14 | 1999-06-22 | Poa Sana, Llc | User input device for a computer system |
| WO1998044316A1 (en) | 1997-04-02 | 1998-10-08 | Goszyk Kurt A | Adjustable area coordinate position data-capture system |
| JP3876942B2 (ja) * | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| US6161066A (en) * | 1997-08-18 | 2000-12-12 | The Texas A&M University System | Advanced law enforcement and response technology |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| EP1050010A1 (en) * | 1997-10-22 | 2000-11-08 | Ascent Technology Inc. | Voice-output reading system with gesture-based navigation |
| JP3794180B2 (ja) | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
| TW449709B (en) | 1997-11-17 | 2001-08-11 | Hewlett Packard Co | A method for distinguishing a contact input |
| US6310610B1 (en) | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
| EP1717679B1 (en) | 1998-01-26 | 2016-09-21 | Apple Inc. | Method for integrating manual input |
| AU2439399A (en) * | 1998-02-09 | 1999-08-23 | Haim Azaria | Video camera computer touch screen system |
| JP2000105671A (ja) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP4033582B2 (ja) | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP2000089913A (ja) | 1998-09-08 | 2000-03-31 | Gunze Ltd | タッチパネル入力座標変換装置 |
| DE19845030A1 (de) | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
| US6972753B1 (en) | 1998-10-02 | 2005-12-06 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel, display device provided with touch panel and electronic equipment provided with display device |
| US6335724B1 (en) | 1999-01-29 | 2002-01-01 | Ricoh Company, Ltd. | Method and device for inputting coordinate-position and a display board system |
| US6545669B1 (en) | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
| TW459192B (en) * | 1999-06-25 | 2001-10-11 | Toshiba Corp | Electronic apparatus and electronic system provided with the same |
| US6671419B1 (en) * | 1999-07-02 | 2003-12-30 | Intel Corporation | Method for reducing shadows and/or noise in a digital image |
| JP2001060145A (ja) | 1999-08-23 | 2001-03-06 | Ricoh Co Ltd | 座標入力／検出システムおよびその位置合わせ調整方法 |
| JP3905670B2 (ja) | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
| JP4057200B2 (ja) | 1999-09-10 | 2008-03-05 | 株式会社リコー | 座標入力装置および座標入力装置の記録媒体 |
| US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US6710770B2 (en) | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| JP3934846B2 (ja) | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
| JP2001265516A (ja) | 2000-03-16 | 2001-09-28 | Ricoh Co Ltd | 座標入力装置 |
| JP2001282445A (ja) | 2000-03-31 | 2001-10-12 | Ricoh Co Ltd | 座標入力／検出装置および情報表示入力装置 |
| JP3834766B2 (ja) | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US6864882B2 (en) | 2000-05-24 | 2005-03-08 | Next Holdings Limited | Protected touch panel display system |
| US6690397B1 (en) | 2000-06-05 | 2004-02-10 | Advanced Neuromodulation Systems, Inc. | System for regional data association and presentation and method for the same |
| US6690363B2 (en) | 2000-06-19 | 2004-02-10 | Next Holdings Limited | Touch panel display system |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| JP5042437B2 (ja) | 2000-07-05 | 2012-10-03 | スマート テクノロジーズ ユーエルシー | カメラベースのタッチシステム |
| US7466843B2 (en) | 2000-07-07 | 2008-12-16 | Pryor Timothy R | Multi-functional control and entertainment systems |
| US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US6747663B2 (en) | 2000-08-24 | 2004-06-08 | Sun Microsystems, Inc. | Interpolating sample values from known triangle vertex values |
| NO311740B1 (no) | 2000-09-11 | 2002-01-14 | Tormod Njoelstad | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
| US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| JP3793014B2 (ja) | 2000-10-03 | 2006-07-05 | キヤノン株式会社 | 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法 |
| US6680834B2 (en) * | 2000-10-04 | 2004-01-20 | Honeywell International Inc. | Apparatus and method for controlling LED arrays |
| US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
| US6518600B1 (en) | 2000-11-17 | 2003-02-11 | General Electric Company | Dual encapsulation for an LED |
| US7030861B1 (en) | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
| JP4551018B2 (ja) | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| GB2378073B (en) | 2001-07-27 | 2005-08-31 | Hewlett Packard Co | Paper-to-computer interfaces |
| JP2003162370A (ja) | 2001-09-14 | 2003-06-06 | Ricoh Co Ltd | 画像処理装置、タッチパネル付きディスプレイ装置、画像処理方法、および画像処理方法をコンピュータに実行させるプログラム |
| US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
| JP2003173237A (ja) | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
| US7254775B2 (en) | 2001-10-03 | 2007-08-07 | 3M Innovative Properties Company | Touch panel system and method for distinguishing multiple touch inputs |
| JP3920067B2 (ja) | 2001-10-09 | 2007-05-30 | 株式会社イーアイティー | 座標入力装置 |
| JP2003167669A (ja) | 2001-11-22 | 2003-06-13 | Internatl Business Mach Corp <Ibm> | 情報処理装置、プログラム及び座標入力方法 |
| US6628216B2 (en) | 2002-02-13 | 2003-09-30 | Intersil Americas Inc. | Calibration of resistor ladder using difference measurement and parallel resistive correction |
| US7038659B2 (en) | 2002-04-06 | 2006-05-02 | Janusz Wiktor Rajkowski | Symbol encoding apparatus and method |
| US7119351B2 (en) | 2002-05-17 | 2006-10-10 | Gsi Group Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
| US20030226968A1 (en) | 2002-06-10 | 2003-12-11 | Steve Montellese | Apparatus and method for inputting data |
| US7260257B2 (en) | 2002-06-19 | 2007-08-21 | Microsoft Corp. | System and method for whiteboard and audio capture |
| US6972401B2 (en) | 2003-01-30 | 2005-12-06 | Smart Technologies Inc. | Illuminated bezel and touch system incorporating the same |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US6947032B2 (en) | 2003-03-11 | 2005-09-20 | Smart Technologies Inc. | Touch system and method for determining pointer contacts on a touch surface |
| US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US20050052427A1 (en) | 2003-09-10 | 2005-03-10 | Wu Michael Chi Hung | Hand gesture interaction with touch surface |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7265752B2 (en) | 2004-01-09 | 2007-09-04 | Microsoft Corporation | Multi-chart geometry images |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US20080129707A1 (en) | 2004-07-27 | 2008-06-05 | Pryor Timothy R | Method and apparatus employing multi-functional controls and displays |
-
2001
- 2001-07-05 JP JP2002507309A patent/JP5042437B2/ja not_active Expired - Fee Related
- 2001-07-05 AT AT06019269T patent/ATE490501T1/de not_active IP Right Cessation
- 2001-07-05 AU AU2001272250A patent/AU2001272250A1/en not_active Abandoned
- 2001-07-05 ES ES06019268T patent/ES2340945T3/es not_active Expired - Lifetime
- 2001-07-05 ES ES10012759T patent/ES2435248T3/es not_active Expired - Lifetime
- 2001-07-05 ES ES10012779T patent/ES2396587T3/es not_active Expired - Lifetime
- 2001-07-05 CN CNB018123600A patent/CN1310126C/zh not_active Expired - Fee Related
- 2001-07-05 CA CA2412878A patent/CA2412878C/en not_active Expired - Lifetime
- 2001-07-05 ES ES01951266T patent/ES2279823T3/es not_active Expired - Lifetime
- 2001-07-05 US US10/312,983 patent/US7692625B2/en not_active Expired - Lifetime
- 2001-07-05 DE DE60124549T patent/DE60124549T2/de not_active Expired - Lifetime
- 2001-07-05 DE DE60140909T patent/DE60140909D1/de not_active Expired - Lifetime
- 2001-07-05 DE DE60143592T patent/DE60143592D1/de not_active Expired - Lifetime
- 2001-07-05 EP EP01951266A patent/EP1297488B1/en not_active Expired - Lifetime
- 2001-07-05 EP EP06019268A patent/EP1739528B1/en not_active Expired - Lifetime
- 2001-07-05 AT AT06019268T patent/ATE453147T1/de not_active IP Right Cessation
- 2001-07-05 EP EP06019269A patent/EP1739529B1/en not_active Expired - Lifetime
- 2001-07-05 WO PCT/CA2001/000980 patent/WO2002003316A1/en active IP Right Grant
- 2001-07-05 AT AT01951266T patent/ATE345525T1/de not_active IP Right Cessation
-
2010
- 2010-04-01 US US12/753,017 patent/US9176627B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10872444B2 (en) | 2018-09-21 | 2020-12-22 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2412878C (en) | 2015-02-03 |
| ES2340945T3 (es) | 2010-06-11 |
| US9176627B2 (en) | 2015-11-03 |
| CA2412878A1 (en) | 2002-01-10 |
| EP1739529A1 (en) | 2007-01-03 |
| ES2279823T3 (es) | 2007-09-01 |
| US7692625B2 (en) | 2010-04-06 |
| EP1739528B1 (en) | 2009-12-23 |
| US20050077452A1 (en) | 2005-04-14 |
| EP1739528A1 (en) | 2007-01-03 |
| EP1739529B1 (en) | 2010-12-01 |
| DE60140909D1 (de) | 2010-02-04 |
| WO2002003316A1 (en) | 2002-01-10 |
| US20100188370A1 (en) | 2010-07-29 |
| CN1310126C (zh) | 2007-04-11 |
| ES2435248T3 (es) | 2013-12-17 |
| EP1297488A1 (en) | 2003-04-02 |
| CN1440539A (zh) | 2003-09-03 |
| AU2001272250A1 (en) | 2002-01-14 |
| EP1297488B1 (en) | 2006-11-15 |
| ES2396587T3 (es) | 2013-02-22 |
| ATE453147T1 (de) | 2010-01-15 |
| DE60143592D1 (de) | 2011-01-13 |
| DE60124549T2 (de) | 2007-09-06 |
| ATE345525T1 (de) | 2006-12-15 |
| ATE490501T1 (de) | 2010-12-15 |
| DE60124549D1 (de) | 2006-12-28 |
| JP2004502261A (ja) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5042437B2 (ja) | カメラベースのタッチシステム | |
| EP2333639B1 (en) | Camera-based touch system and method | |
| US7256772B2 (en) | Auto-aligning touch system and method | |
| US20120280943A1 (en) | Size/scale and orientation determination of a pointer in a camera-based touch system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080707 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110126 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110426 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110726 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120216 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20120217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120217 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120711 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5042437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |