JP5122948B2 - タッチ面に対応するポインタを検出するための装置及び方法 - Google Patents

タッチ面に対応するポインタを検出するための装置及び方法 Download PDF

Info

Publication number
JP5122948B2
JP5122948B2 JP2007511795A JP2007511795A JP5122948B2 JP 5122948 B2 JP5122948 B2 JP 5122948B2 JP 2007511795 A JP2007511795 A JP 2007511795A JP 2007511795 A JP2007511795 A JP 2007511795A JP 5122948 B2 JP5122948 B2 JP 5122948B2
Authority
JP
Japan
Prior art keywords
touch surface
imaging device
pointer
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007511795A
Other languages
English (en)
Other versions
JP2007536652A (ja
JP2007536652A5 (ja
Inventor
ジェラルド ディー． モリソン、
デイヴッド イー． ホルムグレン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of JP2007536652A publication Critical patent/JP2007536652A/ja
Publication of JP2007536652A5 publication Critical patent/JP2007536652A5/ja
Application granted granted Critical
Publication of JP5122948B2 publication Critical patent/JP5122948B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Description

本発明は、一般に対話型の入力システムに関し、特にタッチ面に対応するポインタを検出するための装置及び方法に関する。
タッチ・システムは、当該分野において公知であり、利用者入力を生成するためにポインタを使用してコンタクトが行われるタッチ面を有するタッチ・スクリーンを通常有している。タッチ面を使用してポインタ・コンタクトが検出され、ポインタ・コンタクトが行われるタッチ面のエリアに応じて対応する出力を生成するために使用される。普通のタッチ・システムは、タッチ面上のポインタ・コンタクトを識別するために、アナログ抵抗性、電磁気的、容量性、音響的あるいは機械のビジョン技術を利用する。
たとえば、２００１年７月５日に出願され、２００２年１月１０日にＰＣＴ特許出願公開明細書第ＷＯ ０２／０３３１６として公開された、本発明の譲受人 SMART Technologies Inc. に譲渡された、国際ＰＣＴ特許出願公開明細書ＰＣＴ／カナダ０１／００９８０は、コンピュータにより生成された画像がその上に表示される受動形のタッチ面を含むタッチ・スクリーンを有するカメラ・ベースのタッチ・システムを開示している。長方形のベゼルあるいはフレームが、タッチ面を囲み、そのコーナーに複数のディジタル・カメラを支えている。複数のディジタル・カメラは、タッチ面の平面を取り囲み、全体として一方の端から他方の端まで見渡せる、重なり合っている視界を有する。複数のディジタル・カメラは、異なる位置から一方の端から他方の端までタッチ面を見渡せる画像を取得し、画像データを生成する。ディジタル・カメラにより取得された画像データは、捕捉した画像データの中にポインタが存在するかどうかを判定するために、ディジタル信号処理プロセッサにより処理される。捕捉した画像データの中にポインタが存在すると判定された場合には、ディジタル信号処理プロセッサは、マスター・コントローラにポインタ特性データを送る。次にマスター・コントローラは、タッチ面に対応する（ｘ、ｙ）座標内のポインタの位置を判定するために、三角測量を使用してポインタ特性データを処理する。ポインタ座標データは、１つまたは複数のアプリケーション・プログラムを実行するコンピュータに運ばれる。コンピュータは、タッチ面に表示されるコンピュータにより生成された画像を更新するために、ポインタ座標データを使用する。したがって、タッチ面上のポインタ・コンタクトは、書き込みあるいは図面として記録されることが可能であり、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用できる。
上記のタッチ・システムは、非常に良く機能を発揮するが、ビジョン・ベースのタッチ・システムの改良が連続して求められている。
したがって、タッチ面に対応するポインタを検出するための新規な装置及び方法を提供することが、本発明の目的である。
本発明の１つの態様によれば、間隔を置いて配置され、タッチ面を包含して重なり合う視界を有する少なくとも２つの撮像デバイスを有し、タッチ面に対するポインタを検出する装置が提供される。撮像デバイスは、タッチ面を３次元で斜視図として見る。撮像デバイスは、異なる位置から画像を取得する。プロセッサは、タッチ面に対するポインタの位置を決定するために、少なくとも１つの撮像デバイスにより生成された画像データを受信し処理する。
各撮像デバイスは、各撮像デバイスの斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために、較正される。各撮像デバイスは、取得した画像内でポインタが捕捉されると、ポインタ座標データを生成する。プロセッサは、タッチ面に対するポインタの位置を決定するために、ポインタ座標データを三角測量する。
１つの実施態様においては、装置は一対の撮像デバイスを有し、各撮像デバイスはタッチ面の異なるコーナーに隣接して配置されている。各撮像デバイスは、タッチ面から間隔を置いて配置され、タッチ面の前方に間隔を置いて配置されている。各撮像デバイスは、タッチ面の周囲の全体が最低でも各撮像デバイスの斜視図内に納まるように、タッチ面に対して配置されている。
１つの実施態様においては、較正の間に、タッチ面上の較正点（Ｘ、Ｙ、Ｚ）と較正点に対応する像点（ｘ、ｙ）が測定される。撮像デバイスの外部及び内部オリエンテーション・パラメタを決定するために、測定された較正点と像点を使用して、共線性方程式が解かれる。共線性方程式は、最小二乗法を使用して解かれる。較正点は、タッチ面のコーナー及びエッジ中点のようなタッチ面の周囲に沿って間隔を置いた位置にある。別の実施態様においては、撮像デバイスの外部オリエンテーション・パラメタは、消失点法を使用して決定される。さらに別の実施態様においては、撮像デバイスの外部及び内部オリエンテーション・パラメタは、平面相同を使用して決定される。さらに別の実施態様においては、撮像デバイスの外部オリエンテーション・パラメタは、３点法を使用して決定される。
１つの実施態様においては、各撮像デバイスは、撮像デバイスが取得した画像のポインタを確かに識別した確実度を表す確実度値を生成する。確実度値は、タッチ面に対するポインタの位置を決定するために使用されるポインタ座標データを決定するために、プロセッサにより使用される。撮像デバイスに関連する確実度値がスレッショルド・レベル以下である場合は、プロセッサは撮像デバイスにより生成されたポインタ座標データを無視する。
本発明の別の態様によれば、ポインタを使用してコンタクトが行われる全体として長方形の受動タッチ面を有するカメラ・ベースのタッチ・システムが提供される。カメラ・デバイスは、タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されている。カメラ・デバイスのそれぞれは、タッチ面に向かって全体を見渡せるような視界を有し、タッチ面の平面の前方に配置されている。カメラ・デバイスの視界は、タッチ面の上に重なり合っている。カメラ・デバイスは、タッチ面の画像を取得する。三角測量によってタッチ面に対するポインタの位置を決定するために、プロセッサは画像データを受信し処理する。
本発明のさらに別の態様によれば、タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスを有し、全体として長方形のタッチ面に対するポインタを検出する装置が提供される。撮像デバイスはタッチ面を３次元で斜視図として見ており、斜視図は最低でもタッチ面の４つのコーナーを含んでいる。撮像デバイスは、重なり合う画像を異なる位置から取得する。プロセッサは、タッチ面に対するポインタの位置を三角測量を使用して決定するために、少なくとも１つの撮像デバイスにより生成された画像データを受信し処理する。
撮像デバイスはタッチ面を３次元で斜視図として見ているので、撮像デバイスはタッチ面全体とその周囲のエリアを見ているという点で、本発明は利点を提供している。その結果、画像処理の間に、撮像デバイスにより収集した画像の全体を処理する必要は無く、タッチ面の境界内の情報に対応するピクセルのみを処理すればよい。タッチ面の外部のエリアで起きている雑音及び他の異常は、無視することができる。さらに、撮像デバイスの３次元の斜視図は、利用者の介入を必要とせずに、装置が自動的に較正され、継続して較正されることを可能にする。さらに、撮像デバイスの３次元の斜視図は、撮像デバイスの視界の中に出現する各ポインタに、（ｘ、ｙ、ｚ）座標を割り当てることを可能にする。したがって、本装置はタッチ面に接触する複数のポインタの間のあいまいさを排除することが可能である。
さらに本発明は、撮像デバイスが携帯用であるので、撮像デバイスをタッチ面に向けて基本的に任意の表面に使用可能である利点を提供する。撮像デバイスは、タッチ面に向かって全体を見渡せるような撮像デバイスの視界が表面のコーナーを見るように、かつ、表面を取り囲んでいる任意のベゼルあるいは枠組みにより妨害されないように、表面から十分な距離だけ前方に差し出される必要がある。タッチ面を３次元で斜視図として見る携帯用の撮像デバイスの使用は、任意の大きさの、あるいは湾曲したタッチ面もサポートする。
ここで図１から図３を参照すると、タッチ面に対応するポインタを検出する装置が示されており、全体として参照番号５０により識別されている。本実施形態においては、装置５０はタッチ・システムの形式であり、タッチ面５４を有するタッチ・スクリーン５２を含んでいる。タッチ面５４の上にポインタ・コンタクトが行われる。タッチ・スクリーン５２は、たとえば、プラズマ・ディスプレイ、高精細度テレビジョン（ＨＤＴＶ）、液晶表示装置（ＬＣＤ）、または、タッチ面５４の上に画像を表示する同等物のような、フラット・パネル表示装置である。ベゼル５６が、タッチ面５４を取り囲んでいる。一対の撮像組立体５８が、タッチ・スクリーン５２の一番上のコーナーに隣接して位置している。撮像組立体５８は相互に交信しており、また、１つまたは複数のアプリケーション・プログラムを実行するコンピュータ６０とも交信している。コンピュータ６０は、タッチ面５４に行われたポインタ・コンタクトの位置を判定し、ポインタ・コンタクトに応じてタッチ面５４の上に表示された画像を更新するために、撮像組立体５８により生成されたポインタ座標データを処理する。したがって、タッチ面５４上のポインタ・コンタクトは、書き込みあるいは描画として記録可能であり、すなわち、コンピュータ６０により実行されるアプリケーション・プログラムの実行を制御するために使用することができる。
ここで図４に転じると、撮像組立体５８の一方がより詳細に例示されている。図からわかるように、撮像組立体５８は、タッチ・スクリーン５２のコーナーに対して補完するように成形されたハウジング７２を有する。ハウジング７２の構造（図示せず）は、撮像組立体５８が、タッチ・スクリーンのコーナーに対して所定の位置に固定されることを可能にする。しかし、撮像組立体５８はタッチ・スクリーン５２から取り外し可能であり、撮像組立体５８をポータブルにすることが可能である。ディジタル・カメラ７４は、ハウジング７２に収容され、タッチ面５４の平面から約２.５センチメートルに等しい距離だけ前方に配置されている。ディジタル・カメラ７４とタッチ面５４の平面との間のこの距離は、ベゼル５６がディジタル・カメラ７４の視界を妨害しないように選択されており、ディジタル・カメラがタッチ面５４の全体を見ることを可能にする一方で、画像データの有用な３次元処理を可能にする。さらに、ディジタル・カメラ７４は、タッチ面５４から約１０センチメートルに等しい距離だけ上に配置されている。ディジタル・カメラ７４は、その視界（ＦＯＶ）がタッチ面５４の全体を見渡せるように（looks back at and across）向けられている。したがって、ディジタル・カメラ７４は、４つのコーナーを含むタッチ面５４を斜視図として３次元で見渡す。ディジタル・カメラ７４の光軸は、タッチ・スクリーン５２の一番上のコーナーと一致しており、タッチ・スクリーン５２の上端縁（top edge）に対して約４５度に等しい角度を形成している。
さらに、ハウジング７２は、ディジタル・カメラ７４と画像処理回路８０が、図５に示すように搭載された回路基板を収容している。図からわかるように、画像処理回路８０は、ディジタル・カメラ７４と静止形のランダム・アクセス・メモリ（ＳＲＡＭ）８４に結合されたディジタル信号処理プロセッサ（ＤＳＰ）８２を有する。ディジタル信号処理プロセッサ８２は、データ・バス８６を介してコンピュータ６０と交信する。ディジタル・カメラ７４は、ナショナル・セミコンダクターにより型番ＬＭ９６１８として製造されているような６４０×４８０のピクセル配列を有する高分解能のＣＭＯＳディジタル・カメラ、及び関連するレンズ８８である。ディジタル信号処理プロセッサ８２は、アナログ・ディバイシズ社によりＢｌａｃｋｆｉｎＢＦ５３３の型番で製造されている形式のものであり、ディジタル信号処理プロセッサの処理を中断せずに、ディジタル・カメラ７４からＳＲＡＭ８４へ画像データの高速転送を可能にする特徴を有している。
タッチ・システム５０の一般的な動作を、最初に説明する。ポインタがディジタル・カメラ７４の視界の中に入り、タッチ面５４に接触すると、各ディジタル・カメラ７４はポインタを含む画像を取得する。各撮像組立体５８のディジタル信号処理プロセッサ８２は、画像データをディジタル・カメラ７４からＳＲＡＭ８４へ転送し、次に、ディジタル・カメラ７４から見たタッチ面５４の境界線を記述する数学モデルと画像データを比較する。これは、関連するピクセルのみを含む捕捉した画像のピクセル・サブセットを処理することを可能にする。次いで、各撮像組立体５８のディジタル信号処理プロセッサ８２は、捕捉した画像の中のポインタの（ｘ、ｙ）位置を判定するために、ピクセル・サブセットを処理する。次いで、撮像組立体５８はこのポインタ座標データをコンピュータ６０に転送し、タッチ面５４の上のポインタ・コンタクトの（Ｘ、Ｙ、Ｚ）位置を三角測量を使用して計算するために、コンピュータ６０はこのポインタ座標データを使用する。次に、ポインタ位置データは、コンピュータ６０により書き込みあるいは描画として記録されるか、あるいはマウスあるいは他のイベントと解釈される。
タッチ面５４に対するポインタ・コンタクトを三角測量を使用して正確に計算するために、捕捉した画像内の特定の点がタッチ面５４（「シーン」）上の物理的な３次元の位置にどのように関連しているかを、撮像組立体５８のいずれか、あるいは、双方が知るように、タッチ・システム５０は較正される必要がある。較正の間に、各撮像組立体５８が観察する３次元のシーン内の任意の点と収集された２次元画像内の任意の点の間の関係を確立する変換が、確立される。タッチ・システム５０がセットアップされたときには、タッチ面５４に対するディジタル・カメラ７４の位置と方向に関する事前の情報は未知であるから、このステップが必要である。
３次元のシーン内の点と捕捉した画像におけるその２次元の位置の間の関係は、共線性方程式にしたがって、次のように要約される。
ここで、
（ｘ、ｙ）は、３次元シーン内の点（Ｘ、Ｙ、Ｚ）に対応する捕捉した画像内の点の座標であり、
（ｘ0、ｙ0）は、ディジタル・カメラ７４の主点、すなわち、光軸が焦点面に対してほぼ直角を成す状態でディジタル・カメラの光軸がディジタル・カメラの焦点面と交わる位置、の座標であり、
（Δx、Δy）は、レンズ８８の不完全な性質のために導入される歪曲項を表し、
ｆは、ディジタル・カメラの焦点距離であり、
（Ｒ1、Ｒ2、Ｒ3）は、点（Ｘ、Ｙ、Ｚ）と、ディジタル・カメラの光学的中心の空間的位置（Ｘ0、Ｙ0、Ｚ0）と、タッチ面５４の３次元座標系に対するディジタル・カメラの光軸の方位角（ω、φ、κ）に依存する項である。
上記の共線性方程式は、ピンホールモデルを表す。したがって、各ディジタル・カメラ７４は、ディジタル・カメラの光学的中心（焦点）の位置における非常に小さい開口として理想化されており、それは３次元空間におけるディジタル・カメラの位置であると考えられる。ディジタル・カメラの視界の３次元の性質は、ディジタル・カメラがベゼル５６越しに見ることを可能とし、タッチ面５４が平坦であると仮定すればタッチ面の平面の判定を可能とし、任意の点においてポインタがタッチ面５４と接触しているか、あるいはタッチ面５４のうえでホバリングしているかの判定を可能とし、かつ、タッチ面５４に対応するポインタの位置の判定を可能とする、という点で重要である。
上記の共線性方程式は、座標（Ｘ、Ｙ、Ｚ）を有する３次元シーン内の点が、点（ｘ、ｙ）において２次元画像に投影されていることを表している。共線性方程式を使用して変換を確立するために、ディジタル・カメラ７４の、外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）、及び、ω、φ、κ、及び、内部オリエンテーション・パラメタｆ、ｘ0、ｙ0、及び、Δx、Δyを判定する必要がある。
各レンズ８８の歪みは、ラジアル・ディストーション及び偏心歪曲の双方に具体的に関連する項により表すことが可能である。各レンズ８８と捕捉した画像データの相対性原理低品質のために、本実施形態では、１次のラジアル・ディストーション項のみが記録される。結果として、レンズの歪曲項は次式で表現できる。
したがって、レンズの歪みは、パラメタＫ1によって要約できる。
十分理解されるように、各ディジタル・カメラを較正するためには、各ディジタル・カメラ７４に対して１０個の（１０）パラメタを共線性方程式から決定する必要がある。すなわち。
本実施形態においては、タッチ・システム５０を較正するために、自己較正技術が使用される。自己較正は、オブジェクト上の基準点の３次元の位置が既知であり、同じ点の２次元の位置がオブジェクトの１つまたは複数の画像で測定可能であれば、これらのデータは、画像を収集する撮像組立体の位置と、撮像組立体の角方位（angular orientation）と、撮像組立体のレンズに関連するパラメタと、を完全に特定するという事実にもとづいている。
３次元空間におけるディジタル・カメラ７４の位置（Ｘ0、Ｙ0、Ｚ0）は、絶対単位（たとえば、センチメートル）で、あるいは、たとえばタッチ面５４の短いほうの寸法のような基準長に対応する長さの単位を仮定することにより、相対的な項で測定可能である。各ディジタル・カメラの角方位は、３つの角度、ω、φ、κにより表され、各ディジタル・カメラ７４に対する回転行列Ｒを定義することを可能にする。回転行列Ｒは、３次元シーンの座標系とディジタル・カメラの座標系の間の変換を記述する。各ディジタル・カメラ７４に対する焦点距離ｆ、主点（ｘ0、ｙ0）、及びレンズの歪曲係数の計算は、これらのディジタル・カメラ・パラメタの正確な値が既知であれば、不要である。
自己較正の間は、タッチ面５４はＸ−Ｙ平面に対応し、Ｚ軸はタッチ面の平面におおむね直角を成す角度でタッチ面５４から外方向に指向していると仮定される。多数のシーン・ポイント（Ｘ、Ｙ、Ｚ）に対応する画像位置（ｘ、ｙ）が画像から測定され、シーン・ポイントの位置（Ｘ、Ｙ、Ｚ）が既知（たとえば、センチメートルで）であれば、共線性方程式は、各点に対して設定可能であり、外部及び内部オリエンテーション・パラメタを決定するために、最小二乗法を使用して解くことができる。共線性方程式モデルの非線形性のために、最小二乗法が使用される。
本実施形態においては、最小二乗法の良い解を得るのに十分である１６個の（１６）数式と１０個の（１０）未知数が与えられるように、タッチ面５４の周囲に８個の（８）較正点が選択される。特に、４つのコーナーとタッチ面５４の各側縁に沿った中点が較正点として選択される。何故ならば、これらの較正点における（Ｘ、Ｙ）位置は、測定容易であり、再現可能な較正点を提供し、ユーザーによって容易に位置を指定され、これらの（Ｘ、Ｙ）位置のそれぞれにおいてＺ＝０センチメートルである。対応する像点は、画像内に捕捉された較正点におけるポインタの位置を測定することにより、あるいは、捕捉された画像内の較正点におけるマーカーの位置を測定することにより、定められる。
ここで図６に転じて、自己較正の間に実行される一般的なステップを例示するフローチャートを示す。初めに、タッチ面５４上の較正点の（Ｘ、Ｙ、Ｚ）位置が決定される（ステップ１００）。具体的にいうと、タッチ面５４上の較正点の位置は、タッチ面のコーナーの位置と、座標原点として指定されるタッチ面のコーナーの１つに関連するその側縁の中点を測定することにより、決定される。あるいは、タッチ面５４のアスペクト比が既知であれば、タッチ面の短いほうの寸法を長さの単位であると考えることができ、コーナーの相対位置と側縁の中点の決定を可能にする。次に、画像における較正点の（ｘ、ｙ）位置が画像処理（ステップ１０２）によって決定される。後に説明するように、このとき外部の画像処理からの初期推測入力を伴う可能性がある（ステップ１０４）。次に、望まれる場合には、内部オリエンテーション・パラメタを含む較正の解が計算される（ステップ１０６）。計算された解が初期推測入力にもとづいていれば、最小二乗法による改善が計算される（ステップ１０８）。
タッチ・システム５０が較正されると、タッチ面５４上の、あるいは、タッチ面５４と接触しているポインタの３次元位置を三角測量によって計算することができる。三角測量の間には、すべてのカメラ・オリエンテーション・パラメタは既知であると仮定され、一方のあるいは双方のディジタル・カメラ７４によって捕捉された画像からの対応する（ｘ、ｙ）測定を仮定して、ポインタ位置（Ｘ、Ｙ、Ｚ）が決定されるべきである。図７は、タッチ面に対するポインタ・コンタクトの位置を決定するために、ポインタ座標データの三角測量の間に実行される一般的なステップを例示するフローチャートである。ポインタを含む撮像組立体５８により画像が捕捉されると、各捕捉した画像におけるポインタの位置を（ｘ、ｙ）座標で決定するために、画像データはディジタル信号処理プロセッサ８２により処理される。次に、ディジタル信号処理プロセッサ８２は、このポインタ座標データをコンピュータ６０に出力する（ステップ１２０）。また、各ディジタル信号処理プロセッサ８２は、ディジタル信号処理プロセッサ８２が捕捉した画像内の実際のポインタを確かに識別した確実度を表すポインタ位置確実度推定値を出力する。両方の撮像組立体５８のディジタル信号処理プロセッサ８２からポインタ座標と確実度推定値データを受信するコンピュータ６０は（ステップ１２２及び１２４）、一方のあるいは両方の撮像組立体により戻されたポインタ座標データを使用するか否かについて、確実度推定値にもとづいて決定する。（ステップ１２６）一般に、両方のディジタル信号処理プロセッサ８２により生成されたポインタ座標データが、コンピュータ６０により使用される。しかし、一方のディジタル信号処理プロセッサ８２により生成されたポインタ座標データに関連する確実度推定値が、スレッショルド・レベル、この場合には５０％、以下であり、ポインタ座標データの正確さが低い確実度を表していれば、そのポインタ座標データは無視され使用されない。
次に、前述の共線性方程式を使用して、両方の撮像組立体５８からのポインタ座標データを使用して（ステップ１２８）、あるいは、一方の撮像組立体５８からのポインタ座標データを使用して（ステップ１３０）三角測量が実行される。共線性方程式は画像位置（ｘ、ｙ）を空間的位置（Ｘ、Ｙ、Ｚ）に関係づけるので、ポインタに対して固有の（Ｘ、Ｙ、Ｚ）空間的位置を計算するためには、２つの（ｘ、ｙ）位置、各ディジタル・カメラ７４から１つ、が必要である。これは、４つの数式と３つの未知数をもたらす。共線性方程式は、１次の最小二乗問題を作るために再整理され、三角測量を効率的な手順にする。この場合に三角測量の結果はポインタに対する（Ｘ、Ｙ、Ｚ）空間的位置を与えるので、撮像組立体５８の視界内に出現する複数のポインタは、別々に追跡可能であり、したがってポインタの一義化をもたらす。
１つの撮像組立体５８からのポインタ座標データを使用して三角測量を行う場合には、Ｚ＝０（センチメートル）と仮定される。この場合に、共線性方程式の未知数の１つは除外される。言い換えれば、空間的位置（Ｘ、Ｙ）は画像位置（ｘ、ｙ）から決定される。１つの撮像組立体５８からの画像を使用することは、撮像組立体５８の１つがポインタを見ることが不可能である場合でも、タッチ・システム５０がタッチ面５４とのポインタ・コンタクトを決定できる利点がある。
三角測量の結果が得られると、望まれる場合には、三角測量の結果は非線形の最小二乗法技術を使用して改良できる。
タッチ面５４の全体を周囲の領域と共に３次元で斜視図として見る撮像組立体５８の使用には利点がある。たとえば、画像処理の間に、タッチ面５４の境界と交差するポインタは、タッチ面に接触する前に認識することが可能である。この情報は、画像処理を境界のクロス・オーバー点に隣接する関連するピクセル・サブセット内のピクセルに制限するために、ディジタル信号処理プロセッサ８２によって使用できる。さらに、タッチ・システム５０は、影とオブジェクトの識別を備えている。一般的には、ポインタがタッチ面５４に向かって進んでくると、撮像組立体５８の一方は他方に先立ってポインタを見るであろう。先にポインタを認めた撮像組立体は、ポインタの位置を指定するために検査されるべきその関連するピクセル・サブセットの領域を識別して、他の撮像組立体にポインタ情報を提供することができる。これは、正確かつ迅速にポインタの位置を指定する確率を増加するのに役立つ。平面相同（planar homography）は、２つのディジタル・カメラの焦点面を相互に関係づけるために使用され、ポインタ情報が複数の撮像組立体５８の間で効率的に交換されることを可能にする。
他の方法は、基本行列あるいは密接に関連する本質行列として公知の存在によって、複数の撮像組立体の視界の間の異なる関係を使用する。ここで、点の位置が１つのディジタル・カメラの視界内で既知であれば、基本行列は、この点を他のディジタル・カメラの画像内の線に変換する。したがって、対応点の位置を指定するためには、（エピポーラー・ラインとして公知の）この線に沿って画像を捜索することだけが必要である。この方法は、第２のディジタル・カメラの視界内の捜索領域を厳格に制限し、誤検出の排除に役立つ利点を有する。
上述の実施形態においては、撮像組立体５８は、タッチ面５４の平面の前方の約２.５センチメートルに等しい距離に配置されるとして、示されている。前述のように、この距離はベゼル５６がタッチ面５４の全体の撮像組立体の視界を遮らないことを保証している。しかし、撮像組立体５８がタッチ面５４の平面の前方に配置される距離は環境によっては当然変えることが可能である。この距離は、処理しなければならないタッチ面の境界に対応する関連するピクセル・サブセットのサイズに影響する。撮像組立体５８は、少なくとも、タッチ面５４の４つのコーナーが視界内に収まるように、配置される。図８ａから８ｄは、タッチ面５４は対角線の長さが８４インチ、アスペクト比が４：３であると仮定して、異なる距離に対する処理しなければならない捕捉した画像内のピクセル行の数を示す。十分理解されるように、距離が増加すれば、捕捉した画像内の処理を必要とするピクセル行の数も増加する。
自己較正技術を説明したが、タッチ・システム５０を較正するためには、他の技術も使用できる。たとえば、タッチ面５４に対する消失点は、 Kanatani による「機械 Vison のための幾何学的計算」、Oxford University Press、Oxford 1993、と題する論文に説明されているように決定することが可能である。あるいは、Hartley 他による「コンピュータ・ビジョンにおける複数の視界の幾何学的配列」と題する論文、Cambridge University Press、Cambridge 2001、に説明されているような平面相同、あるいは、Wrobel による「コンピュータ・ビジョンにおけるカメラの較正と方位における方位の最小解」と題する論文、Springer-Verlag、New York 2001、に説明されているような３点法が、タッチ・システムを較正するために使用できる。
消失点法の間に、タッチ面５４の形は一般に長方形であるという事実が、外部オリエンテーション・パラメタの計算に利用される。この場合に、ディジタル・カメラ画像内のタッチ面５４の周縁を見出すことにより、タッチ面の２組の平行な周辺の側縁に対応する消失点は、外部オリエンテーション・パラメタを完全に定めるために、使用することができる。タッチ・システムにおいては、消失点は有限である、すなわち、消失点はディジタル・カメラ画像の境界内に位置し、回転行列Ｒを定めるように作用する。長さの単位を仮定すれば、次にディジタル・カメラの位置を決定でき、外部オリエンテーション・パラメタの決定は完了する。消失点は、Foerstner による「回転の評価について」と題する論文、T.U. Munchen、1999、に説明されているように、ディジタル・カメラの焦点距離と主点を定めるためにも使用できる。十分理解されるように、２つの消失点はタッチ・システムに対する３次元の座標系を定め、それから他のすべてが後に続く。この方法を使用する場合、決定した外部オリエンテーション・パラメタを最小二乗法を使用して改良することが望ましい。
平面相同較正法は、タッチ面５４の平面上の点からディジタル・カメラの像面上の点に関する。いくつかのシーン・ポイントに対応する多数の像点の位置を測定することにより、相同行列の９つの構成要素を定めることが可能である。これが完了すると、相同行列は、回転行列Ｒと３次元空間内のディジタル・カメラの位置を表すベクトルに分解することが可能である。この較正法の使用は、ディジタル・カメラの内部オリエンテーションに関して、いくつかの仮定をすることを必要とする。しかし、これらの仮定をする必要は、前述の Hartley 他による論文に説明されているような絶対円錐の画像として公知の他の行列構成要素として相同行列を書き直すことにより避けることができる。この行列構成要素は、その特異値分解によってディジタル・カメラの焦点距離と主点の直接推定を提供する。
３点較正法は、基本的な三角法と３つの点が平面を定めるという事実を利用する。３次元シーン内の３つの点の位置とその間の距離が既知であり、三角形を形成していれば、これらの点の画像位置は３点の間の角度を定めるために使用できる。この情報は、ディジタル・カメラの光学的中心から３つの点迄の距離を解くに十分であり、したがって、空間内におけるディジタル・カメラの位置を与える。次に、像点の後続の処理は、回転行列Ｒの推定値を提供する。この方法は最小のデータ・セットから方位を与えるので、方位を改良するための最小二乗法を初期化するために使用でき、したがって、較正の間にステップ１０４において初期推測入力を提供するために使用できる。
上述の較正技術は、回転行列Ｒによって空間内の各ディジタル・カメラ７４の方位を定めるために、３つの角度を利用するが、代案が利用できる。たとえば、回転行列Ｒを定めるよりも、空間内の各ディジタル・カメラの方位は、「四元数」として公知の実体にもとづいて決定できる。四元数は、前述の Foerstner による論文で説明したように、いくつかの性質を有する４要素のベクトルである。四元数要素は、−１と１の間の値のみをとり、要素の１つは１であるように制約されている。これは、値の急激な変化に関連する問題を回避し、最小二乗法を使用して収束を大幅に支援する。十分理解されるように、角度を測る場合、ある種の角度変化は、たとえば３５９度から０度と同じである３６０度に角度が変化する場合のような難点を作り出す。
図９は、タッチ面５４に対するポインタを検出する装置の他の実施形態を示す。この実施形態においては、ディジタル・カメラ１７４の両方は、単一のハウジング１７２の中にその両端に隣接して収容されている。ハウジング１７２は、ベゼル５６の上端縁に重なっており、ディジタル・カメラ１７４がタッチ・スクリーンの一番上のコーナーに隣接して位置するように、タッチ・スクリーン５２に架かっている。
タッチ面を３次元で斜視図として見渡す撮像組立体は、その内容が参考文献として本明細書に包含され、本発明の譲受人である SMART Technologies Inc.に譲渡された、２００４年１月２日に出願された Hill 他の米国特許出願（番号不明）に説明されているような、大規模なタッチ・システムと連係して使用することも可能である。たとえば、図１０は、大規模なタッチ・システムに対するディジタル・カメラの配置を示す。本実施形態においては、ディジタル・カメラＣ1からＣ8は、タッチ面２５４の最上部に沿って、タッチ面の全体を見渡せるように設けられている。特に、ディジタル・カメラＣ1とＣ8は、タッチ面２５４の一番上の左のコーナーと一番上の右のコーナーに配置されている。ディジタル・カメラＣ2及びＣ3、Ｃ4及びＣ5、Ｃ6及びＣ7の中間対は、タッチ面２５４の最上部に沿って間隔を置いた位置に配置されている。ディジタル・カメラの視界は、点線により示されている。図からわかるように、タッチ面２５４上の各位置が少なくとも２つのディジタル・カメラの視界の中に含まれるように、カメラの視界は重なり合っている。これは当然ながら、上述したと同じ方法で三角測量を使用して、タッチ面２５４の全体にわたってポインタの追跡を可能にする。
図１１は、別の大規模なタッチ・システムのディジタル・カメラの配置を示す。本実施形態においては、均一に間隔を置いたディジタル・カメラＣ1からＣ7は、タッチ面３５４の上端縁の上に、タッチ面の全体を見渡せるように配置されている。ディジタル・カメラの視界は点線により示されており、図からわかるように、ディジタル・カメラの視界は、タッチ面上の各位置が少なくとも２つのディジタル・カメラの視界の中に含まれるように、重なり合っている。再び、これは、上述したと同じ方法で三角測量を使用して、タッチ面３５４の全体にわたってポインタの追跡を可能にする。本実施形態においては、タッチ面３５４上の大部分の位置は、３つ以上のディジタル・カメラの視界の中に含まれ、各ポインタ・コンタクトに対して複数の三角測量の結果が生成されることを可能にする。ポインタ・コンタクトの位置によって、ポインタ・コンタクトの位置を決定するために使用される三角測量の結果を選択するために、異なる論理を使用することができる。
たとえば、図１２ａに示すように、タッチ面３５４上のポインタＰの位置は、ディジタル・カメラＣ1とＣ2により捕捉された画像から導出されたポインタ情報を三角測量することによって、また、おそらく、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報を三角測量することによって、計算することができる。この後者の場合に、ディジタル・カメラＣ1とＣ3、ならびに、ディジタル・カメラＣ2とＣ3によって捕捉された画像から導出されたポインタ情報は、三角測量されることが可能であり、複数の三角測量の結果をもたらす。複数の三角測量の結果は、単一のポインタ位置を得るために、平均するか、あるいは他の論理によって処理することができる。ディジタル・カメラＣ3がポインタＰから離れすぎていると見なされれば、ディジタル・カメラＣ3からの結果は無視できる。あるいは、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報は、ディジタル・カメラＣ3の一定の近傍にポインタがいつ到達するかを判定するために、ポインタを追跡するために使用できる。ポインタがディジタル・カメラＣ3の一定の近傍に到達するときに、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報は、タッチ面３５４上のポインタの位置を判定するために、三角測量することができる。
図１３ｂから１３ｃは、タッチ面３５４上のポインタの別の位置と、ディジタル・カメラにより捕捉された画像から導出できるさまざまな三角測量の結果を示す。
ディジタル・カメラを組合せることにより、さまざまな対のディジタル・カメラはタッチ面の１部のみを見る必要があるので、湾曲したタッチ面及び非平坦なタッチ面をサポートすることができる。
十分理解されるように、撮像組立体は自己較正が可能であるので、撮像組立体は基本的に任意の表面に取り付けることが可能であり、その表面をタッチ面に変換する。
タッチ・システム５０は、撮像組立体のディジタル信号処理プロセッサと交信するコンピュータを有し、タッチ面に対するポインタの位置を判定するために三角測量を使用してポインタ座標データを処理するものとして説明したが、他の処理アーキテクチャーも当然使用可能である。たとえば、撮像組立体の１つのディジタル信号処理プロセッサは、ポインタ座標データの三角測量に関与するプロセッサとして作用することも可能である。
本発明の推奨実施形態を説明したが、添付した特許請求の範囲により規定される本発明の技術思想と範囲を逸脱せずに、変形及び修正が可能であることを、当業者は十分理解するであろう。
ここで、本発明による実施形態を、添付図面を参照して十分に説明する。
タッチ面に対応するポインタを検出するための装置の部分的に遠近法による略図である。 図１の装置の概略正面平面図である。 図１の装置の概略側面図である。 図１の装置の一部を形成する撮像組立体の斜視図である。 図４の撮像組立体の略ブロック図である。 図１の装置の較正の間に、実行されるステップを示すフローチャートである。 タッチ面上のポインタ・コンタクトの位置を判定するために、取得した画像から抽出されたポインタ・データの三角測量の間に、実行されるステップを示すフローチャートである。 撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。 撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。 撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。 撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。 タッチ面に対応するポインタを検出するための装置の別の実施形態の斜視図である。 タッチ面に対応するポインタを検出するための装置のさらに別の実施形態の正面図である。 タッチ面に対応するポインタを検出するための装置のさらに別の実施形態である。 図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。 図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。 図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。

Claims (18)

  1. タッチ面に対するポインタを検出する装置であって、
    前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記各撮像デバイスは、前記撮像デバイスが前記タッチ面を３次元で、前記タッチ面の境界を含む斜視図として見るように、前記タッチ面に向けられた視界を有し、前記撮像デバイスは異なる視点からの重なり合う画像を取得し、取得した画像内のピクセルのサブセットを決定するために、取得した画像と、前記タッチ面の前記境界を記述する数学モデルと、を比較し、画像データを生成するためにピクセルのサブセットを処理する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
    前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理する処理構成と、を有するタッチ面に対するポインタを検出する装置。
  2. 前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内にポインタが存在するときに各撮像デバイスはポインタ座標データを生成する請求項１記載の装置。
  3. 前記タッチ面に対する前記ポインタの前記位置を決定するために、前記処理構成は前記画像データを三角測量する請求項１記載の装置。
  4. 各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項１記載の装置。
  5. 各撮像デバイスは、前記タッチ面から間隔を置いて横方向に配置され、前記タッチ面の前方に配置される請求項４記載の装置。
  6. 前記タッチ面は、ベゼルによって境界を接せられる請求項１記載の装置。
  7. 各撮像デバイスの外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）及び（ω、φ、κ）が、較正の間に決定される請求項３記載の装置であって、
    （Ｘ0、Ｙ0、Ｚ0）は、前記撮像デバイスの前記光学的中心の前記空間的位置であり、
    （ω、φ、κ）は、前記タッチ面の前記３次元の座標系に対する前記撮像デバイスの前記光軸の前記方位角である請求項３記載の装置。
  8. 各撮像デバイスの内部オリエンテーション・パラメタｆ、ｘ0、ｙ0及びΔx、Δyが、較正の間に決定される請求項７記載の装置であって、
    （Δx、Δy）は、前記撮像デバイスのレンズの不完全な性質のために導入される歪曲項を表し、
    ｆは、前記撮像デバイスの前記焦点距離であり、
    （ｘ0、ｙ0）は、前記撮像デバイスの前記主点の前記座標である、装置。
  9. 前記関係は、共線性方程式を使用して次式のように表現される請求項８記載の装置であって、
    ここで、
    （ｘ、ｙ）は、前記３次元斜視図内の点（Ｘ、Ｙ、Ｚ）に対応する取得した画像内の点の前記座標であり、
    （Ｒ1、Ｒ2、Ｒ3）は、点（Ｘ、Ｙ、Ｚ）と、前記空間的位置（Ｘ0、Ｙ0、Ｚ0）と、前記方位角（ω、φ、κ）に依存する項である装置。
  10. 較正の間に、前記タッチ面上の較正点（Ｘ、Ｙ、Ｚ）と前記較正点に対応する像点（ｘ、ｙ）が測定され、前記共線性方程式は前記測定した較正点と像点を使用して解かれ、その結果により前記外部及び内部オリエンテーション・パラメタを決定する請求項９記載の装置。
  11. 各撮像デバイスは、前記取得した画像内の前記ポインタを前記撮像デバイスが確かに識別した確実度を表す確実度値も生成する請求項２記載の装置。
  12. 前記確実度値は、前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記処理構成により使用される請求項１１記載の装置。
  13. 前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記処理構成は前記撮像デバイスにより生成されたポインタ座標データを無視する請求項１２記載の装置。
  14. 前記撮像デバイスは、取得した画像内のポインタの決定を支援するために交信する請求項２記載の装置。
  15. 前記撮像デバイスの取得した画像内のポインタを検出する前記撮像デバイスは、他の撮像デバイスとデータを最初に交信し、前記撮像デバイスの取得した画像内のポインタを検出して前記他の撮像デバイスを支援する請求項１４記載の装置。
  16. ポインタを使用してコンタクトが行われる全体として長方形の受動タッチ面と、
    前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスであって、前記カメラ・デバイスのそれぞれは、前記タッチ面の前記平面の前方に配置され、前記タッチ面に向かって全体を見渡せるような視界を有し、前記カメラ・デバイスの前記視界は、前記カメラ・デバイスが前記タッチ面とその境界を斜視図に見るように、前記タッチ面の上に重なり合っており、前記カメラ・デバイスは、異なる視点から前記タッチ面の画像を取得し、前記タッチ面に全般的に対応する取得した画像内の関連ピクセルのサブセットを決定するために、前記取得した画像と、前記カメラ・デバイスによって見られる前記タッチ面の前記境界を記述する数学モデルと、を比較し、画像データを生成するために前記各取得した画像内の関連ピクセルの前記サブセットを処理する、前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスと、
    三角測量によって前記タッチ面に対する前記ポインタの前記位置を決定するために、前記画像データを受信し処理するプロセッサと、を有するカメラ・ベースのタッチ・システム。
  17. 全体として長方形のタッチ面に対するポインタを検出する装置であって、
    前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記撮像デバイスは、前記タッチ面の前方に間隔を置いて配置され、前記タッチ面を３次元で斜視図として見るように向いており、前記斜視図は前記タッチ面の少なくとも前記４つのコーナーと側部を含み、前記撮像デバイスは異なる視点からの重なり合う画像を取得し、取得した画像内の関連ピクセルのサブセットを決定するために、前記取得した画像と、前記タッチ面の前記境界を記述する数学モデルと、を比較し、画像データを生成するために前記取得した画像内の関連ピクセルの前記サブセットを処理する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
    三角測量を使用して前記タッチ面に対する前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理するプロセッサと、を有する全体として長方形のタッチ面に対するポインタを検出する装置。
  18. タッチ面に対するポインタを検出する装置であって、
    前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記各撮像デバイスは、前記タッチ面の前方にあり、前記撮像デバイスが前記タッチ面を３次元で、前記タッチ面の境界を含む斜視図として見るように、前記タッチ面に向けられており、前記撮像デバイスは異なる視点からの重なり合う画像を取得する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
    前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理する処理構成であって、前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内にポインタが存在するときに各撮像デバイスはポインタ座標データを生成し、各撮像デバイスの外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）及び（ω、φ、κ）が、較正の間に決定され、
    （Ｘ0、Ｙ0、Ｚ0）は、前記撮像デバイスの前記光学的中心の前記空間的位置であり、
    （ω、φ、κ）は、前記タッチ面の前記３次元の座標系に対する前記撮像デバイスの前記光軸の前記方位角である、前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理する処理構成と、
    を有するタッチ面に対するポインタを検出する装置。
JP2007511795A 2004-05-05 2005-04-28 タッチ面に対応するポインタを検出するための装置及び方法 Expired - Fee Related JP5122948B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/838,536 US7492357B2 (en) 2004-05-05 2004-05-05 Apparatus and method for detecting a pointer relative to a touch surface
US10/838,536 2004-05-05
PCT/CA2005/000636 WO2005106775A1 (en) 2004-05-05 2005-04-28 Apparatus and method for detecting a pointer relative to a touch surface

Publications (3)

Publication Number Publication Date
JP2007536652A JP2007536652A (ja) 2007-12-13
JP2007536652A5 JP2007536652A5 (ja) 2008-06-19
JP5122948B2 true JP5122948B2 (ja) 2013-01-16

Family

ID=35239003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007511795A Expired - Fee Related JP5122948B2 (ja) 2004-05-05 2005-04-28 タッチ面に対応するポインタを検出するための装置及び方法

Country Status (6)

Country Link
US (2) US7492357B2 (ja)
EP (2) EP1766501A4 (ja)
JP (1) JP5122948B2 (ja)
CN (1) CN101019096B (ja)
CA (1) CA2564262A1 (ja)
WO (1) WO2005106775A1 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) * 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US20060152482A1 (en) * 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US9442607B2 (en) * 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8264468B1 (en) 2007-06-19 2012-09-11 Imaging Systems Technology, Inc. Touch system for blue screen
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
CA2697856A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
US8330730B1 (en) 2007-09-04 2012-12-11 Imaging Systems Technology, Inc. Calibrating of interactive touch system for image compositing
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance
US20090128495A1 (en) * 2007-11-20 2009-05-21 Microsoft Corporation Optical input device
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090213093A1 (en) * 2008-01-07 2009-08-27 Next Holdings Limited Optical position sensor using retroreflection
CN101266530B (zh) * 2008-04-04 2012-12-12 中国海洋大学 大屏幕三维测量触摸屏
US20090278795A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Illumination Assembly Therefor
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
KR20110015461A (ko) * 2008-06-05 2011-02-15 스마트 테크놀러지스 유엘씨 다중 포인터 모호화 및 폐색화 해결
US20110074738A1 (en) * 2008-06-18 2011-03-31 Beijing Irtouch Systems Co., Ltd. Touch Detection Sensing Apparatus
CA2737251A1 (en) * 2008-09-15 2010-03-18 Smart Technologies Ulc Touch input with image sensor and signal processor
BRPI0822675B1 (pt) * 2008-09-15 2019-09-17 Hewlett-Packard Development Company, L.P. Sistema de display e método
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
CN102232209A (zh) * 2008-10-02 2011-11-02 奈克斯特控股有限公司 解决触摸检测系统中的多点触摸的立体光学传感器
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US20100201812A1 (en) * 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems
US20100207912A1 (en) * 2009-02-13 2010-08-19 Arima Lasers Corp. Detection module and an optical detection system comprising the same
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US7751671B1 (en) * 2009-03-25 2010-07-06 Next Holdings Limited Optical touchscreens comprising removably connected optical members
TWI399677B (zh) * 2009-03-31 2013-06-21 Arima Lasers Corp 光學偵測裝置及其方法
CN102460355B (zh) * 2009-04-05 2016-03-16 放射粒子工程有限公司 一体化输入和显示系统及方法
JP2010282463A (ja) * 2009-06-05 2010-12-16 Newcom Inc タッチパネル装置
TWI399676B (zh) * 2009-06-30 2013-06-21 Pixart Imaging Inc 觸控螢幕之物件偵測校正系統及其方法
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8692768B2 (en) * 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
KR100931520B1 (ko) * 2009-08-11 2009-12-14 (주)누리봄 위치 검출이 가능한 화상 표시 장치
KR20120058594A (ko) * 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US20110095989A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system and bezel therefor
US20110096034A1 (en) * 2009-10-23 2011-04-28 Sonix Technology Co., Ltd. Optical touch-sensing display
KR101097992B1 (ko) * 2009-11-05 2011-12-26 주식회사 스마트센스테크놀러지 지시물체의 위치인식장치
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
CN102713794A (zh) * 2009-11-24 2012-10-03 奈克斯特控股公司 用于手势识别模式控制的方法和装置
US20110205151A1 (en) * 2009-12-04 2011-08-25 John David Newton Methods and Systems for Position Detection
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US20110176082A1 (en) * 2010-01-18 2011-07-21 Matthew Allard Mounting Members For Touch Sensitive Displays
WO2011089538A1 (en) * 2010-01-25 2011-07-28 Naveen Chawla A stereo-calibration-less multiple-camera human-tracking system for human-computer 3d interaction
JP2011175543A (ja) * 2010-02-25 2011-09-08 Sanyo Electric Co Ltd 指示体検出装置及びタッチパネル
US20110234542A1 (en) * 2010-03-26 2011-09-29 Paul Marson Methods and Systems Utilizing Multiple Wavelengths for Position Detection
JP2011210188A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
US20110241988A1 (en) * 2010-04-01 2011-10-06 Smart Technologies Ulc Interactive input system and information input method therefor
US9092125B2 (en) 2010-04-08 2015-07-28 Avaya Inc. Multi-mode touchscreen user interface for a multi-state touchscreen device
US8338725B2 (en) 2010-04-29 2012-12-25 Au Optronics Corporation Camera based touch system
US20110285669A1 (en) * 2010-05-21 2011-11-24 Lassesson Kristian Electronic Devices Including Interactive Displays Implemented Using Cameras and Related Methods and Computer Program Products
KR20120005903A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 복합 감지 장치 및 이를 구비한 전자 기기
US20120007804A1 (en) * 2010-07-12 2012-01-12 Smart Technologies Ulc Interactive input system and method
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
WO2012025159A1 (en) * 2010-08-27 2012-03-01 Brainlab Ag Multiple-layer pointing position determination on a medical display
CN102446033A (zh) * 2010-10-12 2012-05-09 太瀚科技股份有限公司 光学触控定位系统与方法
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
WO2012094742A1 (en) * 2011-01-12 2012-07-19 Smart Technologies Ulc Method and system for manipulating toolbar on an interactive input system
TWI473497B (zh) * 2011-05-18 2015-02-11 Chip Goal Electronics Corp 物件追蹤裝置與應用物件追蹤裝置之互動影像播放系統，及相關方法
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
FR2976093B1 (fr) * 2011-06-01 2013-08-16 Thales Sa Systeme tactile a emetteurs et recepteurs optiques
WO2013067625A1 (en) * 2011-11-11 2013-05-16 Smart Technologies Ulc Interactive pointer detection with image frame processing
TWI446250B (zh) * 2011-12-05 2014-07-21 Wistron Corp 可攜式光學觸控系統及其操作方法
WO2013113101A1 (en) * 2012-02-02 2013-08-08 Smart Technologies Ulc Interactive input system and method of detecting objects
CN102778976B (zh) * 2012-02-07 2016-03-30 北京京东方光电科技有限公司 一种触摸屏上触摸点位置的确定方法和触摸屏
TWI471778B (zh) * 2012-03-12 2015-02-01 Wintek Corp 觸控裝置及其觸控感測方法
CA2866919C (en) 2012-03-30 2018-08-21 Smart Technologies Ulc Method for generally continuously calibrating an interactive input system
TWI475446B (zh) * 2012-04-24 2015-03-01 Wistron Corp 光學式觸控系統及其擷取訊號調整之方法
KR20140026252A (ko) * 2012-08-22 2014-03-05 동우 화인켐 주식회사 포인팅 표시장치
US9560343B2 (en) 2012-11-23 2017-01-31 Samsung Electronics Co., Ltd. Apparatus and method for calibrating multi-layer three-dimensional (3D) display
JP6241198B2 (ja) * 2012-12-07 2017-12-06 株式会社リコー 座標検知装置及び電子情報ボードシステム
CN105122134A (zh) * 2013-01-07 2015-12-02 塔玛歌控股有限公司 全景照相机
CN103488352B (zh) * 2013-08-27 2016-09-14 合肥工业大学 红外多点触摸屏的坐标捕获以及修正算法
US20150103054A1 (en) * 2013-10-14 2015-04-16 Touchjet Pte. Ltd. Photoelectric touch assembly, photoelectric touch method and projector with touch function
US10185445B2 (en) 2013-10-14 2019-01-22 Touchjet Pte. Ltd. Determining touch signals from interactions with a reference plane proximate to a display surface
US9317150B2 (en) * 2013-12-28 2016-04-19 Intel Corporation Virtual and configurable touchscreens
CN103743342B (zh) * 2013-12-31 2017-04-05 温康纳(常州)机械制造有限公司 同步浮雕视觉识别系统
DE102014000436A1 (de) * 2014-01-16 2015-07-16 Mbda Deutschland Gmbh Verfahren zur Bestimmung der Positionsdaten eines Zielobjekts in einem Referenzsystem und Verfahren zur Führung eines vorzugsweise als Flugkörper ausgebildeten Luftfahrzeugs
JP2015225570A (ja) * 2014-05-29 2015-12-14 富士通テン株式会社 操作装置
EP2985678B1 (en) * 2014-08-11 2019-04-24 Alpine Electronics, Inc. Position detection system and method of calibrating a position detection system
JP6464624B2 (ja) * 2014-09-12 2019-02-06 株式会社リコー 画像処理システム、画像処理装置、方法およびプログラム
US10146331B2 (en) 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
TWI582672B (zh) * 2015-01-20 2017-05-11 緯創資通股份有限公司 光學觸控裝置及其觸控偵測方法
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법
WO2019147612A1 (en) 2018-01-25 2019-08-01 Neonode Inc. Polar coordinate sensor
CN110500955B (zh) * 2019-08-20 2024-06-25 桂林电子科技大学 一种跨座式单轨的影像建模轨检车及检测方法
US11651516B2 (en) 2020-02-20 2023-05-16 Sony Group Corporation Multiple view triangulation with improved robustness to observation errors

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3025406A (en) * 1959-02-05 1962-03-13 Flightex Fabrics Inc Light screen for ballistic uses
US3860754A (en) * 1973-05-07 1975-01-14 Univ Illinois Light beam position encoder apparatus
US4144449A (en) 1977-07-08 1979-03-13 Sperry Rand Corporation Position detection apparatus
CA1109539A (en) 1978-04-05 1981-09-22 Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications Touch sensitive computer input device
US4243879A (en) * 1978-04-24 1981-01-06 Carroll Manufacturing Corporation Touch panel with ambient light sampling
US4558313A (en) 1981-12-31 1985-12-10 International Business Machines Corporation Indicator to data processing interface
US4507557A (en) 1983-04-01 1985-03-26 Siemens Corporate Research & Support, Inc. Non-contact X,Y digitizer using two dynamic ram imagers
DE3616490A1 (de) 1985-05-17 1986-11-27 Alps Electric Co Ltd Optische koordinaten-eingabe-vorrichtung
JPS61262917A (ja) 1985-05-17 1986-11-20 Alps Electric Co Ltd 光電式タツチパネルのフイルタ−
US4822145A (en) 1986-05-14 1989-04-18 Massachusetts Institute Of Technology Method and apparatus utilizing waveguide and polarized light for display of dynamic images
JPS6375918A (ja) 1986-09-19 1988-04-06 Alps Electric Co Ltd 座標入力装置
US4782328A (en) 1986-10-02 1988-11-01 Product Development Services, Incorporated Ambient-light-responsive touch screen data input method and system
US4893120A (en) * 1986-11-26 1990-01-09 Digital Electronics Corporation Touch panel using modulated light
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
US4811004A (en) * 1987-05-11 1989-03-07 Dale Electronics, Inc. Touch panel system and method for using same
US4990901A (en) * 1987-08-25 1991-02-05 Technomarket, Inc. Liquid crystal display touch screen having electronics on one side
US5109435A (en) 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
US5196835A (en) * 1988-09-30 1993-03-23 International Business Machines Corporation Laser touch panel reflective surface aberration cancelling
US5179369A (en) * 1989-12-06 1993-01-12 Dale Electronics, Inc. Touch panel and method for controlling same
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5097516A (en) 1991-02-28 1992-03-17 At&T Bell Laboratories Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging
US5196836A (en) * 1991-06-28 1993-03-23 International Business Machines Corporation Touch panel display
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
JPH05189137A (ja) * 1992-01-16 1993-07-30 Sumitomo Heavy Ind Ltd 計算機用コマンド入力装置
GB9201949D0 (en) 1992-01-30 1992-03-18 Jenkin Michael Large-scale,touch-sensitive video display
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
DE69331433T2 (de) 1992-10-22 2002-10-02 Advanced Interconnection Technology, Inc. Einrichtung zur automatischen optischen Prüfung von Leiterplatten mit darin verlegten Drähten
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5751355A (en) * 1993-01-20 1998-05-12 Elmo Company Limited Camera presentation supporting system
US5502568A (en) 1993-03-23 1996-03-26 Wacom Co., Ltd. Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's
US5359155A (en) 1993-03-25 1994-10-25 Tiger Scientific Corp. Illumination apparatus for a digitizer tablet
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
US5729704A (en) 1993-07-21 1998-03-17 Xerox Corporation User-directed method for operating on an object-based model data structure through a second contextual image
US5490655A (en) * 1993-09-16 1996-02-13 Monger Mounts, Inc. Video/data projector and monitor ceiling/wall mount
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
US5484966A (en) 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
GB2286100A (en) 1994-01-19 1995-08-02 Ibm Touch-sensitive display apparatus
US5577733A (en) 1994-04-08 1996-11-26 Downing; Dennis L. Targeting system
US5771039A (en) 1994-06-06 1998-06-23 Ditzik; Richard J. Direct view display device integration techniques
US5737740A (en) 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5638092A (en) 1994-12-20 1997-06-10 Eng; Tommy K. Cursor control system
JPH08179888A (ja) * 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5554828A (en) 1995-01-03 1996-09-10 Texas Instruments Inc. Integration of pen-based capability into a field emission device system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5736686A (en) 1995-03-01 1998-04-07 Gtco Corporation Illumination apparatus for a digitizer tablet with improved light panel
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP3436828B2 (ja) 1995-05-08 2003-08-18 株式会社リコー 画像処理装置
US5734375A (en) * 1995-06-07 1998-03-31 Compaq Computer Corporation Keyboard-compatible optical determination of object's position
US5786810A (en) 1995-06-07 1998-07-28 Compaq Computer Corporation Method of determining an object's position and associated apparatus
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH09190284A (ja) 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
TW394879B (en) 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6208329B1 (en) * 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
US5936615A (en) 1996-09-12 1999-08-10 Digital Equipment Corporation Image-based touchscreen
US5819201A (en) 1996-09-13 1998-10-06 Magellan Dis, Inc. Navigation system with vehicle service information
JPH10124689A (ja) 1996-10-15 1998-05-15 Nikon Corp 画像記録再生装置
WO1998019201A1 (en) * 1996-10-29 1998-05-07 Xeotron Corporation Optical device utilizing optical waveguides and mechanical light-switches
US6061177A (en) 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US5914709A (en) 1997-03-14 1999-06-22 Poa Sana, Llc User input device for a computer system
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
JP3876942B2 (ja) 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6346966B1 (en) * 1997-07-07 2002-02-12 Agilent Technologies, Inc. Image acquisition system for machine vision applications
US6161066A (en) 1997-08-18 2000-12-12 The Texas A&M University System Advanced law enforcement and response technology
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
TW449709B (en) 1997-11-17 2001-08-11 Hewlett Packard Co A method for distinguishing a contact input
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
EP1717679B1 (en) 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
AU2439399A (en) * 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
JP2000089913A (ja) 1998-09-08 2000-03-31 Gunze Ltd タッチパネル入力座標変換装置
DE19845030A1 (de) 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
DE19856007A1 (de) * 1998-12-04 2000-06-21 Bayer Ag Anzeigevorrichtung mit Berührungssensor
JP2000222110A (ja) * 1999-01-29 2000-08-11 Ricoh Elemex Corp 座標入力装置
US6335724B1 (en) 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
US6179426B1 (en) * 1999-03-03 2001-01-30 3M Innovative Properties Company Integrated front projection system
US6530664B2 (en) * 1999-03-03 2003-03-11 3M Innovative Properties Company Integrated front projection system with enhanced dry erase screen configuration
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
JP3830121B2 (ja) * 1999-06-10 2006-10-04 株式会社 ニューコム 物体検出用光学ユニット及びそれを用いた位置座標入力装置
TW459192B (en) 1999-06-25 2001-10-11 Toshiba Corp Electronic apparatus and electronic system provided with the same
JP2001014091A (ja) * 1999-06-30 2001-01-19 Ricoh Co Ltd 座標入力装置
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
JP3986710B2 (ja) * 1999-07-15 2007-10-03 株式会社リコー 座標検出装置
JP2001060145A (ja) 1999-08-23 2001-03-06 Ricoh Co Ltd 座標入力／検出システムおよびその位置合わせ調整方法
JP3905670B2 (ja) 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4057200B2 (ja) 1999-09-10 2008-03-05 株式会社リコー 座標入力装置および座標入力装置の記録媒体
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2001023933A1 (fr) 1999-09-29 2001-04-05 Nikon Corporation Systeme optique de projection
WO2003007049A1 (en) * 1999-10-05 2003-01-23 Iridigm Display Corporation Photonic mems and structures
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2003514305A (ja) * 1999-11-12 2003-04-15 ゴー・センサーズ・エルエルシー マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法
JP2001184161A (ja) * 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6529189B1 (en) * 2000-02-08 2003-03-04 International Business Machines Corporation Touch screen stylus with IR-coupled selection buttons
JP3934846B2 (ja) 2000-03-06 2007-06-20 株式会社リコー 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体
JP2001265516A (ja) 2000-03-16 2001-09-28 Ricoh Co Ltd 座標入力装置
JP2001282445A (ja) 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力／検出装置および情報表示入力装置
US6864882B2 (en) 2000-05-24 2005-03-08 Next Holdings Limited Protected touch panel display system
US6690397B1 (en) 2000-06-05 2004-02-10 Advanced Neuromodulation Systems, Inc. System for regional data association and presentation and method for the same
US6690363B2 (en) 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
JP5042437B2 (ja) * 2000-07-05 2012-10-03 スマート テクノロジーズ ユーエルシー カメラベースのタッチシステム
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
JP3851763B2 (ja) * 2000-08-04 2006-11-29 株式会社シロク 位置検出装置、位置指示器、位置検出方法及びペンダウン検出方法
US6747663B2 (en) 2000-08-24 2004-06-08 Sun Microsystems, Inc. Interpolating sample values from known triangle vertex values
JP3793014B2 (ja) 2000-10-03 2006-07-05 キヤノン株式会社 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法
GB2386724A (en) * 2000-10-16 2003-09-24 Tangis Corp Dynamically determining appropriate computer interfaces
US6774889B1 (en) 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US6518600B1 (en) * 2000-11-17 2003-02-11 General Electric Company Dual encapsulation for an LED
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
JP4551018B2 (ja) 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US6517266B2 (en) * 2001-05-15 2003-02-11 Xerox Corporation Systems and methods for hand-held printing on a surface or medium
US6919880B2 (en) 2001-06-01 2005-07-19 Smart Technologies Inc. Calibrating camera offsets to facilitate object position determination using triangulation
GB2378073B (en) 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US7555157B2 (en) * 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7007236B2 (en) 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
JP3920067B2 (ja) * 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
JP2003167669A (ja) 2001-11-22 2003-06-13 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
US6628216B2 (en) 2002-02-13 2003-09-30 Intersil Americas Inc. Calibration of resistor ladder using difference measurement and parallel resistive correction
JP3763409B2 (ja) * 2002-03-27 2006-04-05 独立行政法人理化学研究所 ３次元位置入力デバイス
US7038659B2 (en) 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US7119351B2 (en) * 2002-05-17 2006-10-10 Gsi Group Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
US7330184B2 (en) * 2002-06-12 2008-02-12 Smart Technologies Ulc System and method for recognizing connector gestures
US20040001144A1 (en) * 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2004038528A (ja) * 2002-07-03 2004-02-05 Saeilo Japan Inc 光学式座標検出装置
JP2004046464A (ja) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体
JP2004078613A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd タッチパネル装置
WO2004034244A1 (en) * 2002-10-10 2004-04-22 Waawoo Technology Inc. Pen-shaped optical mouse
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6972401B2 (en) 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
WO2004102523A1 (en) * 2003-05-19 2004-11-25 Itzhak Baruch Optical coordinate input device comprising few elements
WO2005010623A2 (en) * 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
JP4442877B2 (ja) * 2004-07-14 2010-03-31 キヤノン株式会社 座標入力装置およびその制御方法
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
CN102981678B (zh) * 2006-06-09 2015-07-22 苹果公司 触摸屏液晶显示器
US7333095B1 (en) * 2006-07-12 2008-02-19 Lumio Inc Illumination for optical touch panel
US7333094B2 (en) * 2006-07-12 2008-02-19 Lumio Inc. Optical touch screen
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
TWI355631B (en) * 2006-08-31 2012-01-01 Au Optronics Corp Liquid crystal display with a liquid crystal touch
TWI354962B (en) * 2006-09-01 2011-12-21 Au Optronics Corp Liquid crystal display with a liquid crystal touch
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
CA2697856A1 (en) * 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
KR20100055516A (ko) * 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린

Also Published As

Publication number Publication date
JP2007536652A (ja) 2007-12-13
EP1766501A1 (en) 2007-03-28
US20090146972A1 (en) 2009-06-11
CN101019096B (zh) 2012-04-18
US20050248539A1 (en) 2005-11-10
US7492357B2 (en) 2009-02-17
WO2005106775A1 (en) 2005-11-10
EP2562622A2 (en) 2013-02-27
EP2562622A3 (en) 2013-08-07
CA2564262A1 (en) 2005-11-10
CN101019096A (zh) 2007-08-15
EP1766501A4 (en) 2008-07-16

Similar Documents

Publication Publication Date Title
JP5122948B2 (ja) タッチ面に対応するポインタを検出するための装置及び方法
US7554575B2 (en) Fast imaging system calibration
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP4820285B2 (ja) 自動位置合わせタッチシステムおよび方法
TWI528028B (zh) 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
JP2016167229A (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US10552984B2 (en) Capture device calibration methods and systems
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007536652A5 (ja)
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
KR20090085160A (ko) 대화형 입력 시스템 및 방법
CN113362445B (zh) 基于点云数据重建对象的方法及装置
CN110398215A (zh) 图像处理装置和方法，系统，物品制造方法，存储介质
CN113159161A (zh) 目标匹配方法和装置、设备及存储介质
CN112669392A (zh) 一种应用于室内视频监控系统的地图定位方法及系统
Jiang et al. An accurate and flexible technique for camera calibration
US20240159621A1 (en) Calibration method of a portable electronic device
Cui et al. Plane-based external camera calibration with accuracy measured by relative deflection angle
JPH11125522A (ja) 画像処理装置および方法
Ribeiro et al. Photogrammetric multi-camera calibration using an industrial programmable robotic arm
De Boi et al. How to turn your camera into a perfect pinhole model
JP3446020B2 (ja) 形状計測方法
JP2005073091A (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
JP2023010392A (ja) 画像処理装置、画像処理装置の制御方法および画像処理プログラム
CN115272479A (zh) 相机标定系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110426

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5122948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees