JP4820285B2 - 自動位置合わせタッチシステムおよび方法 - Google Patents

Description

本発明は概してタッチシステムに関し、特に自動位置合わせ（ａｕｔｏ−ａｌｉｇｎｉｎｇ）タッチシステムと、タッチシステムを自動的に位置合わせ（ａｌｉｇｎ）する方法に関する。

タッチシステムは当該技術でよく知られており、通常、ポインタを用いて接触がなされるタッチ表面を有するタッチスクリーンを含んでいる。タッチ表面とのポインタの接触は検出されて、タッチスクリーンの、ポンインタとの接触がなされた領域を表す対応出力ポンタ位置を生成するのに使用される。使用できるタッチシステムには基本的には２つ一般的な種類があり、それらは「アクティブ」タッチシステムと「パッシブ」タッチシステムに広く分類される。

アクティブタッチシステムは、ユーザが、搭載型電源、一般にはバッテリの形態を通常必要とする特殊なポインタでタッチ表面を接触させることによってポインタ位置データを生成するのを可能にする。特殊なポインタは、タッチ表面を起動する、赤外線光、可視光、超音波周波数、電磁周波数などの信号を発射する。

パッシブタッチシステムは、ユーザが、パッシブポインタでタッチ表面を接触させてポインタ位置データを生成するのを可能にし、タッチ表面を起動するために特殊なポインタを使用する必要はない。パッシブポインタは、タッチ表面上の興味のある所定の領域に接触させることができる指、ある種の材料できたシリンダ、あるいは他の適宜な物体であってよい。パッシブタッチシステムでは特殊なアクチィブなポインタは必要ないので、バッテリの電源レベルおよび/またはポインタの損傷、盗みまたはポインタの位置ずれはユーザにとって問題ではない。

２００１年７月５日に出願され、公開番号ＷＯ０２／０３３１６で２００２年１月１０日に公開され、本発明の譲受人に譲渡された国際ＰＣＴ出願ＰＣＴ／ＣＡ０１／００９８０は、コンピュータで生成された画像が提示されるタッチ表面を含むタッチスクリーンを有する、カメラベースのタッチシステムを開示している。矩形のベゼル（ｂｅｚｅｌ）すなわちフレームがタッチ表面を囲み、デジタルカメラをその隅において支持する。デジタルカメラは、タッチ表面を囲み、タッチ表面に沿って見る、重なった視野を有している。デジタルカメラは異なった場所から画像を取り込み、画像データを生成する。デジタルカメラによって取得された画像データはデジタルシグナルプロセッサによって処理されて、取得された画像データにポインタが存在するかどうか判定される。取得された画像データにポインタが存在すると判定されると、デジタルシグナルプロセッサはポインタ特徴データをマスタコントローラに伝え、マスタコントローラは、ポインタ特徴データを処理し、ポインタのタッチ表面に対する位置を、三角測量術（ｔｒｉａｎｇｕｌａｔｉｏｎ）を用いて求める。ポインタ位置データは、１つまたは複数のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータは、ポインタ位置データを用いて、タッチ表面上に提示されたコンピュータ生成画像を更新する。したがって、ポインタのタッチ表面への接触は、文書（ｗｒｉｔｉｎｇ）または線図（ｄｒａｗｉｎｇ）として記録し、またはコンピュータによって実行されるアプリケーションプログラムの実行を制御するために使用される。

このパッシブのカメラベースのタッチシステムおよび事実すべてのタッチシステムにおいて、タッチ表面に表示される画像を生成する機構はタッチ能力を有する機構と異なり別個である。タッチシステムが所望の高解像度を維持するためには、タッチシステムの座標系は画像生成器の座標系に正確にマッピング（ｍａｐｐｉｎｇ）されなければならない。座標系のこの作成は通常、位置合わせ(ａｌｉｇｎｍｅｎｔ)手続きを必要とする人手の介入によって行われる。

例えば、本発明の被譲渡人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓに与えられた米国特許５，４４８，２６３は、タッチスクリーンの座標系がコンピュータディスプレイの座標系にマッピングされるのを可能にする位置合わせルーチンを実行するコンピュータに接続されているパッシブタッチシステムを開示している。位置合わせルーチンの間、既知のコンピュータディスプレイ座標にある複数の基準マークがタッチスクリーンのタッチ表面上に表示され、ユーザにポインタを用いて、基準マークに触れるように促す。ポインタの接触に応答して、タッチスクリーンは、ポインタ接触がなされたタッチ表面上の特定の場所を表すポインタ位置データを出力する。タッチスクリーンによって出力されたポインタ位置データはコンピュータに伝えられる。基準マークのディスプレイ座標は既知であるので、コンピュータは、タッチスクリーンによって出力されたポインタ位置データを用いてコンピュータディスプレイ座標系をタッチスクリーン座標系にマッピングすることができる。

この位置合わせルーチンはコンピュータディスプレイ座標系をタッチスクリーン座標系にマッピングするのを可能にするが、そのような位置合わせルーチンを実行することは不便であり、特に、コンピュータで生成された画像をタッチ表面上に投射するのにスタンドアロンプロジェクタが用いられるタッチシステムにおいて厄介であることがある。そのようなタッチシステムでは、プロジェクタとタッチスクリーンが互いに僅かに位置ずれを起こすと、ユーザは、コンピュータディスプレイ座標系をタッチスクリーン座標系に再度マッピングするために、それらがしていることを中断し、位置合わせルーチンを実行しなければならない。理解されるように、コンピュータディスプレイ座標系をタッチスクリーン座標系にアラインすることに対処する、タッチシステムの改良が望まれている。

本発明の目的は、新規な自動位置合わせタッチシステムとタッチシステムを自動的に位置合わせする方法を提供することにある。

本発明の一態様によれば、画像が表示されるタッチ表面を備えたタッチスクリーンを有するタッチシステムにおいて、タッチスクリーン座標系をディスプレイ座標系に自動的にマッピングする方法であって、
前記ディスプレイ座標系での位置がコンピュータによって既知で、固有のコンピュータオペレーティングシステム表示要素である少なくとも１つの基準マークを前記表示された画像中に含めるステップと、
前記表示された画像を含む、前記タッチ表面の画像を取得するステップと、
前記取得された画像を基準マークライブラリーに格納された基準マークと比較することによって、前記取得された画像中の前記の少なくとも１つの基準マークを認識するステップと、
前記取得された画像中の前記の認識された少なくとも１つの基準マークの前記タッチスクリーン座標系に対する位置を求めるステップと、
前記求められた位置と、前記少なくとも１つの基準マークの、前記ディスプレイ座標系での位置を用いて前記タッチスクリーン座標系を前記ディスプレイ座標系に自動的にマッピングするステップと
を有する、タッチスクリーン座標系をディスプレイ座標系に自動的にマッピングする方法が提供される。

好ましい実施態様では、固有のコンピュータオペレーティングシステム表示要素が、アイコンやツールバー部分などであり、好ましい実施態様では、前記表示された画像が、前記ディスプレイ座標系での位置が既知の複数の基準マークを含むことも望ましい。

本発明の他の態様によれば、タッチシステムであって、
画像が表示されるタッチ表面を有するタッチスクリーンと、
前記の表示された画像を含む、前記タッチ表面の画像を取得する少なくとも１つのカメラと、
ポインタの前記タッチ表面との接触に応答して、ポインタの接触がなされた前記タッチ表面上の前記ポインタの位置を表すポインタ位置データを生成するポインタ接触データ生成器と、
前記の少なくとも１つのカメラと前記ポインタ接触データ生成器と通信するプロセッサであって、前記表示された画像中の、固有のコンピュータオペレーティングシステム表示要素である基準マークを用いて、前記タッチシステムの座標系を自動的に校正し、校正されたポインタ位置データを用いて、前記タッチ表面上に表示された画像を提示するのに使われる画像データを更新するプロセッサと、
を有し、
前記プロセッサは、三角測量術を用いて前記基準マークの位置を計算して前記タッチスクリーン座標系における前記基準マークの位置を求め、該計算された位置を用いて前記タッチスクリーン座標系をディスプレイ座標系にマッピングし、前記マッピングが、前記画像データを更新する前に前記ポインタ位置データを校正するのに用いられる、
タッチシステムが提供される。

本発明は、表示された画像中の既知の点と、タッチスクリーンの既知の座標系の間のずれを、取得された画像データから求めることができるので、画像座標系をタッチスクリーン座標系に、ユーザの介入なしに、リアルタイムに自動的にマッピングすることができるという利点がある。

次に、本発明の実施形態を、添付図面を参照して詳細に説明する。

本発明は概して、少なくとも１つの既知の基準マークを有する画像が提示されるタッチ表面の取得された画像を用いて、タッチスクリーン座標系をディスプレイ座標系にマッピングすることでタッチスクリーンを自動的に校正するタッチシステムおよび方法に関する。その結果、タッチシステムを、ポインタがタッチスクリーンのタッチ表面に接触したときにリアルタイムに校正することができ、したがって高解像度を維持し、人手による介入を必要とする位置合わせルーチンを実行する必要性を回避することができる。本発明は基本的に、例えば、電子ホワイトボード、タッチ液晶表示（ＬＣＤ）パネル、パーソナルディジタルアシスタント（ＰＤＡ）、および携帯タッチシステムなどのタッチ表面に表示画像を位置合わせする必要がある用途において用いられるのに適している。本発明の好ましい実施形態を以下に説明する。

図１および図２を参照すると、本発明によるカメラベースタッチシステムが図示され、全体が参照番号５０を付けられている。図からわかるように、タッチシステム５０は、コンピュータで生成された画像が提示されるタッチ表面６０を有するタッチスクリーンを含んでいる。タッチ表面６０は本実施形態では縁６２によって区画された平坦な矩形のシート材料である。ポインタアレイ６４がタッチ表面６０の底縁に沿って設けられ、タッチ表面６０に接触するのに用いられるポインタを保持している。一対のカメラ６６がタッチ表面６０に付属している。カメラ６６はこの特定の実施形態ではタッチ表面６０の上側の対向する、隣り合った隅に位置しており、それらの視野が概ねタッチ表面６０の平面に沿うように向きが定められている。カメラ６６は、タッチ表面６０全体を囲む、破線６８で示された、重なる視野（ＦＯＶ）を有している。

カメラ６６は、２次元のＣＭＯＳイメージセンサと、これに付属するレンズアセンブリを含むのが好ましい。このＣＭＯＳイメージセンサは、任意のピクセル列を選択できるので、画像フレームを高いフレームレート（すなわち、２００フレーム／秒を超える）で取得するように動作することができる２０×６４０のピクセルサブアレイ用に構成されている。

カメラ６６は、その視野内のタッチ表面６０の画像を取得し、この取得された画像を処理し、ポインタがこの取得された画像内にあるかどうか判定する。ポインタが取得された画像内にあると、この画像データはさらに処理され、ポインタの特性がタッチ表面６０に接触するか、タッチ表面の上方にあるかを判定する。次に、ポインタの特性、状態、および／または診断情報を含むポインタ情報パケット（ＰＩＰ）がカメラ６６によって生成され、マスタコントローラ５４に基づくデジタルシグナルプロセッサ（ＤＳＰ）に生の画像データと一緒に送られる。その目的はここで説明する。マスタコントローラ５４はカメラ６６によって生成されたＰＩＰを処理して、ポインタのタッチ表面６０に対する位置を、三角測量術を用いて求め、対応するポインタ位置データを生成する。

マスタコントローラ５４は生成されたポインタ位置データをコンピュータ５６に出力する。コンピュータ５６は１つまたは２つ以上のアプリケーションプログラムを実行し、プロジェクタ５８によって用いられるコンピュータ生成画像を出力し、コンピュータ生成画像をタッチ表面上に表示する。タッチスクリーン５２、マスタコントローラ５６、およびプロジェクタ５８は、タッチ表面６０へのポインタの接触が、文書または線図として記録され、またはコンピュータ５６によって実行されるアプリケーションの実行を制御するのに用いることができるようにクローズドループを形成する。コンピュータ５６によって出力されたコンピュータ生成画像データはまたポインタの動作を反映するように更新される。

画像データをカメラ６６によって取得し、カメラ、マスタコントローラ５４、コンピュータ５６によって処理する方法の詳細は２００１年７月５日に出願され、２００２年１月１０日に公開番号ＷＯ０２／０３３１６で公開され、ＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅ社に譲渡された国際ＰＣＴ出願ＰＣＴ／ＣＡ０１／００９８０に記載され、その内容は引用文献としてここに含まれる。したがって、そのような詳細はここでは詳しくは説明しない。

タッチシステム５０を校正するために、タッチシステム５０は、画像がカメラ６６によって取得され、処理されるとき、コンピュータディスプレイ座標系をタッチスクリーン座標系にマッピングする自動校正処理を実行する。自動校正処理は、コンピュータディスプレイ座標系が既知であること、そしてタッチステム５０を校正するためには、求められた基準マーク位置が既知のコンピュータディスプレイ座標系上にマッピングできるように、タッチスクリーン５０上の基準マークの位置を求めることだけが必要であるという原理に基づいている。

図２はタッチスクリーン５２のタッチ表面６０に表示されたコンピュータ生成画像７０を示している。図からわかるように、コンピュータ生成画像７０は、コンピュータディスプレイ座標系をタッチスクリーン座標系にマッピングするのに使われる複数の基準マーク７２を含んでいる。この特定の実施形態では、基準マーク７２はコンピュータ生成画像７０の頂辺および底辺の右側の隅に提示された十字記号と、コンピュータ生成画像７０頂辺および底辺の左側の隅に提示されたコンピュータオペレーティングシステムディスプレイ要素を含んでいる。この例では、コンピュータオペレーティングシステムディスプレイ要素はウインドウス（商標）のツールバーの一部、すなわちスタートボタン、マイコンピュータアイコンを含んでいる。十字記号はコンピュータ５６によって実行されるソフトウェアによって生成され、コンピュータ生成画像データに挿入される。

コンピュータ生成画像中の基準マークを認識するために、コンピュータ５６は、基準マークの考えられる変位や回転の原因となるように拡張できるパターンライブラリ、すなわち基準マーク画像のデータベースを格納する。基準マーク画像は、高速アクセスおよび処理を可能にするためにウエイブレット（ｗａｖｅｌｅｔ）圧縮を用いて格納される。パターンライブラリのためのウエイブレット画像圧縮格納と検索は従来公知であり、Ｊａｍｅｓ Ｓ.Ｗａｌｔｅｒ著「Ａ Ｐｒｉｍｅｒ ｏｎ Ｗａｖｅｌｅｔｓ ａｎｄ ｔｈｅｉｒ Ｓｃｉｅｎｔｉｆｉｃ Ａｐｐｌｉｃａｔｉｏｎｓ」Ｃｈａｐｍａ ＆ Ｈａｌｌ／ＣＲ発行、１９９９年、８９−９２頁に記載されている。

前述したように、タッチ表面６０の画像とコンピュータ生成画像７０はカメラ６６によって取得されるので、カメラは画像データを処理してポインタがその中に存在するかどうか判定する。ポインタが画像データに存在すると、ポインタ特徴データがカメラ６６によって生成され、生の画像データとともにマスタコントローラ５４に送られる。マスタコントローラ５４はポインタ特徴データを処理してポインタのタッチスクリーン座標系に対する位置を求め、ポインタ位置データを生の画像データと共にコンピュータ５６に出力する。

生の画像データに応答して、コンピュータ５６は自動位置合わせを実行する。この処理の間、コンピュータ５６はパターンライブラリにアクセスし、取得画像中の基準マーク７２を認識するためにパターン認識を用いて生の画像データを格納されている基準マーク画像と比較する。基準マークが一旦認識されると、コンピュータ５６は三角測量術を用いてタッチスクリーン５２上の基準マーク７２の位置を計算し、これによってタッチスクリーン座標系における基準マーク７２の位置を求めることが可能になる。コンピュータディスプレイ座標系における基準マーク７２の位置はわかっているので、タッチスクリーン座標系における基準マーク７２の計算された位置を既知のコンピュータディスプレイ座標系にマッピングすることができる。

参照を容易にするために次の例を考える。基準マークがコンピュータディスプレイ座標系における位置Ｘ_cdcs、Ｙ_cdscsに中心合わせされていることがわかっている。基準マークが表示され、カメラ６０によって取得された画像中に取り込まれると、タッチスクリーン６０上のその位置は位置Ｘ_ts、Ｙ_tsにあると計算される。したがって、ポインタがタッチスクリーン５２に位置Ｘ_ts、Ｙ_tsで接すると、ポインタが接触した位置はコンピュータディスプレイ座標系における位置Ｘ_cdcs、Ｙ_cdscsに対応する。

この自動位置合わせ処理をいくつかの基準マーク５２について行うことによって、タッチスクリーン５２全体をコンピュータディスプレイ座標系に正確にマッピングすることができる。

コンピュータディスプレイ座標系における基準マーク７２の既知の座標と、基準マーク７２の計算されたタッチスクリーン座標を用いて、コンピュータ５６はタッチスクリーン座標系をコンピュータディスプレイ座標系に自動的にマッピングする。タッチスクリーン座標系がコンピュータディスプレイ座標系にマッピングされているため、マスタコントローラ５４によってコンピュータ５６に送られたポインタ位置データはリアルタイムに校正される。前述したように、校正されたポインタ位置データは文書または線図として記録され、またはコンピュータ５６によって実行されるアプリケーションプログラムの実行を制御するのに使うことができる。

取得された画像中の基準マーク７２のタッチスクリーン座標系に対する位置を求めるために三角測量術を用いてカメラ画像データを処理するものとしてタッチシステム５０を記述したが、当業者は、取得された画像中の基準マーク７２の位置を求める他の方法を用いてもよいことを理解するであろう。例えば、ステレオロジー（ｓｔｅｒｅｏｌｏｇｙ）は画像表面中の距離を測定するのに使用される一般に知られた画像処理技術であり、取得画像中の基準マーク７２のタッチスクリーン座標系に対する位置を求めるために本タッチシステムで用いてもよい。

理解されるように、画像がカメラ６６によって取得されると、タッチスクリーン座標系とコンピュータディスプレイ座標系はタッチ表面６０上に提示された画像に含まれる複数の基準マーク７２に基づいて自動的にマッピングされる。これはタッチシステムのリアルタイムの自動校正を可能にし、手動校正の要求とは際立っている。

次に、図３から５を参照すると、本発明によるタッチシステムの他の実施形態が図示され、全体が参照番号１５０を付けられている。この実施形態では、類似の参照番号が簡単のために「１００」を加えて類似の部品を示すために用いられている。カメラベースタッチシステム１５０は、本発明の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ社に譲渡された先に触れた国際ＰＣＴ出願ＷＯ０２／０３３１６に開示されたものと非常に類似している。

図からわかるように、タッチシステム１５０は、ＤＳＰベースのマスタコントローラ１５４に接続されたタッチスクリーン１５２を含んでいる。マスタコントローラ１５４はまたコンピュータ１５６に接続されている。コンピュータ１５６は１つまたは２つ以上のアプリケーションプログラムを実行し、コンピュータ生成画像をプロジェクタ１５８に出力する。プロジェクタ１５８はタッチスクリーン１５２の表面１６０上にコンピュータ生成画像を提示する。タッチスクリーン１５２、マスタコントローラ１５４、コンピュータ１５６、およびプロジェクタ１５８は、ポインタのタッチスクリーン１５２上への接触を文書または線図として記録したり、あるいはコンピュータ１５６によって実行されるアプリケーションプログラムに実行を制御するために使うことができるようにクローズドループを構成している。

前述の実施形態と異なり、タッチ表面１６０は、２００３年１月３０に出願され、本発明の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ社に譲渡された米国特許出願（番号は入手不能）に開示されたようなベゼル、すなわちフレーム１６２によって仕切られている。ＤＳＰベースのカメラ１６６がベゼル１６２の各コーナに設けられている。各デジタルカメラ１６６は、その視野がタッチ面１６０全体を囲み、かつ概ねタッチ面１６０全体を見渡すように取り付けられている。

高解像度カメラ１７０がプロジェクタ１５８の上方でタッチ面１６０の前に位置し、タッチ表面１６０とベゼル１６２の両方を含むタッチスクリーン１５２の画像を取得する。カメラ１７０によって取得された画像データはコンピュータ１５６に送られ、タッチスクリーン座標系をコンピュータディスプレイ座標系に自動的にマッピングし、それによって、ここにさらに記載するようにタッチシステム１５２を校正するのに使われる。

ポインタが取得された画像中に存在するかどうか判定するためにデジタルカメラ１６６による画像の取得に関するタッチシステム１５０の動作に関して、タッチシステム１５０の動作は国際ＰＣＴ出願ＷＯ０２／０３３１６に記載されたものと同じであり、したがってここでは詳しくは説明しない。

タッチスクリーン座標系とコンピュータディスプレイ座標系を、第１の実施形態におけるような三角測量術を用いてタッチ表面上の基準マークの位置を計算するために生のカメラ画像データを用いないで整列することについて、この実施形態では、ベゼル１６２の対向する辺の、生のカメラピクセルにおける距離が測定され、それから物理距離に変換される。ベゼルはタッチシステム１５０の一部であるので、ベゼルのタッチスクリーン座標系における座標はわかっている。このことは、表示されたマークとベゼル１６２の間の距離を生のカメラピクセルで測定するのを可能にする。したがって、ポインタがタッチ表面１６０に近づき、デジタルカメラ１６６によって取得された画像中に取り込まれと、タッチスクリーン座標とポインタ座標はわかっているので、ポインタの位置とベゼル１６２の間の距離をコンピュータ１５６によって直ちに計算することができる。タッチ表面１６０上の表示されたマークとベゼル１６２の間のずれを、この情報を用いて、生のカメラピクセルと物理距離の間の求められた関係により計算することができる。

例えば、カメラ１７０がタッチスクリーンの画像を取得し、画像データをコンピュータ１５６に送ると、コンピュータは、ベゼルの下左側の隅がピクセルＸ１_lb、Ｙ１_lbにあり、ベゼルの下右側の隅がピクセルＸ２_rb、Ｙ２_rbにあると判定する。ベゼルの隅同士間の距離は５０インチ（１２７センチメータ）であるとわかっている。カメラ１７０はまた、ピクセルＸ３ｔｓ、Ｙ３ｔｓ上に中心合わせされた、表示されたマークを見る。コンピュータ１５６はピクセルＸ１_lb、Ｙ１_lbとＸ２_rb、Ｙ２_rbに対するタッチスクリーン座標を、それらがベゼルの位置であるのでわかっている。その結果、コンピュータ１５６は、ベゼルの隅の位置の生カメラピクセル座標をベゼルの隅の位置のタッチスクリーン座標にマッピングすることによって、表示されたマークのタッチスクリーン座標を計算することができる。次に、表示されたマークのタッチスクリーン座標を計算することができる。

低解像度カメラ１７０を用いる場合、タッチスクリーンの一部を見、ベゼル１６２と表示されたマークの間のずれを測定するのを可能にするためにズームレンズを用いることができる。あるいは、距離を測定するたに一対のカメラとステレオロジー
技術を用いることができる。

次に、図６と図７を参照すると、本発明によるタッチシステムのさらに他の実施形態が図示され、全体に参照番号２５０を付けられている。この特定の例におけるタッチシステム２５０は、本発明の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ社に譲渡された、Ｍａｒｔｉｎに付与された米国特許５，４４８，２６３に示されているものと類似している。タッチシステム２５０はディスプレイ表面の上方に配置されたアクティブオーバレイ（ｏｖｅｒｌａｙ）を含んでいる。この場合のアクティブオーバレイは、コンピュータ生成画像が提示され、ベゼル２６２によって縁を付けられたタッチ表面２６０を有するアナログ抵抗性タッチ感応スクリーン２５２である。ポインタトレイ２６４がタッチ表面の底縁に沿って設けられ、タッチ表面１６０に接触するのに使われるポインタを収容する。

タッチ表面２６０へのポインタ接触がなされると、タッチセンシティブスクリーン２５２は、ポンインタ接触がなされた、タッチ表面上の場所を示すポインタ位置データ出力を生成する。タッチセンシティブスクリーン２５２によって出力されたポインタ位置データはコンピュータ２５６に送られる。コンピュータ２５６は、１つまたは２つ以上のアプリケーションプログラムを実行し、プロジェクタ２５８によってコンピュータ生成画像をタッチ表面２６０に提示するのに使われるコンピュータ生成画像データを出力する。先の実施形態と同様に、タッチ表面に表示されたコンピュータ生成画像２７０は、図に示される基準マーク２７２を含んでいる。タッチスクリーン２５２とコンピュータ２５６とプロジェクタ２５８は、タッチ表面２６０へのポインタ接触が文書または線図として記録され、あるいはコンピュータ２５６によって実行されるアプリケーションプログラムの実行を制御するのに使われるようにクローズドループを構成している。コンピュータ２５６によって出力されたコンピュータ生成画像データ出力はポインタ動作を反映するように更新もされる。

高解像度カメラ２６６がプロジェクタ２５８の上方でタッチ表面２６０の前に位置し、タッチ表面２６０とベゼル２６２の両方を含むタッチスクリーン２５２の画像を取得する。カメラ２６６によって取得された画像データはコンピュータ２５６に送られ、タッチ表面２５２の座標系をコンピュータ座標系に自動的にマッピングし、それによってタッチシステム２５０を校正するのに使われる。

校正の間、コンピュータ２５６が、タッチ表面２６０へのポインタ接触に応答してタッチスクリーン２５２によって出力されたポインタ位置データ出力を入力すると、コンピュータ２５６はカメラ２６６から画像を取得する。第１の実施形態の場合と同じように、コンピュータ２５６は取得されたカメラ画像をパターンライブラリ中の基準マーク画像と比較し、取得されたカメラ画像中の基準マークの位置を見つける。コンピュータ２５６は次に基準マーク２７２とベゼル２６２間の距離を前述したように計算する。

基準マークのコンピュータディスプレイ座標系における座標がわかり、基準マーク２７２のベゼル２６２に対する、したがって既知のタッチスクリーン座標系に対するずれが計算されたので、コンピュータ２５６はタッチスクリーン座標系をコンピュータディスプレイ座標系に自動的にマッピングする。タッチスクリーン座標系がコンピュータディスプレイ座標系にマッピングされると、タッチスクリーン２５２によってコンピュータ２５６に送られたポインタ位置データは処理される前に校正され、コンピュータ生成画像データを更新するのに使われる。

タッチシステム２５０はフロントプロジェクションシステムとして図示されているが、当業者はタッチシステムがリアプロジェクションタイプであってもよいことを理解するであろう。タッチシステムがフロントプロジェクションタイプまたはリアプロジェクションタイプであるとは無関係に、コンピュータ生成画像は直接または１つまたは２つ以上のミラーを介して間接的にタッチ表面に投影されてもよい。

解像度を上げるために、ズームレンズまたはテレフォトレンズをカメラ２６６とともに用いて取得された画像の詳細度を高めるようにしてもよく、それによって基準マーク２７２とベゼル２６２の間のずれをより正確に計算できる。これは勿論、タッチスクリーン座標系をコンピュータディスプレイ座標系にマッピングする際により高い解像度をもたらす。

コンピュータ生成画像中に表示された基準マークはコンピュータ生成画像の４つの隅に位置しているが、当業者は、基準マークがコンピュータ生成画像内の他の位置に位置していてもよいことを理解するであろう。より多いまたはより少ないマークを用いてもよい。さらに、基準マークはソフトウェアで生成された基準マークと元々あるコンピュータオペレーティングシステムディスプレイ要素の両方を含むものとして示したが、どのタイプの基準マークも適している。

当業者によって理解されるように、ポインタ位置データおよび／または画像データの処理を、タッチスクリーンに接続されたスタンドアロンコンピュータまたはタッチスクリーンに組み込まれた処理ユニットによって行ってもよい。

本発明の好ましい実施形態を説明したが、当業者は、添付の特許請求の範囲によって定められた本発明の要旨および範囲を逸脱することなく種々の変更および変形がなされてもよいことを理解するであろう。

本発明によるカメラベースタッチシステムの側面図である。 図１のカメラベースタッチシステムの一部を構成するタッチシステムの正面図である。 本発明によるカメラベースタッチシステムの他の実施形態の概略図である。 図３のカメラベースタッチシステムの一部を構成するタッチスクリーンの斜視図である。 図３のカメラベースタッチシステムの側面図である。 本発明によるカメラベースタッチシステムのさらに他の実施形態の側面図である。 図６のカメラベースタッチシステムの一部を構成するタッチスクリーンの正面図である。

Claims (14)

1. 画像が表示されるタッチ表面を備えたタッチスクリーンを有するタッチシステムにおいて、タッチスクリーン座標系をディスプレイ座標系に自動的にマッピングする方法であって、
   前記ディスプレイ座標系での位置がコンピュータによって既知で、固有のコンピュータオペレーティングシステム表示要素である少なくとも１つの基準マークを前記表示された画像中に含めるステップと、
   前記表示された画像を含む、前記タッチ表面の画像を取得するステップと、
   前記取得された画像を基準マークライブラリーに格納された基準マークと比較することによって、前記取得された画像中の前記の少なくとも１つの基準マークを認識するステップと、
   前記取得された画像中の前記の認識された少なくとも１つの基準マークの前記タッチスクリーン座標系に対する位置を求めるステップと、
   前記求められた位置と、前記少なくとも１つの基準マークの、前記ディスプレイ座標系での位置を用いて前記タッチスクリーン座標系を前記ディスプレイ座標系に自動的にマッピングするステップと
   を有する、タッチスクリーン座標系をディスプレイ座標系に自動的にマッピングする方法。
2. 前記固有のコンピュータオペレーティングシステム表示要素がアイコンまたはツールバー部分である、請求項１に記載の方法。
3. 前記表示された画像が、前記ディスプレイ座標系での位置が既知の複数の基準マークを含む、請求項１に記載の方法。
4. 複数の基準マークが前記表示された画像の各隅に隣接して含まれている、請求項３に記載の方法。
5. 前記基準マークの、前記タッチスクリーン座標系における位置が三角測量術によって求められる、請求項３に記載の方法。
6. 前記少なくとも１つの基準マークの、前記タッチスクリーン座標系における位置が三角測量術によって求められる、請求項１に記載の方法。
7. 前記基準マークの前記タッチスクリーン座標系での位置が、前記タッチスクリーンの既知の縁と前記基準マークの間の、生のカメラピクセルでの距離を計算することによって求められる、請求項３に記載の方法。
8. 前記表示された画像を前記タッチ表面上に提示するのに用いられた画像データを、前記マッピングを用いて校正されたポインタ接触データを用いて更新することをさらに有する、請求項1記載の方法。
9. タッチシステムであって、
   画像が表示されるタッチ表面を有するタッチスクリーンと、
   前記の表示された画像を含む、前記タッチ表面の画像を取得する少なくとも１つのカメラと、
   ポインタの前記タッチ表面との接触に応答して、ポインタの接触がなされた前記タッチ表面上の前記ポインタの位置を表すポインタ位置データを生成するポインタ接触データ生成器と、
   前記の少なくとも１つのカメラと前記ポインタ接触データ生成器と通信するプロセッサであって、前記表示された画像中の、固有のコンピュータオペレーティングシステム表示要素である基準マークを用いて、前記タッチシステムの座標系を自動的に校正し、校正されたポインタ位置データを用いて、前記タッチ表面上に表示された画像を提示するのに使われる画像データを更新するプロセッサと、
   を有し、
   前記プロセッサは、三角測量術を用いて前記基準マークの位置を計算して前記タッチスクリーン座標系における前記基準マークの位置を求め、該計算された位置を用いて前記タッチスクリーン座標系をディスプレイ座標系にマッピングし、前記マッピングが、前記画像データを更新する前に前記ポインタ位置データを校正するのに用いられる、
   タッチシステム。
10. 前記タッチ表面と前記ポインタ接触データ生成器が、前記タッチ表面へのポインタの接触に応答してポインタ位置データを生成するアクティブタッチセンシティブスクリーンの一部を構成する、請求項９に記載のタッチシステム。
11. 前記プロセッサから前記画像データを受け取り、前記画像を前記タッチ表面に投射するプロジェクタをさらに有する、請求項１０に記載のタッチシステム。
12. 前記少なくとも１つのカメラが前記プロジェクタに隣接して位置している、請求項１１に記載のタッチシステム。
13. 前記タッチ表面を囲む、重なる視野を有する少なくとも１対のカメラを含み、前記少なくとも１対のカメラは異なった場所から前記タッチ表面の画像を取得して画像データを生成し、前記ポインタ接触生成器は前記１対のカメラによって生成された画像データを処理して、前記ポインタが前記少なくとも１対のカメラによって取得画像中で取得されたとき前記ポインタの前記タッチ表面に対する位置を求め、前記ポインタ位置データを生成する、請求項９に記載のタッチシステム。
14. 各固有のコンピュータオペレーティングシステム表示要素はアイコンまたはツールバーの一部である、請求項１３に記載のタッチシステム。

Images