JP4995395B2 - 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 - Google Patents
物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 Download PDFInfo
- Publication number
- JP4995395B2 JP4995395B2 JP2002161283A JP2002161283A JP4995395B2 JP 4995395 B2 JP4995395 B2 JP 4995395B2 JP 2002161283 A JP2002161283 A JP 2002161283A JP 2002161283 A JP2002161283 A JP 2002161283A JP 4995395 B2 JP4995395 B2 JP 4995395B2
- Authority
- JP
- Japan
- Prior art keywords
- cam
- reference frame
- angle
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は全般的には目標の取得に関し、特に、三角測量を使用して物体の位置の決定を容易にするためにカメラのオフセットを計算する方法に関する。
【０００２】
【従来の技術】
タッチ・システムは、当該分野において公知であり、接触表面を有するタッチ・スクリーンを通常有し、利用者の入力を生成するために、接触表面上でポインタを使用して接触が行われる。接触表面とポインタとの接触が検出され、接触が行われた接触表面の領域によって対応する出力を生成するために使用される。
【０００３】
「カメラベースのタッチ・システム」と題する、２００１年７月５日に出願され、本発明の譲受人に譲渡された、国際ＰＣＴ特許出願公開明細書第０２／０３３１６号に、カメラベースのタッチ・システムが開示されている。このタッチ・システムは、マスター・コントローラに結合されたタッチ・スクリーンと、マスター・コントローラに結合されたコンピュータを有する。コンピュータは、１つまたは複数のアプリケーション・プログラムを実行し、タッチ・スクリーン上に提示されるディスプレイ出力を供給する。タッチ・スクリーン、マスター・コントローラ、コンピュータおよびプロジェクタによりシステムが形成されており、利用者がタッチ・スクリーンに接触すると、コンピュータにより書き込みあるいは描画として記録されるように、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用できる。
【０００４】
タッチ・スクリーンは、矩形のベゼルあるいはフレームにより縁取られた矩形の平坦な薄板の形式の接触表面を有する。２次元のディジタル信号処理プロセサ（ＤＳＰ）ベースのＣＭＯＳディジタル・カメラが、タッチ・スクリーンのそれぞれの隅に隣接して搭載されている。各ディジタル・カメラの視界が接触表面の指定された端縁を含むように、各ディジタル・カメラはタッチ・スクリーンに向けられている。この方法で、全部の接触表面がディジタル・カメラの視界の中とされる。接触表面に接近したポインタが少なくとも２個のディジタル・カメラの視界の中に現れるように、ディジタル・カメラの視界はさらに重なり合っている。これは、接触表面に対するこのようなポインタの位置を、三角測量を使用して計算することを可能にする。
【０００５】
タッチ・システムの動作中は、各ディジタル・カメラは、その視界の中の接触表面の画像を所望のフレーム・レートで捉える。捉えられた画像内にポインタが存在するか否かを決定するために、取得された画像はディジタル・カメラにより処理される。取得された画像内にポインタが有れば、取得された画像内のポインタの中線あるいは先端部を決定するために、取得された画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラによりポインタ情報パケット（以下、ＰＩＰ：Pointer Information Packetと称する）に変換され、ＰＩＰはマスター・コントローラに送信されるために待ち行列に入れられる。
【０００６】
マスター・コントローラは、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラがＰＩＰを受信すると、マスター・コントローラはポインタの中線あるいは先端部を表す数をディジタル・カメラの分解能で除算する。次にマスター・コントローラは、この結果をディジタル・カメラの視界（以下、ＦＯＶ：Field of Viewと称する）により乗算し、次に一定の誤差修正較正角度δを減算し、角度φを得る。計算された角度φは、ＰＩＰを生成したディジタル・カメラの視界内に包含されるタッチ・スクリーンの指定された周縁と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度であると推定される。
【０００７】
上述のように、ディジタル・カメラの照準は、ポインタがタッチ・スクリーンに接近したときに、少なくとも２個のディジタル・カメラにより取得された画像内にポインタが捉えられることを保証する。結果として、ポインタがタッチ・スクリーンに接近したときに、少なくとも２つのＰＩＰがマスター・コントローラにより受信され、したがって、マスター・コントローラによって２つの角度が計算される。２つの角度が利用できるので、マスター・コントローラは、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定する。三角測量を使用して、直交座標内のタッチ・スクリーンに対するポインタの位置が計算される。ついで、マスター・コントローラは、このポインタ位置データをパーソナル・コンピュータに送信する。この方法で、パーソナル・コンピュータに送信されたポインタ位置データは、書き込みあるいは描画として記録されることが可能であり、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用することができる。さらに、接触表面上に提示された情報がポインタの動きを反映するように、コンピュータはディスプレイ出力を更新する。
【０００８】
上述のように、各ディジタル・カメラは、タッチ・スクリーンの隅に隣接して搭載され、各ディジタル・カメラの視界が接触表面の指定された周縁を含むようにされる。理想的には、マスター・コントローラにより計算された角度がタッチ・スクリーンに対応する基準フレームにもとづくように、各ディジタル・カメラの視界の限界は、タッチ・スクリーンの指定された周縁を超えて既知の量だけ僅かに拡がっている。しかし実際には、機械的公差、光学的効果、およびディジタル・カメラの配置によって、ディジタル・カメラの視界は、タッチ・スクリーンの指定された周縁に対して未知の量だけ角度がオフセットしている。
【０００９】
【発明が解決しようとする課題】
上述したタッチ・システムにおいては、ディジタル・カメラの角度オフセットを考慮するために、角度の計算の中で、一定の誤差修正較正角度δが計算された角度から減算される。当然ながら、この較正は複数のディジタル・カメラの角度オフセットは既知であり等しいと仮定している。残念ながら、各ディジタル・カメラの角度オフセットは通常異なる。さらに、各ディジタル・カメラの角度オフセットは、タッチ・システムの出荷や設置などの際に変化する恐れがある。結果として、ディジタル・カメラの角度オフセットは、一定の誤差修正較正角度によっては、通常正しくは補償されない。ディジタル・カメラの実際の角度オフセットが既知でない限り、接触表面に対するポインタの位置を計算された角度にもとづいて三角測量を使用して計算するとき、計算された位置が実際の位置とは大幅に異なる恐れがある。問題を複雑にすることは、１対のディジタル・カメラの画像データがポインタの位置を三角測量するために使用されるとき、１対のディジタル・カメラによっては、ポインタの計算された位置が大幅に変化する恐れがある。このことが、タッチ・スクリーンに対するポインタの位置を正確に計算することを難しくすることは、十分理解されよう。タッチ・スクリーン上の接触がコンピュータ機能を起動するために使用できるように、タッチ・スクリーンがコンピュータ・ディスプレイに写像される対話型のシステムにおいては、タッチ・スクリーン上にポインタの接触位置を正確に決定することが非常に重要である。
【００１０】
したがって本発明の目的は、三角測量を使用して物体位置の決定を容易にするための、カメラのオフセットを計算する新規な方法を提供することである。
【００１１】
【課題を解決するための手段】
本発明の一つの態様によれば、物体が捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内に重なり合う視界を有する少なくとも２個のカメラにより撮られ、少なくとも１個の前記カメラは視界の限界が前記基準フレームの境界を超えて拡がることをもたらすオフセット角度を有するものとし、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所における前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップと、
各画像に対して前記決定された位置を前記基準フレームの座標系に対応する座標系に配置するステップと、
各場所における前記物体の少なくとも１つの前記位置と前記少なくとも１個のカメラの前記オフセット角度を決定するために、前記決定された位置を処理するステップと、を有する方法が提供される。
【００１２】
この場合、各画像内の前記物体の前記決定された位置は角度φにより表され、前記角度は、前記基準フレームの境界を超えて拡がる前記視界の前記限界と、前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいこととしてもよい。
【００１３】
また、前記処理の間に、前記角度のそれぞれは前記基準フレーム座標系内の直交座標（ｘi、ｙi）の位置に変換されることとしてもよい。
【００１４】
また、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得される方法であって、前記カメラのそれぞれは前記基準フレームに対して視界のオフセットを有し、前記処理の間に前記角度φのそれぞれは角度ωに変換され、前記角度ωは、
ω＝α−δ
により表され、ここで、
δは前記カメラのオフセットであり、
αは、前記カメラ・オフセットを除外し、かつ前記基準フレーム座標系の前記ｙ軸を基準とする前記角度φと等しく、前記角度ωのそれぞれは次式に適合され、
【００１５】
【数２】
ここで、
ｘcamおよびｙcamは、前記カメラの前記直交座標の座標であり、
ｘiおよびｙiは前記物体の前記直交座標の座標、したがって前記直交座標の位置（ｘi、ｙi）および前記カメラ・オフセットを得る、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得されることとしてもよい。
【００１６】
また、前記適合は、線形化技法を使用して実行されることとしてもよい。
【００１７】
さらに、前記線形化技法は、ムーア・ペンローズ疑似逆方法であるとしてもよい。
【００１８】
本発明の他の態様によれば、物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内の重なり合う視界を有する少なくとも２個のカメラにより撮られ、前記少なくとも２個のカメラのそれぞれの視界の限界は前記基準フレームの境界を包含しており、前記カメラの少なくとも１個はオフセットしていて前記カメラの視界の限界が前記境界を超えて拡がるものとし、
各画像内の物体の位置を決定するステップであって、各画像内の物体の位置は角度により表されており、前記角度は前記基準フレームの境界を含む視界の限界と前記画像内の物体と交差するカメラから延びる直線との間に形成される角度に等しい、各画像内の物体の位置を決定するステップと、
前記少なくとも１個のカメラの前記オフセット角度を決定するステップと、
前記角度を較正するために、前記少なくとも１個のカメラにより撮られた前記画像内の物体の位置を表す前記角度から前記オフセット角度を減算するステップと、
三角測量を使用して前記基準フレームに対する前記物体の位置を計算するために、前記較正された角度を使用するステップを有する方法が提供される。
【００１９】
この場合、前記少なくとも２個のカメラのそれぞれはオフセットしており、前記少なくとも２個のカメラのそれぞれに対する前記オフセット角度は、前記角度を較正するために決定し使用されることとしてもよい。
【００２０】
本発明のさらに他の態様によれば、重なり合う視界を有する少なくとも２個のカメラと前記カメラの画像データを処理するプロセッサとを備え、基準フレームに対して重なり合う視界内の物体の位置は各カメラにより取得された画像内に捉えられた物体の位置データを三角測量することにより決定されるタッチ・システムを較正する方法であって、
各カメラの前記オフセット角度を前記基準フレームに対して決定するステップと、
前記物体位置データを較正するために、前記オフセット角度を使用するステップと、
前記基準フレームに対する前記物体の前記位置を決定するために、三角測量の間に前記較正された物体の位置データを使用するステップを有する方法が提供される。
【００２１】
本発明のさらに他の態様によれば、基準フレームならびに前記基準フレーム内で重なり合う視界を有する少なくとも２個のカメラを備え、前記基準フレームに対する物体の位置は前記物体の捉えられた画像から三角測量にもとづいて決定され、オフセット角度を定めるために前記少なくとも２個のカメラの前記視界は前記基準フレームの座標系に対して回転されるタッチ・システムを較正する方法であって、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所において前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップであって、各画像内の前記物体の位置は角度φにより表され、前記角度は前記基準フレームを超えて拡がる前記視界の限界と前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいとするステップと、
各画像に対して決定された前記角度ならびに基準フレームに設けられた座標系に対する前記少なくとも２個のカメラの位置にもとづいて、前記少なくとも２個のカメラの前記オフセット角度を数学的に計算するステップを有する方法が提供される。
【００２２】
この場合、各カメラの前記オフセット角度は、最小自乗法を使用して計算されることとしてもよい。
【００２３】
本発明のさらに他の態様によれば、タッチシステムであって、
接触表面を取り囲む全体として矩形の基準フレームであり、１つの隅が前記接触表面に設けられる座標系の原点を定める、基準フレームと、
前記基準フレームのそれぞれの隅に隣接するカメラであり、各カメラは前記接触表面に向けられていて前記カメラの視界内の前記接触表面の画像を捉え、前記カメラの視界は前記基準フレーム内で重なり合い、前記カメラの視界は前記基準フレームに対してオフセットしているカメラと、
前記捉えられた画像を処理し、画像内に物体が現れたときに物体の位置データを生成するプロセッサであり、前記プロセッサは前記物体の位置データを使用して矩形の座標における前記原点に対する前記物体の位置を三角測量にもとづいて決定し、前記プロセッサはさらに前記カメラのオフセット角度を決定するために較正ルーチンを実行し、前記位置決定に先だって前記物体の位置データを調整するために前記オフセット角度を使用するプロセッサと、により、前記捉えられた画像を処理し画像内に物体が現れるときに物体の位置データを生成するプロセッサを有するタッチ・システムが提供される。
【００２４】
本発明のさらに他の態様によれば、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータで読み取り可能な媒体であって、
前記コンピュータ・プログラムは、
基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された前記物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、
各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、
前記関連づけられた物体の位置データと前記座標系に対する前記カメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ読み取り可能な媒体が提供される。
【００２５】
上記のように構成される本発明においては、実際のディジタル・カメラのオフセットは実時間で計算されるので、ディジタル・カメラの視界はタッチ・スクリーンの座標系に対応する座標系に基準づけることが可能であるという点で、本発明は利点がある。この方法では、一対のディジタル・カメラの視界内の物体の位置が三角測量を使用して計算される場合、物体の計算された位置はタッチ・スクリーンに対する物体の実際の位置と非常に高精度で一致する。さらに、ディジタル・カメラのオフセットはタッチ・システムの設置後に実行される較正ルーチンで高精度で数学的に計算されるので、製造時におけるディジタル・カメラの高精度搭載の必要性は緩和される。ディジタル・カメラの搭載に対する機械的公差を緩和しうるので、本タッチ・システムは、高い分解能を保証しつつ、より速く、かつ低コストで製造することが可能である。
【００２６】
【発明の実施の形態】
図１は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明された形式のタッチ・システムを示し、全体として参照番号５０により識別される。
【００２７】
図からわかるように、タッチ・システム５０は、ディジタル信号処理プロセッサ（ＤＳＰ）ベースのマスター・コントローラ５４と結合したタッチ・スクリーン５２を有する。マスター・コントローラ５４は、さらにコンピュータ５６に結合されている。コンピュータ５６は、１つまたは複数のアプリケーション・プログラムを実行し、プロジェクタ５８を介してタッチ・スクリーン５２に提示されるディスプレイ出力を供給する。利用者がタッチ・スクリーン５２に接触すると、コンピュータ５６により書き込みあるいは描画として記録されるように、あるいは、コンピュータ５６により実行されるアプリケーション・プログラムの実行を制御するために使用できるように、タッチ・スクリーン５２、マスター・コントローラ５４、コンピュータ５６およびプロジェクタ５８は、システムを形成している。
【００２８】
コンピュータ５６が実行するアプリケーション・プログラムは、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータ５６が読み取り可能な媒体であって、コンピュータ・プログラムは、基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、関連づけられた物体の位置データと座標系に対するカメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ５６が読み取り可能な媒体により提供されるものであり、本発明は媒体をも含む。
【００２９】
図２は、タッチ・スクリーン５２の構成を詳細に示す図である。図２からわかるように、タッチ・スクリーン５２は、矩形のフレーム６２により縁取りされた接触表面６０を有する。接触表面６０は、受動性材料の矩形の平坦な薄板である。ディジタル信号処理プロセッサが組み込まれたＣＭＯＳディジタル・カメラＤＣcamは、タッチ・スクリーン５２のそれぞれの隅に隣接してマウントされている。各ディジタル・カメラＤＣcamは、その視界が接触表面６０の指定された周縁を含むように、接触表面６０に向けられている。図２に示す指定では、ディジタル・カメラＤＣ０およびＤＣ３の視界は接触表面６０の下部の水平な端縁６２ａを包含し、ディジタル・カメラＤＣ1およびＤＣ2の視界は接触表面６０の上部の水平な端縁６２ｂを包含している。
【００３０】
機械的公差、光学的効果、および接触表面６０に対するディジタル・カメラの配置によって、各ディジタル・カメラＤＣcamの視界は、視界が含む接触表面６０の指定された周縁に対して、通常は角度がオフセットしている。各ディジタル・カメラの角度のオフセットは、角度δcamにより示されている。
【００３１】
タッチ・システム５０の動作中は、各ディジタル・カメラＤＣcamは、その視界の中の接触表面６０の画像を所望のフレーム・レートで取得する。捉えられた画像内にポインタがあるかどうかを決定するために、取得された画像はディジタル・カメラＤＣcamにより処理される。取得された画像内にポインタが有れば、捉えられた画像内のポインタの中線あるいは先端部を決定するために、捉えられた画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラＤＣcamによりポインタ情報パケット（ＰＩＰ）に変換され、ＰＩＰはマスター・コントローラ５４に送信されるために待ち行列に入れられる。上述の画像処理に関する詳細は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明されている。
【００３２】
マスター・コントローラ５４は、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラ５４がＰＩＰを受信すると、マスター・コントローラは、次式を使用して角度φcamを計算するために、ポインタの中線あるいは先端部を表す数とディジタル・カメラの視界を使用する。
【００３３】
【数３】
ここで、
ｘは、ディジタル・カメラで取得された画像中のポインタの中線あるいは先端部を表す画素位置であり、ａは、ディジタル・カメラの分解能、すなわち各画素列における画素の総数である。
【００３４】
計算された角度φcamは、ＰＩＰを生成したディジタル・カメラの接触表面６０の指定された周縁を超えて延びている視界の限界と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度に等しい。視界の限界は、視界内の接触表面６０の指定された周縁（すなわち、この場合にはｘ軸）を超えて既知の量だけ延びていることが望ましい。しかし、ほとんどすべての場合に、各ディジタル・カメラＤＣの角度のオフセットは異なり、かつ未知である。
【００３５】
ポインタが接触表面６０に接近すると、少なくとも２つのディジタル・カメラにより取得された画像にポインタは収集される。結果として、少なくとも２つのＰＩＰがマスター・コントローラ５４により受信され、したがって、マスター・コントローラ５４により２つの角度φcamが計算される。２つの角度φcamが利用できるので、マスター・コントローラ５４は、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定することができる。直交座標内のタッチ・スクリーンに対するポインタの位置は、ディジタル・カメラＤＣcamの視界の限界が接触表面６０の指定された周縁を超えて延びている量が既知であれば、三角測量を使用して正確に計算することが可能である。しかし、角度φcamが接触表面の指定された周縁に対して偏っている量は未知であるから、この方法でポインタの位置を計算すると、接触表面６０に対するポインタの実際の位置を正確には決定しない。結果として、接触表面６０に対するポインタの実際の位置が決定されるように、ディジタル・カメラＤＣcamの角度のオフセットδcamを考慮するために、タッチ・システム５０の較正が必要である。
【００３６】
タッチ・システム５０を較正するためには、計算された角度φcamのそれぞれを接触表面６０上の矩形の位置（ｘi，ｙi）に変換することが必要である。接触表面６０上の座標（ｘ i ，ｙ i ）と角度φcamの間には、この変換の実行を可能にする関係が存在する。タッチ・スクリーン座標系の原点がディジタル・カメラＤＣ0にあり、タッチ・スクリーンの水平および垂直の寸法がそれぞれＢxおよびＢyであるとすれば、次式が適用される。
【００３７】
【数４】
各角度φcamをタッチ・スクリーン座標系に対応する共通の基準フレームに関係づけ、すべての４個のディジタル・カメラＤＣcamに適用する単一の数式を創り出すためには、上の数式においていくつかの定義を変えることが必要である。最初に、次式により定義される１組の角度βcamを導入する。
【００３８】
【数５】
角度βcamは、タッチ・スクリーンの指定された周縁、この場合には水平な端縁６２ａおよび６２ｂ、を基準とする角度φcamである。次に、タッチ・スクリーン座標系のｙ軸を基準とし、次のように角度βcamと関連する１組の角度αcamを導入する。
【００３９】
【数６】
α cam は、ｙ軸の負方向を基準として時計回りに測られる角度に相当する。ここまでの説明ではオフセット角度δ cam は角度の大きさで表されていたが、α cam をこのように定めたことに対応して、以下では、オフセット角度δ cam は、その絶対値はここまでの説明におけるものと同じものであるが、タッチ・スクリーンの指定された周縁から時計回り方向にオフセット角度が測られる場合には正、反時計回り方向に測られる場合には負の値を有するものとする。
最後に、角度αcamに関連する角度ωcamの第３の組を次のように導入する。
【００４０】
【数７】
角度αcamを数式（０．７）から（０．１０）に述べた定義で置換し、角度βcamを数式（０．６）に述べた定義で置換すれば、角度ωcamを次式のように表現することができる。
【００４１】
【数８】
数式（０．１２）から（０．１５）は、角度φcamをタッチ・スクリーン座標系に対応する基準フレームに代入することを可能にすることが、理解されよう。さらに、角度αcamは次式で表現することができる。
【００４２】
【数９】
角度αcamを角度ωcamに関して表現すれば、次式を得る。
【００４３】
【数１０】
したがって、接触表面６０上の少なくとも１つのポインタ接触点に対応する角度φcamが得られるとすれば、数式（０．１７）は、タッチ・スクリーンに接近しているポインタの直交座標（ｘi、ｙi）とディジタル・カメラＤＣ cam のオフセット角度δ cam とを計算することを可能にする形態で、角度ωcamを適合させる方法を与える。これは、接触表面上の所与の接触に対して、角度ωcamは数式（０．１２）から（０．１５）を使用して計算可能であり、タッチ・スクリーン座標系に対してディジタル・カメラＤＣcamの座標（ｘcam、ｙcam）は既知であり、ポインタ座標（ｘi、ｙi）は各ディジタル・カメラに対して同一である、という事実に依存している。しかし、数式（０．１７）は座標（ｘi、ｙi）において非線形であるので、角度ωcamを適合させるためには線形化技法を使用することが必要である。
【００４４】
したがって本発明によれば、タッチ・システム５０の較正の間に、ポインタは複数の接触点において接触表面６０に接触するように使用される。接触表面６０上の各接触点（ｘi、ｙi）に対して、各接触点は各ディジタル・カメラＤＣcamの視界内にあると仮定して、角度ω0からω3が計算される。数式（０．１７）を使用して、連立方程式が作られる。この連立方程式から、各接触点（ｘi、ｙi）の座標、および各ディジタル・カメラＤＣcamのオフセット角度δcamが、非線形最小二乗法技法を使用して決定できる。較正の間に使用された接触点の数によって、この連立方程式は優決定、あるいは劣決定である。
【００４５】
この連立方程式が優決定であるか劣決定であるかにかかわらず、この連立方程式の処理を統一するために、特異値分割（以下、ＳＶＤ：Singular Value Decompositionと称する）にもとづくムーア・ペンローズ疑似逆方法（Moore-Penrose pseudo-inverse method）が最小２乗解を決定するために使用される。
【００４６】
マトリックスは常に次の方法で分解し得ることは、十分理解されよう。
【００４７】
【数１１】
マトリックスＡは、任意の形状を有することができる。マトリックスＵおよびＶは直交行列であり、次式を意味する。
【００４８】
【数１２】
対角行列Ｓは、マトリックスＡの固有値の２乗に関連するマトリックスＡの特異値により完全に構成される。特異値分割の重要性（ＳＶＤ）は、特異値分割を使用してマトリックスＡの逆が常に計算できるという事実にある。さらに、不完全に決定された問題（poorly determined problem）が生じたときに、この反転を制御することが可能である。解が
【００４９】
【数１３】
となるであろう連立１次方程式
【００５０】
【数１４】
を考える。
【００５１】
マトリックスＵおよびＶは共に直交行列であるから、ＳＶＤはマトリックスＡの逆を次式により表すことを可能にする。
【００５２】
【数１５】
不完全に決定された状態において、いくつかの特異値は非常に小さいであろう、その結果マトリックスＳ-1が形成されるとき大きい値が生じ、それは望ましくない。この場合に、最小の特異値の逆は零に設定される。これは、解の不完全に決定された部分を除外する効果を有する。最小２乗問題に対して、これは強力な道具である。最小２乗問題に対する通常の標準方程式法は、優決定の場合には、
【００５３】
【数１６】
を解くことにもとづいており、劣決定の場合には、
【００５４】
【数１７】
を解くことにもとづいている。結果として、連立方程式に対する解は、劣決定あるいは優決定のどの場合にも、１つの方法を使用して決定することが可能である。
【００５５】
ディジタル・カメラＤＣcamに対するオフセット角度δ cam が判れば、オフセット角度δcamは、マスター・コントローラ５４によりメモリに格納される。タッチ・システム５０の動作の間、マスター・コントローラ５４が角度φcamを計算する時、結果を調整するために、ディジタル・カメラの実際のオフセット角度δ cam が使用される。したがって、接触表面６０に対するポインタの位置を決定するために、計算された角度φcamを使用してマスター・コントローラ５４により三角測量が実行される場合、計算された位置は接触表面６０に対するポインタの実際の位置を正確に反映する。これは、角度φcamがタッチ・スクリーンの指定された周縁、したがって、タッチ・スクリーン座標系を基準としている事実に依存している。
【００５６】
タッチ・システム５０は画像をタッチ・スクリーンに投射するためのプロジェクタを有すると説明したが、これは必要ではないことを当業者は十分理解するであろう。タッチ・スクリーンは透明でも半透明でもよく、また、ディスプレイ装置上に提示されるディスプレイがタッチ・スクリーンを介して見えるように、ディスプレイ装置の上に置かれてもよい。さらに、タッチ・スクリーンは、フレームにより縁取りされた矩形の薄板である必要はない。実際には、タッチ・スクリーンは２個以上のカメラの重なる視界内の実質的に任意の表面であってよい。
【００５７】
角度ωcamを数式（０．１７）に適合させるためにムーア・ペンローズ疑似逆方法が使用されたが他の数学的線形化技法が使用できることを、当業者は十分理解するであろう。たとえば、２次のニュートン最小自乗法あるいはガウス・ニュートン最小自乗法を使用して、角度ωcamを数式（０．１７）に適合させることができる。
【００５８】
タッチ・システム５０は、タッチ・スクリーンのそれぞれの隅に隣接して１個ずつ位置する４個のディジタル・カメラを有するものとして示されたが、異なる数のカメラを有するタッチ・システムにも、較正方法は適用できる。たとえば、図３は、２個のみのディジタル信号処理プロセッサベースのディジタル・カメラＤＣcamを有するタッチ・スクリーン５２'を示す。ディジタル・カメラに対するディジタル・カメラ・オフセットδを決定するためには、タッチ・スクリーンに対する座標系を定義することが最初に必要である。この例においては、ディジタル・カメラＤＣ'１が座標系の原点にあるとし、ｘ軸は右方を指し、ｙ軸は下方を指している。垂直のタッチ・スクリーン次元Ｂｙが除外されるように、この条件が使用される。
【００５９】
図３から、角度φcamは次式により定義されることが判る。
【００６０】
【数１８】
ここで、Ｂｘは、ディジタル・カメラＤＣ'1とＤＣ'2の間の水平距離である。これらの数式をｘおよびｙに対して解くことにより、初期の推定値は次式となる。
【００６１】
【数１９】
ここで必要な情報は、まさに変数Ｂxに対する項を含む計画行列の要素である。これらを、適切な関数の勾配として表現すると次式を得る。
【００６２】
【数２０】
これが意味することのすべては、Ｂxの変化に対応して計画行列に特別の列があることである。
【００６３】
この場合には、角度ωcamおよびオフセット角度δcamを注意深く定めることが必要である。この場合、角度ωcamは次式で表現される。
【００６４】
【数２１】
さらに、オフセット角度の最終値に１８０度を加え、符号を反転することによって、オフセット角度δcamの正確な方向が得られる。
本連立方程式は劣決定であるから、最小二乗法最小ノルム解（least squares minimum-norm solution）が使用される。訂正ベクトル
【００６５】
【外１】
は、次式により得られる。
【００６６】
【数２２】
タッチ・スクリーン５２'の隅に位置する２個のディジタル・カメラを有することに加えて、ディジタル・カメラＤＣ'camは、タッチ・スクリーンに対して図４に示す構成で位置してもよい。この例においては、対角線の距離ｄがディジタル・カメラを分離している。ディジタル・カメラＤＣ'1が（ｘc，０）に位置し、ディジタル・カメラＤＣ'2が（０，ｙc）に位置していれば、距離ｄは次式により与えられる。
【００６７】
【数２３】
角度φcamは、次式により定義される。
【００６８】
【数２４】
（ｘi，ｙi）に対して解くと、次式を得る。
【００６９】
【数２５】
角度φcamに対する一般式は次式で与えられるが、上記の数式は良い初期推定値である。
【００７０】
【数２６】
ここで、カメラ・オフセット角度δcamが導入される。
【００７３】
本システムは、基準フレーム内の表面に対する一対のカメラの重なる視界の中の直交座標内の物体の位置を正確に決定できるように、カメラ・オフセットが直交基準フレーム（Cartesian reference frame）に関連して決定されることを可能にすることが十分理解されよう。
【図面の簡単な説明】
【図１】本発明によるタッチ・システムの略図である。
【図２】図１に示すタッチ・システムの一部を形成するタッチ・スクリーンの正面図であり、カメラのオフセット角度を示している。
【図３】タッチ・スクリーンの他の実施例の正面図である。
【図４】タッチ・スクリーンのさらに他の実施例の正面図である。
【符号の説明】
５０ タッチ・システム
５２ タッチ・スクリーン
５４ マスター・コントローラ
５６ コンピュータ
５８ プロジェクタ
６０ 接触表面
【発明の属する技術分野】
本発明は全般的には目標の取得に関し、特に、三角測量を使用して物体の位置の決定を容易にするためにカメラのオフセットを計算する方法に関する。
【０００２】
【従来の技術】
タッチ・システムは、当該分野において公知であり、接触表面を有するタッチ・スクリーンを通常有し、利用者の入力を生成するために、接触表面上でポインタを使用して接触が行われる。接触表面とポインタとの接触が検出され、接触が行われた接触表面の領域によって対応する出力を生成するために使用される。
【０００３】
「カメラベースのタッチ・システム」と題する、２００１年７月５日に出願され、本発明の譲受人に譲渡された、国際ＰＣＴ特許出願公開明細書第０２／０３３１６号に、カメラベースのタッチ・システムが開示されている。このタッチ・システムは、マスター・コントローラに結合されたタッチ・スクリーンと、マスター・コントローラに結合されたコンピュータを有する。コンピュータは、１つまたは複数のアプリケーション・プログラムを実行し、タッチ・スクリーン上に提示されるディスプレイ出力を供給する。タッチ・スクリーン、マスター・コントローラ、コンピュータおよびプロジェクタによりシステムが形成されており、利用者がタッチ・スクリーンに接触すると、コンピュータにより書き込みあるいは描画として記録されるように、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用できる。
【０００４】
タッチ・スクリーンは、矩形のベゼルあるいはフレームにより縁取られた矩形の平坦な薄板の形式の接触表面を有する。２次元のディジタル信号処理プロセサ（ＤＳＰ）ベースのＣＭＯＳディジタル・カメラが、タッチ・スクリーンのそれぞれの隅に隣接して搭載されている。各ディジタル・カメラの視界が接触表面の指定された端縁を含むように、各ディジタル・カメラはタッチ・スクリーンに向けられている。この方法で、全部の接触表面がディジタル・カメラの視界の中とされる。接触表面に接近したポインタが少なくとも２個のディジタル・カメラの視界の中に現れるように、ディジタル・カメラの視界はさらに重なり合っている。これは、接触表面に対するこのようなポインタの位置を、三角測量を使用して計算することを可能にする。
【０００５】
タッチ・システムの動作中は、各ディジタル・カメラは、その視界の中の接触表面の画像を所望のフレーム・レートで捉える。捉えられた画像内にポインタが存在するか否かを決定するために、取得された画像はディジタル・カメラにより処理される。取得された画像内にポインタが有れば、取得された画像内のポインタの中線あるいは先端部を決定するために、取得された画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラによりポインタ情報パケット（以下、ＰＩＰ：Pointer Information Packetと称する）に変換され、ＰＩＰはマスター・コントローラに送信されるために待ち行列に入れられる。
【０００６】
マスター・コントローラは、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラがＰＩＰを受信すると、マスター・コントローラはポインタの中線あるいは先端部を表す数をディジタル・カメラの分解能で除算する。次にマスター・コントローラは、この結果をディジタル・カメラの視界（以下、ＦＯＶ：Field of Viewと称する）により乗算し、次に一定の誤差修正較正角度δを減算し、角度φを得る。計算された角度φは、ＰＩＰを生成したディジタル・カメラの視界内に包含されるタッチ・スクリーンの指定された周縁と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度であると推定される。
【０００７】
上述のように、ディジタル・カメラの照準は、ポインタがタッチ・スクリーンに接近したときに、少なくとも２個のディジタル・カメラにより取得された画像内にポインタが捉えられることを保証する。結果として、ポインタがタッチ・スクリーンに接近したときに、少なくとも２つのＰＩＰがマスター・コントローラにより受信され、したがって、マスター・コントローラによって２つの角度が計算される。２つの角度が利用できるので、マスター・コントローラは、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定する。三角測量を使用して、直交座標内のタッチ・スクリーンに対するポインタの位置が計算される。ついで、マスター・コントローラは、このポインタ位置データをパーソナル・コンピュータに送信する。この方法で、パーソナル・コンピュータに送信されたポインタ位置データは、書き込みあるいは描画として記録されることが可能であり、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用することができる。さらに、接触表面上に提示された情報がポインタの動きを反映するように、コンピュータはディスプレイ出力を更新する。
【０００８】
上述のように、各ディジタル・カメラは、タッチ・スクリーンの隅に隣接して搭載され、各ディジタル・カメラの視界が接触表面の指定された周縁を含むようにされる。理想的には、マスター・コントローラにより計算された角度がタッチ・スクリーンに対応する基準フレームにもとづくように、各ディジタル・カメラの視界の限界は、タッチ・スクリーンの指定された周縁を超えて既知の量だけ僅かに拡がっている。しかし実際には、機械的公差、光学的効果、およびディジタル・カメラの配置によって、ディジタル・カメラの視界は、タッチ・スクリーンの指定された周縁に対して未知の量だけ角度がオフセットしている。
【０００９】
【発明が解決しようとする課題】
上述したタッチ・システムにおいては、ディジタル・カメラの角度オフセットを考慮するために、角度の計算の中で、一定の誤差修正較正角度δが計算された角度から減算される。当然ながら、この較正は複数のディジタル・カメラの角度オフセットは既知であり等しいと仮定している。残念ながら、各ディジタル・カメラの角度オフセットは通常異なる。さらに、各ディジタル・カメラの角度オフセットは、タッチ・システムの出荷や設置などの際に変化する恐れがある。結果として、ディジタル・カメラの角度オフセットは、一定の誤差修正較正角度によっては、通常正しくは補償されない。ディジタル・カメラの実際の角度オフセットが既知でない限り、接触表面に対するポインタの位置を計算された角度にもとづいて三角測量を使用して計算するとき、計算された位置が実際の位置とは大幅に異なる恐れがある。問題を複雑にすることは、１対のディジタル・カメラの画像データがポインタの位置を三角測量するために使用されるとき、１対のディジタル・カメラによっては、ポインタの計算された位置が大幅に変化する恐れがある。このことが、タッチ・スクリーンに対するポインタの位置を正確に計算することを難しくすることは、十分理解されよう。タッチ・スクリーン上の接触がコンピュータ機能を起動するために使用できるように、タッチ・スクリーンがコンピュータ・ディスプレイに写像される対話型のシステムにおいては、タッチ・スクリーン上にポインタの接触位置を正確に決定することが非常に重要である。
【００１０】
したがって本発明の目的は、三角測量を使用して物体位置の決定を容易にするための、カメラのオフセットを計算する新規な方法を提供することである。
【００１１】
【課題を解決するための手段】
本発明の一つの態様によれば、物体が捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内に重なり合う視界を有する少なくとも２個のカメラにより撮られ、少なくとも１個の前記カメラは視界の限界が前記基準フレームの境界を超えて拡がることをもたらすオフセット角度を有するものとし、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所における前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップと、
各画像に対して前記決定された位置を前記基準フレームの座標系に対応する座標系に配置するステップと、
各場所における前記物体の少なくとも１つの前記位置と前記少なくとも１個のカメラの前記オフセット角度を決定するために、前記決定された位置を処理するステップと、を有する方法が提供される。
【００１２】
この場合、各画像内の前記物体の前記決定された位置は角度φにより表され、前記角度は、前記基準フレームの境界を超えて拡がる前記視界の前記限界と、前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいこととしてもよい。
【００１３】
また、前記処理の間に、前記角度のそれぞれは前記基準フレーム座標系内の直交座標（ｘi、ｙi）の位置に変換されることとしてもよい。
【００１４】
また、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得される方法であって、前記カメラのそれぞれは前記基準フレームに対して視界のオフセットを有し、前記処理の間に前記角度φのそれぞれは角度ωに変換され、前記角度ωは、
ω＝α−δ
により表され、ここで、
δは前記カメラのオフセットであり、
αは、前記カメラ・オフセットを除外し、かつ前記基準フレーム座標系の前記ｙ軸を基準とする前記角度φと等しく、前記角度ωのそれぞれは次式に適合され、
【００１５】
【数２】
ｘcamおよびｙcamは、前記カメラの前記直交座標の座標であり、
ｘiおよびｙiは前記物体の前記直交座標の座標、したがって前記直交座標の位置（ｘi、ｙi）および前記カメラ・オフセットを得る、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得されることとしてもよい。
【００１６】
また、前記適合は、線形化技法を使用して実行されることとしてもよい。
【００１７】
さらに、前記線形化技法は、ムーア・ペンローズ疑似逆方法であるとしてもよい。
【００１８】
本発明の他の態様によれば、物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内の重なり合う視界を有する少なくとも２個のカメラにより撮られ、前記少なくとも２個のカメラのそれぞれの視界の限界は前記基準フレームの境界を包含しており、前記カメラの少なくとも１個はオフセットしていて前記カメラの視界の限界が前記境界を超えて拡がるものとし、
各画像内の物体の位置を決定するステップであって、各画像内の物体の位置は角度により表されており、前記角度は前記基準フレームの境界を含む視界の限界と前記画像内の物体と交差するカメラから延びる直線との間に形成される角度に等しい、各画像内の物体の位置を決定するステップと、
前記少なくとも１個のカメラの前記オフセット角度を決定するステップと、
前記角度を較正するために、前記少なくとも１個のカメラにより撮られた前記画像内の物体の位置を表す前記角度から前記オフセット角度を減算するステップと、
三角測量を使用して前記基準フレームに対する前記物体の位置を計算するために、前記較正された角度を使用するステップを有する方法が提供される。
【００１９】
この場合、前記少なくとも２個のカメラのそれぞれはオフセットしており、前記少なくとも２個のカメラのそれぞれに対する前記オフセット角度は、前記角度を較正するために決定し使用されることとしてもよい。
【００２０】
本発明のさらに他の態様によれば、重なり合う視界を有する少なくとも２個のカメラと前記カメラの画像データを処理するプロセッサとを備え、基準フレームに対して重なり合う視界内の物体の位置は各カメラにより取得された画像内に捉えられた物体の位置データを三角測量することにより決定されるタッチ・システムを較正する方法であって、
各カメラの前記オフセット角度を前記基準フレームに対して決定するステップと、
前記物体位置データを較正するために、前記オフセット角度を使用するステップと、
前記基準フレームに対する前記物体の前記位置を決定するために、三角測量の間に前記較正された物体の位置データを使用するステップを有する方法が提供される。
【００２１】
本発明のさらに他の態様によれば、基準フレームならびに前記基準フレーム内で重なり合う視界を有する少なくとも２個のカメラを備え、前記基準フレームに対する物体の位置は前記物体の捉えられた画像から三角測量にもとづいて決定され、オフセット角度を定めるために前記少なくとも２個のカメラの前記視界は前記基準フレームの座標系に対して回転されるタッチ・システムを較正する方法であって、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所において前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップであって、各画像内の前記物体の位置は角度φにより表され、前記角度は前記基準フレームを超えて拡がる前記視界の限界と前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいとするステップと、
各画像に対して決定された前記角度ならびに基準フレームに設けられた座標系に対する前記少なくとも２個のカメラの位置にもとづいて、前記少なくとも２個のカメラの前記オフセット角度を数学的に計算するステップを有する方法が提供される。
【００２２】
この場合、各カメラの前記オフセット角度は、最小自乗法を使用して計算されることとしてもよい。
【００２３】
本発明のさらに他の態様によれば、タッチシステムであって、
接触表面を取り囲む全体として矩形の基準フレームであり、１つの隅が前記接触表面に設けられる座標系の原点を定める、基準フレームと、
前記基準フレームのそれぞれの隅に隣接するカメラであり、各カメラは前記接触表面に向けられていて前記カメラの視界内の前記接触表面の画像を捉え、前記カメラの視界は前記基準フレーム内で重なり合い、前記カメラの視界は前記基準フレームに対してオフセットしているカメラと、
前記捉えられた画像を処理し、画像内に物体が現れたときに物体の位置データを生成するプロセッサであり、前記プロセッサは前記物体の位置データを使用して矩形の座標における前記原点に対する前記物体の位置を三角測量にもとづいて決定し、前記プロセッサはさらに前記カメラのオフセット角度を決定するために較正ルーチンを実行し、前記位置決定に先だって前記物体の位置データを調整するために前記オフセット角度を使用するプロセッサと、により、前記捉えられた画像を処理し画像内に物体が現れるときに物体の位置データを生成するプロセッサを有するタッチ・システムが提供される。
【００２４】
本発明のさらに他の態様によれば、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータで読み取り可能な媒体であって、
前記コンピュータ・プログラムは、
基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された前記物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、
各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、
前記関連づけられた物体の位置データと前記座標系に対する前記カメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ読み取り可能な媒体が提供される。
【００２５】
上記のように構成される本発明においては、実際のディジタル・カメラのオフセットは実時間で計算されるので、ディジタル・カメラの視界はタッチ・スクリーンの座標系に対応する座標系に基準づけることが可能であるという点で、本発明は利点がある。この方法では、一対のディジタル・カメラの視界内の物体の位置が三角測量を使用して計算される場合、物体の計算された位置はタッチ・スクリーンに対する物体の実際の位置と非常に高精度で一致する。さらに、ディジタル・カメラのオフセットはタッチ・システムの設置後に実行される較正ルーチンで高精度で数学的に計算されるので、製造時におけるディジタル・カメラの高精度搭載の必要性は緩和される。ディジタル・カメラの搭載に対する機械的公差を緩和しうるので、本タッチ・システムは、高い分解能を保証しつつ、より速く、かつ低コストで製造することが可能である。
【００２６】
【発明の実施の形態】
図１は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明された形式のタッチ・システムを示し、全体として参照番号５０により識別される。
【００２７】
図からわかるように、タッチ・システム５０は、ディジタル信号処理プロセッサ（ＤＳＰ）ベースのマスター・コントローラ５４と結合したタッチ・スクリーン５２を有する。マスター・コントローラ５４は、さらにコンピュータ５６に結合されている。コンピュータ５６は、１つまたは複数のアプリケーション・プログラムを実行し、プロジェクタ５８を介してタッチ・スクリーン５２に提示されるディスプレイ出力を供給する。利用者がタッチ・スクリーン５２に接触すると、コンピュータ５６により書き込みあるいは描画として記録されるように、あるいは、コンピュータ５６により実行されるアプリケーション・プログラムの実行を制御するために使用できるように、タッチ・スクリーン５２、マスター・コントローラ５４、コンピュータ５６およびプロジェクタ５８は、システムを形成している。
【００２８】
コンピュータ５６が実行するアプリケーション・プログラムは、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータ５６が読み取り可能な媒体であって、コンピュータ・プログラムは、基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、関連づけられた物体の位置データと座標系に対するカメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ５６が読み取り可能な媒体により提供されるものであり、本発明は媒体をも含む。
【００２９】
図２は、タッチ・スクリーン５２の構成を詳細に示す図である。図２からわかるように、タッチ・スクリーン５２は、矩形のフレーム６２により縁取りされた接触表面６０を有する。接触表面６０は、受動性材料の矩形の平坦な薄板である。ディジタル信号処理プロセッサが組み込まれたＣＭＯＳディジタル・カメラＤＣcamは、タッチ・スクリーン５２のそれぞれの隅に隣接してマウントされている。各ディジタル・カメラＤＣcamは、その視界が接触表面６０の指定された周縁を含むように、接触表面６０に向けられている。図２に示す指定では、ディジタル・カメラＤＣ０およびＤＣ３の視界は接触表面６０の下部の水平な端縁６２ａを包含し、ディジタル・カメラＤＣ1およびＤＣ2の視界は接触表面６０の上部の水平な端縁６２ｂを包含している。
【００３０】
機械的公差、光学的効果、および接触表面６０に対するディジタル・カメラの配置によって、各ディジタル・カメラＤＣcamの視界は、視界が含む接触表面６０の指定された周縁に対して、通常は角度がオフセットしている。各ディジタル・カメラの角度のオフセットは、角度δcamにより示されている。
【００３１】
タッチ・システム５０の動作中は、各ディジタル・カメラＤＣcamは、その視界の中の接触表面６０の画像を所望のフレーム・レートで取得する。捉えられた画像内にポインタがあるかどうかを決定するために、取得された画像はディジタル・カメラＤＣcamにより処理される。取得された画像内にポインタが有れば、捉えられた画像内のポインタの中線あるいは先端部を決定するために、捉えられた画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラＤＣcamによりポインタ情報パケット（ＰＩＰ）に変換され、ＰＩＰはマスター・コントローラ５４に送信されるために待ち行列に入れられる。上述の画像処理に関する詳細は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明されている。
【００３２】
マスター・コントローラ５４は、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラ５４がＰＩＰを受信すると、マスター・コントローラは、次式を使用して角度φcamを計算するために、ポインタの中線あるいは先端部を表す数とディジタル・カメラの視界を使用する。
【００３３】
【数３】
ｘは、ディジタル・カメラで取得された画像中のポインタの中線あるいは先端部を表す画素位置であり、ａは、ディジタル・カメラの分解能、すなわち各画素列における画素の総数である。
【００３４】
計算された角度φcamは、ＰＩＰを生成したディジタル・カメラの接触表面６０の指定された周縁を超えて延びている視界の限界と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度に等しい。視界の限界は、視界内の接触表面６０の指定された周縁（すなわち、この場合にはｘ軸）を超えて既知の量だけ延びていることが望ましい。しかし、ほとんどすべての場合に、各ディジタル・カメラＤＣの角度のオフセットは異なり、かつ未知である。
【００３５】
ポインタが接触表面６０に接近すると、少なくとも２つのディジタル・カメラにより取得された画像にポインタは収集される。結果として、少なくとも２つのＰＩＰがマスター・コントローラ５４により受信され、したがって、マスター・コントローラ５４により２つの角度φcamが計算される。２つの角度φcamが利用できるので、マスター・コントローラ５４は、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定することができる。直交座標内のタッチ・スクリーンに対するポインタの位置は、ディジタル・カメラＤＣcamの視界の限界が接触表面６０の指定された周縁を超えて延びている量が既知であれば、三角測量を使用して正確に計算することが可能である。しかし、角度φcamが接触表面の指定された周縁に対して偏っている量は未知であるから、この方法でポインタの位置を計算すると、接触表面６０に対するポインタの実際の位置を正確には決定しない。結果として、接触表面６０に対するポインタの実際の位置が決定されるように、ディジタル・カメラＤＣcamの角度のオフセットδcamを考慮するために、タッチ・システム５０の較正が必要である。
【００３６】
タッチ・システム５０を較正するためには、計算された角度φcamのそれぞれを接触表面６０上の矩形の位置（ｘi，ｙi）に変換することが必要である。接触表面６０上の座標（ｘ i ，ｙ i ）と角度φcamの間には、この変換の実行を可能にする関係が存在する。タッチ・スクリーン座標系の原点がディジタル・カメラＤＣ0にあり、タッチ・スクリーンの水平および垂直の寸法がそれぞれＢxおよびＢyであるとすれば、次式が適用される。
【００３７】
【数４】
【００３８】
【数５】
【００３９】
【数６】
最後に、角度αcamに関連する角度ωcamの第３の組を次のように導入する。
【００４０】
【数７】
【００４１】
【数８】
【００４２】
【数９】
【００４３】
【数１０】
【００４４】
したがって本発明によれば、タッチ・システム５０の較正の間に、ポインタは複数の接触点において接触表面６０に接触するように使用される。接触表面６０上の各接触点（ｘi、ｙi）に対して、各接触点は各ディジタル・カメラＤＣcamの視界内にあると仮定して、角度ω0からω3が計算される。数式（０．１７）を使用して、連立方程式が作られる。この連立方程式から、各接触点（ｘi、ｙi）の座標、および各ディジタル・カメラＤＣcamのオフセット角度δcamが、非線形最小二乗法技法を使用して決定できる。較正の間に使用された接触点の数によって、この連立方程式は優決定、あるいは劣決定である。
【００４５】
この連立方程式が優決定であるか劣決定であるかにかかわらず、この連立方程式の処理を統一するために、特異値分割（以下、ＳＶＤ：Singular Value Decompositionと称する）にもとづくムーア・ペンローズ疑似逆方法（Moore-Penrose pseudo-inverse method）が最小２乗解を決定するために使用される。
【００４６】
マトリックスは常に次の方法で分解し得ることは、十分理解されよう。
【００４７】
【数１１】
【００４８】
【数１２】
【００４９】
【数１３】
【００５０】
【数１４】
【００５１】
マトリックスＵおよびＶは共に直交行列であるから、ＳＶＤはマトリックスＡの逆を次式により表すことを可能にする。
【００５２】
【数１５】
【００５３】
【数１６】
【００５４】
【数１７】
【００５５】
ディジタル・カメラＤＣcamに対するオフセット角度δ cam が判れば、オフセット角度δcamは、マスター・コントローラ５４によりメモリに格納される。タッチ・システム５０の動作の間、マスター・コントローラ５４が角度φcamを計算する時、結果を調整するために、ディジタル・カメラの実際のオフセット角度δ cam が使用される。したがって、接触表面６０に対するポインタの位置を決定するために、計算された角度φcamを使用してマスター・コントローラ５４により三角測量が実行される場合、計算された位置は接触表面６０に対するポインタの実際の位置を正確に反映する。これは、角度φcamがタッチ・スクリーンの指定された周縁、したがって、タッチ・スクリーン座標系を基準としている事実に依存している。
【００５６】
タッチ・システム５０は画像をタッチ・スクリーンに投射するためのプロジェクタを有すると説明したが、これは必要ではないことを当業者は十分理解するであろう。タッチ・スクリーンは透明でも半透明でもよく、また、ディスプレイ装置上に提示されるディスプレイがタッチ・スクリーンを介して見えるように、ディスプレイ装置の上に置かれてもよい。さらに、タッチ・スクリーンは、フレームにより縁取りされた矩形の薄板である必要はない。実際には、タッチ・スクリーンは２個以上のカメラの重なる視界内の実質的に任意の表面であってよい。
【００５７】
角度ωcamを数式（０．１７）に適合させるためにムーア・ペンローズ疑似逆方法が使用されたが他の数学的線形化技法が使用できることを、当業者は十分理解するであろう。たとえば、２次のニュートン最小自乗法あるいはガウス・ニュートン最小自乗法を使用して、角度ωcamを数式（０．１７）に適合させることができる。
【００５８】
タッチ・システム５０は、タッチ・スクリーンのそれぞれの隅に隣接して１個ずつ位置する４個のディジタル・カメラを有するものとして示されたが、異なる数のカメラを有するタッチ・システムにも、較正方法は適用できる。たとえば、図３は、２個のみのディジタル信号処理プロセッサベースのディジタル・カメラＤＣcamを有するタッチ・スクリーン５２'を示す。ディジタル・カメラに対するディジタル・カメラ・オフセットδを決定するためには、タッチ・スクリーンに対する座標系を定義することが最初に必要である。この例においては、ディジタル・カメラＤＣ'１が座標系の原点にあるとし、ｘ軸は右方を指し、ｙ軸は下方を指している。垂直のタッチ・スクリーン次元Ｂｙが除外されるように、この条件が使用される。
【００５９】
図３から、角度φcamは次式により定義されることが判る。
【００６０】
【数１８】
【００６１】
【数１９】
【００６２】
【数２０】
【００６３】
この場合には、角度ωcamおよびオフセット角度δcamを注意深く定めることが必要である。この場合、角度ωcamは次式で表現される。
【００６４】
【数２１】
本連立方程式は劣決定であるから、最小二乗法最小ノルム解（least squares minimum-norm solution）が使用される。訂正ベクトル
【００６５】
【外１】
【００６６】
【数２２】
【００６７】
【数２３】
【００６８】
【数２４】
【００６９】
【数２５】
【００７０】
【数２６】
【００７３】
本システムは、基準フレーム内の表面に対する一対のカメラの重なる視界の中の直交座標内の物体の位置を正確に決定できるように、カメラ・オフセットが直交基準フレーム（Cartesian reference frame）に関連して決定されることを可能にすることが十分理解されよう。
【図面の簡単な説明】
【図１】本発明によるタッチ・システムの略図である。
【図２】図１に示すタッチ・システムの一部を形成するタッチ・スクリーンの正面図であり、カメラのオフセット角度を示している。
【図３】タッチ・スクリーンの他の実施例の正面図である。
【図４】タッチ・スクリーンのさらに他の実施例の正面図である。
【符号の説明】
５０ タッチ・システム
５２ タッチ・スクリーン
５４ マスター・コントローラ
５６ コンピュータ
５８ プロジェクタ
６０ 接触表面
Claims (4)
- ｘｙ座標系である基準フレーム座標系が定義される基準フレームに対する物体の位置を、該物体の捉えられた画像から三角測量の結果にもとづいて決定する方法であり、前記捉えられた画像は前記基準フレームを包含する視界を有する４個のカメラによって撮られ、前記各カメラのそれぞれの視界は前記基準フレームの境界を包含しており、前記カメラの少なくとも１個はその視界の限界が前記境界を超えて延び、それによって前記視野の限界と前記基準フレームの境界の間に形成されるオフセット角度を有している、前記方法であって、
各画像内の前記物体の位置は角度φによって表されており、該角度は画像を取得した前記カメラの視界の限界と、前記画像内の前記物体と交差する、前記カメラから延びる直線との間に形成される角度に等しい、各画像内の前記物体の位置を決定するステップと、
前記カメラのオフセット角度を数学的に計算して前記角度を較正するステップと、
前記カメラによって撮られた前記画像内の前記物体の位置を表す前記角度から前記計算されたオフセット角度を減算するステップと、
各カメラに対して、三角測量を使用して前記基準フレームに対する、基準フレーム座標系における前記物体の位置を計算するために、前記較正された角度を使用するステップと、
を有し、
前記オフセット角度は、前記４個のカメラのそれぞれを使用して前記基準フレーム内の複数の場所における前記物体の画像を取得し、各場所に対して前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用し、前記カメラのオフセット角度をδ cam とし、前記較正のために捉えられた画像における物体の位置を角度φ cam で表わすものとし、前記角度φ cam のそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ω cam に変換して、前記角度ω cam を次式を用いて展開された連立方程式を解くことによって計算され、
前記δ cam は、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘ cam およびｙ cam は、前記カメラの前記基準フレーム座標系での座標であり、
ｘ i およびｙ i は、前記基準フレーム座標系における前記物体の座標である、
物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法。 - 前記捉えられた画像は、矩形の基準フレームの隅にあるカメラによって取得される、請求項１に記載の方法。
- ４個のカメラと前記４個のカメラによって取得された画像を処理するプロセッサとを備え、ｘｙ座標系である基準フレーム座標系が定義される基準フレームに対する前記カメラの視野内にある物体の、前記基準フレームに対する位置が、前記カメラによって取得された画像から計算された物体の位置データを三角測量することによって決定されるタッチ・システムにおいて、前記基準フレームに対する物体の位置を決定する方法であって、
前記基準フレームに対する各カメラのオフセット角度を数学的に計算するステップであって、前記オフセット角度は前記カメラの視界の限界と前記基準フレームの境界によって形成される角度を表す、ステップと、
各カメラに対して、計算されたオフセット角度を用いて、当該カメラによって取得された画像から求められた物体の位置データを較正するステップと、
前記較正された物体の位置データを使用して、三角測量の間に前記物体の、前記基準フレームに対する前記物体の前記位置を決定するステップと、
を有し、
前記オフセット角度は、前記４個のカメラのそれぞれを使用して前記基準フレーム内の複数の場所における前記物体の画像を取得し、各場所に対して、前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用し、前記カメラのオフセット角度をδ cam とし、前記較正のために捉えられた画像における物体の位置を角度φ cam で表わすものとし、前記角度φ cam のそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ω cam に変換して、前記角度ω cam を次式を用いて展開された連立方程式を解くことによって計算され、
前記δ cam は、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘ cam およびｙ cam は、前記カメラの前記基準フレーム座標系での座標であり、
ｘ i およびｙ i は、前記基準フレーム座標系における前記物体の座標である、
基準フレームに対する物体の位置を決定する方法。 - ｘｙ座標系である基準フレーム座標系が定義される基準フレームと、前記基準フレームを包含する視界を有する少なくとも４個のカメラを備え、前記基準フレームに対する物体の位置が、該物体の捉えられた画像から三角測量の結果にもとづいて決定され、オフセット角度を定めるために前記カメラの前記視界は前記境界を越えて延び、各オフセット角度は前記カメラの視界の限界と前記基準フレームの境界によって形成される角度を表す、タッチ・システムを較正する方法であって、
前記４個のカメラを使用して、前記基準フレーム内の複数の場所において前記物体の画像を捉えるステップと、
各場所に対して、前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用して、
各取得された画像内の前記物体の前記位置を決定するステップであって、各取得された画像内の前記物体の位置は角度φ cam によって表され、該角度φ cam は前記基準フレームを超えて延びる前記画像を取得したカメラの視界の限界と前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しい、ステップと、
各画像に対して、決定された前記角度φ cam ならびに基準フレームに設けられた座標系に対する前記カメラの位置にもとづいて、前記カメラの前記オフセット角度を数学的に計算するステップと、
を有し、
前記計算するステップにおいて、前記各カメラのオフセット角度δ cam は、前記角度φ cam のそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ω cam に変換し、前記角度ω cam を次式を用いて展開された連立方程式を解くことによって計算され、
前記δ cam は、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘ cam およびｙ cam は、前記カメラの前記基準フレーム座標系での座標であり、
ｘ i およびｙ i は、前記基準フレーム座標系における前記物体の座標である、
タッチ・システムを較正する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/870,698 US6919880B2 (en) | 2001-06-01 | 2001-06-01 | Calibrating camera offsets to facilitate object position determination using triangulation |
| US09/870698 | 2001-06-01 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008239379A Division JP2008309804A (ja) | 2001-06-01 | 2008-09-18 | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003065716A JP2003065716A (ja) | 2003-03-05 |
| JP4995395B2 true JP4995395B2 (ja) | 2012-08-08 |
Family
ID=25355934
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002161283A Expired - Fee Related JP4995395B2 (ja) | 2001-06-01 | 2002-06-03 | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
| JP2008239379A Ceased JP2008309804A (ja) | 2001-06-01 | 2008-09-18 | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008239379A Ceased JP2008309804A (ja) | 2001-06-01 | 2008-09-18 | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6919880B2 (ja) |
| EP (2) | EP1262909A3 (ja) |
| JP (2) | JP4995395B2 (ja) |
| CA (1) | CA2386094C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008309804A (ja) * | 2001-06-01 | 2008-12-25 | Smart Technologies Ulc | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| US7692625B2 (en) * | 2000-07-05 | 2010-04-06 | Smart Technologies Ulc | Camera-based touch system |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| DE10361018C9 (de) * | 2003-12-23 | 2021-03-04 | QUISS Qualitäts-Inspektionssysteme und Service GmbH | Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struktur mit mehreren Kameras sowie eine Vorrichtung hierfür |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7460110B2 (en) * | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) * | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| ES2627850T3 (es) * | 2004-07-20 | 2017-07-31 | Elekta Ltd. | Calibración de dispositivos de obtención de imágenes por ultrasonido |
| US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
| US8593502B2 (en) * | 2006-01-26 | 2013-11-26 | Polycom, Inc. | Controlling videoconference with touch screen interface |
| US8872879B2 (en) * | 2006-01-26 | 2014-10-28 | Polycom, Inc. | System and method for controlling videoconference with touch screen interface |
| US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
| WO2008001210A2 (en) * | 2006-06-29 | 2008-01-03 | Pierre De Hill | Survey instrument and a method of surveying |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| DE102007021537B4 (de) * | 2006-12-13 | 2020-01-02 | Lg Display Co., Ltd. | Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion |
| KR101346865B1 (ko) * | 2006-12-15 | 2014-01-02 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| US8139045B2 (en) * | 2006-12-15 | 2012-03-20 | Lg Display Co., Ltd. | Display device having multi-touch recognizing function and driving method thereof |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| CA2697856A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Low profile touch panel systems |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US20090066657A1 (en) * | 2007-09-12 | 2009-03-12 | Richard Charles Berry | Contact search touch screen |
| US8049740B2 (en) * | 2007-10-26 | 2011-11-01 | Tyco Electronics Corporation | Method and apparatus for laplace constrained touchscreen calibration |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US20090277697A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Pen Tool Therefor |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20090278794A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System With Controlled Lighting |
| US20100079385A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for calibrating an interactive input system and interactive input system executing the calibration method |
| JP2012504817A (ja) * | 2008-10-02 | 2012-02-23 | ネクスト ホールディングス リミティド | タッチ検出システムにおいてマルチタッチを解像するステレオ光センサ |
| WO2010052772A1 (ja) * | 2008-11-05 | 2010-05-14 | 富士通株式会社 | カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
| US20110187678A1 (en) * | 2010-01-29 | 2011-08-04 | Tyco Electronics Corporation | Touch system using optical components to image multiple fields of view on an image sensor |
| US20110234542A1 (en) * | 2010-03-26 | 2011-09-29 | Paul Marson | Methods and Systems Utilizing Multiple Wavelengths for Position Detection |
| US8338725B2 (en) * | 2010-04-29 | 2012-12-25 | Au Optronics Corporation | Camera based touch system |
| TWI421753B (zh) * | 2010-08-12 | 2014-01-01 | Lite On Semiconductor Corp | Calibration method, detection device and optical touch panel for optical touch panel |
| US8269750B2 (en) * | 2010-08-13 | 2012-09-18 | Omnivision Technologies, Inc. | Optical position input system and method |
| CN102375565B (zh) * | 2010-08-13 | 2013-11-06 | 原相科技股份有限公司 | 可切换撷取范围的交互式指向装置与切换撷取范围的方法 |
| US10026407B1 (en) | 2010-12-17 | 2018-07-17 | Arrowhead Center, Inc. | Low bit-rate speech coding through quantization of mel-frequency cepstral coefficients |
| TWI446248B (zh) * | 2010-12-24 | 2014-07-21 | Wistron Corp | 補償影像間時間差的方法及使用該方法的電子裝置 |
| TWI450155B (zh) * | 2011-02-15 | 2014-08-21 | Wistron Corp | 應用於光學式觸控裝置之校正資訊計算方法及系統 |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| TWI475446B (zh) * | 2012-04-24 | 2015-03-01 | Wistron Corp | 光學式觸控系統及其擷取訊號調整之方法 |
| US9507462B2 (en) * | 2012-06-13 | 2016-11-29 | Hong Kong Applied Science and Technology Research Institute Company Limited | Multi-dimensional image detection apparatus |
| CN102789340B (zh) * | 2012-06-27 | 2015-12-16 | 深圳市巨龙科教高技术股份有限公司 | 一种电子白板的白板坐标获取方法、装置及电子白板 |
| CN102880361B (zh) * | 2012-10-12 | 2015-09-09 | 南京芒冠股份有限公司 | 电子白板设备的定位校准方法 |
| US9473740B2 (en) | 2012-10-24 | 2016-10-18 | Polycom, Inc. | Automatic positioning of videoconference camera to presenter at presentation device |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9632658B2 (en) | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
| WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| EP3379459A1 (en) | 2017-03-24 | 2018-09-26 | Tata Consultancy Services Limited | System and method for telecom inventory management |
| US10094662B1 (en) | 2017-03-28 | 2018-10-09 | Trimble Inc. | Three-dimension position and heading solution |
| US10341618B2 (en) | 2017-05-24 | 2019-07-02 | Trimble Inc. | Infrastructure positioning camera system |
| US10406645B2 (en) | 2017-05-24 | 2019-09-10 | Trimble Inc. | Calibration approach for camera placement |
| US10300573B2 (en) | 2017-05-24 | 2019-05-28 | Trimble Inc. | Measurement, layout, marking, firestop stick |
| US10347008B2 (en) | 2017-08-14 | 2019-07-09 | Trimble Inc. | Self positioning camera system to 3D CAD/BIM model |
| US10339670B2 (en) | 2017-08-29 | 2019-07-02 | Trimble Inc. | 3D tool tracking and positioning using cameras |
| US10685197B2 (en) | 2017-11-17 | 2020-06-16 | Divine Logic, Inc. | Systems and methods for tracking items |
| CN108132727A (zh) * | 2017-12-07 | 2018-06-08 | 青岛海信电器股份有限公司 | 基于触控平台的笔迹调整方法及装置 |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| US11002541B2 (en) | 2019-07-23 | 2021-05-11 | Trimble Inc. | Target positioning with electronic distance measuring and bundle adjustment |
| US10997747B2 (en) | 2019-05-09 | 2021-05-04 | Trimble Inc. | Target positioning with bundle adjustment |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1109539A (en) * | 1978-04-05 | 1981-09-22 | Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications | Touch sensitive computer input device |
| JPS5936295B2 (ja) | 1981-06-23 | 1984-09-03 | 株式会社日立国際電気 | 光学式座標入力装置 |
| US4507557A (en) | 1983-04-01 | 1985-03-26 | Siemens Corporate Research & Support, Inc. | Non-contact X,Y digitizer using two dynamic ram imagers |
| DE3616490A1 (de) | 1985-05-17 | 1986-11-27 | Alps Electric Co Ltd | Optische koordinaten-eingabe-vorrichtung |
| JPS6375918A (ja) | 1986-09-19 | 1988-04-06 | Alps Electric Co Ltd | 座標入力装置 |
| US4746770A (en) | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US5880411A (en) * | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5724743A (en) * | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
| US5502568A (en) | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
| JPH08240407A (ja) | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 位置検出入力装置 |
| US5786810A (en) | 1995-06-07 | 1998-07-28 | Compaq Computer Corporation | Method of determining an object's position and associated apparatus |
| JPH0991094A (ja) | 1995-09-21 | 1997-04-04 | Sekisui Chem Co Ltd | タッチパネルの座標検出装置 |
| JP3807779B2 (ja) | 1996-05-29 | 2006-08-09 | 富士通株式会社 | 座標検出装置 |
| US5936615A (en) | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
| JP3624070B2 (ja) | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
| US6153836A (en) * | 1997-04-02 | 2000-11-28 | Goszyk; Kurt A. | Adjustable area coordinate position data-capture system |
| JP3876942B2 (ja) | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| AU2439399A (en) | 1998-02-09 | 1999-08-23 | Haim Azaria | Video camera computer touch screen system |
| JP4033582B2 (ja) | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6335724B1 (en) | 1999-01-29 | 2002-01-01 | Ricoh Company, Ltd. | Method and device for inputting coordinate-position and a display board system |
| JP4057200B2 (ja) * | 1999-09-10 | 2008-03-05 | 株式会社リコー | 座標入力装置および座標入力装置の記録媒体 |
| JP3934846B2 (ja) | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
| JP2001265516A (ja) | 2000-03-16 | 2001-09-28 | Ricoh Co Ltd | 座標入力装置 |
| JP2001282445A (ja) | 2000-03-31 | 2001-10-12 | Ricoh Co Ltd | 座標入力／検出装置および情報表示入力装置 |
| US7692625B2 (en) | 2000-07-05 | 2010-04-06 | Smart Technologies Ulc | Camera-based touch system |
| US6531999B1 (en) * | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US6919880B2 (en) * | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
-
2001
- 2001-06-01 US US09/870,698 patent/US6919880B2/en not_active Expired - Lifetime
-
2002
- 2002-05-13 CA CA002386094A patent/CA2386094C/en not_active Expired - Lifetime
- 2002-05-22 EP EP02253594A patent/EP1262909A3/en not_active Ceased
- 2002-05-22 EP EP10012762A patent/EP2302490A3/en not_active Ceased
- 2002-06-03 JP JP2002161283A patent/JP4995395B2/ja not_active Expired - Fee Related
-
2008
- 2008-09-18 JP JP2008239379A patent/JP2008309804A/ja not_active Ceased
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008309804A (ja) * | 2001-06-01 | 2008-12-25 | Smart Technologies Ulc | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1262909A3 (en) | 2006-02-22 |
| EP2302490A3 (en) | 2012-03-28 |
| US20030043116A1 (en) | 2003-03-06 |
| EP2302490A2 (en) | 2011-03-30 |
| CA2386094C (en) | 2008-07-22 |
| US6919880B2 (en) | 2005-07-19 |
| EP1262909A2 (en) | 2002-12-04 |
| CA2386094A1 (en) | 2002-12-01 |
| JP2003065716A (ja) | 2003-03-05 |
| JP2008309804A (ja) | 2008-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4995395B2 (ja) | 物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法、タッチシステムおよびタッチシステムの較正方法と媒体 | |
| US7256772B2 (en) | Auto-aligning touch system and method | |
| KR101947935B1 (ko) | 3차원 측정 시스템의 갱신 보정 방법 | |
| JP5122948B2 (ja) | タッチ面に対応するポインタを検出するための装置及び方法 | |
| US9866818B2 (en) | Image processing apparatus and method, image processing system and program | |
| Zhou et al. | A novel optimization method of camera parameters used for vision measurement | |
| CA2866919C (en) | Method for generally continuously calibrating an interactive input system | |
| JP2011513724A (ja) | 基準座標上の視覚的イメージを利用した客体位置の測定方法 | |
| US9838587B2 (en) | System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| KR20120069429A (ko) | 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템과 그 방법 | |
| KR101239671B1 (ko) | 렌즈에 의한 왜곡 영상 보정방법 및 그 장치 | |
| KR101165340B1 (ko) | 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법 | |
| CN111145268A (zh) | 一种视频注册方法及装置 | |
| Morrison et al. | 7.4: Machine Vision Passive Touch Technology for Interactive Displays | |
| JPH0886609A (ja) | ビーム光投影式３次元センサによる計測方法及びキャリブレーション方法並びにそれらの装置 | |
| Linder et al. | Lens Distortion and Calibration | |
| Wang et al. | A Partition-Based Five-Point Coordinate Conversion Method for Large Scale Interactive Whiteboard | |
| Zuurmond | Accurate camera position determination by means of moiré pattern analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050518 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070531 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080521 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101115 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120315 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120510 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4995395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |