JP4822643B2 - 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法 - Google Patents
無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法 Download PDFInfo
- Publication number
- JP4822643B2 JP4822643B2 JP2001508426A JP2001508426A JP4822643B2 JP 4822643 B2 JP4822643 B2 JP 4822643B2 JP 2001508426 A JP2001508426 A JP 2001508426A JP 2001508426 A JP2001508426 A JP 2001508426A JP 4822643 B2 JP4822643 B2 JP 4822643B2
- Authority
- JP
- Japan
- Prior art keywords
- computer
- cursor
- image
- external
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
(技術分野)
本発明は、コンピュータ・スクリーンの投影画像で、無線光学ポインタを光学的にトラッキングして同期することによって、コンピュータを遠隔制御するシステムおよび方法に関する。
【0002】
(背景技術)
通常のキーボード/マウス・インタフェースを多種多様なユーザのアプリケーションおよび好みに適合させるようコンピュータを遠隔制御するシステムおよび方法が数多く開発されている。超音波、赤外線および無線周波数(RF)を含む多様な技術が用いられて、コンピュータのプロセッサおよび/またはディスプレイのスクリーンに関し、ユーザにはより高い移動性が与えられている。これらの技術は、典型的には、ユーザと、コンピュータを制御するのに用いられるコンピュータとの間の制御および状態情報を通信する特注の送受信機を使用する。多くのシステムは、ユーザ、コンピュータおよび/またはディスプレイ・スクリーンに設けられたセンサを用いて、それらのセンサに関してのユーザおよび/または無線ポインティング・デバイスの動きを検出する。いくつかのアプリケーションを受け入れることができる一方で、これらの手法は、例えば、見通し要件または距離によって制限される。同様に、これらのシステムは、複雑でしばしば高価な装置を必要とし、2,3人の個人から講堂を埋め尽くす聴衆までの範囲にわたっての異なるフォーラムに直ちに適合できるものではない。
【0003】
図表を用いたプレゼンテーションおよび/またはデモンストレーションに益々コンピュータが用いられるようになるにつれ、様々な規模の聴衆が見ることができるように、より大きなディスプレイ装置が用いられる。例えば、スライドショーのような、多くのプレゼンテーションでは、実際のプレゼンテーションの間にコンピュータを比較的単純に制御する必要がある。スライドを進めたり戻したり、あるいはディスプレイの連写を始めるコマンドには、コンピュータと通信するための基本的なユーザ・インタフェースまたは遠隔制御のみが必要である。しかしながら、ソフトウェア・ユーザのトレーニングまたはプロモーションに用いられるような、より洗練されたプレゼンテーションまたはデモンストレーションには、コンピュータを効果的に操作するためのより洗練されたインタフェースまたは遠隔制御が必要となる。従来の方策としては、プレゼンタがコンピュータのごく近くに留まってキーボードおよび/またはポインティング・デバイス(マウス、タッチパッド、トラックボールなど)を操作するか、必要な操作を行うアシスタントを置くかすることが必要である。
【0004】
(発明の開示)
したがって、本発明の目的は、従来のポインティング・デバイスによって行われるのと同様のやり方でコンピュータを遠隔制御するシステムおよび方法を提供することである。
【0005】
本発明の別の目的は、コンピュータ・スクリーンの投影画像上にカーソルまたは目に見えるキューを重畳するのに用いられる光学ポインタの特性に基づいて、コンピュータを遠隔制御するシステムおよび方法を提供することである。
【0006】
本発明の更なる目的は、コンピュータ・スクリーン上のカーソルの位置および/または動きを光学ポインタの位置および/または動きと同期させるシステムおよび方法を提供することである。
【0007】
本発明の更に付け加えた目的は、コンピュータにコマンドを提供するコンピュータ・ディスプレイに関しての形、色、強度、動きまたは同様の特性といった光学ポインタの特性を検出するシステムおよび方法を提供することである。
【0008】
本発明のなお別の目的は、コンピュータ・ディスプレイ上に重畳される光学カーソルの特性に対応する、位置に関するコマンドを用いるコンピュータを遠隔制御するシステムおよび方法を提供することである。
【0009】
本発明のなお更なる目的は、従来のコンピュータ・ポインティング・デバイスに匹敵するコンピュータと連係した、光の無接続光学トラッキングを行うシステムおよび方法を提供するものである。
【0010】
本発明の上記目的およびその他の目的、特徴および利点を実行するのに、コンピュータを遠隔制御する方法には、コンピュータからの出力を表示する関連スクリーンを有し、コンピュータによって生成される内部カーソルに、スクリーンに関する外部カーソルの少なくとも1つの特性を検出し、また、その外部カーソルの少なくとも1つの検出された特性に基づいてコンピュータのコマンドを生成することを含ませている、コンピュータの遠隔制御システムおよび方法が含まれている。1つの実施例において、本発明には、コンピュータ出力の画像を外部スクリーンに投影するプロジェクタに接続されるコンピュータが含まれている。投影されるコンピュータ出力の画像を捉えるのに、カメラが用いられる。レーザ・ポインタのような光学ポインタが用いられて、色、形または強度といった様々な特性を有する外部カーソルを生成して送信する。カメラによって捉えられた画像が用いられて、外部カーソルの少なくとも1つの特性を検出して処理し、コンピュータを制御する対応コマンドを生成する。マウス、トラックボールのようなポインティング・デバイスによって典型的に提供されるコンピュータの制御をエミュレートするコマンドが用いられる。
【0011】
本発明は、先行技術の方策に関して、数多くの利点を提供する。例えば、本発明によると、ユーザは、レーザ・ポインタのような従来の光学ポインティング・デバイスを使用することができ、位置に依存するコマンドを遠隔した場所にあるコンピュータに提供することができる。このように、本発明は、マウスやトラックボールのような従来のコンピュータ・ポインティング・デバイスと同様に、コンピュータのより洗練された制御を可能とする、比較的簡単な遠隔ユーザ・インタフェースを提供する。本発明によると、ユーザは、コンピュータ・スクリーンまたはコンピュータ・スクリーンの投影された画像が、光学ポインタを介してアクセス可能であるいかなる場所からでも、ソフトウェアのデモンストレーションのためにコンピュータを制御することができるものとなる。1つの実施例において、本発明は、プロジェクタおよびビデオカメラおよび/またはフレーム捕獲デバイスを単一ユニット内に一体化している。
【0012】
本発明の上記利点およびその他の利点、目的および特徴は、添付した図面と関連付けるとき、発明を実施するための最良の形態についての以下の詳細な記述から直ちに明らかとなろう。
【0013】
(発明を実施するための最良の形態)
今図1を参照すると、本発明によるコンピュータを遠隔操作する光学トラッキングを備えた代表的なコンピュータ・プレゼンテーション・システムを例示するブロック図が示されている。ここで用いられるとおり、コンピュータの遠隔制御には、コンピュータの様々なアプリケーション・プログラムおよび/またはオペレーティング・システムの制御を含めることが意図されている。この実施例において、コンピュータ10は、ビデオ・プロジェクタ12とビデオカメラ14とに接続されている。ビデオ・プロジェクタ12は、コンピュータ出力の画像16を、一般に参照番号18で指示される投影表面またはスクリーンへと投影する。好ましくは、スクリーン18は「受動的な」スクリーンであり、すなわち、コンピュータ10から離れた場所にある実質的に平らな表面であって、プロジェクタ12によって生成されるコンピュータ出力の画像に対して十分なコントラストを提供する明るい色のものである。投影スクリーン、壁などを含めて、様々なものが用いられてそのような表面が提供される。コンピュータ10からの出力はまた、ラップトップ・コンピュータ10の伝統的なコンピュータ・スクリーン20または、モニタ、テレビまたは同様の「能動的な」デバイスなどのようなその他のディスプレイ・デバイスを含む「能動的な」スクリーン上にディスプレイされる。そのような「能動的な」スクリーンは、単独で用いられるか、本発明の精神または範囲から逸脱することなく、1つ以上の「受動的な」スクリーンと組み合わせて用いられる。
【0014】
図1にもまた例示されるように、一般に参照番号22で指示される外部カーソルが、コンピュータ10からの出力である画像16上に重畳される。このアプリケーションで用いられるとおり、外部カーソルは、コンピュータ10に関して外部的に生成され、すなわち、他のコンピュータ、プロジェクタなどを含み得るある別のデバイスによって生成されるものである。1つの実施例において、外部カーソル22は、外部カーソル22の少なくとも1つの特性を変えることのできる、手で持てる光学ポインタ24によって生成される。例えば、本発明によると、光学ポインタ24は、外部カーソル22の色、形、サイズ、強度、照明パターン、動きおよび/または位置を変えて、コンピュータ10を遠隔制御する1つ以上のコマンドを生成する。1つの好ましい実施例において、光学ポインタ24は、ユーザが選択できる2つの色の1つである外部カーソルを生成するレーザ・ポインタである。この実施例において、外部カーソルはコンピュータの出力よりも著しく高い強度を有しており、それによってより容易に検出される。
【0015】
好ましくは、カメラ14は、プロジェクタ12によって生成される画像16の少なくとも実質的な部分を含む画像を捕獲する。能動的スクリーンが使用される代わりの実施例においては、カメラ14は、好ましくは、アクティブ・スクリーン、すなわち、コンピュータ・モニタ、ディスプレイまたはテレビの少なくとも実質的な部分を捕獲する。コンピュータ10は、その捕獲された画像を処理して、外部カーソル22の少なくとも1つの特性を測定する。本発明の好ましい実施例において、コンピュータ10は、画像16を処理して、少なくとも外部カーソル22の位置を測定し、また内部カーソルを外部カーソル24とほとんど同じ位置に移動させるのに適当なコマンドを生成する。コンピュータはまた、画像16を処理して外部カーソル22のその他種々の特性を検出し、コンピュータ10を遠隔制御するのに用いられる、位置に依存するコマンドを生成する。そのような位置またはコンテクストに依存するコマンドは、マウス、トラックボール、タッチパッドなどのような伝統的なコンピュータ・ポインティング・デバイスによって生成される「左クリック」または「右クリック」コマンドをエミュレートする。同様に、その他の様々なコマンドが、特定のアプリケーションに依存する外部カーソル22の1つ以上の特性と関連付けられる。
【0016】
本発明の1つの実施例において、コンピュータ10は、一般に参照番号28によって指示される焦点板(reticles)または基準(fiducials)を周期的に生成し、スクリーン18上の画像16に関してカメラ14によって捕獲された画像について目盛り定め、または位置合わせを行う。好ましくは、コンピュータ出力の画像の4つの角の各々が、焦点板または基準を含んでおり、その基準は、外部カーソル22が検出される「能動的な」トラッキング領域の輪郭を描くのに用いられる。基準は、例示される直角またはクロスのような適当な形であってよい。スクリーン18が実質的に平らでないアプリケーションについて、基準28は、スクリーンをより多くカバーする。例えば、基準線が、スクリーン28を横切って水平または垂直に延びてもよい。
【0017】
好ましくは、プロジェクタ12(使用時)、カメラ14およびスクリーン18は動くものではなく、目盛り定め(位置合わせ)とトラッキングの処理を容易にするために実質的には固定されたままである。しかしながら、外部カーソル22の特性の検出がより複雑になり、計算上より厳しいものとなるけれども、本発明はまた、これらのデバイスが1つ以上位置を変えるアプリケーションにおいても用いることができる。目盛り定めまたは位置合わせ処理は、ユーザの要請に基づいておよび/または外部カーソル22が検出されないとき、所定の間隔で自動的に繰り返される。本発明の1つの実施例において、焦点板または基準28は、外部カーソル22の位置に向けて漸進的に移動され、外部カーソル22を検出する画像の処理を単純化する。この実施例において、基準28によって輪郭が描かれる領域のみが、外部カーソル22を検出するのにサーチされ、スキャンされる。外部カーソル22が、基準28によって定義される領域内の場所にないなら、それらの位置は、外部カーソル22が検出されるまで、処理される画像の元の隅にリセットされるか、それらに向けて漸進的に拡大される。
【0018】
図2は、ビデオカメラ14によって捕獲される単一の画像フレーム40を表す。好ましくは、フレームは繰り返し捕獲され、外部カーソル22の少なくとも1つの特性を検出するよう処理される。典型的なフレーム捕獲速度は、秒速30または60フレームである。好ましくは、ビデオカメラのフレーム捕獲速度および/または能動的スクリーンまたはプロジェクタの出力は、関係する周波数帯内のエイリアシング(aliasing)およびその他の干渉を最小限にするように選択される。そのような干渉は、うなり周波数または、スクリーンまたはプロジェクタのリフレッシュ速度とビデオカメラとの間の異なる周波数によって生み出される。そのような干渉効果は、どのようなものでも、捕獲された画像を適当にフィルタリングすることによってもまた低減される。フィルタリングは、コンピュータによる画像処理の一部として行われるか、または画像捕獲処理の一部として適当なハードウェアによって行われる。
【0019】
捕獲された画像フレーム40には、好ましくは、一般に参照番号42によって表されるコンピュータ出力画像の実質的な一部が含まれる。図2に例示されるように、コンピュータ出力画像42は、捕獲されるフレーム40内に凸状四辺形領域を占める。画像42は、プロジェクタおよびカメラの一方または双方が、スクリーンの中央を垂直に通る線上に位置しないならば、長方形ではない。好ましくは、コンピュータは、画像42内に焦点板または基準28をはめ込むか、重畳させるかする。捕獲された画像40の処理は、角C1’、C2’、C3’およびC4’を探し出すのに使用される特定のタイプの基準に依存する線および交点パターン認識を使用する。C1’、C2’、C3’およびC4’の場所および外部カーソルの特性の測定は、単純化され、と言うのも、それらを識別する特性はアプリオリ(先天的)に知られるからである。静止画像内でのアイテムの識別および形体の動画像の識別は、マクグロウヒル、ISBN0−07−032018−7により出版されたジェイン(Jain)、カストゥリ(Kasturi)およびシャンク(Schunk)による「マシン・ビジョン(MACHINE VISION)」に記述されているような周知の画像処理手法をいくつでも用いて達成される。本発明は、コンピュータを遠隔制御するのに用いられる外部カーソルの特性を、識別または検出するのに使用される特定の画像処理手法とは独立したものである。外部カーソルの位置または場所情報を測定する代表的な方法が、以下に提供される。
【0020】
角C1’、C2’、C3’、C4’および外部カーソル22の場所は、Xで表される水平座標およびYで表される垂直座標を有し、Y=0が、最上のスキャン・ラインを表す古典的なビデオ直交システムで測定される。スキャン・ラインの数は、Y値の最大値を決定する。X=0について座標に対応する位置は、各スキャン・ラインにおける最初の(最も左の)画素であり、スキャン・ラインあたりの画素の数は、X値の最大値を決定する。線分C1−C2は、X軸に対応し、線分C1−C4は、Y軸に対応する。画像42の内部にあるポイントは、標準化された(T,U)座標で表され、ここで、C1’は、座標(T=0.0,U=0.0)を有し、またC3’は、座標(T=1.0,U=1.0)を有する。そして、標準化された座標は、画像40にとって適当な解像度に拡大縮小される。座標TおよびUは、一組の助変数方程式を用いて、所定のビデオ・フレームにおけるいかなる点についても測定することができる。まず、角C1’〜C4’の各々について、X−Y座標の組は、以下のとおり表される。
C1’=(X1’,Y1’)
C2’=(X2’,Y2’)
C3’=(X3’,Y3’)
C4’=(X4’,Y4’)
【0021】
直線についての助変数方程式は、P(Q)=P0−Q(P0−P1)であり、ここで、この例において、Qは、Tで、そしてUで置き換えられる。T軸は、C1’−C2’およびC4’−C3’を用いて定義され、またU軸は、C1’−C4’およびC2’−C3’を用いて定義される。画像42を定義する、埋め込まれた四辺形が、平行な境界を有するとは保証されていないので、(X,Y)から(T,U)へのマッピングは、通常の場合、単純な長方形のマッピングではない。しかしながら、そのマッピングは、以下で記述されるように得られる。
【0022】
画像42を定義する、埋め込まれた四辺形の境界についての助変数方程式は、以下で与えられる。
上境界(LT1):p(T)=C1’−T(C1’−C2’)
下境界(LT2):p(T)=C4’−T(C4’−C3’)
左境界(LU1):p(U)=C1’−U(C1’−C4’)
右境界(LU2):p(U)=C2’−U(C2’−C3’)
そして(T,U)のマッピングが、LTペアかLUペアかを選択し、そして他方の変数(それぞれUかTか)における助変数方程式を定義することによって、以下のとおり定義される。
1:p(T)=LU1−T(LU1−LU2)
または、等価的に
2:p(U)=LT1−U(LT1−LT2)
等式1は、U軸がT=0の位置からT=1の位置まで(T,U)空間を横断するとき、それがどのように縮小拡大し、および/または回転するかを表す。等式2は、T軸がU=0からU=1までの(T,U)空間を横断するとき、それがどのように縮小拡大し、および/または回転するかを表す。上に指示されたとおり、いずれかの等式が用いられて、他方の変数の助変数方程式を決定する。この例では、等式1が選択され、LU1およびLU2についての等式が等式1へと代入され、以下のとおり等式3を生成する。
3:p(T,U)=[C1’−U(C1’−C4’)]−T{[C1’−U(C1’−C4’)]−[C2’−U(C2’−C3’)]}
表記法を簡単にするために、隅の点の座標間の差またはデルタを表す略記法を以下のように定義するのが有用である。
d1:C1’−C2’
d2:C2’−C3’
d3:C4’−C3’
d4:C1’−C4’
ここで、差の値は、1つだけの座標の値、すなわち、X座標またはY座標だけの値の間の差にあてられ、差は、「d」と数との間のXかYかによってそれぞれ表される。例えば、dX2は、数量(X2’−X3’)を表し、一方、dY4は、数量(Y1’−Y4’)を表す。そして、(X’,Y’)なる点の組は、等式3におけるC1’,C2’,C3’およびC4’に代入され、デルタ表記が用いられて、結果として得られる等式が簡単なものとなる。Uと掛け合わされる4つの点が、どのように組にされるかによって、以下の等式の1つが結果として得られる。
4:p(T,U)=[C1’−U*d4]−T[d1−U(d1−d3)]
または
5:p(T,U)=[C1’−U*d4]−T[d1−U(d4−d2)]
等式4および5は、等しく有効であって、各々が、一方がXで他方がYの線形的に独立した等式の組を表し、と言うのも、p(T,U)は、一般座標ペア(X,Y)で表されるからである。等式5は、この例について選択されたもので、XおよびY方程式に分割される。
6:X=X1’−U*dX4−T*dX1+UT(dX4−dX2)
7:Y=Y1’−U*dY4−T*dY1+UT(dY4−dY2)
そして等式6および7をTおよびUについてそれぞれ解き、以下のとおり等式8および9を得る。
等式8および9は、線形的に独立するので、一方の等式を他方のものに代入することができる。この例において、等式9は、等式8へと代入されて以下のものが得られる。
今これは、元の空間における座標(X,Y)を有する任意の点についてのTの等式に過ぎない。等式10をTについて解くことで、Tの単純な2次式を得る。
11: 0=AT2+BT+C
ここで、
A=dY1(dX4−dX2)−dX1(dY4−dY2)
B=dX1*dY4−(Y1−Y)(dX4−dX2)−dY1*dX4+(X1−X)(dY4−dY2)
C=dX4*(Y1−Y)−dY4(X1−X)
そして等式11は、2次公式を用いて解ける。等式11においてAは定数であり、BおよびCは、XおよびYの値によって変化する。以上のとおりであるので、線分C1’−C2’およびC4’−C3’を延長することによって形成される直線が交差するならば、等式11には2つの解が存在し、その1つは交点のT座標であり、他方はTについての正しい値である。直線が交差しないならば、その1つの解がTについての正しい値である。Tの正しい値が一旦決定されたならば、それは再度等式9に代入されてUについての対応する値を決定する。
【0023】
上記の例によって、一旦C1’,C2’,C3’およびC4’が判って、外部カーソル22の(X,Y)座標が決定されると、簡単な計算で、コンピュータ出力の内部カーソル26について「マウス座標」を表す(T,U)の値が得られることが示されている。T−U座標システムは正規化されているので、正規化された範囲(0から1)の外のTまたはUを有する座標は、トラッキングの目的では無視することができ、と言うのも、それらはコンピュータ出力の画像42の中に収まらないからである。内部カーソル26の座標について縮小拡大される値を決定するには、Tは捕獲された画像40の水平解像度と、またUは垂直解像度と掛け合わされる。目盛り定めまたは位置合わせ処理によって一旦C1’,C2’,C3’およびC4が決定されると、図3を参照して例示され、記述されるように、フレームを繰り返し捕獲および分析することによって、外部カーソル22の少なくとも1つの特性がモニタされトラッキングされる。本発明の1つの実施例において、外部カーソル22の位置は、外部カーソルが投影された画像42の中にあるときのみに決定され、一方、形、色、サイズなどのような外部カーソル22のその他の様々な特性は、外部カーソル22が捕獲された画像40の中にある限りにおいて、すなわち、外部カーソル22が投影された画像42の外にあるときでさえ、モニタされる。
【0024】
ここで図3を参照すると、本発明による、コンピュータを遠隔制御するシステムおよび方法の、1つの実施例の操作を例示するフローチャートが示されている。当業者によって理解されるとおり、図3に例示されるフローチャートは、イベント駆動、インタラプト駆動、マルチ・タスク、マルチ・スレッドなどのような多数の周知処理方策のいずれをも表す。同様に、本発明は、発明を実施するのに用いられる特定のプログラム言語、オペレーティング・システムまたはコンピュータ・プラットフォームとは独立している。以上のとおりであるので、例示される様々なステップや機能は、例示されるように直列で、並列でまたは場合によっては全部省略されて実行される。同様に、例示された処理の順序は、本発明の目的、特徴および利点を達成するのに必ずしも必要とされているわけではなく、例示および記述を容易とするために提供されている。
【0025】
好ましくは、図3の制御ロジックは、図1のコンピュータ10で一般に表されるラップトップやデスクトップ・コンピュータのような、マイクロプロセッサをベースとするコンピュータによって実行されるソフトウェアで実行される。もちろん、制御ロジックの様々な部分や機能は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアの組み合わせにおいて実行される。図3のフローチャートは、1つの「ループ」を例示しており、当業者にとって周知のとおり、好ましくは、周期的な時間間隔で、またはある内部または外部のイベントにより要請されて、その操作が繰り返される。好ましくは、図3において示される制御ロジックは、フロッピー(登録商標)ディスク、ハードディスク、CD−ROM、テープまたはその他の磁気、光もしくはそれらの組み合わせ装置のようなコンピュータ読み取り可能記憶媒体に記憶されるデータにおいて実施される。コンピュータ読み取り可能記憶媒体には、本発明による、コンピュータを遠隔制御するコマンドを生成するようコンピュータによって実行可能なインストラクションを表すデータが含まれている。
【0026】
コンピュータからの出力が、図3のブロック50によって表されるように表示されている。好ましくは、コンピュータからの出力は、コンピュータのモニタ、外部テレビまたはモニタもしくは上述されたような外部の「受動的な」スクリーンである関連スクリーン上に表示される。複数の基準または焦点板が、ブロック52で表されるように、コンピュータ出力上に重畳される。好ましくは、その基準はコンピュータによって生成され、出力上に重畳される。基準は、システムの位置合わせまたは目盛り定めに用いられる。好ましくは、基準は、コンピュータ出力の隅に位置付けられ、基準の形は、システムにとってアプリオリに知られている。ステップ52は、特定のアプリケーションによっては周期的に繰り返される。例えば、ステップ52は、システムを目盛り定めするためにユーザによって始められるか、所定の時間間隔で自動的に繰り返されるか、何らかの内部または外部イベントに基づいて繰り返されるかする。例えば、ブロック52は、外部カーソルが画像内に検出されないときはいつでも繰り返される。
【0027】
コンピュータ出力の画像は、ブロック54によって表されるように捕獲される。好ましくは、CCDアレイを含むカメラが、適当なフレーム捕獲カードと一緒に用いられて画像を捕獲する。好ましくは、画像にはコンピュータ出力の実質的な部分が含まれている。しかしながら、特定の実施例によっては、画像にはコンピュータ出力を表示するのに用いられるスクリーンの中央部のみか、ある別の領域のみが含まれている。その代わりに、画像は、コンピュータ出力を表示するのに用いられるスクリーン全体を包含していてもよい。
【0028】
画像が処理されて、ブロック56で表されるような基準の位置を検出する。上で指示されたように、ブロック52および56で表される操作は、様々な状況下で選択的に繰り返される。好ましくは、基準の1つが、正規化された座標システムについての原点として用いられ、上述のようなコンピュータ出力に関する外部カーソルの位置を決定する。
【0029】
目盛り定めまたは位置合わせ処理を完了した後、画像は繰り返し捕獲され、ブロック58〜72で表されるように処理される。ブロック58で表される捕獲された画像が処理されて、ブロック60で表されるような外部カーソルの少なくとも1つの特性を検出する。好ましくは、外部カーソルは、手で持てるポインタによって生成される光学カーソルであって、少なくとも1つの、ユーザが選択可能な(可変の)特性が含まれている。カーソルの選択可能な特性は、コンピュータを遠隔制御するのに用いられる。カーソルの特性には、ブロック62,64,66および68でそれぞれ表されるように、強度、色、形またはサイズが含まれる。また、カーソルの特性には、一般に参照符号70で表されるような特定の動きのパターンが含まれている。ブロック72で表される外部カーソルの位置はまた、好ましくは、ブロック56によって決定されるような基準の位置に関して検出される。また、特性を、いずれでも1つ以上組み合わせて用いて、適当なコンピュータのコマンドを生成する。例えば、ブロック72で表される外部カーソルの位置は、それぞれブロック64および66で表されるカーソルの色または形と組み合わせて用いられ、すなわち、外部カーソルの色および/または形は、カーソルの位置に基づいて異なるコマンドを生成する。
【0030】
ブロック60で検出される外部カーソルの特性は、ブロック74で表されるようなコンピュータを制御する対応コマンドに変換される。これは、数多くの周知方策のいずれのものによっても達成される。例えば、データ構造が用いられて、様々な特性または特性の組み合わせを、特定のソフトウェア・アプリケーションにおける対応コマンドと結びつける。もちろん、生成される特定のコマンドは、アプリケーション毎に異なっていてよい。好ましくは、ブロック74によって生成されるコマンドは、ポインタによって生成される外部カーソルの動きによって、コンピュータによって生成される内部カーソルの動きが、それらカーソルの動きに同期するものとなるように、コンピュータによって生成される内部カーソルの動きを制御する。また、外部カーソルの特定の位置についての1つ以上の特性を変えることによって、様々なコンテクスト感受性または位置感受性コマンドが生成されてもよい。
【0031】
二等辺3角形として配置される3つの整列されたレーザ・エミッタを備えた、手で持てるレーザ・ポインタが含まれる本発明の1つの実施例の、代表的な使い方を以下に示す。ポインタの1つのエミッタは、一旦ポインタがオンにされると、常時活性化されている。第2のエミッタは、「マウスの左ボタン・クリック」コマンドに対応するコマンドを結果として生じる第1ボタンを押すことによって、ユーザによって選択的に活性化される。3つ全てのエミッタは、「マウスの右ボタン・クリック」コマンドに対応するコマンドを結果として生じるレーザ・ポインタの第2ボタンを押すことによって、ユーザによって選択的に活性化される。この実施例において、レーザ・ポインタによって生成される外部カーソルの強度、色およびパターン(または形)を含む様々な特性は、(押し下げられているものがあるなら)どのボタンが押し下げられているのかに加えて、外部カーソルの場所を決定するのに用いられる。ボタンが押されていないならば、ドットの形の単一高強度カーソル、第1のエミッタの色、が捕獲された画像フレーム内に見られる。第1のボタンが押されるとき、外部カーソルの形および色が変えられ、第2のドットが第1のドットから幾分離れた位置に現れる。第2のボタンが押されるとき、外部カーソルは、二等辺3角形の残りの点として現れる追加された2つのドットからなる更に別の形および色をとる。外部カーソルの特性が、システムによって検出され処理されて、コンピュータを遠隔制御する対応コマンドを生成する。
【0032】
発明の実施例が例示され、記述されている一方で、これらの実施例が、発明の全ての可能な形状を例示し、記述することを意図している訳ではない。むしろ、明細書で用いられている語句は、制限よりも記述の語句であり、発明の精神および範囲から逸脱することなく様々な変更がなされるということが理解される。
【図面の簡単な説明】
【図1】 本発明による、コンピュータを遠隔制御する光学トラッキングを備えた代表的なコンピュータ・プレゼンテーション・システムを例示するブロック図である。
【図2】 本発明による一実施例の外部カーソルのための目盛り定め焦点板または基準および座標の導関数の投影を例示する図である。
【図3】 本発明による外部カーソルの光学トラッキングを用いるコンピュータを遠隔制御するシステムまたは方法の操作を例示するフローチャートである。
Claims (17)
- コンピュータによって生成される内部カーソルを含むコンピュータからの出力を表示する関連スクリーンと、
前記コンピュータと通信し前記コンピュータからの出力表示と外部カーソルの反射光線を撮影するように配置されたビデオカメラ、
を有するコンピュータを遠隔制御する方法であって、
前記コンピュータからの出力に対する前記外部カーソルの位置に加えて、前記外部カーソルの特性のうち、カーソルの形、カーソルの大きさ、カーソルの動きのパターンの少なくとも1つの特性を検出し、
前記内部カーソルを前記外部カーソルの位置に対応する前記スクリーン上の位置に移動するためのコマンドを生成し、
前記外部カーソルの少なくとも1つの検出された特性に基づいて前記コンピュータのコマンドを生成することを備える前記方法。 - 前記検出するステップが、
カメラで、前記スクリーンの画像および前記外部カーソルを捕獲し、
前記画像を処理して、前記外部カーソルの前記少なくとも1つの特性を検出することを備える請求項1に記載の方法。 - 前記画像を処理するステップが、
前記画像を前もって捕獲された画像と比較して、前記画像とその前もって捕獲された画像との差異を検出することを備える請求項2に記載の方法。 - 前記画像を処理するステップが、
前記画像を濾過して前記外部カーソルの前記少なくとも1つの特性を検出することを備える請求項2に記載の方法。 - 前記濾過するステップが、前記画像に閾値を設けて、前記コンピュータ出力の強度に関して前記外部カーソルの強度を検出することを備える請求項4に記載の方法。
- 前記濾過するステップが、前記画像を濾過して、前記外部カーソルの色を検出することを備える請求項4に記載の方法。
- 前記濾過するステップが、前記画像を濾過して、前記外部カーソルの形を検出することを備える請求項4に記載の方法。
- 方向付けられた光学エネルギー源を用いて、前記スクリーンに前記外部カーソルを送信することを更に備える請求項1に記載の方法。
- 前記関連スクリーンが、前記コンピュータおよびいかなる関連モニタに対しても外部の遠隔位置にある実質的に平らな面であり、前記コンピュータからの前記出力の画像を前記関連スクリーン上に投影することを更に備える請求項1に記載の方法。
- 前記関連スクリーンが、コンピュータ・モニタである請求項1に記載の方法。
- 前記検出するステップが、前記外部カーソルの動きのパターンを検出することを備える請求項1に記載の方法。
- 複数の基準を前記関連スクリーン上に投影し、
前記コンピュータからの出力に関して、それら基準の位置を検出することを更に備え、前記検出するステップは、前記基準の少なくとも1つに関して前記外部カーソルの位置を検出することを含む請求項1に記載の方法。 - 前記コンピュータのコマンドを生成するステップは、前記外部カーソルが前記複数の基準で輪郭を描かれた領域内にあるならば、前記外部カーソルの位置に基づいてコマンドを生成することを備える請求項12に記載の方法。
- 前記コンピュータのコマンドを生成するステップは、前記外部カーソルが、前記複数の基準で輪郭を描かれた領域内であるが前記コンピュータからの前記出力の外にある間は、前記外部カーソルの位置に基づいてコマンドを生成し、また前記外部カーソルの位置が前記関連スクリーン内にある間は、前記少なくとも1つの特性に基づいて前記コンピュータのコマンドを生成することを備える請求項12に記載の方法。
- 前記検出するステップが、前記外部カーソルの動きのパターンを検出することを備える請求項12に記載の方法。
- 複数の基準を前記関連スクリーン上に表示し、ここでその基準の位置が、前記外部カーソルの位置に基づいて決定されることを更に具備する請求項1に記載の方法。
- 手で持てるポインタによって生成され、コンピュータからの出力を表示するスクリーン上に投影される光学カーソルの、ユーザが選択可能な複数の特性に基づいて前記コンピュータを遠隔制御するコマンドを生成するコンピュータ・プレゼンテーション・システムであって、
前記コンピュータからの前記出力の画像を捕獲するカメラと、
前記画像を処理して、前記光学カーソルの位置および前記光学カーソルの前記少なくとも1つの特性を検出し、かつその位置および少なくとも1つの特性を対応コマンドに変換して、前記コンピュータを制御し、前記スクリーン上に表示される前記出力内に前記光学カーソルが留まる間は、内部カーソルを前記光学カーソルに対応する位置に動かす、前記カメラと通信するプロセッサと
を備える前記システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/347,761 US6275214B1 (en) | 1999-07-06 | 1999-07-06 | Computer presentation system and method with optical tracking of wireless pointer |
US09/347,761 | 1999-07-06 | ||
PCT/US2000/017070 WO2001003106A1 (en) | 1999-07-06 | 2000-06-21 | Computer presentation system and method with optical tracking of wireless pointer |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003504705A JP2003504705A (ja) | 2003-02-04 |
JP4822643B2 true JP4822643B2 (ja) | 2011-11-24 |
Family
ID=23365173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001508426A Expired - Fee Related JP4822643B2 (ja) | 1999-07-06 | 2000-06-21 | 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US6275214B1 (ja) |
EP (1) | EP1200955B1 (ja) |
JP (1) | JP4822643B2 (ja) |
AU (1) | AU5754900A (ja) |
CA (1) | CA2378154C (ja) |
DE (1) | DE60023900T2 (ja) |
WO (1) | WO2001003106A1 (ja) |
Families Citing this family (148)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7119788B2 (en) * | 1998-12-17 | 2006-10-10 | Sony Corporation | Image processing apparatus, image processing method, providing medium and presentation system |
JP3817385B2 (ja) * | 1999-03-11 | 2006-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | マウスポインタの表示方法 |
US6275214B1 (en) * | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
US6952198B2 (en) * | 1999-07-06 | 2005-10-04 | Hansen Karl C | System and method for communication with enhanced optical pointer |
GB2353111A (en) * | 1999-08-07 | 2001-02-14 | Ibm | System for wireless communications between computers |
US6727885B1 (en) * | 1999-09-07 | 2004-04-27 | Nikon Corporation | Graphical user interface and position or attitude detector |
US20010010514A1 (en) * | 1999-09-07 | 2001-08-02 | Yukinobu Ishino | Position detector and attitude detector |
US20030174125A1 (en) * | 1999-11-04 | 2003-09-18 | Ilhami Torunoglu | Multiple input modes in overlapping physical space |
DE60039405D1 (de) * | 1999-12-14 | 2008-08-21 | Matsushita Electric Ind Co Ltd | Navigationssystem |
AU2001227797A1 (en) * | 2000-01-10 | 2001-07-24 | Ic Tech, Inc. | Method and system for interacting with a display |
JP2001222375A (ja) * | 2000-02-08 | 2001-08-17 | Seiko Epson Corp | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
JP4018326B2 (ja) * | 2000-08-07 | 2007-12-05 | キヤノン株式会社 | 座標入力装置及びその制御方法、コンピュータ可読メモリ |
US6704000B2 (en) * | 2000-11-15 | 2004-03-09 | Blue Iris Technologies | Method for remote computer operation via a wireless optical device |
WO2002052527A1 (en) * | 2000-12-25 | 2002-07-04 | Orhan Seyfi Aksakal | Presentation management system |
JP3785935B2 (ja) * | 2001-03-15 | 2006-06-14 | 日本電気株式会社 | 線分検出器 |
GB2374663A (en) * | 2001-04-18 | 2002-10-23 | Nokia Corp | Presentation of images |
JP2002324232A (ja) * | 2001-04-25 | 2002-11-08 | Nikon Corp | 画像処理方法 |
US20040125076A1 (en) * | 2001-06-08 | 2004-07-01 | David Green | Method and apparatus for human interface with a computer |
US6729731B2 (en) * | 2001-06-11 | 2004-05-04 | Info Valley Corporation | Untethered laser pointer for use with computer display |
JP2003108305A (ja) * | 2001-09-28 | 2003-04-11 | Fuji Photo Optical Co Ltd | プレゼンテーションシステム |
US7075512B1 (en) * | 2002-02-07 | 2006-07-11 | Palmsource, Inc. | Method and system for navigating a display screen for locating a desired item of information |
US6982697B2 (en) * | 2002-02-07 | 2006-01-03 | Microsoft Corporation | System and process for selecting objects in a ubiquitous computing environment |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US6909406B2 (en) * | 2002-03-15 | 2005-06-21 | Dell Products L.P. | System and method for selecting a presentation mode |
US7113169B2 (en) * | 2002-03-18 | 2006-09-26 | The United States Of America As Represented By The Secretary Of The Air Force | Apparatus and method for a multiple-user interface to interactive information displays |
US20030222849A1 (en) * | 2002-05-31 | 2003-12-04 | Starkweather Gary K. | Laser-based user input device for electronic projection displays |
US20040001082A1 (en) * | 2002-06-26 | 2004-01-01 | Amir Said | System and method of interaction with a computer controlled image display system using a projected light source |
JP3867205B2 (ja) * | 2002-08-30 | 2007-01-10 | カシオ計算機株式会社 | 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法 |
US6885553B2 (en) * | 2002-09-27 | 2005-04-26 | Rockwell Automation Technologies, Inc. | Bus bar assembly for use with a compact power conversion assembly |
PT1573498E (pt) | 2002-11-20 | 2012-03-22 | Koninkl Philips Electronics Nv | Sistema de interface de utilizador com base num dispositivo de apontador |
SG134976A1 (en) * | 2002-11-26 | 2007-09-28 | Sony Corp | Data input to a computer system defining a three-dimensional model |
GB0229772D0 (en) * | 2002-12-23 | 2003-01-29 | Univ Nottingham | Optically triggered interactive apparatus and method of triggering said apparatus |
US7549131B2 (en) * | 2002-12-31 | 2009-06-16 | Apple Inc. | Method of controlling movement of a cursor on a screen and a computer readable medium containing such a method as a program code |
JP4040046B2 (ja) * | 2003-03-14 | 2008-01-30 | 富士通株式会社 | ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法 |
JP2004318823A (ja) * | 2003-03-28 | 2004-11-11 | Seiko Epson Corp | 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法 |
US20040200955A1 (en) * | 2003-04-08 | 2004-10-14 | Aleksandr Andzelevich | Position detection of a light source |
CA2429880C (en) * | 2003-05-27 | 2009-07-07 | York University | Collaborative pointing devices |
TW578031B (en) * | 2003-06-20 | 2004-03-01 | Benq Corp | Projection system with an image capturing device |
US7209116B2 (en) * | 2003-10-08 | 2007-04-24 | Universal Electronics Inc. | Control device having integrated mouse and remote control capabilities |
TWI226784B (en) * | 2003-10-20 | 2005-01-11 | Ind Tech Res Inst | Multi-trails spot click-event detection method |
US7420540B2 (en) * | 2003-12-01 | 2008-09-02 | Olbrich Craig A | Determining positioning and/or relative movement of graphical-user interface element based on display images |
EP1697911B1 (en) * | 2003-12-18 | 2012-10-17 | Philips Intellectual Property & Standards GmbH | Method and system for control of a device |
US20050140930A1 (en) * | 2003-12-31 | 2005-06-30 | Symbol Technologies, Inc. | Color laser projection display |
JP4220408B2 (ja) * | 2004-02-13 | 2009-02-04 | 株式会社日立製作所 | テーブル型情報端末 |
WO2005104010A2 (en) | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
US20060197756A1 (en) * | 2004-05-24 | 2006-09-07 | Keytec, Inc. | Multi-mode optical pointer for interactive display system |
US7683881B2 (en) * | 2004-05-24 | 2010-03-23 | Keytec, Inc. | Visual input pointing device for interactive display system |
US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
US8842186B2 (en) * | 2004-10-25 | 2014-09-23 | I-Interactive Llc | Control system and method employing identification of a displayed image |
NO323926B1 (no) * | 2004-11-12 | 2007-07-23 | New Index As | Visuelt system samt styringsobjekt og apparat til bruk i systemet. |
US7853041B2 (en) * | 2005-01-07 | 2010-12-14 | Gesturetek, Inc. | Detecting and tracking objects in images |
US7864159B2 (en) * | 2005-01-12 | 2011-01-04 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
WO2006078996A2 (en) | 2005-01-21 | 2006-07-27 | Gesturetek, Inc. | Motion-based tracking |
WO2006085580A1 (ja) * | 2005-02-10 | 2006-08-17 | Takram Design Engineering | ポインタ光トラッキング方法、プログラムおよびその記録媒体 |
US20080180395A1 (en) * | 2005-03-04 | 2008-07-31 | Gray Robert H | Computer pointing input device |
TWI281623B (en) * | 2005-05-10 | 2007-05-21 | Pixart Imaging Inc | Orientation point orientating method of orientation device and device thereof |
US20060256293A1 (en) * | 2005-05-11 | 2006-11-16 | Lawson Jack L | Image projection system |
US7548230B2 (en) * | 2005-05-27 | 2009-06-16 | Sony Computer Entertainment Inc. | Remote input device |
US8427426B2 (en) * | 2005-05-27 | 2013-04-23 | Sony Computer Entertainment Inc. | Remote input device |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
TWI305892B (en) * | 2005-11-23 | 2009-02-01 | Inst Information Industry | Apparatus, computer equipment, method and computer readable media for simultaneously controlling a cursor and an optical pointer |
US20090051651A1 (en) * | 2006-01-05 | 2009-02-26 | Han Sang-Hyun | Apparatus for remote pointing using image sensor and method of the same |
US20080052750A1 (en) * | 2006-08-28 | 2008-02-28 | Anders Grunnet-Jepsen | Direct-point on-demand information exchanges |
US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
JP2008033389A (ja) * | 2006-07-26 | 2008-02-14 | Fuji Xerox Co Ltd | 機能指示システム、機能指示装置、機能指示解析システム、プレゼンテーションシステムおよび機能指示解析プログラム。 |
US8089455B1 (en) | 2006-11-28 | 2012-01-03 | Wieder James W | Remote control with a single control button |
EP2613281B1 (en) * | 2006-12-29 | 2014-08-13 | Qualcomm Incorporated | Manipulation of virtual objects using enhanced interactive system |
US20080169132A1 (en) * | 2007-01-03 | 2008-07-17 | Yao Ding | Multiple styli annotation system |
US20080170033A1 (en) * | 2007-01-15 | 2008-07-17 | International Business Machines Corporation | Virtual pointer |
US8614675B2 (en) * | 2007-01-25 | 2013-12-24 | Microsoft Corporation | Automatic mode determination for an input device |
US8928499B2 (en) * | 2007-01-25 | 2015-01-06 | Microsoft Corporation | Input device with multiple sets of input keys |
JP2008219788A (ja) * | 2007-03-07 | 2008-09-18 | Toshiba Corp | 立体画像表示装置、方法およびプログラム |
US8438480B2 (en) * | 2007-03-26 | 2013-05-07 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System and method for tracking an input device using a display screen in captured frames of image data |
US9176598B2 (en) * | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
EP1990021B1 (de) * | 2007-05-09 | 2011-07-06 | BrainLAB AG | Medizinisches Instrument mit separater Sendereinheit zur Ansteuerung einer behandlungsunterstützenden Software, sowie Instrumentensystem |
TWI406153B (zh) * | 2007-06-12 | 2013-08-21 | Quanta Comp Inc | 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體 |
CN101334700B (zh) * | 2007-06-27 | 2013-04-10 | 广达电脑股份有限公司 | 光标控制方法、简报系统及计算机可读取存储媒体 |
TW200903306A (en) * | 2007-07-12 | 2009-01-16 | Utechzone Co Ltd | System, control module, and method for remotely controlling a computer with optical tracking of an optical pointer |
US20090058805A1 (en) * | 2007-08-25 | 2009-03-05 | Regina Eunice Groves | Presentation system and method for making a presentation |
US8330730B1 (en) * | 2007-09-04 | 2012-12-11 | Imaging Systems Technology, Inc. | Calibrating of interactive touch system for image compositing |
JP4636064B2 (ja) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US20090091532A1 (en) * | 2007-10-04 | 2009-04-09 | International Business Machines Corporation | Remotely controlling computer output displayed on a screen using a single hand-held device |
TWI355511B (en) * | 2007-10-08 | 2012-01-01 | Opus Microsystems Corp | Laser pointer with the pattern and size of project |
US8188973B2 (en) * | 2007-11-07 | 2012-05-29 | Omnivision Technologies, Inc. | Apparatus and method for tracking a light pointer |
WO2009061620A1 (en) * | 2007-11-07 | 2009-05-14 | Omnivision Technologies, Inc. | Dual-mode projection apparatus and method for locating a light spot in a projected image |
US7862179B2 (en) * | 2007-11-07 | 2011-01-04 | Omnivision Technologies, Inc. | Dual-mode projection apparatus and method for locating a light spot in a projected image |
US20090132926A1 (en) * | 2007-11-21 | 2009-05-21 | Samsung Electronics Co., Ltd. | Interactive presentation system and authorization method for voice command controlling interactive presentation process |
TWI351653B (en) * | 2008-02-01 | 2011-11-01 | Quanta Comp Inc | System and method for determining coordinates |
CA2721073A1 (en) * | 2008-04-10 | 2009-10-15 | Karl Christopher Hansen | Simple-to-use optical wireless remote control |
US20090309834A1 (en) * | 2008-06-16 | 2009-12-17 | Upmc | Laser Pointer Mouse |
JP5120136B2 (ja) * | 2008-08-05 | 2013-01-16 | ブラザー工業株式会社 | 表示制御装置及びそれに用いるリモコン並びにテレビ会議システム。 |
DE102008037176A1 (de) | 2008-08-09 | 2010-03-04 | Advanced Realtime Tracking Gmbh | Vorrichtung zur Bestimmung der Richtung eines Lichtstrahls |
FR2938665B1 (fr) * | 2008-11-18 | 2011-01-21 | Optinnova | Dispositif de visualisation interactif optiquement a hauteur de projection variable |
US8194038B1 (en) * | 2009-03-10 | 2012-06-05 | I-Interactive Llc | Multi-directional remote control system and method with automatic cursor speed control |
WO2010120304A2 (en) * | 2009-04-16 | 2010-10-21 | Hewlett-Packard Development Company, L.P. | Communicating visual representations in virtual collaboration systems |
TWM368133U (en) * | 2009-07-09 | 2009-11-01 | Waltop Int Corp | Dual mode input device |
US8292439B2 (en) * | 2009-09-06 | 2012-10-23 | Yang Pan | Image projection system with adjustable cursor brightness |
US8384664B2 (en) * | 2009-09-23 | 2013-02-26 | John Paul Studdiford | Opto-electronic system for controlling presentation programs |
KR20110058438A (ko) * | 2009-11-26 | 2011-06-01 | 삼성전자주식회사 | 프리젠테이션 녹화 장치 및 방법 |
KR20110069958A (ko) * | 2009-12-18 | 2011-06-24 | 삼성전자주식회사 | 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치 |
US20110230238A1 (en) * | 2010-03-17 | 2011-09-22 | Sony Ericsson Mobile Communications Ab | Pointer device to navigate a projected user interface |
US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
WO2012015395A1 (en) | 2010-07-27 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | System and method for remote touch detection |
TW201211859A (en) * | 2010-09-02 | 2012-03-16 | Inst Information Industry | Laser light spot trajectory tracking event triggering method, system and computer program product thereof |
KR101074087B1 (ko) | 2010-10-08 | 2011-10-17 | 엘지이노텍 주식회사 | 카메라를 이용한 마우스 |
JP5853394B2 (ja) | 2011-04-07 | 2016-02-09 | セイコーエプソン株式会社 | カーソル表示システム、カーソル表示方法、及び、プロジェクター |
WO2013035308A2 (en) | 2011-09-05 | 2013-03-14 | Panasonic Corporation | Television communication system, terminal, and method |
CN102346595A (zh) * | 2011-09-23 | 2012-02-08 | 苏州泛普纳米科技有限公司 | 基于纳米触控膜的成像一体桌 |
CN103092432B (zh) * | 2011-11-08 | 2016-08-03 | 深圳市中科睿成智能科技有限公司 | 人机交互操作指令的触发控制方法和系统及激光发射装置 |
JP2013131990A (ja) * | 2011-12-22 | 2013-07-04 | Ricoh Co Ltd | 情報処理装置及びプログラム |
CN102662509B (zh) * | 2012-03-26 | 2015-06-03 | 苏州泛普纳米科技有限公司 | 基于丝网印刷技术的触控橱窗 |
TW201344510A (zh) * | 2012-04-25 | 2013-11-01 | Hon Hai Prec Ind Co Ltd | 鐳射標注系統及標注方法 |
TW201349029A (zh) * | 2012-05-21 | 2013-12-01 | Everest Display Inc | 具光點辨識之互動投影系統以及控制方法 |
KR20140024769A (ko) * | 2012-08-21 | 2014-03-03 | 삼성전자주식회사 | 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치 |
CN105138194A (zh) * | 2013-01-11 | 2015-12-09 | 海信集团有限公司 | 一种定位方法及电子设备 |
CN104020863B (zh) * | 2013-02-28 | 2018-03-27 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
CN104035546A (zh) * | 2013-03-04 | 2014-09-10 | 台达电子工业股份有限公司 | 游标控制装置 |
TWI486814B (zh) * | 2013-03-04 | 2015-06-01 | Delta Electronics Inc | 游標控制裝置以及方法 |
TW201445433A (zh) * | 2013-05-30 | 2014-12-01 | Univ Nat Taiwan Normal | 互動式顯示系統 |
JP2015043556A (ja) * | 2013-07-24 | 2015-03-05 | 株式会社リコー | 情報処理装置、画像投影システム、及びプログラム |
JP2015043066A (ja) * | 2013-07-25 | 2015-03-05 | 株式会社リコー | 画像投影装置 |
CN103425409B (zh) * | 2013-07-30 | 2017-12-15 | 华为终端(东莞)有限公司 | 投影显示的控制方法和装置 |
TWI499943B (zh) * | 2013-09-25 | 2015-09-11 | Univ Nat Taiwan Science Tech | 計算機系統、其操作方法及其電腦程式產品 |
US20150103054A1 (en) * | 2013-10-14 | 2015-04-16 | Touchjet Pte. Ltd. | Photoelectric touch assembly, photoelectric touch method and projector with touch function |
US10185445B2 (en) | 2013-10-14 | 2019-01-22 | Touchjet Pte. Ltd. | Determining touch signals from interactions with a reference plane proximate to a display surface |
TWI518574B (zh) * | 2013-12-25 | 2016-01-21 | 光峰科技股份有限公司 | 互動式顯示系統及其輸入裝置 |
CN105302283B (zh) * | 2014-06-06 | 2019-05-07 | 洪水和 | 映射投影的控制系统及其控制方法 |
US10192335B1 (en) | 2014-08-25 | 2019-01-29 | Alexander Wellen | Remote control highlighter |
WO2016048262A1 (en) * | 2014-09-22 | 2016-03-31 | Hewlett-Packard Development Company, L.P. | Cursor control using images |
JP6477131B2 (ja) * | 2015-03-27 | 2019-03-06 | セイコーエプソン株式会社 | インタラクティブプロジェクター,インタラクティブプロジェクションシステム,およびインタラクティブプロジェクターの制御方法 |
ES2600310B1 (es) * | 2015-08-07 | 2017-09-08 | Miguel SANZ FERNÁNDEZ | Sistema y procedimiento para emulación de ratón mediante haz de luz |
DE102016100669A1 (de) * | 2016-01-15 | 2017-07-20 | Technisat Digital Gmbh | Anordnung, Vorrichtung, Bedienteil sowie Verfahren zum Bedienen |
US11601583B2 (en) | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
US10733231B2 (en) | 2016-03-22 | 2020-08-04 | Sensormatic Electronics, LLC | Method and system for modeling image of interest to users |
US10665071B2 (en) | 2016-03-22 | 2020-05-26 | Sensormatic Electronics, LLC | System and method for deadzone detection in surveillance camera network |
US10475315B2 (en) | 2016-03-22 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for configuring surveillance cameras using mobile computing devices |
US9965680B2 (en) | 2016-03-22 | 2018-05-08 | Sensormatic Electronics, LLC | Method and system for conveying data from monitored scene via surveillance cameras |
US11216847B2 (en) | 2016-03-22 | 2022-01-04 | Sensormatic Electronics, LLC | System and method for retail customer tracking in surveillance camera network |
US10764539B2 (en) | 2016-03-22 | 2020-09-01 | Sensormatic Electronics, LLC | System and method for using mobile device of zone and correlated motion detection |
US10318836B2 (en) * | 2016-03-22 | 2019-06-11 | Sensormatic Electronics, LLC | System and method for designating surveillance camera regions of interest |
US10347102B2 (en) | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
CN105912145A (zh) * | 2016-04-15 | 2016-08-31 | 武汉邮电科学研究院 | 一种激光笔鼠标系统及其图像定位方法 |
US20180059863A1 (en) * | 2016-08-26 | 2018-03-01 | Lenovo (Singapore) Pte. Ltd. | Calibration of pen location to projected whiteboard |
CN108021326A (zh) * | 2016-11-04 | 2018-05-11 | 中强光电股份有限公司 | 交互式显示设备 |
CN106598288A (zh) * | 2016-11-22 | 2017-04-26 | 张新民 | 激光笔鼠标定位系统及方法 |
CN106960559A (zh) * | 2017-03-24 | 2017-07-18 | 微鲸科技有限公司 | 屏幕显示装置、显示内容控制方法、遥控系统和遥控方法 |
CN108279838B (zh) * | 2018-01-16 | 2021-11-12 | 安徽慧视金瞳科技有限公司 | 一种激光笔远程交互方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03179517A (ja) * | 1989-12-08 | 1991-08-05 | Hitachi Ltd | ポインティングデバイス装置及び入力方法 |
JPH08331667A (ja) * | 1995-05-30 | 1996-12-13 | Oki Electric Ind Co Ltd | ポインティングシステム |
JPH0962444A (ja) * | 1995-08-22 | 1997-03-07 | Hitachi Ltd | 指示情報入力装置 |
JPH09222951A (ja) * | 1996-02-19 | 1997-08-26 | Hainetsuto 21:Kk | ディスプレイシステム |
JPH09251285A (ja) * | 1996-03-15 | 1997-09-22 | Hitachi Ltd | ポインティング位置表示方法 |
JPH09265346A (ja) * | 1996-03-29 | 1997-10-07 | Bijiyuaru Sci Kenkyusho:Kk | 空間マウス及びマウス位置検出装置及び映像化装置 |
JPH1055249A (ja) * | 1996-08-12 | 1998-02-24 | Fuji Xerox Co Ltd | 指示入力検出装置および記録再生装置 |
JPH1083246A (ja) * | 1996-09-06 | 1998-03-31 | Nec Corp | コンピュータ用座標入力装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4593157A (en) | 1984-09-04 | 1986-06-03 | Usdan Myron S | Directory interface and dialer |
FR2571191B1 (fr) | 1984-10-02 | 1986-12-26 | Renault | Systeme de radiotelephone, notamment pour vehicule automobile |
US4827500A (en) | 1987-01-30 | 1989-05-02 | American Telephone And Telegraph Company, At&T Bell Laboratories | Automatic speech recognition to select among call destinations |
JP2927891B2 (ja) | 1989-06-19 | 1999-07-28 | 日本電気株式会社 | 音声ダイヤル装置 |
US5502459A (en) * | 1989-11-07 | 1996-03-26 | Proxima Corporation | Optical auxiliary input arrangement and method of using same |
JP2622620B2 (ja) * | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
US5138304A (en) * | 1990-08-02 | 1992-08-11 | Hewlett-Packard Company | Projected image light pen |
US5204894A (en) | 1990-11-09 | 1993-04-20 | Bell Atlantic Network Services, Inc. | Personal electronic directory |
US5758021A (en) | 1992-06-12 | 1998-05-26 | Alcatel N.V. | Speech recognition combining dynamic programming and neural network techniques |
US5483579A (en) | 1993-02-25 | 1996-01-09 | Digital Acoustics, Inc. | Voice recognition dialing system |
US5452340A (en) | 1993-04-01 | 1995-09-19 | Us West Advanced Technologies, Inc. | Method of voice activated telephone dialing |
US5504805A (en) | 1993-04-05 | 1996-04-02 | At&T Corp. | Calling number identification using speech recognition |
US5515040A (en) * | 1993-09-28 | 1996-05-07 | Sejin Electron, Incorporated | Methods of self-calibration for a key-type mouse |
US5712658A (en) * | 1993-12-28 | 1998-01-27 | Hitachi, Ltd. | Information presentation apparatus and information display apparatus |
JPH07261920A (ja) * | 1994-03-17 | 1995-10-13 | Wacom Co Ltd | 光学式位置検出装置および光学式座標入力装置 |
JPH07319616A (ja) * | 1994-05-26 | 1995-12-08 | Hitachi Ltd | 位置入力方法およびそれを用いた会議支援システム |
US5926168A (en) | 1994-09-30 | 1999-07-20 | Fan; Nong-Qiang | Remote pointers for interactive televisions |
US5509049A (en) | 1994-10-31 | 1996-04-16 | Voicetech Communications, Inc. | Automatic dialing of number received from directory assistance from within cellular system |
JP3270643B2 (ja) * | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | 指示位置検出方法及び装置 |
FR2731290A1 (fr) * | 1995-03-01 | 1996-09-06 | Oriot Jean Claude | Telecommande virtuelle a laser |
JPH0980372A (ja) * | 1995-09-07 | 1997-03-28 | Toshiba Corp | 投写型表示装置 |
US6058690A (en) * | 1997-01-29 | 2000-05-09 | Rutt; Larry L. | Harvester |
US5914783A (en) | 1997-03-24 | 1999-06-22 | Mistubishi Electric Information Technology Center America, Inc. | Method and apparatus for detecting the location of a light source |
JP3937533B2 (ja) * | 1997-11-07 | 2007-06-27 | セイコーエプソン株式会社 | 遠隔座標入力装置および遠隔座標入力方法 |
US6050690A (en) | 1998-01-08 | 2000-04-18 | Siemens Information And Communication Networks, Inc. | Apparatus and method for focusing a projected image |
US6275214B1 (en) | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
-
1999
- 1999-07-06 US US09/347,761 patent/US6275214B1/en not_active Expired - Lifetime
-
2000
- 2000-06-21 DE DE60023900T patent/DE60023900T2/de not_active Expired - Lifetime
- 2000-06-21 CA CA2378154A patent/CA2378154C/en not_active Expired - Lifetime
- 2000-06-21 EP EP00943012A patent/EP1200955B1/en not_active Expired - Lifetime
- 2000-06-21 JP JP2001508426A patent/JP4822643B2/ja not_active Expired - Fee Related
- 2000-06-21 WO PCT/US2000/017070 patent/WO2001003106A1/en active IP Right Grant
- 2000-06-21 AU AU57549/00A patent/AU5754900A/en not_active Abandoned
-
2001
- 2001-07-16 US US09/906,218 patent/US7091949B2/en not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03179517A (ja) * | 1989-12-08 | 1991-08-05 | Hitachi Ltd | ポインティングデバイス装置及び入力方法 |
JPH08331667A (ja) * | 1995-05-30 | 1996-12-13 | Oki Electric Ind Co Ltd | ポインティングシステム |
JPH0962444A (ja) * | 1995-08-22 | 1997-03-07 | Hitachi Ltd | 指示情報入力装置 |
JPH09222951A (ja) * | 1996-02-19 | 1997-08-26 | Hainetsuto 21:Kk | ディスプレイシステム |
JPH09251285A (ja) * | 1996-03-15 | 1997-09-22 | Hitachi Ltd | ポインティング位置表示方法 |
JPH09265346A (ja) * | 1996-03-29 | 1997-10-07 | Bijiyuaru Sci Kenkyusho:Kk | 空間マウス及びマウス位置検出装置及び映像化装置 |
JPH1055249A (ja) * | 1996-08-12 | 1998-02-24 | Fuji Xerox Co Ltd | 指示入力検出装置および記録再生装置 |
JPH1083246A (ja) * | 1996-09-06 | 1998-03-31 | Nec Corp | コンピュータ用座標入力装置 |
Also Published As
Publication number | Publication date |
---|---|
US20010045940A1 (en) | 2001-11-29 |
CA2378154A1 (en) | 2001-01-11 |
EP1200955A1 (en) | 2002-05-02 |
US7091949B2 (en) | 2006-08-15 |
EP1200955A4 (en) | 2002-09-04 |
WO2001003106A1 (en) | 2001-01-11 |
AU5754900A (en) | 2001-01-22 |
EP1200955B1 (en) | 2005-11-09 |
CA2378154C (en) | 2012-09-18 |
DE60023900T2 (de) | 2006-07-20 |
DE60023900D1 (de) | 2005-12-15 |
JP2003504705A (ja) | 2003-02-04 |
US6275214B1 (en) | 2001-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4822643B2 (ja) | 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法 | |
US6704000B2 (en) | Method for remote computer operation via a wireless optical device | |
US6729731B2 (en) | Untethered laser pointer for use with computer display | |
JP4820285B2 (ja) | 自動位置合わせタッチシステムおよび方法 | |
JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
Davis et al. | Lumipoint: Multi-user laser-based interaction on large tiled displays | |
JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
Lee et al. | Moveable interactive projected displays using projector based tracking | |
US8491135B2 (en) | Interactive projection with gesture recognition | |
US7956842B2 (en) | Pointing input system and method using one or more array sensors | |
US7502018B2 (en) | Projector, electronic whiteboard system using projector and method of acquiring indicated point | |
JP2012133808A (ja) | カーソル制御方法及び装置 | |
TW578031B (en) | Projection system with an image capturing device | |
US20150185321A1 (en) | Image Display Device | |
KR0171847B1 (ko) | 무선원격 좌표 입력방법 및 장치 | |
JP4560224B2 (ja) | 情報入力装置、情報入出力システム、プログラム及び記憶媒体 | |
US9239635B2 (en) | Method and apparatus for graphical user interface interaction on a domed display | |
Laberge et al. | An auto-calibrated laser-pointing interface for large screen displays | |
KR20100004033A (ko) | 포인팅/인터페이스 시스템 | |
US11997435B2 (en) | Display method and display system | |
US11997434B2 (en) | Display method and display system | |
EP3985484A1 (en) | Calibration method, calibration device and control method for touchless gesture control | |
JP4256555B2 (ja) | 座標入力/検出装置、電子黒板システム、座標位置検出方法及び記憶媒体 | |
KR20100120901A (ko) | 포인팅/인터페이스 시스템 | |
WO1998047406A2 (en) | Interactive desk |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100115 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100415 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100422 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100514 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100521 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100615 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110601 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110906 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |