JP4052498B2 - 座標入力装置および方法 - Google Patents
座標入力装置および方法 Download PDFInfo
- Publication number
- JP4052498B2 JP4052498B2 JP30941299A JP30941299A JP4052498B2 JP 4052498 B2 JP4052498 B2 JP 4052498B2 JP 30941299 A JP30941299 A JP 30941299A JP 30941299 A JP30941299 A JP 30941299A JP 4052498 B2 JP4052498 B2 JP 4052498B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate input
- image
- plane
- display unit
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 73
- 239000013598 vector Substances 0.000 claims description 51
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 103
- 230000003287 optical effect Effects 0.000 description 18
- 238000012546 transfer Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
Description
【０００１】
【発明の属する技術分野】
本発明は、筆記具および筆記面として専用の部材を必要としない電子式筆記入力装置などの座標入力装置に関し、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やリアプロジェクションタイプの大画面ディスプレイを使用した電子黒板やプレゼンテーションシステムなどに適用される。
【０００２】
【従来の技術】
電子ペンなどを用いて入力された座標を求める方法が種々提案されている。その一つは、座標入力領域の周囲に取り付けられた光再帰性反射シートを利用して、光が遮断された部分を検出することにより入力座標を求める方法であり（特開平１１−８５３７６号公報を参照）、他の一つは、複数のテレビカメラを用いて可動物体の３次元空間内の座標位置を求める方法である（特開昭６１−１９６３１７号公報を参照）。
【０００３】
【発明が解決しようとする課題】
前者の方法では、指やペン等の座標入力物体と座標入力面であるディスプレイ表面との間の接触、非接触を精度よく検出できるようにするために、光再帰性反射シートに照射する光ビームの幅をできるだけ小さくして、また光ビームをディスプレイ表面からできるだけ近い位置に照射する必要がある。この時、ディスプレイ表面が歪んでいる場合は、光ビームがディスプレイ表面に遮られて光が遮断されたことを検出しない程度に光ビームがディスプレイ表面から離れている必要がある。この場合、歪んだディスプレイ表面上の全ての位置で指やペン等の座標入力物体の接触を精度よく検出することが難しくなる。
【０００４】
すなわち、ディスプレイ表面に接触していた状態からペンアップにより非接触となったが光ビームは遮断されたままの状態になることが有り得る。この場合、文字が筆記者の意図しないものとなったり、ダブルクリックが検出されない、といった問題が発生する。
【０００５】
一方、後者では、高画素で画像信号の出力フレームレートが大きい２次元撮像素子を使用したテレビカメラであるので、高価である。
【０００６】
そこで、１ラインの画素数が大きく画像信号の出力フレームレートも大きい１次元撮像素子を使用したカメラを用いて座標入力物体とディスプレイ表面との接触を検出する方法が提案されている。
【０００７】
この場合の座標入力装置の外観を図２４に示す。なお、図２４では、カメラから出力される画像信号を基に座標を求めたり、表示部に画面データを出力するパーソナルコンピュータ等の制御装置の図示は省略している。この座標入力装置の中央はＰＤＰ等の表示部であり、この表示部の右上方部と左上方部にカメラがその光軸が表示部平面と平行となるように取り付けられている。なお、これらのカメラのレンズは画角が９０度以上の広角レンズであり、表示部全体について接触する座標入力物体を撮像できるようになっている。
【０００８】
また、座標入力装置の右辺、左辺、下辺には光の反射率の小さい黒い枠が取り付けられている。この枠の表示部平面と垂直方向の幅は、カメラの撮像範囲の幅と等しいかそれ以上であり、表示部の近傍に座標入力物体が無い場合は、カメラはその黒い枠を撮像するようになっている。カメラの撮像領域に座標入力物体が無く、黒い枠のみを撮像している時のカメラからの出力信号のレベルを基準レベルと定義する。ここで表示部近傍すなわちカメラの撮像領域に座標入力物体が存在すると、カメラの撮像素子はこの物体表面から反射される太陽光や照明光等の光を受光して、受光した画素は光電変換により電荷を掃き出すため、ラインセンサの全画素分に相当するカメラからの出力信号は、座標入力物体からの反射光を受光した画素に相当する部分のみ信号レベルが基準レベルに対して高くなる。
【０００９】
この信号レベルが基準レベルを基に決められたスレッシュレベルよりも大きい場合はそのピークに相当する画素位置のデータを使用して表示部上の座標を算出する。なお、この座標算出に関する詳細な説明は後述するため、ここではその説明を省略する。
【００１０】
上述したカメラからの出力信号のオシロスコープでの波形を図２５に示す。図２５では、ラインセンサの全画素分に相当する信号を１走査分示している。
【００１１】
座標入力物体が白色の場合は光の反射率が大きいため、その像部分に該当するカメラからの出力信号レベルは大きくなり、逆に座標入力物体が黒色の場合は光の反射率が小さいため、その像部分に該当するカメラからの出力信号レベルは小さくなる。また、カメラからの出力信号レベルはカメラにおける座標入力物体の撮像面積に依存する。すなわち、座標入力物体が表示部から離れており、カメラの撮像領域にほんの１部分しか存在しないような場合にはその像部分に該当するカメラからの出力信号レベルは小さくなり、座標入力物体が表示部に接触している場合にはその像部分に該当するカメラからの出力信号レベルは大きくなる。
【００１２】
したがって、カメラからの出力信号のスレッシュレベルを大きくすると座標入力物体として黒っぽいペンが使用されると座標入力ができず、逆にこのスレッシュレベルを小さくすると座標入力物体として白いペンが使用されると表示部に接触しなくても、座標入力が行われてしまうという相矛盾した不具合が発生する。後者の場合は前述したように、文字が筆記者の意図しないものとなったり、ダブルクリックが検出されないという問題がある。
【００１３】
上記した例の他に、座標の読み取り方式が電磁授受方式を採るタブレットがあるが、入力面上の空間でペン（専用ペン）先をカーソルの位置指定として機能できる範囲が非常に限定されている（例えば、最大で８ｍｍ程度）。この範囲をさらに拡大しようとすると、ペンを大型化したり、あるいはペンにバッテリを内蔵しなければならないという問題がある。
【００１４】
本発明は上記した背景を基になされたもので、
本発明の目的は、座標入力部材である物体の動きを見ることにより、座標入力が行われたことを判断して、その入力座標を求める座標入力装置および方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明では、レーザ光のような光ビームの走査手段を不要とし、また、ディスプレイ表面が歪んでいる場合にも座標入力部材とディスプレイ表面との接触、非接触を精度よく判断できるようにする。
【００１６】
また、本発明では、座標入力部材を特定しない。すなわち、例えば、ペン、指、棒が使用できる。座標入力が行われる部材はディスプレイに限定されたものではなく、座標入力面が平面であるという条件さえ満たしていればよい。例えば、座標入力が行われる部材として、黒板が使用できる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
（実施例１）
図１は、本発明の実施例１に係る座標入力システムのシステム構成図を示す。この座標入力システムは、座標入力装置１と制御装置２とから構成されていて、座標入力装置１は２個の電子カメラ１０、１１と表示部１２を具備している。電子カメラ１０および電子カメラ１１は、表示部１２に高画素タイプのＸＧＡ（１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素でまた画像信号の出力フレームレートが大きく、また光電変換された信号を画素単位に独立して出力することができる２次元撮像素子を具備している。この２次元撮像素子として、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサがある。
【００１８】
これらの電子カメラは、撮像素子において光電変換された電気信号をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換して、デジタル画像データを出力する。また、各電子カメラの光軸は表示部１２平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、表示部全体の領域について接触する座標入力物体を撮像できるようになっている。表示部１２は大画面ディスプレイであり、例えばＰＤＰが使用される。
【００１９】
次に、制御装置２のハードウェア構成を図２に示す。図中、ＣＰＵ２０、メインメモリ２１、クロック２２、バスコントローラ２３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２４、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）ブリッジ２５、キャッシュメモリ２６、ハードディスク２７、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）コントローラ２８、表示コントローラ２９、画像処理回路（１）３０、画像処理回路（２）３１、ＬＡＮコントローラ３２、ＬＡＮ Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３３、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）コントローラ３４、ＦＤドライブ３５、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）コントローラ３６、ＣＤ−ＲＯＭドライブ３７、キーボードコントローラ３８、マウスＩ／Ｆ３９、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）４０、ＣＰＵバス４１、ＰＣＩバス４２、Ｘバス（内部バス）４３は、制御装置２に実装されている。
【００２０】
ＣＰＵ２０は、ＲＯＭ２４に記憶された制御処理プログラム、ハードディスク２７からメインメモリ２１に読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーションプログラムを実行、処理する。メインメモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成されていて、ＣＰＵ２０のワークエリア等で使用される。クロック２２は、水晶発振子と分周回路から構成されていて、ＣＰＵ２０やバスコントローラ２３の動作タイミングを制御するためのクロックを生成している。バスコントローラ２３は、ＣＰＵバス４１とＸバス４３でのデータ転送を制御する。ＲＯＭ２４は、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれている。ＰＣＩブリッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩバス４２とＣＰＵ２０との間のデータ転送を行う。キャッシュメモリ２６は、ＤＲＡＭで構成されていて、ＰＣＩブリッジ２５により使用される。ハードディスク２７は、システムソフトウェア、各種のアプリケーションプログラム、多数のユーザデータ等を記憶する。ＨＤコントローラ２８は、ハードディスク２７とのインタフェースとして例えばＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ Ｅｌｅｃｔｒｏｎｉｃｓ）インタフェースを持ち、ハードディスク２７と高速データ転送を行う。
【００２１】
表示コントローラ２９は、文字データやグラフィックデータ等をＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換するとともに、これらのデータを座標入力装置１の表示部１２に表示するための制御を行う。
【００２２】
画像処理回路（１）３０は、座標入力装置１の電子カメラ１０から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理、また物体の動きベクトルを求める処理等を行う。また、画像処理回路（１）３０は、電子カメラ１０に与えるクロックや画像転送パルスをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。
【００２３】
画像処理回路（２）３１は画像処理回路（１）３０と同じハードウェアであり、座標入力装置１の電子カメラ１１から出力されたデジタル画像データを入力し、画像処理回路（１）３０と同様な動作を実行する。なお、画像処理回路（１）３０と画像処理回路（２）３１からそれぞれ電子カメラ１０と電子カメラ１１へ与えるクロックや画像転送パルスは同期するようになっている。
【００２４】
ＬＡＮコントローラ３２は例えばＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３規格に準拠した通信プロトコルを実行して、ＬＡＮ Ｉ／Ｆ３３を介してイーサネットに接続された他の機器との通信を制御する。ＦＤコントローラ３４はＦＤドライブ３５とデータ転送を行う。ＣＤ−ＲＯＭコントローラ３６はＣＤ−ＲＯＭドライブ３７とのインタフェースとして例えばＩＤＥインタフェースを持ち、ＣＤ−ＲＯＭドライブ３７とデータ転送を行う。キーボードコントローラ３８は、キーボード４４から入力されたシリアルデータからパラレルデータへの変換を行う。マウスＩ／Ｆ３９は、マウス用のポートを持ち、マウスドライバ（制御プログラム）によって制御される。ＲＴＣ４０は、日付時計であり、図示していないバッテリーによりバックアップされている。なお、座標入力装置１が制御装置２の入力装置であるため、保守用の作業時を除き、キーボード４４およびマウス４５は接続する必要はない。
【００２５】
次に、座標入力部材が座標入力装置１の表示部１２に接触したときの接触位置を幾何学的に求める方法を説明する。図３に示すように、座標入力装置１の電子カメラ１０は広角レンズ５０、ＣＭＯＳイメージセンサ５１を具備し、電子カメラ１１は広角レンズ５２、ＣＭＯＳイメージセンサ５３を具備しており、それぞれの入射光の光軸が座標入力装置１の表示部１２平面に平行であり、また、それぞれの電子カメラが表示部１２全体の領域について接触する座標入力物体を撮像できるように配置されている。
【００２６】
広角レンズ５０と広角レンズ５２との距離をＬ、表示部１２平面における座標入力部材の接触点をＡ、点Ａの位置座標を（ｘ，ｙ）、広角レンズ５０と広角レンズ５２とを結ぶ直線をＸ−Ｌｉｎｅ、広角レンズ５０における接触点Ａの方向とＸ−Ｌｉｎｅとのなす角度をβ１、広角レンズ５２における接触点Ａの方向とＸ−Ｌｉｎｅとのなす角度をβ２とする。
【００２７】
また、広角レンズ５０およびＣＭＯＳイメージセンサ５１付近の拡大図を図４に示す。図４において、ｆは広角レンズ５０とＣＭＯＳイメージセンサ５１との間の距離、ｈはＣＭＯＳイメージセンサ５１における広角レンズ５０の光軸の結像位置と接触点Ａの結像位置との間の距離（表示部１２平面に平行な方向における距離）、αは広角レンズ５０の光軸とＸ−Ｌｉｎｅとのなす角度、θは接触点Ａとその結像点とを結ぶ線と広角レンズ５０の光軸とのなす角度である。これらを用いて、以下の２式が成り立つ。
【００２８】
θ＝ａｒｃｔａｎ（ｈ／ｆ） …… （１）
β１＝α−θ …… （２）
ここで、角度αは組み付け仕様として予め判っているため、これら２式より角度β１を求めることができる。また、電子カメラ１１についても同様にして角度β２を求めることができる。
角度β１と角度β２が求まると、接触点Ａの位置座標（ｘ，ｙ）は、三角測量の原理により
ｘ＝Ｌｔａｎβ２／（ｔａｎβ１＋ｔａｎβ２） …… （３）
ｙ＝ｘｔａｎβ１ …… （４）
として算出される。
【００２９】
次に、ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３上に結像される表示部１２平面に該当するエッジ部の像（直線）と各ＣＭＯＳイメージセンサの画素配列との関係について説明する。ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３は２次元の画素配列を持つが、縦方向と横方向とで画素数が異なる場合、画素数の小さい方向をＸ軸方向、画素数の大きい方向をＹ軸方向として、そのＹ軸方向が表示部１２平面にできるだけ平行となるように電子カメラ１０と電子カメラ１１が組み付けられる。縦方向と横方向の画素数が同じ場合は、いずれかの方向をＹ軸方向とする。
【００３０】
ここで、ＣＭＯＳイメージセンサ上に結像される表示部１２平面に該当するエッジ部の像（直線）が画素配列のＹ軸方向と一致しない場合は、表示部１２平面に該当するエッジ部の像（直線）と画素配列のＹ軸方向との成す角度δを求める。この角度δは、エッジ部の像（直線）上の数点の画素位置を調べることで求めることができる。この説明のための図を図５に示す。図５のエッジ部の像（直線）の端点を基準画素位置として、この直線上の任意の点、Ａ、Ｂ、ＣにおけるＸ軸方向の画素数ｘとＹ軸方向の画素数ｙを調べる。これらの各点において、
ｔａｎδ＊＝ｘ／ｙ …… （５）
によりδ＊が求まるため、これらの平均値を角度δとする。
【００３１】
ＣＭＯＳイメージセンサで撮像した画像データから表示部１２平面と物体（座
標入力部材）との距離を求める場合、表示部１２平面に該当するエッジ部の像（直線）をその画像データの座標系のＹ軸とした方が便利である。そこで、画像データを用いて表示部１２平面と物体（座標入力部材）との距離を求めたり、動きベクトルの大きさを求める場合、その画像データの座標値を上記で求めた角度δだけ回転させて処理する。図５に示すように、エッジ部の像（直線）が右に傾いている場合は左方向へ回転させ、逆に左に傾いている場合は右方向へ回転させる。この回転後の座標（ｘ’，ｙ’）は、回転前の座標を（ｘ，ｙ）として次式により求められる。
【００３２】
ｘ’＝ｘ×ｃｏｓδ＋ｙ×ｓｉｎδ …… （６）
ｙ’＝ｙ×ｃｏｓδ−ｘ×ｓｉｎδ …… （７）
なお、表示部１２平面に該当するエッジ部の像（直線）がＣＭＯＳイメージセンサ５１の画素配列のＹ軸方向に一致するように、工場出荷時あるいはユーザ先の設置時に調整されたり、あるいは適宜保守モードで調整される場合は上記の座標回転処理は必ずしも必要とはされない。
【００３３】
図６は、本発明の実施例１に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０は、ＣＭＯＳイメージセンサ５１の撮像領域の中で、表示部１２平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、表示部１２平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置２の画像処理回路（１）３０へ出力する。画像処理回路（１）３０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ１０１）。物体の輪郭線の抽出方法としては、例えば微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法（例えば、特公平８−１６９３１号公報に記載の方法）等を用いる。
【００３４】
輪郭線が抽出されると、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数（つまり、距離に相当）を求める（ステップ１０２）。そして、この画素数（距離）の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ１０３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求める（ステップ１０４）。
【００３５】
この動きベクトルを求める方法として、例えばオプティカルフローを使用する。オプティカルフローとは、画像の画素値の時間的な変化率とその周りでの空間的な変化率を用いて求められる、画像の各点での速度ベクトルのことである。動きベクトルは画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸として２次元で表す。
【００３６】
電子カメラ１０で撮像した上記の画像の１例（部分）を図７に示す。なお、図７は表示部１２とその周りのフレーム部分とが同一平面になるように取り付けられている場合を示す。
【００３７】
図７では、ペン先が表示部１２平面から所定の距離以内であるため、動きベクトル（Ｖｘ，Ｖｙ）が求められる。このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ１０５）。そして、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部１２に対して座標入力を行ったか否かを判断する（ステップ１０６）。
【００３８】
この判断方法として、例えば後述する実施例３や実施例４に記載の方法を使用する。そして、座標入力が行われたと判断した場合は（ステップ１０７でＹＥＳ）、その時点における各動きベクトルの座標の中で座標入力物体が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点ＰのＹ軸方向の位置、すなわちＹ軸方向の端からの画素数Ｎ１を調べる。ここで、広角レンズ５０の光軸の結像位置の中心点ＱにおけるＹ軸方向の端からの画素数Ｎ２は既に知られた値であるため、点Ｐと点Ｑとの間のＹ軸方向についての画素数は｜Ｎ１−Ｎ２｜となり、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈが求まる（ステップ１０８）。このｈが図４に示したｈである。
【００３９】
距離ｈが求まると、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まる（ステップ１１０）。画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理を行い、角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ１１１）。
【００４０】
ステップ１０７でＮＯのときは、Ｖｘのデータ列を基に、物体が表示部表面から所定の距離範囲にあるか否かを判定し、所定の距離範囲にあるときには（ステップ１０９でＹＥＳ）、ステップ１０４に進み、前述したように動きベクトルを求め、ステップ１０９でＮＯのときはステップ１０１に戻る。
【００４１】
なお、式（１）から式（４）を使用した上述の計算はＣＰＵ２０で実行してもよいし、式（１）と式（２）の計算を画像処理回路（１）３０および画像処理回路（２）３１で実行し、式（３）と式（４）の計算をＣＰＵ２０で実行するようにしてもよい。
【００４２】
また、表示部１２平面と物体との距離をチェックする際に、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と物体の輪郭線上における所定の間隔でサンプリングされた各点との間の画素数（つまり距離に相当）を求めて、この画素数（距離）の中の最小値Ｎｍｉｎが所定の値以下である場合に、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求めるようにしてもよい。
【００４３】
ＣＰＵ２０は筆記入力（描画）モードにある場合は座標入力部材による座標入力が行われている間に得られた座標データ列から表示用の描画データを生成して、これを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する。
【００４４】
上記した実施例の説明では、表示部１２平面に歪みが無く、また座標入力動作時にへこまない硬い材質で構成されている場合を示している。ところが、表示部１２平面に歪みがあったり、あるいはこの表面の材質が柔らかいもので構成されていて座標入力動作時に表面がへこむような場合は、座標入力物体の表示部１２への接触部分の一部が画像として得ることができず、またこの部分に該当する画素の動きベクトルも得られない。この場合の一例を図８に示す。
【００４５】
図８は、表示部１２としてリアプロジェクションタイプの表示装置が使用され、この表示表面が柔らかく、座標入力動作時に表面がへこんだ場合を示している。この場合は、座標入力物体（ペン）の表示部１２への接触部分の一部（ペン先）が画像として得ることができない。そこで、表示部１２への接触部分の両端点（図中、点Ａと点Ｂ）の中間点を座標入力物体が表示部１２平面に接触している中心にある点Ｐとみなして上述した処理により表示部１２面上における座標を求める。
【００４６】
（実施例２）
実施例２は、座標入力部材であると判断された物体の動きを見ることにより、座標入力が行われたことを判断して、その入力座標を求める実施例である。実施例２の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００４７】
図９は、本発明の実施例２に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０は実施例１と同様にして、画像データを制御装置２の画像処理回路（１）３０へ出力する。画像処理回路（１）３０はこの入力された１フレーム分の画像データから実施例１と同様にして、物体の輪郭線を抽出する処理を行う（ステップ２０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する。
【００４８】
この形状判断は、画像認識技術を用いて行う。この形状認識の方法として、例えば、まず物体の重心を求め、この重心と輪郭線までの距離を重心の回り（３６０°）について順次求め、この角度と距離の関係から輪郭線の形状を特定する方法（特開平８−３１５１５２を参照）を用いる。この得られた輪郭線の形状に関するデータは、座標入力部材の形状としてＲＯＭ２４またはハードディスク２７に予め記憶されたデータと比較することで（ステップ２０２）、その形状の物体が座標入力部材であるか否かを判断する（ステップ２０３）。
【００４９】
表示部１２に表示されたアイコンやメニューに対するポインティングや筆記入力等の座標入力動作時は、座標入力部材の表示部１２平面に対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線（０°の位置）をある角度の範囲内で回転させて予め記憶されたデータと比較する。この座標入力部材の画像および基準線の回転の例を図１０に示す。なお、座標入力部材の形状に関するデータを複数種類用意しておき、形状の判断処理時にこれらを全て利用してもよい。また、座標入力部材の形状に関するデータを予め記憶せずに、図１１に示すように、輪郭線が抽出された物体が左右対称であるか否かをチェックして、対称と判断した場合にその物体を座標入力部材とする方法もある。この対称性は上述した重心と輪郭線までの距離を重心の回りについて順次求めることで判断することができる。
【００５０】
上記の判断処理により座標入力部材であると判断した場合は（ステップ２０３でＹＥＳ）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ２０４）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ２０５でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから、実施例１と同様にオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ２０６）。
【００５１】
以下、前述した実施例１と同様に処理して、表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ２１３）。
【００５２】
（実施例３）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合に、座標入力部材である物体が接近から離れる方向へ動きが反転したことを見ることで、座標入力が行われたことを判断して、その入力座標を求める実施例であり、主に表示部１２に表示されたアイコンやメニューに対してポインティングする場合に適用される。実施例３の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００５３】
図１２は、本発明の実施例３に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ３０１）。輪郭線が抽出されると、その輪郭線の形状を基に、その物体が座標入力部材であるか否かを判断する（ステップ３０２）。
【００５４】
座標入力部材であると判断した場合は（ステップ３０２でＹＥＳ）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ３０３）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ３０４でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データからオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ３０５）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【００５５】
このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ３０６）。そして、これらのＸ方向の成分Ｖｘの値が表示部１２平面に近づく方向から離れる方向へ向きが逆転した場合は（ステップ３０７でＹＥＳ）、その向きが逆転したベクトルの始点の中で座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐと広角レンズ５０の光軸の結像位置の中心点Ｑとの間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ３０９）。
【００５６】
以下、実施例１、２と同様にして、距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ３１０）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ３１１）。上記ステップ３０７でＮＯのときは、ステップ３０８に進み、実施例１、２と同様に、Ｖｘのデータ列を基に、物体が表示部表面から所定の距離範囲にあるか否かを判定する。
【００５７】
（実施例４）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合に、座標入力部材である物体が座標入力が行われる部材の平面部と垂直方向の動きが接近から停止へと動きが止まったことを見ることで、座標入力が行われたことを判断して、座標入力状態としてその入力座標を求める動作を開始し、その後、座標入力部材が平面部から離れる方向に動いたことを検出すると、座標入力状態を解除して、その入力座標を求める動作を停止する実施例であり、主に表示部１２に対して筆記入力する場合に適用される。また、実施例４の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００５８】
図１３は、実施例４に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ４０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ４０２）。
【００５９】
座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ４０３）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ４０４でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データからオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ４０５）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【００６０】
このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ４０６）。そして、これらのＸ方向の成分Ｖｘの値がゼロとなった場合は（ステップ４０７でＹＥＳ）、座標入力が行われたと判断して座標入力状態とする（ステップ４０９）。
【００６１】
次いで、これらのベクトルの中で座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐと広角レンズ５０の光軸の結像位置の中心点Ｑとの間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ４１０）。
【００６２】
距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ４１１）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ４１２）。
【００６３】
続いて、座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐの動きベクトルに着目し、Ｘ方向の成分Ｖｘの値がゼロのままでＹ方向の成分Ｖｙの値が変化した場合（ステップ４１３でＹＥＳ）、点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求めて上記と同様にして表示部１２面上における座標（ｘ，ｙ）を求める（ステップ４１２）。そして、ＣＰＵ２０は得られた座標データ列から表示用の描画データを生成して、これを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する。
【００６４】
ステップ４１３でＮＯのとき、点Ｐの動きベクトルのＸ方向の成分Ｖｘの値がマイナスの値、すなわち表示部１２平面から離れる方向になった場合は（ステップ４１４でＹＥＳ）、座標入力状態を解除して表示部１２面上における座標を求める動作を停止する（ステップ４１５）。
【００６５】
なお、座標入力状態となった後に、点Ｐの動きベクトルのＸ方向の成分Ｖｘの値が正（表示部１２平面に近づく方向）でＹ方向の成分Ｖｙの値が変化した場合も表示部１２面上における座標（ｘ，ｙ）を求める。
【００６６】
（実施例５）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合には撮像素子から出力される画像信号のフレームレート（１秒間のフレーム数）を大きくして動きを精度よく見るようにし、それ以外の場合には撮像素子から出力される画像信号のフレームレートを小さくして装置の負荷を軽減させる実施例である。また、実施例５の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００６７】
実施例５の座標入力装置１の電子カメラ１０と電子カメラ１１は、それぞれＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３から出力される画像信号のフレームレートを可変に制御でき、このフレームレートに応じたデータ量の画像データを制御装置２の画像処理回路（１）３０と画像処理回路（２）３１へ出力できるようになっている。ここでは、大小２種類のフレームレートがあり、これらを適宜切り換えられるようになっているものとする。また、電源投入時はデフォルトとして小さい方のフレームレートが選択されているものとする。
【００６８】
図１４は、実施例５に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ５０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ５０２）。座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ５０３）。
【００６９】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ５０４でＹＥＳ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを大きくする要求コマンドを出す（ステップ５０５）。電子カメラ１０はこのコマンドを受け取ると、ＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを大きくするように制御する。これは、例えば、ＣＭＯＳイメージセンサ５１を構成する各素子の電荷蓄積時間を短くするように設定することで実現される。この時点（つまり、ステップ５０４で）の画素数の最小値Ｎｍｉｎを比較する所定の値は、実施例１から実施例４に示した座標入力部材の動きベクトルデータのトレースを開始する時の値とは異なり、より大きな値が設定される。
【００７０】
続いて、実施例２と同様にして、座標入力部材と表示部１２平面との距離が所定の範囲内（画像信号のフレームレートを切り替える時の範囲より小さい）であると判断した場合は（ステップ５０６でＹＥＳ）、座標入力部材の動きベクトルデータをトレースし（トレースを行う範囲＜大きいフレームレートの範囲）、座標入力の判断処理（つまり、実施例１から実施例４で説明した入力座標を求める処理）を行う（ステップ５０７）。
【００７１】
一方、座標入力部材が動きベクトルデータのトレースを行う範囲から出て（ステップ５０６でＮＯ）、さらに表示部１２平面から所定の距離（画像信号のフレームレートを大きくなるように切り替えた距離）以上になったと判断した場合は（ステップ５０８でＮＯ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを小さくする要求コマンドを出し（ステップ５０９）、ステップ５０１に進む。そして、ＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートが小さくなるように制御される。
【００７２】
なお、座標入力部材が動きベクトルデータのトレースを行う範囲から出た場合は、座標入力部材の輪郭線上の各点と表示部平面に該当するエッジ部の像（直線）との間の画素数を調べることで、所定の距離以上になったことを判断する。
【００７３】
以上、画像処理回路（１）３０と電子カメラ１０との間の動作を示したが、画像処理回路（２）３１と電子カメラ１１も同様な動作を実行する。また、画像処理回路から出されるフレームレートの切替要求コマンドは、画像データを受信するケーブルを介して電子カメラへ渡される。
【００７４】
（実施例６）
本実施例は、光電変換された信号を画素単位に独立して出力することができる撮像素子を使用し、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合には光電変換された信号を出力する画素を座標入力部材の像を中心とした限定された領域に含まれるものに限定して、装置の負荷を軽減させる実施例である。また、実施例６の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００７５】
実施例６の電子カメラ１０と電子カメラ１１は、それぞれＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３から画像信号を画素単位で出力するように制御できる。電源投入時は、表示部１２平面全体から所定の距離までの範囲を撮像している画素について画像信号を出力するように制御している。
【００７６】
図１５は、実施例６に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ６０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ６０２）。座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ６０３）。
【００７７】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値Ｋ以下である場合には（ステップ６０４でＹＥＳ）、その輪郭線上の点のＹ軸方向の位置ｙｍ（Ｙ軸方向の端からの画素数）を調べる。そして、このＹ軸方向の位置ｙｍを中心として、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するための要求コマンドを座標入力装置１の電子カメラ１０に対して出す（ステップ６０５）。この画像例を図１６（ａ）に示す。
【００７８】
電子カメラ１０はこのコマンドを受け取ると、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域を、Ｙ軸方向の位置ｙｍを中心としてＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するように制御する。
【００７９】
その後、座標入力部材がＹ軸方向に所定の距離（画素数Ｌ）だけ移動すると（ステップ６０６でＹＥＳ）、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をそのＹ軸方向の位置ｙｍ’を中心としてＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するための要求コマンドを座標入力装置１の電子カメラ１０に対して出す（ステップ６０７）。この画像例を図１６（ｂ）に示す。
【００８０】
このようにして、表示部１２平面と座標入力部材との距離が所定の範囲内であれば、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をＹ軸方向について２λ画素となるように制御する。
【００８１】
続いて、実施例２と同様にして、座標入力部材と表示部１２平面との距離が所定の範囲内（画素数（距離）Ｋより小さな画素数（距離）に設定）であると判断した場合は、座標入力部材の動きベクトルデータをトレースする。そして、座標入力部材が動きベクトルデータのトレースを行う範囲から出て（ステップ６０８でＮＯ）、さらに表示部１２平面から所定の距離（画素数Ｋ）以上になったと判断した場合は（ステップ６１０でＮＯ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から表示部１２平面全体の範囲について画像信号を出力する要求コマンドを出す（ステップ６１１）。そして、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域は電源投入時の初期値と同じになるように制御される。
【００８２】
なお、座標入力部材が動きベクトルデータのトレースを行う範囲から出た場合は、座標入力部材の輪郭線上の各点と表示部平面に該当するエッジ部の像（直線）との間の画素数を調べることで、所定の距離以上になったことを判断する。
【００８３】
以上、画像処理回路（１）３０と電子カメラ１０との間の動作を示したが、画像処理回路（２）３１と電子カメラ１１も同様な動作を実行する。また、画像処理回路から出される画素領域の切替要求コマンドは、画像データを受信するケーブルを介して電子カメラへ渡される。
【００８４】
（実施例７）
現在市販されているＰＤＰやリアプロジェクションタイプの大画面ディスプレイは画面サイズが４０インチから７０インチである。これらのディスプレイに表示される内容はパーソナルコンピュータ等からの出力画面であり、高画素タイプのＸＧＡ（Ｅｘｔｅｎｄｅｄ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行されることが要求される。
【００８５】
この座標の読み取り分解能の条件を満たすために、撮像素子をディスプレイの一つの辺を挟んだ頂角に各１個ずつ、計２個使用した場合には、約２０００画素のラインを含んだ撮像素子が必要となる。
【００８６】
座標入力部材の動きを精度よく見るためには撮像素子から出力される画像信号のフレームレートを大きくする必要があるが、１辺が２０００画素程度の２次元撮像素子で出力フレームレートの大きなものを使用すると、このコストが非常に高価なものとなり、製品全体のコストを押し上げてしまう。
【００８７】
撮像素子以外にも、１次元画像を処理する手段は画素数の多い２次元画像を処理する手段に比べて非常に安価に実現できる。
【００８８】
そこで、実施例７および後述する実施例８では、ディスプレイの表示画面上の２次元座標を求める撮像素子として２０００画素程度の１次元ラインセンサを２個使用し、ディスプレイの表示画面近傍の空間における座標入力部材の動きはＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：６４０×４８０画素）程度の画素数の２次元撮像素子を１個あるいは２個使用して見るようにして、コストを押さえる。
【００８９】
図１７は、本発明の実施例７に係る座標入力システムのシステム構成図を示す。この座標入力システムは座標入力装置６０と制御装置６１とから構成されていて、座標入力装置６０は１次元撮像素子を具備した２個の電子カメラ（ラインセンサカメラ）７０、７１と２次元撮像素子を具備した１個の電子カメラ７２、表示部７３および枠７４を具備している。
【００９０】
ラインセンサカメラ７０、７１は１次元撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用している。この１次元ＣＣＤ（ラインセンサ）は、その画素数が表示部７３に高画素タイプのＸＧＡ（１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素でまた画像信号の出力フレームレートは高画素タイプの２次元撮像素子に比べて非常に大きい。これらのラインセンサカメラ７０、７１の光学的な位置関係は図３に示したものと同じである。
【００９１】
電子カメラ７２は、図１で説明した実施例の電子カメラ１０と同様に２次元撮像素子としてＣＭＯＳセンサを使用しており、この画素数は表示部７３平面に対して座標入力が行われる座標入力部材の動きを認識できる程度に高画素でまた画像信号の出力フレームレートも大きい。
【００９２】
ラインセンサカメラ７０、７１は撮像素子において光電変換された電気信号をアナログ信号のまま出力し、電子カメラ７２は撮像素子において光電変換された電気信号をＡ／Ｄ変換して、デジタル画像データを出力する。また、各電子カメラの光軸は表示部７３平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、表示部全体の領域について接触する座標入力物体を撮像できるようになっている。
【００９３】
表示部７３は大画面ディスプレイであり、例えばＰＤＰが使用される。枠７４は黒色で、かつ光の反射率が小さい材質で出来ている。また、この枠７４は座標入力装置６０の右辺、左辺、下辺に沿って取り付けられており、この枠の表示部７３平面と垂直方向の幅は、ラインセンサカメラ７０、７１の撮像範囲の幅と等しいかそれ以上であり、表示部７３の近傍に座標入力物体が無い場合は、ラインセンサカメラ７０、７１はその黒い枠を撮像するようになっている。
【００９４】
図１８は、本発明の実施例７に係る制御装置６１のハードウェア構成を示す。図中、ＣＰＵ８０、メインメモリ８１、クロック８２、バスコントローラ８３、ＲＯＭ８４、ＰＣＩブリッジ８５、キャッシュメモリ８６、ハードディスク８７、ＨＤコントローラ８８、表示コントローラ８９、画像処理回路（１）９０、画像処理回路（２）９１、画像処理回路（３）９２、ＬＡＮコントローラ９３、ＬＡＮ Ｉ／Ｆ９４、ＦＤコントローラ９５、ＦＤドライブ９６、ＣＤ−ＲＯＭコントローラ９７、ＣＤ−ＲＯＭドライブ９８、キーボードコントローラ９９、マウスＩ／Ｆ１００、ＲＴＣ１０１、ＣＰＵバス１０２、ＰＣＩバス１０３、Ｘバス（内部バス）１０４は、制御装置６１に実装されている。
【００９５】
これらの構成要素の中で、画像処理回路（１）９０、画像処理回路（２）９１、画像処理回路（３）９２以外は、図２で説明した実施例の各構成要素と同じであるため、それらの説明は省略する。
【００９６】
画像処理回路（１）９０は、座標入力装置６０の電子カメラ７２から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理、また物体の動きベクトルを求める処理等を行う。画像処理回路（２）９１はＡ／Ｄ変換回路を含んでおり、座標入力装置６０のラインセンサカメラ７０から出力されたアナログ画像信号を同軸ケーブルを介して入力し、その画像信号から１次元上における物体の位置を検出する。なお、画像処理回路（２）９１はラインセンサカメラ７０に与えるクロックやライン転送パルスはＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。画像処理回路（３）９２は画像処理回路（２）９１と同じハードウェアであり、座標入力装置６０のラインセンサカメラ７１から出力されたアナログ画像信号を入力し、画像処理回路（２）９１と同様な動作を実行する。なお、画像処理回路（２）９１と画像処理回路（３）９２からそれぞれラインセンサカメラ７０とラインセンサカメラ７１へ与えるクロックやライン転送パルスは同期するようになっている。
【００９７】
ここで、ラインセンサカメラ７０、７１および画像処理回路（２）９１、画像処理回路（３）９２の動作を詳細に説明する。ラインセンサカメラ７０、７１の撮像領域に座標入力物体が無く、黒い枠のみを撮像している時のこれらのカメラからの出力信号のレベルを基準レベルと定義する。ここで表示部７３近傍すなわちラインセンサカメラ７０、７１の撮像領域に座標入力物体が存在すると、ラインセンサカメラ７０、７１の撮像素子はこの物体表面から反射される太陽光や照明光等の光を受光して、受光した画素は光電変換により電荷を掃き出すため、ラインセンサの全画素分に相当するラインセンサカメラ７０、７１からの出力信号は、座標入力物体からの反射光を受光した画素に相当する部分のみ信号レベルが基準レベルに対して高くなる。この時のラインセンサカメラ７０、７１からの出力信号波形の１例は図２５に示した通りである。
【００９８】
画像処理回路（２）９１、画像処理回路（３）９２は、この信号レベルが基準レベルを基に予め決められたスレッシュレベルよりも大きいことを検知した場合はそのピークに相当する画素位置を求める。信号のピーク部分の画素位置がわかると、その画素とラインセンサカメラ７０の光軸の結像位置の画素との距離ｈをラインセンサの画素間の距離（画素ピッチ）を用いて求めることができる。なお、このｈは図４に示したｈである。距離ｈが求まると、前述した実施例と同様に、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まる（図４を参照）。
【００９９】
画像処理回路（３）９２においてもラインセンサカメラ７１から入力される画像信号を用いて上記と同様な処理を行い、角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）が求まる。
【０１００】
図１９は、実施例７に係る制御装置６１の処理フローチャートを示す。座標入力装置６０の電子カメラ７２は、内蔵されたＣＭＯＳイメージセンサの撮像領域の中で、表示部７３平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、表示部７３平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置６１の画像処理回路（１）９０へ出力する。画像処理回路（１）９０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ７０１）。
【０１０１】
輪郭線が抽出されると、画像データ中の座標入力装置６０の表示部７３平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数を求める（ステップ７０２）。次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ７０３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求める（ステップ７０４）。なお、画像データ中における表示部７３平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸とする。
【０１０２】
このようにして、１フレーム分の画像データが入力される毎に動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ８１に逐次記憶しておく（ステップ７０５）。続いて、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部７３に対して座標入力を行ったか否かを判断する（ステップ７０６）。この判断方法として、例えば前述した実施例３や実施例４に記載の方法を使用する。
【０１０３】
座標入力が行われたと判断した場合は（ステップ７０７でＹＥＳ）、画像処理回路（２）９１と画像処理回路（３）９２がラインセンサカメラ７０、７１からの出力信号に基づいて座標入力物体の撮像位置を検出して、その中心画素とラインセンサカメラ７０、７１の光軸の結像位置の画素との距離ｈをそれぞれ求める（ステップ７０８）。
【０１０４】
画像処理回路（２）９１はこのｈを用いて式（１）と式（２）より角度β１を求める（ステップ７０９）。画像処理回路（３）９２においても同様にして角度β２を求める。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）を求める（ステップ７１１）。
【０１０５】
（実施例８）
実施例８の座標入力システムの構成、制御装置の構成は、実施例７と同様である。図２０は、実施例８に係る制御装置６１の処理フローチャートを示す。
【０１０６】
座標入力装置６０の電子カメラ７２は実施例７と同様にして、画像データを制御装置６１の画像処理回路（１）９０へ出力する。画像処理回路（１）９０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ８０１）。
【０１０７】
輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ８０２）。この形状判断は、例えば実施例２で説明した方法を使用する。そして、座標入力部材であると判断した場合は（ステップ８０３でＹＥＳ）、画像データ中の座標入力装置６０の表示部７３平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ８０４）。
【０１０８】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ８０５でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ８０６）。なお、画像データ中における表示部７３平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【０１０９】
このようにして、入力される１フレーム分の画像データ毎に、表示部７３平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ８１に逐次記憶しておく（ステップ８０７）。続いて、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部７３に対して座標入力を行ったか否かを判断する（ステップ８０８）。この判断方法として、例えば前述した実施例３や実施例４に記載の方法を使用する。
【０１１０】
座標入力が行われたと判断した場合は（ステップ８０９でＹＥＳ）、画像処理回路（２）９１と画像処理回路（３）９２がラインセンサカメラ７０、７１からの出力信号に基づいて座標入力物体の撮像位置を検出して、その中心画素とラインセンサカメラ７０、７１の光軸の結像位置の画素との距離ｈをそれぞれ求める（ステップ８１１）。
【０１１１】
画像処理回路（２）９１はこのｈを用いて式（１）と式（２）より角度β１を求める（ステップ８１２）。画像処理回路（３）９２においても同様にして角度β２を求める。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）を求める（ステップ８１３）。
【０１１２】
（実施例９）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合のみ１次元撮像素子から画像信号を出力するようにして、装置の負荷を軽減させる実施例である。実施例９の座標入力システムの構成、制御装置の構成は、実施例７と同様である。
【０１１３】
図２１は、実施例９に係る制御装置６１の処理フローチャートを示す。実施例９のラインセンサカメラ７０、７１は、それぞれ画像処理回路（２）９１と画像処理回路（３）９２からの制御により、動作を開始したり停止したりすることができるようになっている。画像処理回路（２）９１と画像処理回路（３）９２は、この制御信号をデジタルＩ／Ｆを介して出力する。
【０１１４】
実施例７、８において、座標入力物体が座標入力装置６０の表示部７３に接近して動きベクトルのトレースを行う範囲に入った時（ステップ９０１）、画像処理回路（２）９１および画像処理回路（３）９２はラインセンサカメラ７０、７１に対して動作開始信号を出す（ステップ９０２）。ラインセンサカメラ７０、７１は、この信号を受けると、撮像素子の光電変換処理を開始して、画像信号の出力を開始し、座標入力の判断処理を行う（ステップ９０３）。
【０１１５】
次いで、座標入力物体が座標入力装置６０の表示部７３から離れて動きベクトルのトレースを行う範囲から出た時に（ステップ９０４）、画像処理回路（２）９１および画像処理回路（３）９２はラインセンサカメラ７０、７１に対して動作停止信号を出す（ステップ９０５）。ラインセンサカメラ７０、７１は、この信号を受けると、撮像素子の光電変換処理を停止して、画像信号の出力を停止する。
【０１１６】
なお、上記した実施例では、画像処理回路（２）９１および画像処理回路（３）９２は座標入力物体が動きベクトルのトレースを行う範囲に入った時に動作開始信号を出すとしたが、座標入力物体が座標入力装置６０の表示部７３に対してこれよりもっと大きな所定の距離まで接近した時に動作開始信号を出すようにしてもよい。
【０１１７】
（実施例１０）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の範囲にある場合は、座標入力部材をカーソルの位置指定として機能できるようにする実施例である。また、本実施例では、上記した所定の範囲内における座標入力部材の動きからジェスチャーコマンド入力を行う。実施例１０の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【０１１８】
図２２は、実施例１０に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０および電子カメラ１１から撮像された画像データから物体の輪郭線を抽出して、その物体が表示部１２平面から所定の距離範囲に存在していると判断した場合に、その物体の動きベクトルを１フレーム毎に記憶し、その記憶されたデータ（トレースデータ）からその物体が表示部１２平面に対して座標入力を行ったか否かを判断して、座標入力が行われたと判断した場合に表示部１２平面上における２次元座標を求める動作は、実施例１と同様である。
【０１１９】
本実施例では、上記した動きベクトルのトレースを行う距離範囲を第１の範囲（Ｍ１）と定義し、この範囲外でかつより長距離側に設定された距離範囲を第２の範囲（Ｍ２）と定義する。この第１と第２の距離範囲の例を図２３に示す。図２３は、第２の距離範囲（Ｍ２）に座標入力物体であるペンが存在しているところも示している。
【０１２０】
画像処理回路（１）３０は、電子カメラ１０から入力される画像データから物体の輪郭線を抽出して（ステップ１００１）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数を求める（ステップ１００２）。
【０１２１】
次いで、この画素数の中の最小値Ｎｍｉｎが第１の距離範囲の最大値に該当する所定の値Ｍ１より大きく、かつ第２の距離範囲の最大値に該当する所定の値Ｍ２以下である場合には（ステップ１００３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素（点Ｐ）と広角レンズ５０の光軸の結像位置の中心点Ｑの画素との間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ１００４）。
【０１２２】
距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ１００５）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ１００６）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸としている。
【０１２３】
その後、抽出された物体と表示部１２平面との距離が第１の距離範囲の最大値より大きく、かつ第２の距離範囲の最大値以下であると判断された間は、電子カメラ１０および電子カメラ１１から入力される１フレーム分の画像データから上記と同様の動作を実行して（ステップ１００４、１００５）、表示部１２面上における物体の座標（ｘ，ｙ）を求める（ステップ１００６）。
【０１２４】
ＣＰＵ２０は、これらの座標位置にカーソルを表すグラフィックデータを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する（ステップ１００７）。
【０１２５】
上記した処理で、最小値Ｎｍｉｎが第１の距離範囲の最大値に該当する所定の値Ｍ１より小さいときは（ステップ１００８でＹＥＳ）、Ｖｘのトレースデータを基に座標入力が行われたか否かを判断し、座標入力があるときには、以下、実施例１と同様に処理する。
【０１２６】
なお、上記した実施例では、座標入力物体が第２の距離範囲にある場合、電子カメラ１０および電子カメラ１１から１フレーム分の画像データを入力する毎に表示部１２面上における物体の座標を求める場合を示したが、所定のフレーム分の画像データを入力する毎に表示部１２面上における物体の座標を求めるようにしてもよい。
【０１２７】
また、上記した実施例では、座標入力物体が第２の距離範囲にある場合、表示部１２上のその物体に対応した位置にカーソルを表示する場合を示したが、この座標データを他の目的、例えばジェスチャーコマンド入力のために使用することもできる。この場合、座標データをその座標が算出された時間情報とともに記憶し、この記憶された座標データ列（トレースデータ）に基づいて、その物体の動きがコマンド入力用として予め定義された動きのパターンと一致するか否かを判断する。この動きのパターンからコマンドを識別するための方法として、例えば特開平５−１９７８１０号公報に開示された方法（撮影した画像中に検出された動きベクトルの空間的および時間的な組み合わせパターンから予め用意されたパターン辞書を用いて、このパターンに対応したコマンドを識別する）がある。
【０１２８】
このコマンドの一例として、表示部１２に表示されている画面データのスクロールがある。例えば、表示部１２平面に対して物体を上から下へ所定の速度範囲で所定の距離だけ移動すると画面を下へスクロールさせるコマンドとして認識する。そして、表示部１２に表示されている画面データを所定量だけ下方へスクロールして表示画面を更新する。
【０１２９】
さらに、抽出された物体の形状を認識して、その物体が座標入力用のものか否かを判断する物体形状認識手段を持たせて、座標入力用のものであると判断した場合のみ、上記の動作を実施するようにしてもよい。
【０１３０】
【発明の効果】
以上、説明したように、本発明によれば、座標入力部材である物体の動きを見ることで座標入力が行われたことを判断するため、被入力部材であるディスプレイ等の表面が歪んでいる場合にも座標入力の検出精度が劣化せず、装置の利便性が向上する。また、座標入力装置における撮像素子（電子カメラ）の取り付けに高い精度は要求されないため、装置の設置作業の負担を軽減させることができる。
【０１３１】
本発明によれば、座標入力が行われる物体が座標入力部材であると判断した場合のみ座標入力処理を実行するため、操作者の意図しない座標入力を防止することができる。
【０１３２】
本発明によれば、被入力部材の近傍の所定の領域における座標入力部材の動きを見ているので、筆記入力する場合に確実に座標を入力することができる。
【０１３３】
本発明によれば、撮像素子から出力される画像信号のフレームレートを適応的に切り替えるため、不必要な処理を省略でき、装置の処理負荷を軽減させることができる。
【０１３４】
本発明によれば、画像信号を出力する撮像素子の画素領域を適応的に切り替えるため、不必要な処理を省略でき、装置の処理負荷を軽減させることができる。
【０１３５】
本発明によれば、座標入力動作を判断する処理では、座標入力部材の動きを観察できる程度の画素数の２次元撮像素子を使用し、被入力部材の平面上の２次元座標を求める処理では、コストの安い１次元ラインセンサを使用していて、また、１次元画像を処理する手段は画素数の多い２次元画像を処理する手段に比べて非常に安価に実現できるため、装置のコストを抑えることができる。
【０１３６】
本発明によれば、１次元撮像素子およびそのカメラ部の動作を適応的にＯＮ、ＯＦＦできるため、装置の処理負荷を軽減させることができるとともに、省電力の効果ももたらすことができる。
【０１３７】
本発明によれば、座標入力部材である物体と被入力部材との間の距離に応じて異なる情報を入力できるので、入力装置の操作性が著しく向上する。また、座標入力部材である物体と被入力部材であるディスプレイ等の表面までの距離が、ポインティングや筆記入力が行われたことを判断するために必要な距離以上の所定の範囲である場合には、ディスプレイ上のその物体に対応した位置にカーソル等が表示されたり、あるいは物体の動きからジェスチャーコマンド入力が行われるため、装置の利便性が向上する。
【０１３８】
本発明によれば、被入力部材の近傍の所定の領域において座標入力部材の動きが反転したことを検出することにより座標入力が行われたと判定しているので、入力の判定が確実かつ容易に行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施例１に係る座標入力システムの構成を示す。
【図２】 本発明の実施例１に係る制御装置の構成を示す。
【図３】 座標入力部材の接触位置を求める方法を説明する図である。
【図４】 広角レンズとイメージセンサ付近を拡大した図である。
【図５】 イメージセンサの画素配列（Ｙ軸）と表示部平面のエッジ部の像（直線）との関係を説明する図である。
【図６】 本発明の実施例１に係る制御装置の処理フローチャートを示す。
【図７】 電子カメラで撮影した画像の一部を示す。
【図８】 座標入力時に表示面がへこんだ例を示す。
【図９】 本発明の実施例２に係る制御装置の処理フローチャートを示す。
【図１０】 座標入力部材の画像が基準線に対して回転している例を示す。
【図１１】 座標入力部材の画像が左右対称である例を示す。
【図１２】 本発明の実施例３に係る制御装置の処理フローチャートを示す。
【図１３】 本発明の実施例４に係る制御装置の処理フローチャートを示す。
【図１４】 本発明の実施例５に係る制御装置の処理フローチャートを示す。
【図１５】 本発明の実施例６に係る制御装置の処理フローチャートを示す。
【図１６】 （ａ）、（ｂ）は、センサから出力する画像信号の画素領域を制限する例を示す。
【図１７】 本発明の実施例７に係る座標入力システムの構成を示す。
【図１８】 本発明の実施例７に係る制御装置の構成を示す。
【図１９】 本発明の実施例７に係る制御装置の処理フローチャートを示す。
【図２０】 本発明の実施例８に係る制御装置の処理フローチャートを示す。
【図２１】 本発明の実施例９に係る制御装置の処理フローチャートを示す。
【図２２】 本発明の実施例１０に係る制御装置の処理フローチャートを示す。
【図２３】 ペンの動きベクトルのトレースを行う第１、第２の範囲の例を示す。
【図２４】 １次元撮像素子のみを使用した座標入力装置を示す。
【図２５】 オシロスコープでのカメラ出力信号波形を示す。
【符号の説明】
１ 座標入力装置
２ 制御装置
１０、１１ 電子カメラ
１２ 表示部
【発明の属する技術分野】
本発明は、筆記具および筆記面として専用の部材を必要としない電子式筆記入力装置などの座標入力装置に関し、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やリアプロジェクションタイプの大画面ディスプレイを使用した電子黒板やプレゼンテーションシステムなどに適用される。
【０００２】
【従来の技術】
電子ペンなどを用いて入力された座標を求める方法が種々提案されている。その一つは、座標入力領域の周囲に取り付けられた光再帰性反射シートを利用して、光が遮断された部分を検出することにより入力座標を求める方法であり（特開平１１−８５３７６号公報を参照）、他の一つは、複数のテレビカメラを用いて可動物体の３次元空間内の座標位置を求める方法である（特開昭６１−１９６３１７号公報を参照）。
【０００３】
【発明が解決しようとする課題】
前者の方法では、指やペン等の座標入力物体と座標入力面であるディスプレイ表面との間の接触、非接触を精度よく検出できるようにするために、光再帰性反射シートに照射する光ビームの幅をできるだけ小さくして、また光ビームをディスプレイ表面からできるだけ近い位置に照射する必要がある。この時、ディスプレイ表面が歪んでいる場合は、光ビームがディスプレイ表面に遮られて光が遮断されたことを検出しない程度に光ビームがディスプレイ表面から離れている必要がある。この場合、歪んだディスプレイ表面上の全ての位置で指やペン等の座標入力物体の接触を精度よく検出することが難しくなる。
【０００４】
すなわち、ディスプレイ表面に接触していた状態からペンアップにより非接触となったが光ビームは遮断されたままの状態になることが有り得る。この場合、文字が筆記者の意図しないものとなったり、ダブルクリックが検出されない、といった問題が発生する。
【０００５】
一方、後者では、高画素で画像信号の出力フレームレートが大きい２次元撮像素子を使用したテレビカメラであるので、高価である。
【０００６】
そこで、１ラインの画素数が大きく画像信号の出力フレームレートも大きい１次元撮像素子を使用したカメラを用いて座標入力物体とディスプレイ表面との接触を検出する方法が提案されている。
【０００７】
この場合の座標入力装置の外観を図２４に示す。なお、図２４では、カメラから出力される画像信号を基に座標を求めたり、表示部に画面データを出力するパーソナルコンピュータ等の制御装置の図示は省略している。この座標入力装置の中央はＰＤＰ等の表示部であり、この表示部の右上方部と左上方部にカメラがその光軸が表示部平面と平行となるように取り付けられている。なお、これらのカメラのレンズは画角が９０度以上の広角レンズであり、表示部全体について接触する座標入力物体を撮像できるようになっている。
【０００８】
また、座標入力装置の右辺、左辺、下辺には光の反射率の小さい黒い枠が取り付けられている。この枠の表示部平面と垂直方向の幅は、カメラの撮像範囲の幅と等しいかそれ以上であり、表示部の近傍に座標入力物体が無い場合は、カメラはその黒い枠を撮像するようになっている。カメラの撮像領域に座標入力物体が無く、黒い枠のみを撮像している時のカメラからの出力信号のレベルを基準レベルと定義する。ここで表示部近傍すなわちカメラの撮像領域に座標入力物体が存在すると、カメラの撮像素子はこの物体表面から反射される太陽光や照明光等の光を受光して、受光した画素は光電変換により電荷を掃き出すため、ラインセンサの全画素分に相当するカメラからの出力信号は、座標入力物体からの反射光を受光した画素に相当する部分のみ信号レベルが基準レベルに対して高くなる。
【０００９】
この信号レベルが基準レベルを基に決められたスレッシュレベルよりも大きい場合はそのピークに相当する画素位置のデータを使用して表示部上の座標を算出する。なお、この座標算出に関する詳細な説明は後述するため、ここではその説明を省略する。
【００１０】
上述したカメラからの出力信号のオシロスコープでの波形を図２５に示す。図２５では、ラインセンサの全画素分に相当する信号を１走査分示している。
【００１１】
座標入力物体が白色の場合は光の反射率が大きいため、その像部分に該当するカメラからの出力信号レベルは大きくなり、逆に座標入力物体が黒色の場合は光の反射率が小さいため、その像部分に該当するカメラからの出力信号レベルは小さくなる。また、カメラからの出力信号レベルはカメラにおける座標入力物体の撮像面積に依存する。すなわち、座標入力物体が表示部から離れており、カメラの撮像領域にほんの１部分しか存在しないような場合にはその像部分に該当するカメラからの出力信号レベルは小さくなり、座標入力物体が表示部に接触している場合にはその像部分に該当するカメラからの出力信号レベルは大きくなる。
【００１２】
したがって、カメラからの出力信号のスレッシュレベルを大きくすると座標入力物体として黒っぽいペンが使用されると座標入力ができず、逆にこのスレッシュレベルを小さくすると座標入力物体として白いペンが使用されると表示部に接触しなくても、座標入力が行われてしまうという相矛盾した不具合が発生する。後者の場合は前述したように、文字が筆記者の意図しないものとなったり、ダブルクリックが検出されないという問題がある。
【００１３】
上記した例の他に、座標の読み取り方式が電磁授受方式を採るタブレットがあるが、入力面上の空間でペン（専用ペン）先をカーソルの位置指定として機能できる範囲が非常に限定されている（例えば、最大で８ｍｍ程度）。この範囲をさらに拡大しようとすると、ペンを大型化したり、あるいはペンにバッテリを内蔵しなければならないという問題がある。
【００１４】
本発明は上記した背景を基になされたもので、
本発明の目的は、座標入力部材である物体の動きを見ることにより、座標入力が行われたことを判断して、その入力座標を求める座標入力装置および方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明では、レーザ光のような光ビームの走査手段を不要とし、また、ディスプレイ表面が歪んでいる場合にも座標入力部材とディスプレイ表面との接触、非接触を精度よく判断できるようにする。
【００１６】
また、本発明では、座標入力部材を特定しない。すなわち、例えば、ペン、指、棒が使用できる。座標入力が行われる部材はディスプレイに限定されたものではなく、座標入力面が平面であるという条件さえ満たしていればよい。例えば、座標入力が行われる部材として、黒板が使用できる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
（実施例１）
図１は、本発明の実施例１に係る座標入力システムのシステム構成図を示す。この座標入力システムは、座標入力装置１と制御装置２とから構成されていて、座標入力装置１は２個の電子カメラ１０、１１と表示部１２を具備している。電子カメラ１０および電子カメラ１１は、表示部１２に高画素タイプのＸＧＡ（１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素でまた画像信号の出力フレームレートが大きく、また光電変換された信号を画素単位に独立して出力することができる２次元撮像素子を具備している。この２次元撮像素子として、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサがある。
【００１８】
これらの電子カメラは、撮像素子において光電変換された電気信号をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換して、デジタル画像データを出力する。また、各電子カメラの光軸は表示部１２平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、表示部全体の領域について接触する座標入力物体を撮像できるようになっている。表示部１２は大画面ディスプレイであり、例えばＰＤＰが使用される。
【００１９】
次に、制御装置２のハードウェア構成を図２に示す。図中、ＣＰＵ２０、メインメモリ２１、クロック２２、バスコントローラ２３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２４、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）ブリッジ２５、キャッシュメモリ２６、ハードディスク２７、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）コントローラ２８、表示コントローラ２９、画像処理回路（１）３０、画像処理回路（２）３１、ＬＡＮコントローラ３２、ＬＡＮ Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３３、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）コントローラ３４、ＦＤドライブ３５、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）コントローラ３６、ＣＤ−ＲＯＭドライブ３７、キーボードコントローラ３８、マウスＩ／Ｆ３９、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）４０、ＣＰＵバス４１、ＰＣＩバス４２、Ｘバス（内部バス）４３は、制御装置２に実装されている。
【００２０】
ＣＰＵ２０は、ＲＯＭ２４に記憶された制御処理プログラム、ハードディスク２７からメインメモリ２１に読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーションプログラムを実行、処理する。メインメモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成されていて、ＣＰＵ２０のワークエリア等で使用される。クロック２２は、水晶発振子と分周回路から構成されていて、ＣＰＵ２０やバスコントローラ２３の動作タイミングを制御するためのクロックを生成している。バスコントローラ２３は、ＣＰＵバス４１とＸバス４３でのデータ転送を制御する。ＲＯＭ２４は、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれている。ＰＣＩブリッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩバス４２とＣＰＵ２０との間のデータ転送を行う。キャッシュメモリ２６は、ＤＲＡＭで構成されていて、ＰＣＩブリッジ２５により使用される。ハードディスク２７は、システムソフトウェア、各種のアプリケーションプログラム、多数のユーザデータ等を記憶する。ＨＤコントローラ２８は、ハードディスク２７とのインタフェースとして例えばＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ Ｅｌｅｃｔｒｏｎｉｃｓ）インタフェースを持ち、ハードディスク２７と高速データ転送を行う。
【００２１】
表示コントローラ２９は、文字データやグラフィックデータ等をＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換するとともに、これらのデータを座標入力装置１の表示部１２に表示するための制御を行う。
【００２２】
画像処理回路（１）３０は、座標入力装置１の電子カメラ１０から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理、また物体の動きベクトルを求める処理等を行う。また、画像処理回路（１）３０は、電子カメラ１０に与えるクロックや画像転送パルスをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。
【００２３】
画像処理回路（２）３１は画像処理回路（１）３０と同じハードウェアであり、座標入力装置１の電子カメラ１１から出力されたデジタル画像データを入力し、画像処理回路（１）３０と同様な動作を実行する。なお、画像処理回路（１）３０と画像処理回路（２）３１からそれぞれ電子カメラ１０と電子カメラ１１へ与えるクロックや画像転送パルスは同期するようになっている。
【００２４】
ＬＡＮコントローラ３２は例えばＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３規格に準拠した通信プロトコルを実行して、ＬＡＮ Ｉ／Ｆ３３を介してイーサネットに接続された他の機器との通信を制御する。ＦＤコントローラ３４はＦＤドライブ３５とデータ転送を行う。ＣＤ−ＲＯＭコントローラ３６はＣＤ−ＲＯＭドライブ３７とのインタフェースとして例えばＩＤＥインタフェースを持ち、ＣＤ−ＲＯＭドライブ３７とデータ転送を行う。キーボードコントローラ３８は、キーボード４４から入力されたシリアルデータからパラレルデータへの変換を行う。マウスＩ／Ｆ３９は、マウス用のポートを持ち、マウスドライバ（制御プログラム）によって制御される。ＲＴＣ４０は、日付時計であり、図示していないバッテリーによりバックアップされている。なお、座標入力装置１が制御装置２の入力装置であるため、保守用の作業時を除き、キーボード４４およびマウス４５は接続する必要はない。
【００２５】
次に、座標入力部材が座標入力装置１の表示部１２に接触したときの接触位置を幾何学的に求める方法を説明する。図３に示すように、座標入力装置１の電子カメラ１０は広角レンズ５０、ＣＭＯＳイメージセンサ５１を具備し、電子カメラ１１は広角レンズ５２、ＣＭＯＳイメージセンサ５３を具備しており、それぞれの入射光の光軸が座標入力装置１の表示部１２平面に平行であり、また、それぞれの電子カメラが表示部１２全体の領域について接触する座標入力物体を撮像できるように配置されている。
【００２６】
広角レンズ５０と広角レンズ５２との距離をＬ、表示部１２平面における座標入力部材の接触点をＡ、点Ａの位置座標を（ｘ，ｙ）、広角レンズ５０と広角レンズ５２とを結ぶ直線をＸ−Ｌｉｎｅ、広角レンズ５０における接触点Ａの方向とＸ−Ｌｉｎｅとのなす角度をβ１、広角レンズ５２における接触点Ａの方向とＸ−Ｌｉｎｅとのなす角度をβ２とする。
【００２７】
また、広角レンズ５０およびＣＭＯＳイメージセンサ５１付近の拡大図を図４に示す。図４において、ｆは広角レンズ５０とＣＭＯＳイメージセンサ５１との間の距離、ｈはＣＭＯＳイメージセンサ５１における広角レンズ５０の光軸の結像位置と接触点Ａの結像位置との間の距離（表示部１２平面に平行な方向における距離）、αは広角レンズ５０の光軸とＸ−Ｌｉｎｅとのなす角度、θは接触点Ａとその結像点とを結ぶ線と広角レンズ５０の光軸とのなす角度である。これらを用いて、以下の２式が成り立つ。
【００２８】
θ＝ａｒｃｔａｎ（ｈ／ｆ） …… （１）
β１＝α−θ …… （２）
ここで、角度αは組み付け仕様として予め判っているため、これら２式より角度β１を求めることができる。また、電子カメラ１１についても同様にして角度β２を求めることができる。
角度β１と角度β２が求まると、接触点Ａの位置座標（ｘ，ｙ）は、三角測量の原理により
ｘ＝Ｌｔａｎβ２／（ｔａｎβ１＋ｔａｎβ２） …… （３）
ｙ＝ｘｔａｎβ１ …… （４）
として算出される。
【００２９】
次に、ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３上に結像される表示部１２平面に該当するエッジ部の像（直線）と各ＣＭＯＳイメージセンサの画素配列との関係について説明する。ＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３は２次元の画素配列を持つが、縦方向と横方向とで画素数が異なる場合、画素数の小さい方向をＸ軸方向、画素数の大きい方向をＹ軸方向として、そのＹ軸方向が表示部１２平面にできるだけ平行となるように電子カメラ１０と電子カメラ１１が組み付けられる。縦方向と横方向の画素数が同じ場合は、いずれかの方向をＹ軸方向とする。
【００３０】
ここで、ＣＭＯＳイメージセンサ上に結像される表示部１２平面に該当するエッジ部の像（直線）が画素配列のＹ軸方向と一致しない場合は、表示部１２平面に該当するエッジ部の像（直線）と画素配列のＹ軸方向との成す角度δを求める。この角度δは、エッジ部の像（直線）上の数点の画素位置を調べることで求めることができる。この説明のための図を図５に示す。図５のエッジ部の像（直線）の端点を基準画素位置として、この直線上の任意の点、Ａ、Ｂ、ＣにおけるＸ軸方向の画素数ｘとＹ軸方向の画素数ｙを調べる。これらの各点において、
ｔａｎδ＊＝ｘ／ｙ …… （５）
によりδ＊が求まるため、これらの平均値を角度δとする。
【００３１】
ＣＭＯＳイメージセンサで撮像した画像データから表示部１２平面と物体（座
標入力部材）との距離を求める場合、表示部１２平面に該当するエッジ部の像（直線）をその画像データの座標系のＹ軸とした方が便利である。そこで、画像データを用いて表示部１２平面と物体（座標入力部材）との距離を求めたり、動きベクトルの大きさを求める場合、その画像データの座標値を上記で求めた角度δだけ回転させて処理する。図５に示すように、エッジ部の像（直線）が右に傾いている場合は左方向へ回転させ、逆に左に傾いている場合は右方向へ回転させる。この回転後の座標（ｘ’，ｙ’）は、回転前の座標を（ｘ，ｙ）として次式により求められる。
【００３２】
ｘ’＝ｘ×ｃｏｓδ＋ｙ×ｓｉｎδ …… （６）
ｙ’＝ｙ×ｃｏｓδ−ｘ×ｓｉｎδ …… （７）
なお、表示部１２平面に該当するエッジ部の像（直線）がＣＭＯＳイメージセンサ５１の画素配列のＹ軸方向に一致するように、工場出荷時あるいはユーザ先の設置時に調整されたり、あるいは適宜保守モードで調整される場合は上記の座標回転処理は必ずしも必要とはされない。
【００３３】
図６は、本発明の実施例１に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０は、ＣＭＯＳイメージセンサ５１の撮像領域の中で、表示部１２平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、表示部１２平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置２の画像処理回路（１）３０へ出力する。画像処理回路（１）３０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ１０１）。物体の輪郭線の抽出方法としては、例えば微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法（例えば、特公平８−１６９３１号公報に記載の方法）等を用いる。
【００３４】
輪郭線が抽出されると、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数（つまり、距離に相当）を求める（ステップ１０２）。そして、この画素数（距離）の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ１０３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求める（ステップ１０４）。
【００３５】
この動きベクトルを求める方法として、例えばオプティカルフローを使用する。オプティカルフローとは、画像の画素値の時間的な変化率とその周りでの空間的な変化率を用いて求められる、画像の各点での速度ベクトルのことである。動きベクトルは画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸として２次元で表す。
【００３６】
電子カメラ１０で撮像した上記の画像の１例（部分）を図７に示す。なお、図７は表示部１２とその周りのフレーム部分とが同一平面になるように取り付けられている場合を示す。
【００３７】
図７では、ペン先が表示部１２平面から所定の距離以内であるため、動きベクトル（Ｖｘ，Ｖｙ）が求められる。このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ１０５）。そして、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部１２に対して座標入力を行ったか否かを判断する（ステップ１０６）。
【００３８】
この判断方法として、例えば後述する実施例３や実施例４に記載の方法を使用する。そして、座標入力が行われたと判断した場合は（ステップ１０７でＹＥＳ）、その時点における各動きベクトルの座標の中で座標入力物体が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点ＰのＹ軸方向の位置、すなわちＹ軸方向の端からの画素数Ｎ１を調べる。ここで、広角レンズ５０の光軸の結像位置の中心点ＱにおけるＹ軸方向の端からの画素数Ｎ２は既に知られた値であるため、点Ｐと点Ｑとの間のＹ軸方向についての画素数は｜Ｎ１−Ｎ２｜となり、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈが求まる（ステップ１０８）。このｈが図４に示したｈである。
【００３９】
距離ｈが求まると、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まる（ステップ１１０）。画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理を行い、角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ１１１）。
【００４０】
ステップ１０７でＮＯのときは、Ｖｘのデータ列を基に、物体が表示部表面から所定の距離範囲にあるか否かを判定し、所定の距離範囲にあるときには（ステップ１０９でＹＥＳ）、ステップ１０４に進み、前述したように動きベクトルを求め、ステップ１０９でＮＯのときはステップ１０１に戻る。
【００４１】
なお、式（１）から式（４）を使用した上述の計算はＣＰＵ２０で実行してもよいし、式（１）と式（２）の計算を画像処理回路（１）３０および画像処理回路（２）３１で実行し、式（３）と式（４）の計算をＣＰＵ２０で実行するようにしてもよい。
【００４２】
また、表示部１２平面と物体との距離をチェックする際に、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と物体の輪郭線上における所定の間隔でサンプリングされた各点との間の画素数（つまり距離に相当）を求めて、この画素数（距離）の中の最小値Ｎｍｉｎが所定の値以下である場合に、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求めるようにしてもよい。
【００４３】
ＣＰＵ２０は筆記入力（描画）モードにある場合は座標入力部材による座標入力が行われている間に得られた座標データ列から表示用の描画データを生成して、これを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する。
【００４４】
上記した実施例の説明では、表示部１２平面に歪みが無く、また座標入力動作時にへこまない硬い材質で構成されている場合を示している。ところが、表示部１２平面に歪みがあったり、あるいはこの表面の材質が柔らかいもので構成されていて座標入力動作時に表面がへこむような場合は、座標入力物体の表示部１２への接触部分の一部が画像として得ることができず、またこの部分に該当する画素の動きベクトルも得られない。この場合の一例を図８に示す。
【００４５】
図８は、表示部１２としてリアプロジェクションタイプの表示装置が使用され、この表示表面が柔らかく、座標入力動作時に表面がへこんだ場合を示している。この場合は、座標入力物体（ペン）の表示部１２への接触部分の一部（ペン先）が画像として得ることができない。そこで、表示部１２への接触部分の両端点（図中、点Ａと点Ｂ）の中間点を座標入力物体が表示部１２平面に接触している中心にある点Ｐとみなして上述した処理により表示部１２面上における座標を求める。
【００４６】
（実施例２）
実施例２は、座標入力部材であると判断された物体の動きを見ることにより、座標入力が行われたことを判断して、その入力座標を求める実施例である。実施例２の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００４７】
図９は、本発明の実施例２に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０は実施例１と同様にして、画像データを制御装置２の画像処理回路（１）３０へ出力する。画像処理回路（１）３０はこの入力された１フレーム分の画像データから実施例１と同様にして、物体の輪郭線を抽出する処理を行う（ステップ２０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する。
【００４８】
この形状判断は、画像認識技術を用いて行う。この形状認識の方法として、例えば、まず物体の重心を求め、この重心と輪郭線までの距離を重心の回り（３６０°）について順次求め、この角度と距離の関係から輪郭線の形状を特定する方法（特開平８−３１５１５２を参照）を用いる。この得られた輪郭線の形状に関するデータは、座標入力部材の形状としてＲＯＭ２４またはハードディスク２７に予め記憶されたデータと比較することで（ステップ２０２）、その形状の物体が座標入力部材であるか否かを判断する（ステップ２０３）。
【００４９】
表示部１２に表示されたアイコンやメニューに対するポインティングや筆記入力等の座標入力動作時は、座標入力部材の表示部１２平面に対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線（０°の位置）をある角度の範囲内で回転させて予め記憶されたデータと比較する。この座標入力部材の画像および基準線の回転の例を図１０に示す。なお、座標入力部材の形状に関するデータを複数種類用意しておき、形状の判断処理時にこれらを全て利用してもよい。また、座標入力部材の形状に関するデータを予め記憶せずに、図１１に示すように、輪郭線が抽出された物体が左右対称であるか否かをチェックして、対称と判断した場合にその物体を座標入力部材とする方法もある。この対称性は上述した重心と輪郭線までの距離を重心の回りについて順次求めることで判断することができる。
【００５０】
上記の判断処理により座標入力部材であると判断した場合は（ステップ２０３でＹＥＳ）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ２０４）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ２０５でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから、実施例１と同様にオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ２０６）。
【００５１】
以下、前述した実施例１と同様に処理して、表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ２１３）。
【００５２】
（実施例３）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合に、座標入力部材である物体が接近から離れる方向へ動きが反転したことを見ることで、座標入力が行われたことを判断して、その入力座標を求める実施例であり、主に表示部１２に表示されたアイコンやメニューに対してポインティングする場合に適用される。実施例３の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００５３】
図１２は、本発明の実施例３に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ３０１）。輪郭線が抽出されると、その輪郭線の形状を基に、その物体が座標入力部材であるか否かを判断する（ステップ３０２）。
【００５４】
座標入力部材であると判断した場合は（ステップ３０２でＹＥＳ）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ３０３）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ３０４でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データからオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ３０５）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【００５５】
このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ３０６）。そして、これらのＸ方向の成分Ｖｘの値が表示部１２平面に近づく方向から離れる方向へ向きが逆転した場合は（ステップ３０７でＹＥＳ）、その向きが逆転したベクトルの始点の中で座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐと広角レンズ５０の光軸の結像位置の中心点Ｑとの間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ３０９）。
【００５６】
以下、実施例１、２と同様にして、距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ３１０）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ３１１）。上記ステップ３０７でＮＯのときは、ステップ３０８に進み、実施例１、２と同様に、Ｖｘのデータ列を基に、物体が表示部表面から所定の距離範囲にあるか否かを判定する。
【００５７】
（実施例４）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合に、座標入力部材である物体が座標入力が行われる部材の平面部と垂直方向の動きが接近から停止へと動きが止まったことを見ることで、座標入力が行われたことを判断して、座標入力状態としてその入力座標を求める動作を開始し、その後、座標入力部材が平面部から離れる方向に動いたことを検出すると、座標入力状態を解除して、その入力座標を求める動作を停止する実施例であり、主に表示部１２に対して筆記入力する場合に適用される。また、実施例４の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００５８】
図１３は、実施例４に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ４０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ４０２）。
【００５９】
座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ４０３）。そして、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ４０４でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データからオプティカルフローを使用して動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ４０５）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【００６０】
このようにして、入力される１フレーム分の画像データ毎に、表示部１２平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ２１に逐次記憶しておく（ステップ４０６）。そして、これらのＸ方向の成分Ｖｘの値がゼロとなった場合は（ステップ４０７でＹＥＳ）、座標入力が行われたと判断して座標入力状態とする（ステップ４０９）。
【００６１】
次いで、これらのベクトルの中で座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐと広角レンズ５０の光軸の結像位置の中心点Ｑとの間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ４１０）。
【００６２】
距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ４１１）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ４１２）。
【００６３】
続いて、座標入力部材が表示部１２平面に接触している中心にある点Ｐ、あるいは表示部１２平面に最も近い点Ｐの動きベクトルに着目し、Ｘ方向の成分Ｖｘの値がゼロのままでＹ方向の成分Ｖｙの値が変化した場合（ステップ４１３でＹＥＳ）、点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求めて上記と同様にして表示部１２面上における座標（ｘ，ｙ）を求める（ステップ４１２）。そして、ＣＰＵ２０は得られた座標データ列から表示用の描画データを生成して、これを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する。
【００６４】
ステップ４１３でＮＯのとき、点Ｐの動きベクトルのＸ方向の成分Ｖｘの値がマイナスの値、すなわち表示部１２平面から離れる方向になった場合は（ステップ４１４でＹＥＳ）、座標入力状態を解除して表示部１２面上における座標を求める動作を停止する（ステップ４１５）。
【００６５】
なお、座標入力状態となった後に、点Ｐの動きベクトルのＸ方向の成分Ｖｘの値が正（表示部１２平面に近づく方向）でＹ方向の成分Ｖｙの値が変化した場合も表示部１２面上における座標（ｘ，ｙ）を求める。
【００６６】
（実施例５）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合には撮像素子から出力される画像信号のフレームレート（１秒間のフレーム数）を大きくして動きを精度よく見るようにし、それ以外の場合には撮像素子から出力される画像信号のフレームレートを小さくして装置の負荷を軽減させる実施例である。また、実施例５の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００６７】
実施例５の座標入力装置１の電子カメラ１０と電子カメラ１１は、それぞれＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３から出力される画像信号のフレームレートを可変に制御でき、このフレームレートに応じたデータ量の画像データを制御装置２の画像処理回路（１）３０と画像処理回路（２）３１へ出力できるようになっている。ここでは、大小２種類のフレームレートがあり、これらを適宜切り換えられるようになっているものとする。また、電源投入時はデフォルトとして小さい方のフレームレートが選択されているものとする。
【００６８】
図１４は、実施例５に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ５０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ５０２）。座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ５０３）。
【００６９】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ５０４でＹＥＳ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを大きくする要求コマンドを出す（ステップ５０５）。電子カメラ１０はこのコマンドを受け取ると、ＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを大きくするように制御する。これは、例えば、ＣＭＯＳイメージセンサ５１を構成する各素子の電荷蓄積時間を短くするように設定することで実現される。この時点（つまり、ステップ５０４で）の画素数の最小値Ｎｍｉｎを比較する所定の値は、実施例１から実施例４に示した座標入力部材の動きベクトルデータのトレースを開始する時の値とは異なり、より大きな値が設定される。
【００７０】
続いて、実施例２と同様にして、座標入力部材と表示部１２平面との距離が所定の範囲内（画像信号のフレームレートを切り替える時の範囲より小さい）であると判断した場合は（ステップ５０６でＹＥＳ）、座標入力部材の動きベクトルデータをトレースし（トレースを行う範囲＜大きいフレームレートの範囲）、座標入力の判断処理（つまり、実施例１から実施例４で説明した入力座標を求める処理）を行う（ステップ５０７）。
【００７１】
一方、座標入力部材が動きベクトルデータのトレースを行う範囲から出て（ステップ５０６でＮＯ）、さらに表示部１２平面から所定の距離（画像信号のフレームレートを大きくなるように切り替えた距離）以上になったと判断した場合は（ステップ５０８でＮＯ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートを小さくする要求コマンドを出し（ステップ５０９）、ステップ５０１に進む。そして、ＣＭＯＳイメージセンサ５１から出力される画像信号のフレームレートが小さくなるように制御される。
【００７２】
なお、座標入力部材が動きベクトルデータのトレースを行う範囲から出た場合は、座標入力部材の輪郭線上の各点と表示部平面に該当するエッジ部の像（直線）との間の画素数を調べることで、所定の距離以上になったことを判断する。
【００７３】
以上、画像処理回路（１）３０と電子カメラ１０との間の動作を示したが、画像処理回路（２）３１と電子カメラ１１も同様な動作を実行する。また、画像処理回路から出されるフレームレートの切替要求コマンドは、画像データを受信するケーブルを介して電子カメラへ渡される。
【００７４】
（実施例６）
本実施例は、光電変換された信号を画素単位に独立して出力することができる撮像素子を使用し、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合には光電変換された信号を出力する画素を座標入力部材の像を中心とした限定された領域に含まれるものに限定して、装置の負荷を軽減させる実施例である。また、実施例６の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【００７５】
実施例６の電子カメラ１０と電子カメラ１１は、それぞれＣＭＯＳイメージセンサ５１およびＣＭＯＳイメージセンサ５３から画像信号を画素単位で出力するように制御できる。電源投入時は、表示部１２平面全体から所定の距離までの範囲を撮像している画素について画像信号を出力するように制御している。
【００７６】
図１５は、実施例６に係る制御装置の処理フローチャートを示す。実施例２と同様にして、画像処理回路（１）３０は入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ６０１）。輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ６０２）。座標入力部材であると判断した場合は、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ６０３）。
【００７７】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値Ｋ以下である場合には（ステップ６０４でＹＥＳ）、その輪郭線上の点のＹ軸方向の位置ｙｍ（Ｙ軸方向の端からの画素数）を調べる。そして、このＹ軸方向の位置ｙｍを中心として、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するための要求コマンドを座標入力装置１の電子カメラ１０に対して出す（ステップ６０５）。この画像例を図１６（ａ）に示す。
【００７８】
電子カメラ１０はこのコマンドを受け取ると、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域を、Ｙ軸方向の位置ｙｍを中心としてＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するように制御する。
【００７９】
その後、座標入力部材がＹ軸方向に所定の距離（画素数Ｌ）だけ移動すると（ステップ６０６でＹＥＳ）、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をそのＹ軸方向の位置ｙｍ’を中心としてＹ軸のプラスおよびマイナス方向についてそれぞれλ画素に制限するための要求コマンドを座標入力装置１の電子カメラ１０に対して出す（ステップ６０７）。この画像例を図１６（ｂ）に示す。
【００８０】
このようにして、表示部１２平面と座標入力部材との距離が所定の範囲内であれば、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域をＹ軸方向について２λ画素となるように制御する。
【００８１】
続いて、実施例２と同様にして、座標入力部材と表示部１２平面との距離が所定の範囲内（画素数（距離）Ｋより小さな画素数（距離）に設定）であると判断した場合は、座標入力部材の動きベクトルデータをトレースする。そして、座標入力部材が動きベクトルデータのトレースを行う範囲から出て（ステップ６０８でＮＯ）、さらに表示部１２平面から所定の距離（画素数Ｋ）以上になったと判断した場合は（ステップ６１０でＮＯ）、画像処理回路（１）３０は座標入力装置１の電子カメラ１０に対してＣＭＯＳイメージセンサ５１から表示部１２平面全体の範囲について画像信号を出力する要求コマンドを出す（ステップ６１１）。そして、ＣＭＯＳイメージセンサ５１から画像信号を出力する画素領域は電源投入時の初期値と同じになるように制御される。
【００８２】
なお、座標入力部材が動きベクトルデータのトレースを行う範囲から出た場合は、座標入力部材の輪郭線上の各点と表示部平面に該当するエッジ部の像（直線）との間の画素数を調べることで、所定の距離以上になったことを判断する。
【００８３】
以上、画像処理回路（１）３０と電子カメラ１０との間の動作を示したが、画像処理回路（２）３１と電子カメラ１１も同様な動作を実行する。また、画像処理回路から出される画素領域の切替要求コマンドは、画像データを受信するケーブルを介して電子カメラへ渡される。
【００８４】
（実施例７）
現在市販されているＰＤＰやリアプロジェクションタイプの大画面ディスプレイは画面サイズが４０インチから７０インチである。これらのディスプレイに表示される内容はパーソナルコンピュータ等からの出力画面であり、高画素タイプのＸＧＡ（Ｅｘｔｅｎｄｅｄ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行されることが要求される。
【００８５】
この座標の読み取り分解能の条件を満たすために、撮像素子をディスプレイの一つの辺を挟んだ頂角に各１個ずつ、計２個使用した場合には、約２０００画素のラインを含んだ撮像素子が必要となる。
【００８６】
座標入力部材の動きを精度よく見るためには撮像素子から出力される画像信号のフレームレートを大きくする必要があるが、１辺が２０００画素程度の２次元撮像素子で出力フレームレートの大きなものを使用すると、このコストが非常に高価なものとなり、製品全体のコストを押し上げてしまう。
【００８７】
撮像素子以外にも、１次元画像を処理する手段は画素数の多い２次元画像を処理する手段に比べて非常に安価に実現できる。
【００８８】
そこで、実施例７および後述する実施例８では、ディスプレイの表示画面上の２次元座標を求める撮像素子として２０００画素程度の１次元ラインセンサを２個使用し、ディスプレイの表示画面近傍の空間における座標入力部材の動きはＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：６４０×４８０画素）程度の画素数の２次元撮像素子を１個あるいは２個使用して見るようにして、コストを押さえる。
【００８９】
図１７は、本発明の実施例７に係る座標入力システムのシステム構成図を示す。この座標入力システムは座標入力装置６０と制御装置６１とから構成されていて、座標入力装置６０は１次元撮像素子を具備した２個の電子カメラ（ラインセンサカメラ）７０、７１と２次元撮像素子を具備した１個の電子カメラ７２、表示部７３および枠７４を具備している。
【００９０】
ラインセンサカメラ７０、７１は１次元撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用している。この１次元ＣＣＤ（ラインセンサ）は、その画素数が表示部７３に高画素タイプのＸＧＡ（１０２４×７６８画素）で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素でまた画像信号の出力フレームレートは高画素タイプの２次元撮像素子に比べて非常に大きい。これらのラインセンサカメラ７０、７１の光学的な位置関係は図３に示したものと同じである。
【００９１】
電子カメラ７２は、図１で説明した実施例の電子カメラ１０と同様に２次元撮像素子としてＣＭＯＳセンサを使用しており、この画素数は表示部７３平面に対して座標入力が行われる座標入力部材の動きを認識できる程度に高画素でまた画像信号の出力フレームレートも大きい。
【００９２】
ラインセンサカメラ７０、７１は撮像素子において光電変換された電気信号をアナログ信号のまま出力し、電子カメラ７２は撮像素子において光電変換された電気信号をＡ／Ｄ変換して、デジタル画像データを出力する。また、各電子カメラの光軸は表示部７３平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が９０度以上の広角レンズであり、表示部全体の領域について接触する座標入力物体を撮像できるようになっている。
【００９３】
表示部７３は大画面ディスプレイであり、例えばＰＤＰが使用される。枠７４は黒色で、かつ光の反射率が小さい材質で出来ている。また、この枠７４は座標入力装置６０の右辺、左辺、下辺に沿って取り付けられており、この枠の表示部７３平面と垂直方向の幅は、ラインセンサカメラ７０、７１の撮像範囲の幅と等しいかそれ以上であり、表示部７３の近傍に座標入力物体が無い場合は、ラインセンサカメラ７０、７１はその黒い枠を撮像するようになっている。
【００９４】
図１８は、本発明の実施例７に係る制御装置６１のハードウェア構成を示す。図中、ＣＰＵ８０、メインメモリ８１、クロック８２、バスコントローラ８３、ＲＯＭ８４、ＰＣＩブリッジ８５、キャッシュメモリ８６、ハードディスク８７、ＨＤコントローラ８８、表示コントローラ８９、画像処理回路（１）９０、画像処理回路（２）９１、画像処理回路（３）９２、ＬＡＮコントローラ９３、ＬＡＮ Ｉ／Ｆ９４、ＦＤコントローラ９５、ＦＤドライブ９６、ＣＤ−ＲＯＭコントローラ９７、ＣＤ−ＲＯＭドライブ９８、キーボードコントローラ９９、マウスＩ／Ｆ１００、ＲＴＣ１０１、ＣＰＵバス１０２、ＰＣＩバス１０３、Ｘバス（内部バス）１０４は、制御装置６１に実装されている。
【００９５】
これらの構成要素の中で、画像処理回路（１）９０、画像処理回路（２）９１、画像処理回路（３）９２以外は、図２で説明した実施例の各構成要素と同じであるため、それらの説明は省略する。
【００９６】
画像処理回路（１）９０は、座標入力装置６０の電子カメラ７２から出力されたデジタル画像データをＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理、また物体の動きベクトルを求める処理等を行う。画像処理回路（２）９１はＡ／Ｄ変換回路を含んでおり、座標入力装置６０のラインセンサカメラ７０から出力されたアナログ画像信号を同軸ケーブルを介して入力し、その画像信号から１次元上における物体の位置を検出する。なお、画像処理回路（２）９１はラインセンサカメラ７０に与えるクロックやライン転送パルスはＲＳ−４２２等のデジタルＩ／Ｆ（図示を省略）を介して出力する。画像処理回路（３）９２は画像処理回路（２）９１と同じハードウェアであり、座標入力装置６０のラインセンサカメラ７１から出力されたアナログ画像信号を入力し、画像処理回路（２）９１と同様な動作を実行する。なお、画像処理回路（２）９１と画像処理回路（３）９２からそれぞれラインセンサカメラ７０とラインセンサカメラ７１へ与えるクロックやライン転送パルスは同期するようになっている。
【００９７】
ここで、ラインセンサカメラ７０、７１および画像処理回路（２）９１、画像処理回路（３）９２の動作を詳細に説明する。ラインセンサカメラ７０、７１の撮像領域に座標入力物体が無く、黒い枠のみを撮像している時のこれらのカメラからの出力信号のレベルを基準レベルと定義する。ここで表示部７３近傍すなわちラインセンサカメラ７０、７１の撮像領域に座標入力物体が存在すると、ラインセンサカメラ７０、７１の撮像素子はこの物体表面から反射される太陽光や照明光等の光を受光して、受光した画素は光電変換により電荷を掃き出すため、ラインセンサの全画素分に相当するラインセンサカメラ７０、７１からの出力信号は、座標入力物体からの反射光を受光した画素に相当する部分のみ信号レベルが基準レベルに対して高くなる。この時のラインセンサカメラ７０、７１からの出力信号波形の１例は図２５に示した通りである。
【００９８】
画像処理回路（２）９１、画像処理回路（３）９２は、この信号レベルが基準レベルを基に予め決められたスレッシュレベルよりも大きいことを検知した場合はそのピークに相当する画素位置を求める。信号のピーク部分の画素位置がわかると、その画素とラインセンサカメラ７０の光軸の結像位置の画素との距離ｈをラインセンサの画素間の距離（画素ピッチ）を用いて求めることができる。なお、このｈは図４に示したｈである。距離ｈが求まると、前述した実施例と同様に、式（１）と式（２）より既知の値を持つｆとαを用いて角度β１が求まる（図４を参照）。
【００９９】
画像処理回路（３）９２においてもラインセンサカメラ７１から入力される画像信号を用いて上記と同様な処理を行い、角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）が求まる。
【０１００】
図１９は、実施例７に係る制御装置６１の処理フローチャートを示す。座標入力装置６０の電子カメラ７２は、内蔵されたＣＭＯＳイメージセンサの撮像領域の中で、表示部７３平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、表示部７３平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をＡ／Ｄ変換して、このデジタル画像データを制御装置６１の画像処理回路（１）９０へ出力する。画像処理回路（１）９０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ７０１）。
【０１０１】
輪郭線が抽出されると、画像データ中の座標入力装置６０の表示部７３平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数を求める（ステップ７０２）。次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ７０３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトルを求める（ステップ７０４）。なお、画像データ中における表示部７３平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸とする。
【０１０２】
このようにして、１フレーム分の画像データが入力される毎に動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ８１に逐次記憶しておく（ステップ７０５）。続いて、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部７３に対して座標入力を行ったか否かを判断する（ステップ７０６）。この判断方法として、例えば前述した実施例３や実施例４に記載の方法を使用する。
【０１０３】
座標入力が行われたと判断した場合は（ステップ７０７でＹＥＳ）、画像処理回路（２）９１と画像処理回路（３）９２がラインセンサカメラ７０、７１からの出力信号に基づいて座標入力物体の撮像位置を検出して、その中心画素とラインセンサカメラ７０、７１の光軸の結像位置の画素との距離ｈをそれぞれ求める（ステップ７０８）。
【０１０４】
画像処理回路（２）９１はこのｈを用いて式（１）と式（２）より角度β１を求める（ステップ７０９）。画像処理回路（３）９２においても同様にして角度β２を求める。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）を求める（ステップ７１１）。
【０１０５】
（実施例８）
実施例８の座標入力システムの構成、制御装置の構成は、実施例７と同様である。図２０は、実施例８に係る制御装置６１の処理フローチャートを示す。
【０１０６】
座標入力装置６０の電子カメラ７２は実施例７と同様にして、画像データを制御装置６１の画像処理回路（１）９０へ出力する。画像処理回路（１）９０はこの入力された１フレーム分の画像データから物体の輪郭線を抽出する処理を行う（ステップ８０１）。
【０１０７】
輪郭線が抽出されると、その輪郭線の形状よりその物体が座標入力部材であるか否かを判断する（ステップ８０２）。この形状判断は、例えば実施例２で説明した方法を使用する。そして、座標入力部材であると判断した場合は（ステップ８０３でＹＥＳ）、画像データ中の座標入力装置６０の表示部７３平面に該当するエッジ部の像（直線）と座標入力部材であると判断された物体の輪郭線上における各点との間の画素数を求める（ステップ８０４）。
【０１０８】
次いで、この画素数の中の最小値Ｎｍｉｎが所定の値以下である場合には（ステップ８０５でＹＥＳ）、その画素数Ｎｍｉｎとなった画素を中心とした物体の輪郭線上における所定数の画素について、次に入力される１フレーム分の画像データから動きベクトル（Ｖｘ，Ｖｙ）を求める（ステップ８０６）。なお、画像データ中における表示部７３平面に該当するエッジ部の像（直線）をＹ軸、これと垂直な方向をＸ軸としている。
【０１０９】
このようにして、入力される１フレーム分の画像データ毎に、表示部７３平面と物体との距離が所定の範囲内であれば輪郭線上の所定数の画素についてその物体の動きベクトルを求め、このＸ方向の成分Ｖｘの値を各画素毎にメインメモリ８１に逐次記憶しておく（ステップ８０７）。続いて、この逐次記憶されたデータ（トレースデータ）に基づいて、物体が表示部７３に対して座標入力を行ったか否かを判断する（ステップ８０８）。この判断方法として、例えば前述した実施例３や実施例４に記載の方法を使用する。
【０１１０】
座標入力が行われたと判断した場合は（ステップ８０９でＹＥＳ）、画像処理回路（２）９１と画像処理回路（３）９２がラインセンサカメラ７０、７１からの出力信号に基づいて座標入力物体の撮像位置を検出して、その中心画素とラインセンサカメラ７０、７１の光軸の結像位置の画素との距離ｈをそれぞれ求める（ステップ８１１）。
【０１１１】
画像処理回路（２）９１はこのｈを用いて式（１）と式（２）より角度β１を求める（ステップ８１２）。画像処理回路（３）９２においても同様にして角度β２を求める。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部７３面上における座標（ｘ，ｙ）を求める（ステップ８１３）。
【０１１２】
（実施例９）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の値以下の場合のみ１次元撮像素子から画像信号を出力するようにして、装置の負荷を軽減させる実施例である。実施例９の座標入力システムの構成、制御装置の構成は、実施例７と同様である。
【０１１３】
図２１は、実施例９に係る制御装置６１の処理フローチャートを示す。実施例９のラインセンサカメラ７０、７１は、それぞれ画像処理回路（２）９１と画像処理回路（３）９２からの制御により、動作を開始したり停止したりすることができるようになっている。画像処理回路（２）９１と画像処理回路（３）９２は、この制御信号をデジタルＩ／Ｆを介して出力する。
【０１１４】
実施例７、８において、座標入力物体が座標入力装置６０の表示部７３に接近して動きベクトルのトレースを行う範囲に入った時（ステップ９０１）、画像処理回路（２）９１および画像処理回路（３）９２はラインセンサカメラ７０、７１に対して動作開始信号を出す（ステップ９０２）。ラインセンサカメラ７０、７１は、この信号を受けると、撮像素子の光電変換処理を開始して、画像信号の出力を開始し、座標入力の判断処理を行う（ステップ９０３）。
【０１１５】
次いで、座標入力物体が座標入力装置６０の表示部７３から離れて動きベクトルのトレースを行う範囲から出た時に（ステップ９０４）、画像処理回路（２）９１および画像処理回路（３）９２はラインセンサカメラ７０、７１に対して動作停止信号を出す（ステップ９０５）。ラインセンサカメラ７０、７１は、この信号を受けると、撮像素子の光電変換処理を停止して、画像信号の出力を停止する。
【０１１６】
なお、上記した実施例では、画像処理回路（２）９１および画像処理回路（３）９２は座標入力物体が動きベクトルのトレースを行う範囲に入った時に動作開始信号を出すとしたが、座標入力物体が座標入力装置６０の表示部７３に対してこれよりもっと大きな所定の距離まで接近した時に動作開始信号を出すようにしてもよい。
【０１１７】
（実施例１０）
本実施例は、座標入力部材と座標入力が行われる表示部材との距離が所定の範囲にある場合は、座標入力部材をカーソルの位置指定として機能できるようにする実施例である。また、本実施例では、上記した所定の範囲内における座標入力部材の動きからジェスチャーコマンド入力を行う。実施例１０の座標入力システムの構成、制御装置の構成は、実施例１と同様である。
【０１１８】
図２２は、実施例１０に係る制御装置の処理フローチャートを示す。座標入力装置１の電子カメラ１０および電子カメラ１１から撮像された画像データから物体の輪郭線を抽出して、その物体が表示部１２平面から所定の距離範囲に存在していると判断した場合に、その物体の動きベクトルを１フレーム毎に記憶し、その記憶されたデータ（トレースデータ）からその物体が表示部１２平面に対して座標入力を行ったか否かを判断して、座標入力が行われたと判断した場合に表示部１２平面上における２次元座標を求める動作は、実施例１と同様である。
【０１１９】
本実施例では、上記した動きベクトルのトレースを行う距離範囲を第１の範囲（Ｍ１）と定義し、この範囲外でかつより長距離側に設定された距離範囲を第２の範囲（Ｍ２）と定義する。この第１と第２の距離範囲の例を図２３に示す。図２３は、第２の距離範囲（Ｍ２）に座標入力物体であるペンが存在しているところも示している。
【０１２０】
画像処理回路（１）３０は、電子カメラ１０から入力される画像データから物体の輪郭線を抽出して（ステップ１００１）、画像データ中の座標入力装置１の表示部１２平面に該当するエッジ部の像（直線）と抽出された輪郭線上における各点との間の画素数を求める（ステップ１００２）。
【０１２１】
次いで、この画素数の中の最小値Ｎｍｉｎが第１の距離範囲の最大値に該当する所定の値Ｍ１より大きく、かつ第２の距離範囲の最大値に該当する所定の値Ｍ２以下である場合には（ステップ１００３でＹＥＳ）、その画素数Ｎｍｉｎとなった画素（点Ｐ）と広角レンズ５０の光軸の結像位置の中心点Ｑの画素との間のＹ軸方向についての画素数を求め、この値とＣＭＯＳイメージセンサ５１の画素間の距離（画素ピッチ）から点Ｐと点Ｑとの間のＹ軸方向についての距離ｈを求める（ステップ１００４）。
【０１２２】
距離ｈが求まると、式（１）と式（２）より角度β１が求まり（ステップ１００５）、また画像処理回路（２）３１においても電子カメラ１１から入力される画像データを用いて上記と同様な処理により角度β２が求まる。これらのβ１、β２および既知の値を持つＬを用いて式（３）と式（４）より表示部１２面上における座標（ｘ，ｙ）が求まる（ステップ１００６）。なお、画像データ中における表示部１２平面に該当するエッジ部の像（直線）をＹ軸としている。
【０１２３】
その後、抽出された物体と表示部１２平面との距離が第１の距離範囲の最大値より大きく、かつ第２の距離範囲の最大値以下であると判断された間は、電子カメラ１０および電子カメラ１１から入力される１フレーム分の画像データから上記と同様の動作を実行して（ステップ１００４、１００５）、表示部１２面上における物体の座標（ｘ，ｙ）を求める（ステップ１００６）。
【０１２４】
ＣＰＵ２０は、これらの座標位置にカーソルを表すグラフィックデータを表示コントローラ２９を介して座標入力装置１の表示部１２に表示する（ステップ１００７）。
【０１２５】
上記した処理で、最小値Ｎｍｉｎが第１の距離範囲の最大値に該当する所定の値Ｍ１より小さいときは（ステップ１００８でＹＥＳ）、Ｖｘのトレースデータを基に座標入力が行われたか否かを判断し、座標入力があるときには、以下、実施例１と同様に処理する。
【０１２６】
なお、上記した実施例では、座標入力物体が第２の距離範囲にある場合、電子カメラ１０および電子カメラ１１から１フレーム分の画像データを入力する毎に表示部１２面上における物体の座標を求める場合を示したが、所定のフレーム分の画像データを入力する毎に表示部１２面上における物体の座標を求めるようにしてもよい。
【０１２７】
また、上記した実施例では、座標入力物体が第２の距離範囲にある場合、表示部１２上のその物体に対応した位置にカーソルを表示する場合を示したが、この座標データを他の目的、例えばジェスチャーコマンド入力のために使用することもできる。この場合、座標データをその座標が算出された時間情報とともに記憶し、この記憶された座標データ列（トレースデータ）に基づいて、その物体の動きがコマンド入力用として予め定義された動きのパターンと一致するか否かを判断する。この動きのパターンからコマンドを識別するための方法として、例えば特開平５−１９７８１０号公報に開示された方法（撮影した画像中に検出された動きベクトルの空間的および時間的な組み合わせパターンから予め用意されたパターン辞書を用いて、このパターンに対応したコマンドを識別する）がある。
【０１２８】
このコマンドの一例として、表示部１２に表示されている画面データのスクロールがある。例えば、表示部１２平面に対して物体を上から下へ所定の速度範囲で所定の距離だけ移動すると画面を下へスクロールさせるコマンドとして認識する。そして、表示部１２に表示されている画面データを所定量だけ下方へスクロールして表示画面を更新する。
【０１２９】
さらに、抽出された物体の形状を認識して、その物体が座標入力用のものか否かを判断する物体形状認識手段を持たせて、座標入力用のものであると判断した場合のみ、上記の動作を実施するようにしてもよい。
【０１３０】
【発明の効果】
以上、説明したように、本発明によれば、座標入力部材である物体の動きを見ることで座標入力が行われたことを判断するため、被入力部材であるディスプレイ等の表面が歪んでいる場合にも座標入力の検出精度が劣化せず、装置の利便性が向上する。また、座標入力装置における撮像素子（電子カメラ）の取り付けに高い精度は要求されないため、装置の設置作業の負担を軽減させることができる。
【０１３１】
本発明によれば、座標入力が行われる物体が座標入力部材であると判断した場合のみ座標入力処理を実行するため、操作者の意図しない座標入力を防止することができる。
【０１３２】
本発明によれば、被入力部材の近傍の所定の領域における座標入力部材の動きを見ているので、筆記入力する場合に確実に座標を入力することができる。
【０１３３】
本発明によれば、撮像素子から出力される画像信号のフレームレートを適応的に切り替えるため、不必要な処理を省略でき、装置の処理負荷を軽減させることができる。
【０１３４】
本発明によれば、画像信号を出力する撮像素子の画素領域を適応的に切り替えるため、不必要な処理を省略でき、装置の処理負荷を軽減させることができる。
【０１３５】
本発明によれば、座標入力動作を判断する処理では、座標入力部材の動きを観察できる程度の画素数の２次元撮像素子を使用し、被入力部材の平面上の２次元座標を求める処理では、コストの安い１次元ラインセンサを使用していて、また、１次元画像を処理する手段は画素数の多い２次元画像を処理する手段に比べて非常に安価に実現できるため、装置のコストを抑えることができる。
【０１３６】
本発明によれば、１次元撮像素子およびそのカメラ部の動作を適応的にＯＮ、ＯＦＦできるため、装置の処理負荷を軽減させることができるとともに、省電力の効果ももたらすことができる。
【０１３７】
本発明によれば、座標入力部材である物体と被入力部材との間の距離に応じて異なる情報を入力できるので、入力装置の操作性が著しく向上する。また、座標入力部材である物体と被入力部材であるディスプレイ等の表面までの距離が、ポインティングや筆記入力が行われたことを判断するために必要な距離以上の所定の範囲である場合には、ディスプレイ上のその物体に対応した位置にカーソル等が表示されたり、あるいは物体の動きからジェスチャーコマンド入力が行われるため、装置の利便性が向上する。
【０１３８】
本発明によれば、被入力部材の近傍の所定の領域において座標入力部材の動きが反転したことを検出することにより座標入力が行われたと判定しているので、入力の判定が確実かつ容易に行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施例１に係る座標入力システムの構成を示す。
【図２】 本発明の実施例１に係る制御装置の構成を示す。
【図３】 座標入力部材の接触位置を求める方法を説明する図である。
【図４】 広角レンズとイメージセンサ付近を拡大した図である。
【図５】 イメージセンサの画素配列（Ｙ軸）と表示部平面のエッジ部の像（直線）との関係を説明する図である。
【図６】 本発明の実施例１に係る制御装置の処理フローチャートを示す。
【図７】 電子カメラで撮影した画像の一部を示す。
【図８】 座標入力時に表示面がへこんだ例を示す。
【図９】 本発明の実施例２に係る制御装置の処理フローチャートを示す。
【図１０】 座標入力部材の画像が基準線に対して回転している例を示す。
【図１１】 座標入力部材の画像が左右対称である例を示す。
【図１２】 本発明の実施例３に係る制御装置の処理フローチャートを示す。
【図１３】 本発明の実施例４に係る制御装置の処理フローチャートを示す。
【図１４】 本発明の実施例５に係る制御装置の処理フローチャートを示す。
【図１５】 本発明の実施例６に係る制御装置の処理フローチャートを示す。
【図１６】 （ａ）、（ｂ）は、センサから出力する画像信号の画素領域を制限する例を示す。
【図１７】 本発明の実施例７に係る座標入力システムの構成を示す。
【図１８】 本発明の実施例７に係る制御装置の構成を示す。
【図１９】 本発明の実施例７に係る制御装置の処理フローチャートを示す。
【図２０】 本発明の実施例８に係る制御装置の処理フローチャートを示す。
【図２１】 本発明の実施例９に係る制御装置の処理フローチャートを示す。
【図２２】 本発明の実施例１０に係る制御装置の処理フローチャートを示す。
【図２３】 ペンの動きベクトルのトレースを行う第１、第２の範囲の例を示す。
【図２４】 １次元撮像素子のみを使用した座標入力装置を示す。
【図２５】 オシロスコープでのカメラ出力信号波形を示す。
【符号の説明】
１ 座標入力装置
２ 制御装置
１０、１１ 電子カメラ
１２ 表示部
Claims (2)
- 座標入力が行われる平面上の領域を撮像する複数の撮像素子を配置した画像入力手段と、
前記画像入力手段により撮像した画像から所定の物体を抽出する物体抽出手段と、
前記抽出された物体と前記平面との距離が所定の範囲内にあるか否かを判定する距離判定手段と、
前記距離が所定の範囲内にあると判定されたとき、前記物体の動きベクトルを求める動きベクトル検出手段と、
前記検出された動きベクトルを基に前記物体が前記平面に対して座標入力を行ったか否かを判定する動き認識手段と、
前記動き認識手段により座標入力が行われたと判定したとき、前記各撮像素子上における前記物体の像の位置を基に、前記平面上における前記物体の２次元座標を算出する座標算出手段とを備えた座標入力装置であって、
前記動き認識手段は、検出された動きベクトルの成分の中で前記平面と垂直方向の成分を逐次記憶し、前記逐次記憶された垂直方向の動きベクトル成分の方向が前記平面に接近する方向から離れる方向へ反転したことを検出したとき、座標入力が行われたと判定することを特徴とする座標入力装置。 - 座標入力が行われる平面上の領域を撮像する複数の撮像素子を配置した画像入力工程と、
前記画像入力工程により撮像した画像から所定の物体を抽出する物体抽出工程と、
前記抽出された物体と前記平面との距離が所定の範囲内にあるか否かを判定する距離判定工程と、
前記距離が所定の範囲内にあると判定されたとき、前記物体の動きベクトルを求める動きベクトル検出工程と、
前記検出された動きベクトルを基に前記物体が前記平面に対して座標入力を行ったか否かを判定する動き認識工程と、
前記動き認識工程により座標入力が行われたと判定したとき、前記各撮像素子上における前記物体の像の位置を基に、前記平面上における前記物体の２次元座標を算出する座標算出工程とを備えた座標入力方法であって、
前記動き認識工程は、検出された動きベクトルの成分の中で前記平面と垂直方向の成分を逐次記憶し、前記逐次記憶された垂直方向の動きベクトル成分の方向が前記平面に接近する方向から離れる方向へ反転したことを検出したとき、座標入力が行われたと判定することを特徴とする座標入力方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30941299A JP4052498B2 (ja) | 1999-10-29 | 1999-10-29 | 座標入力装置および方法 |
| US09/698,031 US6674424B1 (en) | 1999-10-29 | 2000-10-30 | Method and apparatus for inputting information including coordinate data |
| US10/717,456 US7342574B1 (en) | 1999-10-29 | 2003-11-21 | Method and apparatus for inputting information including coordinate data |
| US12/722,345 USRE43084E1 (en) | 1999-10-29 | 2010-03-11 | Method and apparatus for inputting information including coordinate data |
| US13/345,044 US20120327031A1 (en) | 1999-10-29 | 2012-01-06 | Method and apparatus for inputting information including coordinate data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30941299A JP4052498B2 (ja) | 1999-10-29 | 1999-10-29 | 座標入力装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001125745A JP2001125745A (ja) | 2001-05-11 |
| JP4052498B2 true JP4052498B2 (ja) | 2008-02-27 |
Family
ID=17992706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30941299A Expired - Lifetime JP4052498B2 (ja) | 1999-10-29 | 1999-10-29 | 座標入力装置および方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US6674424B1 (ja) |
| JP (1) | JP4052498B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10156938B2 (en) | 2015-08-20 | 2018-12-18 | Canon Kabushiki Kaisha | Information processing apparatus, method for controlling the same, and storage medium |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6424335B1 (en) * | 1998-09-02 | 2002-07-23 | Fujitsu Limited | Notebook computer with detachable infrared multi-mode input device |
| JP3905670B2 (ja) * | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) * | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| US6803906B1 (en) * | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| ATE345525T1 (de) * | 2000-07-05 | 2006-12-15 | Smart Technologies Inc | Kamerabasiertes beruehrungssystem |
| US7095401B2 (en) * | 2000-11-02 | 2006-08-22 | Siemens Corporate Research, Inc. | System and method for gesture interface |
| US20060285678A1 (en) * | 2001-09-05 | 2006-12-21 | Tetsu Ota | Telephone |
| US7015401B2 (en) * | 2001-11-23 | 2006-03-21 | Aiptek International, Inc. | Image processing system with handwriting input function and the method for forming the same |
| US20040001144A1 (en) * | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US6954197B2 (en) * | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| JP4746653B2 (ja) * | 2003-02-03 | 2011-08-10 | 辰巳電子工業株式会社 | 自動写真作成装置 |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US6947032B2 (en) * | 2003-03-11 | 2005-09-20 | Smart Technologies Inc. | Touch system and method for determining pointer contacts on a touch surface |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7256772B2 (en) | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| JP2005123858A (ja) * | 2003-10-16 | 2005-05-12 | Mega Chips Corp | カメラ制御装置 |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7460110B2 (en) * | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US7593593B2 (en) | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
| US7728821B2 (en) * | 2004-08-06 | 2010-06-01 | Touchtable, Inc. | Touch detecting interactive display |
| US7719523B2 (en) | 2004-08-06 | 2010-05-18 | Touchtable, Inc. | Bounding box gesture recognition on a touch detecting interactive display |
| US7724242B2 (en) | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
| WO2006090386A2 (en) * | 2005-02-24 | 2006-08-31 | Vkb Inc. | A virtual keyboard device |
| KR100677457B1 (ko) * | 2005-05-24 | 2007-02-02 | 엘지전자 주식회사 | 단말기의 카메라를 이용한 메뉴 입력 장치 및 방법 |
| US7911444B2 (en) | 2005-08-31 | 2011-03-22 | Microsoft Corporation | Input method for surface of interactive display |
| US7630002B2 (en) * | 2007-01-05 | 2009-12-08 | Microsoft Corporation | Specular reflection reduction using multiple cameras |
| US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
| US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
| US7948450B2 (en) * | 2006-11-09 | 2011-05-24 | D3 Led, Llc | Apparatus and method for allowing display modules to communicate information about themselves to other display modules in the same display panel |
| KR20080044017A (ko) * | 2006-11-15 | 2008-05-20 | 삼성전자주식회사 | 터치 스크린 |
| JP4838694B2 (ja) * | 2006-11-28 | 2011-12-14 | 富士フイルム株式会社 | 電子的手書入力装置 |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| US8212857B2 (en) * | 2007-01-26 | 2012-07-03 | Microsoft Corporation | Alternating light sources to reduce specular reflection |
| EP2135155B1 (en) * | 2007-04-11 | 2013-09-18 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
| US8400407B2 (en) * | 2007-07-18 | 2013-03-19 | Smart Technologies Ulc | Touch panel and interactive input system incorporating the same |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| WO2009029764A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Low profile touch panel systems |
| US8432377B2 (en) * | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US8405636B2 (en) * | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US20090213093A1 (en) * | 2008-01-07 | 2009-08-27 | Next Holdings Limited | Optical position sensor using retroreflection |
| US20090207144A1 (en) * | 2008-01-07 | 2009-08-20 | Next Holdings Limited | Position Sensing System With Edge Positioning Enhancement |
| US20090278794A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System With Controlled Lighting |
| US8902193B2 (en) * | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20090277697A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Pen Tool Therefor |
| TW201007254A (en) * | 2008-08-04 | 2010-02-16 | Pixart Imaging Inc | Image-sensing module and image-sensing system |
| US20100079385A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for calibrating an interactive input system and interactive input system executing the calibration method |
| KR20110066198A (ko) * | 2008-10-02 | 2011-06-16 | 넥스트 홀딩즈 리미티드 | 터치 감지 시스템에서 멀티터치를 해결하기 위한 스테레오 광 센서 |
| JP5105122B2 (ja) * | 2008-10-16 | 2012-12-19 | Ｎｅｃディスプレイソリューションズ株式会社 | 画像情報検出装置 |
| US8339378B2 (en) * | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| US20100229090A1 (en) * | 2009-03-05 | 2010-09-09 | Next Holdings Limited | Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures |
| TWI452488B (zh) * | 2009-05-18 | 2014-09-11 | Pixart Imaging Inc | 應用於感測系統的控制方法 |
| US8368668B2 (en) * | 2009-06-30 | 2013-02-05 | Pixart Imaging Inc. | Displacement detection system of an optical touch panel and method thereof |
| TWI399676B (zh) * | 2009-06-30 | 2013-06-21 | Pixart Imaging Inc | 觸控螢幕之物件偵測校正系統及其方法 |
| US8860693B2 (en) * | 2009-07-08 | 2014-10-14 | Apple Inc. | Image processing for camera based motion tracking |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| TWI394072B (zh) * | 2009-08-21 | 2013-04-21 | Largan Precision Co Ltd | 平面顯示器位置檢出裝置及其方法 |
| US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
| WO2011066343A2 (en) * | 2009-11-24 | 2011-06-03 | Next Holdings Limited | Methods and apparatus for gesture recognition mode control |
| US20110199387A1 (en) * | 2009-11-24 | 2011-08-18 | John David Newton | Activating Features on an Imaging Device Based on Manipulations |
| EP2507692A2 (en) * | 2009-12-04 | 2012-10-10 | Next Holdings Limited | Imaging methods and systems for position detection |
| US8427443B2 (en) | 2009-12-30 | 2013-04-23 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Coordinate locating method, coordinate locating device, and display apparatus comprising the coordinate locating device |
| US20110234542A1 (en) * | 2010-03-26 | 2011-09-29 | Paul Marson | Methods and Systems Utilizing Multiple Wavelengths for Position Detection |
| US8338725B2 (en) * | 2010-04-29 | 2012-12-25 | Au Optronics Corporation | Camera based touch system |
| TWI433004B (zh) * | 2010-05-14 | 2014-04-01 | Alcor Micro Corp | 觸控面板上之觸控點判斷方法及其系統 |
| TW201201079A (en) * | 2010-06-23 | 2012-01-01 | Pixart Imaging Inc | Optical touch monitor |
| TWI417774B (zh) * | 2010-06-28 | 2013-12-01 | Pixart Imaging Inc | 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法 |
| TWI421753B (zh) * | 2010-08-12 | 2014-01-01 | Lite On Semiconductor Corp | Calibration method, detection device and optical touch panel for optical touch panel |
| JP2012173029A (ja) * | 2011-02-18 | 2012-09-10 | Seiko Epson Corp | 光学式位置検出装置および入力機能付き表示システム |
| TWI441060B (zh) | 2011-04-14 | 2014-06-11 | Pixart Imaging Inc | 一種光學觸控系統之影像處理方法 |
| US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
| TWI420369B (zh) * | 2011-05-12 | 2013-12-21 | Wistron Corp | 影像式觸控裝置及影像式觸控系統 |
| US8937588B2 (en) * | 2011-06-15 | 2015-01-20 | Smart Technologies Ulc | Interactive input system and method of operating the same |
| CN103019391A (zh) * | 2011-09-22 | 2013-04-03 | 纬创资通股份有限公司 | 利用所撷取键盘影像作为指令输入依据的输入装置及方法 |
| US20130179811A1 (en) * | 2012-01-05 | 2013-07-11 | Visteon Global Technologies, Inc. | Projection dynamic icon knobs |
| TW201342158A (zh) * | 2012-04-03 | 2013-10-16 | Wistron Corp | 光學式觸控感測裝置 |
| TW201342137A (zh) * | 2012-04-10 | 2013-10-16 | Pixart Imaging Inc | 光學操作系統 |
| TWI470511B (zh) * | 2012-06-06 | 2015-01-21 | Wistron Corp | 雙模輸入裝置 |
| US9507462B2 (en) * | 2012-06-13 | 2016-11-29 | Hong Kong Applied Science and Technology Research Institute Company Limited | Multi-dimensional image detection apparatus |
| KR101346374B1 (ko) | 2012-06-25 | 2013-12-31 | 주식회사 아하정보통신 | 전자칠판의 좌표 인식 장치 |
| TWI482068B (zh) * | 2012-11-21 | 2015-04-21 | Wistron Corp | 光學觸控裝置與其運作方法 |
| US9645734B2 (en) * | 2012-11-21 | 2017-05-09 | Wistron Corp. | Optical touch devices and operation method thereof |
| TWI479393B (zh) * | 2012-11-21 | 2015-04-01 | Wistron Corp | 切換方法、使用其之光學觸控裝置、以及其電腦程式產品 |
| JP6102330B2 (ja) | 2013-02-22 | 2017-03-29 | 船井電機株式会社 | プロジェクタ |
| TWI498792B (zh) * | 2013-08-06 | 2015-09-01 | Wistron Corp | 光學觸控系統及觸控顯示系統 |
| US9875019B2 (en) * | 2013-12-26 | 2018-01-23 | Visteon Global Technologies, Inc. | Indicating a transition from gesture based inputs to touch surfaces |
| KR102546135B1 (ko) | 2015-09-28 | 2023-06-20 | 애플 인크. | 연장된 활성 영역을 갖는 전자 디바이스 디스플레이 |
| WO2019094003A1 (en) * | 2017-11-08 | 2019-05-16 | Hewlett-Packard Development Company, L.P. | Determining locations of electro-optical pens |
| CN109840038A (zh) * | 2018-06-12 | 2019-06-04 | 柯梦天 | 利用3d影像定位触控技术的电子白板 |
| US11307045B2 (en) * | 2019-12-19 | 2022-04-19 | Lenovo (Singapore) Pte. Ltd. | Method and system to determine navigation actions based on instructions from a directional dialogue |
| CN113934323B (zh) * | 2021-10-19 | 2023-12-29 | 河北师达教育科技有限公司 | 基于智能黑板的多点显示方法、装置和终端设备 |
Family Cites Families (250)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2550653C3 (de) | 1975-11-11 | 1978-12-21 | Erwin Sick Gmbh Optik-Elektronik, 7808 Waldkirch | Drehstrahl-Lichtvorhang |
| US4144449A (en) | 1977-07-08 | 1979-03-13 | Sperry Rand Corporation | Position detection apparatus |
| CA1109539A (en) | 1978-04-05 | 1981-09-22 | Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications | Touch sensitive computer input device |
| JPS5936295B2 (ja) | 1981-06-23 | 1984-09-03 | 株式会社日立国際電気 | 光学式座標入力装置 |
| US4558313A (en) | 1981-12-31 | 1985-12-10 | International Business Machines Corporation | Indicator to data processing interface |
| US4507557A (en) | 1983-04-01 | 1985-03-26 | Siemens Corporate Research & Support, Inc. | Non-contact X,Y digitizer using two dynamic ram imagers |
| JPS60143937A (ja) | 1983-12-29 | 1985-07-30 | Sekisui Plastics Co Ltd | 熱硬化性樹脂球状発泡体 |
| US4672364A (en) | 1984-06-18 | 1987-06-09 | Carroll Touch Inc | Touch input device having power profiling |
| JPS61196317A (ja) | 1985-02-27 | 1986-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方式 |
| US4688933A (en) | 1985-05-10 | 1987-08-25 | The Laitram Corporation | Electro-optical position determining system |
| DE3616490A1 (de) | 1985-05-17 | 1986-11-27 | Alps Electric Co Ltd | Optische koordinaten-eingabe-vorrichtung |
| JPS61262917A (ja) | 1985-05-17 | 1986-11-20 | Alps Electric Co Ltd | 光電式タツチパネルのフイルタ− |
| US4980547A (en) | 1985-05-24 | 1990-12-25 | Wells-Gardner Electronics Corp. | Light distribution and detection apparatus |
| JPH0138669Y2 (ja) | 1985-05-29 | 1989-11-20 | ||
| US4762990A (en) | 1985-10-21 | 1988-08-09 | International Business Machines Corporation | Data processing input interface determining position of object |
| US4831455A (en) | 1986-02-21 | 1989-05-16 | Canon Kabushiki Kaisha | Picture reading apparatus |
| US4822145A (en) | 1986-05-14 | 1989-04-18 | Massachusetts Institute Of Technology | Method and apparatus utilizing waveguide and polarized light for display of dynamic images |
| JPS6375918A (ja) | 1986-09-19 | 1988-04-06 | Alps Electric Co Ltd | 座標入力装置 |
| US4782328A (en) | 1986-10-02 | 1988-11-01 | Product Development Services, Incorporated | Ambient-light-responsive touch screen data input method and system |
| US4868912A (en) | 1986-11-26 | 1989-09-19 | Digital Electronics | Infrared touch panel |
| JPH0816931B2 (ja) | 1987-02-06 | 1996-02-21 | 富士通株式会社 | 輪郭線抽出方式 |
| US4746770A (en) | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US4820050A (en) | 1987-04-28 | 1989-04-11 | Wells-Gardner Electronics Corporation | Solid-state optical position determining apparatus |
| JPH07110733B2 (ja) | 1988-05-10 | 1995-11-29 | 三菱重工業株式会社 | ブレーキ装置の劣化判定装置 |
| JPH01314324A (ja) | 1988-06-14 | 1989-12-19 | Sony Corp | タッチパネル装置 |
| JPH01320521A (ja) | 1988-06-22 | 1989-12-26 | Wacom Co Ltd | 電子黒板装置及びその筆記具等 |
| US5109435A (en) | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US5196835A (en) | 1988-09-30 | 1993-03-23 | International Business Machines Corporation | Laser touch panel reflective surface aberration cancelling |
| JPH0354618A (ja) | 1989-07-22 | 1991-03-08 | Fujitsu Ltd | 光学式位置指示装置 |
| JP2917155B2 (ja) | 1989-12-18 | 1999-07-12 | 株式会社日立製作所 | 画像結合装置及び方法 |
| US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| US5025314A (en) | 1990-07-30 | 1991-06-18 | Xerox Corporation | Apparatus allowing remote interactive use of a plurality of writing surfaces |
| US6736321B2 (en) | 1995-12-18 | 2004-05-18 | Metrologic Instruments, Inc. | Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system |
| US5162618A (en) | 1990-11-16 | 1992-11-10 | Exzec, Inc. | Acoustic touch position sensor with first order lamb wave reflective arrays |
| US5239373A (en) | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
| JP3318897B2 (ja) | 1991-01-29 | 2002-08-26 | ソニー株式会社 | ビデオモニタ付リモートコントローラ |
| US5097516A (en) | 1991-02-28 | 1992-03-17 | At&T Bell Laboratories | Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging |
| JP3087345B2 (ja) | 1991-05-28 | 2000-09-11 | 松下電器産業株式会社 | 入力装置 |
| JPH04355815A (ja) | 1991-06-03 | 1992-12-09 | Pfu Ltd | タッチスクリーン |
| US5168531A (en) * | 1991-06-27 | 1992-12-01 | Digital Equipment Corporation | Real-time recognition of pointing information from video |
| US6141000A (en) | 1991-10-21 | 2000-10-31 | Smart Technologies Inc. | Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing |
| US5448263A (en) | 1991-10-21 | 1995-09-05 | Smart Technologies Inc. | Interactive display system |
| JPH05181605A (ja) | 1991-12-27 | 1993-07-23 | Seiko Instr Inc | 座標読み取り機能付き投影表示装置およびその表示スクリーンおよびその表示装置 |
| JPH05189137A (ja) | 1992-01-16 | 1993-07-30 | Sumitomo Heavy Ind Ltd | 計算機用コマンド入力装置 |
| JPH05197810A (ja) | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像によるコマンド入力処理方法 |
| GB9201949D0 (en) | 1992-01-30 | 1992-03-18 | Jenkin Michael | Large-scale,touch-sensitive video display |
| US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5724743A (en) | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US5982352A (en) | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| EP0594146B1 (en) | 1992-10-22 | 2002-01-09 | Advanced Interconnection Technology, Inc. | System for automatic optical inspection of wire scribed circuit boards |
| US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
| US5751355A (en) | 1993-01-20 | 1998-05-12 | Elmo Company Limited | Camera presentation supporting system |
| US5374971A (en) | 1993-03-12 | 1994-12-20 | Picturetel Corporation | Two-view video camera stand and support method |
| US5502568A (en) | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
| US5359155A (en) | 1993-03-25 | 1994-10-25 | Tiger Scientific Corp. | Illumination apparatus for a digitizer tablet |
| US5729704A (en) | 1993-07-21 | 1998-03-17 | Xerox Corporation | User-directed method for operating on an object-based model data structure through a second contextual image |
| JPH07230352A (ja) | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| US5490655A (en) | 1993-09-16 | 1996-02-13 | Monger Mounts, Inc. | Video/data projector and monitor ceiling/wall mount |
| JPH07110733A (ja) | 1993-10-13 | 1995-04-25 | Nippon Signal Co Ltd:The | 入力装置 |
| US7310072B2 (en) | 1993-10-22 | 2007-12-18 | Kopin Corporation | Portable communication display device |
| JP3419050B2 (ja) * | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
| US5739850A (en) | 1993-11-30 | 1998-04-14 | Canon Kabushiki Kaisha | Apparatus for improving the image and sound processing capabilities of a camera |
| US5484966A (en) | 1993-12-07 | 1996-01-16 | At&T Corp. | Sensing stylus position using single 1-D image sensor |
| US5712658A (en) | 1993-12-28 | 1998-01-27 | Hitachi, Ltd. | Information presentation apparatus and information display apparatus |
| GB2286100A (en) | 1994-01-19 | 1995-08-02 | Ibm | Touch-sensitive display apparatus |
| US5577733A (en) | 1994-04-08 | 1996-11-26 | Downing; Dennis L. | Targeting system |
| KR100300397B1 (ko) | 1994-04-21 | 2001-10-22 | 김순택 | 터치판넬및디지타이저기능을겸비한시스템및구동방법 |
| JPH08108689A (ja) | 1994-05-31 | 1996-04-30 | Nippon Typewriter Co Ltd | 電子黒板 |
| US5771039A (en) | 1994-06-06 | 1998-06-23 | Ditzik; Richard J. | Direct view display device integration techniques |
| US5525764A (en) * | 1994-06-09 | 1996-06-11 | Junkins; John L. | Laser scanning graphic input system |
| US5528263A (en) | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| US5737740A (en) | 1994-06-27 | 1998-04-07 | Numonics | Apparatus and method for processing electronic documents |
| JPH0816931A (ja) | 1994-06-28 | 1996-01-19 | Tec Corp | オーダーデータ処理装置 |
| JPH0863326A (ja) * | 1994-08-22 | 1996-03-08 | Hitachi Ltd | 画像処理装置及び方法 |
| US5528290A (en) | 1994-09-09 | 1996-06-18 | Xerox Corporation | Device for transcribing images on a board using a camera based board scanner |
| JPH0888785A (ja) | 1994-09-16 | 1996-04-02 | Toshiba Corp | 画像入力装置 |
| US5686942A (en) * | 1994-12-01 | 1997-11-11 | National Semiconductor Corporation | Remote computer input system which detects point source on operator |
| JPH08237407A (ja) | 1994-12-09 | 1996-09-13 | Xerox Corp | 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法 |
| US5638092A (en) | 1994-12-20 | 1997-06-10 | Eng; Tommy K. | Cursor control system |
| JPH08179888A (ja) | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
| US5554828A (en) | 1995-01-03 | 1996-09-10 | Texas Instruments Inc. | Integration of pen-based capability into a field emission device system |
| US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| US5736686A (en) | 1995-03-01 | 1998-04-07 | Gtco Corporation | Illumination apparatus for a digitizer tablet with improved light panel |
| JPH08240407A (ja) | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 位置検出入力装置 |
| KR19990008158A (ko) | 1995-04-28 | 1999-01-25 | 모리시타요우이치 | 인터페이스 장치 |
| JP3436828B2 (ja) | 1995-05-08 | 2003-08-18 | 株式会社リコー | 画像処理装置 |
| JPH08315152A (ja) | 1995-05-22 | 1996-11-29 | Sony Corp | 画像認識装置 |
| US5786810A (en) | 1995-06-07 | 1998-07-28 | Compaq Computer Corporation | Method of determining an object's position and associated apparatus |
| US5764223A (en) | 1995-06-07 | 1998-06-09 | International Business Machines Corporation | Touch-screen input device using the monitor as a light source operating at an intermediate frequency |
| US5734375A (en) | 1995-06-07 | 1998-03-31 | Compaq Computer Corporation | Keyboard-compatible optical determination of object's position |
| JPH09106320A (ja) | 1995-08-24 | 1997-04-22 | Symbios Logic Inc | 図形入力装置および図形入力方法 |
| JPH0991094A (ja) | 1995-09-21 | 1997-04-04 | Sekisui Chem Co Ltd | タッチパネルの座標検出装置 |
| US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US5825352A (en) | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| JPH09190284A (ja) | 1996-01-11 | 1997-07-22 | Canon Inc | 情報処理装置およびその方法 |
| TW394879B (en) | 1996-02-09 | 2000-06-21 | Sega Enterprises Kk | Graphics processing system and its data input device |
| JPH09224111A (ja) | 1996-02-16 | 1997-08-26 | Hitachi Denshi Ltd | 電子黒板 |
| JP3807779B2 (ja) | 1996-05-29 | 2006-08-09 | 富士通株式会社 | 座標検出装置 |
| US7098392B2 (en) | 1996-07-10 | 2006-08-29 | Sitrick David H | Electronic image visualization system and communication methodologies |
| US6075905A (en) | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| US6208329B1 (en) | 1996-08-13 | 2001-03-27 | Lsi Logic Corporation | Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device |
| US5745116A (en) | 1996-09-09 | 1998-04-28 | Motorola, Inc. | Intuitive gesture-based graphical user interface |
| US5936615A (en) | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
| US5819201A (en) | 1996-09-13 | 1998-10-06 | Magellan Dis, Inc. | Navigation system with vehicle service information |
| JPH10124689A (ja) | 1996-10-15 | 1998-05-15 | Nikon Corp | 画像記録再生装置 |
| JP3943674B2 (ja) | 1996-10-25 | 2007-07-11 | キヤノン株式会社 | カメラ制御システム並びにカメラサーバ及びその制御方法 |
| WO1998019201A1 (en) | 1996-10-29 | 1998-05-07 | Xeotron Corporation | Optical device utilizing optical waveguides and mechanical light-switches |
| US6061177A (en) | 1996-12-19 | 2000-05-09 | Fujimoto; Kenneth Noboru | Integrated computer display and graphical input apparatus and method |
| EP0849697B1 (en) * | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
| US6252989B1 (en) | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| JP3624070B2 (ja) | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
| US6122865A (en) | 1997-03-13 | 2000-09-26 | Steelcase Development Inc. | Workspace display |
| US5914709A (en) | 1997-03-14 | 1999-06-22 | Poa Sana, Llc | User input device for a computer system |
| WO1998044316A1 (en) | 1997-04-02 | 1998-10-08 | Goszyk Kurt A | Adjustable area coordinate position data-capture system |
| US6104387A (en) | 1997-05-14 | 2000-08-15 | Virtual Ink Corporation | Transcription system |
| JP3876942B2 (ja) | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| US6229529B1 (en) | 1997-07-11 | 2001-05-08 | Ricoh Company, Ltd. | Write point detecting circuit to detect multiple write points |
| US5790910A (en) | 1997-08-04 | 1998-08-04 | Peerless Industries, Inc. | Camera mounting apparatus |
| JPH1151644A (ja) | 1997-08-05 | 1999-02-26 | Honda Motor Co Ltd | 車両用距離測定装置 |
| JPH11110116A (ja) | 1997-08-07 | 1999-04-23 | Fujitsu Ltd | 光学式位置検出装置 |
| JPH1164026A (ja) | 1997-08-12 | 1999-03-05 | Fujitsu Ten Ltd | ナビゲーション装置 |
| US6188939B1 (en) | 1997-08-18 | 2001-02-13 | The Texas A&M University System | Advanced law enforcement and response technology |
| US6161066A (en) | 1997-08-18 | 2000-12-12 | The Texas A&M University System | Advanced law enforcement and response technology |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| JP3846981B2 (ja) | 1997-09-02 | 2006-11-15 | 富士通株式会社 | 光学式位置検出装置付き情報表示装置 |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| AU1114899A (en) | 1997-10-22 | 1999-05-10 | Ascent Technology, Inc. | Voice-output reading system with gesture-based navigation |
| JP3794180B2 (ja) | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
| TW449709B (en) | 1997-11-17 | 2001-08-11 | Hewlett Packard Co | A method for distinguishing a contact input |
| US6310610B1 (en) | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
| EP1717684A3 (en) | 1998-01-26 | 2008-01-23 | Fingerworks, Inc. | Method and apparatus for integrating manual input |
| AU2439399A (en) | 1998-02-09 | 1999-08-23 | Haim Azaria | Video camera computer touch screen system |
| US6226035B1 (en) | 1998-03-04 | 2001-05-01 | Cyclo Vision Technologies, Inc. | Adjustable imaging system with wide angle capability |
| US6031531A (en) | 1998-04-06 | 2000-02-29 | International Business Machines Corporation | Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users |
| JP2000105671A (ja) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP4033582B2 (ja) | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6496122B2 (en) | 1998-06-26 | 2002-12-17 | Sharp Laboratories Of America, Inc. | Image display and remote control system capable of displaying two distinct images |
| US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| EP1114392A1 (en) | 1998-08-18 | 2001-07-11 | Digital Ink Inc. | Handwriting device with detection sensors for absolute and relative positioning |
| JP2000089913A (ja) | 1998-09-08 | 2000-03-31 | Gunze Ltd | タッチパネル入力座標変換装置 |
| US6570612B1 (en) | 1998-09-21 | 2003-05-27 | Bank One, Na, As Administrative Agent | System and method for color normalization of board images |
| DE19845030A1 (de) | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
| US6972753B1 (en) | 1998-10-02 | 2005-12-06 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel, display device provided with touch panel and electronic equipment provided with display device |
| US6690357B1 (en) * | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
| US6414673B1 (en) | 1998-11-10 | 2002-07-02 | Tidenet, Inc. | Transmitter pen location system |
| US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
| US6597348B1 (en) | 1998-12-28 | 2003-07-22 | Semiconductor Energy Laboratory Co., Ltd. | Information-processing device |
| US6633328B1 (en) | 1999-01-05 | 2003-10-14 | Steris Corporation | Surgical lighting system with integrated digital video camera |
| US6335724B1 (en) | 1999-01-29 | 2002-01-01 | Ricoh Company, Ltd. | Method and device for inputting coordinate-position and a display board system |
| US6530664B2 (en) | 1999-03-03 | 2003-03-11 | 3M Innovative Properties Company | Integrated front projection system with enhanced dry erase screen configuration |
| US6179426B1 (en) | 1999-03-03 | 2001-01-30 | 3M Innovative Properties Company | Integrated front projection system |
| US6545669B1 (en) | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
| TW459192B (en) | 1999-06-25 | 2001-10-11 | Toshiba Corp | Electronic apparatus and electronic system provided with the same |
| JP2001060145A (ja) | 1999-08-23 | 2001-03-06 | Ricoh Co Ltd | 座標入力／検出システムおよびその位置合わせ調整方法 |
| JP2001075735A (ja) | 1999-09-06 | 2001-03-23 | Canon Inc | 座標入力装置及びその方法、コンピュータ可読メモリ |
| JP4057200B2 (ja) | 1999-09-10 | 2008-03-05 | 株式会社リコー | 座標入力装置および座標入力装置の記録媒体 |
| JP3905670B2 (ja) | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
| US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
| WO2003007049A1 (en) | 1999-10-05 | 2003-01-23 | Iridigm Display Corporation | Photonic mems and structures |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US6710770B2 (en) | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| JP3819654B2 (ja) | 1999-11-11 | 2006-09-13 | 株式会社シロク | 指示体の識別機能を有する光デジタイザ |
| US6328270B1 (en) | 1999-11-12 | 2001-12-11 | Elbex Video Ltd. | Swivel joint with cable passage for a television camera or a case |
| JP2001209487A (ja) | 2000-01-25 | 2001-08-03 | Uw:Kk | 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置 |
| US6529189B1 (en) | 2000-02-08 | 2003-03-04 | International Business Machines Corporation | Touch screen stylus with IR-coupled selection buttons |
| JP3881148B2 (ja) | 2000-02-18 | 2007-02-14 | 株式会社リコー | 座標検出用受光装置、座標入力／検出装置、電子黒板、装着位置検出方法及び記憶媒体 |
| JP3934846B2 (ja) | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
| JP2001265516A (ja) | 2000-03-16 | 2001-09-28 | Ricoh Co Ltd | 座標入力装置 |
| JP4094796B2 (ja) | 2000-03-31 | 2008-06-04 | 株式会社リコー | 座標入力システム、座標入力システムの制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2001282445A (ja) | 2000-03-31 | 2001-10-12 | Ricoh Co Ltd | 座標入力／検出装置および情報表示入力装置 |
| JP3834766B2 (ja) | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US7084868B2 (en) | 2000-04-26 | 2006-08-01 | University Of Louisville Research Foundation, Inc. | System and method for 3-D digital reconstruction of an oral cavity from a sequence of 2-D images |
| US6864882B2 (en) | 2000-05-24 | 2005-03-08 | Next Holdings Limited | Protected touch panel display system |
| US6690397B1 (en) | 2000-06-05 | 2004-02-10 | Advanced Neuromodulation Systems, Inc. | System for regional data association and presentation and method for the same |
| US6690363B2 (en) | 2000-06-19 | 2004-02-10 | Next Holdings Limited | Touch panel display system |
| ATE345525T1 (de) | 2000-07-05 | 2006-12-15 | Smart Technologies Inc | Kamerabasiertes beruehrungssystem |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US7466843B2 (en) | 2000-07-07 | 2008-12-16 | Pryor Timothy R | Multi-functional control and entertainment systems |
| US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US6747663B2 (en) | 2000-08-24 | 2004-06-08 | Sun Microsystems, Inc. | Interpolating sample values from known triangle vertex values |
| NO311740B1 (no) | 2000-09-11 | 2002-01-14 | Tormod Njoelstad | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
| JP3793014B2 (ja) | 2000-10-03 | 2006-07-05 | キヤノン株式会社 | 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法 |
| WO2002033541A2 (en) | 2000-10-16 | 2002-04-25 | Tangis Corporation | Dynamically determining appropriate computer interfaces |
| US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US6518600B1 (en) | 2000-11-17 | 2003-02-11 | General Electric Company | Dual encapsulation for an LED |
| US6530702B2 (en) | 2000-12-02 | 2003-03-11 | Thomas H. S. Harris | Operator supported remote camera positioning and control system |
| US7190348B2 (en) | 2000-12-26 | 2007-03-13 | International Business Machines Corporation | Method for touchscreen data input |
| CA2433791A1 (en) | 2001-01-08 | 2002-07-11 | Vkb Inc. | A data input device |
| JP3977018B2 (ja) | 2001-02-07 | 2007-09-19 | 株式会社リコー | 情報入力システム |
| TW487593B (en) | 2001-02-09 | 2002-05-21 | Sampo Technology Corp | Remote-controlled toy car set with camera and rear view mirror |
| US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
| US7030861B1 (en) | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
| JP4639293B2 (ja) | 2001-02-27 | 2011-02-23 | オプテックス株式会社 | 自動ドアセンサ |
| JP4768143B2 (ja) | 2001-03-26 | 2011-09-07 | 株式会社リコー | 情報入出力装置、情報入出力制御方法およびプログラム |
| GB2374266A (en) | 2001-04-04 | 2002-10-09 | Matsushita Comm Ind Uk Ltd | Virtual user interface device |
| JP4551018B2 (ja) | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
| US6517266B2 (en) | 2001-05-15 | 2003-02-11 | Xerox Corporation | Systems and methods for hand-held printing on a surface or medium |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| GB2378073B (en) | 2001-07-27 | 2005-08-31 | Hewlett Packard Co | Paper-to-computer interfaces |
| US7202857B2 (en) | 2001-08-29 | 2007-04-10 | Microsoft Corporation | Manual controlled scrolling |
| US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
| JP2003162370A (ja) | 2001-09-14 | 2003-06-06 | Ricoh Co Ltd | 画像処理装置、タッチパネル付きディスプレイ装置、画像処理方法、および画像処理方法をコンピュータに実行させるプログラム |
| JP2003173237A (ja) | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
| US7254775B2 (en) | 2001-10-03 | 2007-08-07 | 3M Innovative Properties Company | Touch panel system and method for distinguishing multiple touch inputs |
| JP3920067B2 (ja) * | 2001-10-09 | 2007-05-30 | 株式会社イーアイティー | 座標入力装置 |
| JP2003158597A (ja) | 2001-11-21 | 2003-05-30 | Mitsubishi Rayon Co Ltd | 手書き画像入力面として使用されるスクリーンを備えた画像表示装置 |
| JP2003167669A (ja) | 2001-11-22 | 2003-06-13 | Internatl Business Mach Corp <Ibm> | 情報処理装置、プログラム及び座標入力方法 |
| US7121470B2 (en) | 2002-01-11 | 2006-10-17 | Hand Held Products, Inc. | Transaction terminal having elongated finger recess |
| JP3805259B2 (ja) | 2002-01-29 | 2006-08-02 | 富士写真フイルム株式会社 | 画像処理方法、画像処理装置及び電子カメラ |
| US7091926B2 (en) | 2002-02-08 | 2006-08-15 | Kulas Charles J | Computer display system using multiple screens |
| US6628216B2 (en) | 2002-02-13 | 2003-09-30 | Intersil Americas Inc. | Calibration of resistor ladder using difference measurement and parallel resistive correction |
| US7038659B2 (en) | 2002-04-06 | 2006-05-02 | Janusz Wiktor Rajkowski | Symbol encoding apparatus and method |
| US20040144760A1 (en) | 2002-05-17 | 2004-07-29 | Cahill Steven P. | Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein |
| US20030226968A1 (en) | 2002-06-10 | 2003-12-11 | Steve Montellese | Apparatus and method for inputting data |
| US7260257B2 (en) | 2002-06-19 | 2007-08-21 | Microsoft Corp. | System and method for whiteboard and audio capture |
| US20040001144A1 (en) | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US6972401B2 (en) | 2003-01-30 | 2005-12-06 | Smart Technologies Inc. | Illuminated bezel and touch system incorporating the same |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US7176905B2 (en) | 2003-02-19 | 2007-02-13 | Agilent Technologies, Inc. | Electronic device having an image-based data input system |
| US20040169639A1 (en) | 2003-02-28 | 2004-09-02 | Pate Michael A. | Visible pointer tracking with separately detectable pointer tracking signal |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US6947032B2 (en) | 2003-03-11 | 2005-09-20 | Smart Technologies Inc. | Touch system and method for determining pointer contacts on a touch surface |
| US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| AU2003304127A1 (en) | 2003-05-19 | 2004-12-03 | Itzhak Baruch | Optical coordinate input device comprising few elements |
| US7432893B2 (en) | 2003-06-14 | 2008-10-07 | Massachusetts Institute Of Technology | Input device based on frustrated total internal reflection |
| US7190496B2 (en) | 2003-07-24 | 2007-03-13 | Zebra Imaging, Inc. | Enhanced environment visualization using holographic stereograms |
| US20050052427A1 (en) | 2003-09-10 | 2005-03-10 | Wu Michael Chi Hung | Hand gesture interaction with touch surface |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7145766B2 (en) | 2003-10-16 | 2006-12-05 | Hewlett-Packard Development Company, L.P. | Display for an electronic device |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7265752B2 (en) | 2004-01-09 | 2007-09-04 | Microsoft Corporation | Multi-chart geometry images |
| US7232986B2 (en) | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7492357B2 (en) | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US20080129707A1 (en) | 2004-07-27 | 2008-06-05 | Pryor Timothy R | Method and apparatus employing multi-functional controls and displays |
| US20060158437A1 (en) | 2005-01-20 | 2006-07-20 | Blythe Michael M | Display device |
| US7705835B2 (en) | 2005-03-28 | 2010-04-27 | Adam Eikman | Photonic touch screen apparatus and method of use |
| US7995039B2 (en) | 2005-07-05 | 2011-08-09 | Flatfrog Laboratories Ab | Touch pad system |
| US20070019103A1 (en) | 2005-07-25 | 2007-01-25 | Vkb Inc. | Optical apparatus for virtual interface projection and sensing |
| US8847924B2 (en) | 2005-10-03 | 2014-09-30 | Hewlett-Packard Development Company, L.P. | Reflecting light |
| US7599520B2 (en) | 2005-11-18 | 2009-10-06 | Accenture Global Services Gmbh | Detection of multiple targets on a plane of interest |
| US20070125652A1 (en) | 2005-12-02 | 2007-06-07 | Buckley Paul W | Electroform, methods of making electroforms, and products made from electroforms |
| TWI333572B (en) | 2005-12-20 | 2010-11-21 | Ind Tech Res Inst | Light source package structure |
-
1999
- 1999-10-29 JP JP30941299A patent/JP4052498B2/ja not_active Expired - Lifetime
-
2000
- 2000-10-30 US US09/698,031 patent/US6674424B1/en not_active Expired - Lifetime
-
2003
- 2003-11-21 US US10/717,456 patent/US7342574B1/en not_active Ceased
-
2010
- 2010-03-11 US US12/722,345 patent/USRE43084E1/en not_active Expired - Lifetime
-
2012
- 2012-01-06 US US13/345,044 patent/US20120327031A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10156938B2 (en) | 2015-08-20 | 2018-12-18 | Canon Kabushiki Kaisha | Information processing apparatus, method for controlling the same, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US6674424B1 (en) | 2004-01-06 |
| JP2001125745A (ja) | 2001-05-11 |
| US7342574B1 (en) | 2008-03-11 |
| USRE43084E1 (en) | 2012-01-10 |
| US20120327031A1 (en) | 2012-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4052498B2 (ja) | 座標入力装置および方法 | |
| US9921663B2 (en) | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium | |
| US7006236B2 (en) | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices | |
| US8339378B2 (en) | Interactive input system with multi-angle reflector | |
| US7050177B2 (en) | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices | |
| JP5412227B2 (ja) | 映像表示装置、および、その表示制御方法 | |
| US10310675B2 (en) | User interface apparatus and control method | |
| JP4132061B2 (ja) | アレーセンサーポインティング入力システム及びその方法（ｐｏｉｎｔｉｎｇｉｎｐｕｔｓｙｓｔｅｍａｎｄｍｅｔｈｏｄｕｓｉｎｇａｒｒａｙｓｅｎｓｏｒｓ） | |
| US20190018497A1 (en) | Cursor mode switching | |
| JP2002526867A (ja) | データ入力方法 | |
| JP2001184161A (ja) | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 | |
| US20100103099A1 (en) | Pointing device using camera and outputting mark | |
| JPH06217081A (ja) | 光学的走査システム | |
| US9747696B2 (en) | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space | |
| JP2016162162A (ja) | 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法 | |
| JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
| JPH05189137A (ja) | 計算機用コマンド入力装置 | |
| TWI499938B (zh) | 觸控系統 | |
| US20180032142A1 (en) | Information processing apparatus, control method thereof, and storage medium | |
| KR101075442B1 (ko) | 포인팅 정보를 입력하기 위한 디스플레이 장치 및 그 방법 | |
| JP6643825B2 (ja) | 装置及び方法 | |
| US20130187854A1 (en) | Pointing Device Using Camera and Outputting Mark | |
| JP2018063555A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2019016843A (ja) | 原稿読取装置、原稿読取装置の制御方法、及びプログラム | |
| TWI444875B (zh) | 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4052498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |