JP3729533B2 - ポインティングシステム - Google Patents
ポインティングシステム Download PDFInfo
- Publication number
- JP3729533B2 JP3729533B2 JP12624095A JP12624095A JP3729533B2 JP 3729533 B2 JP3729533 B2 JP 3729533B2 JP 12624095 A JP12624095 A JP 12624095A JP 12624095 A JP12624095 A JP 12624095A JP 3729533 B2 JP3729533 B2 JP 3729533B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- pointing
- display
- signal
- bar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【産業上の利用分野】
本発明はポインティングシステムに関し、特に、表示面から離れた位置からの指示を取込めると共に、ドローイング機能にも容易に対応できるようにしたものである。
【０００２】
【従来の技術】
従来、コンピュータのディスプレイ面に対するポインティングデバイスとしてはマウスやキーボードが用いられ、ディスプレイ面上の位置を直接指し示すことが要求される場合にはタッチパネルやライトペン等のポインティングデバイスが用いられていた。
【０００３】
ところで、プレゼンテーション等の複数の人が同時に表示内容を目視するような場合には、大画面のテレビジョン画面やビデオプロジェクタが利用され、このようなディスプレイ面に対しては、ディスプレイ面から離れた位置から、ディスプレイ面上のポイントを指示する利用形態が多い。このような環境下では、タッチパネルやライトペン等のポインティングデバイスを用いることはできず、ワイヤレスのマウスやキーボードをポイントデバイスとして用いて実現することになる。しかし、マウスやキーボードを用いる場合には、その操作のための台が必要であり、プレゼンテーション等を行なっている際には、プレゼンタの位置の制約を与える。
【０００４】
そのため、操作者の位置自由度を高めることができるポインティングデバイスが望まれている。
【０００５】
従来、このような操作者の位置自由度を高めることができるポインティングデバイスとして、特開平６−１５３２８０号公報に記載のリモコン装置が提案されている。図２は、かかるリモコン装置の構成を示すものである。
【０００６】
このリモコン装置は、大きくは、送信側のリモコン送信部と、受信側の受信・信号処理部とから構成されている。
【０００７】
リモコン送信部のキー入力部１１の電源スイッチが押下されると、制御ＩＣ１２はＲＧＢ発光部１０からＲＧＢ原色信号を等強度で同一方向に向けて発光させる。ここで、ＲＧＢ発光部１０内の各原色信号に対応した発光素子の配置と、受信・信号処理部のＲＧＢセンサ１の各原色信号に対応した受光素子の配置とは、リモコン送信部が左右上下に移動された場合に、各原色信号に対応した受光素子の受光量が異なるようになされている。そのため、Ａ／Ｄ変換部２を介した３原色信号の受光量レベルの成分比を、制御部７が演算部４によって計算させた後、予めメモリ３に格納されている成分比と移動情報（方向及び量）又は位置情報との対応データを参照することにより移動情報又は位置情報を得、これに応じて、制御部７がキャラゼネ５を駆動して表示画面６上のカーソル等のマーカを移動させる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記リモコン装置は、各原色信号に対応した受光素子のレベル変化とリモコン送信部の左右上下の移動量との関係を操作者が完全に習得するのは容易ではなく、バー表示の音量等の単純な選択ならば実用的であるが、ディスプレイ面全体を移動範囲とするようなポインティングデバイスとしては、所定位置にマーカを到達させる操作が容易ではなく、操作性上不十分である。
【０００９】
また、リモコン送信部の向きは、基本的にはＲＧＢセンサに向けられ、マーカの位置から離れているので、プロジェクタスクリーン面等を対象とした場合には操作し難いものである。すなわち、ビデオプロジェクタの場合には、マーカが表示されるスクリーン面に対向するプロジェクタ本体に向けて送信しなければならない。さらに、操作者はＲＧＢセンサに向けて送信することを要し、受信側構成の位置が制約されてしまう。
【００１０】
さらに、上記リモコン装置は、ポインティング機能の実現だけを対象としており、表示画像上の文章にマークを残したり、重ね書きしたりするドローイング機能には対応できない。そのため、このようなリモコン装置を利用してドローイング機能を実現しようとすると、ポインティングデバイスとしての当該リモコン装置とは別個の装置によらなければならない。例えば、ディスプレイ装置へのビデオ信号を発生するパーソナルコンピュータがドローイング機能をサポートしなければならない。また、リモコン送信部に、マーカを単に移動させる操作か、移動軌跡を残すドローイングの操作かを区別する制御スイッチ等を設けなければならない。
【００１１】
そのため、大きなディスプレイ面（スクリーン面）であっても、操作者の位置自由度や操作性が高い、ドローイングモードか否かの指示も容易にできるポインティングデバイスが望まれている。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため、本発明のポインティングシステムは、(A) 表示ビデオ信号を電気／光変換してそのビデオ信号の画像をスクリーンに表示させる表示手段と、(B) スクリーン上の位置を指示するための指示棒状体と、(C) スクリーン面を撮像対象とし、撮像ビデオ信号を出力する撮像手段と、(D) 撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出する特定領域抽出手段と、(E) 抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る指示ポイント検出手段と、(F) 抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出する接触検出手段とを有し、 (D) 特定領域抽出手段が、複数のフレームの撮像ビデオ信号を用いた動き検出により背景領域を検出する背景検出部と、検出された背景領域の撮像ビデオ信号だけを格納する背景信号記憶部と、撮像ビデオ信号と背景信号記憶部からの背景信号との相違に基づいて、指示棒状体の映像領域の情報を抽出する指示棒状体領域抽出部と、撮像ビデオ信号と背景信号記憶部からの背景信号との相違に基づいて、指示棒状体の陰影の映像領域の情報を抽出する陰影領域抽出部とでなって、撮像ビデオ信号における上記指示棒状体の映像領域の情報と、撮像ビデオ信号における上記指示棒状体の陰影の映像領域の情報とを抽出し、 (E) 指示ポイント検出手段が、指示棒状体の映像領域情報から、指示棒状体による指示ポイント座標を得、 (F) 接触検出手段が、抽出された指示棒状体の映像領域情報と、指示棒状体の陰影の映像領域情報とから、指示棒状体とスクリーン面との接触、非接触を検出することを特徴とする。
【００１３】
【作用】
本発明のポインティングシステムにおいては、表示手段によって、表示ビデオ信号の画像がスクリーンに表示される。このようなスクリーン上の表示画像の任意位置が、操作者によって、指示棒状体を介して指示される。
【００１４】
このようなスクリーン面の像が、撮像手段によって撮像される。そして、特定領域抽出手段が、この撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出し、指示ポイント検出手段が、抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る。また、接触検出手段が、抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出し、制御信号として出力する。
【００１５】
従って、スクリーン面が大きな画面であっても、操作者の任意位置からの自然な指示操作に応じた指示ポイントの情報を電子化できると共に、指示棒状体をスクリーン面に接触させるか否かという簡単な操作で少なくとも１個の制御信号（例えばドローイングオンオフ信号）を生成させることができるようになる。
【００１６】
【実施例】
（Ａ）第１実施例
以下、本発明によるポインティングシステムを、ビデオプロジェクタ表示システムに適用した第１実施例を図面を参照しながら詳述する。
【００１７】
（Ａ−１）第１実施例の空間的な要素配置
この第１実施例のポインティングシステムは、ポインティングシステム本体ユニット１００と、表示制御ユニット２０と、スクリーン（表示画面）３０と、指示棒４０とを構成要素としている。ポインティングシステム本体ユニット１００は、ビデオプロジェクタ１０１及びポインティング検出用のビデオカメラ１０２を備えている。
【００１８】
ポインティングシステム本体ユニット１００内において、パーソナルコンピュータ等でなる表示制御ユニット２０からのビデオ信号に対して、適宜ドローイング軌跡信号を重畳し、ビデオプロジェクタ１０１からスクリーン３０に照射させる。これにより、表示制御ユニット２０からのビデオ信号の画像がスクリーン３０に表示されると共に、ドローイング表示モードであればドローイング軌跡３４も表示される。また、指示棒４０の陰影４５もスクリーン３０に現われる。例えば、カラー撮像のポインティング検出用ビデオカメラ１０２は、このようなスクリーン３０の画像を撮像する。ポインティングシステム本体ユニット１００内においては、後述する構成によって、このような撮像画像から、指示棒４０の先端位置や、指示棒４０の先端がスクリーン３０に接していること等を捕らえて、表示制御ユニット２０からのビデオ信号に、ドローイング軌跡の信号を適宜重畳して、スクリーン３０にドローイング軌跡３４を表示させる。
【００１９】
（Ａ−２）ポインティングシステム本体ユニット１００の詳細構成
図３は、ポインティングシステム本体ユニット１００の内部詳細構成を示すブロック図である。
【００２０】
ポインティングシステム本体ユニット１００は、大きくは、表示処理部１００Ａと、ポインティング検出部１００Ｂとから構成されている。
【００２１】
表示処理部１００Ａにおいて、ビデオ入力コネクタＪ１を介した表示制御ユニット２０からのビデオ信号ＶＳ３は、ドローイング重畳部１５０に与えられる。ドローイング重畳部１５０は、ポインティング検出部１００Ｂからの信号に基づいて、このビデオ信号ＶＳ３に、ドローイング軌跡を適宜重畳し、重畳処理後のビデオ信号ＶＳ１をビデオプロジェクタ１０１に与える。ビデオプロジェクタ１０１には、他の回路部分より高圧の電源電圧ＰＳが供給されている。ビデオプロジェクタ１０１は、入力ビデオ信号ＶＳ１を映像光に変換してスクリーン３０に照射させる。
【００２２】
ポインティング検出部１００Ｂにおいて、ポインティング検出用ビデオカメラ１０２は、スクリーン３０を含む画像をビデオ信号ＶＳ２に変換するものであり、得られたビデオ信号ＶＳ２を、デジタル化回路１０３に与えるものである。
【００２３】
なお、詳細構成の図示は省略しているが、ビデオプロジェクタ１０１の対物レンズとビデオカメラ１０２の対物レンズとは連動してフォーカシングやズームを実現する機構になっており（図３の符号ＺＺＺはこのことを表している）、照射画像と撮像画像との良好な対応を確保するようになっている。
【００２４】
デジタル化回路１０３は、入力されたビデオ信号ＶＳ２をデジタル信号に変換すると共に、水平、垂直の同期信号等をビデオ信号ＶＳ２から分離するものである。デジタル化回路１０３は、分離した同期信号ｓを、ポインティング検出部１００Ｂ内の各部に供給し、また、デジタル化したビデオデータｄを、前フレーム用フレームメモリ１０４、動き検出回路１０５及び先端座標検出回路１０７に与える。
【００２５】
フレームメモリ１０４は、１フレーム遅延回路として機能するものであり、デジタル化回路１０３から出力されているビデオデータｄに同期して、その１フレーム前の同一画素位置のビデオデータｄｐを動き検出回路１０５及び背景メモリ回路１０６に出力するものである。
【００２６】
動き検出回路１０５は、相前後するフレームの同一画素データ間の差分絶対値を閾値と比較して変動があった画素の座標を推定し、変動の有無を表す動き検出信号ｍを背景メモリ回路１０６に与えるものである。
【００２７】
背景メモリ回路１０６は、動き検出信号ｍが変動なしを示している画素に係るフレームメモリ１０４からのビデオデータ（画素データ）ｄｐを書込むと共に、動き検出信号ｍが変動ありを示している画素についてはビデオデータｄｐの書込みを禁止するものである。すなわち、背景メモリ回路１０６は、撮像画像の背景を表す背景データｂｇを格納するものである。この背景データｂｇは、先端座標検出回路１０７に与えられる。
【００２８】
先端座標検出回路１０７は、現ビデオデータｄと背景データｂｇとのフレーム間差分（ｄ−ｂｇ）を含む画像処理により、指示棒４０の先端位置の座標データ、すなわち指示ポイントの座標データｘｙと、指示棒４０の陰影４５の先端位置の座標データｉｊを検出するものである。指示ポイントの座標データｘｙは、先端座標変動判定回路１０８、先端座標間距離判定回路１２０に与えられると共に、コネクタＣＮ１を介して表示制御ユニット（例えばパーソナルコンピュータ）２０に与えられる。一方、指示棒４０の陰影４５の先端位置の座標データｉｊは、先端座標間距離判定回路１２０に与えられる。
【００２９】
先端座標間距離判定回路１２０は、入力された２種類の座標データｘｙ及びｉｊの距離を求め、その算出距離を閾値と比較することを通じて、指示棒４０がスクリーン３０に接しているか（閾値より小）否か（閾値より大）を判定するものである。この第１実施例の場合、指示棒４０がスクリーン３０に接していることをドローイング軌跡の描画条件としており、先端座標間距離判定回路１２０は、接触、非接触を表す信号をドローイングオンオフ信号ｄｒとして、表示処理部１００Ａのドローイング重畳部１５０に与える。ドローイングオンオフ信号ｄｒはまた、先端座標変動判定回路１０８に与えられる。
【００３０】
先端座標変動判定回路１０８は、コネクタＣＮ２を介して、表示制御ユニット２０と双方向に制御データｃ２を授受できるようになされている。先端座標変動判定回路１０８は、指示ポイントの座標データｘｙの時間的変動を検出するものである。時間的な変動としては、「一定時間静止」、「小刻みに変動する」、「Ｖ字状に変動する」、「○状に変動する」等があり、それぞれ特定の制御内容に対応付けられている。なお、２個の静止時間にはさまれたこれら変動軌跡の識別には、座標データ群から軌跡を捕らえるオンライン文字認識技術等に適用されている軌跡特定方法を適用すれば良い。また、軌跡の認識のもととなる制御データ（登録変動パターン等）は、表示制御ユニット２０から適宜与えられて登録されるようになされている。
【００３１】
この先端座標変動判定回路１０８は、大きくは、３個の機能を担っている。
【００３２】
第１は、指示ポイントの静止を検出したときには、背景メモリ回路１０６に更新禁止信号ｃ１を与えてその更新を禁止させることである。かかる処理を実行しない場合には、背景データｂｇに指示棒４０やその陰影４５のデータも含まれ、先端座標検出回路１０７における検出精度が低下する恐れがあるので、更新を禁止する。
【００３３】
第２は、ドローイング重畳部１５０に対する各種信号を生成する。ドローイングオンオフ信号ｄｒがオンを指示しているときに与えられた指示ポイントの座標データを、表示処理部１００Ａにおけるビデオ信号（ＶＳ３又はＶＳ１）の座標系での座標データｃ３に変換してドローイング重畳部１５０に与える。指示ポイントの時間的変動がドローイング軌跡表示の表示色の変更を指示している場合には、そのドローイング色信号ｃｓをドローイング重畳部１５０に与える。指示ポイントの時間的変動がドローイング軌跡の消去を指示している場合には、その消去信号ｃｒをドローイング重畳部１５０に与える。なお、表示色変更や消去を指示する時間的変動は、特定形状であっても良く、また、特定座標における所定時間の静止であっても良い。
【００３４】
第３は、表示制御ユニット２０に対する各種信号を生成する。例えば、所定時間静止している場合には、マウスがクリックされたと同様なデータを表示制御ユニット２０に与えたり、時間的変動軌跡が特定形状の場合には、マウスがダブルクリックされたと同様なデータを表示制御ユニット２０に与えたりする。
【００３５】
（Ａ−２−１）動き検出回路１０５
図４は、上述した動き検出回路１０５の詳細構成を示すものである。動き検出回路１０５は、第１及び第２の空間フィルタ２００及び２０１、差分絶対値回路２０２、閾値比較回路２０３、２個のフレーム遅延回路２０４及び２０５、論理積回路２０６から構成されている。
【００３６】
現フレーム及び前フレームのビデオデータ（処理対象の画素データ）ｄ及びｄｐはそれぞれ、対応する空間フィルタ２００及び２０１によって、周辺画素データを用いた空間周波数帯域の制限処理が施されて、ノイズの影響やタイミングの揺れ等の影響が軽減される。差分絶対値回路２０２は、かかる処理後の現フレーム及び前フレームの画素データの差分絶対値を算出して閾値比較回路２０３に与える。閾値比較回路２０３は、この差分絶対値を所定の閾値と比較し、画素単位にフレーム間の相関を評価し、動いた画素に対しては“０”、静止領域の画素に対しては“１”なる判定結果ｍｎを出力する。この判定結果ｍｎは、２個のフレーム遅延回路２０４及び２０５の縦続接続段に入力され、これにより、連続する３フレーム分の判定結果（ｍｎ）が取出されて論理積回路２０６に入力される。論理積回路２０６は、連続する３フレーム分の判定結果（ｍｎ）を正論理の論理積処理して、動き検出信号ｍとして出力する。
【００３７】
以上のように、空間フィルタ２００及び２０１を用いているのでノイズ等の悪影響を受けずに動き検出できると共に、連続する３フレームの検出結果の論理積をとっているので、確実に動かない画素のタイミングにおいてのみ静止を表す動き検出信号ｍを出力することができる。
【００３８】
（Ａ−２−２）先端座標検出回路１０７及び先端座標間距離判定回路１２０
上述したように、この第１実施例においては、指示棒４０がスクリーン３０面に接触しているか否かをドローイングのオンオフ指令情報として利用している。そして、指示棒４０がスクリーン３０面に接触しているか否かを指示棒４０の先端座標（指示ポイント）と指示棒陰影４５の先端座標の距離によって、判定している。
【００３９】
ここではまず、指示棒４０の先端座標（指示ポイント）と指示棒陰影４５の先端座標の距離によって、指示棒４０がスクリーン３０面に接触しているか否かを判定できることを、図５を参照しながら説明する。
【００４０】
図５において、ビデオプロジェクタ１０１の光源位置Ｌとビデオカメラ１０２の視点Ｖとを結ぶ線分（その長さをｐとする）が、スクリーン３０面に平行になるように（距離をｍとする）、ポインティングシステム本体ユニット１００が置かれている。スクリーン３０面より距離ｇだけ前に位置する指示棒４０の実際の先端Ｒはビデオカメラ１０２の視点Ｖから見ると、スクリーン３０上のＮなる位置に見える。一方、指示棒陰影４５の先端位置Ｓは、ビデオプロジェクタ１０１の光源位置Ｌと実際の指示棒先端位置Ｒとを結ぶ直線とスクリーン３０面との交差位置になる。ここで、ビデオカメラ１０２の視点Ｖから見た指示棒先端位置Ｎと、指示棒陰影４５の先端位置Ｓとの距離ｅについては、３角形Ｖ−Ｌ−Ｒと３角形Ｎ−Ｓ−Ｒとが相似形であることから、下記(1) 式が成立する。
【００４１】
ｐ：ｅ＝（ｍ−ｇ）：ｇ
ｅ＝ｐ・ｇ／（ｍ−ｇ） …(1)
ここで、ｐは既知の値であり、ｍはｇよりかなり大きいので（ビデオプロジェクタ１０１の対物レンズ位置情報を利用して既知の値としても処理できる）、ｅとｇとに単調増加関係（ほぼ比例）が成立している。すなわち、ビデオカメラ１０２の視点Ｖから見た指示棒先端位置Ｎと、指示棒陰影４５の先端位置Ｓとの距離ｅを捕らえることにより、距離ｇがほぼ０であるか（接触）否か（非接触）を検出できる。
【００４２】
このようにドローイングのオンオフ指令を識別できるようにすべく、先端座標検出回路１０７は、指示棒先端位置（指示ポイント）Ｎの座標データｘｙだけでなく、指示棒陰影先端位置Ｓの座標データｉｊをも検出するようにしている。
【００４３】
図６は、先端座標検出回路１０７の内部構成を示す機能ブロック図である。なお、一部ソフトウェア処理が利用されており、ソフトウェア処理からは複数の機能が融合されて行なわれているが、ここでは、説明の簡単化のために、明確に分けた機能ブロック図で説明する。
【００４４】
図６において、先端座標検出回路１０７は、基本表示映像領域識別回路３００、指示棒映像抽出回路３０１、指示棒陰影像抽出回路３０２、基本表示映像領域座標検出回路３０３、指示棒映像座標検出回路３０４、指示棒陰影像座標検出回路３０５、座標発生回路３０６、指示棒先端座標特定回路３０７、指示棒陰影先端座標特定回路３０８、指示棒先端座標変換回路３０９及び指示棒陰影先端座標変換回路３１０から構成されている。
【００４５】
基本表示映像領域識別回路３００は、背景メモリ回路１０６からの背景データｂｇから、ビデオカメラ１０１による撮像領域中の中央部のほぼ長方形の表示映像領域（ラスタ領域）を識別して、ビデオデータｄと同期した識別信号ａａを出力する。
【００４６】
指示棒映像抽出回路３０１は、背景メモリ回路１０６からの背景データｂｇ及び前フレームのビデオデータｄｐから、指示棒４０の映像領域ｒｒを抽出する。同様に、指示棒陰影像抽出回路３０２は、背景メモリ回路１０６からの背景データｂｇ及び現フレームのビデオデータｄから、指示棒陰影４５の映像領域ｓｓを抽出する。
【００４７】
座標発生回路３０６は、デジタル化回路１０３からの同期信号ｓを基準に、ビデオデータｄのタイミングに対応した座標データを発生し、基本表示映像領域座標検出回路３０３、指示棒映像座標検出回路３０４及び指示棒陰影像座標検出回路３０５に出力する。
【００４８】
基本表示映像領域座標検出回路３０３は、指示棒映像抽出回路３０１からの識別信号ａａを受けて、座標発生回路３０６からの座標データを基準として、表示映像領域の座標データａｃｏを作成する。同様に、指示棒映像座標検出回路３０４及び指示棒陰影像抽出回路３０５はそれぞれ、指示棒４０の映像領域ｒｒ及び指示棒陰影４５の映像領域ｓｓを、指示棒映像座標データｒｃｏ及び指示棒陰影像座標データｓｃｏに変換する。
【００４９】
指示棒先端座標特定回路３０７は、棒状の座標集合でなる指示棒映像座標データｒｃｏと、表示映像領域の座標データａｃｏとから、指示棒先端の座標データｒｐｃｏを得る。同様に、指示棒陰影像先端座標特定回路３０８は、棒状の座標集合でなる指示棒陰影像座標データｓｃｏと、表示映像領域の座標データａｃｏとから、指示棒陰影像先端の座標データｓｐｃｏを得る。
【００５０】
指示棒先端座標変換回路３０９は、撮像系での座標系に従う指示棒先端座標データｒｐｃｏを、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｘｙに変換して出力する。同様に、指示棒陰影先端座標変換回路３１０は、撮像系での座標系に従う指示棒陰影像先端座標データｓｐｃｏを、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｉｊに変換して出力する。
【００５１】
このような両座標データｘｙ及びｉｊが与えられる先端座標間距離判定回路１２０（図３参照）は、これら入力座標データｘｙ及びｉｊから上記(1) 式に従う距離ｅを得て、この距離ｅを閾値距離と比較することで、指示棒４０のスクリーン３０面に対する接触、非接触を判定する。なお、表示映像領域における相対座標データに変換する前の座標データｒｐｃｏ及びｓｐｃｏを先端座標間距離判定回路１２０に与えて、指示棒４０のスクリーン３０面に対する接触、非接触を判定させるようにしても良い。この場合には、指示棒陰影先端座標変換回路３１０は不要となる。
【００５２】
次に、指示棒映像抽出回路３０１及び指示棒陰影像抽出回路３０２の動作について補足説明する。
【００５３】
両検出回路３０１及び３０２は、基本的には差分演算回路であり、背景データｂｇと前フレームのビデオデータｄｐとの差分から動いた部分の映像を抽出する。差分データには、ビデオデータと同期して動く映像の領域において振幅の変化があり、静止領域では両者のレベルが非常に近いために差分はほぼ０になると考えられる。
【００５４】
ここで、対象とする動く映像は指示棒４０及び指示棒の陰影像４５であり、差分絶対値をある閾値と比較して棒状の連続した画素の集合を検出し、孤立した検出座標を対象から除去し、隣接する検出画素間を補充することにより、画素の集合から棒状の画像を生成する。このようにすることにより、２種類の棒状画像が生成される。しかし、陰影像４５は背景映像より暗いのでビデオデータの値が小さいことから、陰影像４５に対する差分データ（すなわち遅延ビデオデータより背景ビデオデータを引いて得られるた差分データ）においては、負の成分が多くなる。この性質を利用して陰影像４５の棒状領域を指示棒４０の棒状領域と区別する。この区別に従って、指示棒映像抽出回路３０１は指示棒映像の棒状領域に対応して、指示棒陰影像抽出回路３０２は陰影像の棒状領域に対応して、それぞれビデオデータに同期したタイミングで指示棒及びその陰影像の領域を示すデータｒｒ及びｓｓを出力する。
【００５５】
なお、以上では、輝度レベルの相違で２種類の棒状領域を区別する考え方を示したが、指示棒４０を特定色に選定し、陰影像は黒成分画像となることとのカラー成分の相違を利用して２種類の棒状領域を識別するようにしても良い。
【００５６】
次に、このようにして得られた指示棒４０の映像領域データ、及び、指示棒の陰影像４５の領域データと、背景映像（表示映像領域）とから、指示棒先端座標と指示棒陰影像先端座標とを求める方法について、図７及び図８を参照しながら具体的に説明する。
【００５７】
まず、基本表示映像領域座標検出回路３０３が実行する背景データｄｐから基本表示映像領域の識別信号ａａを生成する方法について、図７を用いて説明する。図７（Ａ）において、ビデオカメラ１０２の有効撮陰影領域４０１内に、ビデオプロジェクタ１０１により照射された表示映像領域（ラスタ領域）４０２が存在する。今、ある水平走査ライン４０６の輝度レベル（背景データｂｇのレベル）Ｌｂｇを検討してみる。ここで、図７（Ｂ）がその輝度レベルの時間変化（水平方向での位置変化）を示している。ビデオデータｄｐの水平有効画素の開始タイミング（左端）Ｈtfs 及び終了タイミング（右端）Ｈtfe は、同期信号ｓとのタイミング関係が定まっているため、基準となるタイミングである。全体の撮像領域４０１の中に存在する長方形に近い形状の基本表示映像領域４０２は、ビデオ光線が照射されている領域であるので、ビデオ信号ＶＳ１の内容によって変動したとしても、その他の領域より輝度レベルは高い。そのため、基本表示映像領域４０２を識別するための閾値Ｔｈ１を定めて、この閾値Ｔｈ１を越える輝度レベルの最左端のタイミングＨtds 及び最右端のタイミングＨtde を検出して、その水平走査ライン４０６における水平方向の表示映像領域の境界座標とする。
【００５８】
垂直方向の検出についても、同様の方法で、基本表示映像領域４０２の上側及び下側の境界の対応する水平走査ラインを検出し、ライン番号を対応させることができる。
【００５９】
表示映像領域（ラスタ領域）４０２が撮像領域４０１内であってその中央部に位置するように、ビデオカメラ１０２のレンズ等の選択や調節がなされているため、以上のような方法によって、輝度レベルが周辺より高い長方形に近い表示映像領域４０２を困難なく検出することができる。
【００６０】
次に、各先端座標特定回路３０７、３０８による棒状の座標集合でなる座標データから、その先端の座標データを特定する方法について説明する。
【００６１】
上述した図７（Ａ）に示すように、指示棒の映像領域４０４及び指示棒陰影の映像領域４４０の先端位置は、指示機能から考えて、表示映像領域４０２の内部にあり、また、表示に影響しない位置に操作者が位置して指示するので、指示棒の映像領域４０４及び指示棒陰影の映像領域４４０の基本軸線（細線化された場合の座標データ群に対応する）は、表示映像領域４０２の周囲のいずれかの境界線と交差する。このような性質を利用して先端座標を決定している。
【００６２】
図８は、表示映像領域と棒状領域（指示棒映像領域又は指示棒陰影像領域）との関係を、８パターンに分類して示したものである。表示映像領域と棒状領域とは、上述したように交差しているので、共通する座標が存在する。
【００６３】
図８（Ａ）及び（Ｂ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の下辺Ｂにある場合である。この場合には、棒状領域の最上位置を先端と検出する。図８（Ｃ）及び（Ｄ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の右辺Ｒにある場合であり、この場合には、棒状領域の最左位置を先端と検出する。図８（Ｅ）及び（Ｆ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の左辺Ｌにある場合であり、この場合には、棒状領域の最右位置を先端と検出する。図８（Ｇ）及び（Ｈ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の上辺Ｔにある場合であり、この場合には、棒状領域の最下位置を先端と検出する。
【００６４】
図８では、棒状領域が右上り及び左上りまでを考慮して８パターンに分類して示したが、上述のように、交差位置に基づいた４パターンの分類で先端座標を特定することができる。
【００６５】
なお、表示映像領域は、ビデオプロジェクタ１０１及びスクリーン３０間の距離等によってその大きさや形状が変化するので、上述したように、先端座標データを表示映像領域内での位置に正規化（相対化）する必要がある。
【００６６】
（Ａ−２−３）ドローイング重畳部１５０の詳細構成
図９は、ドローイング重畳部１５０の詳細構成を示すブロック図であり、この図９を参照しながらドローイング重畳部１５０を詳細に説明する。
【００６７】
図９において、ドローイング重畳部１５０は、ビデオデータ選択用のアナログスイッチ５０１、ドローイング表示メモリ回路（その制御構成を含む）５０２、カラーパレット回路５０３、タイミング発生回路５０４、及び、黒レベル検出回路５０５から構成されている。
【００６８】
アナログスイッチ５０１には、表示制御ユニット（パーソナルコンピュータ）２０からのビデオ信号ＶＳ３（ここではアナログ信号を想定しているがビデオプロジェクタ部１０１の構成によってはデジタル信号であっても良い）における３原色信号Ｒ、Ｇ、Ｂが一方の選択入力端子に与えられると共に、他方の選択入力端子には、カラーパレット回路５０３が出力したドローイング用の３原色信号ＤＲ、ＤＧ、ＤＢが与えられる。さらに、アナログスイッチ５０１には、選択制御信号として、ドローイング表示メモリ回路５０２から出力されたドローイング選択信号ｄｇが与えられる。かくして、このアナログスイッチ５０１からは、ドローイング軌跡上のタイミングでドローイング用の３原色信号ＤＲ、ＤＧ、ＤＢを選択し、その他のタイミングで表示制御ユニット２０からの３原色信号Ｒ、Ｇ、Ｂを選択してビデオプロジェクタ１０１に与える。
【００６９】
なお、表示制御ユニット２０からの水平駆動信号ＨＤ及び垂直駆動信号ＶＤは、当該ドローイング重畳部１５０をそのまま通過してビデオプロジェクタ１０１に与えられる。
【００７０】
また、表示制御ユニット２０からの水平駆動信号ＨＤ及び垂直駆動信号ＶＤは、タイミング発生回路５０４に与えられる。タイミング発生回路５０４は、これら駆動信号（同期信号）に基づいて、垂直ブランキング期間をとらえて垂直ブランキング期間信号ｂｌｔを黒レベル検出回路５０５に与えると共に、上記駆動信号に基づいて、１フレーム内での画素位置情報を得て画素位置信号ｒｔを表示メモリ回路５０２に与える。
【００７１】
黒レベル検出回路５０５は、垂直ブランキング期間信号ｂｌｔがその期間を指示しているタイミングでの３原色信号Ｒ、Ｇ、Ｂが表しているレベル（黒レベル）を検出してその情報ＢＬをカラーパレット回路５０３に与え、カラーパレット回路５０３は、自己が発生する３原色信号ＤＲ、ＤＧ、ＤＢ３の基準となる黒レベルが、その黒レベル信号ＢＬと一致するようにクランプ動作して基準レベルを内部修正する。このようにして、表示制御ユニット２０からのビデオ信号ＶＳ３と、カラーパレット回路５０３からのビデオ信号との色調整が実行されている。
【００７２】
なお、表示制御ユニット２０からの映像信号が、３原色信号ではなく、複号映像信号であれば、黒レベル検出回路５０５部分はペデスタルレベル検出回路に置き換わる。また、デジタル映像信号が与えられる場合には、かかる処理構成は省略できる。
【００７３】
ドローイング表示メモリ回路５０２には、ポインティング検出部１００Ｂからのドローイングオンオフ信号ｄｒ、ドローイング座標データｃ３、ドローイング軌跡消去信号ｃｒ、ドローイング色信号ｃｓが与えられる。
【００７４】
ドローイング表示メモリ回路５０２は、ドローイングオンオフ信号ｄｒがオンを指示してときに与えられたドローイング座標データｃ３に基づいて、記憶しているフレーム内の所定画素をオン設定する（ｄｇ）と共に、その直前に与えられたドローイング色信号ｃｓの表示色ｄｃをそのドローイング座標データｃ３に対応させてを格納する。
【００７５】
また、ドローイング表示メモリ回路５０２は、ドローイング軌跡消去信号ｃｒが与えられたときには、格納している全てのドローイング座標データｃ３及びその表示色ｄｃを消去する。
【００７６】
ドローイング表示メモリ回路５０２は、タイミング発生回路５０４から画素位置信号ｒｔが与えられる毎に、その画素がオン設定されているか否かを判定し、オン設定されているときには、有意なドローイング選択信号ｄｇをアナログスイッチ５０１に与えると共に、その画素に割り当てられている表示色信号ｄｃをカラーパレット回路５０３に出力する。
【００７７】
以上のような各部構成でなるドローイング重畳部１５０によって、ドローイング軌跡が所望の表示色でスクリーン３０上に表示される。
【００７８】
（Ａ−３）第１実施例の動作
次に、第１実施例の動作を説明する。ビデオプロジェクタ１０１によって、所定の画像がスクリーン３０上に映写される。この際に、操作者が指示棒４０を用いて、表示内容の所定の位置を指示していると、ビデオカメラ１０２が撮像したビデオ信号ＶＳ２には、映写された表示内容だけでなく指示棒４０やその陰影４５の映像も含まれる。
【００７９】
このようなビデオ信号ＶＳ２は、デジタル化回路１０３によってデジタル信号に変換される。そして、フレームメモリ１０４によって遅延された前フレームのビデオデータｄｐと現フレームのビデオデータｄとによって、動き検出回路１０５が動領域と静止領域とを弁別し、この弁別結果に基づいて、背景メモリ回路１０６は、静止領域のビデオデータｄｐ（ビデオデータｄであっても良い）に対してのみ更新動作を行なう。
【００８０】
このようにして得られた指示棒４０やその陰影４５の映像を含まない背景データｂｇと、指示棒４０やその陰影４５の映像を含む現フレームのビデオデータｄとの相違に基づいて、先端座標検出回路１０７によって、指示棒４０の先端座標データ（指示ポイント）ｘｙと、その陰影４５の先端座標データｉｊとが得られる。
【００８１】
これらの両先端座標データｘｙ及びｉｊの距離が、先端座標間距離判定回路１２０によって求められ、閾値と比較されて、指示棒４０のスクリーン３０への接触、非接触を表すドローイングオンオフ信号ｄｒが得られる。
【００８２】
先端座標検出回路１０７からの指示ポイントの座標データｘｙは、先端座標変動判定回路１０８によって、その時間的変動内容が判定される。例えば、その時間変動が、表示制御ユニット２０（例えばパーソナルコンピュータ）に対する制御内容であれば、そのことを表す信号が表示制御ユニット２０に与えられる。
【００８３】
表示制御ユニット２０には、指示ポイントの座標データｘｙも与えられており、この指示ポイントの座標データｘｙと、与えられた制御内容とに基づいて、表示制御ユニット２０は、適宜処理を実行する。
【００８４】
例えば、アイコンを含むメニュー画像のビデオ信号ＶＳ３を表示処理部１００Ａに与えて表示させている状態において、ポインティングシステム本体ユニット１００（そのポインティング検出部１００Ｂ）から、所定のアイコン位置の指示ポイントの座標データｘｙと、その指示ポイントで指示棒４０が所定時間以上静止していることを表す制御内容が与えられると、表示制御ユニット２０はそのアイコンが選択されたと認識してそのアイコンに対応した処理を実行する。
【００８５】
また、先端座標変動判定回路１０８は、指示ポイントの静止を検出したときには、背景メモリ回路１０６に更新禁止信号ｃ１を与えてその更新を禁止させて、背景データｂｇに指示棒４０やその陰影４５のデータが含まれることを禁止させる。
【００８６】
先端座標変動判定回路１０８は、ドローイングオンオフ信号ｄｒがオンを指示しているときに与えられた指示ポイントの座標データを、表示処理部１００Ａにおけるビデオ信号（ＶＳ３又はＶＳ１）の座標系での座標データｃ３に変換してドローイング重畳部１５０に与える。さらに、指示ポイントの時間的変動がドローイング軌跡表示の表示色の変更やドローイング軌跡の消去を指示している場合には、そのことを指示する信号をドローイング重畳部１５０に与える。
【００８７】
ドローイング重畳部１５０においては、表示画素位置が、ドローイング軌跡上の位置になると、表示制御ユニット２０からのビデオ信号を、所定の表示色のドローイングビデオ信号に置き換えてビデオプロジェクタ１０１に与えて、スクリーン３０上にドローイング軌跡３４を表示させる。
【００８８】
（Ａ−４）第１実施例の効果
(1) 以上のように、第１実施例によれば、単なるスクリーン上に投影された映像上のポイントを指示棒で指示し、その撮像画像を画像処理して指示ポイントを電子化するので、操作者は、指示ポイントを視覚的に容易に確認できると共に、特別の操作技術の訓練を要することなく自然な態様でしかも片手で指示でき、操作性が非常に高い。このように、操作性が良好であるため、不特定の人が操作者となることができる。
【００８９】
(2) また、第１実施例によれば、操作者は、ポインティングシステム本体ユニットの位置を意識することなくスクリーン面に向かって操作でき、この点でも操作性が高いと共に、操作時の位置自由度も高い。
【００９０】
(3) さらに、第１実施例によれば、指示ポイントの時間的変動に所定の制御内容を任意に割り当てられるようにすると共に、その時間的変動の判定回路を設けたので、単に指示ポイントを電子化するだけでなく、操作制御内容等も電子化して出力でき、これにより、インタラクティブな操作も可能になり、使い勝手が格段的に高くなっている。
【００９１】
(4) さらにまた、第１実施例によれば、指示棒映像及び指示棒陰影像抽出のための背景メモリ回路を設け、動きのない領域のみを書き換えて、この静止領域のみでなる背景データを基準にして指示棒映像領域等を抽出するようにしたので、抽出精度が高く、その結果、指示ポイント等の指示情報の精度をかなり高くすることができる。
【００９２】
(5) また、第１実施例によれば、表示映像領域を識別して、その領域内の相対座標として指示ポイントを出力するので、投影画像の上下で拡大率が異なるような表示映像領域の形状が歪む場合等においても、妥当な座標データを得ることができる。
【００９３】
(6) さらに、第１実施例によれば、ビデオプロジェクタとビデオカメラの対物レンズを連動させているので、フォーカシングやズームを個別に行なうことは不要であり、この点でも使い勝手が良好である。
【００９４】
(7) さらにまた、第１実施例によれば、ビデオプロジェクタの光源の光学的位置とビデオカメラの視点が異なるように配置しているので、ビデオカメラ視点からスクリーン上に見える指示棒と指示棒の陰影は、指示棒がスクリーン面に接して置かれない限り決して同一に重なって見えることはなく、指示棒先端座標と指示棒陰影像の先端座標との距離により、指示棒先端のスクリーンとの接触状況を確実に検出することができる。
【００９５】
(8) また、第１実施例によれば、抽出した指示棒映像領域及び指示棒陰影像領域に基づいて、指示棒のスクリーン面の接触、非接触を検出してドローイングオンオフを判定すると共に、ドローイング重畳部を設けたので、ドローイング機能をも担えるシステムを構築でき、しかも、単なるポインティングとドローイングの切替えを容易に行なうことができる。
【００９６】
(9) さらに、第１実施例によれば、指示ポイントの時間的変動に所定のドローイング制御内容を割り当て、その時間的変動の判定回路を設けたので、ドローイング軌跡の消去や表示色の変更等の操作も容易に実行することができる。
【００９７】
（Ｂ）第２実施例
次に、本発明によるポインティングシステムの第２実施例を図面を参照しながら詳述する。
【００９８】
この第２実施例のポインティングシステムは、第１実施例とは異なり、大型のＣＲＴディスプレイや背面から投影するプロジェクションディスプレイ等の表示システムを対象としている。そのため、表示処理部（第１実施例の１００Ａに相当）と、ポインティング検出部（第１実施例の１００Ｂに相当）とは空間上離間して設置されている。
【００９９】
このような表示システムにおいては、指示棒の陰影がスクリーン（ＣＲＴディスプレイが適用されているとしてもこの第２実施例の説明ではスクリーンと呼ぶ）面に生じない。第２実施例は、指示棒の陰影がなくても、指示棒とスクリーン面との接触状況の検出を可能にしたものである。そのため、表示実行部としてビデオプロジェクタ（１０１）を適用しているか否かによっては第１実施例の表示処理部と内部構成は異なるが、その表示処理部には特徴はない。
【０１００】
そこで、以下では、第２実施例のポインティング検出部について詳述することとする。
【０１０１】
まず、図１０を用いて、この第２実施例における指示棒とスクリーン面との接触状況の検出原理について説明する。
【０１０２】
図１０において、この第２実施例においては、かかる検出を行なうために、２個のビデオカメラ１０２−１及び１０２−２を用いている。これら２個のビデオカメラ１０２−１及び１０２−２は、それらの視点位置Ｖ１及びＶ２が所定距離ｑだけ離間されて例えば上下に設置されている。また、両視点位置Ｖ１及びＶ２を結ぶ線分がスクリーン３０面に所定距離ｍ１だけ離間して平行になるように設置されている。なお、ビデオカメラ１０２−１及び１０２−２の撮像領域が、例えば垂直方向について一致するように示したように（Ｔ〜Ｂ）、同一になるように、その撮像方向が固定されている。
【０１０３】
スクリーン３０面に対して距離ｆだけ離間している指示棒の先端位置Ｒは、一方のビデオカメラ１０２−１からの視点位置Ｖ１からはスクリーン３０面の位置Ｎ１として撮像され、他方のビデオカメラ１０２−２からの視点位置Ｖ２からはスクリーン３０面の位置Ｎ２として撮像され、これら位置Ｎ１及びＮ２間には距離ｅ１だけの隔たりがある。
【０１０４】
ここで、３角形Ｖ１−Ｖ２−Ｒと３角形Ｎ１−Ｎ２−Ｒとは相似形であるので、距離ｅ１と、距離ｆとの間には下記(2) 式の関係が成立する。
【０１０５】
ｑ：ｅ１＝（ｍ１−ｆ）：ｆ
ｅ１＝ｑ・ｆ／（ｍ１−ｆ） …(2)
ここで、ｑは既知の値であり、ｍ１はｆよりかなり大きいので（ビデオカメラの対物レンズ位置情報を利用して既知の値としても処理できる）、ｅ１とｆとに単調増加関係（ほぼ比例）が成立している。すなわち、両ビデオカメラ１０２−１及び１０２−２の視点Ｖ１及びＶ２から見た指示棒先端位置Ｎ１及びＮ２間の距離ｅ１を捕らえることにより、距離ｆがほぼ０であるか（接触）否か（非接触）を検出できる。
【０１０６】
図１１は、このような接触検出原理が適用されている第２実施例のポインティング検出部の、先端座標変動判定回路（図３の符号１０８参照）だけを除いた構成を示す機能ブロック図である。なお、図１１では各ブロックが明確に分離されているように示しているが、これは説明の簡単化のためであり、複数のブロックの処理が融合して実行される構成もあり得る。
【０１０７】
各デジタル化回路６００−１、６００−２はそれぞれ、対応するビデオカメラ１０２−１、１０２−２からのビデオ信号の映像信号成分をデジタル信号ｖｄ１、ｖｄ２に変換するものである。なお、一方のデジタル化回路６００−１は、同期信号ｓｙを分離抽出し、他方の処理系のビデオカメラ１０２−２の外部同期モード端子にその同期信号ｓｙを与えて、両ビデオカメラ１０２−１及び１０２−２からのビデオ信号を同期化させるようにしている。
【０１０８】
可変シフト回路６０１、フレーム間相関判定回路６０２及び試行動きベクトル発生回路６０３は、両デジタル化回路６００−１及び６００−２からのビデオデータｖｄ１及びｖｄ２の空間的な位置合わせを信号処理により行なうものである。すなわち、フレーム間相関判定回路６０２がビデオデータｖｄ１と、ビデオデータｖｄ２に対応したシフトビデオデータｃｖｄ２のフレーム相関を検出し、その検出信号ｄｑの変化を見ながら、試行動きベクトル発生回路６０３が試行動きベクトル信号ｍｃｖを可変シフト回路６０１に与えて、可変シフト回路６０１がビデオデータｖｄ２の空間位置を平行移動したビデオデータｃｖｄ２を出力し、このような処理を繰返すことにより、ビデオデータｖｄ１とのフレーム相関が最も高いシフトビデオデータｃｖｄ２を得るものである。
【０１０９】
フレーム間相関判定回路６０２は、このような探索が終了したときには、空間的な位置合わせがなされたビデオデータｖｄ１とシフトビデオデータｃｖｄ２との間で、差分絶対値が所定閾値より大きい画素位置を認識して、その画素位置以外の画素位置にのみ更新を認める背景更新信号ｓｆを背景メモリ回路６０４に与える。
【０１１０】
この背景メモリ回路６０４には、ビデオデータｖｄ１が入力されており、背景メモリ回路６０４は、背景更新信号ｓｆが更新を許容している画素位置のビデオデータｖｄ１を書き込む。このようにして、画素相関がない指示棒の映像領域等を除いた背景のビデオデータｂｇが背景メモリ回路６０４に格納される。
【０１１１】
これ以降の処理系は、第１実施例とほぼ同様である。異なる点は、ビデオカメラ１０２−２に係るビデオデータｃｖｄ１における指示棒映像を、第１実施例における指示棒の陰影映像と同様に取り扱っている点である。
【０１１２】
座標発生回路６０５は、デジタル化回路６００−１からの同期信号ｓｙを基準に、ビデオデータｖｄ１（従ってｃｖｄ２）のタイミングに対応した座標データを発生し、基本表示映像領域座標検出回路６０７、第１及び第２の指示棒映像座標検出回路６１０−１及び６１０−２に出力する。
【０１１３】
基本表示映像領域識別回路６０６は、背景メモリ回路６０４からの背景データｂｇから、ビデオカメラ１０２−１（１０２−２）による撮像領域中の中央部のほぼ長方形の表示映像領域（ラスタ領域）を識別して、ビデオデータｖｄ１及びｃｖｄ２と同期した識別信号ａａを出力する。
【０１１４】
第１の差分演算回路６０８−１は、背景メモリ回路６０４からの背景データｂｇ及びデジタル化回路６００−１からのビデオデータｖｄ１の画素単位の差分を演算し、第１の指示棒映像抽出回路６０９−１は、その差分出力に基づいて、指示棒の映像領域ｒｒ１を抽出する。同様に、第２の差分演算回路６０８−２は、背景メモリ回路６０４からの背景データｂｇ及び可変シフト回路６０１からのビデオデータｃｖｄ１の画素単位の差分を演算し、第２の指示棒映像抽出回路６０９−２は、その差分出力に基づいて、指示棒の映像領域ｒｒ２を抽出する。
【０１１５】
基本表示映像領域座標検出回路６０７は、基本表示映像領域識別回路６０６からの識別信号ａａを受けて、座標発生回路６０５からの座標データを基準として、表示映像領域の座標データａｃｏを作成する。同様に、第１及び第２の指示棒映像座標検出回路６１０−１及び６１０−２はそれぞれ、指示棒の映像領域ｒｒ１及びｒｒ２を、指示棒映像座標データｒｃｏ１及びｒｃｏ２に変換する。
【０１１６】
第１及び第２の指示棒先端座標特定回路６１１−１及び６１１−２はそれぞれ、棒状の座標集合でなる指示棒映像座標データｒｃｏ１、ｒｃｏ２と、表示映像領域の座標データａｃｏとから、指示棒先端の座標データｒｐｃｏ１、ｒｐｃｏ２を得る。
【０１１７】
指示棒先端座標変換回路６１２は、撮像系での座標系に従う指示棒先端座標データｒｐｃｏ１を、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｘｙに変換して出力する。
【０１１８】
先端座標間距離判定回路１２０は、２個の指示棒先端の座標データｒｐｃｏ１及びｒｐｃｏ２間の上記(2) 式に従の距離ｅ１を得て、この距離ｅ１を閾値距離と比較することで、指示棒のスクリーン３０面に対する接触、非接触を表すドローイングオンオフ信号ｄｒを出力する。
【０１１９】
以下、第２のビデオデータｖｄ２の座標を平行移動させて、ちょうど２系統のビデオデータの大部分がぴったりと一致する遅延量を推定する回路構成６０１〜６０３の動作について補足説明する。
【０１２０】
試行動きベクトル発生回路６０３は、あらゆる大きさと方向の平行移動を試すために、試行動きベクトルｍｃｖを発生する。それぞれの試行動きベクトルの発生毎に、その試行動きベクトルにより可変シフト回路６０１のシフト量（平行移動量）を制御する。試行毎にこの可変シフト回路６０１からのビデオデータｃｖｄ２と、第１のビデオデータｖｄ１とはフレーム間相関判定回路６０２に入力され、フレーム間相関判定回路６０２は、両ビデオデータの画素単位での差分電力（例えば差分２乗）を算出し、予め設定した中央部（この場合、ビデオデータｖｄ１が基準となる）の固定面積の差分電力総和を歪み量ｄｇとして試行動きベクトル発生回路６０３に出力する。なお、中央部を用いるのは撮像領域が一致しない場合、周囲画素間の差分は大きくなるためである。
【０１２１】
この歪み量ｄｇが大きいほど相関度が低いことを意味しており、試行動きベクトル発生回路６０３は、この歪み量ｄｇの値を試行動きベクトルと対応させて評価し、最も歪み量ｄｇの小さい試行動きベクトルを最終的なベクトルとして決定し、可変シフト回路６０１のシフト量（平行移動量）を固定する。
【０１２２】
次に、シフト量が固定された状態で、画素単位の両ビデオデータ間の差分電力をある閾値と比較して、相関の高い場合に有意な背景更新信号ｓｆを背景メモリ回路６０４に書込み制御信号として出力する。
【０１２３】
有意な背景更新信号ｓｆの画素に対してのみ背景メモリ回路６０４の書換えを許可することにより、背景メモリ回路６０４には、映像が動く動かないのみならず、２系統のビデオデータのぴったり一致した画素のみ、すなわち表示画面上の映像だけが格納されたことになる。
【０１２４】
従って、この第２実施例のポインティングシステムによれば、上記第１実施例の効果(1) 〜(6) 及び(9) と同一の効果を奏すると共に、さらに以下の効果を得ることができる。
【０１２５】
第２実施例によれば、２個のビデオカメラの視点が異なるように配置しているので、２個のビデオカメラ視点からスクリーン上に見える指示棒は、指示棒がスクリーン面に接して置かれない限り決して同一に重なって見えることはなく、２個の指示棒先端座標間の距離により、指示棒先端のスクリーンとの接触状況を確実に検出することができる。
【０１２６】
また、第２実施例によれば、抽出した２個の指示棒映像領域に基づいて、指示棒のスクリーン面の接触、非接触を検出してドローイングオンオフを判定すると共に、ドローイング重畳部を設けたので、ドローイング機能をも担えるシステムを構築でき、しかも、単なるポインティングとドローイングの切替えを容易に行なうことができる。
【０１２７】
さらに、第２実施例によれば、ビデオカメラを２個用いて近接した２つの視点からのビデオデータを用いることができるようにして、表示ディスプレイ面が、投影スクリーン面であってもＣＲＴディスプレイ面等であっても良く、適用可能な表示ディスプレイの種類を多様にすることができる。
【０１２８】
さらにまた、第２実施例によれば、スクリーン面よりも離れた物体を動きと関係なく抽出できるため、第１実施例と異なり、表示映像が動画像であってもさらには指示棒の動きが静止した場合でも影響を受けない。また、スクリーン面上の映像と離れた物体が確実に分離できるため、仮に、ビデオプロジェクタでスクリーン上に投影した映像を用いるような環境においても、指示棒の陰影も人物の陰影も表示画面上の映像として指示棒と区別でき、指示棒の抽出性能に悪影響を与えない。
【０１２９】
（Ｃ）他の実施例
(1) 第１及び第２実施例においては、ビデオプロジェクタやビデオカメラ等がポインティングシステム専用のものを示したが、既存のビデオプロジェクタやオーバヘッドプロジェクタ等の表示装置に、ビデオカメラ等をアダプタとして取り付けることによってシステムを構成しても良い。
【０１３０】
(2) 第１及び第２実施例においては、指示棒とスクリーン（ＣＲＴディスプレイ面等を含む）との接触、非接触情報をドローイングのオンオフ情報として用いるものを示したが、接触、非接触情報を他の制御情報として利用するシステムであっても良い。
【０１３１】
(3) 表示処理構成は、上記各実施例のものに限定されず、その特徴構成を適用できるものであれば任意である。例えば、オーバーヘッドプロジェクタ構成やフラットディスプレイ構成等であっても良い。オーバーヘッドプロジェクタ構成であっても、その原稿載置面上にパーソナルコンピュータ等で制御される透過形の液晶パネルを適用した場合には、ドローイング機能を実現できる。フラットディスプレイ構成において、接触、非接触情報をポイント指示がなされたか否かとして利用するようにすれば、直接的な指示によるインタラクティブ操作のインタフェース技術として有効である。特許請求の範囲における「スクリーン」の用語は、表示面を意味し、フラットディスプレイ構成等の表示面も含むものである。
【０１３２】
なお、スクリーンと、表示処理部のビデオ信号の電気／光変換部との距離が大きい程、本発明システムを適用した効果はより大きい。例えば、ホームシアター用のビデオプロジェクタ等の場合には、上記距離が大きいので、本発明システムの適用効果は大きい。
【０１３３】
(4) 第１及び第２実施例においては、ドローイング重畳部を表示処理部内に設けたものを示したが、表示制御ユニット（例えばパーソナルコンピュータ）内にドローイング重畳部を設けるようにしても良い。同様に、先端座標変動判定回路も表示制御ユニット（例えばパーソナルコンピュータ）内に設けるようにしても良い。
【０１３４】
(5) 第１及び第２実施例においては、ドローイング軌跡の重畳をアナログ的に行なうものを示したが、デジタル的に行なうようにしても良い。この場合には、黒レベル検出回路等は不要となる。また、ドローイング軌跡の重畳も、表示ビデオ信号に対するドローイングビデオ信号の置き換えだけでなく、合成によって実現するものであっても良い。
【０１３５】
(6) 第１及び第２実施例においては、背景メモリ回路に格納されている背景データの見直しを常時行なうものを示したが、例えば、表示制御ユニットからのビデオ信号（表示画像）の変更情報を取込んで、変更された直後の撮像画像を背景メモリ回路に格納させて利用するようにしても良い。
【０１３６】
(7) ビデオカメラは、カラー撮像用のもの、白黒撮像用のものに限定されないことは勿論であり、さらには、特定色だけを通過させる色フィルタを前面に有するものであっても良い。また、その個数も上記各実施例のものに限定されない。例えば、第１実施例におけるビデオカメラを２台以上、第２実施例におけるビデオカメラを３台以上として、指示ポイント座標を複数得てその平均座標を最終的な指示ポイント座標とするようにしても良い。また、第２実施例の場合、２個のビデオカメラからのビデオ信号に基づいて、２個の指示ポイント座標を得て、その平均座標を最終的な指示ポイント座標とするようにしても良い。
【０１３７】
(8) 第１実施例の動き検出回路や、第２実施例の試行動きベクトル発生回路や可変シフト回路等に、１フレームを縦横に分割したブロック単位に処理するものを適用し、全体フレームの動きを推定するようにしても良い。このようにすると、動画像符号化用の既存の動き推定ＬＳＩを適用し得る。
【０１３８】
(9) 第１及び第２実施例においては、指示棒として直線的なものを示したが、曲線的なものであっても良い。また、先端が、丸、４角、星形等の特定形状を有するものであっても良い。この場合には、上記各実施例の先端座標（指示ポイント）の特定方法に加えて、又は、代えて、パターンマッチングによる先端座標の特定方法も利用できる。さらには、先端に高輝度又は所定色の発光体を取り付けたり、先端部の色だけを変えたりしたものであっても良い。また、人間の腕が指示棒の代りであっても良い。この場合にも、領域の細線化処理等によって指示棒と同様に取り扱うことができる。
【０１３９】
(10)第１及び第２実施例においては、各種閾値が固定値のものを示したが、ビデオカメラとスクリーンとの距離を規定する対物レンズの位置等に応じて、各種閾値を変更させるようなものであっても良い。
【０１４０】
(11)第１及び第２実施例においては、表示映像領域の情報を、一旦得た先端座標データを相対化させるために利用するものを示したが、表示映像領域の情報を、ビデオデータを所定の長方形に正規化させる情報として用い、このようにして正規化されたビデオデータを画像処理するようにしても良い。
【０１４１】
(12)ドローイングモードでなくても、指示ポイントにマーカを表示するシステムであっても良い。
【０１４２】
【発明の効果】
以上のように、本発明のポインティングシステムは、スクリーン上の位置を指示するための指示棒状体と、スクリーン面を撮像対象とし、撮像ビデオ信号を出力する撮像手段と、撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出する特定領域抽出手段と、抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る指示ポイント検出手段と、抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出する接触検出手段とを有するので、大きなディスプレイ面（スクリーン面）であっても、操作者の位置自由度や操作性が高い、ドローイングモードか否か等の指示も容易にできるポインティングデバイスを実現できる。
【図面の簡単な説明】
【図１】第１実施例システムの各種要素の空間的な配置図である。
【図２】従来に係るリモコン装置のブロック図である。
【図３】第１実施例のポインティングシステム本体ユニットのブロック図である。
【図４】第１実施例の動き検出回路のブロック図である。
【図５】第１実施例の接触判定方法の原理説明図である。
【図６】第１実施例の先端座標検出回路のブロック図である。
【図７】第１実施例の表示映像領域の抽出方法の説明図である。
【図８】第１実施例の先端座標の特定方法の説明図である。
【図９】第１実施例のドローイング重畳部のブロック図である。
【図１０】第２実施例システムの各種要素の空間的な配置図である。
【図１１】第２実施例のポインティングシステム本体ユニットの要部構成を示すブロック図である。
【符号の説明】
２０…表示制御ユニット、３０…スクリーン（表示面）、３４…ドローイング軌跡、４０…指示棒、４５…指示棒陰影、１００…ポインティングシステム本体ユニット、１０１…ビデオプロジェクタ、１０２、１０２−１、１０２−２…ビデオカメラ、１０３、６００−１、６００−２…デジタル化回路、１０４…フレームメモリ、１０５…動き検出回路、１０６、６０４…背景メモリ回路、１０７…先端座標検出回路、１０８…先端座標変動判定回路、１２０…先端座標間距離判定回路、６０１…可変シフト回路、６０２…フレーム間相関判定回路、６０３…試行動きベクトル発生回路。
【産業上の利用分野】
本発明はポインティングシステムに関し、特に、表示面から離れた位置からの指示を取込めると共に、ドローイング機能にも容易に対応できるようにしたものである。
【０００２】
【従来の技術】
従来、コンピュータのディスプレイ面に対するポインティングデバイスとしてはマウスやキーボードが用いられ、ディスプレイ面上の位置を直接指し示すことが要求される場合にはタッチパネルやライトペン等のポインティングデバイスが用いられていた。
【０００３】
ところで、プレゼンテーション等の複数の人が同時に表示内容を目視するような場合には、大画面のテレビジョン画面やビデオプロジェクタが利用され、このようなディスプレイ面に対しては、ディスプレイ面から離れた位置から、ディスプレイ面上のポイントを指示する利用形態が多い。このような環境下では、タッチパネルやライトペン等のポインティングデバイスを用いることはできず、ワイヤレスのマウスやキーボードをポイントデバイスとして用いて実現することになる。しかし、マウスやキーボードを用いる場合には、その操作のための台が必要であり、プレゼンテーション等を行なっている際には、プレゼンタの位置の制約を与える。
【０００４】
そのため、操作者の位置自由度を高めることができるポインティングデバイスが望まれている。
【０００５】
従来、このような操作者の位置自由度を高めることができるポインティングデバイスとして、特開平６−１５３２８０号公報に記載のリモコン装置が提案されている。図２は、かかるリモコン装置の構成を示すものである。
【０００６】
このリモコン装置は、大きくは、送信側のリモコン送信部と、受信側の受信・信号処理部とから構成されている。
【０００７】
リモコン送信部のキー入力部１１の電源スイッチが押下されると、制御ＩＣ１２はＲＧＢ発光部１０からＲＧＢ原色信号を等強度で同一方向に向けて発光させる。ここで、ＲＧＢ発光部１０内の各原色信号に対応した発光素子の配置と、受信・信号処理部のＲＧＢセンサ１の各原色信号に対応した受光素子の配置とは、リモコン送信部が左右上下に移動された場合に、各原色信号に対応した受光素子の受光量が異なるようになされている。そのため、Ａ／Ｄ変換部２を介した３原色信号の受光量レベルの成分比を、制御部７が演算部４によって計算させた後、予めメモリ３に格納されている成分比と移動情報（方向及び量）又は位置情報との対応データを参照することにより移動情報又は位置情報を得、これに応じて、制御部７がキャラゼネ５を駆動して表示画面６上のカーソル等のマーカを移動させる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記リモコン装置は、各原色信号に対応した受光素子のレベル変化とリモコン送信部の左右上下の移動量との関係を操作者が完全に習得するのは容易ではなく、バー表示の音量等の単純な選択ならば実用的であるが、ディスプレイ面全体を移動範囲とするようなポインティングデバイスとしては、所定位置にマーカを到達させる操作が容易ではなく、操作性上不十分である。
【０００９】
また、リモコン送信部の向きは、基本的にはＲＧＢセンサに向けられ、マーカの位置から離れているので、プロジェクタスクリーン面等を対象とした場合には操作し難いものである。すなわち、ビデオプロジェクタの場合には、マーカが表示されるスクリーン面に対向するプロジェクタ本体に向けて送信しなければならない。さらに、操作者はＲＧＢセンサに向けて送信することを要し、受信側構成の位置が制約されてしまう。
【００１０】
さらに、上記リモコン装置は、ポインティング機能の実現だけを対象としており、表示画像上の文章にマークを残したり、重ね書きしたりするドローイング機能には対応できない。そのため、このようなリモコン装置を利用してドローイング機能を実現しようとすると、ポインティングデバイスとしての当該リモコン装置とは別個の装置によらなければならない。例えば、ディスプレイ装置へのビデオ信号を発生するパーソナルコンピュータがドローイング機能をサポートしなければならない。また、リモコン送信部に、マーカを単に移動させる操作か、移動軌跡を残すドローイングの操作かを区別する制御スイッチ等を設けなければならない。
【００１１】
そのため、大きなディスプレイ面（スクリーン面）であっても、操作者の位置自由度や操作性が高い、ドローイングモードか否かの指示も容易にできるポインティングデバイスが望まれている。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため、本発明のポインティングシステムは、(A) 表示ビデオ信号を電気／光変換してそのビデオ信号の画像をスクリーンに表示させる表示手段と、(B) スクリーン上の位置を指示するための指示棒状体と、(C) スクリーン面を撮像対象とし、撮像ビデオ信号を出力する撮像手段と、(D) 撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出する特定領域抽出手段と、(E) 抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る指示ポイント検出手段と、(F) 抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出する接触検出手段とを有し、 (D) 特定領域抽出手段が、複数のフレームの撮像ビデオ信号を用いた動き検出により背景領域を検出する背景検出部と、検出された背景領域の撮像ビデオ信号だけを格納する背景信号記憶部と、撮像ビデオ信号と背景信号記憶部からの背景信号との相違に基づいて、指示棒状体の映像領域の情報を抽出する指示棒状体領域抽出部と、撮像ビデオ信号と背景信号記憶部からの背景信号との相違に基づいて、指示棒状体の陰影の映像領域の情報を抽出する陰影領域抽出部とでなって、撮像ビデオ信号における上記指示棒状体の映像領域の情報と、撮像ビデオ信号における上記指示棒状体の陰影の映像領域の情報とを抽出し、 (E) 指示ポイント検出手段が、指示棒状体の映像領域情報から、指示棒状体による指示ポイント座標を得、 (F) 接触検出手段が、抽出された指示棒状体の映像領域情報と、指示棒状体の陰影の映像領域情報とから、指示棒状体とスクリーン面との接触、非接触を検出することを特徴とする。
【００１３】
【作用】
本発明のポインティングシステムにおいては、表示手段によって、表示ビデオ信号の画像がスクリーンに表示される。このようなスクリーン上の表示画像の任意位置が、操作者によって、指示棒状体を介して指示される。
【００１４】
このようなスクリーン面の像が、撮像手段によって撮像される。そして、特定領域抽出手段が、この撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出し、指示ポイント検出手段が、抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る。また、接触検出手段が、抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出し、制御信号として出力する。
【００１５】
従って、スクリーン面が大きな画面であっても、操作者の任意位置からの自然な指示操作に応じた指示ポイントの情報を電子化できると共に、指示棒状体をスクリーン面に接触させるか否かという簡単な操作で少なくとも１個の制御信号（例えばドローイングオンオフ信号）を生成させることができるようになる。
【００１６】
【実施例】
（Ａ）第１実施例
以下、本発明によるポインティングシステムを、ビデオプロジェクタ表示システムに適用した第１実施例を図面を参照しながら詳述する。
【００１７】
（Ａ−１）第１実施例の空間的な要素配置
この第１実施例のポインティングシステムは、ポインティングシステム本体ユニット１００と、表示制御ユニット２０と、スクリーン（表示画面）３０と、指示棒４０とを構成要素としている。ポインティングシステム本体ユニット１００は、ビデオプロジェクタ１０１及びポインティング検出用のビデオカメラ１０２を備えている。
【００１８】
ポインティングシステム本体ユニット１００内において、パーソナルコンピュータ等でなる表示制御ユニット２０からのビデオ信号に対して、適宜ドローイング軌跡信号を重畳し、ビデオプロジェクタ１０１からスクリーン３０に照射させる。これにより、表示制御ユニット２０からのビデオ信号の画像がスクリーン３０に表示されると共に、ドローイング表示モードであればドローイング軌跡３４も表示される。また、指示棒４０の陰影４５もスクリーン３０に現われる。例えば、カラー撮像のポインティング検出用ビデオカメラ１０２は、このようなスクリーン３０の画像を撮像する。ポインティングシステム本体ユニット１００内においては、後述する構成によって、このような撮像画像から、指示棒４０の先端位置や、指示棒４０の先端がスクリーン３０に接していること等を捕らえて、表示制御ユニット２０からのビデオ信号に、ドローイング軌跡の信号を適宜重畳して、スクリーン３０にドローイング軌跡３４を表示させる。
【００１９】
（Ａ−２）ポインティングシステム本体ユニット１００の詳細構成
図３は、ポインティングシステム本体ユニット１００の内部詳細構成を示すブロック図である。
【００２０】
ポインティングシステム本体ユニット１００は、大きくは、表示処理部１００Ａと、ポインティング検出部１００Ｂとから構成されている。
【００２１】
表示処理部１００Ａにおいて、ビデオ入力コネクタＪ１を介した表示制御ユニット２０からのビデオ信号ＶＳ３は、ドローイング重畳部１５０に与えられる。ドローイング重畳部１５０は、ポインティング検出部１００Ｂからの信号に基づいて、このビデオ信号ＶＳ３に、ドローイング軌跡を適宜重畳し、重畳処理後のビデオ信号ＶＳ１をビデオプロジェクタ１０１に与える。ビデオプロジェクタ１０１には、他の回路部分より高圧の電源電圧ＰＳが供給されている。ビデオプロジェクタ１０１は、入力ビデオ信号ＶＳ１を映像光に変換してスクリーン３０に照射させる。
【００２２】
ポインティング検出部１００Ｂにおいて、ポインティング検出用ビデオカメラ１０２は、スクリーン３０を含む画像をビデオ信号ＶＳ２に変換するものであり、得られたビデオ信号ＶＳ２を、デジタル化回路１０３に与えるものである。
【００２３】
なお、詳細構成の図示は省略しているが、ビデオプロジェクタ１０１の対物レンズとビデオカメラ１０２の対物レンズとは連動してフォーカシングやズームを実現する機構になっており（図３の符号ＺＺＺはこのことを表している）、照射画像と撮像画像との良好な対応を確保するようになっている。
【００２４】
デジタル化回路１０３は、入力されたビデオ信号ＶＳ２をデジタル信号に変換すると共に、水平、垂直の同期信号等をビデオ信号ＶＳ２から分離するものである。デジタル化回路１０３は、分離した同期信号ｓを、ポインティング検出部１００Ｂ内の各部に供給し、また、デジタル化したビデオデータｄを、前フレーム用フレームメモリ１０４、動き検出回路１０５及び先端座標検出回路１０７に与える。
【００２５】
フレームメモリ１０４は、１フレーム遅延回路として機能するものであり、デジタル化回路１０３から出力されているビデオデータｄに同期して、その１フレーム前の同一画素位置のビデオデータｄｐを動き検出回路１０５及び背景メモリ回路１０６に出力するものである。
【００２６】
動き検出回路１０５は、相前後するフレームの同一画素データ間の差分絶対値を閾値と比較して変動があった画素の座標を推定し、変動の有無を表す動き検出信号ｍを背景メモリ回路１０６に与えるものである。
【００２７】
背景メモリ回路１０６は、動き検出信号ｍが変動なしを示している画素に係るフレームメモリ１０４からのビデオデータ（画素データ）ｄｐを書込むと共に、動き検出信号ｍが変動ありを示している画素についてはビデオデータｄｐの書込みを禁止するものである。すなわち、背景メモリ回路１０６は、撮像画像の背景を表す背景データｂｇを格納するものである。この背景データｂｇは、先端座標検出回路１０７に与えられる。
【００２８】
先端座標検出回路１０７は、現ビデオデータｄと背景データｂｇとのフレーム間差分（ｄ−ｂｇ）を含む画像処理により、指示棒４０の先端位置の座標データ、すなわち指示ポイントの座標データｘｙと、指示棒４０の陰影４５の先端位置の座標データｉｊを検出するものである。指示ポイントの座標データｘｙは、先端座標変動判定回路１０８、先端座標間距離判定回路１２０に与えられると共に、コネクタＣＮ１を介して表示制御ユニット（例えばパーソナルコンピュータ）２０に与えられる。一方、指示棒４０の陰影４５の先端位置の座標データｉｊは、先端座標間距離判定回路１２０に与えられる。
【００２９】
先端座標間距離判定回路１２０は、入力された２種類の座標データｘｙ及びｉｊの距離を求め、その算出距離を閾値と比較することを通じて、指示棒４０がスクリーン３０に接しているか（閾値より小）否か（閾値より大）を判定するものである。この第１実施例の場合、指示棒４０がスクリーン３０に接していることをドローイング軌跡の描画条件としており、先端座標間距離判定回路１２０は、接触、非接触を表す信号をドローイングオンオフ信号ｄｒとして、表示処理部１００Ａのドローイング重畳部１５０に与える。ドローイングオンオフ信号ｄｒはまた、先端座標変動判定回路１０８に与えられる。
【００３０】
先端座標変動判定回路１０８は、コネクタＣＮ２を介して、表示制御ユニット２０と双方向に制御データｃ２を授受できるようになされている。先端座標変動判定回路１０８は、指示ポイントの座標データｘｙの時間的変動を検出するものである。時間的な変動としては、「一定時間静止」、「小刻みに変動する」、「Ｖ字状に変動する」、「○状に変動する」等があり、それぞれ特定の制御内容に対応付けられている。なお、２個の静止時間にはさまれたこれら変動軌跡の識別には、座標データ群から軌跡を捕らえるオンライン文字認識技術等に適用されている軌跡特定方法を適用すれば良い。また、軌跡の認識のもととなる制御データ（登録変動パターン等）は、表示制御ユニット２０から適宜与えられて登録されるようになされている。
【００３１】
この先端座標変動判定回路１０８は、大きくは、３個の機能を担っている。
【００３２】
第１は、指示ポイントの静止を検出したときには、背景メモリ回路１０６に更新禁止信号ｃ１を与えてその更新を禁止させることである。かかる処理を実行しない場合には、背景データｂｇに指示棒４０やその陰影４５のデータも含まれ、先端座標検出回路１０７における検出精度が低下する恐れがあるので、更新を禁止する。
【００３３】
第２は、ドローイング重畳部１５０に対する各種信号を生成する。ドローイングオンオフ信号ｄｒがオンを指示しているときに与えられた指示ポイントの座標データを、表示処理部１００Ａにおけるビデオ信号（ＶＳ３又はＶＳ１）の座標系での座標データｃ３に変換してドローイング重畳部１５０に与える。指示ポイントの時間的変動がドローイング軌跡表示の表示色の変更を指示している場合には、そのドローイング色信号ｃｓをドローイング重畳部１５０に与える。指示ポイントの時間的変動がドローイング軌跡の消去を指示している場合には、その消去信号ｃｒをドローイング重畳部１５０に与える。なお、表示色変更や消去を指示する時間的変動は、特定形状であっても良く、また、特定座標における所定時間の静止であっても良い。
【００３４】
第３は、表示制御ユニット２０に対する各種信号を生成する。例えば、所定時間静止している場合には、マウスがクリックされたと同様なデータを表示制御ユニット２０に与えたり、時間的変動軌跡が特定形状の場合には、マウスがダブルクリックされたと同様なデータを表示制御ユニット２０に与えたりする。
【００３５】
（Ａ−２−１）動き検出回路１０５
図４は、上述した動き検出回路１０５の詳細構成を示すものである。動き検出回路１０５は、第１及び第２の空間フィルタ２００及び２０１、差分絶対値回路２０２、閾値比較回路２０３、２個のフレーム遅延回路２０４及び２０５、論理積回路２０６から構成されている。
【００３６】
現フレーム及び前フレームのビデオデータ（処理対象の画素データ）ｄ及びｄｐはそれぞれ、対応する空間フィルタ２００及び２０１によって、周辺画素データを用いた空間周波数帯域の制限処理が施されて、ノイズの影響やタイミングの揺れ等の影響が軽減される。差分絶対値回路２０２は、かかる処理後の現フレーム及び前フレームの画素データの差分絶対値を算出して閾値比較回路２０３に与える。閾値比較回路２０３は、この差分絶対値を所定の閾値と比較し、画素単位にフレーム間の相関を評価し、動いた画素に対しては“０”、静止領域の画素に対しては“１”なる判定結果ｍｎを出力する。この判定結果ｍｎは、２個のフレーム遅延回路２０４及び２０５の縦続接続段に入力され、これにより、連続する３フレーム分の判定結果（ｍｎ）が取出されて論理積回路２０６に入力される。論理積回路２０６は、連続する３フレーム分の判定結果（ｍｎ）を正論理の論理積処理して、動き検出信号ｍとして出力する。
【００３７】
以上のように、空間フィルタ２００及び２０１を用いているのでノイズ等の悪影響を受けずに動き検出できると共に、連続する３フレームの検出結果の論理積をとっているので、確実に動かない画素のタイミングにおいてのみ静止を表す動き検出信号ｍを出力することができる。
【００３８】
（Ａ−２−２）先端座標検出回路１０７及び先端座標間距離判定回路１２０
上述したように、この第１実施例においては、指示棒４０がスクリーン３０面に接触しているか否かをドローイングのオンオフ指令情報として利用している。そして、指示棒４０がスクリーン３０面に接触しているか否かを指示棒４０の先端座標（指示ポイント）と指示棒陰影４５の先端座標の距離によって、判定している。
【００３９】
ここではまず、指示棒４０の先端座標（指示ポイント）と指示棒陰影４５の先端座標の距離によって、指示棒４０がスクリーン３０面に接触しているか否かを判定できることを、図５を参照しながら説明する。
【００４０】
図５において、ビデオプロジェクタ１０１の光源位置Ｌとビデオカメラ１０２の視点Ｖとを結ぶ線分（その長さをｐとする）が、スクリーン３０面に平行になるように（距離をｍとする）、ポインティングシステム本体ユニット１００が置かれている。スクリーン３０面より距離ｇだけ前に位置する指示棒４０の実際の先端Ｒはビデオカメラ１０２の視点Ｖから見ると、スクリーン３０上のＮなる位置に見える。一方、指示棒陰影４５の先端位置Ｓは、ビデオプロジェクタ１０１の光源位置Ｌと実際の指示棒先端位置Ｒとを結ぶ直線とスクリーン３０面との交差位置になる。ここで、ビデオカメラ１０２の視点Ｖから見た指示棒先端位置Ｎと、指示棒陰影４５の先端位置Ｓとの距離ｅについては、３角形Ｖ−Ｌ−Ｒと３角形Ｎ−Ｓ−Ｒとが相似形であることから、下記(1) 式が成立する。
【００４１】
ｐ：ｅ＝（ｍ−ｇ）：ｇ
ｅ＝ｐ・ｇ／（ｍ−ｇ） …(1)
ここで、ｐは既知の値であり、ｍはｇよりかなり大きいので（ビデオプロジェクタ１０１の対物レンズ位置情報を利用して既知の値としても処理できる）、ｅとｇとに単調増加関係（ほぼ比例）が成立している。すなわち、ビデオカメラ１０２の視点Ｖから見た指示棒先端位置Ｎと、指示棒陰影４５の先端位置Ｓとの距離ｅを捕らえることにより、距離ｇがほぼ０であるか（接触）否か（非接触）を検出できる。
【００４２】
このようにドローイングのオンオフ指令を識別できるようにすべく、先端座標検出回路１０７は、指示棒先端位置（指示ポイント）Ｎの座標データｘｙだけでなく、指示棒陰影先端位置Ｓの座標データｉｊをも検出するようにしている。
【００４３】
図６は、先端座標検出回路１０７の内部構成を示す機能ブロック図である。なお、一部ソフトウェア処理が利用されており、ソフトウェア処理からは複数の機能が融合されて行なわれているが、ここでは、説明の簡単化のために、明確に分けた機能ブロック図で説明する。
【００４４】
図６において、先端座標検出回路１０７は、基本表示映像領域識別回路３００、指示棒映像抽出回路３０１、指示棒陰影像抽出回路３０２、基本表示映像領域座標検出回路３０３、指示棒映像座標検出回路３０４、指示棒陰影像座標検出回路３０５、座標発生回路３０６、指示棒先端座標特定回路３０７、指示棒陰影先端座標特定回路３０８、指示棒先端座標変換回路３０９及び指示棒陰影先端座標変換回路３１０から構成されている。
【００４５】
基本表示映像領域識別回路３００は、背景メモリ回路１０６からの背景データｂｇから、ビデオカメラ１０１による撮像領域中の中央部のほぼ長方形の表示映像領域（ラスタ領域）を識別して、ビデオデータｄと同期した識別信号ａａを出力する。
【００４６】
指示棒映像抽出回路３０１は、背景メモリ回路１０６からの背景データｂｇ及び前フレームのビデオデータｄｐから、指示棒４０の映像領域ｒｒを抽出する。同様に、指示棒陰影像抽出回路３０２は、背景メモリ回路１０６からの背景データｂｇ及び現フレームのビデオデータｄから、指示棒陰影４５の映像領域ｓｓを抽出する。
【００４７】
座標発生回路３０６は、デジタル化回路１０３からの同期信号ｓを基準に、ビデオデータｄのタイミングに対応した座標データを発生し、基本表示映像領域座標検出回路３０３、指示棒映像座標検出回路３０４及び指示棒陰影像座標検出回路３０５に出力する。
【００４８】
基本表示映像領域座標検出回路３０３は、指示棒映像抽出回路３０１からの識別信号ａａを受けて、座標発生回路３０６からの座標データを基準として、表示映像領域の座標データａｃｏを作成する。同様に、指示棒映像座標検出回路３０４及び指示棒陰影像抽出回路３０５はそれぞれ、指示棒４０の映像領域ｒｒ及び指示棒陰影４５の映像領域ｓｓを、指示棒映像座標データｒｃｏ及び指示棒陰影像座標データｓｃｏに変換する。
【００４９】
指示棒先端座標特定回路３０７は、棒状の座標集合でなる指示棒映像座標データｒｃｏと、表示映像領域の座標データａｃｏとから、指示棒先端の座標データｒｐｃｏを得る。同様に、指示棒陰影像先端座標特定回路３０８は、棒状の座標集合でなる指示棒陰影像座標データｓｃｏと、表示映像領域の座標データａｃｏとから、指示棒陰影像先端の座標データｓｐｃｏを得る。
【００５０】
指示棒先端座標変換回路３０９は、撮像系での座標系に従う指示棒先端座標データｒｐｃｏを、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｘｙに変換して出力する。同様に、指示棒陰影先端座標変換回路３１０は、撮像系での座標系に従う指示棒陰影像先端座標データｓｐｃｏを、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｉｊに変換して出力する。
【００５１】
このような両座標データｘｙ及びｉｊが与えられる先端座標間距離判定回路１２０（図３参照）は、これら入力座標データｘｙ及びｉｊから上記(1) 式に従う距離ｅを得て、この距離ｅを閾値距離と比較することで、指示棒４０のスクリーン３０面に対する接触、非接触を判定する。なお、表示映像領域における相対座標データに変換する前の座標データｒｐｃｏ及びｓｐｃｏを先端座標間距離判定回路１２０に与えて、指示棒４０のスクリーン３０面に対する接触、非接触を判定させるようにしても良い。この場合には、指示棒陰影先端座標変換回路３１０は不要となる。
【００５２】
次に、指示棒映像抽出回路３０１及び指示棒陰影像抽出回路３０２の動作について補足説明する。
【００５３】
両検出回路３０１及び３０２は、基本的には差分演算回路であり、背景データｂｇと前フレームのビデオデータｄｐとの差分から動いた部分の映像を抽出する。差分データには、ビデオデータと同期して動く映像の領域において振幅の変化があり、静止領域では両者のレベルが非常に近いために差分はほぼ０になると考えられる。
【００５４】
ここで、対象とする動く映像は指示棒４０及び指示棒の陰影像４５であり、差分絶対値をある閾値と比較して棒状の連続した画素の集合を検出し、孤立した検出座標を対象から除去し、隣接する検出画素間を補充することにより、画素の集合から棒状の画像を生成する。このようにすることにより、２種類の棒状画像が生成される。しかし、陰影像４５は背景映像より暗いのでビデオデータの値が小さいことから、陰影像４５に対する差分データ（すなわち遅延ビデオデータより背景ビデオデータを引いて得られるた差分データ）においては、負の成分が多くなる。この性質を利用して陰影像４５の棒状領域を指示棒４０の棒状領域と区別する。この区別に従って、指示棒映像抽出回路３０１は指示棒映像の棒状領域に対応して、指示棒陰影像抽出回路３０２は陰影像の棒状領域に対応して、それぞれビデオデータに同期したタイミングで指示棒及びその陰影像の領域を示すデータｒｒ及びｓｓを出力する。
【００５５】
なお、以上では、輝度レベルの相違で２種類の棒状領域を区別する考え方を示したが、指示棒４０を特定色に選定し、陰影像は黒成分画像となることとのカラー成分の相違を利用して２種類の棒状領域を識別するようにしても良い。
【００５６】
次に、このようにして得られた指示棒４０の映像領域データ、及び、指示棒の陰影像４５の領域データと、背景映像（表示映像領域）とから、指示棒先端座標と指示棒陰影像先端座標とを求める方法について、図７及び図８を参照しながら具体的に説明する。
【００５７】
まず、基本表示映像領域座標検出回路３０３が実行する背景データｄｐから基本表示映像領域の識別信号ａａを生成する方法について、図７を用いて説明する。図７（Ａ）において、ビデオカメラ１０２の有効撮陰影領域４０１内に、ビデオプロジェクタ１０１により照射された表示映像領域（ラスタ領域）４０２が存在する。今、ある水平走査ライン４０６の輝度レベル（背景データｂｇのレベル）Ｌｂｇを検討してみる。ここで、図７（Ｂ）がその輝度レベルの時間変化（水平方向での位置変化）を示している。ビデオデータｄｐの水平有効画素の開始タイミング（左端）Ｈtfs 及び終了タイミング（右端）Ｈtfe は、同期信号ｓとのタイミング関係が定まっているため、基準となるタイミングである。全体の撮像領域４０１の中に存在する長方形に近い形状の基本表示映像領域４０２は、ビデオ光線が照射されている領域であるので、ビデオ信号ＶＳ１の内容によって変動したとしても、その他の領域より輝度レベルは高い。そのため、基本表示映像領域４０２を識別するための閾値Ｔｈ１を定めて、この閾値Ｔｈ１を越える輝度レベルの最左端のタイミングＨtds 及び最右端のタイミングＨtde を検出して、その水平走査ライン４０６における水平方向の表示映像領域の境界座標とする。
【００５８】
垂直方向の検出についても、同様の方法で、基本表示映像領域４０２の上側及び下側の境界の対応する水平走査ラインを検出し、ライン番号を対応させることができる。
【００５９】
表示映像領域（ラスタ領域）４０２が撮像領域４０１内であってその中央部に位置するように、ビデオカメラ１０２のレンズ等の選択や調節がなされているため、以上のような方法によって、輝度レベルが周辺より高い長方形に近い表示映像領域４０２を困難なく検出することができる。
【００６０】
次に、各先端座標特定回路３０７、３０８による棒状の座標集合でなる座標データから、その先端の座標データを特定する方法について説明する。
【００６１】
上述した図７（Ａ）に示すように、指示棒の映像領域４０４及び指示棒陰影の映像領域４４０の先端位置は、指示機能から考えて、表示映像領域４０２の内部にあり、また、表示に影響しない位置に操作者が位置して指示するので、指示棒の映像領域４０４及び指示棒陰影の映像領域４４０の基本軸線（細線化された場合の座標データ群に対応する）は、表示映像領域４０２の周囲のいずれかの境界線と交差する。このような性質を利用して先端座標を決定している。
【００６２】
図８は、表示映像領域と棒状領域（指示棒映像領域又は指示棒陰影像領域）との関係を、８パターンに分類して示したものである。表示映像領域と棒状領域とは、上述したように交差しているので、共通する座標が存在する。
【００６３】
図８（Ａ）及び（Ｂ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の下辺Ｂにある場合である。この場合には、棒状領域の最上位置を先端と検出する。図８（Ｃ）及び（Ｄ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の右辺Ｒにある場合であり、この場合には、棒状領域の最左位置を先端と検出する。図８（Ｅ）及び（Ｆ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の左辺Ｌにある場合であり、この場合には、棒状領域の最右位置を先端と検出する。図８（Ｇ）及び（Ｈ）は、棒状領域が右上り及び左上りの相違はあるが、表示映像領域と棒状領域との交差点が、表示映像領域の上辺Ｔにある場合であり、この場合には、棒状領域の最下位置を先端と検出する。
【００６４】
図８では、棒状領域が右上り及び左上りまでを考慮して８パターンに分類して示したが、上述のように、交差位置に基づいた４パターンの分類で先端座標を特定することができる。
【００６５】
なお、表示映像領域は、ビデオプロジェクタ１０１及びスクリーン３０間の距離等によってその大きさや形状が変化するので、上述したように、先端座標データを表示映像領域内での位置に正規化（相対化）する必要がある。
【００６６】
（Ａ−２−３）ドローイング重畳部１５０の詳細構成
図９は、ドローイング重畳部１５０の詳細構成を示すブロック図であり、この図９を参照しながらドローイング重畳部１５０を詳細に説明する。
【００６７】
図９において、ドローイング重畳部１５０は、ビデオデータ選択用のアナログスイッチ５０１、ドローイング表示メモリ回路（その制御構成を含む）５０２、カラーパレット回路５０３、タイミング発生回路５０４、及び、黒レベル検出回路５０５から構成されている。
【００６８】
アナログスイッチ５０１には、表示制御ユニット（パーソナルコンピュータ）２０からのビデオ信号ＶＳ３（ここではアナログ信号を想定しているがビデオプロジェクタ部１０１の構成によってはデジタル信号であっても良い）における３原色信号Ｒ、Ｇ、Ｂが一方の選択入力端子に与えられると共に、他方の選択入力端子には、カラーパレット回路５０３が出力したドローイング用の３原色信号ＤＲ、ＤＧ、ＤＢが与えられる。さらに、アナログスイッチ５０１には、選択制御信号として、ドローイング表示メモリ回路５０２から出力されたドローイング選択信号ｄｇが与えられる。かくして、このアナログスイッチ５０１からは、ドローイング軌跡上のタイミングでドローイング用の３原色信号ＤＲ、ＤＧ、ＤＢを選択し、その他のタイミングで表示制御ユニット２０からの３原色信号Ｒ、Ｇ、Ｂを選択してビデオプロジェクタ１０１に与える。
【００６９】
なお、表示制御ユニット２０からの水平駆動信号ＨＤ及び垂直駆動信号ＶＤは、当該ドローイング重畳部１５０をそのまま通過してビデオプロジェクタ１０１に与えられる。
【００７０】
また、表示制御ユニット２０からの水平駆動信号ＨＤ及び垂直駆動信号ＶＤは、タイミング発生回路５０４に与えられる。タイミング発生回路５０４は、これら駆動信号（同期信号）に基づいて、垂直ブランキング期間をとらえて垂直ブランキング期間信号ｂｌｔを黒レベル検出回路５０５に与えると共に、上記駆動信号に基づいて、１フレーム内での画素位置情報を得て画素位置信号ｒｔを表示メモリ回路５０２に与える。
【００７１】
黒レベル検出回路５０５は、垂直ブランキング期間信号ｂｌｔがその期間を指示しているタイミングでの３原色信号Ｒ、Ｇ、Ｂが表しているレベル（黒レベル）を検出してその情報ＢＬをカラーパレット回路５０３に与え、カラーパレット回路５０３は、自己が発生する３原色信号ＤＲ、ＤＧ、ＤＢ３の基準となる黒レベルが、その黒レベル信号ＢＬと一致するようにクランプ動作して基準レベルを内部修正する。このようにして、表示制御ユニット２０からのビデオ信号ＶＳ３と、カラーパレット回路５０３からのビデオ信号との色調整が実行されている。
【００７２】
なお、表示制御ユニット２０からの映像信号が、３原色信号ではなく、複号映像信号であれば、黒レベル検出回路５０５部分はペデスタルレベル検出回路に置き換わる。また、デジタル映像信号が与えられる場合には、かかる処理構成は省略できる。
【００７３】
ドローイング表示メモリ回路５０２には、ポインティング検出部１００Ｂからのドローイングオンオフ信号ｄｒ、ドローイング座標データｃ３、ドローイング軌跡消去信号ｃｒ、ドローイング色信号ｃｓが与えられる。
【００７４】
ドローイング表示メモリ回路５０２は、ドローイングオンオフ信号ｄｒがオンを指示してときに与えられたドローイング座標データｃ３に基づいて、記憶しているフレーム内の所定画素をオン設定する（ｄｇ）と共に、その直前に与えられたドローイング色信号ｃｓの表示色ｄｃをそのドローイング座標データｃ３に対応させてを格納する。
【００７５】
また、ドローイング表示メモリ回路５０２は、ドローイング軌跡消去信号ｃｒが与えられたときには、格納している全てのドローイング座標データｃ３及びその表示色ｄｃを消去する。
【００７６】
ドローイング表示メモリ回路５０２は、タイミング発生回路５０４から画素位置信号ｒｔが与えられる毎に、その画素がオン設定されているか否かを判定し、オン設定されているときには、有意なドローイング選択信号ｄｇをアナログスイッチ５０１に与えると共に、その画素に割り当てられている表示色信号ｄｃをカラーパレット回路５０３に出力する。
【００７７】
以上のような各部構成でなるドローイング重畳部１５０によって、ドローイング軌跡が所望の表示色でスクリーン３０上に表示される。
【００７８】
（Ａ−３）第１実施例の動作
次に、第１実施例の動作を説明する。ビデオプロジェクタ１０１によって、所定の画像がスクリーン３０上に映写される。この際に、操作者が指示棒４０を用いて、表示内容の所定の位置を指示していると、ビデオカメラ１０２が撮像したビデオ信号ＶＳ２には、映写された表示内容だけでなく指示棒４０やその陰影４５の映像も含まれる。
【００７９】
このようなビデオ信号ＶＳ２は、デジタル化回路１０３によってデジタル信号に変換される。そして、フレームメモリ１０４によって遅延された前フレームのビデオデータｄｐと現フレームのビデオデータｄとによって、動き検出回路１０５が動領域と静止領域とを弁別し、この弁別結果に基づいて、背景メモリ回路１０６は、静止領域のビデオデータｄｐ（ビデオデータｄであっても良い）に対してのみ更新動作を行なう。
【００８０】
このようにして得られた指示棒４０やその陰影４５の映像を含まない背景データｂｇと、指示棒４０やその陰影４５の映像を含む現フレームのビデオデータｄとの相違に基づいて、先端座標検出回路１０７によって、指示棒４０の先端座標データ（指示ポイント）ｘｙと、その陰影４５の先端座標データｉｊとが得られる。
【００８１】
これらの両先端座標データｘｙ及びｉｊの距離が、先端座標間距離判定回路１２０によって求められ、閾値と比較されて、指示棒４０のスクリーン３０への接触、非接触を表すドローイングオンオフ信号ｄｒが得られる。
【００８２】
先端座標検出回路１０７からの指示ポイントの座標データｘｙは、先端座標変動判定回路１０８によって、その時間的変動内容が判定される。例えば、その時間変動が、表示制御ユニット２０（例えばパーソナルコンピュータ）に対する制御内容であれば、そのことを表す信号が表示制御ユニット２０に与えられる。
【００８３】
表示制御ユニット２０には、指示ポイントの座標データｘｙも与えられており、この指示ポイントの座標データｘｙと、与えられた制御内容とに基づいて、表示制御ユニット２０は、適宜処理を実行する。
【００８４】
例えば、アイコンを含むメニュー画像のビデオ信号ＶＳ３を表示処理部１００Ａに与えて表示させている状態において、ポインティングシステム本体ユニット１００（そのポインティング検出部１００Ｂ）から、所定のアイコン位置の指示ポイントの座標データｘｙと、その指示ポイントで指示棒４０が所定時間以上静止していることを表す制御内容が与えられると、表示制御ユニット２０はそのアイコンが選択されたと認識してそのアイコンに対応した処理を実行する。
【００８５】
また、先端座標変動判定回路１０８は、指示ポイントの静止を検出したときには、背景メモリ回路１０６に更新禁止信号ｃ１を与えてその更新を禁止させて、背景データｂｇに指示棒４０やその陰影４５のデータが含まれることを禁止させる。
【００８６】
先端座標変動判定回路１０８は、ドローイングオンオフ信号ｄｒがオンを指示しているときに与えられた指示ポイントの座標データを、表示処理部１００Ａにおけるビデオ信号（ＶＳ３又はＶＳ１）の座標系での座標データｃ３に変換してドローイング重畳部１５０に与える。さらに、指示ポイントの時間的変動がドローイング軌跡表示の表示色の変更やドローイング軌跡の消去を指示している場合には、そのことを指示する信号をドローイング重畳部１５０に与える。
【００８７】
ドローイング重畳部１５０においては、表示画素位置が、ドローイング軌跡上の位置になると、表示制御ユニット２０からのビデオ信号を、所定の表示色のドローイングビデオ信号に置き換えてビデオプロジェクタ１０１に与えて、スクリーン３０上にドローイング軌跡３４を表示させる。
【００８８】
（Ａ−４）第１実施例の効果
(1) 以上のように、第１実施例によれば、単なるスクリーン上に投影された映像上のポイントを指示棒で指示し、その撮像画像を画像処理して指示ポイントを電子化するので、操作者は、指示ポイントを視覚的に容易に確認できると共に、特別の操作技術の訓練を要することなく自然な態様でしかも片手で指示でき、操作性が非常に高い。このように、操作性が良好であるため、不特定の人が操作者となることができる。
【００８９】
(2) また、第１実施例によれば、操作者は、ポインティングシステム本体ユニットの位置を意識することなくスクリーン面に向かって操作でき、この点でも操作性が高いと共に、操作時の位置自由度も高い。
【００９０】
(3) さらに、第１実施例によれば、指示ポイントの時間的変動に所定の制御内容を任意に割り当てられるようにすると共に、その時間的変動の判定回路を設けたので、単に指示ポイントを電子化するだけでなく、操作制御内容等も電子化して出力でき、これにより、インタラクティブな操作も可能になり、使い勝手が格段的に高くなっている。
【００９１】
(4) さらにまた、第１実施例によれば、指示棒映像及び指示棒陰影像抽出のための背景メモリ回路を設け、動きのない領域のみを書き換えて、この静止領域のみでなる背景データを基準にして指示棒映像領域等を抽出するようにしたので、抽出精度が高く、その結果、指示ポイント等の指示情報の精度をかなり高くすることができる。
【００９２】
(5) また、第１実施例によれば、表示映像領域を識別して、その領域内の相対座標として指示ポイントを出力するので、投影画像の上下で拡大率が異なるような表示映像領域の形状が歪む場合等においても、妥当な座標データを得ることができる。
【００９３】
(6) さらに、第１実施例によれば、ビデオプロジェクタとビデオカメラの対物レンズを連動させているので、フォーカシングやズームを個別に行なうことは不要であり、この点でも使い勝手が良好である。
【００９４】
(7) さらにまた、第１実施例によれば、ビデオプロジェクタの光源の光学的位置とビデオカメラの視点が異なるように配置しているので、ビデオカメラ視点からスクリーン上に見える指示棒と指示棒の陰影は、指示棒がスクリーン面に接して置かれない限り決して同一に重なって見えることはなく、指示棒先端座標と指示棒陰影像の先端座標との距離により、指示棒先端のスクリーンとの接触状況を確実に検出することができる。
【００９５】
(8) また、第１実施例によれば、抽出した指示棒映像領域及び指示棒陰影像領域に基づいて、指示棒のスクリーン面の接触、非接触を検出してドローイングオンオフを判定すると共に、ドローイング重畳部を設けたので、ドローイング機能をも担えるシステムを構築でき、しかも、単なるポインティングとドローイングの切替えを容易に行なうことができる。
【００９６】
(9) さらに、第１実施例によれば、指示ポイントの時間的変動に所定のドローイング制御内容を割り当て、その時間的変動の判定回路を設けたので、ドローイング軌跡の消去や表示色の変更等の操作も容易に実行することができる。
【００９７】
（Ｂ）第２実施例
次に、本発明によるポインティングシステムの第２実施例を図面を参照しながら詳述する。
【００９８】
この第２実施例のポインティングシステムは、第１実施例とは異なり、大型のＣＲＴディスプレイや背面から投影するプロジェクションディスプレイ等の表示システムを対象としている。そのため、表示処理部（第１実施例の１００Ａに相当）と、ポインティング検出部（第１実施例の１００Ｂに相当）とは空間上離間して設置されている。
【００９９】
このような表示システムにおいては、指示棒の陰影がスクリーン（ＣＲＴディスプレイが適用されているとしてもこの第２実施例の説明ではスクリーンと呼ぶ）面に生じない。第２実施例は、指示棒の陰影がなくても、指示棒とスクリーン面との接触状況の検出を可能にしたものである。そのため、表示実行部としてビデオプロジェクタ（１０１）を適用しているか否かによっては第１実施例の表示処理部と内部構成は異なるが、その表示処理部には特徴はない。
【０１００】
そこで、以下では、第２実施例のポインティング検出部について詳述することとする。
【０１０１】
まず、図１０を用いて、この第２実施例における指示棒とスクリーン面との接触状況の検出原理について説明する。
【０１０２】
図１０において、この第２実施例においては、かかる検出を行なうために、２個のビデオカメラ１０２−１及び１０２−２を用いている。これら２個のビデオカメラ１０２−１及び１０２−２は、それらの視点位置Ｖ１及びＶ２が所定距離ｑだけ離間されて例えば上下に設置されている。また、両視点位置Ｖ１及びＶ２を結ぶ線分がスクリーン３０面に所定距離ｍ１だけ離間して平行になるように設置されている。なお、ビデオカメラ１０２−１及び１０２−２の撮像領域が、例えば垂直方向について一致するように示したように（Ｔ〜Ｂ）、同一になるように、その撮像方向が固定されている。
【０１０３】
スクリーン３０面に対して距離ｆだけ離間している指示棒の先端位置Ｒは、一方のビデオカメラ１０２−１からの視点位置Ｖ１からはスクリーン３０面の位置Ｎ１として撮像され、他方のビデオカメラ１０２−２からの視点位置Ｖ２からはスクリーン３０面の位置Ｎ２として撮像され、これら位置Ｎ１及びＮ２間には距離ｅ１だけの隔たりがある。
【０１０４】
ここで、３角形Ｖ１−Ｖ２−Ｒと３角形Ｎ１−Ｎ２−Ｒとは相似形であるので、距離ｅ１と、距離ｆとの間には下記(2) 式の関係が成立する。
【０１０５】
ｑ：ｅ１＝（ｍ１−ｆ）：ｆ
ｅ１＝ｑ・ｆ／（ｍ１−ｆ） …(2)
ここで、ｑは既知の値であり、ｍ１はｆよりかなり大きいので（ビデオカメラの対物レンズ位置情報を利用して既知の値としても処理できる）、ｅ１とｆとに単調増加関係（ほぼ比例）が成立している。すなわち、両ビデオカメラ１０２−１及び１０２−２の視点Ｖ１及びＶ２から見た指示棒先端位置Ｎ１及びＮ２間の距離ｅ１を捕らえることにより、距離ｆがほぼ０であるか（接触）否か（非接触）を検出できる。
【０１０６】
図１１は、このような接触検出原理が適用されている第２実施例のポインティング検出部の、先端座標変動判定回路（図３の符号１０８参照）だけを除いた構成を示す機能ブロック図である。なお、図１１では各ブロックが明確に分離されているように示しているが、これは説明の簡単化のためであり、複数のブロックの処理が融合して実行される構成もあり得る。
【０１０７】
各デジタル化回路６００−１、６００−２はそれぞれ、対応するビデオカメラ１０２−１、１０２−２からのビデオ信号の映像信号成分をデジタル信号ｖｄ１、ｖｄ２に変換するものである。なお、一方のデジタル化回路６００−１は、同期信号ｓｙを分離抽出し、他方の処理系のビデオカメラ１０２−２の外部同期モード端子にその同期信号ｓｙを与えて、両ビデオカメラ１０２−１及び１０２−２からのビデオ信号を同期化させるようにしている。
【０１０８】
可変シフト回路６０１、フレーム間相関判定回路６０２及び試行動きベクトル発生回路６０３は、両デジタル化回路６００−１及び６００−２からのビデオデータｖｄ１及びｖｄ２の空間的な位置合わせを信号処理により行なうものである。すなわち、フレーム間相関判定回路６０２がビデオデータｖｄ１と、ビデオデータｖｄ２に対応したシフトビデオデータｃｖｄ２のフレーム相関を検出し、その検出信号ｄｑの変化を見ながら、試行動きベクトル発生回路６０３が試行動きベクトル信号ｍｃｖを可変シフト回路６０１に与えて、可変シフト回路６０１がビデオデータｖｄ２の空間位置を平行移動したビデオデータｃｖｄ２を出力し、このような処理を繰返すことにより、ビデオデータｖｄ１とのフレーム相関が最も高いシフトビデオデータｃｖｄ２を得るものである。
【０１０９】
フレーム間相関判定回路６０２は、このような探索が終了したときには、空間的な位置合わせがなされたビデオデータｖｄ１とシフトビデオデータｃｖｄ２との間で、差分絶対値が所定閾値より大きい画素位置を認識して、その画素位置以外の画素位置にのみ更新を認める背景更新信号ｓｆを背景メモリ回路６０４に与える。
【０１１０】
この背景メモリ回路６０４には、ビデオデータｖｄ１が入力されており、背景メモリ回路６０４は、背景更新信号ｓｆが更新を許容している画素位置のビデオデータｖｄ１を書き込む。このようにして、画素相関がない指示棒の映像領域等を除いた背景のビデオデータｂｇが背景メモリ回路６０４に格納される。
【０１１１】
これ以降の処理系は、第１実施例とほぼ同様である。異なる点は、ビデオカメラ１０２−２に係るビデオデータｃｖｄ１における指示棒映像を、第１実施例における指示棒の陰影映像と同様に取り扱っている点である。
【０１１２】
座標発生回路６０５は、デジタル化回路６００−１からの同期信号ｓｙを基準に、ビデオデータｖｄ１（従ってｃｖｄ２）のタイミングに対応した座標データを発生し、基本表示映像領域座標検出回路６０７、第１及び第２の指示棒映像座標検出回路６１０−１及び６１０−２に出力する。
【０１１３】
基本表示映像領域識別回路６０６は、背景メモリ回路６０４からの背景データｂｇから、ビデオカメラ１０２−１（１０２−２）による撮像領域中の中央部のほぼ長方形の表示映像領域（ラスタ領域）を識別して、ビデオデータｖｄ１及びｃｖｄ２と同期した識別信号ａａを出力する。
【０１１４】
第１の差分演算回路６０８−１は、背景メモリ回路６０４からの背景データｂｇ及びデジタル化回路６００−１からのビデオデータｖｄ１の画素単位の差分を演算し、第１の指示棒映像抽出回路６０９−１は、その差分出力に基づいて、指示棒の映像領域ｒｒ１を抽出する。同様に、第２の差分演算回路６０８−２は、背景メモリ回路６０４からの背景データｂｇ及び可変シフト回路６０１からのビデオデータｃｖｄ１の画素単位の差分を演算し、第２の指示棒映像抽出回路６０９−２は、その差分出力に基づいて、指示棒の映像領域ｒｒ２を抽出する。
【０１１５】
基本表示映像領域座標検出回路６０７は、基本表示映像領域識別回路６０６からの識別信号ａａを受けて、座標発生回路６０５からの座標データを基準として、表示映像領域の座標データａｃｏを作成する。同様に、第１及び第２の指示棒映像座標検出回路６１０−１及び６１０−２はそれぞれ、指示棒の映像領域ｒｒ１及びｒｒ２を、指示棒映像座標データｒｃｏ１及びｒｃｏ２に変換する。
【０１１６】
第１及び第２の指示棒先端座標特定回路６１１−１及び６１１−２はそれぞれ、棒状の座標集合でなる指示棒映像座標データｒｃｏ１、ｒｃｏ２と、表示映像領域の座標データａｃｏとから、指示棒先端の座標データｒｐｃｏ１、ｒｐｃｏ２を得る。
【０１１７】
指示棒先端座標変換回路６１２は、撮像系での座標系に従う指示棒先端座標データｒｐｃｏ１を、表示映像領域座標データａｃｏに基づいて、表示映像領域内での相対座標データｘｙに変換して出力する。
【０１１８】
先端座標間距離判定回路１２０は、２個の指示棒先端の座標データｒｐｃｏ１及びｒｐｃｏ２間の上記(2) 式に従の距離ｅ１を得て、この距離ｅ１を閾値距離と比較することで、指示棒のスクリーン３０面に対する接触、非接触を表すドローイングオンオフ信号ｄｒを出力する。
【０１１９】
以下、第２のビデオデータｖｄ２の座標を平行移動させて、ちょうど２系統のビデオデータの大部分がぴったりと一致する遅延量を推定する回路構成６０１〜６０３の動作について補足説明する。
【０１２０】
試行動きベクトル発生回路６０３は、あらゆる大きさと方向の平行移動を試すために、試行動きベクトルｍｃｖを発生する。それぞれの試行動きベクトルの発生毎に、その試行動きベクトルにより可変シフト回路６０１のシフト量（平行移動量）を制御する。試行毎にこの可変シフト回路６０１からのビデオデータｃｖｄ２と、第１のビデオデータｖｄ１とはフレーム間相関判定回路６０２に入力され、フレーム間相関判定回路６０２は、両ビデオデータの画素単位での差分電力（例えば差分２乗）を算出し、予め設定した中央部（この場合、ビデオデータｖｄ１が基準となる）の固定面積の差分電力総和を歪み量ｄｇとして試行動きベクトル発生回路６０３に出力する。なお、中央部を用いるのは撮像領域が一致しない場合、周囲画素間の差分は大きくなるためである。
【０１２１】
この歪み量ｄｇが大きいほど相関度が低いことを意味しており、試行動きベクトル発生回路６０３は、この歪み量ｄｇの値を試行動きベクトルと対応させて評価し、最も歪み量ｄｇの小さい試行動きベクトルを最終的なベクトルとして決定し、可変シフト回路６０１のシフト量（平行移動量）を固定する。
【０１２２】
次に、シフト量が固定された状態で、画素単位の両ビデオデータ間の差分電力をある閾値と比較して、相関の高い場合に有意な背景更新信号ｓｆを背景メモリ回路６０４に書込み制御信号として出力する。
【０１２３】
有意な背景更新信号ｓｆの画素に対してのみ背景メモリ回路６０４の書換えを許可することにより、背景メモリ回路６０４には、映像が動く動かないのみならず、２系統のビデオデータのぴったり一致した画素のみ、すなわち表示画面上の映像だけが格納されたことになる。
【０１２４】
従って、この第２実施例のポインティングシステムによれば、上記第１実施例の効果(1) 〜(6) 及び(9) と同一の効果を奏すると共に、さらに以下の効果を得ることができる。
【０１２５】
第２実施例によれば、２個のビデオカメラの視点が異なるように配置しているので、２個のビデオカメラ視点からスクリーン上に見える指示棒は、指示棒がスクリーン面に接して置かれない限り決して同一に重なって見えることはなく、２個の指示棒先端座標間の距離により、指示棒先端のスクリーンとの接触状況を確実に検出することができる。
【０１２６】
また、第２実施例によれば、抽出した２個の指示棒映像領域に基づいて、指示棒のスクリーン面の接触、非接触を検出してドローイングオンオフを判定すると共に、ドローイング重畳部を設けたので、ドローイング機能をも担えるシステムを構築でき、しかも、単なるポインティングとドローイングの切替えを容易に行なうことができる。
【０１２７】
さらに、第２実施例によれば、ビデオカメラを２個用いて近接した２つの視点からのビデオデータを用いることができるようにして、表示ディスプレイ面が、投影スクリーン面であってもＣＲＴディスプレイ面等であっても良く、適用可能な表示ディスプレイの種類を多様にすることができる。
【０１２８】
さらにまた、第２実施例によれば、スクリーン面よりも離れた物体を動きと関係なく抽出できるため、第１実施例と異なり、表示映像が動画像であってもさらには指示棒の動きが静止した場合でも影響を受けない。また、スクリーン面上の映像と離れた物体が確実に分離できるため、仮に、ビデオプロジェクタでスクリーン上に投影した映像を用いるような環境においても、指示棒の陰影も人物の陰影も表示画面上の映像として指示棒と区別でき、指示棒の抽出性能に悪影響を与えない。
【０１２９】
（Ｃ）他の実施例
(1) 第１及び第２実施例においては、ビデオプロジェクタやビデオカメラ等がポインティングシステム専用のものを示したが、既存のビデオプロジェクタやオーバヘッドプロジェクタ等の表示装置に、ビデオカメラ等をアダプタとして取り付けることによってシステムを構成しても良い。
【０１３０】
(2) 第１及び第２実施例においては、指示棒とスクリーン（ＣＲＴディスプレイ面等を含む）との接触、非接触情報をドローイングのオンオフ情報として用いるものを示したが、接触、非接触情報を他の制御情報として利用するシステムであっても良い。
【０１３１】
(3) 表示処理構成は、上記各実施例のものに限定されず、その特徴構成を適用できるものであれば任意である。例えば、オーバーヘッドプロジェクタ構成やフラットディスプレイ構成等であっても良い。オーバーヘッドプロジェクタ構成であっても、その原稿載置面上にパーソナルコンピュータ等で制御される透過形の液晶パネルを適用した場合には、ドローイング機能を実現できる。フラットディスプレイ構成において、接触、非接触情報をポイント指示がなされたか否かとして利用するようにすれば、直接的な指示によるインタラクティブ操作のインタフェース技術として有効である。特許請求の範囲における「スクリーン」の用語は、表示面を意味し、フラットディスプレイ構成等の表示面も含むものである。
【０１３２】
なお、スクリーンと、表示処理部のビデオ信号の電気／光変換部との距離が大きい程、本発明システムを適用した効果はより大きい。例えば、ホームシアター用のビデオプロジェクタ等の場合には、上記距離が大きいので、本発明システムの適用効果は大きい。
【０１３３】
(4) 第１及び第２実施例においては、ドローイング重畳部を表示処理部内に設けたものを示したが、表示制御ユニット（例えばパーソナルコンピュータ）内にドローイング重畳部を設けるようにしても良い。同様に、先端座標変動判定回路も表示制御ユニット（例えばパーソナルコンピュータ）内に設けるようにしても良い。
【０１３４】
(5) 第１及び第２実施例においては、ドローイング軌跡の重畳をアナログ的に行なうものを示したが、デジタル的に行なうようにしても良い。この場合には、黒レベル検出回路等は不要となる。また、ドローイング軌跡の重畳も、表示ビデオ信号に対するドローイングビデオ信号の置き換えだけでなく、合成によって実現するものであっても良い。
【０１３５】
(6) 第１及び第２実施例においては、背景メモリ回路に格納されている背景データの見直しを常時行なうものを示したが、例えば、表示制御ユニットからのビデオ信号（表示画像）の変更情報を取込んで、変更された直後の撮像画像を背景メモリ回路に格納させて利用するようにしても良い。
【０１３６】
(7) ビデオカメラは、カラー撮像用のもの、白黒撮像用のものに限定されないことは勿論であり、さらには、特定色だけを通過させる色フィルタを前面に有するものであっても良い。また、その個数も上記各実施例のものに限定されない。例えば、第１実施例におけるビデオカメラを２台以上、第２実施例におけるビデオカメラを３台以上として、指示ポイント座標を複数得てその平均座標を最終的な指示ポイント座標とするようにしても良い。また、第２実施例の場合、２個のビデオカメラからのビデオ信号に基づいて、２個の指示ポイント座標を得て、その平均座標を最終的な指示ポイント座標とするようにしても良い。
【０１３７】
(8) 第１実施例の動き検出回路や、第２実施例の試行動きベクトル発生回路や可変シフト回路等に、１フレームを縦横に分割したブロック単位に処理するものを適用し、全体フレームの動きを推定するようにしても良い。このようにすると、動画像符号化用の既存の動き推定ＬＳＩを適用し得る。
【０１３８】
(9) 第１及び第２実施例においては、指示棒として直線的なものを示したが、曲線的なものであっても良い。また、先端が、丸、４角、星形等の特定形状を有するものであっても良い。この場合には、上記各実施例の先端座標（指示ポイント）の特定方法に加えて、又は、代えて、パターンマッチングによる先端座標の特定方法も利用できる。さらには、先端に高輝度又は所定色の発光体を取り付けたり、先端部の色だけを変えたりしたものであっても良い。また、人間の腕が指示棒の代りであっても良い。この場合にも、領域の細線化処理等によって指示棒と同様に取り扱うことができる。
【０１３９】
(10)第１及び第２実施例においては、各種閾値が固定値のものを示したが、ビデオカメラとスクリーンとの距離を規定する対物レンズの位置等に応じて、各種閾値を変更させるようなものであっても良い。
【０１４０】
(11)第１及び第２実施例においては、表示映像領域の情報を、一旦得た先端座標データを相対化させるために利用するものを示したが、表示映像領域の情報を、ビデオデータを所定の長方形に正規化させる情報として用い、このようにして正規化されたビデオデータを画像処理するようにしても良い。
【０１４１】
(12)ドローイングモードでなくても、指示ポイントにマーカを表示するシステムであっても良い。
【０１４２】
【発明の効果】
以上のように、本発明のポインティングシステムは、スクリーン上の位置を指示するための指示棒状体と、スクリーン面を撮像対象とし、撮像ビデオ信号を出力する撮像手段と、撮像ビデオ信号に基づいて、指示棒状体に関する少なくとも２個以上の領域情報を抽出する特定領域抽出手段と、抽出された１以上の領域情報から、指示棒状体による指示ポイント座標を得る指示ポイント検出手段と、抽出された２以上の領域情報から、指示棒状体とスクリーン面との接触、非接触を検出する接触検出手段とを有するので、大きなディスプレイ面（スクリーン面）であっても、操作者の位置自由度や操作性が高い、ドローイングモードか否か等の指示も容易にできるポインティングデバイスを実現できる。
【図面の簡単な説明】
【図１】第１実施例システムの各種要素の空間的な配置図である。
【図２】従来に係るリモコン装置のブロック図である。
【図３】第１実施例のポインティングシステム本体ユニットのブロック図である。
【図４】第１実施例の動き検出回路のブロック図である。
【図５】第１実施例の接触判定方法の原理説明図である。
【図６】第１実施例の先端座標検出回路のブロック図である。
【図７】第１実施例の表示映像領域の抽出方法の説明図である。
【図８】第１実施例の先端座標の特定方法の説明図である。
【図９】第１実施例のドローイング重畳部のブロック図である。
【図１０】第２実施例システムの各種要素の空間的な配置図である。
【図１１】第２実施例のポインティングシステム本体ユニットの要部構成を示すブロック図である。
【符号の説明】
２０…表示制御ユニット、３０…スクリーン（表示面）、３４…ドローイング軌跡、４０…指示棒、４５…指示棒陰影、１００…ポインティングシステム本体ユニット、１０１…ビデオプロジェクタ、１０２、１０２−１、１０２−２…ビデオカメラ、１０３、６００−１、６００−２…デジタル化回路、１０４…フレームメモリ、１０５…動き検出回路、１０６、６０４…背景メモリ回路、１０７…先端座標検出回路、１０８…先端座標変動判定回路、１２０…先端座標間距離判定回路、６０１…可変シフト回路、６０２…フレーム間相関判定回路、６０３…試行動きベクトル発生回路。
Claims (4)
- 表示ビデオ信号を電気／光変換してそのビデオ信号の画像をスクリーンに表示させる表示手段と、
上記スクリーン上の位置を指示するための指示棒状体と、
上記スクリーン面を撮像対象とし、撮像ビデオ信号を出力する撮像手段と、
撮像ビデオ信号に基づいて、上記指示棒状体に関する少なくとも２個以上の領域情報を抽出する特定領域抽出手段と、
抽出された１以上の領域情報から、上記指示棒状体による指示ポイント座標を得る指示ポイント検出手段と、
抽出された２以上の領域情報から、上記指示棒状体と上記スクリーン面との接触、非接触を検出する接触検出手段とを有し、
上記特定領域抽出手段が、複数のフレームの撮像ビデオ信号を用いた動き検出により背景領域を検出する背景検出部と、検出された背景領域の撮像ビデオ信号だけを格納する背景信号記憶部と、撮像ビデオ信号と上記背景信号記憶部からの背景信号との相違に基づいて、上記指示棒状体の映像領域の情報を抽出する指示棒状体領域抽出部と、撮像ビデオ信号と上記背景信号記憶部からの背景信号との相違に基づいて、上記指示棒状体の陰影の映像領域の情報を抽出する陰影領域抽出部とでなって、撮像ビデオ信号における上記指示棒状体の映像領域の情報と、撮像ビデオ信号における上記指示棒状体の陰影の映像領域の情報とを抽出し、
上記指示ポイント検出手段が、上記指示棒状体の映像領域情報から、上記指示棒状体による指示ポイント座標を得、
上記接触検出手段が、抽出された上記指示棒状体の映像領域情報と、上記指示棒状体の陰影の映像領域情報とから、上記指示棒状体と上記スクリーン面との接触、非接触を検出する
ことを特徴とするポインティングシステム。 - 上記表示手段に与える表示ビデオ信号の経路に設けられたドローイング重畳手段をさらに備え、このドローイング重畳手段が、上記接触検出手段による検出結果を、ドローイング軌跡の描画を実行するか否かの指示信号として取込むことを特徴とする請求項１に記載のポインティングシステム。
- 上記指示ポイント検出手段からの指示ポイント座標信号の時間的変動を、予め登録されている時間的変動パターンと照合し、合致する時間的変動パターンが検出されたときに、その時間的変動パターンに係る制御信号を出力する時間変動判定手段をさらに有することを特徴とする請求項１又は２に記載のポインティングシステム。
- 上記時間変動判定手段が登録する時間的変動パターン及び制御信号の組み合わせが、外部から更新可能であることを特徴とする請求項３に記載のポインティングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12624095A JP3729533B2 (ja) | 1995-05-25 | 1995-05-25 | ポインティングシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12624095A JP3729533B2 (ja) | 1995-05-25 | 1995-05-25 | ポインティングシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08320921A JPH08320921A (ja) | 1996-12-03 |
| JP3729533B2 true JP3729533B2 (ja) | 2005-12-21 |
Family
ID=14930269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12624095A Expired - Fee Related JP3729533B2 (ja) | 1995-05-25 | 1995-05-25 | ポインティングシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3729533B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9417712B2 (en) | 2012-05-18 | 2016-08-16 | Ricoh Company, Ltd. | Image processing apparatus, computer-readable recording medium, and image processing method |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11282083A (ja) | 1998-03-27 | 1999-10-15 | Minolta Co Ltd | プロジェクター装置 |
| JP2001222375A (ja) | 2000-02-08 | 2001-08-17 | Seiko Epson Corp | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
| JP3640156B2 (ja) | 2000-02-22 | 2005-04-20 | セイコーエプソン株式会社 | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
| NL1014538C2 (nl) * | 2000-03-02 | 2001-09-04 | Nedap Nv | Flexibel interactief grafisch gebruikersinterface. |
| JP4666808B2 (ja) * | 2000-07-27 | 2011-04-06 | キヤノン株式会社 | 画像表示システム、画像表示方法、及び記憶媒体、プログラム |
| CN100394366C (zh) * | 2001-04-09 | 2008-06-11 | 华邦电子股份有限公司 | 应用于计算机的撷取影像和操控光标的装置及方法 |
| JP4500036B2 (ja) * | 2003-11-18 | 2010-07-14 | 株式会社リコー | 画像投影表示装置、画像投影表示方法および画像投影表示プログラム |
| JP3880582B2 (ja) * | 2004-02-13 | 2007-02-14 | Ｎｅｃビューテクノロジー株式会社 | 複数のカメラを備えたプロジェクタ |
| JP2009032123A (ja) * | 2007-07-27 | 2009-02-12 | Hiroshima Industrial Promotion Organization | 画像処理装置、画像処理方法およびプログラム |
| CN104536623B (zh) * | 2009-03-25 | 2018-02-27 | 上海聚然智能科技有限公司 | 无线光学触摸屏系统及其用途 |
| JP5510907B2 (ja) * | 2009-12-01 | 2014-06-04 | 学校法人東京電機大学 | タッチ位置入力装置及びタッチ位置入力方法 |
| JP4858631B2 (ja) * | 2010-06-17 | 2012-01-18 | パナソニック株式会社 | 画像投影装置、判定方法及び判定プログラム |
| WO2014016994A1 (ja) * | 2012-07-26 | 2014-01-30 | 日本電気株式会社 | インターフェース装置、プログラム、及び制御方法 |
| WO2015075767A1 (ja) * | 2013-11-19 | 2015-05-28 | 日立マクセル株式会社 | 投射型映像表示装置 |
| WO2016092656A1 (ja) * | 2014-12-10 | 2016-06-16 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2016129489A1 (ja) * | 2015-02-10 | 2016-08-18 | シャープ株式会社 | 表示装置、表示装置の制御方法、制御プログラム、記録媒体 |
| GB201807749D0 (en) * | 2018-05-13 | 2018-06-27 | Sinden Andrew James | A control device for detection |
| CN112887430B (zh) * | 2021-03-12 | 2022-12-20 | 深圳市环阳通信息技术有限公司 | 居家健康管理装置 |
-
1995
- 1995-05-25 JP JP12624095A patent/JP3729533B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9417712B2 (en) | 2012-05-18 | 2016-08-16 | Ricoh Company, Ltd. | Image processing apparatus, computer-readable recording medium, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08320921A (ja) | 1996-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3729533B2 (ja) | ポインティングシステム | |
| JP3909554B2 (ja) | プレゼンテーション制御システム及びその制御方法 | |
| US6788289B2 (en) | System and method of pointed position detection system, projector and program | |
| JP3938257B2 (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| KR950011822B1 (ko) | 입체 영상을 발생시키기 위한 장치 및 그 방법 | |
| KR20010020668A (ko) | 컴퓨터-생성 투사 영상의 캘리브레이션을 위한 방법 및 장치 | |
| CN106851234B (zh) | 投影仪以及投影仪的控制方法 | |
| JPH08331667A (ja) | ポインティングシステム | |
| JP2009205556A (ja) | ユーザインタフェース装置 | |
| KR101691880B1 (ko) | 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법 | |
| CN107817924B (zh) | 显示装置和显示装置的控制方法 | |
| JP2004535610A (ja) | カメラビュー内の制御可能なディスプレイの前にある物体の位置の決定のための前景および背景画像データのロバストな分離のためのシステムおよび方法 | |
| JP4848521B2 (ja) | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム | |
| CN101405763B (zh) | 用于获取实时视频输出的对象的多个视图的方法和系统 | |
| US20120062593A1 (en) | Image display apparatus | |
| JP4572190B2 (ja) | 物体検出装置 | |
| JP2013080266A (ja) | 入力装置 | |
| JP2000081950A (ja) | 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム | |
| JP4836878B2 (ja) | 画像識別表示装置及び画像識別表示方法 | |
| JP6726889B2 (ja) | 映像表示システム | |
| JPH1063421A (ja) | ディスプレイの座標入力方法及びディスプレイ装置 | |
| KR100457302B1 (ko) | 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 | |
| JP2007287093A (ja) | 移動体検出装置、方法、及びプログラム | |
| KR100596140B1 (ko) | 카메라를 내장한 리모트 컨트롤 장치 및 이를 이용한포인팅 방법 | |
| TW201638719A (zh) | 遙控裝置與根據至少一靜態手勢產生控制指令的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081014 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |