JPH08320921A - ポインティングシステム - Google Patents

Abstract

(57)【要約】 【目的】 操作者の位置自由度や操作性が高い、ドロー
イングモードか否か等の指示も容易にできるポインティ
ングデバイスを実現する。 【構成】 表示手段１０１によって、表示ビデオ信号の
画像がスクリーン３０に表示される。このようなスクリ
ーン上の表示画像の任意位置が、操作者によって、指示
棒状体４０を介して指示される。このようなスクリーン
面の像が、撮像手段１０２によって撮像される。そし
て、特定領域抽出手段１００が、この撮像ビデオ信号に
基づいて、指示棒状体に関する少なくとも２個以上の領
域情報（４０及び４５についての情報）を抽出し、指示
ポイント検出手段１００が、抽出された１以上の領域情
報から、指示棒状体による指示ポイント座標を得る。ま
た、接触検出手段１００が、抽出された２以上の領域情
報から、指示棒状体とスクリーン面との接触、非接触を
検出し、制御信号として出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はポインティングシステム
に関し、特に、表示面から離れた位置からの指示を取込
めると共に、ドローイング機能にも容易に対応できるよ
うにしたものである。

【０００２】

【従来の技術】従来、コンピュータのディスプレイ面に
対するポインティングデバイスとしてはマウスやキーボ
ードが用いられ、ディスプレイ面上の位置を直接指し示
すことが要求される場合にはタッチパネルやライトペン
等のポインティングデバイスが用いられていた。

【０００３】ところで、プレゼンテーション等の複数の
人が同時に表示内容を目視するような場合には、大画面
のテレビジョン画面やビデオプロジェクタが利用され、
このようなディスプレイ面に対しては、ディスプレイ面
から離れた位置から、ディスプレイ面上のポイントを指
示する利用形態が多い。このような環境下では、タッチ
パネルやライトペン等のポインティングデバイスを用い
ることはできず、ワイヤレスのマウスやキーボードをポ
イントデバイスとして用いて実現することになる。しか
し、マウスやキーボードを用いる場合には、その操作の
ための台が必要であり、プレゼンテーション等を行なっ
ている際には、プレゼンタの位置の制約を与える。

【０００４】そのため、操作者の位置自由度を高めるこ
とができるポインティングデバイスが望まれている。

【０００５】従来、このような操作者の位置自由度を高
めることができるポインティングデバイスとして、特開
平６−１５３２８０号公報に記載のリモコン装置が提案
されている。図２は、かかるリモコン装置の構成を示す
ものである。

【０００６】このリモコン装置は、大きくは、送信側の
リモコン送信部と、受信側の受信・信号処理部とから構
成されている。

【０００７】リモコン送信部のキー入力部１１の電源ス
イッチが押下されると、制御ＩＣ１２はＲＧＢ発光部１
０からＲＧＢ原色信号を等強度で同一方向に向けて発光
させる。ここで、ＲＧＢ発光部１０内の各原色信号に対
応した発光素子の配置と、受信・信号処理部のＲＧＢセ
ンサ１の各原色信号に対応した受光素子の配置とは、リ
モコン送信部が左右上下に移動された場合に、各原色信
号に対応した受光素子の受光量が異なるようになされて
いる。そのため、Ａ／Ｄ変換部２を介した３原色信号の
受光量レベルの成分比を、制御部７が演算部４によって
計算させた後、予めメモリ３に格納されている成分比と
移動情報（方向及び量）又は位置情報との対応データを
参照することにより移動情報又は位置情報を得、これに
応じて、制御部７がキャラゼネ５を駆動して表示画面６
上のカーソル等のマーカを移動させる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記リ
モコン装置は、各原色信号に対応した受光素子のレベル
変化とリモコン送信部の左右上下の移動量との関係を操
作者が完全に習得するのは容易ではなく、バー表示の音
量等の単純な選択ならば実用的であるが、ディスプレイ
面全体を移動範囲とするようなポインティングデバイス
としては、所定位置にマーカを到達させる操作が容易で
はなく、操作性上不十分である。

【０００９】また、リモコン送信部の向きは、基本的に
はＲＧＢセンサに向けられ、マーカの位置から離れてい
るので、プロジェクタスクリーン面等を対象とした場合
には操作し難いものである。すなわち、ビデオプロジェ
クタの場合には、マーカが表示されるスクリーン面に対
向するプロジェクタ本体に向けて送信しなければならな
い。さらに、操作者はＲＧＢセンサに向けて送信するこ
とを要し、受信側構成の位置が制約されてしまう。

【００１０】さらに、上記リモコン装置は、ポインティ
ング機能の実現だけを対象としており、表示画像上の文
章にマークを残したり、重ね書きしたりするドローイン
グ機能には対応できない。そのため、このようなリモコ
ン装置を利用してドローイング機能を実現しようとする
と、ポインティングデバイスとしての当該リモコン装置
とは別個の装置によらなければならない。例えば、ディ
スプレイ装置へのビデオ信号を発生するパーソナルコン
ピュータがドローイング機能をサポートしなければなら
ない。また、リモコン送信部に、マーカを単に移動させ
る操作か、移動軌跡を残すドローイングの操作かを区別
する制御スイッチ等を設けなければならない。

【００１１】そのため、大きなディスプレイ面（スクリ
ーン面）であっても、操作者の位置自由度や操作性が高
い、ドローイングモードか否かの指示も容易にできるポ
インティングデバイスが望まれている。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め、本発明のポインティングシステムは、(A) 表示ビデ
オ信号を電気／光変換してそのビデオ信号の画像をスク
リーンに表示させる表示手段と、(B) スクリーン上の位
置を指示するための指示棒状体と、(C) スクリーン面を
撮像対象とし、撮像ビデオ信号を出力する撮像手段と、
(D) 撮像ビデオ信号に基づいて、指示棒状体に関する少
なくとも２個以上の領域情報を抽出する特定領域抽出手
段と、(E) 抽出された１以上の領域情報から、指示棒状
体による指示ポイント座標を得る指示ポイント検出手段
と、(F) 抽出された２以上の領域情報から、指示棒状体
とスクリーン面との接触、非接触を検出する接触検出手
段とを有することを特徴とする。

【００１３】

【作用】本発明のポインティングシステムにおいては、
表示手段によって、表示ビデオ信号の画像がスクリーン
に表示される。このようなスクリーン上の表示画像の任
意位置が、操作者によって、指示棒状体を介して指示さ
れる。

【００１４】このようなスクリーン面の像が、撮像手段
によって撮像される。そして、特定領域抽出手段が、こ
の撮像ビデオ信号に基づいて、指示棒状体に関する少な
くとも２個以上の領域情報を抽出し、指示ポイント検出
手段が、抽出された１以上の領域情報から、指示棒状体
による指示ポイント座標を得る。また、接触検出手段
が、抽出された２以上の領域情報から、指示棒状体とス
クリーン面との接触、非接触を検出し、制御信号として
出力する。

【００１５】従って、スクリーン面が大きな画面であっ
ても、操作者の任意位置からの自然な指示操作に応じた
指示ポイントの情報を電子化できると共に、指示棒状体
をスクリーン面に接触させるか否かという簡単な操作で
少なくとも１個の制御信号（例えばドローイングオンオ
フ信号）を生成させることができるようになる。

【００１６】

【実施例】

（Ａ）第１実施例 以下、本発明によるポインティングシステムを、ビデオ
プロジェクタ表示システムに適用した第１実施例を図面
を参照しながら詳述する。

【００１７】（Ａ−１）第１実施例の空間的な要素配置 この第１実施例のポインティングシステムは、ポインテ
ィングシステム本体ユニット１００と、表示制御ユニッ
ト２０と、スクリーン（表示画面）３０と、指示棒４０
とを構成要素としている。ポインティングシステム本体
ユニット１００は、ビデオプロジェクタ１０１及びポイ
ンティング検出用のビデオカメラ１０２を備えている。

【００１８】ポインティングシステム本体ユニット１０
０内において、パーソナルコンピュータ等でなる表示制
御ユニット２０からのビデオ信号に対して、適宜ドロー
イング軌跡信号を重畳し、ビデオプロジェクタ１０１か
らスクリーン３０に照射させる。これにより、表示制御
ユニット２０からのビデオ信号の画像がスクリーン３０
に表示されると共に、ドローイング表示モードであれば
ドローイング軌跡３４も表示される。また、指示棒４０
の陰影４５もスクリーン３０に現われる。例えば、カラ
ー撮像のポインティング検出用ビデオカメラ１０２は、
このようなスクリーン３０の画像を撮像する。ポインテ
ィングシステム本体ユニット１００内においては、後述
する構成によって、このような撮像画像から、指示棒４
０の先端位置や、指示棒４０の先端がスクリーン３０に
接していること等を捕らえて、表示制御ユニット２０か
らのビデオ信号に、ドローイング軌跡の信号を適宜重畳
して、スクリーン３０にドローイング軌跡３４を表示さ
せる。

【００１９】（Ａ−２）ポインティングシステム本体ユ
ニット１００の詳細構成 図３は、ポインティングシステム本体ユニット１００の
内部詳細構成を示すブロック図である。

【００２０】ポインティングシステム本体ユニット１０
０は、大きくは、表示処理部１００Ａと、ポインティン
グ検出部１００Ｂとから構成されている。

【００２１】表示処理部１００Ａにおいて、ビデオ入力
コネクタＪ１を介した表示制御ユニット２０からのビデ
オ信号ＶＳ３は、ドローイング重畳部１５０に与えられ
る。ドローイング重畳部１５０は、ポインティング検出
部１００Ｂからの信号に基づいて、このビデオ信号ＶＳ
３に、ドローイング軌跡を適宜重畳し、重畳処理後のビ
デオ信号ＶＳ１をビデオプロジェクタ１０１に与える。
ビデオプロジェクタ１０１には、他の回路部分より高圧
の電源電圧ＰＳが供給されている。ビデオプロジェクタ
１０１は、入力ビデオ信号ＶＳ１を映像光に変換してス
クリーン３０に照射させる。

【００２２】ポインティング検出部１００Ｂにおいて、
ポインティング検出用ビデオカメラ１０２は、スクリー
ン３０を含む画像をビデオ信号ＶＳ２に変換するもので
あり、得られたビデオ信号ＶＳ２を、デジタル化回路１
０３に与えるものである。

【００２３】なお、詳細構成の図示は省略しているが、
ビデオプロジェクタ１０１の対物レンズとビデオカメラ
１０２の対物レンズとは連動してフォーカシングやズー
ムを実現する機構になっており（図３の符号ＺＺＺはこ
のことを表している）、照射画像と撮像画像との良好な
対応を確保するようになっている。

【００２４】デジタル化回路１０３は、入力されたビデ
オ信号ＶＳ２をデジタル信号に変換すると共に、水平、
垂直の同期信号等をビデオ信号ＶＳ２から分離するもの
である。デジタル化回路１０３は、分離した同期信号ｓ
を、ポインティング検出部１００Ｂ内の各部に供給し、
また、デジタル化したビデオデータｄを、前フレーム用
フレームメモリ１０４、動き検出回路１０５及び先端座
標検出回路１０７に与える。

【００２５】フレームメモリ１０４は、１フレーム遅延
回路として機能するものであり、デジタル化回路１０３
から出力されているビデオデータｄに同期して、その１
フレーム前の同一画素位置のビデオデータｄｐを動き検
出回路１０５及び背景メモリ回路１０６に出力するもの
である。

【００２６】動き検出回路１０５は、相前後するフレー
ムの同一画素データ間の差分絶対値を閾値と比較して変
動があった画素の座標を推定し、変動の有無を表す動き
検出信号ｍを背景メモリ回路１０６に与えるものであ
る。

【００２７】背景メモリ回路１０６は、動き検出信号ｍ
が変動なしを示している画素に係るフレームメモリ１０
４からのビデオデータ（画素データ）ｄｐを書込むと共
に、動き検出信号ｍが変動ありを示している画素につい
てはビデオデータｄｐの書込みを禁止するものである。
すなわち、背景メモリ回路１０６は、撮像画像の背景を
表す背景データｂｇを格納するものである。この背景デ
ータｂｇは、先端座標検出回路１０７に与えられる。

【００２８】先端座標検出回路１０７は、現ビデオデー
タｄと背景データｂｇとのフレーム間差分（ｄ−ｂｇ）
を含む画像処理により、指示棒４０の先端位置の座標デ
ータ、すなわち指示ポイントの座標データｘｙと、指示
棒４０の陰影４５の先端位置の座標データｉｊを検出す
るものである。指示ポイントの座標データｘｙは、先端
座標変動判定回路１０８、先端座標間距離判定回路１２
０に与えられると共に、コネクタＣＮ１を介して表示制
御ユニット（例えばパーソナルコンピュータ）２０に与
えられる。一方、指示棒４０の陰影４５の先端位置の座
標データｉｊは、先端座標間距離判定回路１２０に与え
られる。

【００２９】先端座標間距離判定回路１２０は、入力さ
れた２種類の座標データｘｙ及びｉｊの距離を求め、そ
の算出距離を閾値と比較することを通じて、指示棒４０
がスクリーン３０に接しているか（閾値より小）否か
（閾値より大）を判定するものである。この第１実施例
の場合、指示棒４０がスクリーン３０に接していること
をドローイング軌跡の描画条件としており、先端座標間
距離判定回路１２０は、接触、非接触を表す信号をドロ
ーイングオンオフ信号ｄｒとして、表示処理部１００Ａ
のドローイング重畳部１５０に与える。ドローイングオ
ンオフ信号ｄｒはまた、先端座標変動判定回路１０８に
与えられる。

【００３０】先端座標変動判定回路１０８は、コネクタ
ＣＮ２を介して、表示制御ユニット２０と双方向に制御
データｃ２を授受できるようになされている。先端座標
変動判定回路１０８は、指示ポイントの座標データｘｙ
の時間的変動を検出するものである。時間的な変動とし
ては、「一定時間静止」、「小刻みに変動する」、「Ｖ
字状に変動する」、「○状に変動する」等があり、それ
ぞれ特定の制御内容に対応付けられている。なお、２個
の静止時間にはさまれたこれら変動軌跡の識別には、座
標データ群から軌跡を捕らえるオンライン文字認識技術
等に適用されている軌跡特定方法を適用すれば良い。ま
た、軌跡の認識のもととなる制御データ（登録変動パタ
ーン等）は、表示制御ユニット２０から適宜与えられて
登録されるようになされている。

【００３１】この先端座標変動判定回路１０８は、大き
くは、３個の機能を担っている。

【００３２】第１は、指示ポイントの静止を検出したと
きには、背景メモリ回路１０６に更新禁止信号ｃ１を与
えてその更新を禁止させることである。かかる処理を実
行しない場合には、背景データｂｇに指示棒４０やその
陰影４５のデータも含まれ、先端座標検出回路１０７に
おける検出精度が低下する恐れがあるので、更新を禁止
する。

【００３３】第２は、ドローイング重畳部１５０に対す
る各種信号を生成する。ドローイングオンオフ信号ｄｒ
がオンを指示しているときに与えられた指示ポイントの
座標データを、表示処理部１００Ａにおけるビデオ信号
（ＶＳ３又はＶＳ１）の座標系での座標データｃ３に変
換してドローイング重畳部１５０に与える。指示ポイン
トの時間的変動がドローイング軌跡表示の表示色の変更
を指示している場合には、そのドローイング色信号ｃｓ
をドローイング重畳部１５０に与える。指示ポイントの
時間的変動がドローイング軌跡の消去を指示している場
合には、その消去信号ｃｒをドローイング重畳部１５０
に与える。なお、表示色変更や消去を指示する時間的変
動は、特定形状であっても良く、また、特定座標におけ
る所定時間の静止であっても良い。

【００３４】第３は、表示制御ユニット２０に対する各
種信号を生成する。例えば、所定時間静止している場合
には、マウスがクリックされたと同様なデータを表示制
御ユニット２０に与えたり、時間的変動軌跡が特定形状
の場合には、マウスがダブルクリックされたと同様なデ
ータを表示制御ユニット２０に与えたりする。

【００３５】（Ａ−２−１）動き検出回路１０５ 図４は、上述した動き検出回路１０５の詳細構成を示す
ものである。動き検出回路１０５は、第１及び第２の空
間フィルタ２００及び２０１、差分絶対値回路２０２、
閾値比較回路２０３、２個のフレーム遅延回路２０４及
び２０５、論理積回路２０６から構成されている。

【００３６】現フレーム及び前フレームのビデオデータ
（処理対象の画素データ）ｄ及びｄｐはそれぞれ、対応
する空間フィルタ２００及び２０１によって、周辺画素
データを用いた空間周波数帯域の制限処理が施されて、
ノイズの影響やタイミングの揺れ等の影響が軽減され
る。差分絶対値回路２０２は、かかる処理後の現フレー
ム及び前フレームの画素データの差分絶対値を算出して
閾値比較回路２０３に与える。閾値比較回路２０３は、
この差分絶対値を所定の閾値と比較し、画素単位にフレ
ーム間の相関を評価し、動いた画素に対しては“０”、
静止領域の画素に対しては“１”なる判定結果ｍｎを出
力する。この判定結果ｍｎは、２個のフレーム遅延回路
２０４及び２０５の縦続接続段に入力され、これによ
り、連続する３フレーム分の判定結果（ｍｎ）が取出さ
れて論理積回路２０６に入力される。論理積回路２０６
は、連続する３フレーム分の判定結果（ｍｎ）を正論理
の論理積処理して、動き検出信号ｍとして出力する。

【００３７】以上のように、空間フィルタ２００及び２
０１を用いているのでノイズ等の悪影響を受けずに動き
検出できると共に、連続する３フレームの検出結果の論
理積をとっているので、確実に動かない画素のタイミン
グにおいてのみ静止を表す動き検出信号ｍを出力するこ
とができる。

【００３８】（Ａ−２−２）先端座標検出回路１０７及
び先端座標間距離判定回路１２０ 上述したように、この第１実施例においては、指示棒４
０がスクリーン３０面に接触しているか否かをドローイ
ングのオンオフ指令情報として利用している。そして、
指示棒４０がスクリーン３０面に接触しているか否かを
指示棒４０の先端座標（指示ポイント）と指示棒陰影４
５の先端座標の距離によって、判定している。

【００３９】ここではまず、指示棒４０の先端座標（指
示ポイント）と指示棒陰影４５の先端座標の距離によっ
て、指示棒４０がスクリーン３０面に接触しているか否
かを判定できることを、図５を参照しながら説明する。

【００４０】図５において、ビデオプロジェクタ１０１
の光源位置Ｌとビデオカメラ１０２の視点Ｖとを結ぶ線
分（その長さをｐとする）が、スクリーン３０面に平行
になるように（距離をｍとする）、ポインティングシス
テム本体ユニット１００が置かれている。スクリーン３
０面より距離ｇだけ前に位置する指示棒４０の実際の先
端Ｒはビデオカメラ１０２の視点Ｖから見ると、スクリ
ーン３０上のＮなる位置に見える。一方、指示棒陰影４
５の先端位置Ｓは、ビデオプロジェクタ１０１の光源位
置Ｌと実際の指示棒先端位置Ｒとを結ぶ直線とスクリー
ン３０面との交差位置になる。ここで、ビデオカメラ１
０２の視点Ｖから見た指示棒先端位置Ｎと、指示棒陰影
４５の先端位置Ｓとの距離ｅについては、３角形Ｖ−Ｌ
−Ｒと３角形Ｎ−Ｓ−Ｒとが相似形であることから、下
記(1) 式が成立する。

【００４１】 ｐ：ｅ＝（ｍ−ｇ）：ｇ ｅ＝ｐ・ｇ／（ｍ−ｇ） …(1) ここで、ｐは既知の値であり、ｍはｇよりかなり大きい
ので（ビデオプロジェクタ１０１の対物レンズ位置情報
を利用して既知の値としても処理できる）、ｅとｇとに
単調増加関係（ほぼ比例）が成立している。すなわち、
ビデオカメラ１０２の視点Ｖから見た指示棒先端位置Ｎ
と、指示棒陰影４５の先端位置Ｓとの距離ｅを捕らえる
ことにより、距離ｇがほぼ０であるか（接触）否か（非
接触）を検出できる。

【００４２】このようにドローイングのオンオフ指令を
識別できるようにすべく、先端座標検出回路１０７は、
指示棒先端位置（指示ポイント）Ｎの座標データｘｙだ
けでなく、指示棒陰影先端位置Ｓの座標データｉｊをも
検出するようにしている。

【００４３】図６は、先端座標検出回路１０７の内部構
成を示す機能ブロック図である。なお、一部ソフトウェ
ア処理が利用されており、ソフトウェア処理からは複数
の機能が融合されて行なわれているが、ここでは、説明
の簡単化のために、明確に分けた機能ブロック図で説明
する。

【００４４】図６において、先端座標検出回路１０７
は、基本表示映像領域識別回路３００、指示棒映像抽出
回路３０１、指示棒陰影像抽出回路３０２、基本表示映
像領域座標検出回路３０３、指示棒映像座標検出回路３
０４、指示棒陰影像座標検出回路３０５、座標発生回路
３０６、指示棒先端座標特定回路３０７、指示棒陰影先
端座標特定回路３０８、指示棒先端座標変換回路３０９
及び指示棒陰影先端座標変換回路３１０から構成されて
いる。

【００４５】基本表示映像領域識別回路３００は、背景
メモリ回路１０６からの背景データｂｇから、ビデオカ
メラ１０１による撮像領域中の中央部のほぼ長方形の表
示映像領域（ラスタ領域）を識別して、ビデオデータｄ
と同期した識別信号ａａを出力する。

【００４６】指示棒映像抽出回路３０１は、背景メモリ
回路１０６からの背景データｂｇ及び前フレームのビデ
オデータｄｐから、指示棒４０の映像領域ｒｒを抽出す
る。同様に、指示棒陰影像抽出回路３０２は、背景メモ
リ回路１０６からの背景データｂｇ及び現フレームのビ
デオデータｄから、指示棒陰影４５の映像領域ｓｓを抽
出する。

【００４７】座標発生回路３０６は、デジタル化回路１
０３からの同期信号ｓを基準に、ビデオデータｄのタイ
ミングに対応した座標データを発生し、基本表示映像領
域座標検出回路３０３、指示棒映像座標検出回路３０４
及び指示棒陰影像座標検出回路３０５に出力する。

【００４８】基本表示映像領域座標検出回路３０３は、
指示棒映像抽出回路３０１からの識別信号ａａを受け
て、座標発生回路３０６からの座標データを基準とし
て、表示映像領域の座標データａｃｏを作成する。同様
に、指示棒映像座標検出回路３０４及び指示棒陰影像抽
出回路３０５はそれぞれ、指示棒４０の映像領域ｒｒ及
び指示棒陰影４５の映像領域ｓｓを、指示棒映像座標デ
ータｒｃｏ及び指示棒陰影像座標データｓｃｏに変換す
る。

【００４９】指示棒先端座標特定回路３０７は、棒状の
座標集合でなる指示棒映像座標データｒｃｏと、表示映
像領域の座標データａｃｏとから、指示棒先端の座標デ
ータｒｐｃｏを得る。同様に、指示棒陰影像先端座標特
定回路３０８は、棒状の座標集合でなる指示棒陰影像座
標データｓｃｏと、表示映像領域の座標データａｃｏと
から、指示棒陰影像先端の座標データｓｐｃｏを得る。

【００５０】指示棒先端座標変換回路３０９は、撮像系
での座標系に従う指示棒先端座標データｒｐｃｏを、表
示映像領域座標データａｃｏに基づいて、表示映像領域
内での相対座標データｘｙに変換して出力する。同様
に、指示棒陰影先端座標変換回路３１０は、撮像系での
座標系に従う指示棒陰影像先端座標データｓｐｃｏを、
表示映像領域座標データａｃｏに基づいて、表示映像領
域内での相対座標データｉｊに変換して出力する。

【００５１】このような両座標データｘｙ及びｉｊが与
えられる先端座標間距離判定回路１２０（図３参照）
は、これら入力座標データｘｙ及びｉｊから上記(1) 式
に従う距離ｅを得て、この距離ｅを閾値距離と比較する
ことで、指示棒４０のスクリーン３０面に対する接触、
非接触を判定する。なお、表示映像領域における相対座
標データに変換する前の座標データｒｐｃｏ及びｓｐｃ
ｏを先端座標間距離判定回路１２０に与えて、指示棒４
０のスクリーン３０面に対する接触、非接触を判定させ
るようにしても良い。この場合には、指示棒陰影先端座
標変換回路３１０は不要となる。

【００５２】次に、指示棒映像抽出回路３０１及び指示
棒陰影像抽出回路３０２の動作について補足説明する。

【００５３】両検出回路３０１及び３０２は、基本的に
は差分演算回路であり、背景データｂｇと前フレームの
ビデオデータｄｐとの差分から動いた部分の映像を抽出
する。差分データには、ビデオデータと同期して動く映
像の領域において振幅の変化があり、静止領域では両者
のレベルが非常に近いために差分はほぼ０になると考え
られる。

【００５４】ここで、対象とする動く映像は指示棒４０
及び指示棒の陰影像４５であり、差分絶対値をある閾値
と比較して棒状の連続した画素の集合を検出し、孤立し
た検出座標を対象から除去し、隣接する検出画素間を補
充することにより、画素の集合から棒状の画像を生成す
る。このようにすることにより、２種類の棒状画像が生
成される。しかし、陰影像４５は背景映像より暗いので
ビデオデータの値が小さいことから、陰影像４５に対す
る差分データ（すなわち遅延ビデオデータより背景ビデ
オデータを引いて得られるた差分データ）においては、
負の成分が多くなる。この性質を利用して陰影像４５の
棒状領域を指示棒４０の棒状領域と区別する。この区別
に従って、指示棒映像抽出回路３０１は指示棒映像の棒
状領域に対応して、指示棒陰影像抽出回路３０２は陰影
像の棒状領域に対応して、それぞれビデオデータに同期
したタイミングで指示棒及びその陰影像の領域を示すデ
ータｒｒ及びｓｓを出力する。

【００５５】なお、以上では、輝度レベルの相違で２種
類の棒状領域を区別する考え方を示したが、指示棒４０
を特定色に選定し、陰影像は黒成分画像となることとの
カラー成分の相違を利用して２種類の棒状領域を識別す
るようにしても良い。

【００５６】次に、このようにして得られた指示棒４０
の映像領域データ、及び、指示棒の陰影像４５の領域デ
ータと、背景映像（表示映像領域）とから、指示棒先端
座標と指示棒陰影像先端座標とを求める方法について、
図７及び図８を参照しながら具体的に説明する。

【００５７】まず、基本表示映像領域座標検出回路３０
３が実行する背景データｄｐから基本表示映像領域の識
別信号ａａを生成する方法について、図７を用いて説明
する。図７（Ａ）において、ビデオカメラ１０２の有効
撮陰影領域４０１内に、ビデオプロジェクタ１０１によ
り照射された表示映像領域（ラスタ領域）４０２が存在
する。今、ある水平走査ライン４０６の輝度レベル（背
景データｂｇのレベル）Ｌｂｇを検討してみる。ここ
で、図７（Ｂ）がその輝度レベルの時間変化（水平方向
での位置変化）を示している。ビデオデータｄｐの水平
有効画素の開始タイミング（左端）Ｈtfs 及び終了タイ
ミング（右端）Ｈtfe は、同期信号ｓとのタイミング関
係が定まっているため、基準となるタイミングである。
全体の撮像領域４０１の中に存在する長方形に近い形状
の基本表示映像領域４０２は、ビデオ光線が照射されて
いる領域であるので、ビデオ信号ＶＳ１の内容によって
変動したとしても、その他の領域より輝度レベルは高
い。そのため、基本表示映像領域４０２を識別するため
の閾値Ｔｈ１を定めて、この閾値Ｔｈ１を越える輝度レ
ベルの最左端のタイミングＨtds 及び最右端のタイミン
グＨtde を検出して、その水平走査ライン４０６におけ
る水平方向の表示映像領域の境界座標とする。

【００５８】垂直方向の検出についても、同様の方法
で、基本表示映像領域４０２の上側及び下側の境界の対
応する水平走査ラインを検出し、ライン番号を対応させ
ることができる。

【００５９】表示映像領域（ラスタ領域）４０２が撮像
領域４０１内であってその中央部に位置するように、ビ
デオカメラ１０２のレンズ等の選択や調節がなされてい
るため、以上のような方法によって、輝度レベルが周辺
より高い長方形に近い表示映像領域４０２を困難なく検
出することができる。

【００６０】次に、各先端座標特定回路３０７、３０８
による棒状の座標集合でなる座標データから、その先端
の座標データを特定する方法について説明する。

【００６１】上述した図７（Ａ）に示すように、指示棒
の映像領域４０４及び指示棒陰影の映像領域４４０の先
端位置は、指示機能から考えて、表示映像領域４０２の
内部にあり、また、表示に影響しない位置に操作者が位
置して指示するので、指示棒の映像領域４０４及び指示
棒陰影の映像領域４４０の基本軸線（細線化された場合
の座標データ群に対応する）は、表示映像領域４０２の
周囲のいずれかの境界線と交差する。このような性質を
利用して先端座標を決定している。

【００６２】図８は、表示映像領域と棒状領域（指示棒
映像領域又は指示棒陰影像領域）との関係を、８パター
ンに分類して示したものである。表示映像領域と棒状領
域とは、上述したように交差しているので、共通する座
標が存在する。

【００６３】図８（Ａ）及び（Ｂ）は、棒状領域が右上
り及び左上りの相違はあるが、表示映像領域と棒状領域
との交差点が、表示映像領域の下辺Ｂにある場合であ
る。この場合には、棒状領域の最上位置を先端と検出す
る。図８（Ｃ）及び（Ｄ）は、棒状領域が右上り及び左
上りの相違はあるが、表示映像領域と棒状領域との交差
点が、表示映像領域の右辺Ｒにある場合であり、この場
合には、棒状領域の最左位置を先端と検出する。図８
（Ｅ）及び（Ｆ）は、棒状領域が右上り及び左上りの相
違はあるが、表示映像領域と棒状領域との交差点が、表
示映像領域の左辺Ｌにある場合であり、この場合には、
棒状領域の最右位置を先端と検出する。図８（Ｇ）及び
（Ｈ）は、棒状領域が右上り及び左上りの相違はある
が、表示映像領域と棒状領域との交差点が、表示映像領
域の上辺Ｔにある場合であり、この場合には、棒状領域
の最下位置を先端と検出する。

【００６４】図８では、棒状領域が右上り及び左上りま
でを考慮して８パターンに分類して示したが、上述のよ
うに、交差位置に基づいた４パターンの分類で先端座標
を特定することができる。

【００６５】なお、表示映像領域は、ビデオプロジェク
タ１０１及びスクリーン３０間の距離等によってその大
きさや形状が変化するので、上述したように、先端座標
データを表示映像領域内での位置に正規化（相対化）す
る必要がある。

【００６６】（Ａ−２−３）ドローイング重畳部１５０
の詳細構成 図９は、ドローイング重畳部１５０の詳細構成を示すブ
ロック図であり、この図９を参照しながらドローイング
重畳部１５０を詳細に説明する。

【００６７】図９において、ドローイング重畳部１５０
は、ビデオデータ選択用のアナログスイッチ５０１、ド
ローイング表示メモリ回路（その制御構成を含む）５０
２、カラーパレット回路５０３、タイミング発生回路５
０４、及び、黒レベル検出回路５０５から構成されてい
る。

【００６８】アナログスイッチ５０１には、表示制御ユ
ニット（パーソナルコンピュータ）２０からのビデオ信
号ＶＳ３（ここではアナログ信号を想定しているがビデ
オプロジェクタ部１０１の構成によってはデジタル信号
であっても良い）における３原色信号Ｒ、Ｇ、Ｂが一方
の選択入力端子に与えられると共に、他方の選択入力端
子には、カラーパレット回路５０３が出力したドローイ
ング用の３原色信号ＤＲ、ＤＧ、ＤＢが与えられる。さ
らに、アナログスイッチ５０１には、選択制御信号とし
て、ドローイング表示メモリ回路５０２から出力された
ドローイング選択信号ｄｇが与えられる。かくして、こ
のアナログスイッチ５０１からは、ドローイング軌跡上
のタイミングでドローイング用の３原色信号ＤＲ、Ｄ
Ｇ、ＤＢを選択し、その他のタイミングで表示制御ユニ
ット２０からの３原色信号Ｒ、Ｇ、Ｂを選択してビデオ
プロジェクタ１０１に与える。

【００６９】なお、表示制御ユニット２０からの水平駆
動信号ＨＤ及び垂直駆動信号ＶＤは、当該ドローイング
重畳部１５０をそのまま通過してビデオプロジェクタ１
０１に与えられる。

【００７０】また、表示制御ユニット２０からの水平駆
動信号ＨＤ及び垂直駆動信号ＶＤは、タイミング発生回
路５０４に与えられる。タイミング発生回路５０４は、
これら駆動信号（同期信号）に基づいて、垂直ブランキ
ング期間をとらえて垂直ブランキング期間信号ｂｌｔを
黒レベル検出回路５０５に与えると共に、上記駆動信号
に基づいて、１フレーム内での画素位置情報を得て画素
位置信号ｒｔを表示メモリ回路５０２に与える。

【００７１】黒レベル検出回路５０５は、垂直ブランキ
ング期間信号ｂｌｔがその期間を指示しているタイミン
グでの３原色信号Ｒ、Ｇ、Ｂが表しているレベル（黒レ
ベル）を検出してその情報ＢＬをカラーパレット回路５
０３に与え、カラーパレット回路５０３は、自己が発生
する３原色信号ＤＲ、ＤＧ、ＤＢ３の基準となる黒レベ
ルが、その黒レベル信号ＢＬと一致するようにクランプ
動作して基準レベルを内部修正する。このようにして、
表示制御ユニット２０からのビデオ信号ＶＳ３と、カラ
ーパレット回路５０３からのビデオ信号との色調整が実
行されている。

【００７２】なお、表示制御ユニット２０からの映像信
号が、３原色信号ではなく、複号映像信号であれば、黒
レベル検出回路５０５部分はペデスタルレベル検出回路
に置き換わる。また、デジタル映像信号が与えられる場
合には、かかる処理構成は省略できる。

【００７３】ドローイング表示メモリ回路５０２には、
ポインティング検出部１００Ｂからのドローイングオン
オフ信号ｄｒ、ドローイング座標データｃ３、ドローイ
ング軌跡消去信号ｃｒ、ドローイング色信号ｃｓが与え
られる。

【００７４】ドローイング表示メモリ回路５０２は、ド
ローイングオンオフ信号ｄｒがオンを指示してときに与
えられたドローイング座標データｃ３に基づいて、記憶
しているフレーム内の所定画素をオン設定する（ｄｇ）
と共に、その直前に与えられたドローイング色信号ｃｓ
の表示色ｄｃをそのドローイング座標データｃ３に対応
させてを格納する。

【００７５】また、ドローイング表示メモリ回路５０２
は、ドローイング軌跡消去信号ｃｒが与えられたときに
は、格納している全てのドローイング座標データｃ３及
びその表示色ｄｃを消去する。

【００７６】ドローイング表示メモリ回路５０２は、タ
イミング発生回路５０４から画素位置信号ｒｔが与えら
れる毎に、その画素がオン設定されているか否かを判定
し、オン設定されているときには、有意なドローイング
選択信号ｄｇをアナログスイッチ５０１に与えると共
に、その画素に割り当てられている表示色信号ｄｃをカ
ラーパレット回路５０３に出力する。

【００７７】以上のような各部構成でなるドローイング
重畳部１５０によって、ドローイング軌跡が所望の表示
色でスクリーン３０上に表示される。

【００７８】（Ａ−３）第１実施例の動作 次に、第１実施例の動作を説明する。ビデオプロジェク
タ１０１によって、所定の画像がスクリーン３０上に映
写される。この際に、操作者が指示棒４０を用いて、表
示内容の所定の位置を指示していると、ビデオカメラ１
０２が撮像したビデオ信号ＶＳ２には、映写された表示
内容だけでなく指示棒４０やその陰影４５の映像も含ま
れる。

【００７９】このようなビデオ信号ＶＳ２は、デジタル
化回路１０３によってデジタル信号に変換される。そし
て、フレームメモリ１０４によって遅延された前フレー
ムのビデオデータｄｐと現フレームのビデオデータｄと
によって、動き検出回路１０５が動領域と静止領域とを
弁別し、この弁別結果に基づいて、背景メモリ回路１０
６は、静止領域のビデオデータｄｐ（ビデオデータｄで
あっても良い）に対してのみ更新動作を行なう。

【００８０】このようにして得られた指示棒４０やその
陰影４５の映像を含まない背景データｂｇと、指示棒４
０やその陰影４５の映像を含む現フレームのビデオデー
タｄとの相違に基づいて、先端座標検出回路１０７によ
って、指示棒４０の先端座標データ（指示ポイント）ｘ
ｙと、その陰影４５の先端座標データｉｊとが得られ
る。

【００８１】これらの両先端座標データｘｙ及びｉｊの
距離が、先端座標間距離判定回路１２０によって求めら
れ、閾値と比較されて、指示棒４０のスクリーン３０へ
の接触、非接触を表すドローイングオンオフ信号ｄｒが
得られる。

【００８２】先端座標検出回路１０７からの指示ポイン
トの座標データｘｙは、先端座標変動判定回路１０８に
よって、その時間的変動内容が判定される。例えば、そ
の時間変動が、表示制御ユニット２０（例えばパーソナ
ルコンピュータ）に対する制御内容であれば、そのこと
を表す信号が表示制御ユニット２０に与えられる。

【００８３】表示制御ユニット２０には、指示ポイント
の座標データｘｙも与えられており、この指示ポイント
の座標データｘｙと、与えられた制御内容とに基づい
て、表示制御ユニット２０は、適宜処理を実行する。

【００８４】例えば、アイコンを含むメニュー画像のビ
デオ信号ＶＳ３を表示処理部１００Ａに与えて表示させ
ている状態において、ポインティングシステム本体ユニ
ット１００（そのポインティング検出部１００Ｂ）か
ら、所定のアイコン位置の指示ポイントの座標データｘ
ｙと、その指示ポイントで指示棒４０が所定時間以上静
止していることを表す制御内容が与えられると、表示制
御ユニット２０はそのアイコンが選択されたと認識して
そのアイコンに対応した処理を実行する。

【００８５】また、先端座標変動判定回路１０８は、指
示ポイントの静止を検出したときには、背景メモリ回路
１０６に更新禁止信号ｃ１を与えてその更新を禁止させ
て、背景データｂｇに指示棒４０やその陰影４５のデー
タが含まれることを禁止させる。

【００８６】先端座標変動判定回路１０８は、ドローイ
ングオンオフ信号ｄｒがオンを指示しているときに与え
られた指示ポイントの座標データを、表示処理部１００
Ａにおけるビデオ信号（ＶＳ３又はＶＳ１）の座標系で
の座標データｃ３に変換してドローイング重畳部１５０
に与える。さらに、指示ポイントの時間的変動がドロー
イング軌跡表示の表示色の変更やドローイング軌跡の消
去を指示している場合には、そのことを指示する信号を
ドローイング重畳部１５０に与える。

【００８７】ドローイング重畳部１５０においては、表
示画素位置が、ドローイング軌跡上の位置になると、表
示制御ユニット２０からのビデオ信号を、所定の表示色
のドローイングビデオ信号に置き換えてビデオプロジェ
クタ１０１に与えて、スクリーン３０上にドローイング
軌跡３４を表示させる。

【００８８】（Ａ−４）第１実施例の効果 (1) 以上のように、第１実施例によれば、単なるスクリ
ーン上に投影された映像上のポイントを指示棒で指示
し、その撮像画像を画像処理して指示ポイントを電子化
するので、操作者は、指示ポイントを視覚的に容易に確
認できると共に、特別の操作技術の訓練を要することな
く自然な態様でしかも片手で指示でき、操作性が非常に
高い。このように、操作性が良好であるため、不特定の
人が操作者となることができる。

【００８９】(2) また、第１実施例によれば、操作者
は、ポインティングシステム本体ユニットの位置を意識
することなくスクリーン面に向かって操作でき、この点
でも操作性が高いと共に、操作時の位置自由度も高い。

【００９０】(3) さらに、第１実施例によれば、指示ポ
イントの時間的変動に所定の制御内容を任意に割り当て
られるようにすると共に、その時間的変動の判定回路を
設けたので、単に指示ポイントを電子化するだけでな
く、操作制御内容等も電子化して出力でき、これによ
り、インタラクティブな操作も可能になり、使い勝手が
格段的に高くなっている。

【００９１】(4) さらにまた、第１実施例によれば、指
示棒映像及び指示棒陰影像抽出のための背景メモリ回路
を設け、動きのない領域のみを書き換えて、この静止領
域のみでなる背景データを基準にして指示棒映像領域等
を抽出するようにしたので、抽出精度が高く、その結
果、指示ポイント等の指示情報の精度をかなり高くする
ことができる。

【００９２】(5) また、第１実施例によれば、表示映像
領域を識別して、その領域内の相対座標として指示ポイ
ントを出力するので、投影画像の上下で拡大率が異なる
ような表示映像領域の形状が歪む場合等においても、妥
当な座標データを得ることができる。

【００９３】(6) さらに、第１実施例によれば、ビデオ
プロジェクタとビデオカメラの対物レンズを連動させて
いるので、フォーカシングやズームを個別に行なうこと
は不要であり、この点でも使い勝手が良好である。

【００９４】(7) さらにまた、第１実施例によれば、ビ
デオプロジェクタの光源の光学的位置とビデオカメラの
視点が異なるように配置しているので、ビデオカメラ視
点からスクリーン上に見える指示棒と指示棒の陰影は、
指示棒がスクリーン面に接して置かれない限り決して同
一に重なって見えることはなく、指示棒先端座標と指示
棒陰影像の先端座標との距離により、指示棒先端のスク
リーンとの接触状況を確実に検出することができる。

【００９５】(8) また、第１実施例によれば、抽出した
指示棒映像領域及び指示棒陰影像領域に基づいて、指示
棒のスクリーン面の接触、非接触を検出してドローイン
グオンオフを判定すると共に、ドローイング重畳部を設
けたので、ドローイング機能をも担えるシステムを構築
でき、しかも、単なるポインティングとドローイングの
切替えを容易に行なうことができる。

【００９６】(9) さらに、第１実施例によれば、指示ポ
イントの時間的変動に所定のドローイング制御内容を割
り当て、その時間的変動の判定回路を設けたので、ドロ
ーイング軌跡の消去や表示色の変更等の操作も容易に実
行することができる。

【００９７】（Ｂ）第２実施例 次に、本発明によるポインティングシステムの第２実施
例を図面を参照しながら詳述する。

【００９８】この第２実施例のポインティングシステム
は、第１実施例とは異なり、大型のＣＲＴディスプレイ
や背面から投影するプロジェクションディスプレイ等の
表示システムを対象としている。そのため、表示処理部
（第１実施例の１００Ａに相当）と、ポインティング検
出部（第１実施例の１００Ｂに相当）とは空間上離間し
て設置されている。

【００９９】このような表示システムにおいては、指示
棒の陰影がスクリーン（ＣＲＴディスプレイが適用され
ているとしてもこの第２実施例の説明ではスクリーンと
呼ぶ）面に生じない。第２実施例は、指示棒の陰影がな
くても、指示棒とスクリーン面との接触状況の検出を可
能にしたものである。そのため、表示実行部としてビデ
オプロジェクタ（１０１）を適用しているか否かによっ
ては第１実施例の表示処理部と内部構成は異なるが、そ
の表示処理部には特徴はない。

【０１００】そこで、以下では、第２実施例のポインテ
ィング検出部について詳述することとする。

【０１０１】まず、図１０を用いて、この第２実施例に
おける指示棒とスクリーン面との接触状況の検出原理に
ついて説明する。

【０１０２】図１０において、この第２実施例において
は、かかる検出を行なうために、２個のビデオカメラ１
０２−１及び１０２−２を用いている。これら２個のビ
デオカメラ１０２−１及び１０２−２は、それらの視点
位置Ｖ１及びＶ２が所定距離ｑだけ離間されて例えば上
下に設置されている。また、両視点位置Ｖ１及びＶ２を
結ぶ線分がスクリーン３０面に所定距離ｍ１だけ離間し
て平行になるように設置されている。なお、ビデオカメ
ラ１０２−１及び１０２−２の撮像領域が、例えば垂直
方向について一致するように示したように（Ｔ〜Ｂ）、
同一になるように、その撮像方向が固定されている。

【０１０３】スクリーン３０面に対して距離ｆだけ離間
している指示棒の先端位置Ｒは、一方のビデオカメラ１
０２−１からの視点位置Ｖ１からはスクリーン３０面の
位置Ｎ１として撮像され、他方のビデオカメラ１０２−
２からの視点位置Ｖ２からはスクリーン３０面の位置Ｎ
２として撮像され、これら位置Ｎ１及びＮ２間には距離
ｅ１だけの隔たりがある。

【０１０４】ここで、３角形Ｖ１−Ｖ２−Ｒと３角形Ｎ
１−Ｎ２−Ｒとは相似形であるので、距離ｅ１と、距離
ｆとの間には下記(2) 式の関係が成立する。

【０１０５】 ｑ：ｅ１＝（ｍ１−ｆ）：ｆ ｅ１＝ｑ・ｆ／（ｍ１−ｆ） …(2) ここで、ｑは既知の値であり、ｍ１はｆよりかなり大き
いので（ビデオカメラの対物レンズ位置情報を利用して
既知の値としても処理できる）、ｅ１とｆとに単調増加
関係（ほぼ比例）が成立している。すなわち、両ビデオ
カメラ１０２−１及び１０２−２の視点Ｖ１及びＶ２か
ら見た指示棒先端位置Ｎ１及びＮ２間の距離ｅ１を捕ら
えることにより、距離ｆがほぼ０であるか（接触）否か
（非接触）を検出できる。

【０１０６】図１１は、このような接触検出原理が適用
されている第２実施例のポインティング検出部の、先端
座標変動判定回路（図３の符号１０８参照）だけを除い
た構成を示す機能ブロック図である。なお、図１１では
各ブロックが明確に分離されているように示している
が、これは説明の簡単化のためであり、複数のブロック
の処理が融合して実行される構成もあり得る。

【０１０７】各デジタル化回路６００−１、６００−２
はそれぞれ、対応するビデオカメラ１０２−１、１０２
−２からのビデオ信号の映像信号成分をデジタル信号ｖ
ｄ１、ｖｄ２に変換するものである。なお、一方のデジ
タル化回路６００−１は、同期信号ｓｙを分離抽出し、
他方の処理系のビデオカメラ１０２−２の外部同期モー
ド端子にその同期信号ｓｙを与えて、両ビデオカメラ１
０２−１及び１０２−２からのビデオ信号を同期化させ
るようにしている。

【０１０８】可変シフト回路６０１、フレーム間相関判
定回路６０２及び試行動きベクトル発生回路６０３は、
両デジタル化回路６００−１及び６００−２からのビデ
オデータｖｄ１及びｖｄ２の空間的な位置合わせを信号
処理により行なうものである。すなわち、フレーム間相
関判定回路６０２がビデオデータｖｄ１と、ビデオデー
タｖｄ２に対応したシフトビデオデータｃｖｄ２のフレ
ーム相関を検出し、その検出信号ｄｑの変化を見なが
ら、試行動きベクトル発生回路６０３が試行動きベクト
ル信号ｍｃｖを可変シフト回路６０１に与えて、可変シ
フト回路６０１がビデオデータｖｄ２の空間位置を平行
移動したビデオデータｃｖｄ２を出力し、このような処
理を繰返すことにより、ビデオデータｖｄ１とのフレー
ム相関が最も高いシフトビデオデータｃｖｄ２を得るも
のである。

【０１０９】フレーム間相関判定回路６０２は、このよ
うな探索が終了したときには、空間的な位置合わせがな
されたビデオデータｖｄ１とシフトビデオデータｃｖｄ
２との間で、差分絶対値が所定閾値より大きい画素位置
を認識して、その画素位置以外の画素位置にのみ更新を
認める背景更新信号ｓｆを背景メモリ回路６０４に与え
る。

【０１１０】この背景メモリ回路６０４には、ビデオデ
ータｖｄ１が入力されており、背景メモリ回路６０４
は、背景更新信号ｓｆが更新を許容している画素位置の
ビデオデータｖｄ１を書き込む。このようにして、画素
相関がない指示棒の映像領域等を除いた背景のビデオデ
ータｂｇが背景メモリ回路６０４に格納される。

【０１１１】これ以降の処理系は、第１実施例とほぼ同
様である。異なる点は、ビデオカメラ１０２−２に係る
ビデオデータｃｖｄ１における指示棒映像を、第１実施
例における指示棒の陰影映像と同様に取り扱っている点
である。

【０１１２】座標発生回路６０５は、デジタル化回路６
００−１からの同期信号ｓｙを基準に、ビデオデータｖ
ｄ１（従ってｃｖｄ２）のタイミングに対応した座標デ
ータを発生し、基本表示映像領域座標検出回路６０７、
第１及び第２の指示棒映像座標検出回路６１０−１及び
６１０−２に出力する。

【０１１３】基本表示映像領域識別回路６０６は、背景
メモリ回路６０４からの背景データｂｇから、ビデオカ
メラ１０２−１（１０２−２）による撮像領域中の中央
部のほぼ長方形の表示映像領域（ラスタ領域）を識別し
て、ビデオデータｖｄ１及びｃｖｄ２と同期した識別信
号ａａを出力する。

【０１１４】第１の差分演算回路６０８−１は、背景メ
モリ回路６０４からの背景データｂｇ及びデジタル化回
路６００−１からのビデオデータｖｄ１の画素単位の差
分を演算し、第１の指示棒映像抽出回路６０９−１は、
その差分出力に基づいて、指示棒の映像領域ｒｒ１を抽
出する。同様に、第２の差分演算回路６０８−２は、背
景メモリ回路６０４からの背景データｂｇ及び可変シフ
ト回路６０１からのビデオデータｃｖｄ１の画素単位の
差分を演算し、第２の指示棒映像抽出回路６０９−２
は、その差分出力に基づいて、指示棒の映像領域ｒｒ２
を抽出する。

【０１１５】基本表示映像領域座標検出回路６０７は、
基本表示映像領域識別回路６０６からの識別信号ａａを
受けて、座標発生回路６０５からの座標データを基準と
して、表示映像領域の座標データａｃｏを作成する。同
様に、第１及び第２の指示棒映像座標検出回路６１０−
１及び６１０−２はそれぞれ、指示棒の映像領域ｒｒ１
及びｒｒ２を、指示棒映像座標データｒｃｏ１及びｒｃ
ｏ２に変換する。

【０１１６】第１及び第２の指示棒先端座標特定回路６
１１−１及び６１１−２はそれぞれ、棒状の座標集合で
なる指示棒映像座標データｒｃｏ１、ｒｃｏ２と、表示
映像領域の座標データａｃｏとから、指示棒先端の座標
データｒｐｃｏ１、ｒｐｃｏ２を得る。

【０１１７】指示棒先端座標変換回路６１２は、撮像系
での座標系に従う指示棒先端座標データｒｐｃｏ１を、
表示映像領域座標データａｃｏに基づいて、表示映像領
域内での相対座標データｘｙに変換して出力する。

【０１１８】先端座標間距離判定回路１２０は、２個の
指示棒先端の座標データｒｐｃｏ１及びｒｐｃｏ２間の
上記(2) 式に従の距離ｅ１を得て、この距離ｅ１を閾値
距離と比較することで、指示棒のスクリーン３０面に対
する接触、非接触を表すドローイングオンオフ信号ｄｒ
を出力する。

【０１１９】以下、第２のビデオデータｖｄ２の座標を
平行移動させて、ちょうど２系統のビデオデータの大部
分がぴったりと一致する遅延量を推定する回路構成６０
１〜６０３の動作について補足説明する。

【０１２０】試行動きベクトル発生回路６０３は、あら
ゆる大きさと方向の平行移動を試すために、試行動きベ
クトルｍｃｖを発生する。それぞれの試行動きベクトル
の発生毎に、その試行動きベクトルにより可変シフト回
路６０１のシフト量（平行移動量）を制御する。試行毎
にこの可変シフト回路６０１からのビデオデータｃｖｄ
２と、第１のビデオデータｖｄ１とはフレーム間相関判
定回路６０２に入力され、フレーム間相関判定回路６０
２は、両ビデオデータの画素単位での差分電力（例えば
差分２乗）を算出し、予め設定した中央部（この場合、
ビデオデータｖｄ１が基準となる）の固定面積の差分電
力総和を歪み量ｄｇとして試行動きベクトル発生回路６
０３に出力する。なお、中央部を用いるのは撮像領域が
一致しない場合、周囲画素間の差分は大きくなるためで
ある。

【０１２１】この歪み量ｄｇが大きいほど相関度が低い
ことを意味しており、試行動きベクトル発生回路６０３
は、この歪み量ｄｇの値を試行動きベクトルと対応させ
て評価し、最も歪み量ｄｇの小さい試行動きベクトルを
最終的なベクトルとして決定し、可変シフト回路６０１
のシフト量（平行移動量）を固定する。

【０１２２】次に、シフト量が固定された状態で、画素
単位の両ビデオデータ間の差分電力をある閾値と比較し
て、相関の高い場合に有意な背景更新信号ｓｆを背景メ
モリ回路６０４に書込み制御信号として出力する。

【０１２３】有意な背景更新信号ｓｆの画素に対しての
み背景メモリ回路６０４の書換えを許可することによ
り、背景メモリ回路６０４には、映像が動く動かないの
みならず、２系統のビデオデータのぴったり一致した画
素のみ、すなわち表示画面上の映像だけが格納されたこ
とになる。

【０１２４】従って、この第２実施例のポインティング
システムによれば、上記第１実施例の効果(1) 〜(6) 及
び(9) と同一の効果を奏すると共に、さらに以下の効果
を得ることができる。

【０１２５】第２実施例によれば、２個のビデオカメラ
の視点が異なるように配置しているので、２個のビデオ
カメラ視点からスクリーン上に見える指示棒は、指示棒
がスクリーン面に接して置かれない限り決して同一に重
なって見えることはなく、２個の指示棒先端座標間の距
離により、指示棒先端のスクリーンとの接触状況を確実
に検出することができる。

【０１２６】また、第２実施例によれば、抽出した２個
の指示棒映像領域に基づいて、指示棒のスクリーン面の
接触、非接触を検出してドローイングオンオフを判定す
ると共に、ドローイング重畳部を設けたので、ドローイ
ング機能をも担えるシステムを構築でき、しかも、単な
るポインティングとドローイングの切替えを容易に行な
うことができる。

【０１２７】さらに、第２実施例によれば、ビデオカメ
ラを２個用いて近接した２つの視点からのビデオデータ
を用いることができるようにして、表示ディスプレイ面
が、投影スクリーン面であってもＣＲＴディスプレイ面
等であっても良く、適用可能な表示ディスプレイの種類
を多様にすることができる。

【０１２８】さらにまた、第２実施例によれば、スクリ
ーン面よりも離れた物体を動きと関係なく抽出できるた
め、第１実施例と異なり、表示映像が動画像であっても
さらには指示棒の動きが静止した場合でも影響を受けな
い。また、スクリーン面上の映像と離れた物体が確実に
分離できるため、仮に、ビデオプロジェクタでスクリー
ン上に投影した映像を用いるような環境においても、指
示棒の陰影も人物の陰影も表示画面上の映像として指示
棒と区別でき、指示棒の抽出性能に悪影響を与えない。

【０１２９】（Ｃ）他の実施例 (1) 第１及び第２実施例においては、ビデオプロジェク
タやビデオカメラ等がポインティングシステム専用のも
のを示したが、既存のビデオプロジェクタやオーバヘッ
ドプロジェクタ等の表示装置に、ビデオカメラ等をアダ
プタとして取り付けることによってシステムを構成して
も良い。

【０１３０】(2) 第１及び第２実施例においては、指示
棒とスクリーン（ＣＲＴディスプレイ面等を含む）との
接触、非接触情報をドローイングのオンオフ情報として
用いるものを示したが、接触、非接触情報を他の制御情
報として利用するシステムであっても良い。

【０１３１】(3) 表示処理構成は、上記各実施例のもの
に限定されず、その特徴構成を適用できるものであれば
任意である。例えば、オーバーヘッドプロジェクタ構成
やフラットディスプレイ構成等であっても良い。オーバ
ーヘッドプロジェクタ構成であっても、その原稿載置面
上にパーソナルコンピュータ等で制御される透過形の液
晶パネルを適用した場合には、ドローイング機能を実現
できる。フラットディスプレイ構成において、接触、非
接触情報をポイント指示がなされたか否かとして利用す
るようにすれば、直接的な指示によるインタラクティブ
操作のインタフェース技術として有効である。特許請求
の範囲における「スクリーン」の用語は、表示面を意味
し、フラットディスプレイ構成等の表示面も含むもので
ある。

【０１３２】なお、スクリーンと、表示処理部のビデオ
信号の電気／光変換部との距離が大きい程、本発明シス
テムを適用した効果はより大きい。例えば、ホームシア
ター用のビデオプロジェクタ等の場合には、上記距離が
大きいので、本発明システムの適用効果は大きい。

【０１３３】(4) 第１及び第２実施例においては、ドロ
ーイング重畳部を表示処理部内に設けたものを示した
が、表示制御ユニット（例えばパーソナルコンピュー
タ）内にドローイング重畳部を設けるようにしても良
い。同様に、先端座標変動判定回路も表示制御ユニット
（例えばパーソナルコンピュータ）内に設けるようにし
ても良い。

【０１３４】(5) 第１及び第２実施例においては、ドロ
ーイング軌跡の重畳をアナログ的に行なうものを示した
が、デジタル的に行なうようにしても良い。この場合に
は、黒レベル検出回路等は不要となる。また、ドローイ
ング軌跡の重畳も、表示ビデオ信号に対するドローイン
グビデオ信号の置き換えだけでなく、合成によって実現
するものであっても良い。

【０１３５】(6) 第１及び第２実施例においては、背景
メモリ回路に格納されている背景データの見直しを常時
行なうものを示したが、例えば、表示制御ユニットから
のビデオ信号（表示画像）の変更情報を取込んで、変更
された直後の撮像画像を背景メモリ回路に格納させて利
用するようにしても良い。

【０１３６】(7) ビデオカメラは、カラー撮像用のも
の、白黒撮像用のものに限定されないことは勿論であ
り、さらには、特定色だけを通過させる色フィルタを前
面に有するものであっても良い。また、その個数も上記
各実施例のものに限定されない。例えば、第１実施例に
おけるビデオカメラを２台以上、第２実施例におけるビ
デオカメラを３台以上として、指示ポイント座標を複数
得てその平均座標を最終的な指示ポイント座標とするよ
うにしても良い。また、第２実施例の場合、２個のビデ
オカメラからのビデオ信号に基づいて、２個の指示ポイ
ント座標を得て、その平均座標を最終的な指示ポイント
座標とするようにしても良い。

【０１３７】(8) 第１実施例の動き検出回路や、第２実
施例の試行動きベクトル発生回路や可変シフト回路等
に、１フレームを縦横に分割したブロック単位に処理す
るものを適用し、全体フレームの動きを推定するように
しても良い。このようにすると、動画像符号化用の既存
の動き推定ＬＳＩを適用し得る。

【０１３８】(9) 第１及び第２実施例においては、指示
棒として直線的なものを示したが、曲線的なものであっ
ても良い。また、先端が、丸、４角、星形等の特定形状
を有するものであっても良い。この場合には、上記各実
施例の先端座標（指示ポイント）の特定方法に加えて、
又は、代えて、パターンマッチングによる先端座標の特
定方法も利用できる。さらには、先端に高輝度又は所定
色の発光体を取り付けたり、先端部の色だけを変えたり
したものであっても良い。また、人間の腕が指示棒の代
りであっても良い。この場合にも、領域の細線化処理等
によって指示棒と同様に取り扱うことができる。

【０１３９】(10)第１及び第２実施例においては、各種
閾値が固定値のものを示したが、ビデオカメラとスクリ
ーンとの距離を規定する対物レンズの位置等に応じて、
各種閾値を変更させるようなものであっても良い。

【０１４０】(11)第１及び第２実施例においては、表示
映像領域の情報を、一旦得た先端座標データを相対化さ
せるために利用するものを示したが、表示映像領域の情
報を、ビデオデータを所定の長方形に正規化させる情報
として用い、このようにして正規化されたビデオデータ
を画像処理するようにしても良い。

【０１４１】(12)ドローイングモードでなくても、指示
ポイントにマーカを表示するシステムであっても良い。

【０１４２】

【発明の効果】以上のように、本発明のポインティング
システムは、スクリーン上の位置を指示するための指示
棒状体と、スクリーン面を撮像対象とし、撮像ビデオ信
号を出力する撮像手段と、撮像ビデオ信号に基づいて、
指示棒状体に関する少なくとも２個以上の領域情報を抽
出する特定領域抽出手段と、抽出された１以上の領域情
報から、指示棒状体による指示ポイント座標を得る指示
ポイント検出手段と、抽出された２以上の領域情報か
ら、指示棒状体とスクリーン面との接触、非接触を検出
する接触検出手段とを有するので、大きなディスプレイ
面（スクリーン面）であっても、操作者の位置自由度や
操作性が高い、ドローイングモードか否か等の指示も容
易にできるポインティングデバイスを実現できる。

【図面の簡単な説明】

【図１】第１実施例システムの各種要素の空間的な配置
図である。

【図２】従来に係るリモコン装置のブロック図である。

【図３】第１実施例のポインティングシステム本体ユニ
ットのブロック図である。

【図４】第１実施例の動き検出回路のブロック図であ
る。

【図５】第１実施例の接触判定方法の原理説明図であ
る。

【図６】第１実施例の先端座標検出回路のブロック図で
ある。

【図７】第１実施例の表示映像領域の抽出方法の説明図
である。

【図８】第１実施例の先端座標の特定方法の説明図であ
る。

【図９】第１実施例のドローイング重畳部のブロック図
である。

【図１０】第２実施例システムの各種要素の空間的な配
置図である。

【図１１】第２実施例のポインティングシステム本体ユ
ニットの要部構成を示すブロック図である。

【符号の説明】

２０…表示制御ユニット、３０…スクリーン（表示
面）、３４…ドローイング軌跡、４０…指示棒、４５…
指示棒陰影、１００…ポインティングシステム本体ユニ
ット、１０１…ビデオプロジェクタ、１０２、１０２−
１、１０２−２…ビデオカメラ、１０３、６００−１、
６００−２…デジタル化回路、１０４…フレームメモ
リ、１０５…動き検出回路、１０６、６０４…背景メモ
リ回路、１０７…先端座標検出回路、１０８…先端座標
変動判定回路、１２０…先端座標間距離判定回路、６０
１…可変シフト回路、６０２…フレーム間相関判定回
路、６０３…試行動きベクトル発生回路。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 表示ビデオ信号を電気／光変換してその
   ビデオ信号の画像をスクリーンに表示させる表示手段
   と、 上記スクリーン上の位置を指示するための指示棒状体
   と、 上記スクリーン面を撮像対象とし、撮像ビデオ信号を出
   力する撮像手段と、 撮像ビデオ信号に基づいて、上記指示棒状体に関する少
   なくとも２個以上の領域情報を抽出する特定領域抽出手
   段と、 抽出された１以上の領域情報から、上記指示棒状体によ
   る指示ポイント座標を得る指示ポイント検出手段と、 抽出された２以上の領域情報から、上記指示棒状体と上
   記スクリーン面との接触、非接触を検出する接触検出手
   段とを有することを特徴とするポインティングシステ
   ム。
2. 【請求項２】 上記表示手段に与える表示ビデオ信号の
   経路に設けられたドローイング重畳手段をさらに備え、
   このドローイング重畳手段が、上記接触検出手段による
   検出結果を、ドローイング軌跡の描画を実行するか否か
   の指示信号として取込むことを特徴とする請求項１に記
   載のポインティングシステム。
3. 【請求項３】 上記指示ポインティング検出手段からの
   指示ポインティング座標信号の時間的変動を、予め登録
   されている時間的変動パターンと照合し、合致する時間
   的変動パターンが検出されたときに、その時間的変動パ
   ターンに係る制御信号を出力する時間変動判定手段をさ
   らに有することを特徴とする請求項１又は２に記載のポ
   インティングシステム。
4. 【請求項４】 上記時間変動判定手段が登録する時間的
   変動パターン及び制御信号の組み合わせが、外部から更
   新可能であることを特徴とする請求項３に記載のポイン
   ティングシステム。
5. 【請求項５】 上記特定領域抽出手段が、撮像ビデオ信
   号における上記指示棒状体の映像領域の情報と、撮像ビ
   デオ信号における上記指示棒状体の陰影の映像領域の情
   報とを抽出し、 上記指示ポイント検出手段が、上記指示棒状体の映像領
   域情報から、上記指示棒状体による指示ポイント座標を
   得、 上記接触検出手段が、抽出された上記指示棒状体の映像
   領域情報と、上記指示棒状体の陰影の映像領域情報とか
   ら、上記指示棒状体と上記スクリーン面との接触、非接
   触を検出するものであることを特徴とする請求項１〜４
   のいずれかに記載のポインティングシステム。
6. 【請求項６】 上記特定領域抽出手段が、 複数のフレームの撮像ビデオ信号を用いた動き検出によ
   り背景領域を検出する背景検出部と、 検出された背景領域の撮像ビデオ信号だけを格納する背
   景信号記憶部と、 撮像ビデオ信号と上記背景信号記憶部からの背景信号と
   の相違に基づいて、上記指示棒状体の映像領域の情報を
   抽出する指示棒状体領域抽出部と、 撮像ビデオ信号と上記背景信号記憶部からの背景信号と
   の相違に基づいて、上記指示棒状体の陰影の映像領域の
   情報を抽出する陰影領域抽出部とでなることを特徴とす
   る請求項５に記載のポインティングシステム。
7. 【請求項７】 上記撮像手段が、同期撮像する第１及び
   第２の撮像部でなることを特徴とする請求項１〜４のい
   ずれかに記載のポインティングシステム。
8. 【請求項８】 上記特定領域抽出手段が、上記第１の撮
   像部からの第１の撮像ビデオ信号における上記指示棒状
   体の映像領域の情報と、上記第２の撮像部からの第２の
   撮像ビデオ信号における上記指示棒状体の映像領域の情
   報とを抽出し、 上記指示ポイント検出手段が、一方の上記指示棒状体の
   映像領域情報から、上記指示棒状体による指示ポイント
   座標を得、 上記接触検出手段が、２個の上記指示棒状体の映像領域
   情報から、上記指示棒状体と上記スクリーン面との接
   触、非接触を検出するものであることを特徴とする請求
   項７に記載のポインティングシステム。
9. 【請求項９】 上記特定領域抽出手段が、 相関検出を利用して、第１及び第２の撮像ビデオ信号の
   空間的位置合わせを行なう撮像領域一致化部と、 空間的位置合わせがなされた第１及び第２の撮像ビデオ
   信号間において相関が一致レベルである背景領域を検出
   する背景検出部と、 検出された背景領域の撮像ビデオ信号だけを格納する背
   景信号記憶部と、 空間的位置合わせ後の第１の撮像ビデオ信号と上記背景
   信号記憶部からの背景信号との相違に基づいて、上記指
   示棒状体の映像領域の情報を抽出する第１の指示棒状体
   領域抽出部と、 空間的位置合わせ後の第２の撮像ビデオ信号と上記背景
   信号記憶部からの背景信号との相違に基づいて、上記指
   示棒状体の映像領域の情報を抽出する第２の指示棒状体
   領域抽出部とでなることを特徴とする請求項７又は８に
   記載のポインティングシステム。