JPH0635607A - 遠隔指示入力装置 - Google Patents

Abstract

(57)【要約】 【目的】 専用のスクリーンや特殊な指示棒を必要とせ
ず、また、表示面の制約が少なく、スクリーン上での指
示位置を入力できる遠隔指示入力装置を提供すること。 【構成】 制御回路１６はモニタ３に写される画像と同
じ画像を投影装置２によりスクリーン１上に投影し、こ
のスクリーン画像上に使用者が指示手段４により指示マ
ーク５を投影する。この指示マーク５が合わせて投影さ
れたスクリーン画像をスクリーン撮像装置７により撮像
する。撮像装置７は、マーク位置検出回路１４により指
示マーク５の位置を検出するとともに、撮像されたスク
リーン画像と、制御回路１６から送られた画像との相関
を相関回路１５により算出して、マーク位置の座標を得
る。この座標に基づいて、スクリーン画像上で使用者が
指示手段４のスイッチ６を押して選択したコマンド又は
メニューが制御回路１６により実行される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はスクリーン等への表示装
置の表示領域内の座標を離れた場所から指示できる遠隔
指示入力装置に関する。

【０００２】

【従来の技術】ＣＲＴ画面等をビデオプロセッサ等によ
って拡大投影されたスクリーン上の映像に対する座標入
力装置として例えば特開昭58-163039 号がある。これは
光学レンズを用いて指示装置に表示画面の像を結ばせ
て、その像上の一点に受光用の光センサを配置し、ビデ
オ信号の同期信号と前記光センサのラスタ信号との移送
差から表示画面の座標位置を検出できるようにしたもの
である。

【０００３】また、特開平02-73419号には光ビームを指
示ポイントを中心に放射状に複数方向へ走査する手段を
持った遠隔指示手段と、スクリーンの周囲に配置した複
数の受光手段と、この受光手段の出力信号より指示した
座標位置を検出するものが開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
従来例においては、以下のような問題がある。すなわ
ち、前者の例では遠隔指示棒が前後すると、指示位置の
フォーカスが合わなくなってしまったり、センサの受光
感度の面から表示面が制約される等の問題があり、後者
の例では周囲に受光手段を有する専用のスクリーンや、
特殊な指示棒を必要としており、高価になるだけでな
く、収納性や、持ち運びやすさに欠けるという問題があ
る。

【０００５】そこで、本発明は上記問題点を解決し、専
用のスクリーンや特殊な指示棒を必要とせず、また、表
示面の制約が少なく、スクリーン上での指示位置を入力
できる遠隔指示入力装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明では上記課題を解
決し、目的を達成するために、スクリーンへ所定画像を
投影する画像投影手段と、スクリーン上の位置を指示す
る指示手段と、スクリーンに投影された画像を撮像する
撮像手段と、前記撮像手段にて撮像された画像から指示
手段によって指示された座標位置を検出するための指示
位置検出手段と、前記撮像手段によって撮像された画像
と、前記投影手段によって投影される所定画像との位置
ずれを検出するための位置ずれ検出手段と、前記位置ず
れ検出手段によって検出された位置ずれ量に従って、前
記指示位置検出手段によって検出された座標位置を変換
し、所定画像上の座標を算出する座標検出手段を設けた
ものである。

【０００７】

【作用】以上のような構成によれば、前記位置ずれ検出
手段により検出された位置ずれ量に従い、前記指示位置
検出手段により検出された座標位置を変換して画像上の
座標が検出される。

【０００８】

【実施例】以下、本発明の実施例を詳細に説明する。図
１は本発明の第１実施例の全体構成を示す図である。１
はスクリーンで投影装置２よりモニタ３と同じ画像が投
影されている。４は指示者が手にもって操作する指示手
段であり、例えば、指示マークとして矢印５をスクリー
ン上に示すようになっている。また、指示手段４にはス
イッチ６がついており、指示者がスクリーン１で示して
いる位置を取得し、その位置のコマンドを実行したい場
合に利用される。７はスクリーン撮像装置であり、スク
リーンに投影されている画像を入力し、その指示位置の
検出を行う。８はズームレンズであり、スクリーン１上
の画像はＣＣＤ撮像素子９に結像する。

【０００９】そして、光電変換された画像信号はプリア
ンプ１０により増幅され、Ａ／Ｄ変換器１１によりデジ
タル信号に変換される。このデジタル信号はスクリーン
を撮像した信号であるため、以後スクリーン画像（信
号）と呼ぶ。１２はＡＦ回路でスクリーン画像信号の高
周波成分が最大となるようにモータ１３を駆動してズー
ムレンズ８のフォーカス調整を行う。１４はマーク位置
検出回路であり、スクリーン画像上での指示マークの位
置を検出する。

【００１０】マーク位置検出回路は図２に示すような構
成となっており１４−１の指示マークパターンメモリに
予め記憶してあるマーク形状とスクリーン画像との相関
演算が相関演算回路１４−２で行われ、スクリーン画像
上の指示マークの座標Ｍ（=(mx,my)）を検出する。この
相関演算は従来より種々提唱されている方式、例えば、
正規化相互相関法により行う。また、１５はスクリーン
画像とモニタ３に出力されている画像（以下、モニタ画
像（信号）と呼ぶ）との複数の位置でのずれを検出する
ための相関回路である。この複数の位置としては、例え
ば図３(a) に示されているようなP1〜P4の４点が設定さ
れる。このP1〜P4の４点はモニタ画像の中心点ｃ’につ
いて対称で中心までの距離がｋとなっている。

【００１１】そして、モニタ画像内に参照エリアa1〜a4
を設定し、スクリーン画像内に設定したサーチエリアb1
〜b4との間で相関演算が行われる。具体的な構成例を図
４に示す。この図で１５−１はスクリーン画像の領域選
択回路であり、第３図(b) に示すサーチエリアb1〜b4を
相関器１５−３〜１５−６に出力する。同様に１５−２
はモニタ画像の領域選択回路であり、第３図(a) に示す
参照エリアa1〜a4を相関器１５−３〜１５−６に出力す
る。

【００１２】相関器１５−３〜１５−６では例えば差の
絶対値和を比較する方法により、各位置での変位ベクト
ルＶ１〜Ｖ４が求められる。そして、係数算出回路１７
ではこれらの変位ベクトルＶ１〜Ｖ４を用いてスクリー
ン画像とモニタ画像とのずれを表す係数を検出する。こ
のずれはモニタ画像における中心ｃ’の位置における平
行移動と回転移動として表される。

【００１３】第５図はこのずれの説明図で、モニタ画像
にスクリーン画像の同じ部分が重なるようにした図であ
り、平行移動量はベクトルＳ（＝（Ｓｘ，Ｓｙ））、回
転移動量は回転角θで表される。モニタ画像での座標
Ｍ’（＝（ｍｘ’，ｍｙ’））はスクリーン画像上での
座標Ｍを用いて、 Ｍ’ ＝ Ｓ ＋ Ｒ（θ）Ｍ … (a) で求められる。ここでＲ（θ）は、角度θの回転マトリ
ックスであり、次式で表される。

【００１４】

【数１】

【００１５】そこで、上記(a) 式をｘ，ｙ成分で表せ
ば、 mx' = Sx + mx cosθ - my sin θ … (a1) my' = Sy + mx sinθ + my cos θ … (a2) となる。

【００１６】また、このベクトルＳと回転角θは第６図
より次の関係式がある。 Ｖ１ ＝ Ｓ ＋ ｒ … (c1) Ｖ２ ＝ ｓ ＋ ｒ_-90 … (c2) Ｖ３ ＝ Ｓ − ｒ … (c3) Ｖ４ ＝ ｓ ＋ ｒ₊₉₀ … (c4)

【００１７】ここでｒは回転による回転ベクトルを表
し、ｒ₊₉₀ 、ｒ_-90 はそれぞれｒを＋９０度、−９０度
回転したベクトルを意味する。また、 ｒ ＝ ｋ tan（θ） … (d) であり、ｓとｒは次式より求められる。 ｓ ＝（Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４）／４ … (e) ｒ ＝（Ｖ１＋Ｖ２−Ｖ３−Ｖ４）／４ … (f)

【００１８】さらに、回転角θは(d) 式より θ ＝ tan ^-1 （ｒ／ｋ） … (g) となる。

【００１９】係数算出回路１７では(c1)〜(c4),(e),
(f),(g)式よりSx,Sy,θが検出される。１８は座標変換
回路であり (a)式よりスクリーン画像上の座標Ｍに対応
したモニタ画像信号上での座標Ｍ’が求められる。１９
はスクリーン画像を表示するための表示装置であり、液
晶ＴＶ等で構成されている。

【００２０】以上のように構成された本発明の作用につ
いて次に説明する。まず、スクリーン撮像装置７は図示
されない電源が入力されると、ＡＦ回路１２により常に
スクリーン１上の画像にピントが合うようにズームレン
ズ８のフォーカス調整がなされる。そして、撮影者は表
示装置１９を見ながらスクリーン全体がおおよそ写るよ
うにスクリーン撮像装置７の位置合わせおよび画角調整
（セッティング）を行う。この際に厳密な精度は必要で
ない。

【００２１】そして、指示者は指示手段４により指示マ
ーク（矢印５）をスクリーン１に投影してプレゼンテー
ションを行う。そして、画面上のコマンドまたはメニュ
ー等を実行したい時には、その場所へ指示マークを動か
しスイッチ６を押してクリックする。

【００２２】制御回路１６ではスイッチ６からの信号を
受けて、スクリーン撮像装置７にモニタ画像上での対応
座標を検出するための制御信号を発する。スクリーン撮
像装置７ではマーク位置検出回路１４にてスクリーン画
像上での指示マークの位置Ｍが検出されるとともに、相
関回路１５、係数算出回路１７、座標変換回路１８によ
り、モニタ画像上での座標Ｍ’が算出され、制御回路１
６へ送られる。制御回路１６では得られた座標Ｍ’か
ら、モニタ画像上のその座標Ｍ’の位置のコマンドまた
はメニュー等を実行し、新たな画像をスクリーン１へ投
影する。

【００２３】以上のようにスクリーン１上で指示された
位置に対応したモニタ画像上での座標を得ることがで
き、メニュー形式のソフトウエア等を制御装置を直接操
作することなしに遠隔操作することができる。なお、本
実施例においてはスクリーンは従来例のように専用の受
光手段を具備したり、投影信号がラスタ信号である必要
はない。

【００２４】また、スクリーン画像とモニタ画像との位
置ずれを画像の相関演算を利用して検出することから、
スクリーン撮像装置７のセッティングは厳密な精度は必
要としない。また、相関演算をモニタ画像の中心に対し
て対称な４位置にて行ったが、これに限定されるわけで
はなく、例えば任意の２位置でもよいし、回転と平行移
動量を直接求められる相関演算を用いるならば１位置で
もよい。また、指示手段４から、制御回路７への信号伝
達手段としては赤外線等の空中伝送手段を用いてもよい
のはもちろんである。

【００２５】さらに、本実施例ではスクリーン撮像装置
７のセッティングにおける画角の設定は撮影者が表示装
置１９の画像をみながらズームレンズ８の倍率を手動で
変えて行ったが、モニタ画像において画面全体をブロッ
ク分割し、各ブロック毎に変位ベクトルを検出し拡大縮
小率を算出し、ズームレンズ８の倍率を自動制御するよ
うにすれば表示装置１９は不要である。または、投影装
置２とスクリーン撮像装置７を一体化し、投影装置２の
倍率と、ＡＦ回路１２で算出されたスクリーン１までの
距離情報をもとに画角を自動的に制御するようにしても
表示装置１９は不要である。また、スクリーン撮像装置
７をセッティングするために基準となる画像を投影装置
２によりスクリーンへ表示するようにしてもよい。

【００２６】また、本実施例では検出されたモニタ画像
の座標に基づいて、その座標の位置に設定されたコマン
ドを実行する場合について説明したが、たとえば、その
位置へ適当な文字を書き込むようにしてもよいし、ペン
入力で行っているような特殊記号入力機能を持たせても
よい。

【００２７】また、本実施例ではマーク位置検出回路１
４にて指示マーク（矢印５）を相関演算にて検出するよ
うにしたが、指示マークを相関性の高いパターン、例え
ばアスタリスク（＊）等のパターンにしておいてもよ
い。また、指示マークの検出にあたり指示マークを点滅
させる等の時間的な変調をかけて検出を行うようにして
もよい。

【００２８】次に図７，８に基づいて、本発明の第２実
施例について説明する。この第２実施例は、前記第１実
施例ではマークのある位置では相関演算が良好に行えな
いという問題点を有しているため、その点を解決するよ
うに、マーク位置検出回路の位置情報から相関演算を行
う位置を選択する相関エリア選択のための回路を設けた
実施例である。なお、前記第１実施例と同様の部材には
同じ番号を付し、詳細は省略する。

【００２９】指示手段４は、可視光から視外光（観察者
が認識不可能な波長を有する光）まで広がっている光
束、たとえば赤から赤外光までの分光特性を有する光束
を円形の指示マーク５として出力する。２０は光学フィ
ルタで可視光よりも視外光をより多く透過させる特性を
有する。すなわち、ＣＣＤ９で撮像される画像信号は投
影画像と指示マークの双方が写るが指示マークの方が投
影された画像よりも明るくなる。

【００３０】そして、マーク位置検出回路１４は図８に
示すような構成となっており、２値化回路１４−３で指
示マークと投影された画像を分離するように２値化が行
われ、重心検出回路１４−４で２値化により検出された
指示マークの重心位置が検出されスクリーン画像上の指
示座標Ｍとして出力される。また、２１は相関回路１５
で相関演算を行うエリアの選択を行う相関エリア選択回
路であり、マーク位置の座標Ｍの近傍を避けた複数の位
置に参照エリア、サーチエリアを設定する。たとえば図
３(a) において位置P1付近に指示マークがある場合は位
置P2とP4の２位置に相関演算のための参照エリアとサー
チエリアを設定する。その他は前記実施例と同様の作用
をする。

【００３１】以上のように本実施例では指示マーク５は
相関演算を用いて検出する必要はなく、より高速なマー
ク位置検出が可能となる。また、相関回路１５での相関
演算を行う位置をマーク位置付近を避けるように選択し
たため、前記実施例に比較しより高精度な変位ベクトル
の検出を行うことができる。また、指示マーク５を円形
にしたことにより重心位置の検出精度を向上することが
できる。また、指示マーク５の輝度をスクリーン上の画
像よりも高く設定しておけば光学フィルタ２０は不用と
なる。

【００３２】次に図９に基づいて、本発明の第３実施例
について説明する。この第３実施例は、視外光専用の受
光センサを用いた実施例である。なお、前記第１実施例
と同様の部材には同じ番号を付し、詳細は省略する。

【００３３】この実施例の指示手段４では可視光から視
外光までの分光特性を持つスポット状の指示マーク５を
スクリーン１へ投影する。２２はハーフミラーで光束は
２つに分けられる。一方は視外光のみを通す光学フィル
タ２５により、指示マークの光束のみが位置検出のため
のＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｎｇ Ｄｅｖ
ｉｃｅ）２３に結像する。２４はＰＳＤ２３の出力信号
をうけ、ＰＳＤ２３に結像しているスポット光の位置の
検出を行い座標Ｍを検出する。

【００３４】本実施例では位置検出にＰＳＤを用いてい
るため、前記実施例のようなマーク検出回路は不要で回
路が簡単になるとともに、大変高速にマーク位置の検出
を行うことができる。

【００３５】次に図１０に基づいて、本発明の第４実施
例について説明する。なお、前記第１実施例と同様の部
材には同じ番号を付し、詳細は省略する。

【００３６】棒形状をした指示手段４の先端には赤外線
等の視外光を発光する発光ダイオード２６が取り付けら
れている。２７は回転フィルタで可視光のみを通す部分
と視外光のみを通す部分により形成されている。また、
２８は切り回路であり回転フィルタにより可視光がＣＣ
Ｄ９に結像しているときにはスイッチｂ側に、視外光が
ＣＣＤ９に結像しているときにはスイッチはａ側に切り
換えられる。マーク検出は回転フィルタにより視外光の
みがＣＣＤ９に結像した信号によって行われ、相関演算
は可視光で行われるように構成されている。

【００３７】本実施例では発光体部２６は観察者の目で
は感じられず、聴講者は発光体部を意識せずプレゼンテ
ーションに集中できる。なお、指示位置をはっきりさせ
るために発光体の分光特性を可視光から視外光まで広く
してもよいのは当然である。

【００３８】次に図１１に基づいて、本発明の第５実施
例について説明する。前記第２実施例ではスポットの位
置を検出してスポット位置を避けるように相関エリアの
選択を行ったが、指示手段が棒形状をしている場合は、
棒により見えなくなっているエリアが生じることにな
る。そこでこの第５実施例においては、棒の位置もあわ
せて避けて相関エリアの設定を行うようにしたものであ
る。なお、前記第１実施例と同様の部材には同じ番号を
付し、詳細は省略する。

【００３９】図１１において指示手段４は発光部を２個
（２６−１，２６−２）有する。そして、この２個の発
光体は交互に発光するようになっており位置検出回路２
４では、２６−１、２６−２に対応した２位置の座標
（Ｍ１，Ｍ２）を時間的に交互に検出する。そして相関
エリア選択回路２１ではＭ１とＭ２付近のエリアを避け
るように相関の参照エリア、サーチエリアを設定する。
座標変換回路１８へはＭ１のみを出力し、Ｍ’として検
出する。

【００４０】以上のように棒形状の指示手段を用いても
スクリーン画像とモニタ画像とのずれ検出のための検出
精度を向上させることができる。また本発明は、前述し
た実施例に限定されるものではなく、他にも発明の要旨
を逸脱しない範囲で種々の変形や応用が可能であること
は勿論である。

【００４１】

【効果】以上説明したように、本発明によれば、撮像し
たスクリーン画像と、投影するための画像のずれを相関
演算にて検出するようにしたため、専用のスクリーンを
必要とせず、また表示面の制約もなく、スクリーン上で
の指示位置を入力できる遠隔指示入力装置を提供するこ
とができる。

【図面の簡単な説明】

【図１】 図１は本発明の第１実施例を説明する図で
ある。

【図２】 図２は本発明の第１実施例に用いられるマ
ーク検出回路を説明する図である。

【図３】 図３は参照エリアとサーチエリアを説明す
る図である。

【図４】 図４は本発明の第１実施例に用いられる相
関回路を説明する図である。

【図５】 図５はスクリーン画像とモニタ画像のずれ
を説明する図である。

【図６】 図６は変位ベクトルを示す図である。

【図７】 図７は本発明の第２実施例を説明する図で
ある。

【図８】 図８は本発明の第２実施例に用いられるマ
ーク検出回路を説明する図である。

【図９】 図９は本発明の第３実施例を説明する図で
ある。

【図１０】 図１０は本発明の第４実施例を説明する図
である。

【図１１】 図１１は本発明の第５実施例を説明する図
である。

【符号の説明】

１…スクリーン，２…投影装置，３…モニタ，４…指示
手段，５…指示マーク，６…スイッチ，７…スクリーン
撮像装置，８…ズームレンズ，９…ＣＣＤ撮像素子，１
２…ＡＦ回路，１４…マーク位置検出回路，１５…相関
回路，１６…制御回路，１８…座標変換回路，１９…表
示装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】スクリーンへ所定画像を投影する画像投影
   手段と、 スクリーン上の位置を指示する指示手段と、 スクリーンに投影された画像を撮像する撮像手段と、 前記撮像手段にて撮像された画像から指示手段によって
   指示された座標位置を検出するための指示位置検出手段
   と、 前記撮像手段によって撮像された画像と、前記投影手段
   によって投影される所定画像との位置ずれを検出するた
   めの位置ずれ検出手段と、 前記位置ずれ検出手段によって検出された位置ずれ量に
   従って、前記指示位置検出手段によって検出された座標
   位置を変換し、所定画像上の座標を算出するための座標
   検出手段と、を具備することを特徴とする遠隔指示入力
   装置。