JP3579096B2 - Display device - Google Patents

Display device Download PDF

Info

Publication number
JP3579096B2
JP3579096B2 JP23142394A JP23142394A JP3579096B2 JP 3579096 B2 JP3579096 B2 JP 3579096B2 JP 23142394 A JP23142394 A JP 23142394A JP 23142394 A JP23142394 A JP 23142394A JP 3579096 B2 JP3579096 B2 JP 3579096B2
Authority
JP
Japan
Prior art keywords
light
screen
pointer
polarization
pointers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23142394A
Other languages
Japanese (ja)
Other versions
JPH0895157A (en
Inventor
公也 山足
谷  正之
浩一郎 谷越
晴美 内ヶ崎
正康 二川
正人 堀田
敦彦 西川
昇平 福岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP23142394A priority Critical patent/JP3579096B2/en
Publication of JPH0895157A publication Critical patent/JPH0895157A/en
Application granted granted Critical
Publication of JP3579096B2 publication Critical patent/JP3579096B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、スクリーンに表示された画像に対する操作等の入力を光で行うポインタを持つディスプレイ装置に関し、特に、複数のポインタで同時に操作等ができるディスプレイ装置に関する。
【0002】
【従来の技術】
ディスプレイ装置を有する計算機システムにおいて、ディスプレイ装置に表示された画像を操作するための指示を受付ける手段として、ディスプレイ装置の表示画面(スクリーン)に直接、手またはその他のものを接触させて、操作のための指示を行うものがある。従来技術に係るこのような指示手段としては、タッチパネルやスタイラスペンがある。これらの方法では、指示を行う人は、ディスプレイの画面に指等を接触させながら操作する必要があり、大型ディスプレイ装置のように、画面から離れた場所から画面を見ることが多い場合には、この方法で画面上の位置を指示しようとすると、不便である。
【0003】
そこで、大型ディスプレイ装置において、表示画面であるスクリーン上の位置を、スクリーンから離れている場所から指示する装置として、特開平5−150753号公報「光ビーム投写型画像表示装置」に記載されたものがある。この表示装置は、画像をスクリーン上に表示する投射器がスクリーンの背面にある背面投射型の大型表示装置である。この装置では、赤外線レーザ光を出力する発光素子を組み込んだものをスクリーン上の位置を指示するためのポインタとして利用している。ポインタから出力された赤外線レーザ光がスクリーンに当たった位置は、スクリーンの背面に設けられたセンサで検知される。そして、その位置からユーザの入力位置を同定する。赤外線は、不可視であるため、同定した位置に画像を表示することにより、位置が確認できるようにしている。
【0004】
しかし、この装置では、一人のユーザのみがスクリーン上で指示を行うことを前提としており、複数の人が同時にポインタを持って、スクリーン上の複数の位置を指示する場合については、考慮していない。この場合には、一人のユーザが指定した位置と他のユーザが指定した位置とが区別できない。そのため、位置の同定を誤り、ユーザの意図とは異なった指示が行われるという問題があった。従って、複数の人が同時にポインタを利用することはできない。
【0005】
この問題を解決するためのポインタが、特開平5−224636号公報「コンピュータ出力投影画像と相互作用する方法及び装置」に記載されている。この装置においては、赤外線または可視光を送出する複数のポインタを用いる。複数のポインタ相互の識別は、異なる周波数(35kHz以下の周波数)で、上記赤外線または可視光を変調して、異なる周波数の矩形波とすることにより行う。赤外線または可視光を検出する際には、変調周波数に応じたバンドパスフィルタを用いることにより、ポインタ間の区別を行うことができる。
【0006】
【発明が解決しようとしている課題】
上記従来技術では、複数のポインタからの出力光を区別できるようにするために、各ポインタは、出力光を変調する変調装置を有することが必要であった。
【0007】
本発明の第1の目的は、変調装置を有しないで、複数のユーザがポインタにより同時に位置を指定できる表示装置を提供することである。
【0008】
ところで、前面投射型の大型表示装置の場合、投射器からの光とポインタからの光の何れもスクリーンの前面で反射されて、ポインタの投射位置を検知するセンサに入る。このため、ポインタからの光と投射器からの光が同じ色または同じ強度である場合のように光として同じ性質を持っている場合は、ポインタの位置を認識することができない。背面投射型の大型表示装置の場合においても、スクリーンの透過性が悪いために、スクリーンの背面で反射される投射器からの光が多い場合は、上記と同様な問題が起こる可能性がある。
【0009】
本発明の第2の目的は、投射器から出る光とポインタから出る光が同じ状態の可能性があり、かつ両者の光がポインタの位置を測定する装置に入りうる場合に、変調装置を有しないで、両者の光を識別できる表示装置を提供することである。
【0010】
【課題を解決するための手段】
上記第1の目的を達成するために、画像が表示されるスクリーンと、上記スクリーンに光を投射することにより上記画像の表示を行う表示手段と、上記スクリーン上の位置を指定するための位置指定手段とを有する表示装置において、上記位置指定手段は、光の色、光の強度、および光の偏光状態のうちの少なくとも1つについて互いに異なる、上記位置を指定するための光を、上記スクリーンの前面から上記スクリーンに投射する複数のポインタと、上記複数のポインタにより、上記スクリーンに投射された複数の上記光を受付けるカメラと、受付けた上記光により、上記ポインタが指定する位置を識別する位置識別手段と、受付けた上記光は、上記光の色、光の強度、および光の偏光状態のうちの少なくとも1つが互いに異なることに基づいて、上記複数のポインタのうちのいずれのポインタにより投射された光であるかを、上記識別された位置ごとに識別するポインタ識別手段とを有することとしたものである。
【0011】
また、上記第2の目的を達成するために、画像が表示されるスクリーンと、1つの偏光状態にある光をスクリーンに投射することにより表示を行う表示手段と、上記スクリーン上の位置を指定するための位置指定手段とを有し、上記位置指定手段は、上記スクリーンに、上記表示手段が投射する光と異なる偏光状態にある光を少なくとも含むとともに、上記含まれる光の色および強度のうちの少なくとも1つについて互いに異なる、上記位置を指定するための光を、上記スクリーンの前面から投射する複数のポインタと、上記表示手段が投射する光と異なる偏光状態にある光を選択して透過させる偏光選択手段と、上記偏光選択手段により選択された偏光を受付けるカメラと、受付けた上記光により、上記ポインタが指定する位置を識別する位置識別手段と、上記複数のポインタにより、上記スクリーンに投射された光のうち、受付けた上記光は、光の色および光の強度のうちの少なくとも1つが互いに異なることに基づいて、上記複数のポインタのうちのいずれのポインタにより投射された光であるかを、上記識別された位置ごとに識別するポインタ識別手段とを有することとしたものである。
【0012】
【作用】
上記複数のポインタは、個々のポインタ毎に異なる特性の光を投射する。上記カメラは、大型ディスプレイのスクリーン上に映っている光を入力される。上記位置識別手段は、それを画像処理し、複数の入力位置を検知する。さらに、ポインタ識別手段は、ポインタ毎の光の色、強度、または光の偏光状態に基づいて、スクリーン上の複数の入力位置を個々のポインタ毎に区別する。以上の動作により、複数のユーザが同時に複数のポインタで入力してもそれぞれのポインタ毎に入力位置を同定することができる。
【0013】
光の色を区別するためには、例えば、ポインタごとに異なる発光色の発光ダイオードを有することとすればよい。光の強度を区別するためには、例えば、ポインタごとに、異なる強度で、発光ダイオードを発光させることとすればよい。また、光の偏光状態を区別するためには、例えば、ポインタごとに異なる偏光を出すように、ポインタごとに異なる偏光板を発光ダイオードの前面に設けて、この偏光板を介して、光を出力することとすればよい。このように、複数のポインタ相互の識別を、光の色、強度、または光の偏光状態で行っているため、変調装置を必要とせず、簡単な構成のポインタで複数のポインタが識別できる。
【0014】
また、表示手段から出る光を1つの偏光状態にある光とし、ポインタからは、異なる偏光状態を含む光を出力することとし、カメラには、偏光選択手段により、表示手段が出力する光は入らないようにする。これにより、変調装置を設けること無く、表示手段からの光とポインタからの光とを区別することができ、かつポインタの位置を正しく認識することができる。
【0015】
【実施例】
本発明に係る表示装置の第1の実施例を、図1を用いて説明する。図1は、表示装置のブロック図である。本装置は、透過型スクリーンの背面に、画像をスクリーンに表示する投射部があり、ユーザは、スクリーンの前面から画像を見るとともに、ポインタにより指示を行う背面投射型表示装置である。以下では、ポインタが2台の場合について述べるが、本発明は、これに限られるものではない。本表示装置は、ポインタ101,102と、その入力にしたがって処理を行う計算機システムからなる。計算機システムは、全体を制御する制御部106と、表示面であるスクリーン103と、スクリーンの背面に設けられ、スクリーン103の裏に映ったポインタ101,102による投射点1011,1021を含めてスクリーン103の背面全体を撮影するカメラ105と、カメラ105が撮影した映像からユーザの入力位置を検知する入力検出部107と、制御部106からの表示すべき情報をアナログのRGB信号に変換する表示部108と、表示部108からのアナログのRGB信号に基づいてスクリーン103に映像を投影する投射部104と、制御部106、入力検出部107、及び表示部108を接続するバス109とを有する。
【0016】
入力検出部107は、上記複数のポインタ101,102により、上記スクリーン103に投射された複数の上記光を受付けて、投射された位置を識別するとともに、上記光の色が互いに異なることに基づいて、上記複数のポインタ101,102のうちのいずれのポインタにより投射された光であるかを識別する機能を有する。
【0017】
計算機システムのハードウエア構成を図13に示す。計算機システムは、CPU131と、主記憶132と、表示部108と、投射部104と、ハードディスク134と、入出力制御部135と、カメラ105とを有する。上記の制御部106は、CPU131、主記憶132により実現され、入力検出部107は、CPU131と、主記憶132と、入出力制御部135により実現される。
【0018】
主記憶132には、CPU131が実行する制御部106、入力検出部107および表示部108の処理プログラムが、実行時に記憶される。
【0019】
ハードディスク134には、ポインタ101,102により指定され、入力検出部107により識別された位置の情報、およびポインタの識別情報(ポインタ種)等が記憶される。また、CPU131が実行する制御部106、入力検出部107および表示部108の処理プログラムが、記憶されており、これらの処理プログラムの実行時に主記憶に転送される。
【0020】
表示部108は、CPU131からスクリーン103に表示する画像を生成するための描画命令を受け、この描画命令に基づいてRGB信号を生成し、投射部104に出力する。図16に、表示部106の内部構成を示す。表示部106は、描画部1061と、フレームメモリ1062と、RGB信号発生器1063とを有する。描画部1061は、制御部106から受付けた描画命令に従って、図形に対応したデータを求め、フレームメモリ1062にそのデータを格納する。RGB信号発生器1063は、そのフレームメモリ1062内のビットマップ情報をRGB信号に変換する。例えば、直線を表示する際には、制御部106は、始点と終点の座標と直線を引く、という命令を表示部106に出力する。描画部1061は、制御部106からの座標を参照し、フレームメモリ1062上に直線を発生する。RGB信号発生部1063は、一定周期毎にフレームメモリ1062を走査し、RGB信号を発生する。
【0021】
入出力制御部135は、CPU131からの指示を受けて、後述するタイミングで、カメラ105からのアナログのRGB信号をアナログ/デジタル変換して、得られたデジタルデータを主記憶132に送る。主記憶132は、このデジタルデータを記憶する。
【0022】
図1により、表示装置の各構成要素について説明する。ポインタ101,102は、可視光を出力する発光素子(発光ダイオード、またはレーザダイオード)を有し、ポインタ101,102ごとに異なる波長の光を出力する。ポインタ101,102の構成を図14に示す。ポインタ101,102は、発光ダイオード141と、発光ダイオード141をオン/オフするためのスイッチ142と、電池143とを有する。
【0023】
スクリーン103は、前述のように透過型であり、例えば、スクリーンの背面から投射部104により投射された光をスクリーン正面方向に屈折させるフレネルレンズと拡散面とで構成される。
【0024】
投射部104は、光源にCRT(陰極線管)を用いたCRT投射型、光源にRGBそれぞれを出力する3本の可視光のレーザを用いて、それらから出力されるレーザビームを直接映像信号で強度変調するレーザ投射型、または、液晶を利用した色フィルタを用いた液晶投射型のいずれでもよい。
【0025】
スクリーン103の裏に配置されているカメラ105は、スクリーン103全体を撮影できるように配置されている。もし、スクリーン103とカメラ105との距離がとれない場合には、反射鏡を使って光路を長くしたり、レンズとして広角レンズを使用して、スクリーン103全体をカメラ105が撮影できるようにする。カメラ105は、撮影したスクリーン103の映像を映像信号として出力する。
【0026】
カメラ105と投射部104とは、同期を取って動作させることとしてもよいし、同期を取らないで動作させてもよい。同期を取って動作させる場合は、投射部104の垂直帰線期間にカメラ105で撮影することが望ましい。こうすると、もし、投射部104からの光がカメラ105に入る場合でも、投射104からの光とポインタ101,102からの光を容易に区別することができるからである。
【0027】
本実施例における、ポインタを識別するための原理を説明する。ユーザは、異なる波長の光を投射するポインタ101,102をそれぞれ操作して、スクリーン103上に光を投射する。図1のようにスクリーン103の裏側(背面側)では、ポインタ101,102で指示している位置に各ポインタ101,102に対応した色の投射点1011,1021が現れる。これをスクリーン103の裏から見れば、各ポインタ101,102ごとの投射点1011,1021の位置により、入力位置を検知することができ、投射点1011,1021の色により、それぞれのポインタ101,102を区別することができる。
【0028】
なお、投射点1011,1021の色は、表示されている画像の色と一致している場合がある。しかし、以下の理由から、本実施例では、問題とならない。本実施例のような背面投射型の表示装置の場合は、画像は背面からスクリーン103に投射され、ポインタ101,102からの光は、スクリーン103の前面から投射される。そして、本実施例のスクリーン103は、入射された光を透過させる性質を有するため、カメラ105には、ポインタ101,102からの光が主に入り、スクリーン103で反射されてカメラ105に入る画像の光は少なく、投射点1011,1021の色と、画像の色とが混同されることは少ないからである。
【0029】
次に、この識別処理を行う入力検出部107について説明する。入力検出部107は、カメラ105が撮影した映像を元にユーザの入力を同定する。カメラ105が撮影した映像は、図示するようなスクリーン103全体を撮影したカメラ画像110である。カメラ105は、撮影したカメラ画像110をアナログのRGB信号に変換し、入力検出部107に送る。入力検出部107は、カメラ105から送られたアナログのRGBの信号を、所定のタイミングで1フレーム分の信号をサンプリングする。
【0030】
サンプリングのタイミングとしては、以下の2つの方法があり、どちらの方法でも良い。
【0031】
1.一定周期ごとにサンプリングを行う
入力検出部107が1フレーム分の画像データについて、入力位置やポインタ種の識別等の所定の処理を行うのに必要な時間よりも大きな時間にサンプリング周期を決めておく方法である。例えば、20ミリ秒毎に入力検出部107はサンプリングを行うというように決める。
【0032】
2.一定周期ごとにはサンプリングを行わない
入力検出部107が1フレーム分の画像データについて、入力位置やポインタ種の識別等の所定の処理を終了した時点で、入力検出部107がすぐにカメラ104からのRGB信号をサンプリングする。
【0033】
カメラ105からの映像の1フレーム分をサンプリングすると、次に、その映像の中に投射点1011,1021があるかどうかを検査し、ユーザの入力があったかどうかを判断する。
【0034】
ところで、入力検出部107は、入力位置とイベント種とを検知する必要がある。ここで、入力位置とイベント種とは、おのおの次のようなものである。
【0035】
代表的な入力装置であるマウスを例にして説明すると、入力位置とは、マウスを動かしたときに、その移動に追従して動く表示画面上のカーソルの位置である。イベント種とは、ユーザの指示の種別を表し、例えば、特定の表示の要求/特定の表示の消去の要求等である。マウスの場合、イベント種の識別は、マウスのボタンを押したとき(ボタンダウン)、そのボタンを離したとき(ボタンアップ)等により行われる。本実施例では、入力位置の指定及びイベント種の入力をポインタ101,102により実現するため、次のような入力方法を採用する。
【0036】
入力位置は、ユーザがポインタ101,102からの光でスクリーン103上を投射した位置とする。
【0037】
イベント種に関しては、ポインタ101,102のスイッチ142をオンすることにより、ユーザがスクリーン103上のある位置に投射を開始足したときに、その位置で、マウスのボタンダウンに相当する入力がされたとする。また、ポインタ101,102のスイッチをオンした状態で(投射した状態で)、ポインタ101,102の投射位置をユーザが希望する位置まで移動させた後、その位置で、スイッチ142のオフ動作を行うことにより、マウスのボタンアップに相当する入力がされたと判断する。上記のようにボタンダウンを定義すると、ポインタ101,102が初めて投射されるまでは、ユーザは、投射位置が不明のため、間違った位置でボタンダウンをすることになるか農政がある。しかし、本実施例では、ボタンアップがされた投射位置にあるメニューが選択されたとするので、メニューの選択を誤ることはない。
【0038】
なお、ボタンダウンを、マウスのダブルクリックと同様に、2回連続してオン動作が行われたときとすれば、誤った位置で1回オン動作をしてもボタンダウンとは解釈されず、メニューの選択は無効とされる。この結果、ボタンダウンが行われた投射位置にあるメニューのみが選択される。
【0039】
さらに、入力検出部107は、ポインタ種(それぞれのポインタを識別するためのユニークな番号)も出力する。複数の人が同時に入力を行うことができる環境を提供するため、複数のユーザがそれぞれポインタを持ち、同時に入力を行う場合に、入力検出部107は、同時に入力される複数の入力デバイス(ポインタ)をそれぞれ区別する必要があるからである。
【0040】
入力検出部107は、上記の入力位置、イベント種、ポインタ種を検出するため、カメラ画像をサンプリングした後、まず、入力位置とポインタ種の検出を同時に行い、次にイベント種の検出を行う。
【0041】
入力検出部107の動作を図15の処理フローにより説明する。
【0042】
ステップ201
カメラ105は、スクリーン全体を映した画像110をRGB信号に変換し、入力検出部107に送る。入力検出部107は、この信号をサンプリングする。サンプリングの順序としては、1フレームを構成する走査線を上から下に向かって順次サンプリングする。1本の走査線については、左から右に向かって順次サンプリングする。このときの1走査線上での画素数をMとする。サンプリングにより、スクリーン103を撮影した1フレームのカメラ映像110について、各画素のRGB成分ごとに、8ビットのデータが作成される。このデータは、主記憶132に記憶される。
【0043】
ステップ202
以下のステップ211までの処理により、入力検出部107は、入力情報を検知するため、入力位置とポインタ種のチェックを同時に行う。その後に、イベント種の判定を行う。ステップ202から211のうち、ステップ202から207では、各ポインタ種ごとにサンプリング画像内にポインタがあるかどうかを検査する。以下では、ポインタ種として、赤色光を出力するポインタ(以下では、赤のポインタと呼ぶ)を検索する方法を示す。赤のポインタをチェックするため、入力検出部107は、サンプリング画像のなかで、もっとも赤い点を検索する。
【0044】
ステップ202で入力位置を検出するため、各ポインタの色の強度の情報を記憶する変数(最大変数)を0に初期化する。例えば赤の場合には、赤最大変数を0に設定する。
【0045】
ステップ203
1フレーム内の最初の画素から最後の画素までの1画素ごとに、サンプリングされたデータに関し、ステップ203の下位の処理ステップであるステップ204から207を実行する。
【0046】
ステップ204
入力検出部107は、各画素のRGB値をサンプリングの順序と同じ順序で検査し、ほかの成分(GB)の成分が0で、赤最大変数よりもRの成分が大きいかどうかを判断する。画素が見つかれば、ステップ205に進み、そうでないときは、次の画素についてステップ204を行う。
【0047】
ステップ205
その画素の番号(1フレーム内の画素について、サンプリング順に付された1連判号)からカメラ座標(P,P)を獲得する。このときの計算は、その画素がN番目の画素である場合、以下の式で計算できる。
【0048】
=mod(N,M),P=integer(N/M) integerは整数化する関数
この座標は、カメラ101の撮像面上で定義される座標系での座標であり、この座標系をカメラ座標系と呼ぶ。一方、表示される画像の位置は、投射部104が投射する画素についての座標系(画面座標系)で管理されている。従って、カメラ座標系で求まった位置を画面座標系での位置に変換する必要がある。カメラ座標系と画面座標系との対応関係は、投射部104とスクリーン103とカメラ105との位置関係により決まる。このため、入力検出部107は、あらかじめカメラ座標系(Px,Py)と画面座標系(X,Y)との座標変換式 X=fX(Px,Py)、Y=fY(Px,Py) を記憶している。そして、この変換式により、求めたカメラ画像上の位置を画面座標系での位置に後述のステップ210で変換する。
【0049】
ステップ206
赤最大変数にステップ205の画素のRの値を設定する。
【0050】
ステップ207
ほかのポインタの色についても、ステップ204−206と同じ処理を行う。
【0051】
以上のステップ204から207が全画素について行われることにより、ポインタの色ごとに、その色の最大値を持つ画素のカメラ座標を得ることができる。
【0052】
ステップ208
入力位置を検知したかどうかを各色について調べる。赤最大変数の値が0であれば、ステップ209に進む。赤最大変数の値が0でない場合には、どこかの点で入力があったと判断し、ステップ210−212へ進み、入力情報を出力する。
【0053】
ステップ209
赤からの入力がなかったと入力検出部107は判断する。
【0054】
ステップ210
カメラ座標上の位置を計算機内部で管理している画面座標系に変換する。このため、入力検出部107は、あらかじめカメラ画像系(P,P)と画面座標系(X,Y)との変換式、X=X(P,P)、Y=Y(P,P)を記憶しており、カメラ画像上でのポインタ位置(P,P)を画面座標系に変換する。
【0055】
このようにして、入力位置の検出を、各ポインタ種の発光色ごとに決まるRGBのパターンの有無により行い、各ポインタ種ごとに入力位置を検出することができる。
【0056】
ステップ211
イベント種をチェックする。本実施例では、ポインタが発光を開始したかどうか、発光が終了したかどうかというポインタ101,102の発光状態の変化でイベント種を検出する。このため、入力検出部107は1つ前のステータス情報を記憶しておく。具体的には、主記憶132に記憶しておく。ここで、ステータス情報とは、ポインタによる投射位置、ポインタの色、投射状態の3つを指す。投射状態とは、ポインタ101,102により投射されているかどうかの状態を指す。また、前回、今回とは、前回のサンプリング時、今回のサンプリング時を意味する。従って、フレームの数で考えると、1フレーム分の処理がカメラからの1フレームを送る周期よりも短い場合は、前回とは、1フレーム前を指す。1フレーム分の処理がカメラからの1フレームを送る周期よりも長い場合は、前回とは、2フレーム以上前を指す。
【0057】
入力検出部107が、上述のポインタ101,102により入力が行われたことを検出する処理を行うごとに、1つ前のステータス情報と比べ、その情報によって入力検出部107は、以下のような入力情報を生成する。この情報は、制御部106に送られる。ここで、入力情報とは、全てのポインタに関する、ポインタによる投射位置、ポインタの色、入力状態の3つを指す。入力状態とは、ボタンダウンであるか、ボタンアップであるか、または移動中であるかどうかの状態を指す。
【0058】
・今回、ポインタにより入力が行われたことを検知し、前回も検知した場合
入力状態に関して、前回検知したポインタ種が今回検知した座標位置へ移動中であるとした入力情報を制御部106に送信する。
【0059】
・今回、ポインタにより入力が行われたことを検知し、前回は検知しなかった場合
入力状態に関して、前回検知したポインタ種が今回検知した座標位置でボタンダウンされたとした入力情報を制御部106に送信する。
【0060】
・今回、ポインタにより入力が行われたことを検知しないで、前回、検知した場合
入力状態に関して、今回検知したポインタ種が前回の座標位置でボタンアップされたとした入力情報を制御部106に送信する。
【0061】
・今回、ポインタにより入力が行われたことを検知しないで、前回も検知しなかった場合
処理対象のポインタ種からの入力が引き続き無いとして、制御部106になにも送信しない。
【0062】
ステップ212
ステップ211で生成された入力情報、たとえば、検知したポインタ種(赤)、イベント種(ボタンダウン)、イベント発生位置(x,y)を制御部106に対して送る。
【0063】
ステップ213
ステップ208から212と同じ処理を、各ポインタの発光色ごとに行う。
【0064】
上記では、色として、赤のように3原色のうちの1つの色成分のみを持つものについて述べたが、本発明は、これに限らず、RGBの2または3色からなる色についても同様に検出することができる。
【0065】
また、色の検出を1画素についてのみ行った。この方法は試作の結果、充分、有効であることが確認された。なお、通常は、最大の強度を有する画素は、複数集まっていることが考えられるので、その集まりを検出することとしてもよい。この方法の方が、1画素のみを検出するよりは、確実と考えられる。
【0066】
なお、スクリーンは大画面であるため、ポインタの投射点のサイズが小さくなりすぎる可能性があり、カメラで撮影した場合、解像度が不足する可能性があるが、試作の結果、通常のポインタ、カメラで充分検出可能であることが確認された。
【0067】
入力検出部107から上記の入力情報を受けた制御部106は、各ポインタごとにその入力情報に従った処理を実行する。たとえば、複数のメニューが画面上に表示されている場合に、ボタンアップが画面上のいずれか1つのメニュー上で行われたときは、ボタンアップが行われた位置のメニューが選択されたと解釈し、そのメニューを開く処理を行う。この実行結果として、開かれたメニューを表示する画像を生成するためのデータを表示部108に送る。この時に、ポインタ101,102は、手振れ等のために、その指定位置がふらついている場合がある。そこで、メニューの位置指定には、メニューの1つ1つごとに、許容領域を設け、ポインタ101,102が1つのメニューの許容領域内にあるときは、そのメニューが選択されたとする。
【0068】
表示部108は、このデータに従って、アナログのRGB信号を生成する。生成したRGB信号を投射部104に送る。
【0069】
投射部104は、RGB信号にしたがって、光をスクリーン103に投射する。
【0070】
ここで、前述のカメラ座標系での位置座標を画面座標系での位置座標に変換する変換式を決定する方法を説明する。2つの座標系の対応は、投射部104、スクリーン103、カメラ105の位置関係により決まるが、これらの位置関係は、スクリーンの位置等を動かすことにより変わるので、2つの座標系の対応関係は、必ずしも固定的なものではない。そのために本表示装置の使用開始時に、変換式を決定する必要がある。
【0071】
本実施例では、あらかじめスクリーン103上に投射部104により、スクリーン103上に2つの印を表示し、その印を1つのポインタでポインティングすることによって、カメラ座標系と画面座標系とを変換する変換式を決定する。この印は、スクリーン103の対角線上の2点に表示される。そして、この2点の、カメラ座標系での座標と画面座標系での座標とを対応させることにより変換式を求める。
【0072】
画面座標系は、x−y座標で(0、0)から(1280、1024)の座標を持つ。まず、制御部106は、画面座標系上の(100、100)の位置にあらかじめ決められた上記印を表示する。ユーザは、スクリーン103上に映った印を見て、その印の上にポインタで光を投射し、印の上で発光を止める。入力検出部107は、使用開始時は、デフォルトの変換式、X=Px,Y=Pyを記憶しているため、この式によりカメラ座標系で検出した座標をそのまま制御部106に出力する。制御部106は、その検出座標をP1(Px1,Py1)として記憶する。次に、制御部106は、前の印を消し、(1000、900)の点に前回と同様の印を表示する。前回と同様、ユーザは、スクリーン103上に映った印を見て、その印の上にポインタで光を投射し、印の上で発光を止める。入力検出部は、カメラ座標上でのポインティング点を検出し、その座標を制御部106に出力する。制御部106は、検出座標をP2(Px2,Py2)として記憶する。
【0073】
次に制御部106は、上記の2つの検出座標を用いて、カメラ座標系の座標を線形変換により画面座標系の座標に変換する変換式を作成する。すなわち、上記のP1の座標値(Px1,Py1)と、P2の座標値(Px2,Py2)を以下の式のPx1,Py1、Px2,Py2に代入して、変換式を求める。
【0074】
X=((1000−100)/(Px2−Px1))*(Px−Px1)+100
Y=((900−100)/(Py2−Py1))*(Py−Py1)+100
この式が、カメラ座標系での座標(Px,Py)を、画面座標系での座標(X,Y)へ変換する変換式である。
【0075】
以上述べたように、本実施例によれば、複数のユーザは、異なる発光色を持つポインタで大型スクリーンを投射することにより、それぞれの人が独立に入力を行うことができる。また、ポインタは可視光をスクリーンに投射するため、表示装置の投射部が動作していなくても、可視光の色を容易に確認することができる。
【0076】
上記実施例においては、ポインタ種の区別として、RGBの色(光の周波数)を変化させて、複数のポインタを区別するようにした。上記は、背面投射型のため、投射部からの光の色とポインタの投射する光の色が同一でも誤認は生じないが、前面投射型の場合は、誤認が生じる可能性がある。そのため、前面投射型の場合は、投射部からの光の色が限定されているとき、投射部からの光の色と異なる色をポインタで用いることが望ましい。
【0077】
ポインタの色を変化させる他にも、各ポインタの光の強度を変えてポインタを区別する方法も考えられる。例えば、光の強度が異なる複数の赤色ポインタを用いた場合には、入力検出部は、あらかじめ各ポインタごとにR成分値の強度範囲を測定しておき、これを記憶しておく。入力検出部は、検出したR成分値がどのポインタの強度範囲にはいるかをチェックして、ポインタ種を判別し、各ポインタごとの入力位置を同定する。
【0078】
次に、この方法を用いた第2の実施例について説明する。本実施例では、複数のポインタを光の強弱で区別する。色はすべて同じとし、赤色の場合を例に説明する。
【0079】
本実施例に係る表示装置の構成を図6に示す。本実施例は、第1の実施例と同様に背面投射型の表示装置である。本実施例では、2つの赤色ポインタ601、602は異なる明るさの光を照射する。ポインタ601はポインタ602より強い光を照射する。カメラ105は、強さの異なる2つの赤色の点6011’,6021’を含むカメラ画像110を撮影し、撮影したカメラ画像110を入力検出部607へディジタル信号の形で出力する。カメラ画像110の内、赤の成分(0−255の範囲の値で表される。値が大きいほど明るい)を考えると、ポインタからの光によって照射されている点6011’,6021’は、赤の成分について、0より大きい値を持つ。一方、投射部104から投射される光は、透過型スクリーン103により、大部分がスクリーンの前面方向に透過していき、スクリーン103により反射されてカメラ105に入る光は、わずかであるため、ポインタから投射された光の当たっていない部分(点6011’,6021’以外の部分)のカメラ画像110については、赤の成分は、ほぼ0である。
【0080】
次に、入力検出部607の動作について述べる。入力検出部607は、あらかじめポインタ601,602により照射される点6011,6021の光の強度を測定しておき、これを記憶しておく。測定の方法は、使用開始時に、制御部106がスクリーン103にポインタ601,602を投射するように1つのポインタごとに順次指示する表示をスクリーン103にする。その表示を見て、ユーザが表示に従ってポインタを点灯し、その画像をカメラ105により撮影する。その時の各ポインタ601,602の強度をハードディスク134に記憶しておく。測定の結果、ポインタ601の光がカメラ105に入ると、赤の成分の値が200前後である画素が検出され、ポインタ602の光がカメラ105に入ると、赤の成分の値が100前後である画素が検出されることが確認されているとする。
【0081】
ポインタ601,602の入力位置を検出するときは、入力検出部607は、検出した赤の成分値がどのポインタの強度範囲にはいるかを調べ、ポインタ種を判別し、各ポインタごとの入力位置を同定する。すなわち、入力検出部607は、カメラ105からの映像の赤の成分を検査し、150から255の間であればポインタ601の光であると判断し、50から150の間であればポインタ602の光であると判断する。次に、第1の実施例と同様に、入力検出部607は、検出したそれぞれのポインタ601,602からの光の現在の発光状態と前回の発光状態とを比較して、イベント種を確定し、制御部106に得られた入力情報を送信する。
ポインタ601とポインタ602の発光強度を異ならせるには、図14のポインタの回路において、発光ダイオード141と電池143の間に抵抗を直列に挿入し、この抵抗の大きさをポインタ601とポインタ602で異ならせることとすればよい。
【0082】
なお、図6に示す構成要素と図1に示す構成要素における共通部分は、同一符号で示し、その詳細説明は省略する。
【0083】
以上のように、本実施例によれば、ポインタを用いて入力を行う大画面表示装置において複数のユーザが同時に操作指示を入力することができる。
【0084】
第1、第2の実施例では、スクリーン103の裏側に見える、ポインタの投射点の映像をカメラ105で撮影している。このとき、投射部104から投射された光のうち大部分は、スクリーン103を透過する。しかし、スクリーンの透過性が悪い場合には、投射光の一部はスクリーン103の背面方向に反射され、スクリーンの背面においても投射部104がスクリーン103に投射している映像が見える。このため、図2のスクリーン103上に図示したように、スクリーン103上には、投射部104からの光とポインタ101,102からの光が背面から見える。従って、カメラ105は、投射部104から投射され、スクリーン103で反射した反射光と、ポインタから投射された光とを同時に受け取ってしまい、両者の光がスクリーン上の同じ位置で反射され、かつ同じ色もしくは強度であるときは、入力検出部はポインタの位置を認識することができない。また、両者の光がスクリーン上の異なる位置で反射され、かつ同じ色もしくは強度であるときは、入力検出部はポインタの位置を誤認してしまう場合がある。次に述べる第3の実施例では、偏光を用いることにより、この問題を解決する。
【0085】
本発明の第3の実施例を説明する。本実施例の構成を図2に示す。本実施例では、投射部104は、その前面に、投射部104から右回りの偏光(以下では右偏光と呼ぶ)のみを投射するための右偏光板201を装着している。カメラ105は、その前面に、右回りの偏光のみを透過させないための左偏光板202を装着している。偏光板201,202の詳細は後述する。
【0086】
投射部104からは、右偏光板201によって右偏光を持つ光だけが投射され、スクリーン103に投射される。これに対し、カメラ105には左偏光板202を装着しているため、スクリーン103で反射された、投射部104からの右偏光だけを持つ光は、カメラ105の前面にある左偏光板202でカットされ、カメラ105には入射しない。ポインタ101、102からの光は、通常、右偏光と左偏光(左回りの偏光)を含む任意の偏光を持つ。そのため、ポインタ101,102の光は、スクリーン103を通り、カメラ105の前面にある左偏光板202に入射する。この左偏光板202により、ポインタ101、102からの光のうち、左偏光を持った光が左偏光板202を通り抜け、カメラ105に入射する。この結果、スクリーン103上には、投射部104からの画像2011と、ポインタ101,102からの光による投射点1011,1021とがあるが、カメラ画像203には、ポインタ101,102からの投射点の像1011’,1021’のみがある。
【0087】
以上のように、投射部104とカメラ105に異なる偏光板201、202を装着することにより、カメラ105には、図2のカメラ画像203に示すように投射部104からの光は入射せず、ポインタ101,102からの光だけが入射する。こうして、カメラ105は不要な光を省いたユーザの入力したポインタの映像だけを撮影することができる。入力検出部107は、このカメラ画像203を上記第1の実施例で述べた方法で検査することにより、ポインタ101、10による入力を検知することができる。
ここで、偏光板201,202の構成及び動作について、図7、8、9を参照して述べる。図7は、右偏光板201の構成を示す。右偏光板201は、直線偏光のみを通す直線偏光板2015と、直線偏光を右偏光にする1/4波長板2016から構成される。すなわち、投射部104から出た光7141のうち、直線偏光7151のみが、直線偏光板2015を通過し、直線偏光7151は、1/4波長板2016により、右偏光7161に変えられ、スクリーン103に投射される。
【0088】
図8は、左偏光板202の構成を示す。左偏光板202は、右偏光を直線偏光に変える1/4波長板2026と、この直線偏光を通過させないように透過軸が配置されている直線偏光板2025とから構成される。ここで透過軸とは、直線偏光板2025に固有の軸であって、この軸方向と同じ方向の振動面を有する直線偏光のみが直線偏光板2025を透過することができる。1/4波長板2026に入る光には、投射部104から出て、スクリーン103で反射された右偏光7161と、ポインタ101,102からのあらゆる方向の偏光を含む光7161’とがある。右偏光7161と光7161’中の右偏光とは、1/4波長板2026により、直線偏光7261及び直線偏光を含む光7261’に変えられる。この直線偏光の光の振動面と直線偏光板2025の透過軸とは直交するため、光7261は、直線偏光板2025を通過することができない。光7251は、光7261’のうち、直線偏光板2025を通過した光である。
【0089】
上記直線偏光板2015,2025は、グラン−トムソン・プリズム、ニコル・プリズム、2色性色素材料を塗布した透明プラスチック材料等により実現することができる。1/4波長板は、水晶板、チタン酸バリウム結晶等により実現することができる。1/4波長板は、波長に応じてその厚さが決まるが、厚さを決めるための基準となる波長については、投射部104から出力される光のうち、代表的な色の波長、出力される光の波長の上限値と下限値の平均、または出力される光量を考慮した重み付き平均とすればよい。
【0090】
図7に示すように、直線偏光を右偏光に変えるためには、直線偏光板2015の透過軸と、1/4波長板2016の進相軸とを一定の関係になるように配置する必要がある。これを図9に示す。ここで、進相軸とは、以下のようなものである。1/4波長板2016には、1/4波長板2016に入射した直線偏光が、その偏光状態を変えないで1/4波長板2016を通過できる、互いに直交する2つの振動面の方向がある。この2つの方向のうち、光の伝搬速度が速い方の方向と同じ方向を有する軸を進相軸と呼ぶ。
【0091】
図9において、投射部104から出た光7141は、順に、直線偏光板2015、1/4波長板2016、スクリーン103、1/4波長板2026、を通過して、直線偏光板2025に入る。また、直線偏光板2015の透過軸715に対して、1/4波長板2016の進相軸716は、1/4波長板2016からみて、反時計周りに45度に配置されている。さらに、図8に示すように、1/4波長板2026に入ってきた右偏光を、直線偏光板2025でカットするためには、1/4波長板2026の進相軸726と、直線偏光板2015の透過軸とを一定の関係になるように配置する必要がある。このため、図9において、直線偏光板2025の透過軸725に対して、1/4波長板2026の進相軸726は、1/4波長板2026からみて時計周りに45度に配置されている。
【0092】
なお、図2に示す構成要素と図1に示す構成要素における共通部分は、同一符号で示し、その詳細説明は省略する。
【0093】
以上のように、本実施例によれば、ポインタを用いて入力を行う大画面表示装置において複数のユーザが同時に操作指示を入力することができる。
【0094】
また、投射部104とカメラ105の前面に偏光特性の異なる偏光板を装着することにより、スクリーンの裏側へ反射された投射部104からの光をカメラが撮影することを防ぐことができ、ポインタからの光を精度良く撮影できる。
【0095】
なお、本実施例においては、右偏光板と左偏光板の組み合せとしたが、本発明は、これに限られるものではなく、互いに透過軸が直交する直線偏光板を組み合わせても良い。
【0096】
さらに、本実施例では、1/4波長板を用いて、円偏光を生成したが、他の波長板を用いて、楕円偏光を生成しても良い。
【0097】
また、本実施例では、複数のポインタを扱っているが、ポインタ種が一種類である場合に、ポインタからの光と投射部からの光とを区別するために、本実施例の偏光板を有する投射部とカメラとを用いることとしても良い。
【0098】
また、第2の実施例に、本実施例のような偏光板を有する投射部とカメラとを適用することもできる。
【0099】
次に、本発明の第4の実施例を図3により説明する。第3の実施例では、背面投写型大型ディスプレイを対象としていたが、本実施例では、第3の実施例の手法を背面投写型大型ディスプレイよりも安価な前面投写型大型ディスレイに適用したものである。
【0100】
前面投写型ディスプレイの場合には、投射部104はスクリーン301の前面に設けられる。スクリーン301は、反射型スクリーンであり、スクリーン301の前面から投射された、投射部104からの光を前面に反射する。このスクリーン301は不透過性のシートであり、背面からスクリーン301を見てもなにも見えない。カメラ105は、スクリーン301の前面からスクリーン301を撮影する必要がある。このため、前面投写型ディスプレイの場合には、スクリーン上に、投射部104からの光と、ユーザが指示等を入力するために利用するポインタ101,102からの光とが混在する。スクリーン301を前面からカメラ105で撮影したのでは、スクリーン301上に映っている光が、ポインタからの光か、投射部104からの光なのかが区別できない。本実施例では、第2の実施例と同様に偏光板を利用することによりこの問題を解決する。
【0101】
本実施例に係る表示装置のシステム構成を図3に示す。図3に示すように、投射部104は、その前面に、投射部104から右偏光のみを投射するための右偏光板201を装着している。カメラ105は、その前面に、右回りの偏光のみを透過させないための左偏光板202を装着している。投射部104から出た光は、右偏光板201により、右偏光に変えられて、スクリーン301に到達する。スクリーン301で反射され、カメラ105に入射する投射部104からの光は、カメラ105の前にある左偏光板202により、フィルタリングされ、カメラ105に入射できない。一方、ユーザがポインタ101、102で投射する光は、スクリーン301で反射した後、カメラ105の前にある左偏光板202でフィルタリングされる。しかし、ポインタ101、102からの光は、右偏光と左偏光とをもっているため、左偏光であるポインタからの光がカメラ105に入射する。この結果、カメラ105では、カメラ画像302のように、ポインタ101,102からの光1011’,1021’だけが撮影され、投射部104からの光は撮影されない。入力検出部107は、このカメラ画像302を処理することにより、ポインタ101,102による入力を検知することができる。
なお、図3に示す構成要素と図1に示す構成要素における共通部分は、同一符号で示し、その詳細説明は省略する。
【0102】
このように、本実施例によれば、前面投写型の大型ディスプレイの場合でも、可視光を投射するポインタを用いて入力を行うことができる。本実施例は、複数の色により識別される複数のポインタを用いる場合について述べたが、1つのポインタを用いる場合でも、本実施例のように偏光板を利用することにより、投射部からの光とポインタからの光とを精度良く区別することができる。
【0103】
次に、本発明の第5の実施例を説明する。上記第1から第4までの実施例では、ポインタからの光の周波数や強度がポインタごとに異なることを利用して、複数のポインタを区別していた。本実施例では、複数のポインタの区別を光の偏光状態で区別する。
【0104】
本実施例の構成を図4に示す。本実施例では、2つの赤色ポインタに互いに異なる偏光板を設置した。ポインタ101には左偏光のみを透過させる左偏光板401を、ポインタ102には、右偏光のみを透過させる右偏光板402を、各ポインタの前に設置する。これにより、ポインタ101からは、左偏光を持つ光が投射され、ポインタ102からは、右偏光を持つ光が投射される。
【0105】
カメラ105の前には、入力検出部407からの信号に従って、右偏光と左偏光のうち、通過させる偏光を選択することのできる可変偏光板403を設置する。可変偏光板403は、図10に示すように、1/4波長板4037と、1/2波長板4036と、直線偏光板4035とから構成される。1/2波長板4036は、TN(Twisted Nematic)液晶で構成されており、電圧が印加されていないときは、入射された直線偏光の振動面の方向を90度回転させる。所定の電圧が印加されているときは、入射された直線偏光の振動面の方向を変えない。
【0106】
図12に、1/4波長板4037の進相軸1237、および直線偏光板4035の透過軸1235の向きを示す。本図では、1/4波長板4037の進相軸1237の向きは、左偏光が入射したときに、これを、垂直方向に振動面を持つ直線偏光に変えるように配置されている。すなわち、進相軸1237は、光の入射方向から見て、反時計方向に垂直方向1201から45度傾けて配置されている。また、直線偏光板4035の透過軸1235は、1/2波長板4036に電圧を印加しているときに、ポインタ102からの右偏光を透過するように、水平方向に配置されている。
【0107】
図11に、ポインタ101からの左偏光、及びポインタ102からの右偏光が、可変偏光板403に入射したときに、1/4波長板4037及び1/2波長板4036により、その振動面がどのように変わるかを示す。1/2波長板4036を通過後の光の振動面は、電圧を印加しているときは、ポインタ101からの光については、垂直方向である。このため、直線偏光板4035を通過する。すなわち、可変偏光板403を通過する。図中では、1/2波長板を通過後の光が直線偏光板4035を通過することを「○」で示す。また、この時、ポインタ102からの光の振動面は、水平方向であるため、直線偏光板4035を通過しない。すなわち、可変偏光板403を通過しない。図中では、1/2波長板を通過後の光が直線偏光板4035を通過しないことを「×」で示す。電圧を印加していないときは、逆になり、ポインタ101からの光は、可変偏光板403を通過しないが、ポインタ102からの光は通過する。
【0108】
入力検出部407は、可変偏光板用インタフェース404を介して、可変偏光板403を上記のようにオン/オフ制御することにより、左偏光だけをカメラ105に入射させたり、右偏光だけをカメラ105に入射させたりできる。
【0109】
次に、処理手順について述べる。入力検出部407は、まず、ポインタ101の入力を検知する。入力検出部407は、可変偏光板403に対し、左偏光のみを透過するように可変偏光板403に電圧を印加しないというオフ信号を送信する。可変偏光板403は、この信号を受けて、左偏光だけを透過させるように変化する。カメラ105に左偏光だけが入射する。このため、カメラ105には図4のように左偏光の光を投射しているポインタ101からの光だけが入射し、ポインタ102からの右偏光は入射しない。カメラ105は、このポインタ101からの光1011’だけが映っている画像を入力検出部407に送る。入力検出部407は、第1の実施例と同様にカメラ105からの画像を1フレームずつサンプリングする。そして、1フレームごとにポインタ101からの光が有する色の画素があるかどうかを検索し、ポインタ101の入力位置を検索する。一方、ポインタ102からの光を検知するため、入力検出部407は、可変偏光板403の偏光特性を右偏光のみを透過するように変えて、カメラ105に、ポインタ102が投射している右偏光だけが入射するようにする。こうして、入力検出部407は、ポインタ102により指示された位置を検知する。次に、第1の実施例と同様に、入力検出部407は、検出したそれぞれのポインタの現在の発光状態と前回の発光状態とを比較して、イベント種を確定し、制御部106に入力情報を送信する。
なお、図4に示す構成要素と図1に示す構成要素における共通部分は、同一符号で示し、その詳細説明は省略する。
【0110】
以上のように、本実施例によれば、ポインタを用いて入力する大画面用入力装置において複数のユーザが同時に入力することができる。
【0111】
ところで、ポインタで入力する際には、入力位置、ポインタ種、イベント種を知る必要がある。上記の第1から第5の実施例では、イベント種の区別をポインタの投射光の発生・消滅により行っている。しかし、ポインタの投射光の発生・消滅の組み合わせだけでは表現できないほどの多数のイベント種が必要になる場合がある。多数のイベント種を表現するため、マウスの場合にはクリックボタンの数を複数用意している。次に述べる第6の実施例では、ポインタで多数のイベント種を表現できるようにするため、ポインタに複数のボタンを設け、そのボタン操作によって識別される複数のイベント種に関する情報をポインタから入力検出部に無線により直接送信する。
【0112】
本発明の第6の実施例を図5,17,18を用いて説明する。本実施例では、ポインタ501、502は、多数のイベント種をユーザが指定するときに、そのイベント種の指定に必要となる数だけの選択ボタンが設けられている。
【0113】
図5に第6の実施例の機能ブロック図を示す。入力検出部507は、受信装置(アンテナ)503を介して各ポインタ501、502からの無線通信によって、ポインタ種とイベント種とを得る。
【0114】
図18に第6の実施例のハードウエアの構成を示す。本実施例は、第1の実施例に、RFインタフェース部181と、アンテナ503とを追加したものである。入力検出部507は、CPU131と、主記憶132と、入出力制御部135と、RFインタフェース部181とにより実現される。RFインタフェース部181は、アンテナ503を介して受付けたRF信号を復調して、復調した信号からポインタ種とイベント種を検出する。検出したポインタ種とイベント種は、入出力制御部135を介したハードディスク134に格納される。
【0115】
図17にポインタ501,502の内部構成を示す。ポインタ501,502は、発光ダイオード141と、スイッチ142と、電池143と、イベント種を選択するための選択ボタン171,172,173と、選択ボタン171,172,173に応じた変調周波数を有するRF信号を出力する変調部177と、RF信号を受けて、電波を出力するアンテナ178と、選択ボタン171,172,173がオンのときハイ、オフのときはロウの信号を出力するための抵抗174,175,176とを有する。ユーザが選択ボタン171,172,173のいずれかを選択すると、変調部177は、ユーザが選択したボタンに対応するイベント種を示す信号と、送信をしたのはどのポインタ501,502であるかを識別するためのポインタ種を示す信号とを1組として、この組に対応した変調周波数を有するRF信号を出力する。
【0116】
入力検出部507は、受信装置(アンテナ)503を介して各ポインタ501、502からの無線通信によって、ポインタ種とイベント種とを得る。
【0117】
一方、上記第1の実施例で記述した方法により、入力検出部507はカメラ画像から定期的に入力位置とポインタ種を検出し、ポインタ種ごとに入力位置を記憶する。入力検出部507は、ポインタ501,502から無線で送られてきたポインタ種とイベント情報とを受信すると、あらかじめ入力検出部107内に記憶している入力位置を、無線で送られてきたポインタ種をキーにして検索し、ポインタ501,502から送信されたポインタ種の入力位置を検索する。次に、入力検出部507は、検索した入力位置と、送信されてきたポインタ種およびイベント種を制御部106に入力情報として出力する。制御部106は、入力検出部507からの入力位置、ポインタ種、イベント種に従って処理を行う。
なお、図5に示す構成要素と図1に示す構成要素における共通部分は、同一符号で示し、その詳細説明は省略する。
【0118】
本実施例によれば、ポインタを用いて入力する大画面表示装置において、本発明の実施例1、2、3、4、5では実現できない多数のイベント種を定義することができる。本実施例では、複数のポインタを用いて入力を行う場合について述べたが、本実施例のイベント種を指定する方法は、ポインタが1つの場合にも適用することができる。
【0119】
本発明に係るポインタを有する大画面表示装置は、大画面表示装置を利用するプラント監視システムに適用することができる。例えば、この表示装置と、監視対象であるプラントの状態に関する情報を収集し、処理するプラント監視用計算機システムとを有するプラント監視システムにおいて、表示装置は、上記プラントの状態を表示するとともに、上記プラントの監視に関する指示を受付けて、プラント監視用計算機システムに上記指示を送り、プラントの監視を行うこととしてもよい。
【0120】
また、本発明に係るポインタを有する大画面表示装置は、大画面表示装置を利用する交通管制システムに適用することができる。例えば、この表示装置と、管制対象である航空機または自動車の移動状態に関する情報を収集し、処理する管制用計算機システムとを有する交通管制システムにおいて、表示装置は、航空機等の移動状態を表示するとともに、航空機等の管制に関する指示を受付けて、上記管制用計算機システムに上記指示を送り、航空機等の管制を行うこととしてもよい。
【0121】
また、本発明に係るポインタを有する大画面表示装置は、大画面表示装置を利用するプレゼンテーションシステムに適用することができる。例えば、この表示装置と、プレゼンテーションすべき情報を上記表示装置に出力する計算機システムとを有するプレゼンテーションシステムにおいて、上記表示装置は、上記情報を表示するとともに、受付けた入力を上記計算機システムに送り、プレゼンテーションを行うこととしてもよい。
【0122】
また、本発明に係るポインタを有する大画面表示装置は、大画面表示装置を利用する電子会議システムに適用することができる。例えば、この表示装置と、上記表示装置に表示する画像を外部から受付ける通信装置とを有する電子会議システムにおいて、表示装置は、上記受付けた画像を表示するとともに、受付けた入力を上記通信装置に出力し、外部との会議を行うこととしてもよい。
【0123】
【発明の効果】
本発明によれば、発光特性の異なる可視光を投射するポインタを用いて入力操作を行うため、ポインタの各々が出力する可視光を容易に確認することができるとともに、複数の人が同時に、大画面への入力操作を行うことができる。
【0124】
また、本発明に係る表示装置は、すべての大画面ディスプレイ装置を用いるシステムで利用することができる。このようなシステムとしては、たとえば、プラント制御システム、交通管制システム、プレゼンテーションシステム、電子会議システムなどがある。
【図面の簡単な説明】
【図1】本発明の第1の実施例に係る表示装置のブロック図である。
【図2】本発明の第2の実施例に係る表示装置のブロック図である。
【図3】本発明の第3の実施例に係る表示装置のブロック図である。
【図4】本発明の第4の実施例に係る表示装置のブロック図である。
【図5】本発明の第5の実施例に係る表示装置のブロック図である。
【図6】本発明の第2の実施例に係る表示装置のブロック図である。
【図7】偏光板の構成を示す説明図である。
【図8】偏光板の構成を示す説明図である。
【図9】偏光板の進相軸、透過軸の配置を示す説明図である。
【図10】可変偏光板の構成を示す説明図である。
【図11】可変偏光板の動作を示す説明図である。
【図12】可変偏光板の進相軸、透過軸の配置を示す説明図である。
【図13】計算機システムのハードウエアのブロック図。
【図14】ポインタのブロック図。
【図15】入力検出部の処理フロー。
【図16】表示部のブロック図。
【図17】ポインタのブロック図。
【図18】計算機システムのハードウエアのブロック図。
【符号の説明】
101、102、501、502…ポインタ、103…表示スクリーン、104…投射部、105…カメラ、106…制御部、107…入力検出部、108…表示部、109、203、302、405…カメラ画像、201、202、401、402、403…偏光板、301…前面投写型表示スクリーン、503…受信機
[0001]
[Industrial applications]
The present invention relates to a display device having a pointer for inputting an operation or the like to an image displayed on a screen using light, and more particularly to a display device capable of performing an operation or the like with a plurality of pointers simultaneously.
[0002]
[Prior art]
In a computer system having a display device, as a means for receiving an instruction for operating an image displayed on the display device, a hand or other object is brought into direct contact with a display screen (screen) of the display device to perform an operation. There are those that give instructions. Such an indicating means according to the related art includes a touch panel and a stylus pen. In these methods, the instructor needs to operate while touching the screen of the display with a finger or the like, and when viewing the screen from a place away from the screen, such as a large display device, It is inconvenient to specify a position on the screen in this way.
[0003]
Therefore, as a device for indicating a position on a screen as a display screen in a large display device from a place away from the screen, a device described in Japanese Patent Application Laid-Open No. H5-150753, "Light beam projection type image display device" There is. This display device is a rear projection type large display device in which a projector for displaying an image on a screen is provided on the back of the screen. In this apparatus, a device incorporating a light emitting element for outputting infrared laser light is used as a pointer for indicating a position on a screen. The position where the infrared laser beam output from the pointer hits the screen is detected by a sensor provided on the back of the screen. Then, the input position of the user is identified from the position. Since the infrared rays are invisible, the position can be confirmed by displaying an image at the identified position.
[0004]
However, in this device, it is assumed that only one user gives an instruction on the screen, and a case where a plurality of people simultaneously hold a pointer and indicate a plurality of positions on the screen is not considered. . In this case, the position specified by one user cannot be distinguished from the position specified by another user. For this reason, there is a problem that the position is erroneously identified and an instruction different from the user's intention is performed. Therefore, a plurality of persons cannot use the pointer at the same time.
[0005]
A pointer for solving this problem is described in JP-A-5-224636, entitled "Method and Apparatus for Interacting with Computer-Output Projected Images". This device uses a plurality of pointers that emit infrared or visible light. The identification of the plurality of pointers is performed by modulating the infrared or visible light at different frequencies (frequencies of 35 kHz or less) into rectangular waves of different frequencies. When detecting infrared light or visible light, it is possible to distinguish between pointers by using a band-pass filter according to the modulation frequency.
[0006]
[Problems to be solved by the invention]
In the above prior art, each of the pointers needs to have a modulator for modulating the output light so that the output light from the plurality of pointers can be distinguished.
[0007]
A first object of the present invention is to provide a display device that does not have a modulation device and that allows a plurality of users to specify positions simultaneously with a pointer.
[0008]
By the way, in the case of a front projection type large display device, both the light from the projector and the light from the pointer are reflected on the front surface of the screen and enter the sensor for detecting the projection position of the pointer. Therefore, when the light from the pointer and the light from the projector have the same property as light, such as when the light has the same color or the same intensity, the position of the pointer cannot be recognized. Even in the case of a rear projection type large display device, the same problem as described above may occur if the light from the projector reflected from the rear surface of the screen is large due to poor transmittance of the screen.
[0009]
A second object of the invention is to provide a modulator if the light emerging from the projector and the light emerging from the pointer can be in the same state, and both light can enter the device for measuring the position of the pointer. Instead, an object of the present invention is to provide a display device capable of distinguishing both lights.
[0010]
[Means for Solving the Problems]
In order to achieve the first object, a screen on which an image is displayed, display means for displaying the image by projecting light on the screen, and position designation for designating a position on the screen Means, the position designating means, for differentiating at least one of a color of light, an intensity of light, and a polarization state of light, light for designating the position, the light of the screen, A plurality of pointers for projecting from the front onto the screen; a camera for receiving the plurality of lights projected on the screen by the plurality of pointers; and a position identification for identifying a position designated by the pointer by the received lights. The means and the received light are based on the fact that at least one of the color, the light intensity, and the polarization state of the light is different from each other. There are, whether the light projected by one of the pointer of the plurality of pointers, in which was to have a pointer identifying means for identifying for each of the identified location.
[0011]
In order to achieve the second object, a screen on which an image is displayed, display means for displaying light by projecting light in one polarization state onto the screen, and a position on the screen are designated. And position designation means for the, the position designation means, the screen, at least including light in a different polarization state than the light projected by the display means, of the color and intensity of the light included A plurality of pointers for projecting light for designating the position, different from at least one of the positions, from the front of the screen; and a polarized light for selectively transmitting light in a different polarization state from the light projected by the display means. Selecting means, a camera for receiving the polarized light selected by the polarization selecting means, and a position designated by the pointer by the received light. The light received from the light projected on the screen by the location identification means and the plurality of pointers is based on the fact that at least one of light color and light intensity is different from each other, Pointer identifying means for identifying, for each of the identified positions, the light projected by any of the pointers.
[0012]
[Action]
The plurality of pointers project light having different characteristics for each of the pointers. The camera receives light reflected on the screen of a large display. The position identification means performs image processing on the image to detect a plurality of input positions. Further, the pointer identifying means distinguishes a plurality of input positions on the screen for each pointer based on the color, intensity, or polarization state of light for each pointer. According to the above operation, the input position can be identified for each pointer even when a plurality of users simultaneously input with a plurality of pointers.
[0013]
In order to distinguish the color of light, for example, a light emitting diode of a different emission color may be provided for each pointer. In order to distinguish the light intensity, for example, the light emitting diode may emit light at a different intensity for each pointer. Further, in order to distinguish the polarization state of light, for example, a different polarizing plate is provided for each pointer on the front surface of the light emitting diode so as to emit different polarization for each pointer, and light is output through this polarizing plate. What should be done. As described above, since the plurality of pointers are distinguished from each other based on the color, intensity, or polarization state of light, a plurality of pointers can be identified with a pointer having a simple configuration without the need for a modulation device.
[0014]
In addition, light emitted from the display means is light in one polarization state, and light containing different polarization states is output from the pointer, and the light output from the display means is input to the camera by the polarization selection means. Not to be. Thus, the light from the display means and the light from the pointer can be distinguished without providing a modulation device, and the position of the pointer can be correctly recognized.
[0015]
【Example】
First Embodiment A display device according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram of a display device. This device is a rear projection display device that has a projection unit that displays an image on the screen on the back of the transmission screen, and that allows the user to view the image from the front of the screen and give an instruction using a pointer. In the following, a case where there are two pointers will be described, but the present invention is not limited to this. This display device includes pointers 101 and 102 and a computer system that performs processing according to the input. The computer system includes a control unit 106 for controlling the entire system, a screen 103 as a display surface, and a screen 103 including projection points 1011, 1021 provided by pointers 101, 102 provided on the back of the screen 103 and reflected on the back of the screen 103. A camera 105 for photographing the entire back of the camera, an input detection unit 107 for detecting a user's input position from a video photographed by the camera 105, and a display unit 108 for converting information to be displayed from the control unit 106 into analog RGB signals. A projection unit 104 that projects an image on a screen 103 based on an analog RGB signal from the display unit 108; and a bus 109 that connects the control unit 106, the input detection unit 107, and the display unit 108.
[0016]
The input detection unit 107 receives the plurality of lights projected on the screen 103 by the plurality of pointers 101 and 102, identifies the projected positions, and based on the fact that the colors of the lights are different from each other. Has a function of identifying which of the plurality of pointers 101 and 102 is the light projected by the pointer.
[0017]
FIG. 13 shows the hardware configuration of the computer system. The computer system includes a CPU 131, a main memory 132, a display unit 108, a projection unit 104, a hard disk 134, an input / output control unit 135, and a camera 105. The control unit 106 is realized by the CPU 131 and the main memory 132, and the input detection unit 107 is realized by the CPU 131, the main memory 132, and the input / output control unit 135.
[0018]
The main storage 132 stores the processing programs of the control unit 106, the input detection unit 107, and the display unit 108 executed by the CPU 131 at the time of execution.
[0019]
The hard disk 134 stores information on the position specified by the pointers 101 and 102 and identified by the input detection unit 107, pointer identification information (pointer type), and the like. Further, processing programs of the control unit 106, the input detection unit 107, and the display unit 108 executed by the CPU 131 are stored, and are transferred to the main storage when these processing programs are executed.
[0020]
The display unit 108 receives a drawing command for generating an image to be displayed on the screen 103 from the CPU 131, generates an RGB signal based on the drawing command, and outputs the signal to the projection unit 104. FIG. 16 shows an internal configuration of the display unit 106. The display unit 106 includes a drawing unit 1061, a frame memory 1062, and an RGB signal generator 1063. The drawing unit 1061 obtains data corresponding to the figure in accordance with the drawing command received from the control unit 106, and stores the data in the frame memory 1062. The RGB signal generator 1063 converts the bitmap information in the frame memory 1062 into an RGB signal. For example, when displaying a straight line, the control unit 106 outputs to the display unit 106 a command to draw a straight line with the coordinates of the start point and the end point. The drawing unit 1061 refers to the coordinates from the control unit 106 and generates a straight line on the frame memory 1062. The RGB signal generation unit 1063 scans the frame memory 1062 at regular intervals to generate an RGB signal.
[0021]
The input / output control unit 135 receives an instruction from the CPU 131, converts the analog RGB signal from the camera 105 from analog to digital at a timing described later, and sends the obtained digital data to the main storage 132. The main memory 132 stores the digital data.
[0022]
Each component of the display device will be described with reference to FIG. Each of the pointers 101 and 102 has a light-emitting element (light-emitting diode or laser diode) that outputs visible light, and outputs light having a different wavelength for each of the pointers 101 and 102. FIG. 14 shows the configuration of the pointers 101 and 102. Each of the pointers 101 and 102 includes a light emitting diode 141, a switch 142 for turning on / off the light emitting diode 141, and a battery 143.
[0023]
The screen 103 is of a transmissive type as described above, and includes, for example, a Fresnel lens that refracts the light projected by the projection unit 104 from the back of the screen toward the front of the screen, and a diffusion surface.
[0024]
The projection unit 104 is a CRT projection type using a CRT (cathode ray tube) as a light source, uses three visible light lasers that output RGB respectively as a light source, and directly intensifies a laser beam output from the laser with a video signal. Any of a laser projection type for modulation and a liquid crystal projection type using a color filter using liquid crystal may be used.
[0025]
The camera 105 arranged behind the screen 103 is arranged so that the entire screen 103 can be photographed. If the distance between the screen 103 and the camera 105 cannot be maintained, the optical path is lengthened by using a reflecting mirror, or a wide-angle lens is used as a lens so that the camera 105 can take an image of the entire screen 103. The camera 105 outputs the captured image of the screen 103 as a video signal.
[0026]
The camera 105 and the projection unit 104 may be operated with synchronization, or may be operated without synchronization. When the operation is performed in synchronization, it is preferable that the camera 105 captures an image during the vertical retrace period of the projection unit 104. In this way, even if the light from the projection unit 104 enters the camera 105, the light from the projection 104 and the light from the pointers 101 and 102 can be easily distinguished.
[0027]
A principle for identifying a pointer in the present embodiment will be described. The user operates the pointers 101 and 102 for projecting light of different wavelengths to project light on the screen 103. As shown in FIG. 1, on the back side (back side) of the screen 103, projection points 1011 and 1021 of colors corresponding to the pointers 101 and 102 appear at positions indicated by the pointers 101 and 102. When this is viewed from behind the screen 103, the input position can be detected by the position of the projection points 1011 and 1021 for each of the pointers 101 and 102, and the pointers 101 and 102 can be detected by the colors of the projection points 1011 and 1021. Can be distinguished.
[0028]
Note that the colors of the projection points 1011 and 1021 may coincide with the colors of the displayed image. However, there is no problem in this embodiment for the following reasons. In the case of a rear projection type display device as in this embodiment, an image is projected on the screen 103 from the back, and light from the pointers 101 and 102 is projected from the front of the screen 103. Since the screen 103 according to the present embodiment has a property of transmitting incident light, the light from the pointers 101 and 102 mainly enters the camera 105 and is reflected by the screen 103 and enters the camera 105. Is small, and the colors of the projection points 1011 and 1021 and the colors of the image are rarely confused.
[0029]
Next, the input detection unit 107 that performs this identification processing will be described. The input detection unit 107 identifies a user's input based on the video captured by the camera 105. The image captured by the camera 105 is a camera image 110 obtained by capturing the entire screen 103 as illustrated. The camera 105 converts the captured camera image 110 into an analog RGB signal and sends it to the input detection unit 107. The input detection unit 107 samples the analog RGB signal sent from the camera 105 for one frame at a predetermined timing.
[0030]
There are the following two methods for sampling timing, and either method may be used.
[0031]
1. Perform sampling at regular intervals
This is a method in which the input detection unit 107 determines a sampling cycle at a time longer than a time required for performing predetermined processing such as identification of an input position and a pointer type on one frame of image data. For example, the input detection unit 107 determines to perform sampling every 20 milliseconds.
[0032]
2. Do not sample at regular intervals
When the input detection unit 107 completes predetermined processing such as identification of an input position and a pointer type for one frame of image data, the input detection unit 107 immediately samples an RGB signal from the camera 104.
[0033]
When one frame of the video from the camera 105 is sampled, it is next checked whether or not there are projection points 1011 and 1021 in the video, and it is determined whether or not a user input has been made.
[0034]
Incidentally, the input detection unit 107 needs to detect the input position and the event type. Here, the input position and the event type are as follows.
[0035]
Taking a mouse, which is a typical input device, as an example, the input position is the position of the cursor on the display screen that moves when the mouse is moved. The event type indicates the type of the user's instruction, and is, for example, a request for a specific display / a request for erasing a specific display. In the case of a mouse, the event type is identified when a mouse button is pressed (button down), when the button is released (button up), or the like. In the present embodiment, the following input method is adopted in order to specify the input position and input the event type using the pointers 101 and 102.
[0036]
The input position is a position where the user projects light on the screen 103 with light from the pointers 101 and 102.
[0037]
Regarding the event type, by turning on the switch 142 of the pointers 101 and 102, when the user starts projection at a certain position on the screen 103, it is determined that an input corresponding to a mouse button down has been made at that position. I do. Further, in a state where the switches of the pointers 101 and 102 are turned on (in a projected state), the projection position of the pointers 101 and 102 is moved to a position desired by the user, and then the switch 142 is turned off at that position. Thus, it is determined that the input corresponding to the mouse button up has been performed. When the button-down is defined as described above, until the pointers 101 and 102 are projected for the first time, since the projection position is unknown, the user may perform a button-down at an incorrect position, or there may be agricultural policy. However, in this embodiment, since the menu at the projection position where the button is raised is selected, there is no mistake in selecting the menu.
[0038]
Note that if the button-down is performed twice consecutively as in the case of double-clicking the mouse, the button-down will not be interpreted as a button-down even if the button is turned on once at an incorrect position. Menu selection is invalidated. As a result, only the menu at the projection position where the button is down is selected.
[0039]
Further, the input detection unit 107 also outputs a pointer type (a unique number for identifying each pointer). In order to provide an environment in which a plurality of people can perform input simultaneously, when a plurality of users have pointers and perform input simultaneously, the input detection unit 107 sets a plurality of input devices (pointers) to be simultaneously input. Is necessary to be distinguished from each other.
[0040]
In order to detect the input position, the event type, and the pointer type, the input detection unit 107 first detects the input position and the pointer type simultaneously after sampling the camera image, and then detects the event type.
[0041]
The operation of the input detection unit 107 will be described with reference to the processing flow of FIG.
[0042]
Step 201
The camera 105 converts the image 110 showing the entire screen into RGB signals and sends the RGB signals to the input detection unit 107. The input detection unit 107 samples this signal. As the sampling order, the scanning lines constituting one frame are sequentially sampled from top to bottom. One scanning line is sampled sequentially from left to right. The number of pixels on one scanning line at this time is M. By sampling, 8-bit data is created for each RGB component of each pixel with respect to one frame of the camera image 110 photographing the screen 103. This data is stored in the main storage 132.
[0043]
Step 202
Through the processing up to step 211 described below, the input detection unit 107 simultaneously checks the input position and the pointer type to detect the input information. After that, the event type is determined. In steps 202 to 207 of steps 202 to 211, it is checked whether or not there is a pointer in the sampling image for each pointer type. Hereinafter, a method of searching for a pointer that outputs red light (hereinafter, referred to as a red pointer) as a pointer type will be described. In order to check the red pointer, the input detection unit 107 searches the sampling image for the redest dot.
[0044]
In step 202, in order to detect the input position, a variable (maximum variable) for storing information on the color intensity of each pointer is initialized to zero. For example, in the case of red, the red maximum variable is set to 0.
[0045]
Step 203
Steps 204 to 207, which are lower processing steps of step 203, are executed on the sampled data for each pixel from the first pixel to the last pixel in one frame.
[0046]
Step 204
The input detection unit 107 checks the RGB values of each pixel in the same order as the sampling order, and determines whether the other component (GB) is 0 and the R component is larger than the red maximum variable. If a pixel is found, the process proceeds to step 205; otherwise, the process proceeds to step 204 for the next pixel.
[0047]
Step 205
From the pixel number (one consecutive number attached in the sampling order for the pixels in one frame) to the camera coordinates (P x , P y ) To win. The calculation at this time can be calculated by the following equation when the pixel is the N-th pixel.
[0048]
P x = Mod (N, M), P y = Integer (N / M) where integer is a function to be converted to an integer
These coordinates are coordinates in a coordinate system defined on the imaging surface of the camera 101, and this coordinate system is called a camera coordinate system. On the other hand, the position of the displayed image is managed in a coordinate system (screen coordinate system) for the pixels projected by the projection unit 104. Therefore, it is necessary to convert the position obtained in the camera coordinate system into a position in the screen coordinate system. The correspondence between the camera coordinate system and the screen coordinate system is determined by the positional relationship between the projection unit 104, the screen 103, and the camera 105. For this reason, the input detection unit 107 preliminarily calculates a coordinate conversion expression X = fX (Px, Py) and Y = fY (Px, Py) between the camera coordinate system (Px, Py) and the screen coordinate system (X, Y). I remember. Then, the position on the camera image obtained is converted into a position on the screen coordinate system in step 210 described later by this conversion formula.
[0049]
Step 206
The value of R of the pixel in step 205 is set as the red maximum variable.
[0050]
Step 207
The same processing as steps 204 to 206 is performed for the other pointer colors.
[0051]
By performing the above steps 204 to 207 for all pixels, the camera coordinates of the pixel having the maximum value of the color can be obtained for each color of the pointer.
[0052]
Step 208
Check whether the input position is detected for each color. If the value of the red maximum variable is 0, the process proceeds to step 209. If the value of the red maximum variable is not 0, it is determined that an input has been made at some point, and the process proceeds to steps 210 to 212 to output input information.
[0053]
Step 209
The input detection unit 107 determines that there is no input from red.
[0054]
Step 210
The position on the camera coordinates is converted to the screen coordinate system managed inside the computer. For this reason, the input detection unit 107 has a camera image system (P x , P y ) And the screen coordinate system (X, Y), X = X (P x , P y ), Y = Y (P x , P y ) Is stored, and the pointer position (P x , P y ) To the screen coordinate system.
[0055]
In this manner, the input position is detected based on the presence or absence of the RGB pattern determined for each light emission color of each pointer type, and the input position can be detected for each pointer type.
[0056]
Step 211
Check the event type. In this embodiment, the event type is detected based on a change in the light emission state of the pointers 101 and 102 indicating whether the pointer has started emitting light or whether the light emission has ended. For this reason, the input detection unit 107 stores the previous status information. Specifically, it is stored in the main memory 132. Here, the status information indicates three points: a projection position by the pointer, a color of the pointer, and a projection state. The projection state indicates a state of whether or not the projection is performed by the pointers 101 and 102. Also, “last time, current time” means the last sampling time and the current sampling time. Therefore, considering the number of frames, if the processing for one frame is shorter than the cycle of sending one frame from the camera, the previous time indicates one frame before. If the processing for one frame is longer than the period for sending one frame from the camera, the last time indicates two or more frames earlier.
[0057]
Each time the input detection unit 107 performs a process of detecting that an input has been performed by the above-described pointers 101 and 102, the input detection unit 107 compares the status information with the immediately preceding status information and uses the information as follows. Generate input information. This information is sent to the control unit 106. Here, the input information indicates three points of all the pointers: a projection position by the pointer, a color of the pointer, and an input state. The input state indicates a state of whether the button is down, the button is up, or moving.
[0058]
・ This time, the input was detected by the pointer and the previous time was also detected.
Regarding the input state, the control unit 106 transmits input information indicating that the previously detected pointer type is moving to the coordinate position detected this time.
[0059]
・ When the input was detected by the pointer this time and the previous time was not detected
Regarding the input state, the control unit 106 transmits input information that the previously detected pointer type has been button-down at the coordinate position detected this time.
[0060]
・ When the previous input was detected without detecting the input by the pointer this time
Regarding the input state, the control unit 106 transmits input information indicating that the currently detected pointer type has been button-up at the previous coordinate position.
[0061]
・ When the input was not detected by the pointer this time, and the previous time was not detected
Since there is no input from the pointer type to be processed, nothing is transmitted to the control unit 106.
[0062]
Step 212
The input information generated in step 211, for example, the detected pointer type (red), event type (button down), and event occurrence position (x, y) are sent to the control unit 106.
[0063]
Step 213
The same processing as steps 208 to 212 is performed for each light emission color of each pointer.
[0064]
In the above description, a color having only one color component of the three primary colors, such as red, has been described. However, the present invention is not limited to this, and the same applies to a color composed of two or three colors of RGB. Can be detected.
[0065]
In addition, color detection was performed for only one pixel. As a result of trial production, this method was confirmed to be sufficiently effective. Usually, a plurality of pixels having the maximum intensity are considered to be collected, so that the collection may be detected. This method is considered more reliable than detecting only one pixel.
[0066]
Since the screen is a large screen, the size of the projection point of the pointer may be too small, and the resolution may be insufficient when shooting with a camera. Was confirmed to be sufficiently detectable.
[0067]
The control unit 106 that has received the above input information from the input detection unit 107 executes a process according to the input information for each pointer. For example, when multiple menus are displayed on the screen and a button is pressed on any one of the menus on the screen, it is interpreted that the menu at the position where the button was raised is selected. , The process of opening the menu. As a result of this execution, data for generating an image for displaying the opened menu is sent to the display unit 108. At this time, the designated positions of the pointers 101 and 102 may fluctuate due to camera shake or the like. Therefore, in specifying the position of the menu, an allowable area is provided for each menu, and when the pointers 101 and 102 are within the allowable area of one menu, it is assumed that the menu is selected.
[0068]
The display unit 108 generates an analog RGB signal according to the data. The generated RGB signals are sent to the projection unit 104.
[0069]
The projection unit 104 projects light on the screen 103 according to the RGB signals.
[0070]
Here, a method of determining a conversion formula for converting the above-described position coordinates in the camera coordinate system into position coordinates in the screen coordinate system will be described. The correspondence between the two coordinate systems is determined by the positional relationship between the projection unit 104, the screen 103, and the camera 105. Since the positional relationship changes by moving the position of the screen or the like, the correspondence between the two coordinate systems is as follows. It is not always fixed. Therefore, it is necessary to determine a conversion equation when starting use of the display device.
[0071]
In this embodiment, two marks are displayed on the screen 103 in advance by the projection unit 104 on the screen 103, and the marks are pointed by one pointer, thereby converting between the camera coordinate system and the screen coordinate system. Determine the formula. This mark is displayed at two points on the screen 103 on a diagonal line. Then, a conversion formula is obtained by associating the coordinates of the two points in the camera coordinate system with the coordinates in the screen coordinate system.
[0072]
The screen coordinate system has (xy, xy) coordinates from (0, 0) to (1280, 1024). First, the control unit 106 displays the predetermined mark at a position (100, 100) on the screen coordinate system. The user looks at the mark reflected on the screen 103, projects light with a pointer on the mark, and stops emitting light on the mark. At the start of use, the input detection unit 107 stores the default conversion formulas, X = Px and Y = Py, and outputs the coordinates detected in the camera coordinate system to the control unit 106 using these formulas. The control unit 106 stores the detected coordinates as P1 (Px1, Py1). Next, the control unit 106 erases the previous mark and displays the same mark as at the previous time at the point (1000, 900). As before, the user looks at the mark reflected on the screen 103, projects light with the pointer on the mark, and stops emitting light on the mark. The input detection unit detects a pointing point on the camera coordinates, and outputs the coordinates to the control unit 106. The control unit 106 stores the detected coordinates as P2 (Px2, Py2).
[0073]
Next, the control unit 106 creates a conversion formula for converting the coordinates of the camera coordinate system into the coordinates of the screen coordinate system by linear conversion using the above two detected coordinates. That is, the coordinate values (Px1, Py1) of P1 and the coordinate values (Px2, Py2) of P2 are substituted for Px1, Py1, Px2, and Py2 in the following equations to obtain a conversion equation.
[0074]
X = ((1000-100) / (Px2-Px1)) * (Px-Px1) +100
Y = ((900-100) / (Py2-Py1)) * (Py-Py1) +100
This equation is a conversion equation for converting coordinates (Px, Py) in the camera coordinate system to coordinates (X, Y) in the screen coordinate system.
[0075]
As described above, according to the present embodiment, a plurality of users can input data independently by projecting a large screen with pointers having different emission colors. Further, since the pointer projects visible light on the screen, the color of visible light can be easily confirmed even when the projection unit of the display device is not operating.
[0076]
In the above-described embodiment, a plurality of pointers are distinguished by changing the RGB color (light frequency) to distinguish the pointer types. Since the above is a rear projection type, erroneous recognition does not occur even if the color of light from the projection unit and the color of light projected by the pointer are the same, but in the case of a front projection type, erroneous recognition may occur. Therefore, in the case of the front projection type, when the color of the light from the projection unit is limited, it is desirable to use a color different from the color of the light from the projection unit in the pointer.
[0077]
In addition to changing the color of the pointer, a method of distinguishing the pointer by changing the light intensity of each pointer is also conceivable. For example, when a plurality of red pointers having different light intensities are used, the input detection unit measures in advance the intensity range of the R component value for each pointer and stores the measured value. The input detection unit checks which of the strength ranges of the pointers the detected R component value belongs to, determines the type of the pointer, and identifies the input position for each pointer.
[0078]
Next, a second embodiment using this method will be described. In this embodiment, a plurality of pointers are distinguished by the intensity of light. The colors are all the same, and the case of red will be described as an example.
[0079]
FIG. 6 shows the configuration of the display device according to this embodiment. This embodiment is a rear projection type display device like the first embodiment. In this embodiment, the two red pointers 601 and 602 emit light of different brightness. The pointer 601 emits light that is stronger than the pointer 602. The camera 105 captures a camera image 110 including two red dots 6011 ′ and 6021 ′ having different intensities, and outputs the captured camera image 110 to the input detection unit 607 in the form of a digital signal. Considering the red component of the camera image 110 (represented by a value in the range of 0 to 255; the larger the value, the brighter), the points 6011 ′ and 6021 ′ illuminated by the light from the pointer become red Has a value greater than 0 for the component. On the other hand, most of the light projected from the projection unit 104 is transmitted to the front side of the screen by the transmission screen 103, and the light reflected by the screen 103 and entering the camera 105 is small. The red component is substantially zero for the camera image 110 in the portion where the light projected from the camera is not hit (the portion other than the points 6011 ′ and 6021 ′).
[0080]
Next, the operation of the input detection unit 607 will be described. The input detection unit 607 measures in advance the intensity of light at the points 6011 and 6021 irradiated by the pointers 601 and 602, and stores the measured intensity. As a measurement method, at the start of use, the control unit 106 makes a display on the screen 103 in which the pointers 601 and 602 are sequentially instructed to project the pointers 601 and 602 for each pointer. Upon seeing the display, the user turns on the pointer according to the display, and the image is captured by the camera 105. The strength of each of the pointers 601 and 602 at that time is stored in the hard disk 134. As a result of the measurement, when the light of the pointer 601 enters the camera 105, a pixel whose red component value is around 200 is detected, and when the light of the pointer 602 enters the camera 105, the pixel value of the red component is around 100. It is assumed that it is confirmed that a certain pixel is detected.
[0081]
When detecting the input positions of the pointers 601 and 602, the input detection unit 607 checks which pointer's intensity range the detected red component value is in, determines the type of pointer, and determines the input position of each pointer. Identify. That is, the input detection unit 607 examines the red component of the image from the camera 105, determines that the light is the light of the pointer 601 if it is between 150 and 255, and determines that the light is the light of the pointer 601 if it is between 50 and 150. Judge as light. Next, as in the first embodiment, the input detection unit 607 compares the current light emission state of the detected light from each of the pointers 601 and 602 with the previous light emission state to determine the event type. , And transmits the obtained input information to the control unit 106.
In order to make the light emission intensity of the pointer 601 and the pointer 602 different, in the pointer circuit of FIG. 14, a resistor is inserted in series between the light emitting diode 141 and the battery 143, and the magnitude of this resistance is determined by the pointer 601 and the pointer 602. What is necessary is just to make it different.
[0082]
Note that components common to the components shown in FIG. 6 and the components shown in FIG.
[0083]
As described above, according to the present embodiment, a plurality of users can simultaneously input operation instructions in a large screen display device that performs input using a pointer.
[0084]
In the first and second embodiments, the image of the projection point of the pointer, which is visible on the back side of the screen 103, is captured by the camera 105. At this time, most of the light projected from the projection unit 104 passes through the screen 103. However, when the transmittance of the screen is poor, a part of the projection light is reflected toward the back of the screen 103, and the image projected by the projection unit 104 on the screen 103 can be seen on the back of the screen. Therefore, as shown on the screen 103 in FIG. 2, on the screen 103, the light from the projection unit 104 and the light from the pointers 101 and 102 can be seen from the back. Accordingly, the camera 105 simultaneously receives the reflected light projected from the projection unit 104 and reflected on the screen 103 and the light projected from the pointer, and both lights are reflected at the same position on the screen, and If it is color or intensity, the input detection unit cannot recognize the position of the pointer. When both lights are reflected at different positions on the screen and have the same color or intensity, the input detection unit may erroneously recognize the position of the pointer. In a third embodiment described below, this problem is solved by using polarized light.
[0085]
A third embodiment of the present invention will be described. FIG. 2 shows the configuration of this embodiment. In the present embodiment, the projection unit 104 has, on the front surface thereof, a right polarizing plate 201 for projecting only clockwise polarized light (hereinafter referred to as right polarization) from the projection unit 104. The camera 105 has, on its front surface, a left polarizer 202 for preventing transmission of only clockwise polarized light. Details of the polarizing plates 201 and 202 will be described later.
[0086]
From the projection unit 104, only light having right polarization is projected by the right polarizing plate 201, and is projected on the screen 103. On the other hand, since the camera 105 is equipped with the left polarizer 202, light having only right-polarized light from the projection unit 104 reflected by the screen 103 is reflected by the left polarizer 202 on the front of the camera 105. It is cut and does not enter the camera 105. The light from the pointers 101, 102 typically has any polarization, including right polarization and left polarization (counterclockwise polarization). Therefore, the light from the pointers 101 and 102 passes through the screen 103 and enters the left polarizer 202 on the front of the camera 105. With the left polarizing plate 202, of the light from the pointers 101 and 102, light having left polarization passes through the left polarizing plate 202 and enters the camera 105. As a result, on the screen 103, there are an image 2011 from the projection unit 104 and projection points 1011 and 1021 by light from the pointers 101 and 102, while the camera image 203 has projection points from the pointers 101 and 102. There are only images 1011 ′ and 1021 ′.
[0087]
As described above, by attaching different polarizing plates 201 and 202 to the projection unit 104 and the camera 105, the light from the projection unit 104 does not enter the camera 105 as shown in the camera image 203 of FIG. Only light from the pointers 101 and 102 enters. Thus, the camera 105 can capture only the image of the pointer input by the user without unnecessary light. The input detection unit 107 can detect the input by the pointers 101 and 10 by inspecting the camera image 203 by the method described in the first embodiment.
Here, the configuration and operation of the polarizing plates 201 and 202 will be described with reference to FIGS. FIG. 7 shows a configuration of the right polarizing plate 201. The right polarizing plate 201 includes a linear polarizing plate 2015 that passes only linearly polarized light, and a quarter-wave plate 2016 that converts linearly polarized light to right polarized light. That is, out of the light 7141 emitted from the projection unit 104, only the linearly polarized light 7151 passes through the linearly polarizing plate 2015, and the linearly polarized light 7151 is changed to the right polarized light 7161 by the 1 / wavelength plate 2016. Is projected.
[0088]
FIG. 8 shows a configuration of the left polarizing plate 202. The left polarizing plate 202 includes a quarter-wave plate 2026 that changes right polarized light into linear polarized light, and a linear polarizing plate 2025 whose transmission axis is arranged so as not to pass this linear polarized light. Here, the transmission axis is an axis unique to the linear polarizing plate 2025, and only linearly polarized light having a vibration surface in the same direction as the axial direction can transmit through the linear polarizing plate 2025. Light entering the quarter-wave plate 2026 includes right-polarized light 7161 exiting from the projection unit 104 and reflected by the screen 103, and light 7161 'containing polarized light in all directions from the pointers 101 and 102. The right-polarized light 7161 and the right-polarized light in the light 7161 ′ are changed by the quarter-wave plate 2026 into linearly-polarized light 7261 and light 7261 ′ containing linearly-polarized light. Since the vibration plane of the linearly polarized light is orthogonal to the transmission axis of the linearly polarizing plate 2025, the light 7261 cannot pass through the linearly polarizing plate 2025. The light 7251 is light of the light 7261 ′ that has passed through the linear polarizing plate 2025.
[0089]
The linear polarizing plates 2015 and 2025 can be realized by a Gran-Thomson prism, a Nicol prism, a transparent plastic material coated with a dichroic dye material, or the like. The quarter-wave plate can be realized by a quartz plate, a barium titanate crystal, or the like. Although the thickness of the quarter-wave plate is determined according to the wavelength, the wavelength serving as a reference for determining the thickness is a wavelength of a typical color, What is necessary is just to make the average of the upper limit value and the lower limit value of the wavelength of the light to be output, or the weighted average in consideration of the output light quantity.
[0090]
As shown in FIG. 7, in order to change the linearly polarized light to the right polarized light, it is necessary to arrange the transmission axis of the linearly polarizing plate 2015 and the fast axis of the 波長 wavelength plate 2016 in a fixed relation. is there. This is shown in FIG. Here, the fast axis is as follows. The quarter-wave plate 2016 has two orthogonal vibration plane directions that allow the linearly polarized light incident on the quarter-wave plate 2016 to pass through the quarter-wave plate 2016 without changing its polarization state. . Of these two directions, the axis having the same direction as the direction in which the light propagation speed is faster is called the fast axis.
[0091]
In FIG. 9, light 7141 emitted from the projection unit 104 passes through the linear polarizing plate 2015, the quarter-wave plate 2016, the screen 103, and the quarter-wave plate 2026, and enters the linear polarizing plate 2025 in order. Further, the fast axis 716 of the quarter-wave plate 2016 is arranged at 45 degrees counterclockwise with respect to the transmission axis 715 of the linear polarizing plate 2015 as viewed from the quarter-wave plate 2016. Further, as shown in FIG. 8, in order to cut the right polarized light entering the quarter-wave plate 2026 by the linear polarizer 2025, the fast axis 726 of the quarter-wave plate 2026 and the linear polarizer It is necessary to arrange the transmission axis 2015 in a fixed relation. For this reason, in FIG. 9, the fast axis 726 of the 波長 wavelength plate 2026 is arranged at 45 degrees clockwise with respect to the transmission axis 725 of the linear polarizing plate 2025 as viewed from the 波長 wavelength plate 2026. .
[0092]
Note that common parts between the components shown in FIG. 2 and the components shown in FIG.
[0093]
As described above, according to the present embodiment, a plurality of users can simultaneously input operation instructions in a large screen display device that performs input using a pointer.
[0094]
In addition, by attaching a polarizing plate having different polarization characteristics to the front of the projection unit 104 and the camera 105, it is possible to prevent the camera from photographing the light from the projection unit 104 reflected to the back side of the screen, and from the pointer. Can be photographed with high precision.
[0095]
In this embodiment, the combination of the right polarizing plate and the left polarizing plate is used. However, the present invention is not limited to this, and a combination of linear polarizing plates whose transmission axes are orthogonal to each other may be used.
[0096]
Further, in the present embodiment, the circularly polarized light is generated by using the 波長 wavelength plate, but the elliptically polarized light may be generated by using another wavelength plate.
[0097]
Further, in the present embodiment, a plurality of pointers are handled.However, in the case where only one kind of pointer is used, in order to distinguish light from the pointer from light from the projection unit, the polarizing plate of the present embodiment is used. A projection unit and a camera may be used.
[0098]
In addition, a projection unit having a polarizing plate and a camera as in this embodiment can be applied to the second embodiment.
[0099]
Next, a fourth embodiment of the present invention will be described with reference to FIG. In the third embodiment, the rear projection type large display is targeted. In the present embodiment, the method of the third embodiment is applied to a front projection large display which is less expensive than the rear projection large display. is there.
[0100]
In the case of a front projection display, the projection unit 104 is provided on the front of the screen 301. The screen 301 is a reflection type screen, and reflects the light from the projection unit 104 projected from the front surface of the screen 301 to the front surface. The screen 301 is an impermeable sheet, and nothing is seen when the screen 301 is viewed from the back. The camera 105 needs to photograph the screen 301 from the front of the screen 301. For this reason, in the case of a front projection display, light from the projection unit 104 and light from the pointers 101 and 102 used by the user to input instructions and the like are mixed on the screen. When the screen 301 is photographed by the camera 105 from the front, it is not possible to distinguish whether the light reflected on the screen 301 is light from the pointer or light from the projection unit 104. In this embodiment, this problem is solved by using a polarizing plate as in the second embodiment.
[0101]
FIG. 3 shows a system configuration of the display device according to the present embodiment. As shown in FIG. 3, the projection unit 104 has a right polarizer 201 for projecting only right polarized light from the projection unit 104 on the front surface thereof. The camera 105 has, on its front surface, a left polarizer 202 for preventing transmission of only clockwise polarized light. The light emitted from the projection unit 104 is changed to right polarization by the right polarizing plate 201 and reaches the screen 301. Light from the projection unit 104 that is reflected by the screen 301 and enters the camera 105 is filtered by the left polarizing plate 202 in front of the camera 105 and cannot enter the camera 105. On the other hand, the light projected by the user with the pointers 101 and 102 is reflected by the screen 301 and then filtered by the left polarizer 202 in front of the camera 105. However, since the light from the pointers 101 and 102 has right polarized light and left polarized light, left polarized light from the pointer enters the camera 105. As a result, like the camera image 302, the camera 105 captures only the light 1011 ′ and 1021 ′ from the pointers 101 and 102, and does not capture the light from the projection unit 104. The input detection unit 107 can detect an input by the pointers 101 and 102 by processing the camera image 302.
Note that components common to the components illustrated in FIG. 3 and the components illustrated in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0102]
As described above, according to the present embodiment, input can be performed using the pointer that projects visible light even in the case of a large-sized front-projection display. In this embodiment, the case where a plurality of pointers identified by a plurality of colors are used has been described. However, even when one pointer is used, the light from the projection unit can be obtained by using a polarizing plate as in this embodiment. And the light from the pointer can be accurately distinguished.
[0103]
Next, a fifth embodiment of the present invention will be described. In the first to fourth embodiments, a plurality of pointers are distinguished by utilizing the fact that the frequency and intensity of light from the pointers differ from one pointer to another. In the present embodiment, the plurality of pointers are distinguished by the polarization state of light.
[0104]
FIG. 4 shows the configuration of this embodiment. In this embodiment, different polarizing plates are provided for the two red pointers. The pointer 101 is provided with a left polarizing plate 401 for transmitting only left polarized light, and the pointer 102 is provided with a right polarizing plate 402 for transmitting only right polarized light in front of each pointer. As a result, light having left polarization is projected from the pointer 101, and light having right polarization is projected from the pointer 102.
[0105]
In front of the camera 105, a variable polarizing plate 403 capable of selecting polarized light to be passed out of right-polarized light and left-polarized light in accordance with a signal from the input detection unit 407 is provided. As shown in FIG. 10, the variable polarizing plate 403 includes a quarter-wave plate 4037, a half-wave plate 4036, and a linear polarizing plate 4035. The half-wave plate 4036 is made of a TN (Twisted Nematic) liquid crystal, and when no voltage is applied, rotates the direction of the vibration plane of the incident linearly polarized light by 90 degrees. When a predetermined voltage is applied, the direction of the vibration plane of the incident linearly polarized light is not changed.
[0106]
FIG. 12 shows the directions of the fast axis 1237 of the 波長 wavelength plate 4037 and the transmission axis 1235 of the linearly polarizing plate 4035. In this figure, the direction of the fast axis 1237 of the 波長 wavelength plate 4037 is arranged so that when left polarized light is incident, it is changed to linear polarized light having a vibration plane in the vertical direction. That is, the fast axis 1237 is disposed at an angle of 45 degrees counterclockwise from the vertical direction 1201 when viewed from the light incident direction. Further, the transmission axis 1235 of the linear polarizing plate 4035 is arranged in the horizontal direction so as to transmit right polarized light from the pointer 102 when a voltage is applied to the half-wave plate 4036.
[0107]
In FIG. 11, when the left-handed polarized light from the pointer 101 and the right-handed polarized light from the pointer 102 are incident on the variable polarizing plate 403, the 面 -wave plate 4037 and the 波長 -wave plate Change. The vibration surface of the light after passing through the half-wave plate 4036 is in the vertical direction with respect to the light from the pointer 101 when a voltage is applied. Therefore, the light passes through the linear polarizing plate 4035. That is, the light passes through the variable polarizing plate 403. In the drawing, “○” indicates that the light after passing through the 波長 wavelength plate passes through the linear polarizing plate 4035. Further, at this time, since the vibration surface of the light from the pointer 102 is in the horizontal direction, it does not pass through the linear polarizing plate 4035. That is, the light does not pass through the variable polarizing plate 403. In the drawing, “x” indicates that the light after passing through the half-wave plate does not pass through the linear polarizing plate 4035. When no voltage is applied, the opposite is true. Light from the pointer 101 does not pass through the variable polarizer 403, but light from the pointer 102 passes.
[0108]
The input detection unit 407 controls ON / OFF of the variable polarizing plate 403 via the variable polarizing plate interface 404 as described above, so that only the left polarized light enters the camera 105 or only the right polarized light enters the camera 105. Or can be incident on
[0109]
Next, the processing procedure will be described. The input detection unit 407 first detects an input of the pointer 101. The input detection unit 407 transmits to the variable polarizing plate 403 an OFF signal indicating that no voltage is applied to the variable polarizing plate 403 so that only the left polarized light is transmitted. The variable polarizer 403 receives this signal and changes so as to transmit only left polarized light. Only the left polarized light enters the camera 105. Therefore, as shown in FIG. 4, only the light from the pointer 101 projecting the left polarized light enters the camera 105, and the right polarized light from the pointer 102 does not enter the camera 105. The camera 105 sends an image showing only the light 1011 ′ from the pointer 101 to the input detection unit 407. The input detection unit 407 samples the image from the camera 105 frame by frame as in the first embodiment. Then, a search is made for each frame to see if there is a pixel of a color possessed by the light from the pointer 101, and an input position of the pointer 101 is searched. On the other hand, in order to detect light from the pointer 102, the input detection unit 407 changes the polarization characteristic of the variable polarizer 403 so that only the right-polarized light is transmitted, and transmits to the camera 105 the right-polarized light projected by the pointer 102. Only to be incident. Thus, the input detection unit 407 detects the position indicated by the pointer 102. Next, similarly to the first embodiment, the input detection unit 407 compares the current light emission state of each of the detected pointers with the previous light emission state, determines the event type, and inputs the event type to the control unit 106. Submit information.
Note that common parts between the components shown in FIG. 4 and the components shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0110]
As described above, according to the present embodiment, a plurality of users can simultaneously input on the large-screen input device for inputting using the pointer.
[0111]
By the way, when inputting with the pointer, it is necessary to know the input position, pointer type, and event type. In the first to fifth embodiments, the event type is distinguished by the occurrence and disappearance of the pointer projection light. However, there may be a case where a large number of event types are required that cannot be expressed only by a combination of occurrence and disappearance of the projection light of the pointer. In order to express a large number of event types, a mouse has a plurality of click buttons. In a sixth embodiment described below, a plurality of buttons are provided on the pointer so that a large number of event types can be represented by the pointer, and information on the plurality of event types identified by the button operation is input from the pointer. Transmitted directly to the unit.
[0112]
A sixth embodiment of the present invention will be described with reference to FIGS. In the present embodiment, the pointers 501 and 502 are provided with as many selection buttons as are necessary to specify a large number of event types when the user specifies them.
[0113]
FIG. 5 shows a functional block diagram of the sixth embodiment. The input detection unit 507 obtains a pointer type and an event type by wireless communication from each of the pointers 501 and 502 via the receiving device (antenna) 503.
[0114]
FIG. 18 shows the hardware configuration of the sixth embodiment. In this embodiment, an RF interface unit 181 and an antenna 503 are added to the first embodiment. The input detection unit 507 is realized by the CPU 131, the main memory 132, the input / output control unit 135, and the RF interface unit 181. The RF interface unit 181 demodulates the RF signal received via the antenna 503, and detects a pointer type and an event type from the demodulated signal. The detected pointer type and event type are stored in the hard disk 134 via the input / output control unit 135.
[0115]
FIG. 17 shows the internal configuration of the pointers 501 and 502. The pointers 501 and 502 include a light emitting diode 141, a switch 142, a battery 143, selection buttons 171, 172, and 173 for selecting an event type, and an RF having a modulation frequency corresponding to the selection buttons 171, 172, and 173. A modulation section 177 for outputting a signal, an antenna 178 for receiving an RF signal and outputting a radio wave, and a resistor 174 for outputting a high signal when the selection buttons 171, 172 and 173 are on, and a low signal when the selection buttons 171, 172 and 173 are off. , 175 and 176. When the user selects any of the selection buttons 171, 172, and 173, the modulation unit 177 determines a signal indicating an event type corresponding to the button selected by the user, and which pointer 501 or 502 has transmitted the signal. An RF signal having a modulation frequency corresponding to the set is output as a set including a signal indicating a pointer type for identification.
[0116]
The input detection unit 507 obtains a pointer type and an event type by wireless communication from each of the pointers 501 and 502 via the receiving device (antenna) 503.
[0117]
On the other hand, according to the method described in the first embodiment, the input detection unit 507 periodically detects the input position and the pointer type from the camera image, and stores the input position for each pointer type. Upon receiving the pointer type and the event information wirelessly transmitted from the pointers 501 and 502, the input detection unit 507 determines the input position stored in the input detection unit 107 in advance and stores the pointer type transmitted wirelessly. Is used as a search key, and the input position of the pointer type transmitted from the pointers 501 and 502 is searched. Next, the input detection unit 507 outputs the searched input position and the transmitted pointer type and event type to the control unit 106 as input information. The control unit 106 performs processing according to an input position from the input detection unit 507, a pointer type, and an event type.
Note that the same reference numerals denote the same parts in the components shown in FIG. 5 and the components shown in FIG. 1, and a detailed description thereof will be omitted.
[0118]
According to the present embodiment, a large number of event types that cannot be realized in the first, second, third, fourth, and fifth embodiments of the present invention can be defined in a large-screen display device that inputs using a pointer. In the present embodiment, the case where input is performed using a plurality of pointers has been described. However, the method of designating the event type according to the present embodiment can be applied to a case where there is only one pointer.
[0119]
A large-screen display device having a pointer according to the present invention can be applied to a plant monitoring system using a large-screen display device. For example, in a plant monitoring system including the display device and a plant monitoring computer system that collects and processes information on the status of the plant to be monitored, the display device displays the status of the plant, May be received and an instruction may be sent to the plant monitoring computer system to monitor the plant.
[0120]
Further, the large-screen display device having the pointer according to the present invention can be applied to a traffic control system using the large-screen display device. For example, in a traffic control system including this display device and a control computer system that collects and processes information on the movement state of an aircraft or vehicle to be controlled, the display device displays the movement state of an aircraft or the like. Alternatively, an instruction regarding control of an aircraft or the like may be received, and the instruction may be sent to the control computer system to control the aircraft or the like.
[0121]
Further, the large screen display device having the pointer according to the present invention can be applied to a presentation system using the large screen display device. For example, in a presentation system having this display device and a computer system that outputs information to be presented to the display device, the display device displays the information and sends the received input to the computer system, May be performed.
[0122]
Further, the large-screen display device having the pointer according to the present invention can be applied to an electronic conference system using the large-screen display device. For example, in an electronic conference system including the display device and a communication device that externally receives an image to be displayed on the display device, the display device displays the received image and outputs a received input to the communication device. Then, a meeting with the outside may be held.
[0123]
【The invention's effect】
According to the present invention, an input operation is performed using a pointer that projects visible light having different light emission characteristics, so that the visible light output by each of the pointers can be easily confirmed, and a plurality of persons can simultaneously perform large-scale operations. Input operation to the screen can be performed.
[0124]
Further, the display device according to the present invention can be used in a system using all large-screen display devices. Examples of such a system include a plant control system, a traffic control system, a presentation system, an electronic conference system, and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram of a display device according to a first embodiment of the present invention.
FIG. 2 is a block diagram of a display device according to a second embodiment of the present invention.
FIG. 3 is a block diagram of a display device according to a third embodiment of the present invention.
FIG. 4 is a block diagram of a display device according to a fourth embodiment of the present invention.
FIG. 5 is a block diagram of a display device according to a fifth embodiment of the present invention.
FIG. 6 is a block diagram of a display device according to a second embodiment of the present invention.
FIG. 7 is an explanatory diagram illustrating a configuration of a polarizing plate.
FIG. 8 is an explanatory diagram illustrating a configuration of a polarizing plate.
FIG. 9 is an explanatory diagram showing an arrangement of a fast axis and a transmission axis of a polarizing plate.
FIG. 10 is an explanatory diagram showing a configuration of a variable polarizing plate.
FIG. 11 is an explanatory diagram showing an operation of the variable polarizing plate.
FIG. 12 is an explanatory diagram showing an arrangement of a fast axis and a transmission axis of a variable polarizing plate.
FIG. 13 is a block diagram of hardware of a computer system.
FIG. 14 is a block diagram of a pointer.
FIG. 15 is a processing flow of an input detection unit.
FIG. 16 is a block diagram of a display unit.
FIG. 17 is a block diagram of a pointer.
FIG. 18 is a block diagram of hardware of a computer system.
[Explanation of symbols]
101, 102, 501, 502 pointer, 103 display screen, 104 projection unit, 105 camera, 106 control unit, 107 input detection unit, 108 display unit, 109, 203, 302, 405 camera image , 201, 202, 401, 402, 403: polarizing plate; 301: front projection display screen; 503: receiver

Claims (7)

画像が表示されるスクリーンと、
上記スクリーンに光を投射することにより上記画像の表示を行う表示手段と、
上記スクリーン上の位置を指定するための位置指定手段とを有する表示装置において、
上記位置指定手段は、
光の色、光の強度、および光の偏光状態のうちの少なくとも1つについて互いに異なる、上記位置を指定するための光を、上記スクリーンの前面から上記スクリーンに投射する複数のポインタと、
上記複数のポインタにより、上記スクリーンに投射された複数の上記光を受付けるカメラと、
受付けた上記光により、上記ポインタが指定する位置を識別する位置識別手段と、
受付けた上記光は、上記光の色、光の強度、および光の偏光状態のうちの少なくとも1つが互いに異なることに基づいて、上記複数のポインタのうちのいずれのポインタにより投射された光であるかを、上記識別された位置ごとに識別するポインタ識別手段とを有し、
記ポインタのうちの1つは、第1の発光手段と、上記第1の発光手段が出力する光を、第1の方向に上記光の振動面が回転する偏光に変える第1の偏光生成手段とを有し、
上記ポインタのうちの他の1つは、第2の発光手段と、上記第2の発光手段が出力する光を、上記第1の方向とは異なる第2の方向に上記光の振動面が回転する偏光に変える第2の偏光生成手段とを有し、
上記表示装置は、上記第1の方向に上記光の振動面が回転する偏光と上記第2の方向に上記光の振動面が回転する偏光とを切り換えて選択し、透過させる偏光選択手段を有し、
上記カメラは、上記偏光選択手段により選択された偏光を受付けること
を特徴とする表示装置。
A screen on which the image is displayed,
Display means for displaying the image by projecting light on the screen,
A display device having a position designating means for designating a position on the screen,
The position specifying means,
A plurality of pointers for projecting light for designating the position from the front of the screen to the screen, wherein the pointers are different from each other with respect to at least one of a color of light, a light intensity, and a polarization state of the light;
A camera that receives the plurality of lights projected on the screen by the plurality of pointers;
With the received light, position identification means for identifying a position designated by the pointer,
The received light is light projected by any of the plurality of pointers based on at least one of a color, an intensity of the light, and a polarization state of the light different from each other. Or pointer identifying means for identifying each of the identified positions,
One of the upper Symbol pointer includes a first light emitting means, the light output by the first emitting means, the first polarized light generation vibration plane of the light in the first direction changes in the polarization rotating Means,
Another one of the pointers is a second light emitting means, and the light output from the second light emitting means rotates the vibration surface of the light in a second direction different from the first direction. Second polarization generating means for changing the polarization to
The display device has polarization selecting means for switching and selecting between polarized light in which the vibrating surface of the light rotates in the first direction and polarized light in which the vibrating surface of the light rotates in the second direction. And
The display device, wherein the camera receives the polarized light selected by the polarization selecting unit.
請求項記載の表示装置において、
上記第1の偏光生成手段は、上記第1の発光手段が出力する光のうち直線偏光のみを選択する直線偏光板と、選択された上記直線偏光を上記第1の方向に回転する偏光に変えるように配置された1/4波長板とを有し、
上記第2の偏光生成手段は、上記第2の発光手段が出力する光のうち直線偏光のみを選択する直線偏光板と、選択された上記直線偏光を上記第2の方向に回転する偏光に変えるように配置された1/4波長板とを有し、
上記偏光選択手段は、入射する上記2種類の偏光を互いに直交する振動面を有する直線偏光に変える1/4波長板と、上記得られた直線偏光の振動面を90度回転させる場合と回転させない場合とを切り換えることができる振動面回転手段と、上記振動面回転手段を通過した2種類の偏光のうちのいずれかを通過させる直線偏光板とを有すること
を特徴とする表示装置。
The display device according to claim 1 ,
The first polarization generation unit changes the selected linearly polarized light into a polarized light that rotates in the first direction, and a linearly polarizing plate that selects only linearly polarized light from the light output by the first light emitting unit.波長 wavelength plate arranged as follows,
The second polarization generation unit changes a linear polarization plate that selects only linearly polarized light out of the light output by the second light emitting unit, and the selected linearly polarized light to a polarization that rotates in the second direction.波長 wavelength plate arranged as follows,
The polarization selecting means is a quarter-wave plate for changing the two types of incident polarized light into linearly polarized light having vibration planes orthogonal to each other, and rotating the vibration plane of the obtained linearly polarized light by 90 degrees, and not rotating A display device comprising: vibrating plane rotating means capable of switching between the two cases; and a linear polarizing plate that passes one of two types of polarized light passing through the vibrating plane rotating means.
画像が表示されるスクリーンと、
1つの偏光状態にある光をスクリーンに投射することにより表示を行う表示手段と、
上記スクリーン上の位置を指定するための位置指定手段とを有し、
上記位置指定手段は、
上記スクリーンに、上記表示手段が投射する光と異なる偏光状態にある光を少なくとも含むとともに、上記含まれる光の色および強度のうちの少なくとも1つについて互いに異なる、上記位置を指定するための光を、上記スクリーンの前面から投射する複数のポインタと、
上記表示手段が投射する光と異なる偏光状態にある光を選択して透過させる偏光選択手段と、
上記偏光選択手段により選択された偏光を受付けるカメラと、
受付けた上記光により、上記ポインタが指定する位置を識別する位置識別手段と、
上記複数のポインタにより、上記スクリーンに投射された光のうち、受付けた上記光は、光の色および光の強度のうちの少なくとも1つが互いに異なることに基づいて、上記複数のポインタのうちのいずれのポインタにより投射された光であるかを、上記識別された位置ごとに識別するポインタ識別手段とを有すること
を特徴とする表示装置。
A screen on which the image is displayed,
Display means for displaying by projecting light in one polarization state on a screen;
Position designation means for designating a position on the screen,
The position specifying means,
The screen includes at least light in a different polarization state from the light projected by the display means, and light for specifying the position, which is different from at least one of the color and intensity of the included light. , A plurality of pointers projecting from the front of the screen,
Polarization selecting means for selecting and transmitting light in a different polarization state from the light projected by the display means,
A camera that receives the polarization selected by the polarization selection unit,
With the received light, position identification means for identifying a position designated by the pointer,
Among the light projected on the screen by the plurality of pointers, the received light is any one of the plurality of pointers based on the fact that at least one of the color and intensity of light is different from each other. A pointer identifying means for identifying, for each of the identified positions, whether the light is projected by the pointer.
請求項記載の表示装置において、
上記表示手段は、上記スクリーンの前面に設けられ、上記スクリーンの前面から上記画像を表示するために光を投射すること
を特徴とする表示装置。
The display device according to claim 3 ,
The display device, wherein the display means is provided on a front surface of the screen, and projects light to display the image from the front surface of the screen.
請求項記載の表示装置において、
上記表示手段は、上記スクリーンの背面に設けられ、上記スクリーンの背面から上記画像を表示するために光を投射すること
を特徴とする表示装置。
The display device according to claim 3 ,
The display device, wherein the display means is provided on a back surface of the screen, and projects light to display the image from the back surface of the screen.
請求項3、4または記載の表示装置において、
上記表示手段は、発光手段と、上記発光手段が出力する光を、1つの方向に上記光の振動面が回転する偏光に変える偏光生成手段とを有すること
を特徴とする表示装置。
The display device according to claim 3, 4 or 5 ,
The display device according to claim 1, wherein the display unit includes: a light emitting unit; and a polarization generation unit that converts light output from the light emitting unit into polarized light whose vibration plane rotates in one direction.
請求項記載の表示装置において、
上記偏光生成手段は、上記発光手段が出力する光のうち直線偏光のみを選択する直線偏光板と、選択された上記直線偏光を上記1つの方向に回転する偏光に変えるように配置された1/4波長板とを有し、
上記偏光選択手段は、入射する上記偏光を直線偏光に変える1/4波長板と、上記得られた直線偏光を通過させない直線偏光板とを有すること
を特徴とする表示装置。
The display device according to claim 6 ,
The polarization generation means is a linear polarizer that selects only linearly polarized light out of the light output by the light emitting means, and is arranged to change the selected linearly polarized light to polarization that rotates in the one direction. A four-wave plate,
The display device, wherein the polarization selecting means includes a quarter-wave plate that converts the incident polarized light into linearly polarized light, and a linearly polarizing plate that does not pass the obtained linearly polarized light.
JP23142394A 1994-09-27 1994-09-27 Display device Expired - Fee Related JP3579096B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23142394A JP3579096B2 (en) 1994-09-27 1994-09-27 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23142394A JP3579096B2 (en) 1994-09-27 1994-09-27 Display device

Publications (2)

Publication Number Publication Date
JPH0895157A JPH0895157A (en) 1996-04-12
JP3579096B2 true JP3579096B2 (en) 2004-10-20

Family

ID=16923353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23142394A Expired - Fee Related JP3579096B2 (en) 1994-09-27 1994-09-27 Display device

Country Status (1)

Country Link
JP (1) JP3579096B2 (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500680A (en) * 1997-11-14 2003-01-07 ヴイエルジー・ヴァーチャル・レーザー・ゲームズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Identification marking device for a point on the surface
WO1999026190A1 (en) * 1997-11-14 1999-05-27 Vlg Virtual Laser Systems Gmbh System for acquiring and exploiting information
WO2000038102A1 (en) * 1998-12-18 2000-06-29 Vlg Virtual Laser Systems Gmbh Detection and evaluation system for beam pointers
JP3769568B2 (en) * 2003-11-17 2006-04-26 Necビューテクノロジー株式会社 Projector having an image sensor with a spectrum selection mechanism
JP4590858B2 (en) * 2003-11-18 2010-12-01 富士ゼロックス株式会社 Writable projector and optical pointer
JP4609001B2 (en) * 2004-02-24 2011-01-12 パナソニック電工株式会社 Pointer device
US7137707B2 (en) * 2004-07-01 2006-11-21 Mitsubishi Electric Research Laboratories, Inc Projector-camera system with laser pointers
JP2009043139A (en) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp Position detecting device
JP5014171B2 (en) * 2008-01-16 2012-08-29 三菱電機株式会社 Position detection device
JP4448179B2 (en) * 2008-01-31 2010-04-07 キヤノン株式会社 Projection device
US8508507B2 (en) * 2009-04-08 2013-08-13 Integrated Digital Technologies, Inc. Input detection systems and methods for display panels with embedded photo sensors
US20100303297A1 (en) * 2009-05-30 2010-12-02 Anton Mikhailov Color calibration for object tracking
JP2011133541A (en) * 2009-12-22 2011-07-07 Nec Casio Mobile Communications Ltd Device and system for controlling display, and program
JP5237990B2 (en) * 2010-06-14 2013-07-17 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus, device, and information processing system
JP5307108B2 (en) * 2010-10-29 2013-10-02 株式会社コナミデジタルエンタテインメント Detection system, electronic blackboard apparatus to which the detection system is applied, its control method, and computer program
KR101617068B1 (en) 2012-10-11 2016-05-02 이문기 Image processing system using polarization difference camera
JP2015043556A (en) * 2013-07-24 2015-03-05 株式会社リコー Information processor, image projection system and program
JP2015043066A (en) * 2013-07-25 2015-03-05 株式会社リコー Image projection device
JP2015037250A (en) * 2013-08-14 2015-02-23 株式会社リコー Image projection device and presentation system
JP6340958B2 (en) * 2014-07-02 2018-06-13 株式会社リコー Projector apparatus, interactive system, and interactive control method
WO2017098982A1 (en) * 2015-12-09 2017-06-15 株式会社スクウェア・エニックス Program, computer device, program execution method, and computer system
JP6719768B2 (en) * 2016-02-29 2020-07-08 国立大学法人東京工業大学 Multiple information display system and illumination device used therefor
JP2018056800A (en) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 Projector system

Also Published As

Publication number Publication date
JPH0895157A (en) 1996-04-12

Similar Documents

Publication Publication Date Title
JP3579096B2 (en) Display device
US5914783A (en) Method and apparatus for detecting the location of a light source
US6331848B1 (en) Projection display system
US8188973B2 (en) Apparatus and method for tracking a light pointer
CN103092432B (en) The trigger control method of man-machine interactive operation instruction and system and laser beam emitting device
CN101419513B (en) Remote virtual touch system of infrared laser pen
JP4422851B2 (en) Coordinate input apparatus and method
US7703926B2 (en) Projector capable of capturing images and briefing system having the same
TWI450159B (en) Optical touch device, passive touch system and its input detection method
WO2009061619A2 (en) Apparatus and method for tracking a light pointer
JP2001075736A (en) Coordinate input device
JP2004265410A (en) Visible pointer tracking system and method using separately detectable pointer tracking signal
JPH07121293A (en) Remote controller accessing display screen
JPH0980372A (en) Projection type display device
JP2010072977A (en) Image display apparatus and position detection method
JPH11161415A (en) Method and device for input
US20120268371A1 (en) Image Projection Device
KR0171847B1 (en) Radio telemetry coordinate input method and device thereof
JPS60138628A (en) Screen indication input device
JP4434381B2 (en) Coordinate input device
KR100980261B1 (en) Pointing/interface system
JP4961891B2 (en) Interactive rear projection television system
JP2003140830A (en) Projector system, pointer device, projector device and control signal output device
US20110285624A1 (en) Screen positioning system and method based on light source type
Dey et al. Laser beam operated windows operation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070723

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees