JP3937533B2 - 遠隔座標入力装置および遠隔座標入力方法 - Google Patents
遠隔座標入力装置および遠隔座標入力方法 Download PDFInfo
- Publication number
- JP3937533B2 JP3937533B2 JP30617197A JP30617197A JP3937533B2 JP 3937533 B2 JP3937533 B2 JP 3937533B2 JP 30617197 A JP30617197 A JP 30617197A JP 30617197 A JP30617197 A JP 30617197A JP 3937533 B2 JP3937533 B2 JP 3937533B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate input
- input device
- remote
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、プロジェクターを使用してコンピュータの画面を拡大投射して行うプレゼンテーション等において、画面上の特定の部位を指示したり、応用ソフトウエアを操作したりする場合の、遠隔座標入力装置と入力方法に関する。
【０００２】
【従来の技術】
従来のプレゼンテーションなどにおいては、ＯＨＰ（オーバーヘッドプロジェクター）を使用して透過式の原稿を拡大投影したり、スライドプロジェクターを使用してフィルムの画像を拡大投影するなどして大画面に情報を表示し、説明者は差棒やレーザーポインタなどを使用して、注目すべき点を指し示しながら説明することが行われてきた。
【０００３】
また、近年ではパーソナルコンピュータと液晶プロジェクターの普及により、プレゼンテーション用に開発された応用ソフトウエアを使用して、効率的なプレゼンテーションが行われるようになってきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、表示された画面を指し示すのには、コンピュータに接続されたマウスなどを操作しなければならず、説明者が画面の位置から離れたり、説明者の動作と画面上のポインタなどの動きが間接的であるなどのために、聴衆の注意が散漫になる場合があった。
【０００５】
そのような状況を防ぐために、説明者がコンピュータの位置に支配されることなく、比較的自由な位置から直接画面に働きかけることにより応用ソフトウエアを操作可能な、いわゆる遠隔座標を入力する装置が開発されて、各種の方式が提案されている。
【０００６】
それらの一例として、特開平５−１９９５３号公報によれば、スクリーンから離れた位置から遠隔操作装置を操作することにより、表示された情報を制御する方法が記述されている。しかしこれに記載された方式では、操作は遠隔操作装置上に設けられた各種のキーによって行うだけであり、画面上のポインタを動かすには矢印キーを押し続けることによって行うので、積分的にしか動かすことができず、人間が差棒などで指し示す感覚とは違和感があった。
【０００７】
また、特開平２−３００８１６号公報によれば、放射主軸方向を異ならせた３個の発光素子を指示部に設置し、それを受光する受光素子での光の強度差から指示部の角度を検出する方法が記述されている。しかしながら、発光素子を弁別するために光を変調しなけらばならず、指示部が複雑になってしまうという課題や、光量差を利用するために、外部のノイズなどの影響を受けやすいという課題があった。
【０００８】
また、説明者と聴衆からのように、２点以上を同時に指し示したい場合には、前記の２つの公知例では実現が困難であった。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、少なくとも３個の第１の発光素子と、前記少なくとも３個の第１の発光素子により囲まれる平面内で該平面と直交する直交軸上の前記平面上の点を除く位置に配置された第２の発光素子とを備えた指示手段と、該指示手段の前記第１および第２の発光素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標に基づき画面上の指示情報を表示する表示手段を備えたことを特徴とする。
【００１０】
また、請求項２記載の発明は、請求項１記載の遠隔座標入力装置において、前記第１の発光素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、を特徴とする。
【００１１】
また、請求項３記載の発明は、請求項１記載の遠隔座標入力装置において、前記第１の発光素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、を特徴とする。
【００１２】
また、請求項４記載の発明は、請求項１記載の遠隔座標入力装置において、前記指示部に設けた操作手段による操作情報により前記第１または第２の発光素子を変調する変調手段と、変調された前記操作情報を検出する受光手段を設けたこと、を特徴とする。
【００１３】
また、請求項５記載の発明は、請求項１記載の遠隔座標入力装置において、前記指示部を手で持っているか否かを検出する手持ち検出部を備え、該手持ち検出部の出力により、前記第１および第２の発光素子の点灯または消灯を制御することを特徴とする。
【００１４】
また、請求項６記載の発明は、少なくとも３個の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、を特徴とする。
【００１５】
また、請求項７記載の発明は、請求項６記載の遠隔座標入力装置において、前記第１の反射素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、を特徴とする。
【００１６】
また、請求項８記載の発明は、請求項６記載の遠隔座標入力装置において、前記第１の反射素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、を特徴とする。
【００１７】
また、請求項９記載の発明は、中空の円盤状の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、を特徴とする。
【００１８】
また、請求項１０記載の発明は、請求項１ないし請求項９のいずれか一項に記載の遠隔座標入力装置を用いた遠隔座標入力方法であって、前記撮像手段により撮像した画像から、前記第１の発光素子または前記第１の反射素子による第１の像と、前記第２の発光素子または前記第２の反射素子による第２の像を求め、前記第１の像から基準座標を求め、前記第２の像と前記基準座標の位置関係から前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする。
【００１９】
また、請求項１１記載の発明は、請求項１０記載の遠隔座標入力方法において、前記撮像手段により撮像した画像から、複数の指示手段の像を独立の像に分離した独立指示具像を得て、該独立指示具像ごとに前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする。
【００２０】
【発明の実施の形態】
（実施例１）
本発明に係る第１の実施の形態を図面にもとづいて説明する。
【００２１】
図１は本発明の第１の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射されてスクリーン７に拡大表示される。
【００２２】
スクリーン７の上部には撮像部５が設けられ、説明者９が持つ指示具１を撮像するとともに、指示具１の向きを検出して座標に変換しコンピュータ１０に伝送する。また、スクリーン７の下部には受信部１１が設けられ、指示具１からの特定の信号を検出してコンピュータ１０に伝送する。
【００２３】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具１の向きを変えることにより、マーカー１２の位置を動かすことができる。
【００２４】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具１の向きを変えるとマーカー１２を動かすことができる。
【００２５】
図２に指示具１の一例を示す。前面には赤外線を発光する複数の赤外ＬＥＤ（発光ダイオード）２１が設けられ、上部には操作ボタン２２が設けられ、手で支持する部分には手持ち検出電極２３が設けられている。また、図示しないが内部には電池が内蔵されている。
【００２６】
図３は指示具１の前面部分の詳細を説明する三面図である。第１の発光素子である赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃは同一平面上に二等辺三角形の頂点に配置されている。赤外ＬＥＤ２１Ａ、２１Ｂは指示具１の上面と平行に距離ａを隔てており、赤外ＬＥＤ２１Ｃは２１Ａと２１Ｂを結ぶ線分の中央から垂直方向に距離ｂを隔てて配置されている。第２の発光素子である赤外ＬＥＤ２１Ｅは、正面図では２１Ｃの垂直方向に距離ｂ／２を隔て、さらに奥へ距離ｄだけ進んだ位置に配置されている。ＬＥＤ２１Ｅは、ＬＥＤ２１Ａ，Ｂ，Ｃで囲まれた平面と直交する位置に配置される必要はないが、図３に示すように配置することにより装置の小型化を図ることができる。
【００２７】
説明者９が指示具１を手に持つと、手持ち検出電極２３が手で持っていることを検出して、赤外ＬＥＤ２１（２１Ａ、２１Ｂ、２１Ｃ、２１Ｅ）を点灯させ、手から離すと消灯させる。また、操作ボタン２２を押すと、赤外ＬＥＤ２１は一旦全てを消灯させ、操作ボタン２２に対応してあらかじめ決められたコードに従って、点滅のタイミングで操作ボタン２２のどれが押されたかの情報を送信する。送信されたコードは受信部１１により受信されて、コンピュータ１０に送られる。送信が終了したら、再びすべてのＬＥＤを点灯させる。なお、操作ボタン２２には、通常のマウスのクリックボタンの機能や、コンピュータ１０で使う応用ソフトウエアに対応させた機能などを割り当てておくことができる。
【００２８】
次に撮像部５の一例を図４に示す。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具１の赤外ＬＥＤ２１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４ではＣＣＤカメラ３１で撮像した指示具１のＬＥＤ２１の像をもとにスクリーン７上の平面座標を演算し、出力部３５からコンピュータ１０に送る。
【００２９】
ＣＣＤカメラ３１の出力画像の一例を図５に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図５に示すようにＬＥＤ２１による像４１のみが出力される。
【００３０】
ここで、指示具１による像４１の現れ方を、図により説明する。
【００３１】
図６は指示具１のＬＥＤ２１を上部から見た平面図である。中心線２６は赤外ＬＥＤ２１Ａと２１Ｂの中間とレンズ３２を結ぶ直線である。図６には指示具１が中心線２６から角度ｌだけ斜め左方向を向いている場合を示している。中心線２６の延長線上に垂直に投影面２４を想定すると、投影面２４では、赤外ＬＥＤ２１Ａと２１Ｂの間隔はｘとなり、また赤外ＬＥＤ２１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００３２】
図７は指示具１のＬＥＤ２１を横から見た側面図である。中心線２６は赤外ＬＥＤ２１Ａ、２１Ｂと２１Ｃの中間とレンズ３２を結ぶ直線である。図７には指示具１が中心線２６から角度ｍだけ斜め下方向を向いている場合を示している。中心線２６の延長線上に垂直に投影面２４を想定すると、投影面２４では、赤外ＬＥＤ２１Ａ、２１Ｂと２１Ｃの間隔はｙとなり、また赤外ＬＥＤ２１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００３３】
ここで、ＣＣＤカメラ３１で撮影した像４１は、図６と図７の投影面２４を任意の倍率で撮影したものと考えることができるため、図５の像４１は、投影面２４の投影像と合同の関係となる。図５において、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅはそれぞれ赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃ、２１Ｅを撮影した像である。また、像４１Ａと４１Ｂの間隔をＸ、４１Ａと４１Ｂを結ぶ線分の中央から垂直方向に像４１Ｃまでの距離をＹ、像４１ＣからＹ／２だけ上の位置を基準点４２として、像４１Ｅの基準点４２との距離の水平成分をＨ、垂直成分をＶとする。基準点４２は中心線２６の延長線上に一致するので、図６、図７のｘ、ｈ、ｙ、ｖの各値は、図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像４１の像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの関係を調べれば、指示具１がレンズ３２に対して、水平、垂直にどれだけ傾いているのかを知ることができる。
【００３４】
【数１】
【００３５】
【数２】
【００３６】
数１は投影面２４における水平方向の関係を示した式である。また、数２は投影面２４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図５にのＸ、Ｈ、Ｙ、Ｖの各値と比例関係にあるので、数１、数２は次に示す数３のように表わすことができる。
【００３７】
【数３】
【００３８】
ここで、ａ、ｂ、ｄの値は指示具１で既知の値であるため、角度ｌ、角度ｍは図５の像４１から求めることができる。
【００３９】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン７に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数４に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【００４０】
【数４】
【００４１】
ここで、数４のＫは比例定数であり、指示具１の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数４からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【００４２】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像４１から指示具１が指示する画面の座標を求める方法を、図８のフローチャートにより説明する。
【００４３】
Ｓ１では、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの重心座標を求める。これは像が有限の大きさを持っているので、ほぼ中心の位置を代表点として決めるためであり、公知の演算方法で求めればよい。
【００４４】
Ｓ２では像４１Ａ、４１Ｂの重心座標から、水平方向の距離Ｘと４１Ａと４１Ｂの中間の座標を求める。
【００４５】
Ｓ３では、像４１Ｃの重心座標とＳ２で求めた中間の座標から、垂直方向の距離Ｙと両者の中間点である基準点４２の座標を求める。
【００４６】
Ｓ４では、像４１Ｅの重心座標と基準点４２の座標から、両者の距離を水平方向にＨ、垂直方向にＶとして求める。
【００４７】
Ｓ５では、数４により、スクリーン７上の座標Ｘｓ、Ｙｓを求める。
【００４８】
以上の座標の求め方をまとめると、指示具１の第１の発光素子である赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃの像４１Ａ、４１Ｂ、４１Ｃから距離Ｘ、Ｙと基準点を求め、第２の発光素子である赤外ＬＥＤ２１Ｅの像４１Ｅから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン７上の座標Ｘｓ、Ｙｓを求める、という手順である。
【００４９】
なお、ここではスクリーン上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【００５０】
ここまでは指示具１が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【００５１】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【００５２】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【００５３】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図８で説明したフローチャートによって座標を求めればよい。
次に、指示具１の別の例を図９に示す。
【００５４】
前面には赤外線を発光する複数の赤外ＬＥＤ（発光ダイオード）５１が設けられ、上部には操作ボタン５２が設けられ、手で支持する部分には手持ち検出スイッチ５３が設けられている。また、図示しないが内部には電池が内蔵されている。
【００５５】
図１０は指示具１の前面部分の詳細を説明する三面図である。第１の発光素子である赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄは同一平面上に菱形の頂点に配置されている。赤外ＬＥＤ５１Ｂ、５１Ｄは指示具１の手元側の上面と平行に距離ａを隔てており、赤外ＬＥＤ５１Ａ、５１Ｃは垂直方向に距離ｂを隔てて配置されている。第２の発光素子である赤外ＬＥＤ５１Ｅは、正面図では５１Ｂ、５１Ｃを結ぶ直線と５１Ａと５１Ｃを結ぶ直線の交点で、さらに奥へ距離ｄだけ進んだ位置に配置されている。
【００５６】
説明者９が指示具１を手に持つと、手持ち検出スイッチ５３が手で持っていることを検出して、赤外ＬＥＤ５１（５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ）を点灯させ、手から離すと消灯させる。また、操作ボタン５２を押すと、赤外ＬＥＤ５１は一旦全てを消灯させ、操作ボタン５２に対応してあらかじめ決められたコードに従って、点滅のタイミングで操作ボタン５２のどれが押されたかの情報を送信する。送信されたコードは受信部１１により受信されて、コンピュータ１０に送られる。送信が終了したら、再びすべてのＬＥＤを点灯させる。なお、操作ボタン５２には、通常のマウスのクリックボタンの機能や、コンピュータ１０で使う応用ソフトウエアに対応させた機能などを割り当てておくことができる。
【００５７】
ここで、指示具１による像６１の現れ方を、図により説明する。
【００５８】
図１２は指示具１のＬＥＤ５１を上部から見た平面図である。中心線５６は赤外ＬＥＤ５１Ｂと５１Ｄの中間とレンズ３２を結ぶ直線である。図１２には指示具１が中心線５６から角度ｌだけ斜め左方向を向いている場合を示している。中心線５６の延長線上に垂直に投影面５４を想定すると、投影面５４では、赤外ＬＥＤ５１Ｂと５１Ｄの間隔はｘとなり、また赤外ＬＥＤ５１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００５９】
図１３は指示具１のＬＥＤ５１を横から見た側面図である。中心線５６は赤外ＬＥＤ５１Ａと５１Ｃの中間とレンズ３２を結ぶ直線である。図１３には指示具１が中心線５６から角度ｍだけ斜め下方向を向いている場合を示している。中心線５６の延長線上に垂直に投影面５４を想定すると、投影面５４では、赤外ＬＥＤ５１Ａと５１Ｃの間隔はｙとなり、また赤外ＬＥＤ５１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００６０】
ここで、ＣＣＤカメラ３１で撮影した像６１の一例を図１１に示す。像６１は、図１２と図１３の投影面５４を任意の倍率で撮影したものと考えることができるため、図１１の像６１は、投影面５４の投影像と合同の関係となる。図１１において、像６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅはそれぞれ赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｅを撮影した像である。また、像６１Ｂと６１Ｄの間隔をＸ、６１Ａと６１Ｃの間隔をＹ、像６１Ｂと６１Ｄを結ぶ直線と像６１Ａと像６１Ｃを結ぶ直線の交点を基準点６２として、像６１Ｅの基準点６２との距離の水平成分をＨ、垂直成分をＶとする。基準点６２は中心線５６の延長線上に一致するので、図１２、図１３のｘ、ｈ、ｙ、ｖの各値は、図１１のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像６１の像６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅの関係を調べれば、指示具１がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているかを知ることができる。
【００６１】
このように、赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄが菱形の頂点に配置された場合でも、前記の赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃが二等辺三角形の頂点に配置された場合と同様に扱うことができるので、同様な方法により、画面上の座標を求めることができる。
【００６２】
また、本実施例では、指示具１の中央の赤外ＬＥＤが周辺の赤外ＬＥＤよりも奥に位置する場合について説明したが、別の例として、中央の赤外ＬＥＤが周辺の赤外ＬＥＤより突出している場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【００６３】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。また、指示具が回転している場合にも、厳密には誤差が含まれてくる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【００６４】
（実施例２）
本発明に係わる第２の実施例の形態を図面にもとづいて説明する。
【００６５】
図１４は本発明の第２の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射されてスクリーン８に拡大表示される。スクリーン８はリアタイプで、画面を観察するのは、プロジェクター４で投射するのと反対の面である。
【００６６】
スクリーン８の上部には撮像部５と照射部６が一体になったものが設けられ、前面に赤外光を照射するとともに反射像を撮像し、指示具２の向きを検出して座標に変換しコンピュータ１０に伝送する。
【００６７】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具２の向きを変えることにより、マーカー１２の位置を動かすことができる。
【００６８】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具２の向きを変えるとマーカー１２を動かすことができる。
【００６９】
図１５に指示具２の一例を示す。前面には赤外線を反射する複数の反射材７１が設けられている。
【００７０】
図１６は指示具２の前面部分の詳細を説明する三面図である。第１の反射素子である反射材７１Ａ、７１Ｂ、７１Ｃは同一平面上に二等辺三角形の頂点に配置されている。反射材７１Ａ、７１Ｂは指示具２の上面と平行に距離ａを隔てており、反射材７１Ｃは７１Ａと７１Ｂを結ぶ線分の中央から垂直方向に距離ｂを隔てて配置されている。第２の反射素子である反射材７１Ｅは、正面図では７１Ｃの垂直方向に距離ｂ／２を隔て、さらに奥へ距離ｄだけ進んだ位置に配置されている。
【００７１】
撮像部５及び照射部６の一例を図１７に示す。照射部６はＣＣＤカメラ３１のレンズ３２の周辺に、赤外ＬＥＤ３６を多数取り付けた構造であり、撮像部５で撮像する方向を照射している。また、撮像部５は、ＣＣＤカメラ３１、レンズ３２、赤外フィルタ３３、画像処理部３４、出力部３５から構成する。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具２の反射材７１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４ではＣＣＤカメラ３１で撮像した指示具２の反射材７１の像をもとにスクリーン８上の平面座標を演算し、出力部３５からコンピュータ１０に送る。
【００７２】
ＣＣＤカメラ３１の出力画像の一例を図５に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図５に示すように反射材７１による像４１のみが出力される。
【００７３】
ここで、指示具２による像４１の現れ方を、図により説明する。
【００７４】
図１８は指示具２の反射材７１を上部から見た平面図である。中心線７６は反射材７１Ａと７１Ｂの中間とレンズ３２を結ぶ直線である。図１８には指示具２が中心線７６から角度ｌだけ斜め左方向を向いている場合を示している。中心線７６の延長線上に垂直に投影面７４を想定すると、投影面７４では、反射材７１Ａと７１Ｂの間隔はｘとなり、また反射材７１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００７５】
図１９は指示具２の反射材７１を横から見た側面図である。中心線７６は反射材７１Ａ、７１Ｂと７１Ｃの中間とレンズ３２を結ぶ直線である。図１９には指示具２が中心線７６から角度ｍだけ斜め下方向を向いている場合を示している。中心線７６の延長線上に垂直に投影面７４を想定すると、投影面７４では、反射材７１Ａ、７１Ｂと７１Ｃの間隔はｙとなり、また反射材７１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００７６】
ここで、ＣＣＤカメラ３１で撮影した像４１は、図１８と図１９の投影面７４を任意の倍率で撮影したものと考えることができるため、図５の像４１は、投影面７４の投影像と合同の関係となる。図５において、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅはそれぞれ反射材７１Ａ、７１Ｂ、７１Ｃ、７１Ｅを撮影した像である。また、像４１Ａと４１Ｂの間隔をＸ、４１Ａと４１Ｂを結ぶ線分の中央から垂直方向に像４１Ｃまでの距離をＹ、像４１ＣからＹ／２だけ上の位置を基準点４２として、像４１Ｅの基準点４２との距離の水平成分をＨ、垂直成分をＶとする。基準点４２は中心線７６の延長線上に一致するので、図１８、図１９のｘ、ｈ、ｙ、ｖの各値は、図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像４１の像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの関係を調べれば、指示具２がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているのかを知ることができる。
【００７７】
【数５】
【００７８】
【数６】
【００７９】
数１は投影面７４における水平方向の関係を示した式である。また、数２は投影面７４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係にあるので、数１、数２は次に示す数３のように表わすことができる。
【００８０】
【数７】
【００８１】
ここで、ａ、ｂ、ｄの値は指示具１で既知の値であるため、角度ｌ、角度ｍは図５の像４１から求めることができる。
【００８２】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン８に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数４に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【００８３】
【数８】
【００８４】
ここで、数４のＫは比例定数であり、指示具１の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数４からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【００８５】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像４１から指示具１が指示する画面の座標を求める方法を、図８のフローチャートにより説明する。
【００８６】
Ｓ１では、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの重心座標を求める。これは像が有限の大きさを持っているので、ほぼ中心の位置を代表点として決めるためであり、公知の演算方法で求めればよい。
【００８７】
Ｓ２では像４１Ａ、４１Ｂの重心座標から、水平方向の距離Ｘと４１Ａと４１Ｂの中間の座標を求める。
【００８８】
Ｓ３では、像４１Ｃの重心座標とＳ２で求めた中間の座標から、垂直方向の距離Ｙと両者の中間点である基準点４２の座標を求める。
【００８９】
Ｓ４では、像４１Ｅの重心座標と基準点４２の座標から、両者の距離を水平方向にＨ、垂直方向にＶとして求める。
【００９０】
Ｓ５では、数４により、スクリーン８上の座標Ｘｓ、Ｙｓを求める。
【００９１】
以上の座標の求め方をまとめると、指示具２の第１の反射素子である反射材７１Ａ、７１Ｂ、７１Ｃの像４１Ａ、４１Ｂ、４１Ｃから距離Ｘ、Ｙと基準点を求め、第２の反射素子である反射材７１Ｅの像４１Ｅから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン上の座標Ｘｓ、Ｙｓを求める、という手順である。
【００９２】
なお、ここではスクリーン８上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【００９３】
ここまでは指示具２が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【００９４】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【００９５】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【００９６】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図８で説明したフローチャートによって座標を求めればよい。
以上、指示具２の図１９に示す形態にもとづいて説明したが、別の例として、実施例１で説明したＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅを反射材に置き換えても、ＬＥＤの場合と同様に扱うことができる。
【００９７】
このように、反射材が菱形も頂点に配置された場合でも、前記の反射材７１Ａ、７１Ｂ、７１Ｃが二等辺三角形状に配置された場合と同様に扱うことができるので、同様な方法により、画面上の座標を求めることができる。
【００９８】
また、本実施例では、指示具２の中央の反射材が周辺の反射材よりも奥に位置する場合について説明したが、別の例として、中央の反射材が周辺の反射材より突出している場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【００９９】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。また、指示具が回転している場合にも、厳密には誤差が含まれてくる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【０１００】
また、本実施例では撮像部５と照射部６が一体となった構造について説明したが、両者は分離して別の場所に取り付けておくことも可能である。
【０１０１】
（実施例３）
本発明に係わる第３の実施例の形態を図面にもとづいて説明する。
【０１０２】
図２０は本発明の第３の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射像はミラー１３で反射されてスクリーン８に拡大表示される。スクリーン８はリアタイプで、画面を観察するのは、プロジェクター４で投射するのと反対の面である。なお、プロジェクター４、ミラー１３、コンピュータ１０は筐体１４に収められており、コンピュータ１０を除いて全体をリアプロジェクターと称する場合もある。
【０１０３】
スクリーン８の下部には撮像部５と照射部６が一体になったものが設けられ、前面に赤外光を照射するとともに反射像を撮像し、指示具３の向きを検出して座標に変換しコンピュータ１０に伝送する。
【０１０４】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具３の向きを変えることにより、マーカー１２の位置を動かすことができる。
【０１０５】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具３の向きを変えるとマーカー１２を動かすことができる。
【０１０６】
図２１に指示具３の一例を示す。前面には赤外線を反射する複数の反射材８１が設けられている。
【０１０７】
図２２は指示具３の前面部分の詳細を説明する三面図である。反射材８１は、第１の反射素子である反射材８１Ａと第２の反射素子である反射材８１Ｂにより構成されている。反射材８１Ａは中心の直径がａの環状であり、中心には距離ｄだけ前方に突出して反射材８１Ｂが設けられている。
【０１０８】
撮像部５及び照射部６の一例を図１７に示す。照射部６はＣＣＤカメラ３１のレンズ３２の周辺に、赤外ＬＥＤ３６を多数取り付けた構造であり、撮像部５で撮像する方向を照射している。また、撮像部５は、ＣＣＤカメラ３１、レンズ３２、赤外フィルタ３３、画像処理部３４、出力部３５から構成する。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具３の反射材８１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４では、ＣＣＤカメラ３１で撮像した指示具３の反射材８１の像をもとにスクリーン８上の平面座標を演算し、出力部３５からコンピュータ１０に出力する。
【０１０９】
ＣＣＤカメラ３１の出力画像の一例を図２３に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図２３に示すように反射材８１による像９１のみが出力される。
【０１１０】
ここで、指示具３による像９１の現れ方を、図により説明する。
【０１１１】
図２４は指示具３を中心を通る水平面で切断し上部から見た、反射材８１の平面図である。中心線８６は反射材８１Ａの中心とレンズ３２を結ぶ直線である。図２４には指示具３が中心線８６から角度ｌだけ斜め左方向を向いている場合を示している。中心線８６の延長線上に垂直に投影面８４を想定すると、投影面８４では、反射材８１Ａの直径方向の間隔はｘとなり、また反射材８１Ｂは中心線からｈだけ左にずれて投影されることになる。
【０１１２】
図２５は指示具３を中心を通る垂直面で切断し横から見た、反射材８１の側面図である。中心線８６は反射材８１Ａの中心とレンズ３２を結ぶ直線である。図２５には指示具３が中心線８６から角度ｍだけ斜め下方向を向いている場合を示している。中心線８６の延長線上に垂直に投影面８４を想定すると、投影面８４では、反射材８１Ａの直径方向の間隔はｙとなり、また反射材８１Ｂは中心線からｖだけ上にずれて投影されることになる。
【０１１３】
ここで、ＣＣＤカメラ３１で撮影した像９１は、図２４と図２５の投影面７４を任意の倍率で撮影したものと考えることができるため、図２３の像９１は、投影面８４の投影像と合同の関係となる。図２３において、像９１Ａ、９１Ｂはそれぞれ反射材８１Ａ、８１Ｂを撮影した像である。また、像９１Ａの水平方向の最大の間隔をＸ、垂直方向の最大の間隔をＹとして、それぞれの間隔の中央を通る水平線と垂直線の交点を基準点９２とする。また、像９１Ｂの基準点９２との距離の水平成分をＨ、垂直成分をＶとする。基準点９２は中心線８６の延長線上に一致するので、図２４、図２５のｘ、ｈ、ｙ、ｖの各値は、図２３のＸ、Ｈ、Ｙ、Ｖの各値とほぼ比例関係となる。従って、像９１の像９１Ａ、９１Ｂの関係を調べれば、指示具３がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているかを知ることができる。
【０１１４】
【数９】
【０１１５】
【数１０】
【０１１６】
数１は投影面８４における水平方向の関係を示した式である。また、数５は投影面８４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図２３のＸ、Ｈ、Ｙ、Ｖの各値とほぼ比例関係にあるので、数１、数５は次に示す数６のように表わすことができる。
【０１１７】
【数１１】
【０１１８】
ここで、ａ、ｄの値は指示具３で既知の値であるため、角度ｌ、角度ｍは図２３の像９１から求めることができる。
【０１１９】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン８に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数７に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【０１２０】
【数１２】
【０１２１】
ここで、数７のＫは比例定数であり、指示具３の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数７からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【０１２２】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像９１から指示具３が指示する画面の座標を求める方法を、図２６のフローチャートにより説明する。
【０１２３】
Ｓ１では、像９１Ａの水平方向の左端の位置と右端の位置を求め、それぞれの部分で水平方向の重心座標を求め、両者の水平方向の距離Ｘを求める。
【０１２４】
Ｓ２では、像９１Ａの垂直方向の上端の位置と右端の位置を求め、それぞれの部分で垂直方向の重心座標を求め、両者の垂直方向の距離Ｙを求める。
【０１２５】
Ｓ３では、Ｘ、Ｙそれぞれの中心の位置にあたる基準点９２の座標を求める。
【０１２６】
Ｓ４では、像９１Ｂの重心座標を求め、基準点９２の座標との距離を水平方向にＨ、垂直方向にＶとして求める。
【０１２７】
Ｓ５では、数７により、スクリーン上の座標Ｘｓ、Ｙｓを求める。
【０１２８】
以上の座標の求め方をまとめると、指示具３の第１の反射素子である反射材８１Ａの像９１Ａから距離Ｘ、Ｙと基準点を求め、第２の反射素子である反射材８１Ｂの像９１Ｂから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン上の座標Ｘｓ、Ｙｓを求める、という手順である。
【０１２９】
なお、ここではスクリーン上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【０１３０】
ここまでは指示具３が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【０１３１】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【０１３２】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【０１３３】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図２６で説明したフローチャートによって座標を求めればよい。
以上、本実施例では、指示具３の中央の反射材が周辺の反射材よりも突出している場合について説明したが、別の例として、中央の反射材が周辺の反射材よりも奥に位置する場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【０１３４】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、少なくとも３個の発光素子と直交軸上に配した発光素子とから指示具を構成し、撮像手段で発光素子の相対位置関係を撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が画面の位置から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。
【０１３６】
また、発光素子を二等辺三角形の各頂点に配置し、２個を結ぶ底辺がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１３７】
また、発光素子を菱形の各頂点に配置し、菱形の対角線の一方がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１３８】
また、操作手段による操作情報により発光素子を変調する変調手段と、変調された操作情報を検出する受光手段を設けたので、応用ソフトをマウスと同様に操作することが可能となり、プレゼンテーションなどにおけるページ送りなどの操作が、指示具だけで行え、説明の流れが阻害されるのを避けることができる。
【０１３９】
また、指示具に手持ち検出手段を設け、発光素子の点灯または消灯を制御するようにしたので、使用時に点灯させ、使用しない場合には消灯させることができるので、電池などのエネルギー源の無駄な消費を避けることができるとともに、発光素子の寿命を長く保つことができる。
【０１４０】
また、少なくとも３個の反射素子と直交軸上に配した反射素子とから指示具を構成し、照射手段で照射した反射素子の相対位置関係を撮像手段で撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が聴衆の視野から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。また、指示具には電池などのエネルギー源を必要としないので、維持管理を容易にすることができる。
【０１４１】
また、反射素子を二等辺三角形の各頂点に配置し、２個を結ぶ底辺がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１４２】
また、反射素子を菱形の各頂点に配置し、菱形の対角線の一方がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１４３】
また、同一平面上に配した中空の円盤状の反射素子と直交軸上に配したの反射素子とから指示具を構成し、照射手段で照射した反射素子の相対位置関係を撮像手段で撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が聴衆の視野から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。また、指示具には電池などのエネルギー源を必要としないので、維持管理を容易にすることができる。さらに指示具の反射素子は回転対称の形状としたので、説明者がどのような持ち方をしても使うことができる。
【０１４４】
また、撮像手段により撮像した画像から、第１の発光素子または第１の反射素子による第１の像と、第２の発光素子または第２の発光素子による第２の像を求め、第１の像の座標から基準座標を求め、第２の像と基準座標の位置関係から指示具の撮像手段に対する向きを求め、向きにより表示手段における指示位置を特定する方法としたので、撮像した画像の大きさは限定されない。従って、撮像手段と指示具の距離が不定であっても画面上の指示位置を特定することができるので、説明者が場所を移動することができる。さらに撮像手段の画角は任意に設定することができるので、撮像手段の取り付け場所は限定されることなく、調整も簡単に行うことができる。
【０１４５】
また、撮像手段により撮像した画像から、複数の指示手段の像を独立の像に分離した独立指示具像を得て、該独立指示具像ごとに前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定する方法としたので、説明者と聴衆からのように、２点以上を同時に指し示したり、スクリーン上の２ヶ所で同時に入力を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す図である。
【図２】本発明の第１の実施の形態の指示具の一例を示す図である。
【図３】本発明の第１の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図４】本発明の第１の実施の形態の撮像部の一例を示す図である。
【図５】本発明の第１および第２の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図６】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す平面図である。
【図７】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す側面図である。
【図８】本発明の第１および第２の実施の形態の座標を求める手順を示すフローチャートである。
【図９】本発明の第１の実施の形態の指示具の別の例を示す図である。
【図１０】本発明の第１の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図１１】本発明の第１の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図１２】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す平面図である。
【図１３】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す側面図である。
【図１４】本発明の第２の実施の形態を示す図である。
【図１５】本発明の第２の実施の形態の指示具の一例を示す図である。
【図１６】本発明の第２の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図１７】本発明の第２の実施の形態の撮像部及び照射部の一例を示す図である。
【図１８】本発明の第２の実施の形態の指示具の反射材の配置を示す平面図である。
【図１９】本発明の第２の実施の形態の指示具の反射材の配置を示す側面図である。
【図２０】本発明の第３の実施の形態を示す図である。
【図２１】本発明の第３の実施の形態の指示具の一例を示す図である。
【図２２】本発明の第３の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図２３】本発明の第３の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図２４】本発明の第３の実施の形態の指示具の反射材の配置を示す平面図である。
【図２５】本発明の第３の実施の形態の指示具の反射材の配置を示す側面図である。
【図２６】本発明の第３の実施の形態の座標を求める手順を示すフローチャートである。
【図２７】本発明の第１および第２および第３の実施の形態の、複数の指示具の像を分離する手順を示すフローチャートである。
【符号の説明】
１、２、３ 指示具
４ プロジェクター
５ 撮像部
６ 照射部
７、８ スクリーン
９ 説明者
１０ コンピュータ
１１ 受信部
１２ マーカー
１３ ミラー
１４ 筐体
２１ 赤外ＬＥＤ
２１Ａ、２１Ｂ、２１Ｃ、２１Ｅ 赤外ＬＥＤ
２２ 操作ボタン
２３ 手持ち検出電極
２４ 投影面
２６ 中心線
３１ ＣＣＤカメラ
３２ レンズ
３３ 赤外線フィルタ
３４ 画像処理装置
３５ 出力部
３６ 赤外ＬＥＤ
４１ 像
４１Ａ、４１Ｂ、４１Ｃ、４１Ｅ 像
４２ 基準点
５１ 赤外ＬＥＤ
５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ 赤外ＬＥＤ
５２ 操作ボタン
５３ 手持ち検出スイッチ
５４ 投影面
５６ 中心線
６１ 像
６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅ 像
６２ 基準点
７１ 反射材
７１Ａ、７１Ｂ、７１Ｃ、７１Ｅ 反射材
７４ 投影面
７６ 中心線
８１ 反射材
８１Ａ、８１Ｂ 反射材
８４ 投影面
８６ 中心線
９１ 像
９１Ａ、９１Ｂ 像
９２ 基準点
【発明の属する技術分野】
本発明は、プロジェクターを使用してコンピュータの画面を拡大投射して行うプレゼンテーション等において、画面上の特定の部位を指示したり、応用ソフトウエアを操作したりする場合の、遠隔座標入力装置と入力方法に関する。
【０００２】
【従来の技術】
従来のプレゼンテーションなどにおいては、ＯＨＰ（オーバーヘッドプロジェクター）を使用して透過式の原稿を拡大投影したり、スライドプロジェクターを使用してフィルムの画像を拡大投影するなどして大画面に情報を表示し、説明者は差棒やレーザーポインタなどを使用して、注目すべき点を指し示しながら説明することが行われてきた。
【０００３】
また、近年ではパーソナルコンピュータと液晶プロジェクターの普及により、プレゼンテーション用に開発された応用ソフトウエアを使用して、効率的なプレゼンテーションが行われるようになってきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、表示された画面を指し示すのには、コンピュータに接続されたマウスなどを操作しなければならず、説明者が画面の位置から離れたり、説明者の動作と画面上のポインタなどの動きが間接的であるなどのために、聴衆の注意が散漫になる場合があった。
【０００５】
そのような状況を防ぐために、説明者がコンピュータの位置に支配されることなく、比較的自由な位置から直接画面に働きかけることにより応用ソフトウエアを操作可能な、いわゆる遠隔座標を入力する装置が開発されて、各種の方式が提案されている。
【０００６】
それらの一例として、特開平５−１９９５３号公報によれば、スクリーンから離れた位置から遠隔操作装置を操作することにより、表示された情報を制御する方法が記述されている。しかしこれに記載された方式では、操作は遠隔操作装置上に設けられた各種のキーによって行うだけであり、画面上のポインタを動かすには矢印キーを押し続けることによって行うので、積分的にしか動かすことができず、人間が差棒などで指し示す感覚とは違和感があった。
【０００７】
また、特開平２−３００８１６号公報によれば、放射主軸方向を異ならせた３個の発光素子を指示部に設置し、それを受光する受光素子での光の強度差から指示部の角度を検出する方法が記述されている。しかしながら、発光素子を弁別するために光を変調しなけらばならず、指示部が複雑になってしまうという課題や、光量差を利用するために、外部のノイズなどの影響を受けやすいという課題があった。
【０００８】
また、説明者と聴衆からのように、２点以上を同時に指し示したい場合には、前記の２つの公知例では実現が困難であった。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、少なくとも３個の第１の発光素子と、前記少なくとも３個の第１の発光素子により囲まれる平面内で該平面と直交する直交軸上の前記平面上の点を除く位置に配置された第２の発光素子とを備えた指示手段と、該指示手段の前記第１および第２の発光素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標に基づき画面上の指示情報を表示する表示手段を備えたことを特徴とする。
【００１０】
また、請求項２記載の発明は、請求項１記載の遠隔座標入力装置において、前記第１の発光素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、を特徴とする。
【００１１】
また、請求項３記載の発明は、請求項１記載の遠隔座標入力装置において、前記第１の発光素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、を特徴とする。
【００１２】
また、請求項４記載の発明は、請求項１記載の遠隔座標入力装置において、前記指示部に設けた操作手段による操作情報により前記第１または第２の発光素子を変調する変調手段と、変調された前記操作情報を検出する受光手段を設けたこと、を特徴とする。
【００１３】
また、請求項５記載の発明は、請求項１記載の遠隔座標入力装置において、前記指示部を手で持っているか否かを検出する手持ち検出部を備え、該手持ち検出部の出力により、前記第１および第２の発光素子の点灯または消灯を制御することを特徴とする。
【００１４】
また、請求項６記載の発明は、少なくとも３個の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、を特徴とする。
【００１５】
また、請求項７記載の発明は、請求項６記載の遠隔座標入力装置において、前記第１の反射素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、を特徴とする。
【００１６】
また、請求項８記載の発明は、請求項６記載の遠隔座標入力装置において、前記第１の反射素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、を特徴とする。
【００１７】
また、請求項９記載の発明は、中空の円盤状の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、を特徴とする。
【００１８】
また、請求項１０記載の発明は、請求項１ないし請求項９のいずれか一項に記載の遠隔座標入力装置を用いた遠隔座標入力方法であって、前記撮像手段により撮像した画像から、前記第１の発光素子または前記第１の反射素子による第１の像と、前記第２の発光素子または前記第２の反射素子による第２の像を求め、前記第１の像から基準座標を求め、前記第２の像と前記基準座標の位置関係から前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする。
【００１９】
また、請求項１１記載の発明は、請求項１０記載の遠隔座標入力方法において、前記撮像手段により撮像した画像から、複数の指示手段の像を独立の像に分離した独立指示具像を得て、該独立指示具像ごとに前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする。
【００２０】
【発明の実施の形態】
（実施例１）
本発明に係る第１の実施の形態を図面にもとづいて説明する。
【００２１】
図１は本発明の第１の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射されてスクリーン７に拡大表示される。
【００２２】
スクリーン７の上部には撮像部５が設けられ、説明者９が持つ指示具１を撮像するとともに、指示具１の向きを検出して座標に変換しコンピュータ１０に伝送する。また、スクリーン７の下部には受信部１１が設けられ、指示具１からの特定の信号を検出してコンピュータ１０に伝送する。
【００２３】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具１の向きを変えることにより、マーカー１２の位置を動かすことができる。
【００２４】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具１の向きを変えるとマーカー１２を動かすことができる。
【００２５】
図２に指示具１の一例を示す。前面には赤外線を発光する複数の赤外ＬＥＤ（発光ダイオード）２１が設けられ、上部には操作ボタン２２が設けられ、手で支持する部分には手持ち検出電極２３が設けられている。また、図示しないが内部には電池が内蔵されている。
【００２６】
図３は指示具１の前面部分の詳細を説明する三面図である。第１の発光素子である赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃは同一平面上に二等辺三角形の頂点に配置されている。赤外ＬＥＤ２１Ａ、２１Ｂは指示具１の上面と平行に距離ａを隔てており、赤外ＬＥＤ２１Ｃは２１Ａと２１Ｂを結ぶ線分の中央から垂直方向に距離ｂを隔てて配置されている。第２の発光素子である赤外ＬＥＤ２１Ｅは、正面図では２１Ｃの垂直方向に距離ｂ／２を隔て、さらに奥へ距離ｄだけ進んだ位置に配置されている。ＬＥＤ２１Ｅは、ＬＥＤ２１Ａ，Ｂ，Ｃで囲まれた平面と直交する位置に配置される必要はないが、図３に示すように配置することにより装置の小型化を図ることができる。
【００２７】
説明者９が指示具１を手に持つと、手持ち検出電極２３が手で持っていることを検出して、赤外ＬＥＤ２１（２１Ａ、２１Ｂ、２１Ｃ、２１Ｅ）を点灯させ、手から離すと消灯させる。また、操作ボタン２２を押すと、赤外ＬＥＤ２１は一旦全てを消灯させ、操作ボタン２２に対応してあらかじめ決められたコードに従って、点滅のタイミングで操作ボタン２２のどれが押されたかの情報を送信する。送信されたコードは受信部１１により受信されて、コンピュータ１０に送られる。送信が終了したら、再びすべてのＬＥＤを点灯させる。なお、操作ボタン２２には、通常のマウスのクリックボタンの機能や、コンピュータ１０で使う応用ソフトウエアに対応させた機能などを割り当てておくことができる。
【００２８】
次に撮像部５の一例を図４に示す。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具１の赤外ＬＥＤ２１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４ではＣＣＤカメラ３１で撮像した指示具１のＬＥＤ２１の像をもとにスクリーン７上の平面座標を演算し、出力部３５からコンピュータ１０に送る。
【００２９】
ＣＣＤカメラ３１の出力画像の一例を図５に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図５に示すようにＬＥＤ２１による像４１のみが出力される。
【００３０】
ここで、指示具１による像４１の現れ方を、図により説明する。
【００３１】
図６は指示具１のＬＥＤ２１を上部から見た平面図である。中心線２６は赤外ＬＥＤ２１Ａと２１Ｂの中間とレンズ３２を結ぶ直線である。図６には指示具１が中心線２６から角度ｌだけ斜め左方向を向いている場合を示している。中心線２６の延長線上に垂直に投影面２４を想定すると、投影面２４では、赤外ＬＥＤ２１Ａと２１Ｂの間隔はｘとなり、また赤外ＬＥＤ２１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００３２】
図７は指示具１のＬＥＤ２１を横から見た側面図である。中心線２６は赤外ＬＥＤ２１Ａ、２１Ｂと２１Ｃの中間とレンズ３２を結ぶ直線である。図７には指示具１が中心線２６から角度ｍだけ斜め下方向を向いている場合を示している。中心線２６の延長線上に垂直に投影面２４を想定すると、投影面２４では、赤外ＬＥＤ２１Ａ、２１Ｂと２１Ｃの間隔はｙとなり、また赤外ＬＥＤ２１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００３３】
ここで、ＣＣＤカメラ３１で撮影した像４１は、図６と図７の投影面２４を任意の倍率で撮影したものと考えることができるため、図５の像４１は、投影面２４の投影像と合同の関係となる。図５において、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅはそれぞれ赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃ、２１Ｅを撮影した像である。また、像４１Ａと４１Ｂの間隔をＸ、４１Ａと４１Ｂを結ぶ線分の中央から垂直方向に像４１Ｃまでの距離をＹ、像４１ＣからＹ／２だけ上の位置を基準点４２として、像４１Ｅの基準点４２との距離の水平成分をＨ、垂直成分をＶとする。基準点４２は中心線２６の延長線上に一致するので、図６、図７のｘ、ｈ、ｙ、ｖの各値は、図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像４１の像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの関係を調べれば、指示具１がレンズ３２に対して、水平、垂直にどれだけ傾いているのかを知ることができる。
【００３４】
【数１】
【数２】
数１は投影面２４における水平方向の関係を示した式である。また、数２は投影面２４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図５にのＸ、Ｈ、Ｙ、Ｖの各値と比例関係にあるので、数１、数２は次に示す数３のように表わすことができる。
【００３７】
【数３】
ここで、ａ、ｂ、ｄの値は指示具１で既知の値であるため、角度ｌ、角度ｍは図５の像４１から求めることができる。
【００３９】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン７に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数４に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【００４０】
【数４】
ここで、数４のＫは比例定数であり、指示具１の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数４からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【００４２】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像４１から指示具１が指示する画面の座標を求める方法を、図８のフローチャートにより説明する。
【００４３】
Ｓ１では、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの重心座標を求める。これは像が有限の大きさを持っているので、ほぼ中心の位置を代表点として決めるためであり、公知の演算方法で求めればよい。
【００４４】
Ｓ２では像４１Ａ、４１Ｂの重心座標から、水平方向の距離Ｘと４１Ａと４１Ｂの中間の座標を求める。
【００４５】
Ｓ３では、像４１Ｃの重心座標とＳ２で求めた中間の座標から、垂直方向の距離Ｙと両者の中間点である基準点４２の座標を求める。
【００４６】
Ｓ４では、像４１Ｅの重心座標と基準点４２の座標から、両者の距離を水平方向にＨ、垂直方向にＶとして求める。
【００４７】
Ｓ５では、数４により、スクリーン７上の座標Ｘｓ、Ｙｓを求める。
【００４８】
以上の座標の求め方をまとめると、指示具１の第１の発光素子である赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃの像４１Ａ、４１Ｂ、４１Ｃから距離Ｘ、Ｙと基準点を求め、第２の発光素子である赤外ＬＥＤ２１Ｅの像４１Ｅから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン７上の座標Ｘｓ、Ｙｓを求める、という手順である。
【００４９】
なお、ここではスクリーン上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【００５０】
ここまでは指示具１が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【００５１】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【００５２】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【００５３】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図８で説明したフローチャートによって座標を求めればよい。
次に、指示具１の別の例を図９に示す。
【００５４】
前面には赤外線を発光する複数の赤外ＬＥＤ（発光ダイオード）５１が設けられ、上部には操作ボタン５２が設けられ、手で支持する部分には手持ち検出スイッチ５３が設けられている。また、図示しないが内部には電池が内蔵されている。
【００５５】
図１０は指示具１の前面部分の詳細を説明する三面図である。第１の発光素子である赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄは同一平面上に菱形の頂点に配置されている。赤外ＬＥＤ５１Ｂ、５１Ｄは指示具１の手元側の上面と平行に距離ａを隔てており、赤外ＬＥＤ５１Ａ、５１Ｃは垂直方向に距離ｂを隔てて配置されている。第２の発光素子である赤外ＬＥＤ５１Ｅは、正面図では５１Ｂ、５１Ｃを結ぶ直線と５１Ａと５１Ｃを結ぶ直線の交点で、さらに奥へ距離ｄだけ進んだ位置に配置されている。
【００５６】
説明者９が指示具１を手に持つと、手持ち検出スイッチ５３が手で持っていることを検出して、赤外ＬＥＤ５１（５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ）を点灯させ、手から離すと消灯させる。また、操作ボタン５２を押すと、赤外ＬＥＤ５１は一旦全てを消灯させ、操作ボタン５２に対応してあらかじめ決められたコードに従って、点滅のタイミングで操作ボタン５２のどれが押されたかの情報を送信する。送信されたコードは受信部１１により受信されて、コンピュータ１０に送られる。送信が終了したら、再びすべてのＬＥＤを点灯させる。なお、操作ボタン５２には、通常のマウスのクリックボタンの機能や、コンピュータ１０で使う応用ソフトウエアに対応させた機能などを割り当てておくことができる。
【００５７】
ここで、指示具１による像６１の現れ方を、図により説明する。
【００５８】
図１２は指示具１のＬＥＤ５１を上部から見た平面図である。中心線５６は赤外ＬＥＤ５１Ｂと５１Ｄの中間とレンズ３２を結ぶ直線である。図１２には指示具１が中心線５６から角度ｌだけ斜め左方向を向いている場合を示している。中心線５６の延長線上に垂直に投影面５４を想定すると、投影面５４では、赤外ＬＥＤ５１Ｂと５１Ｄの間隔はｘとなり、また赤外ＬＥＤ５１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００５９】
図１３は指示具１のＬＥＤ５１を横から見た側面図である。中心線５６は赤外ＬＥＤ５１Ａと５１Ｃの中間とレンズ３２を結ぶ直線である。図１３には指示具１が中心線５６から角度ｍだけ斜め下方向を向いている場合を示している。中心線５６の延長線上に垂直に投影面５４を想定すると、投影面５４では、赤外ＬＥＤ５１Ａと５１Ｃの間隔はｙとなり、また赤外ＬＥＤ５１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００６０】
ここで、ＣＣＤカメラ３１で撮影した像６１の一例を図１１に示す。像６１は、図１２と図１３の投影面５４を任意の倍率で撮影したものと考えることができるため、図１１の像６１は、投影面５４の投影像と合同の関係となる。図１１において、像６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅはそれぞれ赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｅを撮影した像である。また、像６１Ｂと６１Ｄの間隔をＸ、６１Ａと６１Ｃの間隔をＹ、像６１Ｂと６１Ｄを結ぶ直線と像６１Ａと像６１Ｃを結ぶ直線の交点を基準点６２として、像６１Ｅの基準点６２との距離の水平成分をＨ、垂直成分をＶとする。基準点６２は中心線５６の延長線上に一致するので、図１２、図１３のｘ、ｈ、ｙ、ｖの各値は、図１１のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像６１の像６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅの関係を調べれば、指示具１がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているかを知ることができる。
【００６１】
このように、赤外ＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄが菱形の頂点に配置された場合でも、前記の赤外ＬＥＤ２１Ａ、２１Ｂ、２１Ｃが二等辺三角形の頂点に配置された場合と同様に扱うことができるので、同様な方法により、画面上の座標を求めることができる。
【００６２】
また、本実施例では、指示具１の中央の赤外ＬＥＤが周辺の赤外ＬＥＤよりも奥に位置する場合について説明したが、別の例として、中央の赤外ＬＥＤが周辺の赤外ＬＥＤより突出している場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【００６３】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。また、指示具が回転している場合にも、厳密には誤差が含まれてくる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【００６４】
（実施例２）
本発明に係わる第２の実施例の形態を図面にもとづいて説明する。
【００６５】
図１４は本発明の第２の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射されてスクリーン８に拡大表示される。スクリーン８はリアタイプで、画面を観察するのは、プロジェクター４で投射するのと反対の面である。
【００６６】
スクリーン８の上部には撮像部５と照射部６が一体になったものが設けられ、前面に赤外光を照射するとともに反射像を撮像し、指示具２の向きを検出して座標に変換しコンピュータ１０に伝送する。
【００６７】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具２の向きを変えることにより、マーカー１２の位置を動かすことができる。
【００６８】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具２の向きを変えるとマーカー１２を動かすことができる。
【００６９】
図１５に指示具２の一例を示す。前面には赤外線を反射する複数の反射材７１が設けられている。
【００７０】
図１６は指示具２の前面部分の詳細を説明する三面図である。第１の反射素子である反射材７１Ａ、７１Ｂ、７１Ｃは同一平面上に二等辺三角形の頂点に配置されている。反射材７１Ａ、７１Ｂは指示具２の上面と平行に距離ａを隔てており、反射材７１Ｃは７１Ａと７１Ｂを結ぶ線分の中央から垂直方向に距離ｂを隔てて配置されている。第２の反射素子である反射材７１Ｅは、正面図では７１Ｃの垂直方向に距離ｂ／２を隔て、さらに奥へ距離ｄだけ進んだ位置に配置されている。
【００７１】
撮像部５及び照射部６の一例を図１７に示す。照射部６はＣＣＤカメラ３１のレンズ３２の周辺に、赤外ＬＥＤ３６を多数取り付けた構造であり、撮像部５で撮像する方向を照射している。また、撮像部５は、ＣＣＤカメラ３１、レンズ３２、赤外フィルタ３３、画像処理部３４、出力部３５から構成する。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具２の反射材７１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４ではＣＣＤカメラ３１で撮像した指示具２の反射材７１の像をもとにスクリーン８上の平面座標を演算し、出力部３５からコンピュータ１０に送る。
【００７２】
ＣＣＤカメラ３１の出力画像の一例を図５に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図５に示すように反射材７１による像４１のみが出力される。
【００７３】
ここで、指示具２による像４１の現れ方を、図により説明する。
【００７４】
図１８は指示具２の反射材７１を上部から見た平面図である。中心線７６は反射材７１Ａと７１Ｂの中間とレンズ３２を結ぶ直線である。図１８には指示具２が中心線７６から角度ｌだけ斜め左方向を向いている場合を示している。中心線７６の延長線上に垂直に投影面７４を想定すると、投影面７４では、反射材７１Ａと７１Ｂの間隔はｘとなり、また反射材７１Ｅは中心線からｈだけ左にずれて投影されることになる。
【００７５】
図１９は指示具２の反射材７１を横から見た側面図である。中心線７６は反射材７１Ａ、７１Ｂと７１Ｃの中間とレンズ３２を結ぶ直線である。図１９には指示具２が中心線７６から角度ｍだけ斜め下方向を向いている場合を示している。中心線７６の延長線上に垂直に投影面７４を想定すると、投影面７４では、反射材７１Ａ、７１Ｂと７１Ｃの間隔はｙとなり、また反射材７１Ｅは中心線からｖだけ上にずれて投影されることになる。
【００７６】
ここで、ＣＣＤカメラ３１で撮影した像４１は、図１８と図１９の投影面７４を任意の倍率で撮影したものと考えることができるため、図５の像４１は、投影面７４の投影像と合同の関係となる。図５において、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅはそれぞれ反射材７１Ａ、７１Ｂ、７１Ｃ、７１Ｅを撮影した像である。また、像４１Ａと４１Ｂの間隔をＸ、４１Ａと４１Ｂを結ぶ線分の中央から垂直方向に像４１Ｃまでの距離をＹ、像４１ＣからＹ／２だけ上の位置を基準点４２として、像４１Ｅの基準点４２との距離の水平成分をＨ、垂直成分をＶとする。基準点４２は中心線７６の延長線上に一致するので、図１８、図１９のｘ、ｈ、ｙ、ｖの各値は、図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係となる。従って、像４１の像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの関係を調べれば、指示具２がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているのかを知ることができる。
【００７７】
【数５】
【数６】
数１は投影面７４における水平方向の関係を示した式である。また、数２は投影面７４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図５のＸ、Ｈ、Ｙ、Ｖの各値と比例関係にあるので、数１、数２は次に示す数３のように表わすことができる。
【００８０】
【数７】
ここで、ａ、ｂ、ｄの値は指示具１で既知の値であるため、角度ｌ、角度ｍは図５の像４１から求めることができる。
【００８２】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン８に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数４に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【００８３】
【数８】
ここで、数４のＫは比例定数であり、指示具１の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数４からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【００８５】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像４１から指示具１が指示する画面の座標を求める方法を、図８のフローチャートにより説明する。
【００８６】
Ｓ１では、像４１Ａ、４１Ｂ、４１Ｃ、４１Ｅの重心座標を求める。これは像が有限の大きさを持っているので、ほぼ中心の位置を代表点として決めるためであり、公知の演算方法で求めればよい。
【００８７】
Ｓ２では像４１Ａ、４１Ｂの重心座標から、水平方向の距離Ｘと４１Ａと４１Ｂの中間の座標を求める。
【００８８】
Ｓ３では、像４１Ｃの重心座標とＳ２で求めた中間の座標から、垂直方向の距離Ｙと両者の中間点である基準点４２の座標を求める。
【００８９】
Ｓ４では、像４１Ｅの重心座標と基準点４２の座標から、両者の距離を水平方向にＨ、垂直方向にＶとして求める。
【００９０】
Ｓ５では、数４により、スクリーン８上の座標Ｘｓ、Ｙｓを求める。
【００９１】
以上の座標の求め方をまとめると、指示具２の第１の反射素子である反射材７１Ａ、７１Ｂ、７１Ｃの像４１Ａ、４１Ｂ、４１Ｃから距離Ｘ、Ｙと基準点を求め、第２の反射素子である反射材７１Ｅの像４１Ｅから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン上の座標Ｘｓ、Ｙｓを求める、という手順である。
【００９２】
なお、ここではスクリーン８上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【００９３】
ここまでは指示具２が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【００９４】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【００９５】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【００９６】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図８で説明したフローチャートによって座標を求めればよい。
以上、指示具２の図１９に示す形態にもとづいて説明したが、別の例として、実施例１で説明したＬＥＤ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅを反射材に置き換えても、ＬＥＤの場合と同様に扱うことができる。
【００９７】
このように、反射材が菱形も頂点に配置された場合でも、前記の反射材７１Ａ、７１Ｂ、７１Ｃが二等辺三角形状に配置された場合と同様に扱うことができるので、同様な方法により、画面上の座標を求めることができる。
【００９８】
また、本実施例では、指示具２の中央の反射材が周辺の反射材よりも奥に位置する場合について説明したが、別の例として、中央の反射材が周辺の反射材より突出している場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【００９９】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。また、指示具が回転している場合にも、厳密には誤差が含まれてくる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【０１００】
また、本実施例では撮像部５と照射部６が一体となった構造について説明したが、両者は分離して別の場所に取り付けておくことも可能である。
【０１０１】
（実施例３）
本発明に係わる第３の実施例の形態を図面にもとづいて説明する。
【０１０２】
図２０は本発明の第３の実施例を説明する図である。コンピュータ１０の表示データはプロジェクター４に送られ、投射像はミラー１３で反射されてスクリーン８に拡大表示される。スクリーン８はリアタイプで、画面を観察するのは、プロジェクター４で投射するのと反対の面である。なお、プロジェクター４、ミラー１３、コンピュータ１０は筐体１４に収められており、コンピュータ１０を除いて全体をリアプロジェクターと称する場合もある。
【０１０３】
スクリーン８の下部には撮像部５と照射部６が一体になったものが設けられ、前面に赤外光を照射するとともに反射像を撮像し、指示具３の向きを検出して座標に変換しコンピュータ１０に伝送する。
【０１０４】
プレゼンテーションなどに当たっては、説明者９がスクリーンを見ながら指示具３の向きを変えることにより、マーカー１２の位置を動かすことができる。
【０１０５】
マーカー１２は、従来のマウスで操作するポインタやカーソルと同じものであり、マウスを平面上で動かすとポインタやカーソルが動くのと同様に、指示具３の向きを変えるとマーカー１２を動かすことができる。
【０１０６】
図２１に指示具３の一例を示す。前面には赤外線を反射する複数の反射材８１が設けられている。
【０１０７】
図２２は指示具３の前面部分の詳細を説明する三面図である。反射材８１は、第１の反射素子である反射材８１Ａと第２の反射素子である反射材８１Ｂにより構成されている。反射材８１Ａは中心の直径がａの環状であり、中心には距離ｄだけ前方に突出して反射材８１Ｂが設けられている。
【０１０８】
撮像部５及び照射部６の一例を図１７に示す。照射部６はＣＣＤカメラ３１のレンズ３２の周辺に、赤外ＬＥＤ３６を多数取り付けた構造であり、撮像部５で撮像する方向を照射している。また、撮像部５は、ＣＣＤカメラ３１、レンズ３２、赤外フィルタ３３、画像処理部３４、出力部３５から構成する。ＣＣＤカメラ３１にはレンズ３２、赤外線フィルタ３２が取り付けられており、指示具３の反射材８１の像を撮影する。ＣＣＤカメラ３１の出力は、画像処理装置３４に接続されている。画像処理装置３４では、ＣＣＤカメラ３１で撮像した指示具３の反射材８１の像をもとにスクリーン８上の平面座標を演算し、出力部３５からコンピュータ１０に出力する。
【０１０９】
ＣＣＤカメラ３１の出力画像の一例を図２３に示す。ＣＣＤカメラ３１のレンズ３２の前には赤外線フィルタ３２が取り付けられているので、室内照明などの光はほとんど除去され、図２３に示すように反射材８１による像９１のみが出力される。
【０１１０】
ここで、指示具３による像９１の現れ方を、図により説明する。
【０１１１】
図２４は指示具３を中心を通る水平面で切断し上部から見た、反射材８１の平面図である。中心線８６は反射材８１Ａの中心とレンズ３２を結ぶ直線である。図２４には指示具３が中心線８６から角度ｌだけ斜め左方向を向いている場合を示している。中心線８６の延長線上に垂直に投影面８４を想定すると、投影面８４では、反射材８１Ａの直径方向の間隔はｘとなり、また反射材８１Ｂは中心線からｈだけ左にずれて投影されることになる。
【０１１２】
図２５は指示具３を中心を通る垂直面で切断し横から見た、反射材８１の側面図である。中心線８６は反射材８１Ａの中心とレンズ３２を結ぶ直線である。図２５には指示具３が中心線８６から角度ｍだけ斜め下方向を向いている場合を示している。中心線８６の延長線上に垂直に投影面８４を想定すると、投影面８４では、反射材８１Ａの直径方向の間隔はｙとなり、また反射材８１Ｂは中心線からｖだけ上にずれて投影されることになる。
【０１１３】
ここで、ＣＣＤカメラ３１で撮影した像９１は、図２４と図２５の投影面７４を任意の倍率で撮影したものと考えることができるため、図２３の像９１は、投影面８４の投影像と合同の関係となる。図２３において、像９１Ａ、９１Ｂはそれぞれ反射材８１Ａ、８１Ｂを撮影した像である。また、像９１Ａの水平方向の最大の間隔をＸ、垂直方向の最大の間隔をＹとして、それぞれの間隔の中央を通る水平線と垂直線の交点を基準点９２とする。また、像９１Ｂの基準点９２との距離の水平成分をＨ、垂直成分をＶとする。基準点９２は中心線８６の延長線上に一致するので、図２４、図２５のｘ、ｈ、ｙ、ｖの各値は、図２３のＸ、Ｈ、Ｙ、Ｖの各値とほぼ比例関係となる。従って、像９１の像９１Ａ、９１Ｂの関係を調べれば、指示具３がＣＣＤカメラ３１に対して、水平、垂直にどれだけ傾いているかを知ることができる。
【０１１４】
【数９】
【数１０】
数１は投影面８４における水平方向の関係を示した式である。また、数５は投影面８４における垂直方向の関係を示した式である。前記の通り、ｘ、ｈ、ｙ、ｚの各値は図２３のＸ、Ｈ、Ｙ、Ｖの各値とほぼ比例関係にあるので、数１、数５は次に示す数６のように表わすことができる。
【０１１７】
【数１１】
ここで、ａ、ｄの値は指示具３で既知の値であるため、角度ｌ、角度ｍは図２３の像９１から求めることができる。
【０１１９】
なお、出力部３５からコンピュータ１０に出力するデータは、スクリーン８に投射された画面の水平、垂直の直交座標であることが必要である。そこで、画面の中央を原点とすれば、数７に示すように、角度ｌ、ｍをＸｓ、Ｙｓという座標に変換することができる。
【０１２０】
【数１２】
ここで、数７のＫは比例定数であり、指示具３の傾きと出力の感度を決める値である。この値は、使いやすい適当な値に固定しておいてもよいし、説明者９が好みに応じて設定できるようにしておいてもよい。なお、数７からわかるように、角度ｌ、ｍの値は実際の演算では求める必要はない。
【０１２２】
次に、以上の原理によって、画像処理装置３４において、ＣＣＤカメラ３１が撮像した像９１から指示具３が指示する画面の座標を求める方法を、図２６のフローチャートにより説明する。
【０１２３】
Ｓ１では、像９１Ａの水平方向の左端の位置と右端の位置を求め、それぞれの部分で水平方向の重心座標を求め、両者の水平方向の距離Ｘを求める。
【０１２４】
Ｓ２では、像９１Ａの垂直方向の上端の位置と右端の位置を求め、それぞれの部分で垂直方向の重心座標を求め、両者の垂直方向の距離Ｙを求める。
【０１２５】
Ｓ３では、Ｘ、Ｙそれぞれの中心の位置にあたる基準点９２の座標を求める。
【０１２６】
Ｓ４では、像９１Ｂの重心座標を求め、基準点９２の座標との距離を水平方向にＨ、垂直方向にＶとして求める。
【０１２７】
Ｓ５では、数７により、スクリーン上の座標Ｘｓ、Ｙｓを求める。
【０１２８】
以上の座標の求め方をまとめると、指示具３の第１の反射素子である反射材８１Ａの像９１Ａから距離Ｘ、Ｙと基準点を求め、第２の反射素子である反射材８１Ｂの像９１Ｂから基準点との水平、垂直の距離Ｈ、Ｖを求め、演算によりスクリーン上の座標Ｘｓ、Ｙｓを求める、という手順である。
【０１２９】
なお、ここではスクリーン上の座標は中心部を原点としたが、バイアス値を設定することにより、スクリーンの周辺部を原点とすることも可能である。
【０１３０】
ここまでは指示具３が１つだけ使用される場合について説明したが、複数の指示具が同時に使用される場合に、それぞれの指示具が指示する画面の座標を求める方法を、図２７のフローチャートで説明する。
【０１３１】
Ｔ１では、撮影した像を、それぞれの像ごとに拡大処理する。これは、像が存在する部分の周辺をあらかじめ決めた大きさに渡って同じ信号で埋める処理を行えばよい。
【０１３２】
次にＴ２では、セグメンテーションをおこなうことにより、指示具ごとの像の領域を求める。
【０１３３】
このようにして指示具ごとの像の範囲が求められるので、それぞれの像の範囲において、図２６で説明したフローチャートによって座標を求めればよい。
以上、本実施例では、指示具３の中央の反射材が周辺の反射材よりも突出している場合について説明したが、別の例として、中央の反射材が周辺の反射材よりも奥に位置する場合でも、出力座標の極性が反対になるだけで、全く同様に扱うことができる。
【０１３４】
なお、本実施例では水平面と垂直面で独立に角度を求める方法を示したが、両方に傾きを持っている場合には、平面図と側面図に現れる角度は厳密には正確な値とはずれてくることになる。しかし、本実施例のように、スクリーンに表示されるマーカーを見ながら操作する場合には、操作した結果が即時に現れ、それを見ながら指示具を操作することになるため、実際には全く問題にはならない。
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、少なくとも３個の発光素子と直交軸上に配した発光素子とから指示具を構成し、撮像手段で発光素子の相対位置関係を撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が画面の位置から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。
【０１３６】
また、発光素子を二等辺三角形の各頂点に配置し、２個を結ぶ底辺がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１３７】
また、発光素子を菱形の各頂点に配置し、菱形の対角線の一方がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１３８】
また、操作手段による操作情報により発光素子を変調する変調手段と、変調された操作情報を検出する受光手段を設けたので、応用ソフトをマウスと同様に操作することが可能となり、プレゼンテーションなどにおけるページ送りなどの操作が、指示具だけで行え、説明の流れが阻害されるのを避けることができる。
【０１３９】
また、指示具に手持ち検出手段を設け、発光素子の点灯または消灯を制御するようにしたので、使用時に点灯させ、使用しない場合には消灯させることができるので、電池などのエネルギー源の無駄な消費を避けることができるとともに、発光素子の寿命を長く保つことができる。
【０１４０】
また、少なくとも３個の反射素子と直交軸上に配した反射素子とから指示具を構成し、照射手段で照射した反射素子の相対位置関係を撮像手段で撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が聴衆の視野から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。また、指示具には電池などのエネルギー源を必要としないので、維持管理を容易にすることができる。
【０１４１】
また、反射素子を二等辺三角形の各頂点に配置し、２個を結ぶ底辺がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１４２】
また、反射素子を菱形の各頂点に配置し、菱形の対角線の一方がほぼ水平に配置されるようにしたので、斜めの距離や座標を求めるために必要な二乗と平方根の計算が不要となるため、撮像した画像から座標を求めるための演算を簡単にすることができる。
【０１４３】
また、同一平面上に配した中空の円盤状の反射素子と直交軸上に配したの反射素子とから指示具を構成し、照射手段で照射した反射素子の相対位置関係を撮像手段で撮像し、映像信号から指示具が撮像手段に対して示す向きを求めて平面座標に変換するようにしたので、説明者が指示具を動かすことによって画面上のマーカーを動かしてコンピュータの応用ソフトを使うことが可能である。そのため、コンピュータ画面をプロジェクターで拡大投射して行うプレゼンテーションなどにおいて、説明者が聴衆の視野から離れることなく、レーザーポインタで指し示すようにして説明することができるので、聴衆の注意が散漫になるのを避けることができる。また、指示具には電池などのエネルギー源を必要としないので、維持管理を容易にすることができる。さらに指示具の反射素子は回転対称の形状としたので、説明者がどのような持ち方をしても使うことができる。
【０１４４】
また、撮像手段により撮像した画像から、第１の発光素子または第１の反射素子による第１の像と、第２の発光素子または第２の発光素子による第２の像を求め、第１の像の座標から基準座標を求め、第２の像と基準座標の位置関係から指示具の撮像手段に対する向きを求め、向きにより表示手段における指示位置を特定する方法としたので、撮像した画像の大きさは限定されない。従って、撮像手段と指示具の距離が不定であっても画面上の指示位置を特定することができるので、説明者が場所を移動することができる。さらに撮像手段の画角は任意に設定することができるので、撮像手段の取り付け場所は限定されることなく、調整も簡単に行うことができる。
【０１４５】
また、撮像手段により撮像した画像から、複数の指示手段の像を独立の像に分離した独立指示具像を得て、該独立指示具像ごとに前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定する方法としたので、説明者と聴衆からのように、２点以上を同時に指し示したり、スクリーン上の２ヶ所で同時に入力を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す図である。
【図２】本発明の第１の実施の形態の指示具の一例を示す図である。
【図３】本発明の第１の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図４】本発明の第１の実施の形態の撮像部の一例を示す図である。
【図５】本発明の第１および第２の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図６】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す平面図である。
【図７】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す側面図である。
【図８】本発明の第１および第２の実施の形態の座標を求める手順を示すフローチャートである。
【図９】本発明の第１の実施の形態の指示具の別の例を示す図である。
【図１０】本発明の第１の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図１１】本発明の第１の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図１２】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す平面図である。
【図１３】本発明の第１の実施の形態の指示具のＬＥＤの配置を示す側面図である。
【図１４】本発明の第２の実施の形態を示す図である。
【図１５】本発明の第２の実施の形態の指示具の一例を示す図である。
【図１６】本発明の第２の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図１７】本発明の第２の実施の形態の撮像部及び照射部の一例を示す図である。
【図１８】本発明の第２の実施の形態の指示具の反射材の配置を示す平面図である。
【図１９】本発明の第２の実施の形態の指示具の反射材の配置を示す側面図である。
【図２０】本発明の第３の実施の形態を示す図である。
【図２１】本発明の第３の実施の形態の指示具の一例を示す図である。
【図２２】本発明の第３の実施の形態の指示具の前面部分の詳細を説明する三面図である。
【図２３】本発明の第３の実施の形態のＣＣＤカメラの出力画像の一例を示す図である。
【図２４】本発明の第３の実施の形態の指示具の反射材の配置を示す平面図である。
【図２５】本発明の第３の実施の形態の指示具の反射材の配置を示す側面図である。
【図２６】本発明の第３の実施の形態の座標を求める手順を示すフローチャートである。
【図２７】本発明の第１および第２および第３の実施の形態の、複数の指示具の像を分離する手順を示すフローチャートである。
【符号の説明】
１、２、３ 指示具
４ プロジェクター
５ 撮像部
６ 照射部
７、８ スクリーン
９ 説明者
１０ コンピュータ
１１ 受信部
１２ マーカー
１３ ミラー
１４ 筐体
２１ 赤外ＬＥＤ
２１Ａ、２１Ｂ、２１Ｃ、２１Ｅ 赤外ＬＥＤ
２２ 操作ボタン
２３ 手持ち検出電極
２４ 投影面
２６ 中心線
３１ ＣＣＤカメラ
３２ レンズ
３３ 赤外線フィルタ
３４ 画像処理装置
３５ 出力部
３６ 赤外ＬＥＤ
４１ 像
４１Ａ、４１Ｂ、４１Ｃ、４１Ｅ 像
４２ 基準点
５１ 赤外ＬＥＤ
５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ 赤外ＬＥＤ
５２ 操作ボタン
５３ 手持ち検出スイッチ
５４ 投影面
５６ 中心線
６１ 像
６１Ａ、６１Ｂ、６１Ｃ、６１Ｄ、６１Ｅ 像
６２ 基準点
７１ 反射材
７１Ａ、７１Ｂ、７１Ｃ、７１Ｅ 反射材
７４ 投影面
７６ 中心線
８１ 反射材
８１Ａ、８１Ｂ 反射材
８４ 投影面
８６ 中心線
９１ 像
９１Ａ、９１Ｂ 像
９２ 基準点
Claims (11)
- 少なくとも３個の第１の発光素子と、前記少なくとも３個の第１の発光素子により囲まれる平面内で該平面と直交する直交軸上の前記平面上の点を除く位置に配置された第２の発光素子とを備えた指示手段と、該指示手段の前記第１および第２の発光素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標に基づき画面上の指示情報を表示する表示手段を備えたこと、を特徴とする遠隔座標入力装置。
- 請求項１記載の遠隔座標入力装置において、
前記第１の発光素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、
を特徴とする遠隔座標入力装置。 - 請求項１記載の遠隔座標入力装置において、
前記第１の発光素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、
を特徴とする遠隔座標入力装置。 - 請求項１記載の遠隔座標入力装置において、
前記指示手段に設けた操作手段による操作情報により前記第１または第２の発光素子を変調する変調手段と、変調された前記操作情報を検出する受光手段を設けたこと、
を特徴とする遠隔座標入力装置。 - 請求項１記載の遠隔座標入力装置において、
前記指示手段を手で持っているか否かを検出する手持ち検出手段を備え、該手持ち検出手段の出力により、前記第１および第２の発光素子の点灯または消灯を制御することを特徴とする遠隔座標入力装置。 - 少なくとも３個の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、該撮像手段が撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、
を特徴とする遠隔座標入力装置。 - 請求項６記載の遠隔座標入力装置において、
前記第１の反射素子が二等辺三角形の各頂点に配置され、２個を結ぶ底辺がほぼ水平に配置されること、
を特徴とする遠隔座標入力装置。 - 請求項６記載の遠隔座標入力装置において、
前記第１の反射素子が菱形の各頂点に配置され、前記菱形の対角線の一方がほぼ水平に配置されること、
を特徴とする遠隔座標入力装置。 - 中空の円盤状の第１の反射素子と、前記第１の反射素子により囲まれる平面内で該平面と直交する、直交軸上に配した第２の反射素子とから構成する指示手段と、該指示手段の前記第１と第２の反射素子を照射する照射手段と、前記指示手段の前記第１と第２の反射素子の相対位置関係を撮像する撮像手段と、撮像した映像信号から前記指示手段が前記撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、該座標変換手段で求めた座標を出力する出力手段と、前記出力手段で求めた前記座標にもとづき画面上の指示情報を表示する表示手段を備えたこと、
を特徴とする遠隔座標入力装置。 - 請求項１ないし請求項９のいずれか一項に記載の遠隔座標入力装置を用いた遠隔座標入力方法であって、
前記撮像手段により撮像した画像から、前記第１の発光素子または前記第１の反射素子による第１の像と、前記第２の発光素子または前記第２の反射素子による第２の像を求め、前記第１の像から基準座標を求め、前記第２の像と前記基準座標の位置関係から前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする遠隔座標入力方法。 - 請求項１０記載の遠隔座標入力方法において、
前記撮像手段により撮像した画像から、複数の指示手段の像を独立の像に分離した独立指示具像を得て、該独立指示具像ごとに前記指示手段の前記撮像手段に対する向きを求め、該向きにより前記表示手段における指示位置を特定すること、を特徴とする遠隔座標入力方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30617197A JP3937533B2 (ja) | 1997-11-07 | 1997-11-07 | 遠隔座標入力装置および遠隔座標入力方法 |
| US09/188,146 US6317118B1 (en) | 1997-11-07 | 1998-11-09 | Remote coordinate input device and remote coordinate input method |
| US09/949,663 US6587092B2 (en) | 1997-11-07 | 2001-09-12 | Remote coordinate input device and remote coordinate input method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30617197A JP3937533B2 (ja) | 1997-11-07 | 1997-11-07 | 遠隔座標入力装置および遠隔座標入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11143629A JPH11143629A (ja) | 1999-05-28 |
| JP3937533B2 true JP3937533B2 (ja) | 2007-06-27 |
Family
ID=17953902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30617197A Expired - Fee Related JP3937533B2 (ja) | 1997-11-07 | 1997-11-07 | 遠隔座標入力装置および遠隔座標入力方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6317118B1 (ja) |
| JP (1) | JP3937533B2 (ja) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5869079A (en) * | 1995-06-02 | 1999-02-09 | Oculex Pharmaceuticals, Inc. | Formulation for controlled release of drugs by combining hydrophilic and hydrophobic agents |
| JP3937533B2 (ja) * | 1997-11-07 | 2007-06-27 | セイコーエプソン株式会社 | 遠隔座標入力装置および遠隔座標入力方法 |
| JP3804302B2 (ja) * | 1998-11-11 | 2006-08-02 | セイコーエプソン株式会社 | 表示装置及び情報記録媒体 |
| US6275214B1 (en) * | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
| US6753849B1 (en) * | 1999-10-27 | 2004-06-22 | Ken Curran & Associates | Universal remote TV mouse |
| US6833825B1 (en) * | 2000-03-10 | 2004-12-21 | Apple Computer, Inc. | Apparatus for remotely controlling a digital processing system |
| US7137711B1 (en) | 2000-03-21 | 2006-11-21 | Leonard Reiffel | Multi-user retro reflector data input |
| JP4666808B2 (ja) * | 2000-07-27 | 2011-04-06 | キヤノン株式会社 | 画像表示システム、画像表示方法、及び記憶媒体、プログラム |
| KR20030040407A (ko) | 2000-08-18 | 2003-05-22 | 레오나드 레이필 | 주해 이미지화 데이터 제품 |
| US7034803B1 (en) | 2000-08-18 | 2006-04-25 | Leonard Reiffel | Cursor display privacy product |
| IL155355A0 (en) | 2000-10-17 | 2003-11-23 | Routescience Technologies Inc | Method and apparatus for performance and cost optimization in an internetwork |
| US8023421B2 (en) | 2002-07-25 | 2011-09-20 | Avaya Inc. | Method and apparatus for the assessment and optimization of network traffic |
| US7349994B2 (en) | 2000-10-17 | 2008-03-25 | Avaya Technology Corp. | Method and apparatus for coordinating routing parameters via a back-channel communication medium |
| US7720959B2 (en) | 2000-10-17 | 2010-05-18 | Avaya Inc. | Method and apparatus for characterizing the quality of a network path |
| JP4081373B2 (ja) | 2000-12-15 | 2008-04-23 | ライフェル レナード | 画像によるコード化データ源変換装置 |
| EP1354471A4 (en) * | 2000-12-15 | 2006-02-08 | Leonard Reiffel | DATA ENTRY PRODUCT OF MULTI-SOURCE MULTI-IMAGEUR MULTI-SOURCE CODE DATA SOURCE |
| EP1350385A4 (en) | 2000-12-15 | 2004-12-15 | Leonard Reiffel | IMAGE DATA SOURCE LOCATION PRODUCT |
| EP1390909A4 (en) * | 2001-04-19 | 2004-12-29 | Leonard Reiffel | DATA ACQUISITION FROM AN ENCODED DATA SOURCE, BY COMBINED IMAGING |
| US6554434B2 (en) * | 2001-07-06 | 2003-04-29 | Sony Corporation | Interactive projection system |
| JP4078047B2 (ja) * | 2001-07-17 | 2008-04-23 | フジノン株式会社 | プレゼンテーションシステム |
| JP2003043412A (ja) * | 2001-08-01 | 2003-02-13 | Fuji Photo Optical Co Ltd | レーザポインタを用いたプレゼンテーションシステム |
| US20040135766A1 (en) * | 2001-08-15 | 2004-07-15 | Leonard Reiffel | Imaged toggled data input product |
| US20050117073A1 (en) * | 2002-03-22 | 2005-06-02 | Payne Roger A. | Interactive video system |
| US6761456B2 (en) * | 2002-03-25 | 2004-07-13 | Fuji Photo Optical Co., Ltd. | Laser presentation system using a laser pointer |
| US20060291797A1 (en) * | 2003-05-27 | 2006-12-28 | Leonard Reiffel | Multi-imager multi-source multi-use coded data source data input product |
| US7683881B2 (en) * | 2004-05-24 | 2010-03-23 | Keytec, Inc. | Visual input pointing device for interactive display system |
| WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
| US9268411B2 (en) * | 2004-08-12 | 2016-02-23 | Koninklijke Philips N.V | Method and system for controlling a display |
| US7473884B2 (en) * | 2005-04-21 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Orientation determination utilizing a cordless device |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| JP2007066080A (ja) * | 2005-08-31 | 2007-03-15 | Casio Comput Co Ltd | ポインティングデバイス |
| TW200802036A (en) * | 2006-06-01 | 2008-01-01 | Micro Nits Co Ltd | Input method of a pointer input system |
| WO2008066093A1 (fr) * | 2006-12-01 | 2008-06-05 | Nec Corporation | Système de représentation d'informations dépendant d'une position, contrôleur de représentation d'informations dépendant d'une position et procédé de représentation d'informations dépendant d'une position |
| TWI406153B (zh) * | 2007-06-12 | 2013-08-21 | Quanta Comp Inc | 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體 |
| JP4530011B2 (ja) | 2007-09-12 | 2010-08-25 | 富士ゼロックス株式会社 | 位置計測システム |
| JP5245345B2 (ja) * | 2007-10-10 | 2013-07-24 | 富士ゼロックス株式会社 | 対象物認識装置、認識対象物およびプログラム |
| US20110025925A1 (en) * | 2008-04-10 | 2011-02-03 | Karl Christopher Hansen | Simple-to-use optical wireless remote control |
| US20100006105A1 (en) * | 2008-07-08 | 2010-01-14 | Carter Phillip J | Apparatus and methods for occluding a fallopian tube |
| JP5118663B2 (ja) * | 2009-03-31 | 2013-01-16 | Ｋｄｄｉ株式会社 | 情報端末装置 |
| JP5534729B2 (ja) * | 2009-07-16 | 2014-07-02 | 株式会社タイトー | 二重円指標を利用した画面座標位置検出方法および画面座標位置検出装置ならびにガンゲーム装置 |
| TWI436241B (zh) * | 2011-07-01 | 2014-05-01 | J Mex Inc | 遙控裝置及將其用於校正螢幕的控制系統及方法 |
| CN102495687B (zh) * | 2011-12-27 | 2015-01-07 | 深圳Tcl新技术有限公司 | 简易空中鼠标的实现方法、视频终端及系统 |
| JP5970700B2 (ja) * | 2012-04-16 | 2016-08-17 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム |
| KR101333076B1 (ko) * | 2012-08-09 | 2013-11-26 | 서울시립대학교 산학협력단 | 복수의 영상입력기기 배치를 통한 인터랙티브 스크린 구현 시스템 및 구현 방법, 그 기록매체 |
| EP2706508B1 (en) * | 2012-09-10 | 2019-08-28 | BlackBerry Limited | Reducing latency in an augmented-reality display |
| US9576397B2 (en) | 2012-09-10 | 2017-02-21 | Blackberry Limited | Reducing latency in an augmented-reality display |
| US9001037B2 (en) * | 2013-01-08 | 2015-04-07 | Zeroplus Technology Co., Ltd. | Pointer positioning system |
| KR102240087B1 (ko) | 2016-09-27 | 2021-04-15 | 스냅 인코포레이티드 | 아이웨어 디바이스 모드 표시 |
| CN116848494A (zh) * | 2021-03-22 | 2023-10-03 | 株式会社和冠 | 控制器及追踪系统 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6252631A (ja) * | 1985-08-31 | 1987-03-07 | Nec Home Electronics Ltd | 位置入力装置 |
| US5363120A (en) * | 1987-10-14 | 1994-11-08 | Wang Laboratories, Inc. | Computer input device using orientation sensor |
| JP2623828B2 (ja) * | 1989-05-15 | 1997-06-25 | 松下電器産業株式会社 | 座標指示装置及び位置検出装置 |
| US5504501A (en) * | 1989-11-07 | 1996-04-02 | Proxima Corporation | Optical input arrangement and method of using same |
| US5235363A (en) * | 1991-05-10 | 1993-08-10 | Nview Corporation | Method and apparatus for interacting with a computer generated projected image |
| JPH0519953A (ja) * | 1991-07-16 | 1993-01-29 | Toshiba Corp | 遠隔座標入力装置 |
| JP2888672B2 (ja) * | 1991-07-30 | 1999-05-10 | 株式会社東芝 | 座標指定装置および座標指定装置を用いた投影システム |
| US5448261A (en) * | 1992-06-12 | 1995-09-05 | Sanyo Electric Co., Ltd. | Cursor control device |
| US5453758A (en) * | 1992-07-31 | 1995-09-26 | Sony Corporation | Input apparatus |
| US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| JPH07284166A (ja) * | 1993-03-12 | 1995-10-27 | Mitsubishi Electric Corp | 遠隔操作装置 |
| US5712658A (en) * | 1993-12-28 | 1998-01-27 | Hitachi, Ltd. | Information presentation apparatus and information display apparatus |
| JP3473988B2 (ja) * | 1994-05-20 | 2003-12-08 | 株式会社ワコム | 情報入力装置 |
| JPH0876082A (ja) * | 1994-06-28 | 1996-03-22 | Sharp Corp | 投影表示装置 |
| JP3273531B2 (ja) * | 1994-11-30 | 2002-04-08 | アルプス電気株式会社 | 遠隔座標指示装置 |
| GB2295707B (en) * | 1994-11-30 | 1998-07-01 | Alps Electric Co Ltd | Remote coordinate designating device |
| US5782548A (en) * | 1995-04-07 | 1998-07-21 | Seiko Epson Corporation | Image projection system and a method of controlling a projected pointer |
| JPH0981310A (ja) * | 1995-09-20 | 1997-03-28 | Fine Putsuto Kk | 操作者の位置検出装置及びこれを用いた表示制御装置 |
| US5963145A (en) * | 1996-02-26 | 1999-10-05 | Universal Electronics Inc. | System for providing wireless pointer control |
| US5973672A (en) * | 1996-10-15 | 1999-10-26 | Raytheon Company | Multiple participant interactive interface |
| US5949402A (en) * | 1997-02-13 | 1999-09-07 | International Business Machines Corporation | Optical alignment method for pointing devices |
| JP3937533B2 (ja) * | 1997-11-07 | 2007-06-27 | セイコーエプソン株式会社 | 遠隔座標入力装置および遠隔座標入力方法 |
-
1997
- 1997-11-07 JP JP30617197A patent/JP3937533B2/ja not_active Expired - Fee Related
-
1998
- 1998-11-09 US US09/188,146 patent/US6317118B1/en not_active Expired - Lifetime
-
2001
- 2001-09-12 US US09/949,663 patent/US6587092B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020027548A1 (en) | 2002-03-07 |
| JPH11143629A (ja) | 1999-05-28 |
| US6587092B2 (en) | 2003-07-01 |
| US6317118B1 (en) | 2001-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3937533B2 (ja) | 遠隔座標入力装置および遠隔座標入力方法 | |
| US7284866B2 (en) | Stabilized image projecting device | |
| JP5225681B2 (ja) | 視認システム | |
| US6441362B1 (en) | Stylus for optical digitizer | |
| US20020106137A1 (en) | Image capture device with a boundary indicator | |
| US20080018591A1 (en) | User Interfacing | |
| US7027041B2 (en) | Presentation system | |
| JP2009505305A (ja) | 自由空間のポインティング及び手書き手段 | |
| WO2013019217A1 (en) | Projection capture system and method | |
| JPH0980372A (ja) | 投写型表示装置 | |
| WO2018078777A1 (ja) | 空中映像表示システム、波長選択結像装置、映像表示装置、及び空中映像表示方法 | |
| JPH0635607A (ja) | 遠隔指示入力装置 | |
| JP2008204047A (ja) | 表示検出装置および光検出装置 | |
| JP4434381B2 (ja) | 座標入力装置 | |
| JPS60138628A (ja) | 画面指示入力装置 | |
| JP2003044220A (ja) | プレゼンテーションシステム | |
| JP2016177750A (ja) | 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法 | |
| JP4001487B2 (ja) | プレゼンテーションシステム | |
| JP2020008750A5 (ja) | 表示装置および画像処理方法 | |
| JP2007017516A (ja) | ２次元の位置情報を投影する機能を備えたプロジェクタ | |
| JP2006260487A (ja) | ポインタシステム | |
| JP2018098598A (ja) | 入出力装置、情報共有方法及び情報共有プログラム | |
| JP2005062486A (ja) | 投射システム、投射装置、及び投射方法 | |
| JP7266151B2 (ja) | 指示位置検出装置、指示位置検出方法、指示位置検出プログラム、及び投影システム | |
| JP2003044222A (ja) | プレゼンテーションシステムおよびプレゼンテーション方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |