JP5104697B2 - ポインティング装置及びその情報送信方法と外部情報処理装置、及びプログラム - Google Patents

Description

本発明は、画像投影システムに用いて好適なポインティング装置及びその情報送信方法と外部情報処理装置、及びそれらの実現に使用されるプログラムに関するものである。

従来、例えば事業や商品の概要紹介、研究内容の発表、講演内容の説明等のプレゼンテーションにおいては、パーソナルコンピュータ（以下、ＰＣという。）等の外部情報機器をプロジェクタに接続し、文字や画像からなる各種の説明資料を任意の投影面（以下、スクリーンという。）に投影し拡大表示させる投影システムが用いられている。また、プレゼンテーションにおいては、プレゼンテーター（説明者等）がスクリーンに投影されている画像（投影画像）の注目すべき部分を指し示すことを目的としてレーザー・ポインタが多く利用されている。

ここで、レーザー・ポインタを使用しているときには、レーザー光の光点（指示位置）の軌跡を投影画像上に表示させることができれば、プレゼンテーション中であっても投影画像にアンダーラインや手書き文字を書き込んだりすることができ便利である。それを可能とするものとして、例えばレーザー・ポインタに相当する装置本体の先端にレーザー発光部に代えてカメラを設け、係るカメラによってスクリーンを逐次撮影するとともに、撮影画像における投影画像範囲と撮影画像の中心との位置関係に基づいて、使用者が投影画像のどの位置を指し示しているのかを特定し、その座標データをＰＣ等の外部情報装置へ出力し、また所定の操作ボタンが押されたときには、それに応答してＰＣ等に所定のコマンド信号を出力する構成を備えたカメラ式のポインティング装置が、本出願人により既に提案されている（下記特許文献１参照）。

上記ポインティング装置を用いれば、使用者による投影画像における指示位置をＰＣ等に出力することができるため、例えばレーザー・ポインタを使用した場合の光点に相当するポインタ（マーク）をＰＣ等によって投影画像内に表示させるとともに、必要に応じて前述したポインタの軌跡表示や、投影画像へのアンダーラインや手書き文字等の書き込みが可能となる。さらに、操作ボタンの操作に応答して前記指示位置（座標データ）と共にコマンド信号を送ることにより、例えば投影画像上において使用者により指定された任意の部分を拡大させたり、指示した文字を強調または拡大させたりといった特定の処理をＰＣ等に行わせることができる。
特開２００７−２５７４３８号公報

ところで、上述したようにポインティング装置を用いれば、プレゼンテーション中には前述したポインタの軌跡表示や、投影画像への書き込みを直接行うことが可能となるが、ポインティング装置によって操作可能なＰＣ等の動作は、前述したように投影画像における指示位置と関連した限定的なものに過ぎなかった。係ることから、ポインティング装置を投影画像における指示位置と関係ない動作をＰＣ等に指示することができる入力装置、つまりＰＣに対するマウスのような汎用性のある入力装置としても使用できることが望まれるが、それを実現するためには以下の問題があった。

すなわちポインティング装置にレーザー・ポインタとしての機能と入力装置としての機能とを確保し、各々の機能を使用するためには、ポインティング装置が、レーザー・ポインタと同様に投影画像の注目すべき部分の指示（指定位置の表示）を目的として使用されているのか、またはＰＣ等の入力装置として使用されているのかといった、その時々の使用目的をＰＣ等へ知らせる必要となる。したがって、例えばそれを使用者によるＰＣ等の操作や、ポインティング装置が有する操作ボタン等の操作に基づいて行ったのでは、使用者における使用目的の変更、つまり使用する機能の切り替え操作が煩雑であり使用者の負担が大きい。また、操作ボタンによって切り替える場合には、例えば操作ボタンが複数設けられた構成においては使用に慣れていない使用者の誤操作も懸念されるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、レーザー・ポインタとして機能と汎用性のある入力装置としての機能とを備えた構成において、使用者が、使用目的に応じた機能の切り替え操作を行うことなく所望する機能を直ちに使用することが可能となるポインティング装置、及びその情報送信方法と、それらの実施に使用される情報送信プログラムと、外部情報処理装置、及びそれらの実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係るポインティング装置にあっては、表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置において、装置本体に設けられるとともに前記表示画面の撮影に使用される撮影手段と、装置の操作内容を示す操作情報を前記外部情報処理装置へ送信する送信手段と、前記指示位置情報を取得する指示位置取得手段と、装置本体における直前位置からの相対的な移動量を示す相対移動情報を取得する移動情報取得手段と、使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する判断手段と、前記判断手段によって、使用者により使用が意図されている機能が前記第１の機能であると判断されている間には、前記送信手段が前記外部情報処理装置へ送信する前記操作情報を前記指示位置取得手段により取得された指示位置情報に制御し、かつ前記判断手段によって、使用者により使用が意図されている機能が前記第２の機能であると判断されている間には、前記送信手段が前記外部情報処理装置へ送信する前記操作情報を前記移動情報取得手段により取得された相対移動情報に制御する情報制御手段とを備えたことを特徴とする。

また、請求項２記載の発明に係るポインティング装置にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像の被写体内容を前記所定の本体操作情報とし、当該本体操作情報に基づいて使用者により使用が意図されている機能を判断することを特徴とする。

また、請求項３記載の発明に係るポインティング装置にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像に、前記表示画面に相当する表示画面領域が存在するか否かを確認し、表示画面領域が存在する場合には使用者により使用が意図されている機能が前記第１の機能であると判断し、かつ表示画面領域が存在しない場合には使用者により使用が意図されている機能が前記第２の機能であると判断することを特徴とする。

また、請求項４記載の発明に係るポインティング装置にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像に、前記表示画面に相当するとともに歪み度合が基準以上である所定の表示画面領域が存在するか否かを確認し、当該所定の表示画面領域が存在する場合には使用者により使用が意図されている機能が前記第１の機能であると判断し、かつ当該所定の表示画面領域が存在しない場合には使用者により使用が意図されている機能が前記第２の機能であると判断することを特徴とする。

また、請求項５記載の発明に係るポインティング装置にあっては、前記撮影手段における撮影方向に沿った軸線の所定方向の傾き角度を検出する角度検出手段を備え、前記判断手段は、前記角度検出手段により検出された傾き角度を前記所定の本体操作情報とし、当該本体操作情報に基づいて使用者により使用が意図されている機能を判断することを特徴とする。

また、請求項６記載の発明に係るポインティング装置にあっては、前記移動情報取得手段は、前記撮影手段により相前後して撮影された撮影画像から特徴点を抽出する特徴点抽出手段を含み、この特徴点抽出手段により抽出された特徴点の相前後する一方の撮影画像と他方の撮影画像との間における位置の変化に基づいて前記相対移動情報を取得することを特徴とする。

また、請求項７記載の発明に係るポインティング装置にあっては、装置本体の動きを直接を検出する動き検出手段を備え、前記移動情報取得手段は、前記動き検出手段により検出された装置本体の動きに基づいて前記相対移動情報を取得することを特徴とする。

また、請求項８記載の発明に係るポインティング装置にあっては、前記指示位置取得手段は、前記撮影手段により撮影された撮影画像における所定の基準点の座標位置を、撮影画像における前記表示画面に相当する表示画面領域を正規形に変形したとき対応する表示画面での座標位置に変換し、変換後の座標位置を前記指示位置情報として取得することを特徴とする。

また、請求項９記載の発明に係る情報送信方法にあっては、表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置において、表示画面を撮影する工程と、使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する工程と、使用者により使用が意図されている機能が前記第１の機能であると判断している間に、装置の操作内容を示す操作情報として前記指示位置情報を前記外部情報処理装置へ送信する工程と、使用者により使用が意図されている機能が前記第２の機能であると判断している間に、装置の操作内容を示す操作情報として装置本体における直前位置からの相対的な移動量を示す相対移動情報を前記外部情報処理装置へ送信する工程とを含むことを特徴とする。

また、請求項１０記載の発明に係る情報送信プログラムにあっては、表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置が有するコンピュータに、表示画面を撮影する手順と、使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する手順と、使用者により使用が意図されている機能が前記第１の機能であると判断している間に、装置の操作内容を示す操作情報として前記指示位置情報を前記外部情報処理装置へ送信する手順と、使用者により使用が意図されている機能が前記第２の機能であると判断している間に、装置の操作内容を示す操作情報として装置本体における直前位置からの相対的な移動量を示す相対移動情報を前記外部情報処理装置へ送信する手順とを実行させることを特徴とする。

また、請求項１１記載の発明に係る外部情報処理装置にあっては、表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置に対応する外部情報処理装置であって、前記ポインティング装置から、当該装置の操作内容を示す操作情報を受信する受信手段と、この受信手段により受信された操作情報の種類を確認する確認手段と、この確認手段によって確認された操作情報の種類が前記指示位置情報であった場合には動作モードを第１の動作モードに設定し、かつ前記確認手段によって確認された操作情報の種類が前記ポインティング装置の装置本体における直前位置からの相対的な移動量を示す相対移動情報であった場合には動作モードを第２の動作モードに設定する動作モード設定手段と、この動作モード設定手段により動作モードが第１の動作モードに設定されている間、前記指示位置情報により示される前記表示画面の特定位置に所定の指示位置マークを表示させる位置マーク表示制御手段と、前記動作モード設定手段により動作モードが第２の動作モードに設定されている間、前記相対移動情報を入力情報とした所定の処理を実行する制御手段とを備えたことを特徴とする。

また、請求項１２記載の発明に係るプログラムにあっては、表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置に対応する外部情報処理装置が有するコンピュータに、前記ポインティング装置から、当該装置の操作内容を示す操作情報を受信する手順と、受信した操作情報の種類を確認する手順と、確認した操作情報の種類が前記指示位置情報であった場合には動作モードを第１の動作モードに設定し、かつ確認した操作情報の種類が前記ポインティング装置の装置本体における直前位置からの相対的な移動量を示す相対移動情報であった場合には動作モードを第２の動作モードに設定する手順と、動作モードを第１の動作モードに設定している間、前記指示位置情報により示される前記表示画面の特定位置に所定の指示位置マークを表示させる手順と、動作モードを第２の動作モードに設定している間、前記相対移動情報を入力情報とした所定の処理を実行する手順とを実行させることを特徴とする。

本発明のポインティング装置、及びその情報送信方法によれば、ポインティング装置がレーザー・ポインタとして機能と汎用性のある入力装置としての機能とを備えている場合、使用者が、使用目的に応じた機能の切り替え操作を行うことなく所望する機能を直ちに使用することが可能となる。また、本発明の情報送信プログラムにあっては、それを用いることにより上記ポインティング装置、及びその情報送信方法の実施が可能となる。また、本発明の外部情報処理装置にあっては、それを用いることにより上記ポインティング装置の使用者に、自分が指示している表示画面の位置をその表示画面上において確認させることができる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明のポインティング装置１と、ＰＣ（パーソナルコンピュータ）２とを含む投影システムの構成図である。この投影システムはＰＣ２から出力された画像データに基づく表示画像をプロジェクタ３がスクリーンＳに投影して拡大表示させる構成である。なお、ＰＣ２は例えばノート型のコンピュータである。

ポインティング装置１は、レーザー・ポインタとしての機能（第１の機能）と、ＰＣ２の入力装置としての機能（第２の機能）とが確保されたものであって、スクリーンＳに投影された表示画像、すなわち投影画像の注目すべき部分の指示（指定位置の表示）や、ＰＣ２の操作を可能とするための以下の構成を備えている。

すなわち、ポインティング装置１は、スクリーンＳを撮影する機能を有するカメラ式であって、撮影レンズ１１と、撮影レンズ１１に結像された光学像をデジタル化して取り込むための撮影手段であるＣＣＤ等のイメージセンサ１２と、取り込んだ画像データ（撮影画像データ）に対する種々の画像処理を行う画像処理部１３、演算制御部１４、通信部１５、メモリ１６、操作部１７から構成される。

演算制御部１４は、図示しないＣＰＵや、ＣＰＵに上記種々の演算を実行させるためのプログラムを記憶したＲＯＭを含むマイクロコンピュータにより構成されている。演算制御部１４は、上記ＲＯＭに格納されたプログラムに従い動作することにより、本発明の指示位置取得手段、移動情報取得手段（特徴点抽出手段を含む）、判断手段、情報制御手段として機能し、ポインティング装置１の各部を制御するとともに、前記画像処理部１３による画像処理後の画像データに基づく種々の演算を行う。

メモリ１６は演算制御部１４の作業用のメモリであり、必要に応じて各種データが記憶される。通信部１５は本発明の送信手段であって、例えば通信範囲が比較的狭い赤外線方式や、ブルートゥース（Bluetooth：登録商標）方式、無線ＬＡＮ等の無線による通信方式や、ＵＳＢ（Universal Serial Bus）等の有線による通信方式といた任意のデータ伝送方式によって、演算制御部１４によって演算された後述する座標位置を示す座標位置データ（指示位置情報）や、装置本体における直前位置からの相対的な移動量を示すＸ，Ｙ方向の相対的な移動量を示す移動量データ（相対移動情報）や、操作ボタン識別データといったポインティング装置１の操作内容を示す操作情報をＰＣ２へ送信（出力）する。

操作部１７は、電源スイッチや、使用中に必要に応じて操作される１又は複数の操作ボタン、及びその操作情報を演算制御部１４に送る回路等から構成される。

一方、ＰＣ２は、ＣＰＵ及びその周辺回路からなる制御部２１と、ＲＡＭ２２、記憶装置２３、操作部２４、ビデオアダプタ２５、ＶＲＡＭ２６、表示装置２７、通信部２８等を有する一般的な構成である。

ビデオアダプタ２５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置２７に出力し、ＶＲＡＭ２６は、ビデオアダプタ２５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ２５は、図示しないＲＧＢケーブル等を介して前記プロジェクタ３と接続されており、制御部２１の命令に応じて表示用の画像データをＲＧＢケーブルを介してプロジェクタ３へ出力する。

通信部２８は本発明の受信手段であって、ポインティング装置１の前記通信部１５が対応するデータ伝送方式による通信インターフェース回路を含み、ポインティング装置１から送られる前述した種々の操作情報を受信して制御部２１へ送る。

操作部２４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、ＲＡＭ２２は制御部２１に使用される汎用的な作業用メモリ、また記憶装置２３は記憶容量の比較的大きなハードディスク等である。

記憶装置２３には各種のアプリケーションプログラムが格納されている。特に本実施の形態では、通信部２８におけるポインティング装置１からの前記座標位置の受信を可能とするための通信プログラム、及び制御部２１を本発明の確認手段、動作モード設定手段、位置マーク表示制御手段、制御手段として機能させ、制御部２１に、ポインティング装置１から送られる前述した操作情報に基づいた後述する処理を行わせるためのプログラムが格納されている。

以下、前記投影システムにより任意の表示画像をスクリーンＳに投影させた状態でポインティング装置１を使用する場合におけるポインティング装置１及びＰＣ２の動作を説明する。

まず、ポインティング装置１を使用する説明者がスクリーンＳの左側または右側にオフセットした位置で説明を行っているとともに、説明者の目の前にＰＣ２が置かれている一般的な状況を想定し、ポインティング装置１の動作を説明する。図２は、それを示すフローチャートである。

ポインティング装置１は電源投入とともに動作を開始し、いずれかの操作ボタンが押されたか否かを逐次確認し、いずれかの操作ボタンが押された場合には（ステップＳＡ１でＹＥＳ）、押された操作ボタンを識別するための操作ボタン識別データをＰＣ２へ送信する（ステップＳＡ２）。

また、動作中には、上記の操作ボタンの操作確認とともに所定のフレーム周期（例えば３０ｆｐｓ）による撮影を行って一定時間毎に撮影画像を取得する（ステップＳＡ３）。そして、各回の撮影後には、取得した撮影画像からスクリーンＳ上の投影画像に相当する投影画像領域を認識する（ステップＳＡ４）。係る投影画像領域の認識は、例えば撮影画像をラベリングにより分類したり、直線成分を抽出して最大の四角形を判定し、四角形の領域を投影画像領域として決定する。

そして、投影画像領域が認識できたときには（ステップＳＡ５でＹＥＳ）、レーザー・ポインタとして使用されている、つまり説明者によってレーザー・ポインタとしての機能の使用が意図されているものと判断し、以下の処理を行う。ここでは、説明者がポインティング装置１（の撮影レンズ１１側）をスクリーンＳに向けており、ステップＳＡ３において図３（ａ）に示した撮影画像１００が取得されるとともに、ステップＳＡ４では四隅Ａ，Ｂ，Ｃ，Ｄを有する斜めに変形した四角形の領域が投影画像領域１０１として認識されたものとして説明する。

上記のような投影画像領域１０１が認識できたときポインティング装置１は、まず投影画像領域１０１の形状が長方形と比べてどの程度歪んでいるのかを示す歪み度合を演算する（ステップＳＡ６）。ここで演算する歪み度合は、投影画像領域１０１の相対向する左右の両辺（線分ＡＢと線分ＤＣ）の長い側（線分ＤＣ）に対する短い側（線分ＡＢ）の長さの比であり、説明者（ポインティング装置１）がスクリーンＳの正面に位置しており、投影画像領域１０１が正規の四角形である場合には歪み度合が最小となる。なお、歪み度合として演算する値は特に限定されない。

そして、演算した歪み度合が予め決められている基準以上であるか否かを判別し、歪み度合が基準以上であって、投影画像領域１０１の画像がスクリーンＳ上の投影画像である蓋然性が高いと判断できる場合には（ステップＳＡ７ＹＥＳ）、投影画像領域１０１を正規形に変形（補正）するための変換パラメータ、すなわち変換行列の係数を取得する（ステップＳＡ８）。ここで取得する変換パラメータは、例えば斜影変換として知られているひずみ補正を行うための任意の座標変換に使用されるパラメータであって変換行列の係数である。なお、複数種の座標変換を行う場合には各々の座標変換に用いられる係数を求める。

引き続き、上記変換パラメータを用いて撮影画像１００の中心Ｏ（基準点）に対応する表示画像２００の座標位置（絶対位置情報）Ｐを演算する（ステップＳＡ９）。具体的には、撮影画像１００の中心Ｏの座標位置を、正規化後の投影画像領域１０１の座標位置に変換するとともに、変換後の座標位置を表示画像２００の座標空間にマッピングしたときの座標位置Ｐを求める。図３（ｂ）は、表示画像２００の画素サイズが１０２４×７６８（ＸＧＡ）であり、その座標空間における撮影画像１００の中心Ｏに対応する座標位置Ｐが（７４２，３７９）である場合の例である。しかる後、その座標位置データを説明者による指示位置としてＰＣ２へ送信する（ステップＳＡ１０）。

その後は、ステップＳＡ１へ戻って前述した処理を繰り返すことにより、スクリーンＳ上の投影画像が撮影できている間には、一定時間毎に説明者による新たな指示位置（座標位置データ）を逐次ＰＣ２へ送信するとともに、いずれかの操作ボタンが押される毎に操作ボタン識別データを送信へ送信する。

一方、例えばその間に説明者によってポインティング装置１（の撮影レンズ１１側）がスクリーンＳ以外の部分に向けられることによって投影画像領域が認識できなくなったときや、動作を開始した直後からポインティング装置１がスクリーンＳ以外の部分に向けられており、最初に取得した撮影画像において投影画像領域が認識できなかった場合には（ステップＳＡ５でＮＯ）、ＰＣ２の入力装置として使用されている、つまり説明者によってＰＣ２の入力装置としての機能の使用が意図されているものと判断し、以下の処理を行う。

ここでは、ポインティング装置１が説明者の足元（下）に向けられるとともに、前述したステップＳＡ３で、図４（ａ）に示した撮影画像３００が取得されていたものとして説明する。投影画像領域が認識できなかったときポインティング装置１は、まず、その時点でメモリ１６に直前の画像が記憶されているか否かを判別し、記憶されていなければ（ステップＳＡ１１でＮＯ）、今回の撮影画像を直前の画像としてメモリ１６に記憶し（ステップＳＡ１５）、ステップＳＡ１へ戻る。

これに対し、メモリ１６に直前の画像が記憶されているときには（ステップＳＡ１１でＹＥＳ）、前回の撮影画像から特徴点を抽出し、対応する特徴点を今回の撮影画像からパターンマッチング等の手法を用いて検出する（ステップＳＡ１２）。図４（ｂ）は、ポインティング装置１が前回の撮影タイミングから今回の撮影タイミングまでの間に左方向へ移動した場合における、前回と今回の撮影画像における被写体部分（この例では説明者の靴）の画像内での位置の変化（左側が前回の位置、右側が今回の位置である。）、及び前回の撮影画像から抽出された特徴点Ｅ，Ｆと、それと対応する今回の撮影画像の特徴点Ｅ’，Ｆ’を例示した図である。

しかる後、ポインティング装置１は、互いに対応する特徴点Ｅ，Ｅ’の位置の違い、特徴点Ｆ，Ｆ’の位置の変化に基づいて、装置本体におけるＸ，Ｙ方向の各々の相対的な移動量、つまり説明者の操作に伴う装置本体における直前位置からの相対的な移動量を演算し（ステップＳＡ１３）、その移動量データをＰＣ２へ送信した後（ステップＳＡ１４）、今回の撮影画像を直前の画像としてメモリ１６に記憶する（ステップＳＡ１５）。つまりメモリ１６内の直前の画像を更新する。

その後は、ステップＳＡ１へ戻って上記処理を繰り返すことにより、ポインティング装置１がスクリーンＳ以外の部分に向けられている間には、一定時間毎に装置本体における直前位置からの相対的な移動量（移動量データ）を逐次ＰＣ２へ送信するとともに、いずれかの操作ボタンが押される毎に操作ボタン識別データを送信へ送信する。

さらに、前述したステップＳＡ７の判別結果がＮＯであって、一定時間毎に取得した各々の撮影画像から投影画像領域が認識できても、その歪み度合が基準以上でなく、認識した投影画像領域の画像がスクリーンＳ上の投影画像ではない蓋然性が高いと判断できる場合、例えばポインティング装置１が説明者の目の前に置かれているＰＣ２のモニタ画面に向けられている場合においても、説明者によってＰＣ２の入力装置としての機能の使用が意図されているものと判断し、前述したステップＳＡ１１〜ＳＡ１５の処理を繰り返すことにより、移動量データを逐次ＰＣ２へ送信する。

次に、上述したポインティング装置１の動作に対応するＰＣ２の動作について説明する。図５は、ポインティング装置１に対応するプレゼンテーション用のアプリケーションプログラムに従って表示画像の画像データをプロジェクタ３へ出力しているときのＰＣ２の動作内容を示すフローチャートである。

ＰＣ２は、画像データをプロジェクタ３へ出力している間、ポインティング装置１からのデータの受信の有無を逐次確認しており、いずれかのデータを受信すると（ステップＳＢ１でＹＥＳ）、まず受信データの種類を確認する（ステップＳＢ２）。

そして、受信データが前述した座標位置データであったときには（ステップＳ３でＹＥＳ）、現在の処理モードが予め用意されているポインティングモードでなかったときには（ステップＳＢ４でＮＯ）、その時点で処理モードをポインティングモードにいったん変更した後（ステップＳＢ５）、プロジェクタ３へ出力中の表示画像とは別に、受信した座標位置データにより示される座標位置に所定形状のポインタを合成した新たな表示画像を生成し、それをプロジェクタ３へ出力する（ステップＳＢ６）。また、ポインティングモードであったときには（ステップＳＢ４でＹＥＳ）、直ちに、受信した座標位置データにより示される座標位置に所定形状のポインタを合成した新たな表示画像を生成し、それをプロジェクタ３へ出力する（ステップＳＢ６）。

以後、座標位置データを受信している間には上記と同様の処理を繰り返すことにより、スクリーンＳ上の投影画像には説明者が指示した位置にポインタが表示され、それがポインティング装置１の向きの変化（画角の移動）に応じて移動される。これにより、説明者においてはポインティング装置１をレーザー・ポインターとして使用することができる。

また、受信データが前述した座標位置データでなく移動量データであったときには（ステップＳＢ３でＮＯ、ステップＳＢ７がＹＥＳ）、現在の処理モードが予め用意されているマウスモードであるか否かを確認する（ステップＳＢ８）。そして、マウスモードでなければ（ステップＳＢ８でＮＯ）、その時点で処理モードをマウスモードにいったん変更した後（ステップＳＢ９）、モニタ画面内に表示中のマウスポインタを、受信した移動量データにより示されるＸ，Ｙ方向の移動量分だけ移動する（ステップＳＢ１０）。

以後、移動量データを受信している間には上記と同様の処理を繰り返すことにより、モニタ画面内に表示中のマウスポインタが、ポインティング装置１の向きの変化（画角の移動）に応じて移動される。これにより、説明者においてはポインティング装置１を一般的なマウスと同様の入力装置として使用することができる。

さらに、受信データが前述した座標位置データや移動量データでなく、操作ボタン識別データであったときには（ステップＳＢ３，ＳＢ７が共にＮＯ）、そのときの処理モードによって異なるとともに、操作されたボタン操作に対応して予め決められている所定の処理を実施する（ステップＳＢ１１）。

すなわち処理モードがポインティングモードであったときには、例えば表示画像に合成している（投影画像に表示している）ポインタの色を変化させる処理や、ポインタの大きさを変化させる処理を実施する。また、処理モードがマウスモードであったときには、例えばマウスポインタの位置に応じた処理や、表示画像の変更（ページ送り）処理を実施する。

以上のように本実施形態のポインティング装置１は、前述したようにＰＣ２へ送信する装置の操作内容を示す操作情報であって、ポインティング装置１の向きの変化（画角の移動）に応じて変化する情報を、座標位置データ又は移動量データに切り替えることによって、レーザー・ポインタとしてだけでなくＰＣ２の入力装置としても使用することができる。しかも、使用時には、説明者がレーザー・ポインタとしての機能の使用を意図するときには、それをスクリーンＳに向け、また、ＰＣ２の入力装置としての機能の使用を意図するときには、それをスクリーンＳ以外の部分に向けるだけで、ポインティング装置１が、結果的に説明者が使用を意図する機能を自動的に判断し、その判断結果に応じてＰＣ２へ送信する前記操作情報を座標位置データ又は移動量データに切り替えるようにした。

よって、説明者においては、使用目的の変更を指示する、つまり使用する機能を切り替えるための操作を行うことなく、レーザー・ポインタとしての機能（第１の機能）と、ＰＣ２の入力装置としての機能（第２の機能）とを必要に応じ、かつシームレスに使用することができる。つまり、使用目的に応じた機能の切り替え操作を行うことなく、所望する機能を直ちに使用することができる。

また、本実施形態のポインティング装置１においては、撮影画像から投影画像領域が認識できても、その歪み度合が基準以上でなく、認識した投影画像領域の画像がスクリーンＳ上の投影画像ではない蓋然性が高いと判断できる場合には、結果的に、説明者が使用を意図する機能がＰＣ２の入力装置としての機能であると判断し、ＰＣ２へ移動量データを送信するようにした。よって、前述したように、ポインティング装置１が説明者の目の前に置かれているＰＣ２のモニタ画面に向けられている場合であっても、説明者が使用を意図する機能（使用中の機能）がレーザー・ポインタとしての機能であると誤って判断されることがない。同時に、それにより、ポインティング装置１をマウスとして使用することができる。

なお、撮影画像から投影画像領域が認識できたとき、無条件に、説明者が使用を意図する機能がレーザー・ポインタとしての機能であると結果的に判断し、ＰＣ２へ座標位置データを送信するようにしてもよく、その場合であっても、使用目的に応じた機能の切り替え操作を行うことなく、所望する機能を直ちに使用することは可能である。

なお、本実施形態においては、ＰＣ２がポインティングモードにおいて、単に投影画像にポインタを表示させるとともに、それをポインティング装置１における画角の移動操作に応じて移動させる処理を行う場合について説明したが、ＰＣ２には、既説したようにポインタの移動軌跡を表す軌跡線を投影画像に描画する処理を行わせてもよく、その場合には、ポインティングモードで受信したデータが操作ボタン識別データであったときには、そのデータの受信に応答して上記軌跡線の描画開始や描画開始、軌跡線の消去等の処理を行わせるようにしてもよい。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図６に示したように、図１で説明した構成に加え角度検出部１８が付加された構成を有したポインティング装置５１に関するものである。角度検出部１８は、ポインティング装置５１における撮影レンズ１１の光軸（撮影方向に沿った軸線）の上下方向の傾き角度を検出し、その検出結果を演算制御部１４へ送る部分であって、角度センサ、及びその検出信号の増幅回路や、増幅後の信号処理回路等から構成される。なお、本実施の形態において、角度検出部１８が演算制御部１４へ送る傾き角度は、撮影レンズ１１の光軸が水平となる状態を基準とした所定方向への傾き角度を示す情報である。

そして、本実施の形態のポインティング装置５１においては、その使用時に、図示しないが第１の実施形態と異なる動作により、ポインティング装置５１の向きの変化（画角の移動）に応じて変化する情報を、座標位置データ又は移動量データに切り替える。

具体的には、図示しないが、図２のフローチャートで説明した動作中、ステップＳＡ４で撮影画像を取得した後には、前述したステップＳＡ５〜ＳＡ７の処理に代え、その時点における撮影レンズ１１の光軸の上下方向の傾き角度を前記角度検出部１８において検出し、検出した傾き角度が予め決められている所定の角度範囲内か否かを確認する処理を行う。ここで所定の角度範囲は、説明者がスクリーンＳの左側または右側にオフセットした位置で説明を行っている一般的な状況下で、説明者が投影画像の任意の位置を指し示す際に予想される角度範囲である。

そして、検出した傾き角度が所定の角度範囲内であれば、その時点ではレーザー・ポインタとして使用されている（説明者によってレーザー・ポインタとしての機能の使用が意図されている）ものと判断し、前述したステップＳＡ８〜ＳＡ１０の処理により、撮影画像に基づいて指示位置の座標位置を演算し、その座標位置データをＰＣ２へ送信する。また、検出した傾き角度が所定の角度範囲内でなければ、その時点ではＰＣ２の入力装置として使用されている（説明者によってＰＣ２の入力装置としての機能の使用が意図されている）ものと判断し、前述したステップＳＡ１１〜ＳＡ１５の処理により、前回及び今回の撮影画像に基づいて装置本体のＸ，Ｙ方向の移動量を演算し、その移動量データをＰＣ２へ送信する。

以上述べた第２の実施の形態においても、第１の実施形態と同様、説明者においては、使用目的の変更を指示する、つまり使用する機能を切り替えるための操作を行うことなく、レーザー・ポインタとしての機能（第１の機能）と、ＰＣ２の入力装置としての機能（第２の機能）とを必要に応じ、かつシームレスに使用することができる。しかも、第１の実施の形態に比べ、その時々において説明者に使用が意図されている機能を迅速に判断することができる。

なお、本実施形態では、説明者が使用を意図する機能を判断する際の判断基準となる所定の角度範囲を、説明者が投影画像の任意の位置を指し示す際に予想される角度範囲としたが、上記所定の角度範囲は、例えば説明者がポインティング装置５１を下方向に向けている場合の角度範囲としてもよい。その場合は、本実施形態とは逆に、検出した傾き角度が所定の角度範囲内であればＰＣ２の入力装置として使用されているものと判断し、かつ所定の角度範囲内でなければレーザー・ポインタとして使用されているものと判断するようにすればよい。

（他の実施形態）
ここで、以上説明した第１及び第２の実施の形態においては、説明者が使用を意図する機能がＰＣ２の入力装置としての機能であると判断したときには、相前後して撮影した前回の撮影画像と今回の撮影画像間における互いに対応する特徴点位置の変化に基づいて装置本体のＸ，Ｙ方向の移動量、つまり装置本体の操作状況を示す本発明の本体操作情報を取得するようにしたが、装置本体のＸ，Ｙ方向の移動量は他の方法によって取得するようにしてもよい。

例えば図６に示したポインティング装置５１の角度検出部１８に代えて、装置本体内に設けられた加速度センサ又はジャイロセンサ、若しくは加速度センサとジャイロセンサの双方、及び検出信号の増幅回路や、増幅後の信号処理回路等から構成され、装置本体の動きを直接検出する動き検出部（動き検出手段）を設け、説明者が使用を意図する機能がＰＣ２の入力装置としての機能であると判断したときには、上記動き検出部による検出結果に基づいて装置本体のＸ，Ｙ方向の移動量を取得する構成としてもよい。係る構成によれば、第１及び第２の実施の形態に比べ、装置本体のＸ，Ｙ方向の移動量を迅速に取得してＰＣ２へ送信することができる。

さらに、前述した角度検出部１８と動き検出部との双方を有する構成とすれば、説明者により使用が意図されている機能を迅速に判断し、かつその機能がＰＣ２の入力装置としての機能である間には、装置本体のＸ，Ｙ方向の移動量を迅速に取得してＰＣ２へ送信することができる。その場合には、第１及び第２の実施の形態とは異なり、その時々において説明者に使用が意図されている機能の判断を、操作ボタンの操作の有無の判断（図２のステップＳＡ１）と同様、撮影画像の取得間隔（撮影間隔）よりも短い周期で行うようにすれば、ポインティング装置にマウス等の入力装置と同様の応答性を確保することができる。

ここで、以上説明においては、主として本発明の外部情報処理装置がＰＣ２である場合についてのみ説明したが、プロジェクタ３が、ポインティング装置１から送信される座標位置データ、移動量データ、操作ボタン識別データといった操作情報を受信可能な構成であれば、プロジェクタ３を本発明の外部情報処理装置として前述したＰＣ２側の処理、すなわちポインタの表示処理等を行わせるようにしても構わない。さらに、それをＰＣ２を含まない投影システムにおいて実現してもよい。

さらに、本発明のポインティング装置は、プロジェクタ２によってスクリーン拡大表示された投影画像に限らず、それ以外の表示画像の任意の位置を指示するものであっても構わない。例えばプラズマ・ディスプレイ（ＰＤＰ）や、液晶ディスプレイ（ＬＣＤ）の表示画面等における任意の位置を指示するものとしても使用することができる。

本発明の実施の形態を示す投影システムの構成図である。 第１の実施の形態におけるポインティング装置の動作を示すフローチャートである。 撮影画像と、撮影画像の中心に対応する、表示画像の座標空間における座標位置を示す説明図である。 前回と今回の撮影画像における被写体部分と、双方の被写体部分における、互いに対応する特徴点の画像内での位置の変化を例示した図である。 同実施の形態におけるＰＣの動作を示すフローチャートである。 第１の実施の形態におけるポインティング装置の構成を示すブロック図である。

符号の説明

１，５１ ポインティング装置
２ ＰＣ
３ プロジェクタ
１１ 撮影レンズ
１２ イメージセンサ
１３ 画像処理部
１４ 演算制御部
１５ 通信部
１６ メモリ
１７ 操作部
１８ 角度検出部
２１ 制御部
２３ 記憶装置
２７ 表示装置
２８ 通信部
１００ 撮影画像
１０１ 投影画像領域
２００ 表示画像
３００ 撮影画像
Ｏ 中心
Ｐ 座標位置
Ｓ スクリーン

Claims (12)

1. 表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置において、
   装置本体に設けられるとともに前記表示画面の撮影に使用される撮影手段と、
   装置の操作内容を示す操作情報を前記外部情報処理装置へ送信する送信手段と、
   前記指示位置情報を取得する指示位置取得手段と、
   装置本体における直前位置からの相対的な移動量を示す相対移動情報を取得する移動情報取得手段と、
   使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する判断手段と、
   前記判断手段によって、使用者により使用が意図されている機能が前記第１の機能であると判断されている間には、前記送信手段が前記外部情報処理装置へ送信する前記操作情報を前記指示位置取得手段により取得された指示位置情報に制御し、かつ前記判断手段によって、使用者により使用が意図されている機能が前記第２の機能であると判断されている間には、前記送信手段が前記外部情報処理装置へ送信する前記操作情報を前記移動情報取得手段により取得された相対移動情報に制御する情報制御手段と
   を備えたことを特徴とするポインティング装置。
2. 前記判断手段は、前記撮影手段により撮影された撮影画像の被写体内容を前記所定の本体操作情報とし、当該本体操作情報に基づいて使用者により使用が意図されている機能を判断することを特徴とする請求項１記載のポインティング装置。
3. 前記判断手段は、前記撮影手段により撮影された撮影画像に、前記表示画面に相当する表示画面領域が存在するか否かを確認し、表示画面領域が存在する場合には使用者により使用が意図されている機能が前記第１の機能であると判断し、かつ表示画面領域が存在しない場合には使用者により使用が意図されている機能が前記第２の機能であると判断することを特徴とする請求項２記載のポインティング装置。
4. 前記判断手段は、前記撮影手段により撮影された撮影画像に、前記表示画面に相当するとともに歪み度合が基準以上である所定の表示画面領域が存在するか否かを確認し、当該所定の表示画面領域が存在する場合には使用者により使用が意図されている機能が前記第１の機能であると判断し、かつ当該所定の表示画面領域が存在しない場合には使用者により使用が意図されている機能が前記第２の機能であると判断することを特徴とする請求項２記載のポインティング装置。
5. 前記撮影手段における撮影方向に沿った軸線の所定方向の傾き角度を検出する角度検出手段を備え、
   前記判断手段は、前記角度検出手段により検出された傾き角度を前記所定の本体操作情報とし、当該本体操作情報に基づいて使用者により使用が意図されている機能を判断する
   ことを特徴とする請求項１記載のポインティング装置。
6. 前記移動情報取得手段は、前記撮影手段により相前後して撮影された撮影画像から特徴点を抽出する特徴点抽出手段を含み、この特徴点抽出手段により抽出された特徴点の相前後する一方の撮影画像と他方の撮影画像との間における位置の変化に基づいて前記相対移動情報を取得することを特徴とする請求項１乃至５いずれか記載のポインティング装置。
7. 装置本体の動きを直接を検出する動き検出手段を備え、
   前記移動情報取得手段は、前記動き検出手段により検出された装置本体の動きに基づいて前記相対移動情報を取得する
   ことを特徴とする請求項１乃至５いずれか記載のポインティング装置。
8. 前記指示位置取得手段は、前記撮影手段により撮影された撮影画像における所定の基準点の座標位置を、撮影画像における前記表示画面に相当する表示画面領域を正規形に変形したとき対応する表示画面での座標位置に変換し、変換後の座標位置を前記指示位置情報として取得することを特徴とする請求項１乃至７いずれか記載のポインティング装置。
9. 表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置において、
   表示画面を撮影する工程と、
   使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する工程と、
   使用者により使用が意図されている機能が前記第１の機能であると判断している間に、装置の操作内容を示す操作情報として前記指示位置情報を前記外部情報処理装置へ送信する工程と、
   使用者により使用が意図されている機能が前記第２の機能であると判断している間に、装置の操作内容を示す操作情報として装置本体における直前位置からの相対的な移動量を示す相対移動情報を前記外部情報処理装置へ送信する工程と
   を含むことを特徴とする情報送信方法。
10. 表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置が有するコンピュータに、
    表示画面を撮影する手順と、
    使用者による装置本体の操作状況を示す所定の本体操作情報に基づき、決められた判断規則に従って、使用者により使用が意図されている機能が前記表示画面における前記指示位置の表示を使用目的として設けられている第１の機能と前記外部情報処理装置の操作を使用目的として設けられている第２の機能とを含む複数の機能の何れであるかを判断する手順と、
    使用者により使用が意図されている機能が前記第１の機能であると判断している間に、装置の操作内容を示す操作情報として前記指示位置情報を前記外部情報処理装置へ送信する手順と、
    使用者により使用が意図されている機能が前記第２の機能であると判断している間に、装置の操作内容を示す操作情報として装置本体における直前位置からの相対的な移動量を示す相対移動情報を前記外部情報処理装置へ送信する手順と
    を実行させることを特徴とする情報送信プログラム。
11. 表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置に対応する外部情報処理装置であって、
    前記ポインティング装置から当該装置の操作内容を示す操作情報を受信する受信手段と、
    この受信手段により受信された操作情報の種類を確認する確認手段と、
    この確認手段によって確認された操作情報の種類が前記指示位置情報であった場合には動作モードを第１の動作モードに設定し、かつ前記確認手段によって確認された操作情報の種類が前記ポインティング装置の装置本体における直前位置からの相対的な移動量を示す相対移動情報であった場合には動作モードを第２の動作モードに設定する動作モード設定手段と、
    この動作モード設定手段により動作モードが第１の動作モードに設定されている間、前記指示位置情報により示される前記表示画面の特定位置に所定の指示位置マークを表示させる位置マーク表示制御手段と、
    前記動作モード設定手段により動作モードが第２の動作モードに設定されている間、前記相対移動情報を入力情報とした所定の処理を実行する制御手段と
    を備えたことを特徴とする外部情報処理装置。
12. 表示画面における使用者により指し示された位置を特定し、特定した位置を示す指示位置情報を外部情報処理装置へ送信する機能を有するポインティング装置に対応する外部情報処理装置が有するコンピュータに、
    前記ポインティング装置から当該装置の操作内容を示す操作情報を受信する手順と、
    受信した操作情報の種類を確認する手順と、
    確認した操作情報の種類が前記指示位置情報であった場合には動作モードを第１の動作モードに設定し、かつ確認した操作情報の種類が前記ポインティング装置の装置本体における直前位置からの相対的な移動量を示す相対移動情報であった場合には動作モードを第２の動作モードに設定する手順と、
    動作モードを第１の動作モードに設定している間、前記指示位置情報により示される前記表示画面の特定位置に所定の指示位置マークを表示させる手順と、
    動作モードを第２の動作モードに設定している間、前記相対移動情報を入力情報とした所定の処理を実行する手順と
    を実行させることを特徴とするプログラム。

Images