JP6136264B2 - 画像投影システム、投影表示装置およびプログラム - Google Patents

Description

本発明は、画像投影システム、投影表示装置およびプログラムに関する。

例えば、会社の会議室や学校の教室などにおいて、プロジェクタによって画像をスクリーンに投影し、その画像をポインティングデバイスなどで指し示しながら会議、或いは授業が行われるケースがある。この場合、スクリーンに投影された特定の画像、記号やアイコン（以下の説明では、「アイコン画像」と呼ぶ場合がある）を指し示すことで、それがトリガとなり、次の画面に移行させたり、派生するサブ画面に移行させたり、より詳細な画像を重ね合わせたりして、会議や授業の内容をより効率的に実施できるようなユーザインターフェースも考え出されている。このための技術的な取り組みとして、スクリーン上のどこをポインティングデバイスで指し示したかを検知する技術が数多く発明されている。さらに、この検知したポインティングデバイスが指し示した位置と、実際にスクリーンに投影されているアイコン画像とを関係付け、ポインティングデバイスが指し示す位置に配置されたアイコン画像に対応する機能を実行する制御を行うプロジェクタも考え出されている。

例えば、特許文献１には、スクリーンに投影されたカラー投影画像のうち、ポインティングデバイスから照射される指示光の照射位置を検出する指示位置検出装置が開示されている。特許文献１に開示された指示位置検出装置は、指示光と同色の色成分を含まない投影画像の投影期間にスクリーンを撮像する撮像手段と、この撮像手段により撮像された画像から、指示光の照射位置を検出する位置検出手段とを備えることを特徴としている。

しかしながら、特許文献１に開示された技術においては、スクリーン上のポインティングデバイスで指し示した位置を検出するために撮像手段を必要とするため、プロジェクタシステムとして比較的高価な撮像手段を搭載しなくてはならないこと、その撮像手段とのインターフェース回路を搭載しなくてはならないことなどから、非常に複雑な構成で、かつ、コスト高なシステムになってしまうという問題がある。又、ポインティングデバイスが指し示した位置を検知するために撮像手段で読み取った画像に対して位置検知のための画像処理を施さなくてはならず、画像処理のための高度な画像処理手段が必要であった。例えば、撮像手段が少し傾いていたり、スクリーンに投影されている画像に歪があったり、撮像手段自体の歪がある場合、その補正処理がかなり難しくなることから、特許文献１に開示された技術では、ポインティング位置検知アルゴリズムが非常に複雑になってしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、簡易かつ安価な構成で、ポインティングデバイスで指し示されたスクリーン上の位置を検知可能な画像投影システム、投影表示装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力される画像データを示す入力画像データをスクリーンに投影する投影手段と、前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段と、を備えた画像投影システムであって、前記指示手段は、前記投影画像の少なくとも１画素分の輝度を検出可能な輝度検出部と、前記輝度検出部で検出される前記輝度の変化量が閾値よりも大きいか否かを判断する判断部と、前記判断部によって前記変化量が前記閾値よりも大きいと判断された場合は、その旨を示す通知信号を前記投影手段へ送信する送信部と、を備え、前記投影手段は、前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更部と、前記通知信号を受信する受信部と、前記受信部で前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定部と、を備える画像投影システムである。

また、本発明は、入力される画像データを示す入力画像データをスクリーンに投影する投影表示装置であって、前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更部と、前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段から、前記投影画像の少なくとも１画素分の輝度の変化量が閾値よりも大きいことを示す通知信号を受信する受信部と、前記受信部で前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定部と、を備える投影表示装置である。

さらに、本発明は、入力される画像データを示す入力画像データをスクリーンに投影する投影表示装置に、前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更ステップと、前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段から、前記投影画像の少なくとも１画素分の輝度の変化量が閾値よりも大きいことを示す通知信号を受信する受信ステップと、前記受信ステップで前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定ステップと、を実行させるためのプログラムである。

本発明によれば、簡易かつ安価な構成で、ポインティングデバイスで指し示されたスクリーン上の位置を検知することができる。

図１は、画像投影システムの概略構成例を示すブロック図である。 図２は、入力画像データと、入力画像データに関連付けられる１以上の属性情報の例を示す図である。 図３は、ガンマ変換処理に用いられるガンマカーブの例を示す図である。 図４は、輝度が低減された画素がラスター走査方向へ順次に移動していく様子を模式的に示す図である。 図５は、ポインティングデバイス全体の外観を示す図である。 図６は、ポインティングデバイスの内部構成例を示す図である。 図７は、ポインティングデバイスの先端の光電変換部に特殊光が入光したときの様子を模式的に示す図である。 図８は、ポインティングデバイスにより検出される輝度の経時的変化の一例を示す図である。 図９は、ポインティングデバイスの送信部からプロジェクタ装置の受信部に送信するデータフォーマットの一例を示す図である。 図１０は、データビットの内容を例示した図である。 図１１は、データを送付する手順の一例を示す図である。 図１２は、ポインティングデバイスの動作例を示すフロー図である。 図１３は、プロジェクタ装置の動作例を示すフロー図である。 図１４は、ＰＣの動作例を示すフロー図である。

以下、添付図面を参照しながら、本発明に係る画像投影システム、投影表示装置およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の画像投影システム１００の概略構成例を示すブロック図である。図１に示すように、本実施形態の画像投影システム１００は、ＰＣ（Personal Computer）１０３と、プロジェクタ装置１２８と、ポインティングデバイス１０２とを含む。ＰＣ１０３は、各種の情報処理を行う情報処理装置であり、この例では、請求項の「情報処理手段」に対応する。プロジェクタ装置１２８は、ＰＣ１０３から入力される画像データを示す入力画像データをスクリーン１０１に投影する装置であり、この例では、請求項の「投影手段（投影表示装置）」に対応する。ポインティングデバイス１０２は、スクリーン１０１に投影された入力画像データを示す投影画像を指し示すための装置であり、この例では、請求項の「指示手段」に対応する。

ＰＣ１０３は、画像データが添付できる複数頁で構成されたファイルを格納することができ、必要に応じて、データＩ／Ｆ部１０５より外部の表示装置、或いはプロジェクタ装置１２８にファイルの画像データを映像として出力することができる。図１に示すように、ＰＣ１０３は、ファイル蓄積部１０４と、ＰＣ制御部１０６と、データＩ／Ｆ部１０５とを含む。ファイル蓄積部１０４は、ＰＣ１０３に搭載、或いは外部接続しているプロジェクタ装置１２８などに投影するファイルを蓄積することができる記憶装置である。このファイル蓄積部１０４は、本ＰＣ１０３内のＰＣ制御部１０６の指示によって、出力すべきファイル、出力すべきページを選択し、データＩ／Ｆ部１０５を介して表示系装置に出力することができる。ここでは、データＩ／Ｆ部１０５を介してプロジェクタ装置１２８に入力される画像データ（投影対象の画像データ）を、入力画像データと呼ぶ。

また、ファイル蓄積部１０４は、入力画像データの画像データファイルを格納すると共に、入力画像データごとに、当該入力画像データ内に埋め込まれている制御アイコンの属性情報（例えば入力画像データ内のアイコン画像の位置、アイコン画像のサイズ、アイコン画像に割り当てられた機能等の情報）を関連付けて格納することができる。図２は、ある入力画像データと、その入力画像データに関連付けられる１以上（図２の例では２つ）の属性情報の例を示す図である。図２の例では、ファイル蓄積部１０４は、入力画像データに含まれるアイコン画像ごとに、アイコン画像を識別する識別情報と、アイコン画像の位置を示す第２位置情報と、アイコン画像のサイズを示すサイズ情報と、アイコン画像に割り当てられた機能を示す機能情報とが対応付けられた属性情報を記憶する。見方を変えれば、ファイル蓄積部１０４は、入力画像データに含まれるアイコン画像を識別する識別情報と、アイコン画像の位置を示す第２位置情報と、アイコン画像に割り当てられた機能を示す機能情報とが対応付けられた属性情報を少なくとも１つ記憶していると捉えることができる。この例では、ファイル蓄積部１０４は、請求項の「第３記憶部」に対応する。

図２の例では、ある入力画像データ上に、アイコン画像１、アイコン画像２が表示される形態が示されている。この２つのアイコン画像ごとに、例えば図２の下に示される属性情報がそれぞれ付加されている。図２に示すように、アイコン画像１の属性情報として、アイコン画像１を識別する識別情報「１」、アイコン画像１の位置（アドレス）がＹ方向（垂直方向）の７００画素目、Ｘ方向（水平方向）の１０画素目であることを示す第２位置情報、アイコン画像１のサイズが５０×１００画素であることを示すサイズ情報、アイコン画像１の機能がアイコン機能ＩＤ「０１」で識別される機能内容「前ページを表示」であることを示す機能情報が設定されている。同様に、アイコン画像２の属性情報として、アイコン画像２を識別する識別情報「２」、アイコン画像２の位置（アドレス）がＹ方向（垂直方向）の７００画素目、Ｘ方向（水平方向）の９００画素目であることを示す第２位置情報、アイコン画像２のサイズが５０×１００画素であることを示すサイズ情報、アイコン画像２の機能がアイコン機能ＩＤ「０２」で識別される機能内容「後ページを表示」であることを示す機能情報が設定されている。アイコン画像に割り当てられる機能としては、以上のような改ページだけでなく、例えばユーザのポインティングデバイス１０２の指示でマスクしていた画像の一部を現在のページに表示する、或いは注目画像の色を変更する等、色々な機能を採用することが可能である。

図２に例示された、各アイコン画像の属性情報から、入力画像データのどの位置にどのような大きさのどのような機能を持ったアイコン画像が表示されるのか知ることができる。本実施形態では、ユーザがスクリーン１０１上のアイコン画像をポインティングデバイス１０２で指し示してポインティングデバイス１０２に設けられたボタン（後述）を押下することにより、ポインティングデバイス１０２が指し示している位置（アドレス）が検知され、その位置を示す第１位置情報がＰＣ制御部１０６に通知される。ＰＣ制御部１０６は、通知された第１位置情報と、ファイル蓄積部１０４に記憶された属性情報とに基づいて、第１位置情報が示す位置に配置されるアイコン画像が存在するか否かを判断する。そして、ＰＣ制御部１０６は、第１位置情報が示す位置に配置されるアイコン画像が存在すると判断した場合、当該アイコン画像に対応する機能情報が示す機能を実行する制御を行う。つまり、本実施形態では、ＰＣ制御部１０６は、通知された第１位置情報と、ファイル蓄積部１０４に記憶された属性情報とに基づいて、第１位置情報が示す位置に配置されるアイコン画像が存在するか否かを判断する判断部と、判断部によって、第１位置情報が示す位置に配置されるアイコン画像が存在すると判断された場合、当該アイコン画像に対応する機能情報が示す機能を実行する制御を行う実行制御部と、を備えていると捉えることもできる。以上のＰＣ１０３の具体的な動作内容については後述する。

なお、本実施形態のＰＣ１０３には、ＣＰＵなどの処理装置と、ＲＡＭ、ＲＯＭなどの記憶装置とを含む通常のコンピュータ装置が搭載されており、ＰＣ１０３の各部（ＰＣ制御部１０６等）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上に展開して実行することにより実現されるが、これに限られるものではない。例えばＰＣ１０３の各部（例えばＰＣ制御部１０６など）の機能のうちの少なくとも一部が専用のハードウェア回路によって実現される形態であってもよい。

なお、上述のＰＣ１０３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、上述のＰＣ１０３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のＰＣ１０３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

図１に戻って説明を続ける。プロジェクタ装置１２８は、データＩ／Ｆ部１０８と、画像検知部１０９と、第１画像変換部１１０と、第１メモリ制御部１１１と、同期信号生成部１１２と、フレームメモリ１１３と、第２画像変換部１１４と、光学Ｉ／Ｆ部１１５と、光学メカ１１６と、輝度変更部１３０と、受信部１２７と、アドレス取得部１２４と、通知部１２５とを含む。

データＩ／Ｆ部１０８は、ＰＣ１０３のデータＩ／Ｆ部１０５からの入力画像データを受信する。データＩ／Ｆ部１０８は、さらにデータＩ／Ｆ部１０５を介して、各種の制御データをＰＣ１０３に送信することも可能である。

画像検知部１０９は、外部の映像出力装置(この場合はＰＣ１０３)から受信した映像信号がどのような画像仕様（画像周波数、解像度、有効画像位置等）なのかを信号検知する手段である。第１画像変換部１１０は、画像検知部１０９の検知結果に基づいて、入力画像をＡＤ変換によりアナログビデオ信号からデジタル信号に変換し、装置内部で扱いやすい画像信号に変換する。フレームメモリ１１３は、入力されデジタル化されたデジタル画像データ（入力画像データ）を最低１フレーム分格納することができるメモリである。入力画像データをフレームメモリ１１３に一次的に格納し、この入力画像データをフレームリフレッシュタイミングで読み出すことによって投影用の画像データを生成することができる。

第１メモリ制御部１１１は、フレームメモリ１１３に対して、デジタル画像のリード／ライト制御を行うための手段である。入力画像データは第１メモリ制御部１１１を介してフレームメモリ１１３にライトされ、ライトされた入力画像データは第１メモリ制御部１１１によってリードされて後段処理に送られ投影用の画像データとなる。又、画像データの切り替わりには、前の入力画像データをリードしながら、新しい入力画像データをライトするようなリードライト処理も可能である。

同期信号生成部１１２は、第１メモリ制御部１１１がフレームメモリ１１３をアクセスする場合に必要とする同期信号を生成する手段である。この同期信号を後段の光学メカ１１６のタイミングに合わせることで正常な投影用の画像データを出力することができる。

第２画像変換部１１４は、フレームメモリ１１３から読み出した画像データを外部に投影するための光学メカ（スクリーン１０１に対する画像データの投影を行う投影部）１１６の仕様に合わせてデータ変換（解像度変換、位置調整等）を行う手段である。光学Ｉ／Ｆ部１１５は、これまで生成された２次元画像信号を光学メカ１１６の入力仕様に従って光学メカ１１６へ受け渡しを行う処理を行う。光学メカ１１６が異なるプロジェクタ装置の種類としては、例えば、ＣＲＴに表示された画像を、光学系を使って拡大して投影するＣＲＴプロジェクタ装置、液晶パネルに光を透過させて投射する液晶プロジェクタ装置、ＤＭＤ（デジタル・マイクロミラー・デバイス）を用いたＤＬＰプロジェクタ装置、反射型液晶素子を使用したＬＣＯＳプロジェクタ装置などが挙げられる。

輝度変更部１３０は、入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に変更する。より具体的には、輝度変更部１３０は、ラスター走査方向に沿った順番で、各単位領域の輝度を変更する。ここでは、フレームメモリ１１３に格納された入力画像データを構成する複数の画素のそれぞれが、ひとつの単位領域に相当するが、これに限られるものではない。本実施形態では、輝度変更部１３０は、フレームメモリ１１３に格納された入力画像データに含まれる複数の画素の各々の画像データを、ラスター走査方向に沿った順番で読み出し、読み出した画素の画像データ（以下の説明では、「画素データ」と呼ぶ場合がある）の輝度を変更する。以下、詳細な内容について説明する。本実施形態の輝度変更部１３０は、第２メモリ制御部１１７と、レジスタ１１８と、生成部１１９と、ＹＰｂＰｒ変換部１２０と、輝度補正部１２１と、輝度合成部１２２と、ＲＧＢ変換部１２３とを含む。

生成部１１９は、フレームメモリ１１３に格納された入力画像データを構成する複数の画素のうち、輝度変更の対象となる画素の位置を示すアドレス情報を生成する。後述するように、生成部１１９は、受信部１２７からのトリガ信号を契機として、アドレス情報の生成を開始し、フレームメモリ１１３に格納された入力画像データを構成する複数の画素の各々について、ラスター走査方向に沿った順番で、当該画素の位置を示すアドレス情報を生成していく。なお、この例では、アドレス情報は、Ｘ方向（水平方向）のアドレスと、Ｙ方向（垂直方向）のアドレスとを含んで構成される。

第２メモリ制御部１１７は、フレームメモリ１１３に格納された入力画像データのうち、生成部１１９により生成されたアドレス情報が示す位置の画素データを読み出す。この時、同じフレームメモリ１１３をアクセスする第１メモリ制御部１１１とはアクセスがぶつからないように調停制御する必要があるが、フレームメモリ１１３にデュアルポートメモリを使用するか、或いは調停回路を付加し外部からはデュアルポートメモリ同等のアクセスが可能とできるような構成にしておくこともできる。この例では、第２メモリ制御部１１７は、請求項の「読み出し制御部」に対応する。

第２メモリ制御部１１７によって読み出された画素の画像データは、当該画素の元の画像データとして一次記憶手段のレジスタ１１８に格納される。この例では、レジスタ１１８は、請求項の「第２記憶部」に対応する。また、その読み出された画素の画像データは、輝度成分の補正（変更）が行われる。ここでは、一例として、フレームメモリ１１３に格納されている入力画像データが、ＲＧＢの各色版の画像データで構成されるＲＧＢデータである場合を想定するが、これに限られるものではない。第２メモリ制御部１１７は、生成部１１９により生成されたアドレス情報(例えばアドレス（Ｙ、Ｘ）＝(ａ、ｂ))が示す位置の画素のＲＧＢデータを読み出し、読み出したＲＧＢデータを、ＹＰｂＰｒ変換部１２０へ供給する。

ＹＰｂＰｒ変換部１２０は、第２メモリ制御部１１７から供給されたＲＧＢデータを、ＹＰｂＰｒの色空間で表されるＹＰｂＰｒデータに変換する。このとき、ＹＰｂＰｒデータのＹ成分が輝度値を表している。このときのＲＧＢ→ＹＰｂＰｒの変換の演算式は、以下の式１で表すことができる。

ＹＰｂＰｒ変換部１２０は、式１で表される演算を行って、ＲＧＢデータからＹＰｂＰｒデータを生成する。次に、ＹＰｂＰｒ変換部１２０は、ＹＰｂＰｒデータの輝度値であるＹ成分だけを輝度補正部１２１へ供給する。また、ＹＰｂＰｒ変換部１２０は、生成したＹＰｂＰｒデータのうちＹ以外の成分ＰｂＰｒを、輝度合成部１２２へ供給する。輝度補正部１２１は、ＹＰｂＰｒ変換部１２０から供給されるＹ成分の補正（輝度補正）を行う。補正方法としては、例えば図３に示すようなガンマ変換処理が考えられる。図３の例では、入力画素データの輝度（Ｙ）が１５０であった場合、その８０％を変換後の輝度値とするような変換を行い、出力輝度「１２０」が変換後の輝度として出力される。図３の変換ガンマ７０１は、「出力輝度(Ｙ’)＝入力輝度(Ｙ)×１００％」、変換ガンマ７０２は、「出力輝度(Ｙ’)＝入力輝度(Ｙ)×８０％」となる変換を意味している。但し、元々輝度値が低い画像データは輝度補正により８０％輝度に変換しても差異が少ないため、ポインティングデバイス１０２で指示できるアイコン画像は低輝度の色を使用しないようにしておくとよい。輝度補正部１２１は輝度補正後の輝度成分Ｙ’を、輝度合成部１２２へ供給する。

輝度合成部１２２は、ＹＰｂＰｒ変換部１２０から供給された、元のＹＰｂＰｒデータのうちのＹ以外の成分ＰｂＰｒと、輝度補正部１２１から供給された輝度補正後の輝度成分Ｙ’とを合成してＹ’ＰｂＰｒデータを生成する。輝度合成部１２２は、生成したＹ’ＰｂＰｒデータをＲＧＢ変換部１２３へ供給する。ＲＧＢ変換部１２３は、輝度合成部１２２から供給されたＹ’ＰｂＰｒデータを、ＲＧＢデータに変換する。このときのＹＰｂＰｒ→ＲＧＢの変換の演算式は、以下の式２で表すことができる。

ＲＧＢ変換部１２３は、式２で表される演算を行って、ＹＰｂＰｒデータからＲＧＢデータを生成する。ＲＧＢ変換部１２３は、生成したＲＧＢデータを第２メモリ制御部１１７へ供給する。第２メモリ制御部１１７は、フレームメモリ１１３に格納された入力画像データのうち、生成部１１９により生成されたアドレス情報が示す位置の画素に対して、ＲＧＢ変換部１２３から供給されるＲＧＢデータを書き戻す制御を行う（ライトバック制御を行う）。これにより、フレームメモリ１１３に格納された入力画像データのうち、生成部１１９により生成されたアドレス情報（例えばアドレス（Ｙ、Ｘ）＝(ａ、ｂ)）が示す位置の画素の画像データの輝度が変更される（この例では８０％に低減される）。また、第２メモリ制御部１１７は、上述の輝度変更の直前に輝度変更が行われた画素（ラスター走査の順番が１つ前の画素）の元の画像データをレジスタ１１８から読み出し、フレームメモリ１１３に格納された入力画像データのうち、生成部１１９により生成されたアドレス情報が示す位置の画素（今回の輝度変更の対象となる画素）よりもラスター走査順が１つだけ前の画素（例えばアドレス（Ｙ、Ｘ）＝(ａ、ｂ−１)に対応する位置の画素）に対して、読み出した元の画像データを書き戻す制御を行う（ライトバック制御を行う）。

本実施形態では、フレームメモリ１１３に格納された入力画像データの左上から右下へ向かって（ラスター走査方向に従って）、順次同様の処理を施していくことにより、スクリーン１０１上に投影された入力画像データを示す投影画像において、輝度が８０％低減された画素がラスター走査方向へ順次に移動していくように見えることになる。この様子を図４に例示する。図４の８０１は、輝度が変更（補正）された画素（特殊光）が、一番上のラスター走査線から順番に、各ラスター走査線上を左上から右下へ向かって走り、左上から右下に向かって順次移動していく様子を示している。生成部１１９は、画像検知部１０９の検知情報からフレームサイズを検知し、フレームサイズ分のアドレスを、図４の８０１に示す順序（ラスター走査の順番）で生成していく。

この例では、上述のＹＰｂＰｒ変換部１２０、輝度補正部１２１、輝度合成部１２２、ＲＧＢ変換部１２３は、請求項の「変更部」に対応し、上述の第２メモリ制御部１１７は、請求項の「書き戻し制御部」に対応すると捉えることもできる。

再び図１に戻って説明を続ける。受信部１２７は、ポインティングデバイス１０２から送信された情報を受信し、その情報により、生成部１１９にアドレス生成開始のトリガ信号を与えたり、ポインティングデバイス１０２が指し示したアドレスを検知するタイミングを与えたりしている。この例では、受信部１２７は、赤外線通信を用いてポインティングデバイス１０２と通信するが、これに限られるものではない。生成部１１９は、受信部１２７からのトリガ信号でアドレス情報の生成を開始する。前記のようにアドレス情報は、図４の８０１で示すように、ラスター走査線上の左上から右下に向かって順次走査方向に生成される。

また、後述するように、受信部１２７は、ポインティングデバイス１０２から、投影画像の少なくとも１画素分の輝度の変化量が閾値よりも大きいことを示す通知信号を受信する。受信部１２７は、ポインティングデバイス１０２から通知信号を受信した場合、ポインティングデバイス１０２が指し示しているアドレスを検知するタイミングを与えるための検知信号をアクティブレベル（例えばハイレベル）に設定してアドレス取得部１２４に供給する。

図１のアドレス取得部１２４は、受信部１２７で通知信号を受信したときに輝度変更の対象となっている単位領域（この例では画素単位）の位置を、ポインティングデバイス１０２によって指し示されている位置として特定する。この例では、アドレス取得部１２４は、請求項の「特定部」に対応する。より具体的には、アドレス取得部１２４は、生成部１１９により生成されるアドレス情報を順次参照しており、受信部１２７からの検知信号がアクティブとなるタイミングに合わせて、現在参照しているアドレス情報をラッチする。つまり、スクリーン１０１上の特殊光が照射されている位置を示すアドレス情報をラッチする。このラッチされたアドレス情報が、ポインティングデバイス１０２によって指し示されている位置を示す第１位置情報となる。

図１の通知部１２５は、アドレス取得部１２４によってラッチされたアドレス情報（第１位置情報）を、ＰＣ１０３（ＰＣ制御部１０６）へ通知する。ＰＣ制御部１０６は、プロジェクタ装置１２８から通知されたアドレス情報（第１位置情報）から、現在の投影対象である（スクリーン１０１上に投影表示されている）入力画像データのどの位置がポインティングデバイス１０２によって指し示されているかを認識し、ファイル蓄積部１０４に記憶された属性情報を参照して、その入力画像データに含まれるアイコン画像のうち、ポインティングデバイス１０２によって指し示されている位置に配置されたアイコン画像が存在するか否かを判断する。そして、ＰＣ制御部１０６は、ポインティングデバイス１０２によって指し示されている位置に配置されたアイコン画像が存在すると判断した場合、当該アイコン画像に対応する機能情報が示す機能を実行する制御を行う。例えば改ページを行うとか、サブコンテンツを表示するとかといった処理を行う。

なお、本実施形態のプロジェクタ装置１２８には、ＣＰＵなどの処理装置と、ＲＡＭ、ＲＯＭなどの記憶装置とを含む通常のコンピュータ装置が搭載されており、上述したプロジェクタ装置１２８の各部（画像検知部１０９、第１画像変換部１１０、第１メモリ制御部１１１、同期信号生成部１１２、第２画像変換部１１４、アドレス取得部１２４、通知部１２５、受信部１２７、輝度変更部１３０等）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上に展開して実行することにより実現されるが、これに限られるものではない。例えば上述したプロジェクタ装置１２８の各部の機能のうちの少なくとも一部が専用のハードウェア回路によって実現される形態であってもよい。

なお、上述のプロジェクタ装置１２８で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、上述のプロジェクタ装置１２８で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のプロジェクタ装置１２８で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

次に、ポインティングデバイス１０２の具体的な構成について説明する。図５は、本実施形態のポインティングデバイス１０２全体の外観を示す図である。図５に示すように、ポインティングデバイス１０２は、本体部２０１と、ユーザが把持するためのグリップ部２０２と、本体部２０１の先端に設けられた光電変換部２０３と、ユーザが押下することが可能なボタン２０４と、プロジェクタ装置１２８との間で通信を行うことが可能な送信部２０５とを備える。

本体部２０１は、スクリーン１０１上に投影された入力画像データを示す投影画像を指し示すために、ある程度の長さを持った棒状の部材である。光電変換部２０３は、投影画像の少なくとも１画素分の輝度値を読み取ることができるＣＣＤ等の光電変換素子を備える。

ユーザは、ボタン２０４を押下することにより、投影画像をポインティングデバイス１０２で指し示したことを、プロジェクタ装置１２８に通知することができる。送信部２０５は、光電変換部２０３により読み取られた投影画像の輝度値を用いた演算処理結果に基づいて決定された予め定められた情報をプロジェクタ装置１２８へ送信することが可能である。具体的な内容については後述する。

次に、ポインティングデバイスの内部構成例について図６を用いて説明する。図６は、ポインティングデバイス１０２の内部構成例を示すブロック図である。ポインティングデバイス１０２で投影画像を指し示したときに、プロジェクタ装置１２８から出射された投影光（図６の３０１）がポインティングデバイス１０２の先端の光電変換部（図５の２０３）に入光する。図５の光電変換部２０３は、具体的には、図６の集光レンズ３０２、ミラー３０３、分光プリズム３０４の機械的構成と、ＣＣＤ３０５、ＡＧＣ３０６、ＡＤＣ３０７までを指す。図６に示すように、ポインティングデバイス１０２は、図５の光電変換部２０３に対応する要素に加えて、ＲＧＢ→ＹＰｂＰｒ変換部３０８と、移動平均部３０９と、判断部３１０と、送信部３１１と、ボタン制御部３１２とを備える。

集光レンズ３０２は、内部のＣＣＤ（後述）に光を集光するためのレンズである。この集光レンズ３０２は、ポインティングデバイス１０２の外部と内部を遮断し防塵の役目も行っている。集光レンズ３０２を透過して入ってきた光は、ミラー３０３によって後段の処理モジュールへと導かれる。このミラー３０３は、ユーザがポインティングデバイス１０２を使用して投影画像を指し示す場合、ポインティングデバイス１０２自体がプロジェクタ装置１２８からの投影光に対してほぼ直角に位置することになるので、入ってくる投影光を直角に反射させ、ポインティングデバイス１０２本体側に光を誘導するためのものである。

分光プリズム３０４は、外から入ってくる投影光をＲＧＢの３原色に分離するためのガラス、水晶等でできた多面体である。ＣＣＤ（Charge Coupled Device）３０５は、イメージセンサである。分光プリズム３０４でＲＧＢに分離された光は、それぞれＲ（レッド）用ＣＣＤ、Ｇ（グリーン）用ＣＣＤ、Ｂ（ブルー）用ＣＣＤに導かれ、これらのＣＣＤにより、投影光に含まれるＲ成分、Ｇ成分、Ｂ成分の各々の光の強さが光電変換によって電気信号に変換される。ＡＧＣ（Automatic Gain Control）３０６は、入力信号が弱い場合には感度を上げ、逆に入力信号が強い場合には感度を下げて出力することによって出力が常に一定であるように入力信号を可変制御することができる補正回路である。このＡＧＣ３０７により弱い光も強い光もある一定の範囲内の光の強さに収められるので、後段の処理はこの一定の範囲内に適応した回路で実現できる。

ＡＤＣ（Analog Digital Converter）３０７は、アナログ信号をデジタル信号に変換する回路である。ここまでの流れで、ポインティングデバイス１０２の先端に入光した投影光は、ＣＣＤ３０５、ＡＧＣ３０６、ＡＤＣ３０７を介して、Ｒ、Ｇ、Ｂのデジタル信号に変換されることになる。デジタル画像はポインティングデバイス１０２内部のクロック発振器によって生成されるクロック単位にラッチされる。

ＲＧＢ→ＹＰｂＰｒ変換部３０８は、デジタルのＲＧＢ信号の色空間を、輝度信号Ｙと、２つの色差信号（Ｐｂ、Ｐｒ）を使って表現されるＹＰｂＰｒ信号に変換する手段である。このときのＲＧＢ→ＹＰｂＰｒの変換の演算式は、上記式１で表すことができる。

移動平均部３０９は、ＲＧＢ→ＹＰｂＰｒ変換部３０８から出力されたＹ信号（輝度信号）を時系列に移動平均する手段である。ポインティングデバイス１０２によって指し示された投影画像は、基本的に静止画であれば同じ入力画像データが投影されるが、ランプの揺らぎ等のメカ的な要因から少しばらついていることがある。移動平均部３０９は、自然にばらついた場合と意図的にばらつかせた場合の差分を明確にするためになるべく自然なばらつきが発生しないように補正する必要がある。補正方法としては図には示さないが具体的にはＲＧＢ→ＹＰｂＰｒ変換部３０８から出力されたＹ信号（輝度信号）を内部クロックで例えば３クロック分ラッチし、その３クロック分のＹ信号（輝度信号）の平均を取り、それを現在の値とする。さらに、次のクロックでこのクロックを含む過去３クロックの平均を取り、現在の値にするといった処理を、連続して繰り返し実施し、自然的に発生する輝度値の揺らぎを補正する。移動平均部３０９は、以上のようにして平均化したＹ信号を、判断部３１０に供給する。

ここでは、移動平均部３０９から出力されたＹ信号は、投影画像を指し示すためのポインティングデバイス１０２の先端に入光した投影光の輝度を示すものであり、投影画像の少なくとも１画素分の輝度を示すものであると捉えることもできる。本実施形態では、図５の光電変換部２０３に対応する要素（集光レンズ３０２、ミラー３０３、分光プリズム３０４、ＣＣＤ３０５、ＡＧＣ３０６，ＡＤＣ３０７）と、ＲＧＢ→ＹＰｂＰｒ変換部３０８と、移動平均部３０９とが、投影画像の少なくとも１画素分の輝度を検出可能な輝度検出部として機能する。

判断部３１０は、上述の輝度検出部で検出された輝度の変化量が閾値よりも大きいか否かを判断する。本実施形態では、判断部３１０は、移動平均部３０９で平均化されたＹ信号（輝度信号）を内部で生成したクロックで順次ラッチし、現在ラッチしたＹ信号（Ｙ_ｎ）と現在から１クロック前にラッチしたＹ信号（Ｙ_ｎ−１）とを比較して差分を求め、求めた差分が閾値よりも大きいかどうかを判断することで、Ｙ信号の変化量が閾値よりも大きいか否かを判断する。より具体的には、判断部３１０は、｜（Ｙ_ｎ）−（Ｙ_ｎ−１）|の値が、予め定められた基準差分値より大きければ、Ｙ信号の変化量が閾値よりも大きいと判断し、小さければＹ信号の変化量が閾値よりも小さいと判断する。その後、１クロック毎にＹ信号の変化量が閾値よりも大きいか否かの判断結果を、次段の送信部３１１に順次通知する。この時のクロックは移動平均部３０９で生成したクロックと同じでよい。

送信部３１１は、プロジェクタ装置１２８の受信部１２７との間で情報の送受信を行う手段であり、図５の送信部２０５に対応する。本実施形態では、送信部３１１は、判断部３１０にて輝度の変化量が閾値よりも大きいと判断された場合（つまり、前述の特殊光が検知された場合と捉えることもできる）は、その旨を示す通知信号をプロジェクタ装置１２８へ送信する機能を有する。なお、この例では、送信部３１１は、赤外線通信を用いてプロジェクタ装置１２８と通信するが、これに限られるものではない。ここでは、基本的にポインティングデバイス１０２が送信側、プロジェクタ装置１２８側が受信側で、高速化するために極力不要な信号のやり取りは行わずにポインティングデバイス１０２側からの垂れ流し送信で実施することが可能である。ポインティングデバイス１０２側からの送信データとしては、（１）ユーザがポインティングデバイス１０２でスクリーン１０１上に投影されたアイコン画像を指し示し、ユーザがプロジェクタ装置１２８に対して、指し示したアイコン画像に対応するアクションを求める時（ＰＣでいうとマウスでアイコンをクリックするのと同じ操作）に送信するデータ、（２）プロジェクタ装置１２８から以上に説明した特殊光をポインティングデバイス１０２が受け、ポインティングデバイス１０２内の判断部３１０にて輝度の変化量が閾値よりも大きいと判断された時に送信するデータの２つの場合がある。

２つの場合のうちの（１）の場合は、例えばユーザがスクリーン１０１上の「次ページを表示」という機能が割り当てられたアイコン画像（この例では、図４の８０３）をポインティングデバイス１０２で指し示し、次ページに改ページしたい時にポインティングデバイス１０２のボタン制御部３１２によって制御されるボタン２０４を押下することにより、本実施形態の画像投影システム１００が改ページを実行するためのトリガとなる情報を、送信部３１１を介してプロジェクタ装置１２８に送信する場合である。（２）の場合は、以上に説明した特殊光がポインティングデバイス１０２の光電変換部２０３に入光した時にその入光情報（輝度の変化量が閾値よりも大きいことを示す通知信号）をプロジェクタ装置１２８に送信する場合である。

ボタン制御部３１２は、ユーザがボタン２０４を押下した時に、その押下情報を送信部３１１に通知する手段である。

なお、本実施形態のポインティングデバイス１０２には、ＣＰＵなどの処理装置と、ＲＡＭ、ＲＯＭなどの記憶装置とを含む通常のコンピュータ装置が搭載されており、上述したポインティングデバイス１０２の各部（ＲＧＢ→ＹＰｂＰｒ変換部３０８、移動平均部３０９、判断部３１０、送信部３１１、ボタン制御部３１２等）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上に展開して実行することにより実現されるが、これに限られるものではない。例えば上述したポインティングデバイス１０２の各部の機能のうちの少なくとも一部が専用のハードウェア回路によって実現される形態であってもよい。

なお、上述のポインティングデバイス１０２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、上述のポインティングデバイス１０２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のポインティングデバイス１０２で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

ここまでは、プロジェクタ装置１２８とポインティングデバイス１０２のそれぞれの構成を説明したが、次に両者を関連付けて全体の動作の説明を行う。まず、ユーザが、スクリーン１０１上に投影されたアイコン画像（ここでは「次ページを表示」という機能が割り当てられたアイコン画像（図４の８０３）であるとする）を、ポインティングデバイス１０２で指し示し、ポインティングデバイス１０２上のボタン２０４を押下すると、ポインティングデバイス１０２の送信部（図５の２０５、図６の３１１）から「ボタン押下」を示す押下情報がプロジェクタ装置１２８の受信部１２７に送信される。この押下情報をプロジェクタ装置１２８側の受信部１２７が受信すると、生成部１１９は、図４の８０２で示すようなラスター走査方向に順次インクリメントするようなＸ、Ｙアドレス（アドレス情報）を生成する（Ｘは水平方向のアドレス、Ｙは垂直方向のアドレス）。このように生成されるアドレス毎に同期して、フレームメモリ１１３に格納された入力画像データの各画素の画像データを、図１の１２０〜１２３で生成された輝度補正（輝度変更）が施された画素データに順次置き換えていく。結果として、スクリーン１０１上に投影された入力画像データを示す投影画像に、輝度変更が施された画素データ（特殊光）が投影される。この時、前述したように、生成部１１９で順次アドレス情報が更新され、直前の特殊光に置き換えられた画素はレジスタ１１８に格納されていた元の画素データに再度置き換えられ、初期の画素データに戻るため、特殊光がラスター走査方向に順次移動して見えるように投影される。

この例では、特殊光は１画素単位で生成することを前提に説明しているが、特殊光のサイズは任意に変更可能である。表示速度や光電変換部の感度等を考慮して、例えば特殊光のサイズを３×３画素、４×４画素、５×５画素といった領域で生成することも、領域単位でアドレス情報を生成し、領域単位で元の画像データをレジスタへ格納し、領域単位で輝度値を平均化して処理を行うことにより可能である。また、この例では、特殊光が、ラスター走査方向に順次移動して見えるように各画素の輝度の変更が行われているが、各画素の輝度変更の順番も任意に変更可能である。要するに、上述の輝度変更部１３０は、入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に変更する機能を有するものであればよい。

この特殊光が、ユーザが改ページアイコンを指し示しているポインティングデバイス１０２の先端の光電変換部（図７の９０１）に入光した時の様子を、図７の９０２で示す。この時、ポインティングデバイス１０２の判断部３１０は、図８に示すように通常は図８の１００１で示すような輝度レベルであったものが、ある時点において、図８の１００２で示すような下方に突出する（凸となる）パルスを検知する。これが、前記特殊光がポインティングデバイス１０２の先端の光電変換部の上を通過した瞬間である。この下方に凸となるパルスの輝度レベル（図８の１００２）と通常の輝度レベル（図８の１００１）との差分が閾値よりも大きいことを検知した判断部３１０は、送信部３１１に対して、プロジェクタ装置１２８の受信部１２７に「特殊光検知」を示す通知信号（輝度の変化量が閾値よりも大きいことを示す通知信号と捉えることもできる）を送信するよう通知する。この通知を受けた送信部３１１は、受信部１２７に対して「特殊光検知」を示す通知信号を送信する。

送信部３１１からの通知信号を受信した受信部１２７は、アクティブレベル（ハイレベル）に設定した検知信号をアドレス取得部１２４に供給する。アドレス取得部１２４は、受信部１２７からの検知信号がアクティブになるタイミングに合わせて、現在、生成部１１９が生成しているアドレス情報をラッチする。これによって、入力画像データのうち、現在ユーザがポインティングデバイス１０２によって指し示している位置（アドレス）を検知できる。通知部１２５は、検知した位置（アドレス）を示すアドレス情報（第１位置情報）を、データＩ／Ｆ部１０８、データＩ／Ｆ部１０５を介して、ＰＣ制御部１０６へ通知する。ＰＣ制御部１０６は、プロジェクタ装置１２８から通知された第１位置情報が示す位置にどのようなアイコン画像が配置されているのかを、現在表示している画像データ（現在の投影対象である入力画像データ）とその属性情報から判断する。そして、例えば図４の８０３のような「次ページを表示」という機能が割り当てられたアイコン画像が、第１位置情報が示す位置に配置されていると判断した場合は、次ページへの改ページ処理を行う。つまり、次ページの画像データを新たな入力画像データとしてプロジェクタ装置１２８へ送信する。

以上に説明したように、本実施形態によれば、高価な撮像装置を備えることなく、簡易かつ安価な構成で、スクリーン１０１上のポインティングデバイス１０２で指し示された位置を検知することができる。そして、ユーザが、スクリーン１０１上に投影された入力画像データを示す投影画像に含まれるアイコン画像をポインティングデバイス１０２で指し示し、ボタン２０４を押下することで、以上の説明で例示した改ページのような処理を簡単に実現することができる。

次に、赤外線通信について簡単に説明する。基本的に従来の赤外線通信手段と同等な処理を行うことで実現できる。図９は、ポインティングデバイス１０２側の送信部（図５の２０５、図６の３１１）からプロジェクタ装置１２８側の受信部１２７に送信するデータフォーマットである。全１０ビットで構成され、０ビット目はスタートビット、１〜４ビット目の４ビットはデータビット、５〜９ビット目の５ビットはストップビットである。図１０は、データビットの内容を例示した図である。データビット「１００１」は「Connect.Req：通信要求」、「１０１０」は「Function.Req：機能要求」、「１０１１」は「Disconnect.Req：通信解除要求」、「０００１」は「Data.Req：ボタン押下」、「００１０」は「Data.Req：特殊光検知」を意味する。この場合の赤外線通信は、通信に時間を要するとパフォーマンスに影響が出るので、送信側から一方的に受信側へデータを送付している。図１１は、データを送付する手順の一例を示す図である。図１１の（１）は、ポインティングデバイス１０２のボタン２０４が押下されたことを通知する手順の一例を示し、図１１の（２）は、ポインティングデバイス１０２が特殊光を検知したことを示す情報（通知信号）を送信する手順の一例を示す。

次に、本実施形態の画像投影システム１００の具体的な動作例を説明する。図１２は、ユーザが、スクリーン１０１上のアイコン画像をポインティングデバイス１０２で指し示したときのポインティングデバイス１０２の動作例を示すフローチャートである。図１２に示すように、ユーザがボタン２０４を押下したことを、ボタン制御部３１２で検知した場合（ステップＳ１４０１：ＹＥＳ）、ボタン２０４の押下をトリガとして関連レジスタのクリア、後述のタイマーの初期化などの初期化が行われる（ステップＳ１４０２）。次に、送信部３１１は、「ボタン押下」を示す押下情報をプロジェクタ装置１２８の受信部１２７へ送信する（ステップＳ１４０３）。

ステップＳ１４０３以降のポインティングデバイス１０２の動作フローと、後述のプロジェクタ装置１２８の動作フローは平行して行われる。まず、ステップＳ１４０３以降のポインティングデバイス１０２の動作フローを説明する。光電変換部２０３は、ポインティングデバイス１０２の先端に入ってくる光を順次ＲＧＢ画像データとして取り込む（ステップＳ１４０４）。取り込むタイミングとしてはポインティングデバイス１０２内部に搭載しているクロックジェネレータのタイミングで生成する。次に、光電変換部２０３（ＡＤＣ３０７）は、このタイミングで順次取り込んでいるＲＧＢデータをデジタル化し、ＲＧＢ→ＹＰｂＰｒ変換部３０８は、デジタル信号のＲＧＢデータをＹＰｂＰｒデータに変換する（ステップＳ１４０５）。これは輝度信号（Ｙ）を得るための変換処理である。次に、移動平均部３０９は、順次入力される輝度信号（Ｙ）の移動平均を演算する（ステップＳ１４０６）。これは輝度信号をある程度平均化しなければ、ランプや伝送路上のノイズを拾っている可能性があるからである。次に、判断部３１０は、移動平均値となった輝度（Ｙ’’）信号を順次観測し、現在の輝度（Ｙ’’_ｎ）と一つ前の輝度（Ｙ’’_ｎ−１）の差分を随時演算する（ステップＳ１４０７）。

ユーザがポインティングデバイス１０２で指し示したある一定の場所での輝度値の変化は余り無く、通常は（Ｙ’’_ｎ）と（Ｙ’’_ｎ−１）の差分は殆ど無いが、プロジェクタ装置１２８から投影対象となる入力画像データに合成されて出力される特殊光（低輝度画素データ）がポインティングデバイス１０２の指し示した場所に来ると、その特殊光が低輝度であるため、特殊光がポインティングデバイス１０２の先端に入光したときの輝度（Ｙ’’_ｎ）とその直前の輝度（Ｙ’’_ｎ−１）との間に差分が生じる。判断部３１０は、ステップＳ１４０７で算出した差分が予め設定した閾値よりも大きいか否かを判断する（ステップＳ１４０８）。そして、差分が閾値よりも小さいと判断され（ステップＳ１４０８：ＮＯ）、不図示のタイマーによる計測時間が規定時間を超えていない場合（ステップＳ１４１０：ＮＯ）、処理はステップＳ１４０４に戻り、次の投影光の読み取りが行われる。ここで、ユーザによるボタン２０４の押下が１回行われた後、なんらかの原因で頻繁にステップＳ１４０４に戻るケースが多くなり、ある規定時間以上それが継続した場合（ステップＳ１４１０：ＹＥＳ）は、本フローを終了し、ユーザによる新たなボタン２０４の押下を待つことになる。ユーザによるボタン２０４の押下が行われると、タイマーは初期化される（ステップＳ１４０２）。

一方、ステップＳ１４０８において、差分が閾値よりも大きいと判断された場合（ステップＳ１４０８：ＹＥＳ）、送信部３１１は、プロジェクタ装置１２８の受信部１２７へ「特殊光検知」を示す通知信号を送信する（ステップＳ１４０９）。ポインティングデバイス１０２側の処理としては、ユーザが指し示したところの投影光の輝度値の読み取りを、ユーザがボタン２０４を押下したタイミングで開始し、その輝度値の変化を読み取り、変化が生じた（閾値を超える差分が生じた）タイミングで赤外線通信にてプロジェクタ装置１２８に対して、特殊光を検知したこと（輝度の変化量が閾値を超えたこと）を通達する処理を行っている。

次に、ポインティングデバイス１０２からの押下情報を受信部１２７で受信したことを契機として開始されるプロジェクタ装置１２８側の動作フローについて説明する。図１２のフローにおいて、ユーザがスクリーン１０１上のアイコン画像をポインティングデバイス１０２で指し示した状態でボタン２０４を押下したタイミングで、プロジェクタ装置１２８側は、前述の特殊光をスクリーンに投影している入力画像データに合成して順次出力するが、まず、この特殊光を合成するアドレスを生成するために、そのアドレスの初期化を行う。ここでは垂直アドレスをＶ、水平アドレスをＨとする。生成部１１９は、Ｖ＝０に設定し（ステップＳ１５０１）、Ｈ＝（−１）に設定することで（ステップＳ１５０２）、アドレス情報を初期化する。水平アドレスは処理の最初でインクリメントするため初期値として（−１）に設定している。

次に、生成部１１９は、水平アドレスを＋１インクリメントする（ステップＳ１５０３）。次に、生成部１１９は、このインクリメントした水平アドレスが水平画像幅を超えているかどうかを判断する（ステップＳ１５０４）。水平アドレスが水平画像幅を超えていると判断した場合（ステップＳ１５０４：ＹＥＳ）、生成部１１９は、現在の垂直アドレスが垂直画像幅を超えているかどうか、つまり、現在の垂直アドレスが最終ラインであるか否かを判断する（ステップＳ１５１４）。現在の垂直アドレスが最終ラインであると判断した場合（ステップＳ１５１４：ＹＥＳ）、次の走査ラインは無いので、その場合は１フレーム分の特殊光の発光が完了したと判断し、処理を終了する。現在の垂直アドレスが最終ラインではないと判断した場合（ステップＳ１５１４：ＮＯ）、垂直アドレスを＋１インクリメントし（ステップＳ１５１５）、水平アドレスを再度初期化して（ステップＳ１５０２）、次のラインの先頭から処理を始める。

一方、上述のステップＳ１５０４において、＋１インクリメントした水平アドレスが水平画像幅を超えていないと判断した場合（ステップＳ１５０４：ＮＯ）、＋１インクリメントした水平アドレスと、現在の垂直アドレスとで表されるアドレス情報（Ｖ、Ｈ）が、生成部１１９が生成した現在のアドレス情報となる。第２メモリ制御部１１７は、フレームメモリ１１３に格納された入力画像データのうち、ステップＳ１５０３で＋１インクリメントする直前の水平アドレスと、現在の垂直アドレスとで表されるアドレス情報（Ｖ、Ｈ−１）が示す位置の画素に対して、レジスタ１１８に格納された当該画素の元の画像データ（輝度変更が行われる前の画像データ）を書き戻す制御を行う（ステップＳ１５０５）。

次に、第２メモリ制御部１１７は、フレームメモリ１１３に格納されている入力画像データのうち、生成部１１９で生成された現在のアドレス情報（Ｖ、Ｈ）が示す位置の画素のＲＧＢ画像データを、レジスタ１１８の処理用領域に格納する（ステップＳ１５０６）。又同時にアドレス（Ｖ、Ｈ）が示す位置の画素のＲＧＢ画像データをレジスタ１１８の格納用領域に格納する（ステップＳ１５０７）。次に、ＹＰｂＰｒ変換部１２０は、処理用領域に格納されたＲＧＢ画像データをＹＰｂＰｒデータに変換する（ステップＳ１５０８）。次に、輝度補正部１２１は、変換されたＹＰｂＰｒデータの輝度値であるＹデータをγテーブルで変換し（この例では０．８倍にする）、輝度値を変更したＹ’データを生成する（ステップＳ１５０９）。次に、輝度合成部１２２は、輝度補正後のＹ’データと元のＰｂＰｒデータを合成したＹ’ＰｂＰｒデータを生成し、ＲＧＢ変換部１２３は、このＹ’ＰｂＰｒデータをＲＧＢ画像データ（ＲＧＢ’データとする）に逆変換する（ステップＳ１５１０）。

次に、第２メモリ制御部１１７は、フレームメモリ１１３に格納された入力画像データのうち、現在のアドレス情報（Ｖ、Ｈ）が示す位置の画素に対して、ステップＳ１５１０で得られたＲＧＢ’データを書き戻す制御を行う（ステップＳ１５１１）。この時、入力画像データのうち、アドレス情報（Ｖ、Ｈ）が示す位置の画素の画像は、低輝度画像（特殊光）としてスクリーン１０１上に投影される。ここで、ポインティングデバイス１０２から赤外線送信データとして「特殊光検知」を示す通知信号が送信されてくるかを確認するため、所定時間だけ待つ（ステップＳ１５１２）。ここでの待ち時間は、最大１フレーム分までは許容される。

次に、受信部１２７は、ポインティングデバイス１０２からの「特殊光検知」を示す通知信号を受信したかどうかを判断し（ステップＳ１５１３）、規定時間内に通知信号を受信しない場合は、通知信号を受信していないと判断し（ステップＳ１５１３：ＮＯ）、処理は、上述のステップＳ１５０３に戻る。この時、水平アドレスが＋１インクリメントされて次のアドレスの画素に対して、上記ステップＳ１５０４〜１５１３の処理が繰り返されるが、注目画素が一つ隣に移動した場合、今まで特殊光を発光していた一つ前の画素を元の画像データに戻す必要がある。つまり、一つ前の画素に対して（ステップＳ１５０３で＋１インクリメントされる前のアドレス情報が示す位置の画素に対して）、レジスタ１１８の格納用領域に格納していた当該画素の元のＲＧＢ画像データをライトバックする（ステップＳ１５０５）。

一方、ステップＳ１５１３において、ポインティングデバイス１０２からの「特殊光検知」を示す通知信号を受信したと判断した場合（ステップＳ１５１３：ＹＥＳ）、処理はステップＳ１５１６に移行する。ステップＳ１５１６において、アドレス取得部１２４は、「特殊光検知」を示す通知信号を受信したときのアドレス情報（Ｖ、Ｈ）、これは、現在特殊光が発光されているアドレス（現在、輝度変更の対象となっている画素の位置を示すアドレス情報）だが、このアドレス情報（Ｖ、Ｈ）をレジスタ１１８のアドレス格納用領域に格納する（ステップＳ１５１６）。このアドレス情報（Ｖ、Ｈ）が示す位置は、ポインティングデバイス１０２によって指し示されている位置として特定することができる。そして、通知部１２５は、その格納されたアドレス情報（Ｖ、Ｈ）を、ポインティングデバイス１０２によって指し示されている位置を示す第１位置情報として、現在スクリーン１０１上に投影されている入力画像データのファイルを管理しているＰＣ１０３へ通知する(ステップＳ１５１７)。

次に、図１４を参照しながら、プロジェクタ装置１２８から、ポインティングデバイス１０２によって指し示されている位置を示す第１位置情報の通知を受けたＰＣ１０３の動作例を説明する。まず、ＰＣ１０３は、データＩ／Ｆ部１０５を介して、プロジェクタ装置１２８からの第１位置情報を受信する（ステップＳ１６０１）。次に、ＰＣ制御部１０６は、現在の投影対象の画像データに関連付けてファイル蓄積部１０４に格納されている１以上の属性情報を参照する（ステップＳ１６０２）。前述したように、アイコン画像ごとに対応付けられる属性情報は、当該アイコン画像を識別する識別情報と、当該アイコン画像の位置を示す第２位置情報と、当該アイコン画像のサイズを示すサイズ情報と、当該アイコン画像に割り当てられた機能を示す機能情報とが対応付けられた情報である（図２参照）。ＰＣ制御部１０６は、通知された第１位置情報と、ファイル蓄積部１０４に記憶された属性情報とに基づいて、第１位置情報が示す位置に配置されるアイコン画像が存在するか否かを判断する（ステップＳ１６０３）。

プロジェクタ装置１２８から通知された第１位置情報が示す位置に配置されるアイコン画像が存在しないと判断した場合（ステップＳ１６０３：ＮＯ）、ＰＣ制御部１０６は、ユーザに対して指定ミスを通知するための指定ミス通知処理を行う（ステップＳ１６０４）。例えばＢｅｅｐ音を出して無意味なポインティングであったことをユーザに知らしめることもできるし、又、画面に無効指定である表示をすることもできるし、又は全く何もしないという処理も考えることができる。

一方、ステップＳ１６０３において、第１位置情報が示す位置に配置されるアイコン画像が存在すると判断した場合（ステップＳ１６０３：ＹＥＳ）、ＰＣ制御部１０６は、ファイル蓄積部１０４に格納された属性情報を参照して、第１位置情報が示す位置に配置されるアイコン画像に割り当てられた機能情報を特定する（ステップＳ１６０５）。次に、ＰＣ制御部１０６は、特定した機能情報が示す機能を実行する制御を行う（ステップＳ１６０６）。

以上に説明したように、本実施形態の画像投影システム１００は、入力画像データをスクリーン１０１に投影するプロジェクタ装置１２８と、スクリーン１０１に投影された入力画像データを示す投影画像を指し示すためのポインティングデバイス１０２とを備える。そして、ポインティングデバイス１０２は、投影画像の少なくとも１画素分の輝度を検出可能な輝度検出部（光電変換部２０３、ＲＧＢ→ＹＰｂＰｒ変換部３０８、移動平均部３０９）と、輝度検出部で検出される輝度の変化量が閾値よりも大きいか否かを判断する判断部３１０と、判断部３１０によって変化量が閾値よりも大きいと判断された場合は、その旨を示す通知信号をプロジェクタ装置１２８へ送信する送信部３１１と、を備える。また、プロジェクタ装置１２８は、入力画像データに含まれる複数の画素（単位領域の一例）の各々の輝度を順番に（この例ではラスター走査順に）変更する輝度変更部１３０と、ポインティングデバイス１０２からの通知信号を受信する受信部１２７と、受信部１２７で通知信号を受信したときに輝度変更の対象となっている画素の位置を示すアドレス情報を、ポインティングデバイス１０２によって指し示されている位置を示す情報（第１位置情報）としてラッチ（特定）するアドレス取得部１２４と、を備える。以上の構成を有することにより、撮像装置等の比較的高価な装置を用いることなく、簡易かつ安価な構成で、スクリーン１０１上のポインティングデバイス１０２で指し示された位置を検知することができる。

以上、本発明の実施形態について説明したが、本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ 画像投影システム
１０１ スクリーン
１０２ ポインティングデバイス
１０４ ファイル蓄積部
１０５ データＩ／Ｆ部
１０６ ＰＣ制御部
１０８ データＩ／Ｆ部
１０９ 画像検知部
１１０ 第１画像変換部
１１１ 第１メモリ制御部
１１２ 同期信号生成部
１１３ フレームメモリ
１１４ 第２画像変換部
１１５ 光学Ｉ／Ｆ部
１１６ 光学メカ
１１７ 第２メモリ制御部
１１８ レジスタ
１１９ 生成部
１２０ ＹＰｂＰｒ変換部
１２１ 輝度補正部
１２２ 輝度合成部
１２３ ＲＧＢ変換部
１２４ アドレス取得部
１２５ 通知部
１２７ 受信部
１２８ プロジェクタ装置
１３０ 輝度変更部
２０１ 本体部
２０２ グリップ部
２０３ 光電変換部
２０４ ボタン
２０５ 送信部
３０２ 集光レンズ
３０３ ミラー
３０４ 分光プリズム
３０８ ＲＧＢ→ＹＰｂＰｒ変換部
３０９ 移動平均部
３１０ 判断部
３１１ 送信部
３１２ ボタン制御部

特許第３８６７２０５号公報

Claims (8)

1. 入力される画像データを示す入力画像データをスクリーンに投影する投影手段と、前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段と、を備えた画像投影システムであって、
   前記指示手段は、
   前記投影画像の少なくとも１画素分の輝度を検出可能な輝度検出部と、
   前記輝度検出部で検出される前記輝度の変化量が閾値よりも大きいか否かを判断する判断部と、
   前記判断部によって前記変化量が前記閾値よりも大きいと判断された場合は、その旨を示す通知信号を前記投影手段へ送信する送信部と、を備え、
   前記投影手段は、
   前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更部と、
   前記通知信号を受信する受信部と、
   前記受信部で前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定部と、を備える、
   画像投影システム。
2. 前記輝度変更部は、ラスター走査方向に沿った順番で、各前記単位領域の輝度を変更する、
   請求項１に記載の画像投影システム。
3. 前記輝度変更部は、ある前記単位領域の輝度を変更するときは、その直前に輝度を変更した前記単位領域の輝度を、輝度変更前の元の輝度に戻す、
   請求項１または請求項２に記載の画像投影システム。
4. 前記投影手段は、
   前記入力画像データを記憶する第１記憶部をさらに備え、
   前記輝度変更部は、
   輝度変更の対象となる前記単位領域の位置を示すアドレス情報を生成する生成部と、
   前記第１記憶部に記憶された前記入力画像データから、前記生成部により生成された前記アドレス情報に対応する前記単位領域の画像データを読み出す制御を行う読み出し制御部と、
   前記読み出し制御部により読み出された前記画像データの輝度を変更する変更部と、
   前記変更部により輝度が変更された前記画像データを、前記第１記憶部に記憶された前記入力画像データに書き戻す制御を行う書き戻し制御部と、を備える、
   請求項１乃至３のうちの何れか一つに記載の画像投影システム。
5. 前記読み出し制御部により読み出された前記単位領域の前記画像データを、当該単位領域に対応する元の画像データとして記憶する第２記憶部をさらに備え、
   前記書き戻し制御部は、直前に輝度変更が行われた前記単位領域に対応する元の画像データを前記第２記憶部から読み出して、前記第１記憶部に記憶された前記入力画像データに書き戻す制御を行う、
   請求項４に記載の画像投影システム。
6. 情報処理を行う情報処理手段をさらに備え、
   前記投影手段は、
   前記特定部により特定された前記単位領域の位置を示す第１位置情報を、前記情報処理手段へ通知する通知部をさらに備え、
   前記情報処理手段は、
   前記入力画像データに含まれるアイコン画像を識別する識別情報と、前記アイコン画像の位置を示す第２位置情報と、前記アイコン画像に割り当てられた機能を示す機能情報とが対応付けられた属性情報を少なくとも１つ記憶する第３記憶部と、
   前記投影手段から通知された前記第１位置情報と、前記第３記憶部に記憶された前記属性情報とに基づいて、前記第１位置情報が示す位置に配置される前記アイコン画像が存在するか否かを判断する判断部と、
   前記判断部によって、前記第１位置情報が示す位置に配置される前記アイコン画像が存在すると判断された場合、当該アイコン画像に対応する前記機能情報が示す機能を実行する制御を行う実行制御部と、を備える、
   請求項１に記載の画像投影システム。
7. 入力される画像データを示す入力画像データをスクリーンに投影する投影表示装置であって、
   前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更部と、
   前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段から、前記投影画像の少なくとも１画素分の輝度の変化量が閾値よりも大きいことを示す通知信号を受信する受信部と、
   前記受信部で前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定部と、を備える、
   投影表示装置。
8. 入力される画像データを示す入力画像データをスクリーンに投影する投影表示装置に、
   前記入力画像データに含まれる、それぞれが少なくとも１つの画素を含む複数の単位領域の各々の輝度を順番に、元の輝度に対して差分を持たせた輝度に変更する輝度変更ステップと、
   前記スクリーンに投影された前記入力画像データを示す投影画像を指し示すための指示手段から、前記投影画像の少なくとも１画素分の輝度の変化量が閾値よりも大きいことを示す通知信号を受信する受信ステップと、
   前記受信ステップで前記通知信号を受信したときに輝度変更の対象となっている前記単位領域の位置を、前記指示手段によって指し示されている位置として特定する特定ステップと、を実行させるためのプログラム。

Images