JP6471414B2 - 表示システム、表示装置、及び、表示方法 - Google Patents

Description

本発明は、表示システム、表示装置、及び、表示方法に関する。

近年、教育分野やプレゼンテーション等において使用される、いわゆるインタラクティブホワイトボードが普及している。インタラクティブホワイトボードは、文書等のコンテンツを表示しながら、そのコンテンツへの使用者による書き込みが可能であることを特徴とする。例えば、特許文献１には、電子黒板のボード部において移動させたペンの軌跡を画像として形成し、ボード部に表示させている。また、特許文献１には、入力デバイスであるペンと、ペンからの信号を受信する本体ユニットとを備えるディジタルペンが開示されている。ユーザーがペンを用いて文字や図形を描くと、本体ユニットが、ペンから発信される信号に基づいてペンの軌跡を検出して、描かれた文字や図形と同様な画像のディジタルデータを生成する。また、本体ユニットには無線ＬＡＮ端末が搭載されており、本体ユニットが、生成したディジタルデータを電子黒板のボード部に送信して、ディジタルペンにおいて描かれた文字や図形を、ボード部に表示させている。

特開２０１０−２８４７９７号公報

しかしながら、入力操作を行う入力装置と、入力装置で受け付けた操作に応じた画像等を表示させる表示装置とが分離した構成では、入力した操作と、操作に応じた画像が表示される表示装置の表示位置との関係が分かりにくく、直感的な操作が難しいという問題がある。
本発明は上記事情に鑑みてなされたものであり、入力装置と、表示装置とが分離した構成において、入力装置による直感的な操作入力を可能にした表示システム、表示装置、及び、表示方法を提供することを目的とする。

上記目的を達成するために、本発明の表示システムは、表示装置と、入力装置とを有する表示システムであって、前記表示装置は、画像データに基づく画像を第１表示面に表示させる第１の表示部と、前記第１表示面に表示された画像の少なくとも一部の画像データを前記入力装置に送信する第１の送信部と、を有し、前記入力装置は、操作を受け付ける操作面と、前記操作面に対する操作を検出する検出部と、前記少なくとも一部の画像データに基づく画像を第２表示面に表示させる第２の表示部と、前記少なくとも一部の画像データを前記第２表示面に表示している間に前記検出部で検出された操作の位置に対応する操作データを前記表示装置に送信する第２の送信部と、を有し、前記表示装置は、前記操作データに基づく画像を前記第１表示面に表示させることを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置による直感的な操作入力が可能になる。

上記表示システムにおいて、前記表示装置は、前記入力装置に送信する前記少なくとも一部の画像データと、前記第１表示面における表示位置とを対応付けて記憶し、前記操作データに基づく画像を、前記少なくとも一部の画像データに対応付けられた、前記第１表示面の表示位置に表示することを特徴とする。
本構成によれば、入力装置に送信した画像の表示位置に、入力装置により受け付けた操作に応じた画像を表示させることができる。

上記表示システムにおいて、前記入力装置を複数備え、前記表示装置は、各入力装置に送信する前記少なくとも一部の画像データと、前記第１表示面における表示位置とを対応付けて記憶し、前記入力装置から前記操作データを受信すると、前記入力装置に送信した前記少なくとも一部の画像データに対応付けられた、前記第１表示面の表示位置に、前記操作データに基づく画像を表示することを特徴とする。
本構成によれば、各入力装置に送った画像データに応じた、第１表示面での表示位置に、操作データに基づく画像を表示させることができる。

上記表示システムにおいて、前記入力装置は、前記操作データとして、前記検出部で検出された操作の位置を示す前記操作面上の座標情報を前記表示装置に送信し、前記表示装置は、前記入力装置から受信した前記座標情報に基づく画像を生成して、前記第１表示面に表示させることを特徴とする。
本構成によれば、入力装置は、入力を受け付けた座標情報をそのまま表示装置に送信すれば、表示装置で座標情報に基づく画像が表示されるので、入力装置の処理負荷を軽減させることができる。

上記表示システムにおいて、前記入力装置は、前記操作面に対する操作に基づいて、文字と図形との少なくとも一方を含む画像データを生成して、生成した前記画像データを前記操作データとして前記表示装置に送信することを特徴とする。
本構成によれば、入力装置において受け付けた操作に応じた画像データを生成して、表示装置で表示させることができる。

上記表示システムにおいて、前記入力装置は、生成した前記画像データを、前記少なくとも一部の画像データに重畳した画像データを生成して前記表示装置に送信することを特徴とする。
本構成によれば、入力装置の受け付けた操作に基づいて生成した画像を、表示装置で表示されている画像に重畳させて表示することができる。

本発明の表示装置は、画像データに基づく画像を第１表示面に表示する表示装置であって、前記第１表示面に表示された画像の少なくとも一部の画像データと、前記第１表示面における表示位置とを対応付けた情報を記憶する記憶部と、前記少なくとも一部の画像データを外部装置に送信する送信部と、前記外部装置で受け付けた操作の操作情報を前記外部装置から受信する受信部と、前記操作情報に応じた画像を前記第１表示面における前記表示位置に表示させる表示部とを備えることを特徴とする。
本構成によれば、外部装置に送信した画像の表示位置に、外部装置において受け付けた操作に応じた画像を表示させることができる。

本発明の表示方法は、表示装置と、入力装置とを有する表示システムにおける表示方法であって、前記表示装置において、画像データに基づく画像を第１表示面に表示させるステップと、前記第１表示面に表示された画像の少なくとも一部の画像データを前記入力装置に送信するステップと、を有し、前記入力装置において、前記少なくとも一部の画像データに基づく画像を第２表示面に表示させるステップと、前記少なくとも一部の画像データを前記第２表示面に表示している間に、操作を受け付ける操作面に対する操作を検出するステップと、検出された操作の位置に対応する操作データを前記表示装置に送信するステップと、を有し、前記表示装置において、前記操作データに基づく画像を前記第１表示面に表示させるステップを有することを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置による直感的な操作入力が可能になる。

本発明によれば、入力装置と、表示装置とが分離した構成において、入力装置による直感的な操作入力が可能になるという効果を奏する。

表示システムの構成の一例を示す構成図である。 第１実施形態の携帯端末の構成の一例を示すブロック図である。 プロジェクターの構成の一例を示すブロック図である。 スクリーンＳＣに表示される画像の一例を示す図である。 携帯端末より入力された画像を、プロジェクターによりスクリーンに投射した状態を示す図である。 プロジェクター及び携帯端末の処理手順を示すフローチャートである。 第２実施形態の携帯端末の構成の一例を示すブロック図である。

以下、添付図面を参照して本発明の実施形態について説明する。
図１に、本実施形態の表示システム１の概略構成を示す。本実施形態の表示システム１は、入力装置としての複数の携帯端末１０Ａ、１０Ｂ、１０Ｃ、・・・と、表示装置としてのプロジェクター１００とを備えている。なお、図１には、３台の携帯端末１０Ａ、１０Ｂ、１０Ｃを示すが、携帯端末１０Ａ、１０Ｂ、１０Ｃの数は３台に限られず、１台であってもよいし、４台以上であってもよい。また、携帯端末１０Ａ、１０Ｂ、１０Ｃを区別する必要がない場合には、携帯端末１０と表記する。

携帯端末１０とプロジェクター１００とは、無線通信方式によって各種データを送受信可能に接続されている。この無線通信方式には、例えば無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式や、携帯電話回線を利用した無線通信方式を採用することができる。プロジェクター１００は、複数の携帯端末１０に接続して、これらの携帯端末１０と通信することができる。
携帯端末１０は、ユーザーが手に持って操作する小型の装置であり、例えば、スマートフォン等の携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistants）等の装置である。携帯端末１０は、スイッチ等の操作子に対する操作のほか、表示パネル（第２表示面）５２の表面にユーザーが手指を接触させ、この接触位置をタッチスクリーン（操作面）５３に検出させることで、操作できる。
プロジェクター１００は、スクリーンＳＣ（第１表示面）に対して画像を投射する装置である。プロジェクター１００が画像を投射するスクリーンＳＣはほぼ直立しており、スクリーン面は、例えば、矩形形状である。プロジェクター１００は、動画像をスクリーンＳＣに投射することも、静止画像をスクリーンＳＣに投射し続けることもできる。

携帯端末１０の構成について説明する。図２に、携帯端末１０の機能的構成の一例を示す。
携帯端末１０は、携帯端末１０の各部を制御する制御部２０を備える。制御部２０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、携帯端末１０を制御する。また、制御部２０は、記憶部３０に記憶されたアプリケーションプログラム３１を実行することにより、後述する表示制御部２１、画像生成部２２、通信制御部２３として機能する（以下、これらを機能ブロックと呼ぶ）。

携帯端末１０は、記憶部３０を備えている。記憶部３０は、フラッシュメモリー、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の不揮発性の記憶装置であり、制御部２０に接続している。記憶部３０には、アプリケーションプログラム３１を含む各種プログラムや、プロジェクター１００から受信した画像データ３２等が記憶されている。また、記憶部３０は、端末識別情報３３を記憶している。端末識別情報３３は、プロジェクター１００との間で携帯端末１０を識別するためのデータであり、具体的には、個々の携帯端末１０を識別するために各携帯端末１０に固有のシリアル番号や、プロジェクター１００との間で共有する認証コード等である。

携帯端末１０は、無線通信部（第２の送信部）４０を備えている。無線通信部４０は、アンテナやＲＦ（Radio Frequency）回路（不図示）等を備え、制御部２０に接続されている。無線通信部４０は、制御部２０によって制御され、プロジェクター１００との間で上述した無線通信方式に準じて各種データを送受信する。

携帯端末１０は、表示部（第２の表示部）５１を備える。表示部５１は、表示パネル５２を備え、制御部２０に接続している。表示部５１は、制御部２０から入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２に画像を表示させる。

また、携帯端末１０は、タッチスクリーン５３と、スイッチ部５４と、操作検出部（検出部）５５とを備えている。タッチスクリーン５３は、表示パネル５２への接触操作を検出して、検出した操作位置を示す位置信号を操作検出部５５に出力する。操作検出部５５は、タッチスクリーン５３から入力した位置信号に基づいて、タッチスクリーン５３上の座標を示す座標情報を生成し、制御部２０に出力する。また、スイッチ部５４は、スイッチ等の各操作子を備え、スイッチが操作された場合に操作信号を操作検出部５５に出力する。操作検出部５５は、スイッチ部５４から入力された操作信号に基づいて、操作された操作子に対応する操作情報を生成して制御部２０に出力する。
制御部２０は、操作検出部５５から入力した座標情報又は操作情報に基づいて、表示パネル５２に対する接触操作、スイッチを含む各操作子の操作、及び携帯端末１０の本体を動かす操作を検出することができる。

次に、制御部２０の備える機能ブロックについて説明する。
表示制御部２１は、表示部５１を制御して、表示パネル５２に各種画面を表示させる。表示制御部２１は、記憶部３０から画像データ３２を読み出して、又は無線通信部４０を介して受信した画像データを表示部５１に出力する。表示部５１は、入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２を駆動する。

画像生成部２２は、操作検出部５５から座標情報を入力する。画像生成部２２は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて画像を生成する。さらに、画像生成部２２は、生成した画像データを、プロジェクター１００から送信された画像データに重畳した画像データを生成して、通信制御部２３に渡す。通信制御部２３は、画像生成部２２から渡された画像データを、無線通信部４０を介して携帯端末１０に送信する。なお、これらの処理の詳細については、後述する。

通信制御部２３は、無線通信部４０を制御してプロジェクター１００と無線通信を行う。通信制御部２３は、プロジェクター１００に接続した後に、記憶部１５１から読み出した端末識別情報３３や、制御部２０から渡された情報を、無線通信部４０を介してプロジェクター１００に送信する。また、通信制御部２３は、プロジェクター１００から受信した画像データ等のデータを記憶部３０に記憶させる。

次に、プロジェクター１００の構成について説明する。図３に、プロジェクター１００の機能的構成の一例を示す。
プロジェクター１００は、インターフェイス部（以下、Ｉ／Ｆと略記する）１２４を備えている。プロジェクター１００は、Ｉ／Ｆ部１２４を介して画像供給装置に接続している。Ｉ／Ｆ部１２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部１２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部１２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部１２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置に接続される構成としてもよい。なお、Ｉ／Ｆ部１２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。

プロジェクター１００は、大きく分けて光学的な画像の形成を行う投射部１１０（第１の表示部）と、この投射部１１０に入力される画像信号を電気的に処理する画像処理系とを備えている。投射部１１０は、光源部１１１、液晶パネル１１２Ａを備えた光変調装置１１２及び投射光学系１１３を備えている。

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）レーザー等からなる光源を備えている。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１１は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等を備えたものであってもよい。

光変調装置１１２は、例えば、透過型の液晶パネル１１２Ａを備え、この液晶パネル１１２Ａに後述する画像処理系からの信号を受けて画像を形成する。この場合、光変調装置１１２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネル１１２Ａを備え、光源部１１１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネル１１２Ａに入射する。各液晶パネル１１２Ａを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。
なお、光変調装置１１２は、透過型の液晶パネル１１２Ａを３枚用いた構成に限らず、例えば３枚の反射型の液晶パネルを用いることも可能である。また、光変調装置１１２は、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のＤＭＤ（Digital Mirror Device）を用いた方式、１枚のＤＭＤとカラーホイールを組み合わせた方式等により構成してもよい。ここで、光変調装置１１２として１枚のみの液晶パネル１１２Ａ又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル１１２Ａ及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

投射光学系１１３は、光変調装置１１２で変調された入射光を、具備する投射レンズを用いてスクリーンＳＣ上に投射し、結像させる。

投射部１１０には、制御部１３０の制御に従って投射光学系１１３が備える各モーターを駆動する投射光学系駆動部１２１、及び制御部１３０の制御に従って光源部１１１が備える光源を駆動する光源駆動部１２２が接続されている。投射光学系駆動部１２１及び光源駆動部１２２は、バス１０５に接続している。

プロジェクター１００は、無線通信部（第１の送信部、送信部、受信部）１５６を備えている。無線通信部１５６は、バス１０５に接続している。無線通信部１５６は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１３０の制御の下、携帯端末１０との間で無線通信規格に準拠して通信する。プロジェクター１００と携帯端末１０とは、無線通信方式によって各種データを送受信可能に接続されている。

プロジェクター１００の備える画像処理系は、プロジェクター１００全体を統合的に制御する制御部１３０を中心に構成され、その他に、記憶部１５１、画像処理部１２５、光変調装置駆動部１２３、入力処理部１５３を備えている。制御部１３０、記憶部１５１、入力処理部１５３、画像処理部１２５及び光変調装置駆動部１２３は、それぞれバス１０５に接続している。

制御部１３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、プロジェクター１００を制御する。また、制御部１３０は、記憶部１５１に記憶されたアプリケーションプログラム３１を実行することにより、後述する投射制御部１３１、通信制御部１３２、表示制御部１３３として機能する（以下、これらを機能ブロックと呼ぶ）。

記憶部１５１は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。記憶部１５１は、プロジェクター１００の制御に使用される制御プログラムや、画像データ等を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の端末識別情報１５１１を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の備える表示パネル５２の解像度の情報である解像度情報１５１２を記憶する。解像度情報１５１２には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報等が含まれる。

画像処理部１２５は、外部の画像供給装置や、表示制御部１３３から入力した画像データを、光変調装置１１２の液晶パネル１１２Ａの仕様に適合した解像度のデータに変換する解像度変換処理等を実行する。また、画像処理部１２５は、光変調装置１１２により表示する表示用画像をフレームメモリー１２６に描画して、描画した表示用画像を光変調装置駆動部１２３に出力する。光変調装置駆動部１２３は、画像処理部１２５から入力した表示用画像に基づいて、光変調装置１１２を駆動する。これにより、光変調装置１１２の液晶パネル１１２Ａに画像が描画され、描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。

プロジェクター１００の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル１５５が配置されている。操作パネル１５５は、入力処理部１５３に接続されている。入力処理部１５３は、制御部１３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１５５のインジケーターランプを適宜点灯或いは点滅させる。操作パネル１５５のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部１５３から制御部１３０に出力される。
また、プロジェクター１００は、ユーザーが使用するリモコン（不図示）を有する。リモコンは各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１００の本体には、リモコンが発する赤外線信号を受光するリモコン受光部１５４が配置されている。リモコン受光部１５４は、リモコンから受光した赤外線信号をデコードして、リモコンにおける操作内容を示す操作信号を生成し、制御部１３０に出力する。

次に、制御部１３０の備える機能ブロックについて説明する。
投射制御部１３１は、画像処理部１２５を制御して、Ｉ／Ｆ部１２４を介して画像供給装置から供給された画像データや、表示制御部１３３で生成された画像データに基づいてフレームメモリー１２６に画像を描画させる。また、投射制御部１３１は、光変調装置駆動部１２３を制御して、フレームメモリー１２６に描画された画像を光変調装置１１２の液晶パネル１１２Ａに描画させる。光変調装置１１２の液晶パネル１１２Ａに描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。

通信制御部１３２は、無線通信部１５６を制御して携帯端末１０と無線通信を行う。通信制御部１３２は、携帯端末１０に接続されると、携帯端末１０に、携帯端末１０の端末識別情報３３の送信を要求する。携帯端末１０は、プロジェクター１００からの要求に従って、携帯端末１０の端末識別情報３３をプロジェクター１００に送信する。通信制御部１３２は、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる。また、通信制御部１３２は、携帯端末１０の端末識別情報１５１１を取得すると、携帯端末１０の備える表示パネル５２の解像度情報の取得要求を携帯端末１０に送信する。携帯端末１０は、プロジェクター１００からの要求に従って、表示パネル５２の解像度情報をプロジェクター１００に送信する。通信制御部１３２は、取得した情報を解像度情報１５１２として記憶部１５１に記憶させる。

表示制御部１３３は、スクリーンＳＣに投射中の画像（以下、投射画像という）のうち、ユーザーによって選択された領域の画像を、選択された携帯端末１０に送信する。
まず、表示制御部１３３は、投射画像の画像データ（以下、投射画像データという）を画像処理部１２５から取得する。また、表示制御部１３３は、携帯端末１０に送信する投射画像の領域の選択を受け付ける。例えば、表示制御部１３３は、図４に示す操作枠２００を生成し、投射画像に重畳させてスクリーンＳＣに投射させる。この操作枠２００は、操作パネル１５５又はリモコンの操作によって、スクリーンＳＣ上を自由移動させることができ、また、操作枠２００のサイズを自由に変更することができる。表示制御部１３３は、操作パネル１５５又はリモコンで受け付けた操作入力に従って、スクリーンＳＣに投射させる操作枠２００の表示位置やサイズを変更する。ユーザーは、操作パネル１５５又はリモコンの操作によって、操作枠２００を、投射画像上の選択する領域に移動させて、操作パネル１５５又はリモコンの確定ボタンを押下する。表示制御部１３３は、確定ボタンの操作入力を受け付けた際に、操作枠２００内に表示されている投射画像の領域を選択された領域（以下、選択領域という）と判定する。なお、選択領域は投射画像の全体を含む領域であっても良く、投射画像の一部の領域であっても良い。

また、表示制御部１３３は、操作枠２００の操作により選択された画像を送信する携帯端末１０の選択入力を受け付ける。例えば、表示制御部１３３は、操作パネル１５５やスクリーンＳＣに、通信可能な携帯端末１０の識別情報を表示した表示領域２５０を表示させて、ユーザーからの操作パネル１５５やリモコンの操作入力を受け付ける。

表示制御部１３３は、携帯端末１０に送信する選択領域の選択と、選択領域の画像を送信する携帯端末１０との選択入力を受け付けると、投射画像の画像データから選択領域の画像データ（以下、第１部分画像データと呼ぶ）を切り出す。なお、表示制御部１３３は、投射画像データ中の第１部分画像データの位置を示す位置情報を記憶部１５１に記憶させる。また、プロジェクター１００に複数の携帯端末１０Ａ，１０Ｂ，１０Ｃが接続されている場合、位置情報は、携帯端末１０Ａ，１０Ｂ，１０Ｃごとに設定されてもよい。また、例えば、携帯端末１０Ａと携帯端末１０Ｂといった複数の携帯端末１０に同一の位置情報を設定してもよい。この場合、携帯端末１０Ａと携帯端末１０Ｂとの表示パネル５２には、同一の第１部分画像データが表示されることとなる。
次に、表示制御部１３３は、切り出した第１部分画像データのサイズを変換する。表示制御部１３３は、第１部分画像データの送信相手となる携帯端末１０の具備する表示パネル５２の解像度情報を記憶部１５１から取得する。表示制御部１３３は、取得した解像度情報１５１２に従って、第１部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した第１部分画像データを携帯端末１０に送信する。

携帯端末１０の表示制御部２１は、プロジェクター１００から第１部分画像データを受信すると、受信した第１部分画像データを表示部５１に出力して表示パネル５２に表示させる。
表示パネル５２に第１部分画像データが表示された状態で、表示パネル５２の接触操作がユーザーによって行われると、操作検出部５５は、操作位置を示す座標情報を制御部２０に出力する。画像生成部２２は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて画像データ（以下、操作画像という）を生成する。操作画像データは、表示パネル５２の表示面を接触操作したユーザーの指や電子ペン等の軌跡を表す画像データであり、例えば、文字や図形等が含まれる。画像生成部２２は、操作画像データを生成すると、生成した操作画像データを第１部分画像データに重畳した第２部分画像データ（操作データ）を生成する。画像生成部２２は、生成した第２部分画像データを通信制御部２３に渡す。通信制御部２３は、画像生成部２２から渡された第２部分画像データを、無線通信部４０を介してプロジェクター１００に送信する。

プロジェクター１００は、携帯端末１０から送信される第２部分画像データを無線通信部１５６で受信する。受信した第２部分画像データは、通信制御部１３２の制御により表示制御部１３３に渡される。表示制御部１３３は、第２部分画像データを取得すると、記憶部１５１から位置情報を読み出す。位置情報は、第１部分画像データを切り出した投射画像データ中の位置を示す情報である。表示制御部１３３は、第２部分画像データを位置情報と共に画像処理部１２５に渡す。

画像処理部１２５は、表示制御部１３３から取得した第２部分画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された第２部分画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の第１部分画像データの切り出し位置に、第２部分画像データが重畳されるようにフレームメモリー１２６への描画を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。これにより、例えば、図５に示すように携帯端末１０Ｂから送信された第２部分画像データが、投射画像データの回答欄Ｈに表示される。

次に、図６に示すフローチャートを参照しながら本実施形態の処理手順を説明する。
ユーザーは、まず、携帯端末１０を操作して記憶部３０に記憶された画像投射のためのアプリケーションプログラム３１を起動させる。ユーザーの操作を受け付けると、制御部２０は、記憶部３０からアプリケーションプログラム３１を読み出して実行する。アプリケーションプログラム３１が起動されると、携帯端末１０とプロジェクター１００とは互いの通信を確立すべく無線通信を実行する。携帯端末１０とプロジェクター１００との接続は、例えば、アプリケーションプログラム３１の起動時にユーザーが指定するプロジェクター１００を特定して接続する構成であってもよい。また、携帯端末１０とプロジェクター１００との接続は、無線信号の送受信が可能なプロジェクター１００を自動で検出して接続する構成であってもよい。このように、ユーザーの携帯端末１０での操作に基づいて、まず、携帯端末１０とプロジェクター１００との接続が確立される（ステップＳ１、Ｓ１１）。このとき、携帯端末１０の通信制御部２３は、無線通信部４０を制御して、携帯端末１０の個体を特定する端末識別情報３３をプロジェクター１００に送信する（ステップＳ１２）。プロジェクター１００の制御部１３０は、携帯端末１０から送信される情報を受信し、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる（ステップＳ２）。

携帯端末１０との接続が確立され、携帯端末１０から端末識別情報１５１１を受信すると、プロジェクター１００は、携帯端末１０に、携帯端末１０の解像度情報の取得要求を送信する（ステップＳ３）。解像度情報には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報が含まれる。携帯端末１０の通信制御部２３は、プロジェクター１００から取得要求を受信すると（ステップＳ１３）、受信した取得要求に従って、解像度情報をプロジェクター１００に送信する（ステップＳ１４）。プロジェクター１００の通信制御部１３２は、無線通信部１５６で受信した情報を解像度情報１５１２として記憶部１５１に記憶させる（ステップＳ４）。

次に、プロジェクター１００の表示制御部１３３は、携帯端末１０に送信する第１部分画像データを生成する（ステップＳ５）。例えば、表示制御部１３３は、図４に示す操作枠２００を表す画像を生成して、投射画像に重畳させてスクリーンＳＣに投射させる。ユーザーによる操作パネル１５５又はリモコンの操作によって、携帯端末１０に送信する投射画像の領域が選択されると、表示制御部１３３は、投射画像の画像データから、選択された領域を切り出して、第１部分画像データを生成する（ステップＳ５）。また、表示制御部１３３は、携帯端末１０から取得した解像度情報１５１２に従って、第１部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した部分画像データを携帯端末１０に送信する（ステップＳ６）。携帯端末１０は、プロジェクター１００から送信された第１部分画像データを無線通信部４０により受信して、記憶部３０に記憶する（ステップＳ１５）。携帯端末１０は、受信した第１部分画像データを表示制御部２１の制御により表示パネル５２に表示させる（ステップＳ１６）。

第１部分画像データを表示パネル５２に表示させると、携帯端末１０は、表示パネル５２に対するユーザーの接触操作を操作検出部５５で検出する。操作検出部５５は、操作位置を示す位置信号をタッチスクリーン５３から入力することで、表示パネル５２への接触操作を検出する（ステップＳ１７）。操作検出部５５は、タッチスクリーン５３から位置信号を入力すると（ステップＳ１７／ＹＥＳ）、位置信号に応じた座標情報を生成して、制御部２０に出力する。携帯端末１０の画像生成部２２は、操作検出部５５から出力された座標情報を入力すると、入力した座標情報に基づく操作画像データを生成する（ステップＳ１８）。さらに、画像生成部２２は、生成した操作画像データを、第１部分画像データに重畳した第２部分画像データを生成する（ステップＳ１９）。画像生成部２２は、生成した第２部分画像データを通信制御部２３に渡す。通信制御部２３は、画像生成部２２から渡された第２部分画像データを、無線通信部４０を介してプロジェクター１００に送信する（ステップＳ２０）。第２部分画像データの送信が終了すると、制御部２０は、アプリケーションプログラム３１を終了させる終了操作を入力したか否かを判定する（ステップＳ２１）。終了操作を入力した場合(ステップＳ２１／ＹＥＳ)、制御部２０は、この処理フローを終了させる。また、終了操作を入力していない場合（ステップＳ２１／ＮＯ）、制御部２０は、ステップＳ１７に戻り、接触操作の検出を再度行う（ステップＳ１７）。

プロジェクター１００は、携帯端末１０から送信される第２部分画像データを無線通信部１５６で受信する（ステップＳ７）。無線通信部１５６で受信した第２部分画像データは、表示制御部１３３に渡される。表示制御部１３３は、通信制御部１３２から第２部分画像データを取得すると、記憶部１５１から位置情報を読み出す。そして、表示制御部１３３は、読み出した位置情報を第２部分画像データと共に画像処理部１２５に渡す。画像処理部１２５は、第２部分画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された第２部分画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データの第１部分画像データの切り出し位置に、第２部分画像データが重畳されるようにフレームメモリー１２６への描画を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される（ステップＳ８）。
次に、プロジェクター１００の制御部１３０は、携帯端末１０との接続が解消されたか否かを判定する（ステップＳ９）。携帯端末１０との接続が解消されたと判定すると（ステップＳ９／ＹＥＳ）、制御部１３０は、この処理フローを終了する。また、携帯端末１０との接続が解消されていないと判定すると（ステップＳ９／ＮＯ）、制御部１３０は、ステップＳ７に戻り、携帯端末１０からのデータ受信を待機する（ステップＳ７）。

以上、説明したように本実施形態は、スクリーンＳＣに投射された投射画像のうち、プロジェクター１００のユーザーにより選択された領域の画像データである第１部分画像データが、選択された携帯端末１０に送信される。また、携帯端末１０では、プロジェクター１００から受信した第１部分画像データが表示パネル５２に表示されるので、携帯端末１０のユーザーは、第１部分画像を参照しながら表示パネル５２に対して操作入力を行うことができる。ユーザーの操作に応じた操作画像データが携帯端末１０で生成されて、第１部分画像データに重畳され、第２部分画像データとしてプロジェクター１００に送信されるので、プロジェクター１００は、簡単な処理により第２投射画像を投射画像に重畳させることができる。従って、携帯端末１０からの直感的な操作入力により、画像をスクリーンＳＣに投射することができる。

［第２実施形態］
添付図面を参照しながら本発明の第２実施形態について説明する。
図７に、本実施形態の携帯端末１０の構成の一例を示す。本実施形態の携帯端末１０は、図２に示す第１実施形態の携帯端末１０と比較して、画像生成部２２を有していない。本実施形態の表示制御部２１は、ユーザーの接触操作の操作位置を示す座標情報（操作データ）を、制御データとして通信制御部１３２に渡す。座標情報は、タッチスクリーン５３上の座標を示す情報である。通信制御部１３２は、座標情報を、無線通信部４０を介してプロジェクター１００に送信する。

プロジェクター１００の表示制御部１３３は、携帯端末１０から制御データを受信すると、受信した制御データから座標情報を取得する。表示制御部１３３は、取得した制御データから座標情報を取り出すと共に、記憶部１５１から解像度情報１５１２を読み出す。表示制御部１３３は、座標情報と、解像度情報１５１２とに基づいて、操作画像データを生成する。座標情報は、表示パネル５２（タッチスクリーン５３）の座標情報であるため、表示制御部１３３は、解像度情報１５１２を参照して、表示パネル５２の解像度で操作画像データを生成する。なお、操作画像データは、表示パネル５２の表示面を接触操作したユーザーの指や電子ペン等の軌跡を表す画像データであり、例えば、文字や図形等が含まれる。表示制御部１３３は、操作画像データを生成すると、記憶部１５１から位置情報を読み出す。位置情報は、部分画像データを切り出した投射画像データ中の位置を示す情報である。表示制御部１３３は、操作画像データを位置情報と共に画像処理部１２５に渡す。

画像処理部１２５は、表示制御部１３３から取得した操作画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像の第１部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。

以上説明したように本実施形態は、ユーザーの操作に応じた座標情報が携帯端末１０において生成され、プロジェクター１００に送信される。従って、携帯端末１０は、ユーザーの操作を検出して座標情報を生成するだけの処理を行えばよいため、携帯端末１０の処理負荷が軽減される。また、プロジェクター１００は、携帯端末１０から取得した座標情報に基づいて画像を生成し、スクリーンＳＣの所定位置に投射させる。従って、携帯端末１０からの直感的な操作入力により、画像をスクリーンＳＣに投射することができる。

本実施形態の表示システム１は、プロジェクター１００と携帯端末１０とを備えている。プロジェクター１００は、画像データに基づく画像をスクリーンＳＣに表示させる。携帯端末１０は、操作を受け付けるタッチスクリーン５３と、タッチスクリーン５３に対する操作を検出する操作検出部５５と、画像を表示する表示パネル５２とを備えている。プロジェクター１００は、スクリーンＳＣに表示された画像の少なくとも一部の画像データを携帯端末１０に送信する。携帯端末１０は、少なくとも一部の画像データを表示パネル５２に表示している間に操作検出部５５で検出された操作の位置に対応する操作データをプロジェクター１００に送信する。プロジェクター１００は、操作データに基づく画像を表示させる。従って、携帯端末１０と、プロジェクター１００とが分離した構成において、携帯端末１０による直感的な操作入力を可能にすることができる。

表示システム１において、プロジェクター１００は、携帯端末１０に送信する少なくとも一部の画像データと、スクリーンＳＣにおける表示位置とを対応付ける。そして、プロジェクター１００は、操作データに基づく画像を、少なくとも一部の画像データに対応付けられた、スクリーンＳＣの表示位置に表示する。従って、携帯端末１０に送信した画像の表示位置に、携帯端末１０により受け付けた操作に応じた画像を表示させることができる。

表示システム１は、複数の携帯端末１０を備えている。プロジェクター１００は、複数の携帯端末１０のそれぞれに送信する少なくとも一部の画像データと、スクリーンＳＣにおける表示位置とを対応付けている。プロジェクター１００は、携帯端末１０から操作データを受信すると、携帯端末１０に送信した少なくとも一部の画像データに対応付けられたスクリーンＳＣの表示位置に、操作データに基づく画像を表示する。従って、各携帯端末１０に送った画像データに応じたスクリーンＳＣの表示位置に、操作データに基づく画像を表示させることができる。

表示システム１において、携帯端末１０は、操作データとして、指示位置を示す表示パネル５２上の座標情報をプロジェクター１００に送信する。プロジェクター１００は、携帯端末１０から受信した座標情報に基づく画像を生成して、スクリーンＳＣに表示させる。従って、携帯端末１０は、入力を受け付けた座標情報をそのままプロジェクター１００に送信すれば、プロジェクター１００で座標情報に基づく画像が表示されるので、携帯端末１０の処理負荷を軽減させることができる。

表示システム１において、携帯端末１０は、タッチスクリーン５３に対する操作に基づいて、文字と図形との少なくとも一方を含む画像データを生成して、生成した画像データを操作データとしてプロジェクター１００に送信する。従って、携帯端末１０において受け付けた操作に応じた画像データを生成して、プロジェクター１００で表示させることができる。

表示システム１において、携帯端末１０は、生成した画像データを、少なくとも一部の画像データに重畳した画像データを生成してプロジェクター１００に送信する。従って、携帯端末１０の受け付けた操作に基づいて生成した画像を、プロジェクター１００で表示されている画像に重畳させて表示することができる。

上述した実施形態は、本発明の好適な実施形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。例えば、上記各実施形態では、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を表示装置の一例として示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶表示パネルに画像を表示する液晶モニターまたは液晶テレビを表示装置として採用してもよい。ＰＤＰ（プラズマディスプレイパネル）、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いてもよい。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro Luminescence）ディスプレイ等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置を採用してもよい。これらの表示装置を備えた構成において本発明を適用した場合も、上記実施形態と同様に、有用な効果が得られる。
また、本発明の入力装置は、上記各実施形態では、入力装置として、ユーザーが手に持って操作する小型の装置である携帯端末１０を例に挙げて説明したが、本発明はこれに限定されない。すなわち、上記実施形態の携帯端末１０は、ユーザーが手指を接触させて操作が可能なタッチスクリーン５３と表示パネル５２とを備えることで、直感的な操作が可能であり、高い操作性を有するという利点がある。その一方で、第２表示面と操作面とを備える装置であれば本発明を適用可能であり、例えば携帯型ゲーム機、音楽や映像を再生する携帯型再生装置、表示画面を有するリモコン装置等を入力装置とすることができる。

また、図２及び図３に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、表示システム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…表示システム、１０…携帯端末（入力装置）、２０…制御部、２１…表示制御部、２２…画像生成部、２３…通信制御部、３０…記憶部、４０…無線通信部（第２の送信部）、５１…表示部（第２の表示部）、５２…表示パネル（第２表示面）、５３…タッチスクリーン（操作面）、５５…操作検出部（検出部）、１００…プロジェクター（表示装置）、１１０…投射部（第１の表示部）、１１２Ａ…液晶パネル、１２５…画像処理部、１２６…フレームメモリー、１３０…制御部、１３１…投射制御部、１３２…通信制御部、１３３…表示制御部、１５１…記憶部、１５３…入力処理部、１５６…無線通信部（第１の送信部、送信部、受信部）、１５１１…端末識別情報、１５１２…解像度情報。

Claims (8)

1. 表示装置と、入力装置とを有する表示システムであって、
   前記表示装置は、
   画像データに基づく画像を第１表示面に表示させる第１の表示部と、
   前記第１表示面に表示された画像の一部を切り出した部分画像の画像データを前記入力装置に送信する第１の送信部と、
   前記第１表示面に表示された画像に対する前記部分画像の位置情報を記憶する記憶部と、を有し、
   前記入力装置は、
   操作を受け付ける操作面と、
   前記操作面に対する操作を検出する検出部と、
   前記部分画像を第２表示面に表示させる第２の表示部と、
   前記部分画像を前記第２表示面に表示している間に前記検出部で検出された操作の位置に対応する操作データを前記表示装置に送信する第２の送信部と、を有し、
   前記第１の表示部は、
   前記位置情報に対応する位置に対して、前記操作データに基づく画像を表示することを特徴とする表示システム。
2. 前記入力装置は、前記第２表示面の解像度情報を前記表示装置に送信し、
   前記表示装置は、前記入力装置の前記第２表示面の解像度情報に応じて、前記入力装置に送信する前記部分画像の画像データのサイズを変換することを特徴とする請求項１記載の表示システム。
3. 前記入力装置を複数備え、
   前記記憶部は、前記第１の送信部が前記部分画像を送信した入力装置と、前記位置情報とを対応付けて記憶することを特徴とする請求項１記載の表示システム。
4. 前記入力装置は、前記操作データとして、前記検出部で検出された操作の位置を示す前記操作面上の座標情報を前記表示装置に送信し、
   前記表示装置は、前記入力装置から受信した前記座標情報に基づく画像を生成して、前記第１表示面に表示させることを特徴とする請求項１記載の表示システム。
5. 前記入力装置は、前記操作面に対する操作に基づいて、文字と図形との少なくとも一方を含む画像データを生成して、生成した前記画像データを前記操作データとして前記表示装置に送信することを特徴とする請求項１記載の表示システム。
6. 前記入力装置は、生成した前記画像データを、前記部分画像の画像データに重畳した画像データを生成して前記表示装置に送信することを特徴とする請求項５記載の表示システム。
7. 画像データに基づく画像を第１表示面に表示する表示装置であって、
   前記第１表示面に表示された画像の一部を切り出した部分画像と、前記第１表示面に表示された画像に対する前記部分画像の位置情報とを記憶する記憶部と、
   前記部分画像の画像データを外部装置に送信する送信部と、
   前記外部装置で受け付けた操作の操作情報を前記外部装置から受信する受信部と、
   前記位置情報に対応する位置に対して、前記操作情報に基づく画像を表示する表示部と、を有することを特徴とする表示装置。
8. 表示装置と、入力装置とを有する表示システムにおける表示方法であって、
   前記表示装置において、画像データに基づく画像を第１表示面に表示させるステップと、
   前記第１表示面に表示された画像の一部を切り出した部分画像の画像データを前記入力装置に送信するステップと、
   前記第１表示面に表示された画像に対する前記部分画像の位置情報を記憶するステップとを有し、
   前記入力装置において、前記部分画像の画像データに基づく画像を第２表示面に表示させるステップと、
   前記部分画像の画像データを前記第２表示面に表示している間に、操作を受け付ける操作面に対する操作を検出するステップと、
   検出された操作の位置に対応する操作データを前記表示装置に送信するステップと、を有し、
   前記表示装置において、前記操作データに基づく画像を前記第１表示面に表示させるステップと、
   前記位置情報に対応する位置に対して、前記操作データに基づく画像を表示するステップを有することを特徴とする表示方法。

Images