JP6801947B2 - 表示装置、表示制御方法および表示システム - Google Patents

Description

本発明は、表示装置、表示制御方法および表示システムに関する。

表示装置には、表示領域に対し、電子ペンやユーザーの指などの指示体を用いて各種指示を入力する機能を有するものがある（特許文献１参照）。この機能によれば、背景画像への画像オブジェクト（いわゆるアノテーション）の描画のほか、アプリケーションウィンドウのスクロールなどアプリケーションに対する種々の操作を、表示装置を制御するコンピューターから離れた場所にて行うことができる。例えば、ユーザーは、文書作成アプリケーションやプレゼンテーション用のスライドを作成するアプリケーションが実行されている状態で、表示されている画面（背景画像）に重ねてアノテーションを描画することで、観衆に着目させたい箇所を強調することができる。

ここで、上記指示体を複数同時に用いることで、入力内容の多様化を図ることが提案されている（特許文献１）。

特開２０１１―１４３５５７号公報

しかし、複数の指示体それぞれに異なる機能を持たせ、ユーザーにそれらを同時に使用させる場合、操作内容が複雑化し、誤操作を誘発する可能性がある。特許文献１に記載の技術では、複数の指示体を用いた場合の入力内容の多様化に伴う誤操作の防止あるいは操作の確実性向上という点が考慮されていない。
本発明は、入力内容の多様性を確保しつつ操作性を向上させることを目的とする。

本発明は、画像供給装置から第１画像を取得する取得部と、指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定する検出部と、該特定された位置に基づいて第２画像を生成し、該取得した第１画像と当該第２画像とを重ねた第３画像を生成する生成部と、前記第３画像を表示する表示部と、前記第２指示体の位置を表す情報の供給先を前記生成部または前記画像供給装置のいずれかに指定する指定部と、該検出された指示体が前記第１指示体である場合は、当該指示体の位置を表す情報を前記生成部に供給する一方、該検出された指示体が前記第２指示体である場合は、当該指示体の位置を表す情報を該指定された供給先に供給する制御部とを有する表示装置を提供する。
この表示装置によれば、ユーザーが一方の指示体を用いることで描画操作以外のユーザーの意図しない操作が入力される可能性を排除しつつ、他方の指示体を用いることで描画以外の種々の操作を入力することができる。すなわち、誤操作の防止と入力機能の多様性とが両立する。

前記第２指示体の位置を表す情報の供給先の指定は、前記第２指示体を用いて表示面上の位置を指定することによって行われてもよい。
この表示装置によれば、情報の供給先の切替えを容易に行うことができる。

前記第２指示体の位置を表す情報の供給先が前記生成部に設定されている場合において、該特定された第２指示体の位置が表示面上の所定領域の内部である場合、前記制御部は当該位置を表す情報を前記生成部に供給し、前記生成部は、該供給された情報に基づいて前記第２画像の属性を決定してもよい。
この表示装置によれば、第１指示体による入力操作を阻害することなく、描画属性を変更することができる。

前記生成部は、前記属性を指定するための画像オブジェクトを表示し、前記特定された第２指示体の位置に基づいて、当該画像オブジェクトの位置または大きさの変更、消去、消去された画像オブジェクトの再表示のうち少なくともいずれか一つを実行してもよい。
この表示装置によれば、現在、各指示体が描画専用として設定されているのか描画兼用として設定されているかについて、迅速かつ容易にユーザーに理解させることができる。

前記生成部は、該指定された供給先に応じて異なる、前記第１指示体および前記第２指示体の少なくともいずれかについての位置を示す画像オブジェクトを表示してもよい。
この表示装置によれば、現在、各指示体が描画専用として設定されているのか描画兼用として設定されているかについて、迅速かつ容易にユーザーに理解させることができる。

前記生成部は、前記指定部において供給先が変更されると、所定期間、指定されている供給先を示す画像オブジェクトを表示してもよい。
この表示装置によれば、指示体が現在描画専用として設定されているのか描画兼用として設定されているかについての変更があったことを報知する際に、その後の操作や画面の視認性に支障をきたす虞が低減される。

前記第１指示体の位置を表す情報の供給先が固定である第１動作モードと、当該情報の供給先として前記画像供給装置または前記生成部のいずれかが前記指定部にて指定される第２動作モードを備え、前記制御部は、前記第１動作モードで動作している場合は、前記第１指示体の位置を表す情報を前記生成部に供給する一方、前記第２動作モードで動作している場合は、前記第１指示体の位置を表す情報を前記第１指示体について該指定された供給先に供給してもよい。
この表示装置によれば、第２動作モードに切替えて２つの指示体を両方とも独立して描画兼用として機能させることで、指示体を用いた入力態様の多様性がさらに増す。

前記指定部にて、前記第１指示体の位置を表す情報の供給先および前記第２指示体の位置を表す情報の供給先がともに前記生成部に指定されている場合において、前記生成部は、第１の画像オブジェクトおよび第２の画像オブジェクトを含む前記第３画像を生成し、前記第１指示体によって指定された前記第１の画像オブジェクト内の位置に基づいて、前記第１指示体の位置に基づいて生成される第２画像の属性を指定し、前記第２指示体によって指定された前記第２の画像オブジェクト内の位置に基づいて、前記第２指示体の位置に基づいて生成される第２画像の属性を指定してもよい。
この表示装置によれば、２つの指示体を同時に使用して描画を行う場合に、画像の属性をそれぞれ変更するための操作が容易になる。

他の好ましい態様において、前記制御部は、前記第２指示体を用いた所定の操作を受け付けると、表示されている第２画像を表すデータを前記画像供給装置に送信してもよい。
この表示装置によれば、表示装置にて生成された画像データを画像供給装置にて事後的に利用することができる。

前記第１指示体および前記第２指示体はそれぞれ異なる色に着色されており、前記検出部は、指示体の色に基づいて当該指示体が前記第１指示体であるか前記第２指示体であるか特定してもよい。
この表示装置によれば、識別が容易な２つの指示体を用いて、多様な入力をすることができる。

前記指示体の形状が、第１端および第２端を有しており、前記検出部は、前記第１端を前記第１指示体として、前記第２端を前記第２指示体として特定してもよい。
この表示装置によれば、単一の指示体を用いて多様な入力をすることができる。

本発明は、他の観点において、画像供給装置から第１画像を取得するステップと、指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定するステップと、該特定された位置に基づいて第２画像を生成し、該取得した第１画像と合成するステップと、前記第２指示体の位置を表す情報の供給先を前記画像処理部または前記画像供給装置のいずれかに指定するステップと、該検出された指示体が前記第１指示体である場合は、当該指示体の位置を表す情報を前記画像処理部に供給する一方、該検出された指示体が前記第２指示体である場合は、当該指示体の位置を表す情報を該指定された供給先に供給するステップと、を有する表示制御方法を提供する。
この表示制御方法によれば、一方の指示体を用いることで描画操作以外のユーザーの意図しない操作が入力される可能性を排除しつつ、他方の指示体を用いることで描画以外の種々の操作を入力することができる。すなわち、誤操作の防止と入力機能の多様性とが両立する。

本発明は、さらに他の観点において、画像供給部と、画像供給部から第１画像を取得する取得部と、指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定する検出部と、該特定された位置に基づいて第２画像を生成し、該取得した第１画像に重ねて表示する画像処理部と、前記第２指示体の位置を表す情報の供給先を自装置または前記画像供給装置のいずれかに指定する指定部と、該検出された指示体が前記第１指示体である場合は、当該指示体の位置を表す情報を前記画像処理部に供給する一方、該検出された指示体が前記第２指示体である場合は、当該指示体の位置を表す情報を該指定された供給先に供給する制御部と、を有する表示システムを提供する。
この表示システムによれば、一方の指示体を用いることで描画操作以外のユーザーの意図しない操作が入力される可能性を排除しつつ、他方の指示体を用いることで描画以外の種々の操作を入力することができる。すなわち、誤操作の防止と入力機能の多様性とが両立する。

本発明によれば、入力内容の多様性を確保しつつ操作性が向上する。

表示システム１００の概要を示す図。 ＰＣ２００の機能を示す図。 プロジェクター３００の機能を示す図。 プロジェクター３００の動作例（その１）を示す図。 動作モードの設定内容を概念的に示す図。 プロジェクター３００の動作例（その２）を示す図。 表示面５００の例を示す図。 表示面５００の例（その２）を示す図。 画像の保存処理を概念的に示す図。 表示面５００の例（その３）を示す図。 表示面５００の例（その４）を示す図。

図１は表示システム１００の概要を示す。表示システム１００は、ＰＣ２００、プロジェクター３００、複数の指示体４００（指示体４００−１および指示体４００−２）、および表示面５００を含む。ＰＣ２００は、本発明における画像供給装置に相当するものであり、文書作成アプリケーションや画像閲覧アプリケーションなどを実行可能な一般的なパーソナルコンピューターである。ＰＣ２００は、表示面５００で表示すべき画像（例えばＰＣ２００で実行中のアプリケーションの画面）のデータをＰＣ２００に接続されたプロジェクター３００に供給する。プロジェクター３００は表示装置の一例であって、一般的なプロジェクターとしての機能を有し、ＰＣ２００から供給された画像データに基づく画像を表示面５００に投写する。表示面５００は、専用のスクリーンまたは壁面である。

指示体４００は、ユーザーによって把持される電子ペン等の入力デバイス、あるいはユーザー自身の手や指である。なお、２つの指示体４００−１および指示体４００−２は、一人のユーザーによって使用されてもよいし、２人のユーザーによって使用されてもよい。また、指示体４００−１、指示体４００−２はともにペンであってもよいし、ともに指であってもよい。また、指示体４００の数は任意である。同図では、指示体４００−２はユーザーの指であり、指示体４００−１は当該ユーザーが使用する電子ペンである例を示している。

ユーザーは、各指示体４００を用いて表示面５００内の位置を指定することで、表示面５００上に、ＰＣ２００から供給される画像データに基づく画像に重ねて画像オブジェクトを描画したり、ＰＣ２００で動作しているアプリケーションプログラムに当該位置に対応する動作を実現させたりすることができる。例えば、ＰＣ２００において文書閲覧アプリケーションが起動され、そのアプリケーションに関するウィンドウが表示されている場合、当該画面に重ねて線や図形（アノテーション）などの描画のほか、画面の拡大・縮小、ウィンドウのスクロール、他のアプリケーションの起動や切替え等が、指示体４００を操作することによって行われる。

図２は、ＰＣ２００の機能を示す。ＰＣ２００は、通信部２１０、画像処理部２４０、制御部２３０、表示部２６０、記憶部２５０、入力部２２０を含む。
通信部２１０は、通信インターフェースであって、送信部２１１および受信部２１２を含む。受信部２１２は、プロジェクター３００から操作情報Ｄｐを受信して制御部２３０に供給する。送信部２１１は、画像処理部２４０から供給された第１画像ＩＭ１をプロジェクター３００に送信する。

制御部２３０は、ＣＰＵ（Central Processing Unit）等のプロセッサーによって実現され、文書作成アプリケーションや画像閲覧アプリケーションなどの各種アプリケーションプログラムを実行する。さらに、制御部２３０は、受信部２１２から操作情報Ｄｐを取得すると、操作情報Ｄｐに含まれる座標を当該アプリケーションプログラムに引き渡す。この座標に基づいて、アプリケーションプログラムに規定された動作（ページの切替え、拡大・縮小、画面のスクロールなど）が特定される。そして、制御部２３０は、特定された動作が画面の更新を伴うものである場合は、画面の更新の命令を画像処理部２４０に出力する。

画像処理部２４０は、画像処理プロセッサー等によって実現され、制御部２３０から供給される命令に基づいて、アプリケーションの実行結果等を表す画像である第１画像ＩＭ１を生成する。生成された第１画像ＩＭ１は、表示部２６０および送信部２１１に供給される。表示部２６０は、液晶ディスプレイ等の表示装置であって、第１画像ＩＭ１に基づく画像を表示する。入力部２２０はキーボードやマウスなどの入力装置であって、ユーザーの指示や命令を制御部２３０に入力する。記憶部２５０は、ハードディスクや半導体メモリー等の記憶装置であって、制御部２３０で実行されるＯＳやアプリケーションプログラム、プロジェクター３００から供給された画像データなどを格納する。

図３はプロジェクター３００の機能を示す。プロジェクター３００は一般的なプロジェクターとしての機能を備える。すなわち、ＰＣ２００から供給される第１画像ＩＭ１に基づいた画像を表示面５００に投写する。
具体的には、プロジェクター３００は、検出部３１０、制御部３２０、通信部３３０、描画部３４０、投写部３５０、記憶部３８０を含む。通信部３３０はＰＣ２００から供給される第１画像ＩＭ１を取得する。

検出部３１０は、指示体４００が表示面５００上の位置を指定したことを検知する。そして、該位置の座標を算出するとともに、該位置を指定したのが指示体４００−１か指示体４００−２かを判別（特定）する。

指示体の位置の特定については、検出部３１０に光源および光センサを設け、可視光や赤外光を表示面５００に向けて照射し、反射光を受信して解析することにより、指示体４００−１および指示体４００−２の存在およびその指し示す位置を特定する方法を採用することができる。「指示体の位置」とは指示体が表示面を指し示した位置のことを言う。
あるいは、一の指示体４００が無線送信機能を有するデバイスである場合、当該指示体４００からの電波を受信し、受信強度等に基づいて表示面５００内の当該指示体４００の位置を決定してもよい。
あるいは、各指示体４００にＬＥＤ（Light Emitting Diode）等の発光機構を設ける一方、検出部３１０にカメラを設け、表示面５００を断続的に撮像し、得られた画像を逐次解析することで、各指示体の位置を特定してもよい。

各指示体の判別方法については、受信した反射光の特性に基づいて指示体４００の形状を特定する方法を採用することができる。または、形状が同一の指示体４００を判別する必要がある場合は、例えば各指示体４００に固有のＩＤ（identification）を無線送信する機能を設け、検出部３１０にＩＤを受信させることよって行ってもよい。この場合、その存在および位置は確認できるが固有のＩＤが受信できない場合は、その指示体は指であると判定する。あるいは、指示体４００ごとに異なる波長の光を発光させ、受信した光の波長に基づいて各指示体４００を判別したり、指示体４００ごとに異なるパターンで発光させ、受信した発光パターンに基づいて各指示体４００を判別してもよい。

そして、検出部３１０は、判別した指示体の識別子、算出した座標、およびイベント内容を含む操作情報Ｄｐを生成する。識別子とは、各指示体４００に固有に割り当てられるものであり、この識別子に基づいて指示体４００が指示体４００−１なのか指示体４００−２なのかを特定することができる。座標とは、指定された位置の表示面５００内の座標である。イベント内容とは、検出のタイミングに基づいて判断され、指定が行われたか（表示面にタッチされたか）、指定が解除されたか（表示面から指が離れたか）という、座標値以外の、操作内容や指示体の状態を示す情報である。生成された操作情報Ｄｐは、逐次、制御部３２０および設定部３６０に供給される。

設定部３６０は本発明における指定部を含み、プロセッサーよって実現され、指示体４００−１および指示体４００−２の少なくともいずれか一方について、その入力機能を設定する。具体的には、指示体４００を、プロジェクター３００における第２画像ＩＭ２の描画に関する指示（描画する位置の指示、およびその画像の属性（色、太さ、線種、その他の描画方法についての指示；以下において同じ）の指定）を入力するデバイスとして機能させるか（描画モードという）、ＰＣ２００で処理させるための指示を入力するデバイスとして機能させるか（マウスモードという）が設けられている。換言すると、設定部３６０は、各指示体４００に関する操作情報Ｄｐの引き渡し先として、描画部３４０（描画モード）または制御部２３０（マウスモード）のいずれか一つを指定する。マウスモード／描画モードが設定されていない指示体４００があってもよい。この場合は、予め決められたモードが与えられる。

具体的には、設定部３６０は検出部３１０から供給された操作情報Ｄｐに基づいて操作信号Ｓｍを生成し、制御部３２０に出力する。
設定部３６０にて操作情報Ｄｐの引き渡し先として描画部３４０が指定されている場合、操作信号Ｓｍには操作情報Ｄｐを描画部３４０に出力する命令が記述される。一方、操作情報Ｄｐの引き渡し先としてＰＣ２００に指定されている場合、操作信号Ｓｍには操作情報Ｄｐを通信部３３０に出力する命令が記述される。設定部３６０における設定の一例としては、操作情報Ｄｐの識別子によって指示体４００−１を用いて行われたことを検知した場合は操作情報Ｄｐを常に描画部３４０へ出力する一方、指示体４００−２を用いて行われた場合は操作情報Ｄｐを通信部３３０へ出力するように、制御部３２０が制御される。

制御部３２０は、選択回路によって実現され、操作信号Ｓｍによって指定される供給先に、検出部３１０から受信した操作情報Ｄｐを出力する。

設定部３６０による描画モード／マウスモードの指定およびその変更は、ユーザーが、所望のタイミングで、指示体４００を用いて表示面５００上の所定位置を指定することによって行われる。

描画部３４０は、描画処理プロセッサーによって実現され、操作情報Ｄｐに基づいて第２画像ＩＭ２を生成する。さらに、描画部３４０は、通信部３３０から供給された第１画像ＩＭ１と該生成された第２画像ＩＭ２とを合成し、合成画像（第３画像の一例）を生成する。これに加えて、描画部３４０は、指示体４００を用いて画像の属性を指定・変更するための画像オブジェクト（以下、ツールパレットという）や、指示体の現在位置を示す画像などの、指示体４００の入力内容を規定するための画像を生成し、第１画像ＩＭ１および第２画像ＩＭ２と合成して合成画像を生成する。すなわち描画部３４０は、合成画像を生成する生成部の一例である。

合成された画像を表す画像信号は投写部３５０に出力される。また、指示体４００を用いて所定の操作が行われると、描画部３４０は、第１画像ＩＭ１および第２画像ＩＭ２をＰＣ２００へ出力する。

投写部３５０は、光源（レーザーなど）、レンズ、ミラー、プリズム等の投写機構、各色に対応する液晶パネルなどの光学素子を含み、光源からの光を画像信号に基づいて変調する変調機構、変調された光を投写部３５０へ導く光学系によって実現される。投写部３５０は、描画部３４０により生成された合成画像を表示面５００上に投写する。すなわち投写部３５０は、合成画像を表示する表示部の一例である。

記憶部３８０は、半導体メモリーやハードディスク等の記憶装置であって、プロジェクター３００の起動時に描画部３４０にて実行され、後述する、第１画像ＩＭ１と第２画像ＩＭ２との合成表示に関する動作を実現するためのプログラムが記憶される。

図４は、プロジェクター３００にて指示体４００に関して行われる動作の例（その１）を示す。予めマウスモードか描画モードが所定の方法で設定されているとする。また、以下の説明において、描画部３４０が画像を表示面５００に表示する、という表現を用いることがあるが、これは描画部３４０がその画像を生成し、これを投写部３５０が表示面５００に表示することを意味する。

指示体４００を検知すると、検出部３１０は、それが指示体４００−１（ここでは電子ペンであるとする）であるか、指示体４００−２（ここでは指であるとする）を判定する（Ｓ６００）。指示体４００−１である（すなわちペンによる操作が行われた）と判定された場合、描画部３４０は制御部３２０から供給された操作情報Ｄｐに基づいて第２画像（アノテーション画像）ＩＭ２を描画する（Ｓ６０２）。一方、指示体４００−２である（すなわち指による位置指定が行われた）と判定された場合、設定部３６０は現在設定されているのがマウスモードであるか描画モードかを判定する（Ｓ６０４）。描画モードに設定されている場合は、プロジェクター３００内部で処理することと決定する（Ｓ６０６）。続いて、その操作が点や線の位置を指定するための操作（ペン操作という）であるか、描画される画像の属性を指定するための操作（以下、パレット操作という）であるかを判定する
（Ｓ６０９）。

各指示体４００による操作がペン操作なのかパレット操作なのかの判定は、以下に示す方法によって行う。描画部３４０は、ペン操作とパレット操作に対応する２つの画像オブジェクトを表示面５００に表示し、一方のオブジェクトのいずれかがタッチされると、それ以後の入力は全てペン操作であると判定し、他方のオブジェクトのいずれかがタッチされると、それ以後の入力は全てパレット操作であると判定する。
あるいは、事前にユーザーがペン操作またはパレット操作を指定するのではなく、操作情報Ｄｐに基づいて、検知した操作がペン操作であるかパレット操作を自動的に判定してもよい。例えば、指定された位置が表示面５００内の所定領域内である場合はパレット操作であり、それ以外の領域ではペン操作であると判定する。

ペン操作である場合、描画部３４０はその座標に基づいて描画を実行する（Ｓ６１０）。パレット操作である場合、描画部３４０は、現在設定されている画像の描画に関する属性を、指定した位置に割り当てられた画像の属性に変更する（Ｓ６１２）。

一方、Ｓ６０４においてマウスモードに設定されている場合、当該操作情報ＤｐをＰＣ２００へ出力する（Ｓ６０８）。ＰＣ２００が操作情報Ｄｐを受信すると、制御部２３０は、操作情報Ｄｐに基づいて操作内容を解析し、それが第１画像ＩＭ１の描画に関する操作なのかウィンドウ制御等のマウス操作なのかを判定する（Ｓ６１４）。判定結果に応じて、画像処理部２４０にて第１画像ＩＭ１の生成（Ｓ６１６）または制御部２３０におけるアプリケーション制御（Ｓ６１８）が行われる。

上記実施例によれば、表示面内の位置を指定する２つの指示体を用いて第２画像ＩＭ２の描画および第２画像ＩＭ２の描画以外の各種操作を行う場合に、一方の指示体はペンとして機能し、他方の指示体は描画および各種操作用（描画兼用）のいずれかとして機能する。ユーザーは一方の指示体を用いることで描画操作以外のユーザーの意図しない操作が入力される可能性（例えば線を書こうと思ったのに画面のスクロールされてしまうなど）を排除しつつ、他方の指示体を用いることで描画以外の種々の操作を入力することができる。換言すると、上記実施例によれば、誤操作の防止と入力機能の多様性とが両立する。

他方の指示体については、ユーザーが描画モードまたはマウスモードに適宜設定することで、状況に応じて、描画に関する操作（すなわち線図などの描画内容の入力または画像の属性の指定）とマウス操作に切替えることができる。描画モードを指定した場合は、２つの指示体のそれぞれをペンとして機能させ、もしくは一方がペンとして他方がパレット操作用のデバイスとして機能させる、といった使い方ができる。この場合、ユーザーは、２つの指示体を同時に使用することで、少ない操作量（操作時間）で複雑な描画表現を行うことができる。
一方、マウスモードを指定しておけば、一方の指示体でペン操作を行い、他方の指示体で画面の拡大・縮小、切替え等の操作を行うという使い方ができる。逐一機能を切替えるための操作を行うことなく、常に描画操作とマウス操作を並列して行うことができる。具体的には、ユーザーは、右手に持ったペンにて描画をし、左手の指にてアプリケーション画面のスクロールなどをすることが可能となる。

＜その他の実施例＞
上記実施例では、指示体４００−２については描画モードまたはマウスモードを指定することで複数の機能を発揮することができるようになっているのに対し、指示体４００−１については機能が固定されていた。しかし、指示体４００−１についても機能を可変に設定してもよい。換言すると、指示体４００−１と指示体４００−２に与える機能の組み合わせを、ユーザーが変更できるようにしてもよい。具体的には、各指示体４００に与える機能（または制限する機能）の組み合わせとして定義される動作モードを複数個定義し、このなかから一つをユーザーの指示に応じて設定部３６０が選択的に適用する。

図５は、動作モードの設定内容の例を概念的に示す。動作モード１は、指示体４００−１については描画モードにおける操作（ペン操作ないしパレット操作）のみを許容し、指示体４００−２については、ペン操作、パレット操作、ＰＣ出力のいずれも許容するような設定である。このモードでは、入力内容の多様性と誤操作防止とを両立したい場合に有効である。

動作モード２は、指示体４００−１も指示体４００−２も、描画モードにおけるペンまたはパレット操作デバイス、ＰＣ出力（マウスモード）のいずれとしても機能することが可能なモードである。換言すると、動作モード２では、それぞれ描画モードとマウスモードとを兼用する２つの指示体が独立して動作する。この動作モードでは、描画を行う際に２つの指示体を同時に用いることで、短時間で複雑な内容を入力することができる。加えて、２つの指示体の使い方をユーザーの好みや状況等に合わせることができる。

動作モード３は、指示体４００−１は描画モードにおけるペン専用として、指示体４００−２は描画モードにおけるパレット操作専用のデバイスとして機能するモードである。このモードでは、いずれの指示体も描画モードとして機能する。つまり、入力された位置情報は全て第２画像ＩＭ２の描画に関係する情報に制限される。よって、動作モードの切替えがされない限り、アプリケーションの操作といった描画に関係しない操作を入力することが禁止される。
この動作モードにおいて、例えば、利き手でペン操作を行い、他方の手の指は画像の属性の変更操作を行うために用いるといった使い方が考えられる。この場合、手によって操作の役割分担が明確になっているので操作が分かり易くなる。よって、この動作モードは、操作に不慣れなユーザーや、慣れの程度に関係なく描画操作に専念したい場合に適しているといえる。

上述した動作例のうち、動作モード１と動作モード３は、本発明における第１動作モードに相当し、指示体４００−１に関する操作情報Ｄｐの供給先は固定される。動作モード２は、本発明における第２動作モードに相当し、指示体４００−１に関する操作情報Ｄｐは指定された供給先に供給される。

図６は、設定部３６０にて動作モードを導入した場合のプロジェクター３００の動作例を示す。なお、動作モードとして、上述した動作モード１および動作モード２が用意されており、予め、ユーザーの指定によりまたはプロジェクター３００によって自動的に、いずれか一つの動作モードが設定されているものとする。

図６に示す動作例が図４の例の動作と異なる点は、指示体と描画モード／マウスモードに加えて、動作モードに依存して指示体に与えられる機能が異なりうる点である。具体的には、指示体を判別すると（Ｓ６００）、指の場合は、図４の例と同じ処理を行うが、ペンの場合は、動作モードを判定し（Ｓ７００）、動作モード１が設定されている場合は、図４の場合と同様、ペン操作としてのみ機能する（Ｓ６０２）。一方、動作モード２が設定されている場合は、描画モードとマウスモードのいずれかが指定されているか判定され（Ｓ６０４）、図４の例と同様、その判定結果に応じて、ペン操作（アノテーション画像の描画）、画像の属性の設定、ＰＣ出力（画像データの生成またはアプリケーション制御）のいずれか一つとして機能する。すなわち、それぞれ描画操作とマウス操作とを兼用する２つの指示体が独立して動作する。

画像の属性を指定するために表示面５００に表示される画像オブジェクトに対し、指示体４００を操作することで、その位置または大きさの変更、消去、消去された画像オブジェクトの再表示のうち少なくともいずれか一つを実行してもよい。

当該画像オブジェクトの配置変更について、図７（ａ），（ｂ）を用いて具体的に説明する。同図の例では指示体４００−１も指示体４００−２も電子ペンであるとする。今、動作モード３が設定され、指示体４００−１はペン操作専用、指示体４００−２はパレット操作専用として機能していると仮定する。図７（ａ）に示すように、ユーザーは、指示体４００−１を用いて第２画像ＩＭ２を描画する一方、他方の手で（または同じ手で指示体４００−２に持ち替えて）、操作パネルＩＭ３内の所定位置を指定することで画像の属性を変更する。加えて、指示体４００−２を用いて操作パネルＩＭ３を所定の操作（例えばドラッグ）することで、操作パネルＩＭ３の位置を変更する。図７（ａ）の状態においてドラッグ操作が行われた結果、同図（ｂ）に示すように、操作パネルＩＭ３の位置が変更される。この配置の変更の結果、操作パネルＩＭ３に隠れていた第２画像ＩＭ２の部分が視認できるようになっている。
このように画像の属性を変更するための画像オブジェクトの配置をユーザーが変更できるようにすることで、描画済みの内容の視認性を阻害したり、描画用として使用する指示体４００の操作の妨げになったりすることがない。

画像の属性を変更するための画像オブジェクトを、各指示体の数だけ設けてもよい。
図８は、ツールパレットＩＭ４を表示面５００の左右両端に表示させた例を示す。右側のツールパレットＩＭ４は指示体４００−１によって指定された場合に、指示体４００−１を用いて描画される画像の属性が変更される。指示体４００−２にて指定されてもその指定は指示体４００−１を用いて描画される画像の属性を指定するとして処理されず、指示体４００−２によるペン操作であると処理されるもしくは無効な指定であると判定される。同様に、左側のツールパレットＩＭ４は指示体４００−２によって指定された場合に、指示体４００−２を用いて描画される画像の属性が変更される。指示体４００−１にて指定されてもその指定は指示体４００−２を用いて描画される画像の属性を指定するとして処理されず、指示体４００−１によるペン操作であると処理されるもしくは無効な指定であると判定される。
このように、各指示体４００に対応して専用のツールパレットを設けることで、複数の指示体４００を同時使用する際においてユーザーを混乱させることがない。

表示された第１画像ＩＭ１および第２画像ＩＭ２をＰＣ２００に保存してもよい。具体的には、ユーザーが指示体４００を用いて操作パネルＩＭ３の所定位置を指定すると、描画部３４０は、第１画像ＩＭ１および第２画像ＩＭ２を通信部３３０を介してＰＣ２００に出力する。ＰＣ２００はこの第１画像ＩＭ１および第２画像ＩＭ２を、互いに関連づけて、個別の画像ファイルとして、保存する。

図９に画像の保存処理を概念的に示す。図９の例では第１画像ＩＭ１はimage1(n).jpeg、第２画像ＩＭ２はimage2(n).jpegというJpeg（Joint Photographic Experts Group）形式の画像ファイルとして保存される。従来は、プロジェクター３００にて生成された第２画像ＩＭ２はＰＣ２００では把握できなかったので、このようにすれば、実際に表示面５００に表示された内容をＰＣ２００で再現することができる。また、第１画像ＩＭ１と第２画像ＩＭ２とを別ファイルとして保存しているので、再現するだけでなく、画像をさらに加工することも容易である。なお、保存されたデータは、電子メール等によりネットワークを介して他の装置に送信（出力）されてもよい。

各指示体に適用される機能の内容または操作モード／マウスモードの別を、画像を用いてユーザーに通知してもよい。図１０は、通知の例を示す。描画部３４０は、表示面５００上に、指示体４００−２が描画モード（ペン操作またはパレット操作のみ可能）が指定されている場合（同図（ａ））、ポインター画像ＩＭ５-１を指示体４００−２の位置の
近傍に表示し、マウスモードの場合（同図（ｂ））は、ポインター画像ＩＭ５−２を表示させる。

あるいは、操作モード／マウスモードが切替わったことを契機として、所定期間だけ、切替え後のモードを示す画像オブジェクトを表示してもよい。例えば、図１１に示すように、描画部３４０は、指示体４００−２が描画モードがマウスモードに切替わると、所定期間、ポインター画像ＩＭ５−２を点滅表示させる。
このように、指示体４００の機能に関する情報を画像によって通知することで、現在、各指示体４００に与えられている機能（具体的には描画専用なのか描画とＰＣ出力兼用なのか）について、迅速かつ容易にユーザーに理解させることができるので、誤操作の防止に寄与する。

３つ以上の指示体を識別してもよい。また、指示体を一意に判別するのではなく、指示体の種類などの属性（例えば、電子ペンなのか指なのか、あるいは長さが長いタイプの電子ペンなのか短いタイプのペンなのか）を判別するだけでもよい。要するに、少なくとも２種類の指示体のいずれかに属するかについて決定し、その結果を用いて当該指示体の機能が決定される。

指示体４００−１および指示体４００−２、並びに検出部３１０がこれらを判別（特定）する方法は、実施形態で例示したものに限定されない。例えば、指示体４００−１および指示体４００−２はいずれも電子ペンであって、その筐体がそれぞれ異なる色（例えば赤および緑）に着色されているものであってもよい。検出部３１０は、指示体の筐体の色によって、指示体が指示体４００−１であるか指示体４００−２であるか判別する。

別の例で、検出部３１０は、単一の指示体の一方の端部（第１端）を指示体４００−１として、指示体の一方の端部とは反対側の端部である他端（第２端）を指示体４００−２として認識してもよい。例えば、指示体が電子ペンである場合、ペン先（第１端）を指示体４００−１として、ペン尻（第２端）を指示体４００−２として認識してもよい。この場合、指示体の両端には発光素子およびその発光素子を発光させるためのボタンが設けられている。ユーザーは、第１端を用いるときは第１端側のボタンを押しながら位置の指定を行い、第２端を用いるときは電子ペンを持ち替えて第２端側のボタンを押しながら位置の指定を行う。この例によれば、例えば第１端を描画モードに、第２端をマウスモードに設定することにより、１本の指示体を持ち替えることで２つの動作モードを切り替えて使用することができる。

単一の指示体の第１端および第２端をそれぞれ指示体４００−１および指示体４００−２として用いる方法は上記のように発光のタイミングを異ならせるものに限定されない。例えば、第１端と第２端とにおいて、発光素子から出力する光の波長が異なっていてもよい。あるいは、第１端と第２端とにおいて、発光素子の発光パターン（発光強度の時間変化）が異なっていてもよい。さらに別の例で、発光素子を用いなくても、第１端と第２端とで形状または色が異なっており、形状または色に基づいて第１端と第２端が識別されてもよい。

また、ＰＣ２００における第１画像ＩＭ１の生成をおよびアプリケーションの制御機能をプロジェクター３００に統合してもよい。すなわち、ＰＣ２００とプロジェクター３００は物理的に独立したハードウェアとして実装する必要は必ずしもない。さらにこの場合、プロジェクター３００の投写機能を省略し、表示部２６０上の位置を複数の指示体４００を用いて指定し、表示部２６０に第１画像ＩＭ１および第２画像ＩＭ２を合成表示してもよい。すなわち、本実施形態に係る表示装置はプロジェクターに限定されず、液晶ディスプレイや有機ＥＬディスプレイ等、直視の表示装置であってもよい。

要するに、本発明の表示システムは、画像供給部と、画像供給部から第１画像を取得する取得部と、指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定する検出部と、該特定された位置に基づいて第２画像を生成し、該取得した第１画像と当該第２画像とを重ねた第３画像を生成する生成部と、前記第３画像を表示する表示部と、前記第２指示体の位置を表す情報の供給先を前記生成部または前記画像供給部のいずれかに指定する指定部と、該検出された指示体が前記第１指示体である場合は、当該指示体の位置を表す情報を前記生成部に供給する一方、該検出された指示体が前記第２指示体である場合は、当該指示体の位置を表す情報を該指定された供給先に供給する制御部とを有していればよい。

１００・・・表示システム、２００・・・ＰＣ、３００・・・プロジェクター、４００（４００−１、４００−２）・・・指示体、５００・・・表示面、２１０・・・通信部、２１１・・・送信部、２１２・・・受信部、２２０・・・入力部、２３０・・・制御部、２５０・・・記憶部、２４０・・・画像処理部、２６０・・・表示部、３１０・・・検出部、３２０・・・制御部、３３０・・・通信部、３５０・・・投写部、３４０・・・描画部、３６０・・・設定部、３８０・・・記憶部

Claims (11)

1. 表示装置であって、
   画像供給装置から第１画像を取得する取得部と、
   指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定する検出部と、
   生成部と、
   表示部と、
   前記検出部によって当該指示体が検出された場合、前記表示装置が動作する動作モードと検出された当該指示体に応じて、当該指示体の位置を表す情報の供給先を前記生成部に指定する描画モードまたは前記供給先を前記画像供給装置に指定するマウスモードのいずれかに指定する指定部と、
   当該指示体の位置を表す情報を該指定された供給先に供給する制御部と
   を有し、
   前記生成部は、前記第１画像と前記制御部から供給された指示体の位置を表す情報に基づいた第２画像とを重ねた第３画像を生成し、
   前記表示部は、前記第３画像を表示し、
   前記指定部は、
   前記動作モードが第１動作モードである場合に、前記第１指示体については前記描画モードに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、
   前記動作モードが第２動作モードである場合に、前記第１指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定する表示装置。
2. 前記第２指示体の位置を表す情報の供給先の指定は、前記第２指示体を用いて表示面上の位置を指定することによって行われる
   ことを特徴とする請求項１記載の表示装置。
3. 前記第２指示体の位置を表す情報の供給先が前記生成部に設定されている場合において、
   該特定された第２指示体の位置が表示面上の所定領域の内部である場合、前記制御部は当該位置を表す情報を前記生成部に供給し、
   前記生成部は、該供給された情報に基づいて前記第２画像の属性を決定する
   ことを特徴とする請求項１または２に記載の表示装置。
4. 前記生成部は、前記属性を指定するための画像オブジェクトを表示し、前記特定された第２指示体の位置に基づいて、当該画像オブジェクトの位置または大きさの変更、消去、消去された画像オブジェクトの再表示のうち少なくともいずれか一つを実行する
   ことを特徴とする請求項３に記載の表示装置。
5. 前記表示部は、前記指定部において供給先が変更されると、所定期間、指定されている供給先を示す画像オブジェクトを表示する
   ことを特徴とする請求項１ないし４のいずれか一つに記載の表示装置。
6. 前記指定部にて、前記第１指示体の位置を表す情報の供給先および前記第２指示体の位置を表す情報の供給先がともに前記生成部に指定されている場合において、
   前記生成部は、第１の画像オブジェクトおよび第２の画像オブジェクトを含む前記第３画像を生成し、前記第１指示体によって指定された前記第１の画像オブジェクト内の位置に基づいて、前記第１指示体の位置に基づいて生成される第２画像の属性を指定し、前記第２指示体によって指定された前記第２の画像オブジェクト内の位置に基づいて、前記第２指示体の位置に基づいて生成される第２画像の属性を指定する
   ことを特徴とする請求項１ないし５のいずれか一つに記載の表示装置。
7. 前記制御部は、前記第２指示体を用いた所定の操作を受け付けると、表示されている第２画像を表すデータを前記画像供給装置に送信する
   ことを特徴とする請求項１ないし５のいずれか一つに記載の表示装置。
8. 前記第１指示体および前記第２指示体はそれぞれ異なる色に着色されており、
   前記検出部は、指示体の色に基づいて当該指示体が前記第１指示体であるか前記第２指示体であるか特定する
   ことを特徴とする請求項１ないし７のいずれか一項に記載の表示装置。
9. 前記指示体の形状が、第１端および第２端を有しており、
   前記検出部は、前記第１端を前記第１指示体として、前記第２端を前記第２指示体として特定する
   ことを特徴とする請求項１ないし７のいずれか一項に記載の表示装置。
10. 画像供給装置から第１画像を取得する取得するステップと、
    指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定するステップと、
    当該指示体が検出された場合、動作モードと検出された当該指示体に応じて、当該指示体の位置を表す情報の供給先を前記生成部に指定する描画モードまたは前記供給先を前記画像供給装置に指定するマウスモードのいずれかに指定するステップと、
    当該指示体の位置を表す情報を該指定された供給先に供給するステップと、
    前記第１指示体または前記第２指示体の位置を表す情報が前記制御部に供給された場合、前記第１画像と前記第１指示体または前記第２指示体の位置を表す情報に基づいた第２画像とを重ねた第３画像を生成するステップと、
    を有し、
    前記指定するステップは、
    前記動作モードが第１動作モードである場合に、前記第１指示体については前記描画モードに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、
    前記動作モードが第２動作モードである場合に、前記第１指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定する表示制御方法。
11. 表示システムであって、
    画像供給部と、
    画像供給装置から第１画像を取得する取得部と、
    指示体を検出し、当該指示体の位置、および当該指示体が第１指示体か第２指示体かを特定する検出部と、
    生成部と、
    表示部と、
    前記検出部によって当該指示体が検出された場合、前記表示システムが動作する動作モードと検出された当該指示体に応じて、当該指示体の位置を表す情報の供給先を前記生成部に指定する描画モードまたは前記供給先を前記画像供給装置に指定するマウスモードのいずれかに指定する指定部と、
    当該指示体の位置を表す情報を該指定された供給先に供給する制御部と
    を有し、
    前記生成部は、前記第１画像と前記制御部から供給された指示体の位置を表す情報に基づいた第２画像とを重ねた第３画像を生成し、
    前記表示部は、前記第３画像を表示し、
    前記指定部は、
    前記動作モードが第１動作モードである場合に、前記第１指示体については前記描画モードに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、
    前記動作モードが第２動作モードである場合に、前記第１指示体については前記描画モードまたは前記マウスモードのいずれかに指定し、前記第２指示体については前記描画モードまたは前記マウスモードのいずれかに指定する表示システム。

Images