JP6464692B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、例えばユーザーによって描画された画像を含む画面を、複数の装置で共有する技術に関する。

従来から、配信側装置が、画面の表示に用いられる画像情報を、外部の受信側装置に配信することにより、配信側装置と受信側装置とで同一の画面を共有するシステムが知られている。この共有される画面には、背景に相当する背景画像に加え、例えばユーザーによって描画された、文字や図形等の画像オブジェクトが含まれることがある。この種のシステムでは、受信側装置の数が多い場合等に、画面の共有のためのデータの配信を原因として、ネットワークに掛かる負荷（通信負荷）が過大になることがある。

この通信負荷を低減するための技術として、例えば特許文献１に記載された技術がある。特許文献１に記載の技術では、配信側装置（端末装置）は、はじめに背景画像に対応する画像データを配信した後、この画像データを配信せずに、画面上に入力された手書き画像データを配信する。受信側装置（画像合成装置）は、先に受信した背景画像に対応する画像データに、後で受信した手書き画像データを合成して、合成画面データを生成する。

特開２０１３−１３５４２２号公報

特許文献１に記載の技術では、配信側装置と受信側装置とが、同一の画像データに基づいて背景画像を表示するという前提があるため、以後の手書きの画像データの授受により画面の共有が可能となる。しかし、会議におけるプレゼンテーションの場等においては、配信側装置が表示する背景画像を逐一切り替えながら、手書きの画像が描画されたり、その場で作成された資料が背景画像として表示されたりする。このような場合、配信側装置と受信側装置とで、表示される背景画像が一致しない場合がある。特許文献１に記載の技術では、配信側装置と受信側装置とで表示される背景画像が一致しない場合については、考慮されていない。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、情報処理装置と外部の端末装置とで共有される、描画された画像を含む画面の更新を、通信負荷の増大を抑えつつ行うことである。

上記目的を達成するために、本発明に係る情報処理装置は、画像を表示する外部の端末装置と通信する情報処理装置であって、画像情報を取得する画像情報取得部と、取得された画像情報に基づいて、画像を表示する制御を行う表示制御部と、第１の画像情報に基づいて表示された第１の画像に重ねて第２の画像を描画するための描画情報を取得する描画情報取得部と、前記第１の画像情報と、前記端末装置に配信済みの第２の画像情報との異同を判定する判定部と、前記第１の画像情報と、前記第２の画像情報とが異なると判定された場合、前記第１の画像情報、及び前記描画情報を、前記端末装置に配信し、前記第１の画像情報と、前記第２画像情報とが同一と判定された場合、前記第１の画像情報を配信せずに、前記描画情報を、前記端末装置に配信する配信制御部とを備える。
この発明によれば、情報処理装置の画像の表示に用いられる第１の画像情報と、端末装置に配信済みの第２の画像情報とが同一と判定された場合には、当該第１の画像情報を配信せずに、描画情報を端末装置に配信するので、情報処理装置と外部の端末装置とで共有される、描画された画像を含む画面の更新を、通信負荷の増大を抑えつつ行うことができる。

本発明において、前記配信制御部は、前記描画情報に加え、前記第２の画像の表示属性を指定する属性情報を、前記端末装置に配信してもよい。
この発明によれば、情報処理装置において描画された画像を、情報処理装置が指定した表示属性に従って、端末装置に表示させることができる。

この発明において、前記属性情報は、前記第２の画像を表示させる前記端末装置、又は前記第２の画像を表示するタイミングを指定する情報を含んでもよい。
この発明によれば、情報処理装置において描画された画像を、端末装置又は表示のタイミングを指定して端末装置に表示させることができる。

本発明において、前記端末装置から、前記第１の画像に重ねて第３の画像を描画するための描画情報を受信する情報受信部を備え、前記表示制御部は、受信された前記描画情報に基づいて、前記第１の画像に重ねて前記第３の画像を描画してもよい。
この発明によれば、第１の画像情報を端末装置から受信せずに、第３の画像を描画するための描画情報を端末装置から受信して、第１の画像に重ねて第３の画像を描画するので、この端末装置において描画された画像を含む画面の更新を、通信負荷の増大を抑えつつ行うことができる。

この発明において、前記情報受信部は、前記描画情報に加え、前記第３の画像の表示属性を指定する属性情報を受信し、前記表示制御部は、受信された前記属性情報により指定された表示属性に従って、前記第３の画像を描画してもよい。
この発明によれば、端末装置において描画された画像を、この端末装置により指定された表示属性に従って表示することができる。

本発明は、情報処理装置のほか、情報処理システム、情報処理方法及びプログラムとしても観念することが可能である。

本発明の一実施形態に係る情報処理システムの全体構成を示す図。 同実施形態に係るプロジェクターのハードウェア構成を示すブロック図。 同実施形態に係る情報処理装置及び表示端末のハードウェア構成を示すブロック図。 同実施形態に係る情報処理装置及び表示端末の機能構成を示すブロック図。 同実施形態に係る情報処理装置の配信動作を示すフローチャート。 同実施形態に係る情報処理装置の配信動作の具体例の説明図。 同実施形態に係る情報処理装置の表示動作を示すフローチャート。 同実施形態に係る情報処理システムにおけるサムネイルの一覧表示に関する処理を示すシーケンスチャート。 同実施形態に係る情報処理システムにおけるサムネイルの一覧表示の具体例の説明図。 同実施形態に係るサムネイルの一覧表示の具体例の説明図。 同実施形態に係る描画メニューの説明図。 同実施形態に係る画像オブジェクトの表示属性の説明図。 同実施形態に係る画像オブジェクトの表示属性の説明図。 同実施形態に係る画像オブジェクトの表示動作を示すフローチャート。 同実施形態に係る画像オブジェクトの表示動作の具体例の説明図。

以下、本発明の実施の形態について図面を参照しつつ説明する。
図１は、本発明の一実施形態に係る情報処理システム１の全体構成を示す図である。情報処理システム１は、プロジェクター１０と、情報処理装置２０と、複数の表示端末３０（３０Ａ，３０Ｂ，３０Ｃ）とを備える。
以下では、情報処理システム１に含まれる表示端末３０を、表示端末３０Ａ，３０Ｂ，３０Ｃの３台とした場合を説明するが、情報処理システム１に含まれる表示端末３０は、２台以下又は４台以上であってもよい。

プロジェクター１０は、例えば液晶プロジェクターで、スクリーン４０上に画像を投写する投写型の表示装置である。プロジェクター１０は、例えばＲ（Red）、Ｇ（Green）、Ｂ（Blue）三原色の各色成分に対応した画像信号に基づいて、スクリーン４０の投写領域４１にカラーの画像を投写する。スクリーン４０は、ここでは反射型のスクリーンであり、プロジェクター１０により画像が投写される投写面である。

情報処理装置２０は、プロジェクター１０と無線通信により接続され、プロジェクター１０、及び表示端末３０に、画面の表示に用いられるデータを配信する。具体的に、情報処理装置２０は、背景に相当する背景画像（第１の画像）を表示するための画像情報、及びこの背景画像に重ねて画像オブジェクト（第２の画像）を描画するための描画情報を配信する。画像オブジェクトは、例えばユーザーの手書きの操作によって描画される画像である。画像オブジェクトとして、背景画像上に指定された位置の軌跡を表す手書きの画像や、背景画像に重ねて配置される予め用意された画像等がある。情報処理装置２０を使用するユーザーを、以下では「ユーザーＵＭ」とする。ユーザーＵＭは、例えば、学校で授業を行う先生である。

表示端末３０は、プロジェクター１０と無線通信により接続され、情報処理装置２０により配信された画面データを、プロジェクター１０を介して受信する端末装置（表示装置）である。表示端末３０は、情報処理装置２０により配信されたデータに基づいて、画面を表示する。具体的に、表示端末３０は、画像情報に基づいて背景画像を表示し、描画情報に基づいて、この背景画像に重ねて画像オブジェクトを描画する。表示端末３０Ａ，３０Ｂ，３０Ｃの各々を使用するユーザーを、順に「ユーザーＵＡ」、「ユーザーＵＢ」、「ユーザーＵＣ」とする。ユーザーＵＡ，ＵＢ，ＵＣは、例えば、学校で授業を受ける生徒である。
なお、プロジェクター１０、情報処理装置２０及び複数の表示端末３０は、無線で接続されるのではなく、有線で接続されてもよく、通信の方式は特に問わないものとする。

指示体５０は、ここではペン型のデバイス（操作デバイス）であり、スクリーン４０上の位置を指示するためにユーザーＵに使用される。指示体５０は、投写領域４１に重ねて文字や図形を手書きする操作を行ったり、投写領域４１に含まれる操作可能なオブジェクトを選択する操作を行ったりするために使用される。
なお、指示体５０は、ペン型に限らず、棒形状等の他形状の操作デバイスであってもよい。また、指示体５０は、操作デバイスではなく、ユーザーＵの手や指等で代用されてもよい。

図２は、プロジェクター１０のハードウェア構成を示すブロック図である。図２に示すように、プロジェクター１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、操作部１４と、画像処理部１５と、投写部１６と、カメラ部１７と、通信部１８とを備える。
ＣＰＵ１１は、ＲＯＭ１２等の記憶手段に記憶されたプログラムを、ＲＡＭ１３に読み出して実行することにより、プロジェクター１０の各部を制御するプロセッサーである。操作部１４は、プロジェクター１０の電源のオン／オフや各種操作を行うための操作子（例えば物理キー）を備えた操作手段である。

画像処理部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）等の画像処理回路を備え、プロジェクター１０が行う画像処理を司る。画像処理部１５は、ＣＰＵ１１の制御に従って、例えば通信部１８を介して受信した画像情報と描画情報とに基づいて、スクリーン４０に画像を投写するための画像信号を生成する。画像処理部１５は、これ以外にも、リサイズ処理や台形補正等の画像処理を行う。

投写部１６は、画像処理部１５による画像処理後の画像データに基づいて、スクリーン４０に画像を投写する。投写部１６は、光源１６１と、液晶パネル１６２と、光学系１６３と、光源制御部１６４と、パネル駆動部１６５と、光学系駆動部１６６とを有する。光源１６１は、例えばＬＥＤ（Light Emitting Diode）や半導体ダイオードを含む固体光源で、液晶パネル１６２に光を射出する。液晶パネル１６２は、例えば透過型の液晶パネルで、光源１６１から入射した光を変調する光変調器である。液晶パネル１６２は、ＲＧＢの三原色の各色に対応して設けられる。光学系１６３は、例えばレンズやレンズ調整用の駆動回路を備え、液晶パネル１６２により変調された光（画像光）を拡大して、スクリーン４０上に投写する。光源制御部１６４は、ＣＰＵ１１の制御に従って光源１６１を駆動する。パネル駆動部１６５は、ＣＰＵ１１から供給された画像信号に基づいて液晶パネル１６２を駆動する。光学系駆動部１６６は、ＣＰＵ１１の制御に従って光学系１６３の駆動回路を駆動する。なお、光変調器として、反射型の液晶パネルを採用してもよいし、デジタルマイクロミラーデバイス（ＤＭＤ）などを採用してもかまわない。

カメラ部１７は、イメージセンサー（例えばＣＭＯＳセンサー又はＣＣＤセンサー）を有し、スクリーン４０を撮像する。指示体５０は、所定の間隔で繰り返し発光する。ＣＰＵ１１は、カメラ部１７により撮像された指示体５０の発光光に基づいて、指示体５０により指示された投写領域４１上に位置を検出する。
なお、プロジェクター１０は、例えば、ライトカーテン等を用いた方法などにより、指示体５０の反射光にて指示する位置を検出してもよい。また、プロジェクター１０は、パターン認識などにより指示体５０の形を認識することにより指示する位置を検出してもよい。
通信部１８は、情報処理装置２０、及び複数の表示端末３０に接続して通信するためのインターフェースである。

図３は、情報処理装置２０及び表示端末３０のハードウェア構成を示すブロック図である。情報処理装置２０及び表示端末３０は、本実施形態ではともにタブレット型の端末装置であり、ハードウェア構成が互いに共通する。このため、以下では情報処理装置２０のハードウェア構成を中心に説明する。
情報処理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、操作部２４と、画像処理部２５と、表示部２６と、記憶部２７と、通信部２８とを備える。
ＣＰＵ２１は、ＲＯＭ２２又は記憶部２７に記憶されたプログラムを、ＲＡＭ２３に読み出して実行することにより、情報処理装置２０の各部を制御するプロセッサーである。操作部２４は、ユーザーの入力操作を受け付けるためのタッチスクリーンや、複数の操作子（例えば物理キー）を備えた操作手段である。画像処理部２５は、例えばＡＳＩＣ等の画像処理回路を備え、ＣＰＵ２１の制御に従って各種の画像処理を行う。表示部２６は、例えば液晶ディスプレイであり、ＣＰＵ２１の制御に従って各種の画像を表示する。記憶部２７は、例えばハードディスク等の記憶媒体を備え、各種のデータを記憶する。記憶部２７は、例えばＯＳ（Operating System）や、このＯＳ上で動作する表示アプリケーションＡＰ１を記憶する。表示アプリケーションＡＰ１は、情報処理装置２０の画面の表示に関する機能を実現するためのアプリケーションプログラムである。通信部２８は、プロジェクター１０に接続して通信するためのインターフェースである。

表示端末３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、操作部３４と、画像処理部３５と、表示部３６と、記憶部３７と、通信部３８とを備える。表示端末３０の各ハードウェア要素は、情報処理装置２０同名のハードウェア要素の説明のうち、「情報処理装置２０」を「表示端末３０」に読み替え、「ＣＰＵ２１」を「ＣＰＵ３１」に読み替えることにより説明することができる。
ただし、表示端末３０の記憶部３７には、表示アプリケーションＡＰ２が記憶される。表示アプリケーションＡＰ２は、表示端末３０の画面の表示に関する機能を実現するためのアプリケーションプログラムである。

図４は、情報処理装置２０及び表示端末３０の機能構成を示すブロック図である。情報処理装置２０のＣＰＵ２１は、表示アプリケーションＡＰ１を実行することにより、画像情報取得部２１１と、描画情報取得部２１２と、表示制御部２１３と、判定部２１４と、配信制御部２１５と、データ受信部２１６とに相当する機能を実現する。
画像情報取得部２１１は、背景画像を表す画像情報を取得する。画像情報取得部２１１は、例えば、記憶部２７に記憶されたデータ（ファイル）に基づいて生成された画像情報、又はデータ受信部２１６により受信された画像情報を取得する。
描画情報取得部２１２は、表示部２６に表示されている背景に重ねて画像オブジェクトを描画するための描画情報を取得する。描画情報取得部２１２は、操作部２４に行われた操作、又は指示体５０を用いて投写領域４１上の位置を指示する操作に応じて、画像オブジェクトを描画するための描画情報を取得する。

表示制御部２１３は、表示部２６の表示を制御する。表示制御部２１３は、画像情報取得部２１１により取得された画像情報に基づいて、背景画像を表示する。更に、表示制御部２１３は、描画情報に基づいて、この背景画像に重ねて画像オブジェクトを描画する。この描画情報は、例えば、描画情報取得部２１２により取得された描画情報、又はデータ受信部２１６により受信された描画情報である。

判定部２１４は、表示部２６が表示している背景画像を表す画像情報（第１の画像情報）と、表示端末３０に配信済みの画像情報（第２の画像情報）との異同を判定する。換言すると、判定部２１４は、表示部２６が表示している背景画像を表す画像情報が、既に表示端末３０に配信されたかどうかを判定する。

配信制御部２１５は、操作部２４に行われた配信操作に応じて、情報処理装置２０と表示端末３０とで画面を共有するためのデータを配信する制御を行う。配信制御部２１５は、判定部２１４により表示部２６が表示している背景画像を表す画像情報と、表示端末３０に配信済みの画像情報とが異なると判定された場合、表示部２６が表示している背景画像の画像情報、及び描画情報取得部２１２により取得された描画情報を、通信部２８を介して、表示端末３０に配信する。配信制御部２１５は、判定部２１４により表示部２６が表示している背景画像を表す画像情報と、表示端末３０に配信済みの画像情報とが同一と判定された場合、表示部２６が表示している背景画像の画像情報を配信せずに、描画情報取得部２１２により取得された描画情報を、通信部２８を介して、表示端末３０に配信する。

データ受信部２１６は、表示端末３０のデータ送信部３１５により送信されたデータを受信する。データ受信部２１６は、例えば、表示端末３０において表示されている背景画像を表す画像情報を受信する。また、データ受信部２１６は、例えば、表示端末３０において表示されている背景画像に重ねて描画された画像オブジェクト（第３の画像）を表す描画情報を受信する。

表示端末３０のＣＰＵ３１は、表示アプリケーションＡＰ２を実行することにより、画像情報受信部３１１と、描画情報受信部３１２と、描画情報取得部３１３と、表示制御部３１４と、データ送信部３１５とに相当する機能を実現する。
画像情報受信部３１１は、配信制御部２１５により配信された画像情報を、通信部３８を介して受信する。
描画情報受信部３１２は、配信制御部２１５により配信された描画情報を、通信部３８を介して受信する。
描画情報取得部３１３は、表示部３６に表示されている背景に重ねて画像オブジェクトを描画するための描画情報を取得する。描画情報取得部３１３は、操作部３４に行われた操作に応じて、画像オブジェクトを描画するための描画情報を取得する。

表示制御部３１４は、表示部３６の表示を制御する。表示制御部３１４は、画像情報受信部３１１により取得された画像情報に基づいて、背景画像を表示する。更に、表示制御部３１４は、描画情報に基づいて、この背景画像に重ねて画像オブジェクトを描画する。この描画情報は、例えば、描画情報受信部３１２により受信された描画情報、又は描画情報取得部３１３により取得された描画情報である。

データ送信部３１５は、情報処理装置２０に対してデータを送信する。データ送信部３１５は、表示部３６が表示している背景画像を表す画像情報を、通信部２８を介して、情報処理装置２０に送信する。また、データ送信部３１５は、描画情報取得部３１３により取得された描画情報を、通信部３８を介して、情報処理装置２０に送信する。

次に、本実施形態の動作を説明する。
＜配信動作＞
図５は、情報処理装置２０の配信動作を示すフローチャートである。配信動作は、情報処理装置２０と表示端末３０とで画面を共有するためのデータの配信に関する動作のことである。図６は、配信動作の具体例を説明する図である。
情報処理装置２０のＣＰＵ２１は、背景画像を表示するための画像情報を取得する（ステップＳ１）。ＣＰＵ２１は、例えば、記憶部２７から所定のデータ（ファイル）を読み出して、背景画像を表す画像情報を生成し、これを取得する。次に、ＣＰＵ２１は、取得した画像情報に基づいて、表示部２６に背景画像を表示する（ステップＳ２）。ＣＰＵ２１は、ここでは、図６（Ａ）に示す画面ＳＣを表示する。画面ＳＣは、「１＋２×３＝」という問題文を意味する背景画像ＩＭを含む。

次に、ＣＰＵ２１は、ユーザーＵＭが操作部２４に行った操作、又は指示体５０を用いて投写領域４１上に指示した位置に応じて、描画情報を取得し（ステップＳ３）、取得した描画情報に基づいて、現在の表示画面の背景画像に重ねて、画像オブジェクトを描画する（ステップＳ４）。
ここでは、ユーザーＵＭにより画像オブジェクトを描画するための操作が行われなかったとする。この場合、ＣＰＵ２１は、ステップＳ４の処理をパスする。

次に、ＣＰＵ２１は、現在の表示画面の表示を終了するかどうかを判定する（ステップＳ５）。ＣＰＵ２１は、例えば、操作部２４に行われた操作に応じて、現在の表示画面を閉じるかどうか、又は他の画面に変更して表示するかどうかを判定する。ここで、現在の表示画面の表示を終了しない、即ち、現在の表示画面の表示を続けると判定した場合（ステップＳ５；ＮＯ）、ＣＰＵ２１は、配信操作を受け付けたかどうかを判定する（ステップＳ６）。ＣＰＵ２１は、ここでは、図６（Ｂ）に示す操作メニューＭＥ１を表示部２６に表示し、操作メニューＭＥ１を用いて配信操作を受け付けたかどうかを判定する。

図６（Ｂ）に示す操作メニューＭＥ１において、「配信」と記された操作ボタンＢ１が、配信操作を行うための操作ボタンである。「サムネイル一覧表示」と記された操作ボタンＢ２は、表示端末３０の現在の表示画面を、サムネイルを用いて一覧表示することを指示するための操作ボタンである。メニューＣは、情報処理装置２０と画面を共有する相手の表示端末３０を指定するためのメニューである。メニューＣを用いて特定の表示端末３０が指定されていない場合は、情報処理システム１内の全ての表示端末３０（ここでは、表示端末３０Ａ〜３０Ｃ）が指定されているものとする。
なお、ＣＰＵ２１は、表示部２６のほか、プロジェクター１０にも操作メニューＭＥ１を表示させるように制御する。ただし、ＣＰＵ２１は、表示部２６に操作メニューＭＥ１を表示させる一方で、プロジェクター１０の投写領域４１には、操作メニューＭＥ１を表示させない制御を行ってもよい。

ここで、操作ボタンＢ１を用いて配信操作を受け付けた場合、ＣＰＵ２１は、ステップＳ６で「ＹＥＳ」と判定する。次に、ＣＰＵ２１は、記憶部２７に記憶されたＣｒｎｔＩＤとＳｎｄＩＤとが一致するかどうかを判定する（ステップＳ７）。ＣｒｎｔＩＤは、表示部２６に現在表示されている背景画像の画像情報（第１の画像情報）を一意に識別する識別情報である。ＳｎｄＩＤは、表示端末３０に配信済みの画像情報（第２の画像情報）を一意に識別する識別情報である。ここでは、ＳｎｄＩＤは、表示端末３０に配信済みの全ての背景画像の画像情報の識別情報を含む。ＣｒｎｔＩＤ＝ＳｎｄＩＤである場合、情報処理装置２０で現在表示されている背景画像の画像情報が、既に表示端末３０に配信されていることを意味する。ＣｒｎｔＩＤ≠ＳｎｄＩＤの場合、情報処理装置２０で現在表示されている背景画像の画像情報が、表示端末３０に配信されていないことを意味する。

ここでは、背景画像ＩＭの画像情報を未配信であるから、ＣｒｎｔＩＤ≠ＳｎｄＩＤとなり、ＣＰＵ２１はステップＳ７で「ＮＯ」と判定する。この場合、ＣＰＵ２１は、現在表示している背景画像の画像情報を、通信部２８を介して、表示端末３０に配信する（ステップＳ８）。この画像情報には、ＣｒｎｔＩＤが関連づけられている。情報処理装置２０により配信される画像情報は、ここでは、図６（Ｃ）に示す画面ＳＣ（背景画像ＩＭ）の画像情報で、図６（Ａ）と同じ画像を表す。次に、ＣＰＵ２１は、画像情報を配信すると、ＣｒｎｔＩＤ＝ＳｎｄＩＤとなるように、ＳｎｄＩＤを更新する（ステップＳ９）。

次に、ＣＰＵ２１は、現在の表示画面に描画情報が含まれているかどうかを判定する（ステップＳ１０）。ここでは、操作部２４の操作に応じて描画情報を取得されておらず、画像オブジェクトは表示されていない。よって、ＣＰＵ２１はステップＳ１０で「ＮＯ」と判定し、ステップＳ３の処理に戻す。

次に、ＣＰＵ２１は、描画情報を取得すると（ステップＳ３）、取得した描画情報に基づいて、現在表示している背景画像に重ねて、画像オブジェクトを描画する（ステップＳ４）。ここで、ユーザーＵＭにより、背景画像ＩＭに含まれる問題を解くためのヒントとして、「×」の下部に、二重線及び「注目！」という画像が手書きされたとする。この場合、ＣＰＵ２１は、描画情報に基づいて、図６（Ｄ）に示すように、背景画像ＩＭに重ねて、画像オブジェクトＡＮ１を重ねて表示させる。この描画情報には、例えば、ユーザーＵＭが指定した画面ＳＣ上の位置を示す位置情報（座標形式の位置情報）が含まれる。

この後、ユーザーＵＭによって配信操作が行われると（ステップＳ５；ＮＯ、ステップＳ６；ＹＥＳ）、ＣＰＵ２１は、記憶部２７に記憶されたＣｒｎｔＩＤと、ＳｎｄＩＤとが一致するかどうかを判定する（ステップＳ７）。ここでは、背景画像ＩＭが表示されたままであるから、ＣＰＵ２１はステップＳ７で「ＹＥＳ」と判定する。次に、ＣＰＵ２１は、現在の表示画面に描画情報が含まれているかどうかを判定する（ステップＳ１０）。ここでは、画像オブジェクトＡＮ１を描画するための描画情報が含まれているので、ＣＰＵ２１は、ステップＳ１０で「ＹＥＳ」と判定する。この場合、ＣＰＵ２１は、この描画情報を、通信部２８を介して表示端末３０へ配信する（ステップＳ１１）。ここでは、ＣＰＵ２１は、図６（Ｅ）に示すように、背景画像ＩＭの画像情報を配信せずに、画像オブジェクトＡＮ１を示す描画するための描画情報を配信する。背景画像ＩＭの画像情報は、表示端末３０に配信済みであるから、ＣＰＵ２１は、この画像情報の配信をしないようにする。描画情報を配信すると、ＣＰＵ２１は、ステップＳ３の処理に戻す。
なお、ステップＳ５で「ＹＥＳ」と判定した場合は、ＣＰＵ２１は配信動作を終了する。

以上のとおり、情報処理装置２０は、表示端末３０に配信済みの画像情報が表す背景画像を表示している限りは、その後に画像オブジェクトが描画されても、この画像情報を配信せずに、描画情報を配信する。これにより、情報処理装置２０により常に画像情報が配信される場合に比べて、通信負荷が軽減される。この結果、情報処理装置２０と表示端末３０とで画面を共有するためのデータ配信に遅延が生じにくくなる。
また、情報処理装置２０は、背景画像の画像情報に変化があった場合は、ステップＳ７で「ＮＯ」と判定して、表示端末３０に変化後の画像情報を配信する。これにより、画像情報に更新があった場合でも、速やかに情報処理装置２０と表示端末３０とで画面を共有することができる。

＜表示動作＞
図７は、表示端末３０の表示動作を示すフローチャートである。表示動作は、情報処理装置２０から表示端末３０に配信されたデータに基づいて、画面を表示する動作のことである。
表示端末３０のＣＰＵ３１は、通信部３８を介して、情報処理装置２０により送信された画像情報を受信する（ステップＳ２１）。次に、ＣＰＵ３１は、受信した画像情報を記憶し、記憶した画像情報に基づいて、表示部３６に背景画像を表示する（ステップＳ２２）。例えば、図６（Ｃ）に示す画像情報を受信した場合、ＣＰＵ３１は、図６（Ａ）の画面ＳＣと同じ画面を表示する。

次に、ＣＰＵ３１は、記憶部３７に記憶したＲｃｖＩＤを、画像情報とともに受信したＣｒｎｔＩＤに更新する（ステップＳ２３）。ＲｃｖＩＤは、受信済みの画像情報を一意に識別する識別情報である。ここでは、ＲｃｖＩＤは、受信済みの全ての背景画像の画像情報の識別情報を含む。ＣｒｎｔＩＤは、前述したように、ＣＰＵ２１により現在表示されている背景画像の画像情報を一意に識別する識別情報である。ＲｃｖＩＤ＝ＣｒｎｔＩＤの場合、ＣｒｎｔＩＤが示す画像情報を表示端末３０が受信し、これを記憶していることを意味する。ＲｃｖＩＤ≠ＣｒｎｔＩＤの場合、ＣｒｎｔＩＤが示す画像情報を、表示端末３０が受信済みでないことを意味する。ＲｃｖＩＤは、サムネイル一覧表示の際に利用されるが、これについては後で説明する。

次に、ＣＰＵ３１は、通信部３８を介して、情報処理装置２０から描画情報を受信したかどうかを判定する（ステップＳ２４）。ここで、ＣＰＵ３１は、描画情報を受信したと判定した場合、この描画情報に基づいて、現在表示している背景画像に重ねて画像オブジェクトを描画する（ステップＳ２５）。例えば、背景画像ＩＭの画像情報の受信後に、図６（Ｅ）に示す画像オブジェクトＡＮ１の描画情報を受信した場合、ＣＰＵ３１は、図６（Ｄ）に示す画面ＳＣと同じ画面を表示する。
なお、ステップＳ２４で「ＮＯ」と判定した場合は、ＣＰＵ３１はステップＳ２６に処理を進める。

次に、ＣＰＵ３１は、操作部３４に行った操作に応じて描画情報を取得し（ステップＳ２６）、取得した描画情報に基づいて、現在の表示画面の背景画像に重ねて、画像オブジェクト（第３の画像）を描画する（ステップＳ２７）。ステップＳ２６で画像オブジェクトを描画するための操作が行われなかった場合は、ＣＰＵ３１は、ステップＳ２７の処理をパスする。
以上の表示動作により、情報処理装置２０と表示端末３０とで同一の画面が共有される。

＜サムネイル一覧表示＞
次に、サムネイル一覧表示について説明する。図８は、情報処理システム１におけるサムネイル一覧表示を示すシーケンスチャートである。図９は、情報処理システム１におけるサムネイル一覧表示の具体例を説明する図である。
まず、情報処理装置２０のＣＰＵ２１は、サムネイル操作を受け付けたかどうかを判定する（ステップＳ３１）。ＣＰＵ２１は、図６（Ｂ）に示した操作メニューＭＥ１の操作ボタンＢ２の操作を受け付けた場合に、ステップＳ３１で「ＹＥＳ」と判定する。

次に、ＣＰＵ２１は、サムネイル要求を、通信部２８を介して表示端末３０へ送信する（ステップＳ３２）。表示端末３０のＣＰＵ３１は、通信部３８を介してサムネイル要求を受信すると、記憶部３７に記憶したＲｃｖＩＤを、通信部３８を介して情報処理装置２０へ送信する（ステップＳ３３）。情報処理装置２０のＣＰＵ２１は、受信したＲｃｖＩＤが、ＳｎｄＩＤと一致するかどうかを判定する（ステップＳ３４）。ここで、ＲｃｖＩＤとＳｎｄＩＤとが一致すると判定した場合、表示端末３０で現在表示されている背景画像の画像情報を、情報処理装置２０が記憶していることを意味する。この場合、ＣＰＵ２１は、ステップＳ３４で「ＹＥＳ」と判定して、描画情報要求を、表示端末３０へ送信する（ステップＳ３５）。そして、表示端末３０のＣＰＵ３１は、この描画情報要求に応答して、現在の表示画面に含まれる画像オブジェクトを描画するための描画情報を、通信部３８を介して情報処理装置２０へ送信する（ステップＳ３６）。ここで、図９（Ｂ）に示すように、表示端末３０Ａの現在の表示画面ＳＣＡの背景画像ＩＭに、回答である「７」という画像オブジェクトＡＮ２が描画されていたとする。この場合、ＣＰＵ２１は、図９（Ｃ）に示すように、背景画像ＩＭの画像情報を送信せずに、画像オブジェクトＡＮ２を描画するための描画情報を、通信部３８を介して情報処理装置２０へ送信する。

他方、情報処理装置２０のＣＰＵ２１は、受信したＲｃｖＩＤが、ＳｎｄＩＤと一致しない場合、表示端末３０で現在表示されている背景画像の画像情報が、情報処理装置２０に記憶されていないことを意味する。この場合、ＣＰＵ２１は、ステップＳ３４で「ＮＯ」と判定して、画像情報／描画情報要求を、表示端末３０へ送信する（ステップＳ３７）。そして、表示端末３０のＣＰＵ３１は、この画像情報／描画情報要求に応答して、現在表示している背景画像を表す画像情報、及び現在の表示画面に含まれる画像オブジェクトを描画するための描画情報を、情報処理装置２０へ送信する（ステップＳ３８）。ここで、図９（Ｄ）に示すように、画面ＳＣＢの背景画像ＩＭＢに画像オブジェクトＡＮ３が描画されている場合、ＣＰＵ２１は、図９（Ｅ）に示すように、背景画像ＩＭＢを表す画像情報と、画像オブジェクトＡＮ３を描画するための描画情報を、情報処理装置２０へ送信する。
情報処理装置２０のＣＰＵ２１は、以上のようにして表示端末３０から受信したデータに基づいて、サムネイル一覧を表示部２６に表示する。

図１０は、サムネイル一覧表示の具体例を説明する図である。図１０において、サムネイル一覧画面ＳＣＬには、表示端末３０Ａの表示画面を表すサムネイルＳＵＭＡと、表示端末３０Ｂの表示画面を表すサムネイルＳＵＭＢと、表示端末３０Ｃの表示画面を表すサムネイルＳＵＭＣとが含まれる。このうち、サムネイルＳＵＭＡは、情報処理装置２０が記憶した画像情報と、表示端末３０Ａから受信した描画情報とに基づいて表示されている。これにより、表示端末３０Ａから画像情報と描画情報との両方が送信された場合に比べて、通信負荷が軽減される。サムネイルＳＵＭＢは、表示端末３０Ｂから受信した画像情報と描画情報とに基づいて表示されている。これにより、表示端末３０で表示される背景画像が、情報処理装置２０が表示する背景画像と異なる場合であっても、情報処理装置２０でこの背景画像を用いてサムネイルを表示することができる。
なお、サムネイルＳＵＭＣは、サムネイルＳＵＭＡと同じく、情報処理装置２０が記憶した画像情報に、表示端末３０Ｃから受信した画像オブジェクトが重ねて表示されている。また、ＣＰＵ２１は、サムネイルを選択する操作を受け付けた場合は、このサムネイルに対応する画面を、拡大表示してもよい。また、サムネイル一覧画面ＳＣＬにおいて、一度に全ての表示端末３０のサムネイルが表示されるのではなく、スクロール操作やページ切り替え操作を経て、全てのサムネイルが表示されてもよい。

＜表示属性＞
描画情報には、画像オブジェクトの表示属性を指定する属性情報が含まれてもよい。この属性情報は、画像オブジェクトの表示の属性を指定する情報で、画像オブジェクトの表示の態様を指定する情報である。

図１１は、表示属性を指定して画像オブジェクトを描画するための描画メニューＭＥ２を説明する図である。図１１に示すアイコンＩ１は、表示属性Ｄ１の属性情報を描画情報に含めるためのアイコンである。アイコンＩ１を選択してから、画像オブジェクトが描画された場合、図１２（Ａ）に示すように、背景画像上の位置が指定されてから（又は画像オブジェクトが表示されてから）、設定時間Ｔｓの経過後に画像オブジェクトを表示する、表示属性Ｄ１が付与される。図１１に示すアイコンＩ２は、表示属性Ｄ２を付与するためのアイコンである。アイコンＩ２を選択してから、画像オブジェクトが描画された場合、図１２（Ｂ）に示すように、背景画像上の位置が指定されると画像オブジェクトが表示開始し、設定時間Ｔｓの経過後にこの画像オブジェクトを消去する、表示属性Ｄ２が付与される。これらの表示属性は、例えば、先生が時間を制限して問題を解くためにヒントを与える場合等に使用される。
設定時間Ｔｓは、予め設定された固定時間であってもよいし、ユーザーによって設定された時間であってもよい。

更に別の表示属性として、画像オブジェクトを表示させる表示端末３０を指定する表示属性がある。図６Ｂに示したメニューＣを用いて表示端末３０が指定された後、画像オブジェクトが描画された場合、この指定された表示端末３０においてのみ、この画像オブジェクトが表示される。この場合、描画情報には、画像オブジェクトを表示させる表示端末３０を一意に識別する端末ＩＤが、指定ＩＤとして含まれる。
例えば、表示端末３０Ａが指定された後、図１３（Ａ）に示す画像オブジェクトＡＮ４が描画された場合、図１３（Ｂ）に示すように、表示端末３０Ａでは画像オブジェクトＡＮ４が表示される。他方、図１３（Ｃ）に示すように、表示端末３０Ｂ，３０Ｃや、スクリーン４０には、画像オブジェクトＡＮ４が表示されない。この表示属性は、例えば、先生が特定の生徒にヒントを与える場合に使用される。

図１４は、画像オブジェクトの表示動作を示すフローチャートである。ここでは、表示端末３０が、図１４に示す表示動作を行う。
まず、表示端末３０のＣＰＵ３１は、描画情報に含まれる指定ＩＤが、自装置の端末ＩＤと一致するか否かを判定する（ステップＳ４１）。この処理は、表示端末３０が、画像オブジェクトを表示する装置として指定されているかどうか判定する処理である。ステップＳ４１で「ＮＯ」と判定した場合、ＣＰＵ３１は、自装置が画像オブジェクトの表示端末として指定されていないとして、図１４の処理を終了する。

ステップＳ４１で「ＹＥＳ」と判定した場合、ＣＰＵ３１は、描画情報に含まれる属性情報の表示属性を判定する（ステップＳ４２）。ステップＳ４２で、表示属性Ｄ１と判定した場合、ＣＰＵ３１は、描画情報を受信してからの経過時間ｔが、設定時間Ｔｓを超過したかどうかを判定する（ステップＳ４３）。経過時間ｔが、設定時間Ｔｓに達するまでは、ＣＰＵ３１はステップＳ４３で「ＮＯ」と判定し、画像オブジェクトを描画させずに待機する。そして、経過時間ｔが、設定時間Ｔｓに達すると、ＣＰＵ３１はステップＳ４３で「ＹＥＳ」と判定し、画像オブジェクトを描画する。

ステップＳ４２で表示属性Ｄ２と判定した場合、ＣＰＵ３１は、描画情報に基づいて、画像オブジェクトを描画する（ステップＳ４５）。次に、ＣＰＵ３１は、描画情報を受信してから（又は、画像オブジェクトを表示してから）の経過時間ｔが、設定時間Ｔｓを超過したかどうかを判定する（ステップＳ４６）。経過時間ｔが、設定時間Ｔｓに達するまでは、ＣＰＵ３１はステップＳ４６で「ＮＯ」と判定し、画像オブジェクトを表示したまま待機する。そして、経過時間ｔが、設定時間Ｔｓに達すると、ＣＰＵ３１はステップＳ４６で「ＹＥＳ」と判定し、画像オブジェクトを消去する（ステップＳ４７）。

以上説明した表示属性は、表示端末３０において描画された画像オブジェクトを、情報処理装置２０に表示させる際に使用されてもよい。この場合、表示端末３０は、表示属性を指定する属性情報を、描画情報に含めて、情報処理装置２０に配信する。情報処理装置２０は、表示端末３０から受信した描画情報に含まれる属性情報に基づいて、画像オブジェクトを表示する。この場合の処理は、図１４の説明の「表示端末３０」と「情報処理装置２０」とを入れ替え、更に、「ＣＰＵ３１」を「ＣＰＵ２１」と読み替えることにより説明することができる。

例えば、図１５（Ａ）に示すように、表示端末３０Ａが、「ヒントをください。」という画像オブジェクトＡＮ５を描画したとする。この場合、情報処理装置２０のＣＰＵ２１は、表示属性Ｄ１が指定されたと判定した場合、図１５（Ｂ）に示すように、経過時間ｔが設定時間Ｔｓに達した後、画像オブジェクトＡＮ５を表示させる。情報処理装置２０のＣＰＵ２１は、表示属性Ｄ２が指定されたと判定した場合、図１５（Ｃ）に示すように、画像オブジェクトＡＮ５を表示し、経過時間ｔが設定時間Ｔｓに達すると、画像オブジェクトＡＮ５を消去する。
以上の表示属性を用いることにより、情報処理システム１では、画像オブジェクトの表示属性に従った表示をすることができる。

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
上述した表示属性は、例えば、画像オブジェクトの色を指定するものであってもよい。この場合、情報処理装置２０は、ユーザー毎に異なる色で画像オブジェクトを表示する。これにより、どのユーザーがどの画像オブジェクトを描画したのかを容易に把握できる。
また、表示属性は、手書きされた画像オブジェクト上の各位置が指定された時点（タイミング）であってもよい。これにより、情報処理装置２０は、画像オブジェクトが手書きされたときの書き順を、アニメーションで表示することができる。

情報処理装置２０は、表示部２６に表示されている画面全体の背景画像とするのではなく、一部の画像を背景画像として画像情報を配信してもよい。情報処理装置２０は、例えばアクティブなウィンドウを背景画像として、このウィンドウを表示するための画像情報を配信してもよい。

情報処理装置２０の機能を、プロジェクター１０が実現してもよい。この場合、プロジェクター１０が、本発明の情報処理装置として機能する。この場合、プロジェクター１０のＣＰＵ１１は、図４で説明したＣＰＵ２１の機能を実現する。

情報処理装置２０は、現在表示している背景画像の画像情報と、配信済みの画像情報との異同の判定を、表示する画像を比較して判定する方法以外の方法で行ってもよい。例えば、情報処理装置２０は、表示部２６に表示される背景画像の領域を変更する操作（例えば、スクロール操作）を受け付けた場合には、現在表示している背景画像の画像情報と、配信済みの画像情報とが異なると判定してもよい。

上述した各実施形態の情報処理システム１の構成又は動作の一部が省略されてもよい。例えば、プロジェクター１０が省略されてもよいし、プロジェクター１０の代わりにＦＰＤ（Flat Panel Display）などの表示装置を使用することもできる。また、サムネイル一覧表示や、表示属性に係る構成や動作が省略されてもよい。また、情報処理装置２０及び表示端末３０は、画像を表示する表示装置であればよく、パーソナルコンピューターやＰＤＡ（Personal Digital Assistant）、スマートフォン等であってもよい。

上述した実施形態において、情報処理装置２０のＣＰＵ２１、及び表示端末３０のＣＰＵ３１が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連係によって実現されうる。また、ＣＰＵ２１，３１の機能が、プログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリー等のコンピューター読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、情報処理方法として把握することも可能である。

１…情報処理システム、１０…プロジェクター、１１，２１，３１…ＣＰＵ、１２，２２，３２…ＲＯＭ、１３，２３，３３…ＲＡＭ、１４，２４，３４…操作部、１５，２５，３５…画像処理部、１６…投写部、１７…カメラ部、２８，３８…通信部、２１１…画像情報取得部、２１２…描画情報取得部、２１３…表示制御部、２１４…判定部、２１５…配信制御部、２１６…データ受信部、２６，３６…表示部、２７，３７…記憶部、３１１…画像情報受信部、３１２…描画情報受信部、３１３…描画情報取得部、３１４…表示制御部、３１５…データ送信部

Claims (8)

1. 画像を表示する外部の端末装置と通信する情報処理装置であって、
   画像情報を取得する画像情報取得部と、
   取得された画像情報に基づいて、画像を表示する制御を行う表示制御部と、
   取得された画像情報を一意に識別可能な識別情報を記憶する記憶部と、
   第１の画像情報に基づいて表示された第１の画像に重ねて第２の画像を描画するための描画情報を取得する描画情報取得部と、
   前記第１の画像情報の識別情報と、前記端末装置に配信済みの第２の画像情報の識別情報との異同を判定する判定部と、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが異なると判定された場合、前記第１の画像情報、及び前記描画情報を、前記端末装置に配信し、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが同一と判定された場合、前記第１の画像情報を配信せずに、前記描画情報を、前記端末装置に配信する配信制御部と
   を備える情報処理装置。
2. 前記配信制御部は、
   前記第２の画像の表示属性として前記第２の画像の色を指定する属性情報を、前記端末装置に配信する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記属性情報は、前記第２の画像を表示させる前記端末装置、又は前記第２の画像を表示するタイミングを指定する情報を含む
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記端末装置から、前記第１の画像に重ねて第３の画像を描画するための描画情報を受信する情報受信部を備え、
   前記表示制御部は、
   前記端末装置から受信された前記描画情報に基づいて、前記第１の画像に重ねて前記第３の画像を描画する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記情報受信部は、
   前記第３の画像の表示属性を指定する属性情報を受信し、
   前記表示制御部は、
   前記端末装置から受信された前記属性情報により指定された表示属性に従って、前記第３の画像を描画する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 画像を表示する端末装置と、前記端末装置と通信する情報処理装置とを備える情報処理システムであって、
   前記情報処理装置が、
   画像情報を取得する画像情報取得部と、
   取得された画像情報に基づいて、画像を表示する制御を行う表示制御部と、
   取得された画像情報を一意に識別可能な識別情報を記憶する記憶部と、
   第１の画像情報に基づいて表示された第１の画像に重ねて第２の画像を描画するための描画情報を取得する描画情報取得部と、
   前記第１の画像情報の識別情報と、前記端末装置に配信済みの第２の画像情報の識別情報との異同を判定する判定部と、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが異なると判定された場合、前記第１の画像情報、及び前記描画情報を、前記端末装置に配信し、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが同一と判定された場合、前記第１の画像情報を配信せずに、前記描画情報を、前記端末装置に配信する配信制御部と
   を有し、
   前記端末装置が、
   前記配信制御部により配信された前記第１の画像情報を受信する画像情報受信部と、
   前記配信制御部により配信された前記描画情報を受信する描画情報受信部と、
   受信された前記第１の画像情報に基づいて、前記第１の画像を表示し、受信された前記描画情報に基づいて、当該第１の画像に重ねて前記第２の画像を描画する制御を行う表示制御部と
   を有する情報処理システム。
7. 画像情報を取得するステップと、
   取得した画像情報に基づいて、画像を表示する制御を行うステップと、
   取得された画像情報を一意に識別可能な識別情報を記憶するステップと、
   第１の画像情報に基づいて表示した第１の画像に重ねて第２の画像を描画するための描画情報を取得するステップと、
   前記第１の画像情報の識別情報と、画像を表示する外部の端末装置に配信済みの第２の画像情報の識別情報との異同を判定するステップと、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが異なると判定された場合、前記第１の画像情報、及び前記描画情報を、前記端末装置に配信し、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが同一と判定された場合、前記第１の画像情報を配信せずに、前記描画情報を、前記端末装置に配信するステップと
   を備える情報処理方法。
8. コンピューターに、
   画像情報を取得するステップと、
   取得した画像情報に基づいて、画像を表示する制御を行うステップと、
   取得された画像情報を一意に識別可能な識別情報を記憶するステップと、
   第１の画像情報に基づいて表示した第１の画像に重ねて第２の画像を描画するための描画情報を取得するステップと、
   前記第１の画像情報の識別情報と、画像を表示する外部の端末装置に配信済みの第２の画像情報の識別情報との異同を判定するステップと、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが異なると判定された場合、前記第１の画像情報、及び前記描画情報を、前記端末装置に配信し、
   前記第１の画像情報の識別情報と、前記第２の画像情報の識別情報とが同一と判定された場合、前記第１の画像情報を配信せずに、前記描画情報を、前記端末装置に配信するステップと
   を実行させるためのプログラム。

Images