JP7148362B2

JP7148362B2 - 画像表示制御装置、画像表示装置、画像表示システム、画像表示装置制御方法および画像表示方法

Info

Publication number: JP7148362B2
Application number: JP2018209435A
Authority: JP
Inventors: 克之大村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-11-30
Filing date: 2018-11-07
Publication date: 2022-10-05
Anticipated expiration: 2032-08-01
Also published as: JP2017102980A; JP2018022500A; JP2014095920A; JP5454722B2; JP2013152739A; JP2019071124A; JP6471771B2; JP2019040620A; JP6747530B2; JP6432621B2; JP6558402B2; JP2017194978A

Description

本発明は、任意の画像を表示する画像表示制御装置に関し、より詳細には、情報処理装置の表示画像を表示して当該情報処理装置の操作が可能であると共に、任意の描画画像を表示する画像表示制御装置、画像表示システム、方法およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに情報処理装置の表示画像を表示させ、その操作を可能にする電子黒板が利用されている。

このような電子黒板の一例として、特許文献１は、他の情報処理装置を接続し、その画面を表示して制御する情報処理装置を開示する。この情報処理装置では、当該情報処理装置を操作する第１の動作モードと、他の情報処理装置を操作する第２のモードとを切り替えて、これらの情報処理装置の操作を行う。

しかしながら、特許文献１に記載の情報処理装置では、ユーザが描画画像を作成して表示させることができず、また、描画画像を削除することができないという問題があった。また、特許文献１に記載の情報処理装置では、操作すべき情報処理装置を切り替えるために、ユーザは、当該情報処理装置の表示画面から物理的に離れた操作パネルやキーボードを使用しなければならず、ユーザビリティが低いという問題があった。

本発明は上述した課題を解決するものであり、描画画像の作成および削除が可能であり、画像表示制御装置が提供する各機能を切り替える際の操作性を向上させる画像表示制御装置、画像表示システム、方法およびプログラムを提供することを目的とする。

本発明によれば、
情報処理装置の表示画像を表示面に表示させて当該情報処理装置の操作が可能な画像表示制御装置であって、
第１のインターフェースを介して前記情報処理装置から受信した映像信号から前記情報処理装置の表示画像を生成する映像信号処理部と、
前記表示面に接触又は近接したことを示す座標位置の描画画像を生成し、前記映像信号処理部で生成された前記表示画像に合成する描画部と、
前記座標位置が、前記情報処理装置の表示画像が表示された領域であるか否か判断する操作部と、
を含み、
前記操作部は、前記座標位置が、前記情報処理装置の表示画像が表示された領域である場合には、当該座標位置に基づいて生成された信号を第２のインターフェースを介して前記情報処理装置に送信させる、画像表示制御装置が提供される。

本発明の画像表示制御装置は、上記構成を採用することにより、画像表示制御装置が提供する各機能を切り替える際の操作性を向上させることができる。

本発明の画像表示システムを示す図。本発明の画像表示装置のハードウェア構成を示す図。本発明の描画装置のハードウェア構成を示す図。本発明の画像表示装置が有するコントローラの機能構成を示す図。本発明の画像表示装置が有するコントローラが実行する処理を示す図。描画モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。削除モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。選択モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の画像表示システム１００を示す。画像表示システム１００は、画像表示装置１１０と、ユーザＰＣ１３０とを含んで構成されており、画像表示装置１１０およびユーザＰＣ１３０は、ケーブル１２４，１２６によって接続される。

画像表示装置１１０は、ユーザＰＣ１３０の表示画像を表示してその操作を可能にすると共に、ユーザが作成する描画画像を表示する装置である。画像表示装置１１０は、ディスプレイ１１２と、映像入力インタフェース１２０と、出力インタフェース１２２とを含んで構成される。

ディスプレイ１１２は、ユーザＰＣ１３０の表示画像やユーザが作成する描画画像などの種々の画像を表示する表示装置である。ディスプレイ１１２には、ユーザＰＣ１３０の表示画像１１６や画像表示装置１１０を操作するＧＵＩ（Graphical User Interface）ボタン１１８ａ，１１８ｂ，１１８ｃが表示される。また、ディスプレイ１１２は、指や専用ペンなどの物体の接触や接近を検知する手段である座標検出装置１１４が設置されている。

映像入力インタフェース１２０は、ユーザＰＣ１３０の表示画像１１６を形成する映像信号を受信するインタフェースである。本実施形態では、映像入力インタフェース１２０としてＤＶＩ（Digital Visual Interface）端子により構成されるＤＶＩコネクタを採用することができる。映像入力インタフェース１２０は、ユーザＰＣ１３０からＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像表示装置１１０にＶＧＡ信号を供給する。

他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。さらに他の実施形態では、映像入力インタフェース１２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０から映像信号を受信してもよい。

出力インタフェース１２２は、画像表示装置１１０の表示画像やユーザＰＣ１３０を操作するイベントを出力する物理インタフェースである。本実施形態では、出力インタフェース１２２としてＵＳＢソケットを採用することができる。

ユーザＰＣ１３０は、画像表示装置１１０に表示すべき画像を提供する情報処理装置である。ユーザＰＣ１３０は、映像信号を出力するインタフェースを備えており、ユーザＰＣ１３０の表示画像に表示された画像を形成する映像信号を所定のレート（例えば、５０～６０ｆｐｓ（frame per second））で画像表示装置１１０に供給する。本実施形態では、ユーザＰＣ１３０は、インタフェースとしてＶＧＡ出力端子を備えており、ＶＧＡ信号を画像表示装置１１０に送信することができる。他の実施形態では、ユーザＰＣ１３０は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。

また、ユーザＰＣ１３０は、ＵＳＢポートを備えており、画像表示装置１１０からマウスやキーボードなどの入力装置が発行する種々のイベント（以下、「入力装置イベント」とする。）を形成する信号を受信し、当該入力装置イベントに応じた処理を実行する。

図１に示す実施形態では、ユーザＰＣ１３０としてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ等の映像信号を供給可能な情報処理装置を採用することができる。

図２は、本発明の画像表示装置１１０のハードウェア構成を示す図である。画像表示装置１１０は、コントローラ２００と、受信部２０２と、ディスプレイ１１２と、座標検出装置１１４と、映像入力インターフェース１２０と、出力インターフェース１２２と、ネットワークインターフェース２０４とを含んで構成される。

コントローラ２００は、画像表示装置の全体制御を行う画像表示制御装置である。コントローラ２００は、ＬＳＩ（Large Scale Integration）によって構成することができる。なお、コントローラ２００の機能構成については、図４を参照して詳細に説明する。

受信部２０２は、描画装置２１０からの無線信号を受信する機能手段である。描画装置２１０は、モード切替部によって描画画像の作成や当該描画画像の消去、ディスプレイ１１２に表示されたＧＵＩボタン等の画像オブジェクトの選択が可能であり、描画装置２１０が、画像表示装置１１０の表示装置であるディスプレイ１１２の表示領域に接触したことを検知し、接触したことを示す信号（以下、「接触信号」とする。）を画像表示装置１１０に無線によって送信する。受信部２０２は、接触信号を座標検出装置１１４に送信する。

本実施形態では、座標検出装置１１４として、特許文献２に示すような赤外線遮断方式による座標入力／検出装置を採用する。この座標入力／検出装置では、ディスプレイ１１２の下側両端部に設置された２の受発光装置が、ディスプレイ１１２に平行して複数の赤外線を放射し、ディスプレイ１１２の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。座標検出装置１１４は、描画装置２１０によって遮断された２の受発光装置が放射した赤外線の識別情報をコントローラ２００が有する座標検出装置ドライバに通知する。座標検出装置ドライバは、当該赤外線の識別情報を使用して遮断された赤外線を特定し、描画装置２１０の接触位置または接近位置（以下、「座標位置」とする。）を算出する。

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式の座標検出装置、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式の座標検出装置、接触物体がディスプレイに接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式の座標検出装置などの種々の検出手段を採用してもよい。

画像表示装置１１０は、ネットワークインタフェース２０４を備えており、ディスプレイ１１２の表示画像や描画画像等の画像データを、ネットワークを介して送信することができる。

図３は、本発明の描画装置のハードウェア構成を示す図である。以下、描画装置２１０のハードウェア構成について説明する。

描画装置２１０は、接触検知手段を構成する先端部３００、接触検知センサ３０２、信号処理部３０４および信号送信部３０６と、モード切替部３０８，３１０とを含む。

先端部３００は、ディスプレイ１１２に接触すべき可動式の部材である。先端部３００は先端がディスプレイ１１２に接触すると、描画装置２１０の長手方向に移動し、後端が接触検知センサ３０２に接触する。先端部３００と接触検知センサ３０２との間には、バネ等の弾性部材（図示せず）が設けられており、先端部３００は座標検出装置１１４から離されると、その弾性力によって元の位置に戻る。

接触検知センサ３０２は、先端部３００が接触したことを検知するセンサである。本実施形態では、接触検知センサ３０２として、ニッタ株式会社のＦｌｅｘｉＦｏｒｃｅ（商標）やイナバゴム株式会社のイナストマー（登録商標）等の圧力センサを採用することができ、先端部３００が接触検知センサ３０２に接触すると、当該接触検知センサ３０２内の電流の抵抗値が変化する。

信号処理部３０４は、接触検知センサ３０２を監視し、描画装置２１０が接触したか否かを判断する手段である。本実施形態では、信号処理部３０４として半導体回路を採用することができ、電圧変換回路と、Ａ／Ｄ変換回路と、記憶回路と、判定回路と、出力回路とを含んで構成される。

信号処理部３０４は、接触検知センサ３０２の抵抗値の変化を検知すると、電圧変換回路が接触検知センサ３０２の抵抗値の変化を電圧に変換し、Ａ／Ｄ変換回路が、電圧変換回路の変換した電圧をデジタル値である接触信号に変換する。

判定回路は、記憶回路に記憶された所定の閾値と接触信号とを比較し、先端部３００がディスプレイ１１２に接触したか否か判定し、その判定結果を出力回路に送信する。

本実施形態では、実際に先端部３００がディスプレイ１１２に接触したことによって生ずる抵抗値の変化を電圧に変換し、デジタル変換した値を所定の閾値とすることができ、抵抗値の変化が所定の閾値以上である場合には、先端部３００がディスプレイ１１２に接触したと判定する。一方、抵抗値の変化が所定の閾値よりも小さい場合には、先端部３００がディスプレイ１１２に接触していないと判定する。

また、判定回路は、動作モードの切替手段であるモード切替部３０８，３１０の押下を検知し、ユーザが押下したモード切替部の種別を示す信号（以下、「切替部種別信号」とする。）を出力回路に送信する。モード切替部３０８，３１０は、画像表示装置１１０が提供する描画モード、削除モードおよび選択モードを選択可能な機構である。描画モードとは、ユーザが描画画像を作成可能なモードである。削除モードとは、ユーザが作成した描画画像を削除可能なモードである。選択モードとは、ディスプレイ１１２に表示されたＧＵＩボタン等の画像オブジェクトの選択やユーザＰＣ１３０に対するイベントの送信が可能なモードである。

本実施形態では、第１のボタンであるモード切替部３０８は、削除モードを指定可能なボタンであり、第２のボタンであるモード切替部３１０は、選択モードを指定可能なボタンである。本実施形態では、２のモード切替部を使用してモードを指定可能であるが、他の実施形態では、１または３のモード切替部を使用してモードを指定してもよい。

ユーザがモード切替部３０８，３１０を押下すると、モード切替部３０８，３１０は、信号線を介して切替部種別信号を出力回路に送信する。

出力回路は、判定回路が出力した接触信号および切替部種別信号を信号送信部３０６に出力する。接触信号には、描画装置２１０がディスプレイ１１２に接触したこと（ｔｒｕｅ）を示す値と、接触していないこと（ｆａｌｓｅ）を示す値とが含まれる。出力回路は、定期的に接触信号および切替部種別信号を出力する。他の実施形態では、出力回路は、描画装置２１０がディスプレイ１１２に接触したときやディスプレイ１１２から離れたときに接触信号を出力してもよい。

信号送信部３０６は、出力回路が出力した接触信号および切替部種別信号を画像表示装置１１０に送信する手段である。本実施形態では、信号送信部３０６は、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により、接触信号や切替部種別信号を画像表示装置１１０に送信するが、他の実施形態では、これらの信号を、信号線を介して画像表示装置１１０に送信してもよい。

本実施形態では、描画装置２１０を使用して動作モードの切り替えが可能であるため、例えば、ユーザは、描画装置２１０で描画画像を作成しているときに、手元の描画装置２１０を使用して動作モードを削除モードに切り替えて描画画像を削除することができ、次いで、動作モードを描画モードに切り替えて描画画像の作成を継続することができるため、ユーザビリティを一層高めることができる。

図４は、画像表示装置１１０のコントローラ２００の機能構成を示す図である。画像表示装置１１０は、ＯＳ（Operating System）４００と、アプリケーション部４１０と、映像信号入力部４２２と、座標検出装置ドライバ４２４とを含んで構成される。

映像信号入力部４２２は、ユーザＰＣ１３０が送信する映像信号を処理する機能手段である。具体的には、映像信号入力部４２２は、ユーザＰＣ１３０から受信したＶＧＡ信号等の映像信号をＡ／Ｄ変換し、アプリケーション部４１０に供給する。

ＯＳ４００は、コントローラ２００の全体制御を行う機能手段である。ＯＳ４００は、座標検出装置ドライバ４２４が発行する種々のイベントを受信し、アプリケーション部４１０に通知する。

本実施形態では、ＯＳ４００としてＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを採用することができ、コントローラ２００の有するプロセッサ（図示せず）が、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。

座標検出装置ドライバ４２４は、座標検出装置１１４を制御する機能手段である。座標検出装置ドライバ４２４は、座標検出装置１１４から接触信号を受信すると、描画装置２１０がディスプレイ１１２に接触または接近したことを通知するイベント（ＴＯＵＣＨ）、描画装置２１０がディスプレイ１１２に接触または接近した状態で接触点または接近点が移動したことを通知するイベント（ＭＯＶＥ）、描画装置２１０がディスプレイ１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）を発行し、ＯＳ４００に通知する。

座標検出装置ドライバ４２４は、座標検出装置１１４から受信した赤外線の識別情報を使用して描画装置２１０の座標位置を特定し、当該座標位置を示す情報（以下、「座標位置情報」とする。）を各種イベント（ＴＯＵＣＨ、ＭＯＶＥ、ＲＥＬＥＡＳＥ）に付加する。イベント（ＭＯＶＥ）には、複数の座標位置情報が付加される。また、座標検出装置ドライバ４２４は、座標検出装置１１４から受信した切替部種別信号を使用して、ユーザが押下したモード切替部３０８，３１０の種別を判断し、これらのイベントにモード切替部の識別情報を付加する。モード切替部３０８，３１０が押下されていない場合、すなわち、切替部種別信号を受信していない場合には、座標検出装置ドライバ４２４は、モード切替部の識別情報をイベントに付加しない。

アプリケーション部４１０は、ディスプレイ１１２に表示される画像を処理する機能手段であり、映像信号処理部４１２と、イベント処理部４１４と、描画部４１６と、削除部４１８と、操作部４２０とを含んで構成される。

映像信号処理部４１２は、映像信号入力部４２２が供給する映像信号を処理する機能手段である。映像信号処理部４１２は、映像信号からユーザＰＣ１３０の表示画像を生成し、ディスプレイ１１２に表示する。映像信号処理部４１２は、ディスプレイ１１２に表示されている画像をコントローラ２００が備えるＲＡＭ等の記憶装置の所定の領域（以下、「背景画像保存領域」とする。）に保存する。

イベント処理部４１４は、ＯＳ４００から受信したイベントを処理する機能手段である。具体的には、イベント処理部４１４は、ＯＳ４００から受信したイベントに対応する処理を実行すべき描画部４１６、削除部４１８および操作部４２０にイベント（ＴＯＵＣＨ）、イベント（ＭＯＶＥ）およびイベント（ＲＥＬＥＡＳＥ）を通知する。

描画部４１６は、描画画像を作成してディスプレイ１１２に表示する機能手段である。描画部４１６は、イベント処理部４１４から受信したイベントに含まれる座標位置情報が示す座標位置の色を所定の色に変更した描画画像を生成する。そして、描画部４１６は、背景画像保存領域から画像を取得して描画画像と合成し、ディスプレイ１１２に表示する。

描画部４１６は、ディスプレイ１１２に表示されている描画画像をコントローラ２００が備えるＲＡＭ等の記憶装置の所定の領域（以下、「描画画像保存領域」とする。）に保存する。このとき、描画部４１６は、描画画像を形成した座標位置を示す情報を描画画像のメタデータとして描画画像保存領域に保存する。また、描画部４１６は、合成した画像を所定の領域（以下、「合成画像保存領域」とする。）に保存する。

削除部４１８は、描画画像を消去する機能手段である。削除部４１８は、イベント処理部４１４から受信したイベントに含まれる座標位置情報が示す座標位置と、描画画像が形成された座標位置とを比較し、これらの座標位置が合致する場合に、合成画像の当該座標位置の色を対応する背景画像の色に変更する。そして、削除部４１８は、変更した合成画像をディスプレイ１１２に表示し、合成画像保存領域に保存する。

本実施形態では、背景画像保存領域および合成画像保存領域は、これらの画像を構成する画素の色が座標位置毎に保存されており、削除部４１８は、消去すべき描画画像に対応する合成画像の画素を特定し、これに対応する背景画像の色を特定することができる。

操作部４２０は、画像表示装置１１０またはユーザＰＣ１３０に対する操作を指示する機能手段である。操作部４２０は、イベント処理部４１４から受信したイベントに含まれる座標位置情報が示す座標位置が、画像表示装置１１０に対する指示を示す画像オブジェクトの領域またはユーザＰＣ１３０の表示画像が表示された領域であるか否か判断する。

座標位置情報が示す座標位置が画像表示装置１１０に対する指示を示す画像オブジェクトの領域内である場合には、操作部４２０は、当該画像オブジェクトが選択された旨のイベントをＯＳ４００に対して発行する。座標位置情報が示す座標位置がユーザＰＣ１３０の表示画像が表示された領域である場合には、操作部４２０は、当該座標位置をユーザＰＣ１３０の表示画像の解像度に適合する座標位置に変更し、変更した座標位置と共に入力装置イベントをユーザＰＣ１３０に送信する。

本実施形態では、画像表示装置１１０が座標検出装置１１４を制御する機能手段や、描画画像を生成して背景画像と重畳する機能手段を備えているため、これらの機能を有する制御ドライバ等のソフトウェアをユーザＰＣ１３０にインストールする必要がない。

図５は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図５を参照して、画像表示装置１１０のコントローラ２００が実行する処理について説明する。

図５の処理は、ステップＳ５００から開始し、ステップＳ５０１でコントローラ２００のイベント処理部４１４が、座標検出装置ドライバ４２４の発行したイベントを検知したか否か判断する。イベントを検知していない場合には（ｎｏ）、ステップＳ５０１の処理を反復する。一方、イベントを検知した場合には（ｙｅｓ）、処理をステップＳ５０２に分岐する。

ステップＳ５０２では、イベント処理部４１４は、イベントに付加されたモード切替部の識別情報を使用して、削除モードを指定する第１のボタンが押下されたか否か判断し、第１のボタンが押下されたと判断した場合には（ｙｅｓ）、処理をステップＳ５０６に分岐する。ステップＳ５０６では、イベント処理部４１４は、ステップＳ５０１で検知したイベントを削除部４１８に通知し、処理をステップＳ５０１に戻す。

一方、ステップＳ５０２の判定で第１のボタンが押下されていないと判断した場合には（ｎｏ）、処理をステップＳ５０３に分岐する。ステップＳ５０３では、イベント処理部４１４は、イベントに付加されたモード切替部の識別情報を使用して、選択モードを指定する第２のボタンが押下されたか否か判断し、第２のボタンが押下されたと判断した場合には（ｙｅｓ）、処理をステップＳ５０５に分岐する。ステップＳ５０５では、イベント処理部４１４は、ステップＳ５０１で検知したイベントを操作部４２０に通知し、処理をステップＳ５０１に戻す。

一方、ステップＳ５０３の判定で第２のボタンが押下されていないと判断した場合には（ｎｏ）、処理をステップＳ５０４に分岐する。ステップＳ５０４では、イベント処理部４１４は、ステップＳ５０１で検知したイベントを描画部４１６に通知し、処理をステップＳ５０１に戻す。

図６は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図６を参照して、描画モードが選択されている場合に画像表示装置１１０のコントローラ２００が実行する処理について説明する。

図６の処理は、ステップＳ６００で描画部４１６がイベント処理部４１４からイベントを受信することにより開始する。ステップＳ６０１では、描画部４１６は、イベントの種類がＴＯＵＣＨまたはＭＯＶＥであるか否か判断する。イベントの種類がＴＯＵＣＨまたはＭＯＶＥである場合には（ｙｅｓ）、処理をステップＳ６０２に分岐する。一方、イベントの種類がＴＯＵＣＨまたはＭＯＶＥでない場合、すなわち、ＲＥＬＥＡＳＥである場合には（ｎｏ）、処理をステップＳ６０７に分岐して終了する。

ステップＳ６０２では、描画部４１６は、イベントに付加された座標位置情報を使用して描画画像を生成する。ステップＳ６０３では、描画部４１６は、描画画像を描画画像保存領域に保存する。ステップＳ６０４では、描画部４１６は、背景画像保存領域から背景画像を取得し、描画画像と合成する。ステップＳ６０５では、描画部４１６は、ステップＳ６０４で生成した合成画像をディスプレイ１１２に表示する。ステップＳ６０６では、描画部４１６は、当該合成画像を合成画像保存領域に保存し、ステップＳ６０７で処理が終了する。

図７は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図７を参照して、削除モードが選択されている場合に画像表示装置１１０のコントローラ２００が実行する処理について説明する。

図７の処理は、ステップＳ７００で削除部４１８がイベント処理部４１４からイベントを受信することにより開始する。ステップＳ７０１では、削除部４１８は、イベントの種類がＴＯＵＣＨまたはＭＯＶＥであるか否か判断する。イベントの種類がＴＯＵＣＨまたはＭＯＶＥである場合には（ｙｅｓ）、処理をステップＳ７０２に分岐する。一方、イベントの種類がＴＯＵＣＨまたはＭＯＶＥでない場合、すなわち、ＲＥＬＥＡＳＥである場合には（ｎｏ）、処理をステップＳ７０７に分岐して終了する。

ステップＳ７０２では、削除部４１８は、描画画像保存領域に保存された描画画像の座標位置情報を取得する。ステップＳ７０３では、削除部４１８は、イベントに付加された座標位置情報と、描画画像の座標位置情報とを比較し、これらの座標位置情報が示す座標位置が重複するか否か判断する。座標位置が重複する場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。一方、座標位置が重複しない場合には（ｎｏ）、処理をステップＳ７０７に分岐して終了させる。

ステップＳ７０４では、削除部４１８は、合成画像保存領域から合成画像を取得し、合成画像のうち当該座標位置が示す画素の色を、背景画像保存領域に保存された背景画像のうち当該座標位置が示す画素の色に変更することにより、座標位置が示す描画画像を削除する。ステップＳ７０５では、削除部４１８は、ステップＳ７０４で変更した合成画像をディスプレイ１１２に表示する。ステップＳ７０６では、削除部４１８は、ディスプレイ１１２に表示した合成画像を合成画像保存領域に保存し、ステップＳ７０７で処理が終了する。

図８は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図８を参照して、選択モードが選択されている場合に画像表示装置１１０のコントローラ２００が実行する処理について説明する。

図８の処理は、ステップＳ８００で操作部４２０がイベント処理部４１４からイベントを受信することにより開始する。ステップＳ８０１では、操作部４２０は、イベントの種類がＲＥＬＥＡＳＥであるか否か判断する。イベントの種類がＲＥＬＥＡＳＥである場合には（ｙｅｓ）、処理をステップＳ８０２に分岐する。一方、イベントの種類がＲＥＬＥＡＳＥでない場合、すなわち、ＴＯＵＣＨまたはＭＯＶＥである場合には（ｎｏ）、処理をステップＳ８０６に分岐して終了する。

ステップＳ８０２では、操作部４２０は、イベントに付加された座標位置情報を使用して、当該座標位置情報が示す座標位置がいずれの領域に属するか判断する。座標位置が画像オブジェクト領域に属する場合には、処理をステップＳ８０３に分岐させる。ステップＳ８０３では、操作部４２０は、座標位置が示す画像オブジェクトが選択された旨のイベントをＯＳ４００に対して発行し、ステップＳ８０６で処理が終了する。

ステップＳ８０２の判定で座標位置がユーザＰＣ１３０の表示画像領域に属すると判断した場合には、処理をステップＳ８０４に分岐させる。ステップＳ８０４では、操作部４２０は、イベントに付加された座標位置情報が示す座標位置をユーザＰＣ１３０の表示画像の解像度に適合するように変更する。ユーザＰＣ１３０の表示画像の解像度は予め規定してもよく、また、映像信号処理部４１２が、ユーザＰＣ１３０から受信した映像信号を解析して算出してもよい。

ステップＳ８０５では、操作部４２０は、当該座標位置が選択された旨の入力装置イベントに変更後の座標位置を示す座標位置情報を付加してユーザＰＣ１３０に送信し、ステップＳ８０６で処理が終了する。

ステップＳ８０２の判定で座標位置がその他の領域に属すると判断した場合には、処理をステップＳ８０６に分岐して終了する。

これまで本発明の一実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

特に、上述した実施形態では、コントローラが、画像表示装置と一体的に構成されたディスプレイに画像を表示させるが、他の実施形態では、コントローラが、プロジェクタ等の画像の投影が可能な表示装置に画像を投影させ、スクリーン等の表示面に画像を表示させてもよい。この場合、描画装置の接触位置または接近位置を検知するセンサをスクリーンや表示装置に設け、コントローラが、画像が投影された表示面上の領域、すなわち、表示装置の表示領域に対する描画装置の接触位置情報または接近位置情報をセンサから取得することができる。

１００…画像表示システム、１１０…画像表示装置、１１２…ディスプレイ、１１４…座標検出装置、１１６…表示画像、１１８ａ，１１８ｂ，１１８ｃ…ＧＵＩボタン、１２０…映像入力インタフェース、１２２…出力インタフェース、１２４，１２６…ケーブル、１３０…ユーザＰＣ

特開２００２－９１６５４号公報特許第４６２７７８１号公報

Claims

オペレーティングシステムを含み、情報処理装置の表示画像を画像表示装置又は表示装置の表示面に表示させて当該情報処理装置の操作が可能な前記画像表示装置又は表示装置を制御する画像表示制御装置であって、
第１のインターフェースを介して前記情報処理装置から受信した映像信号に基づき前記情報処理装置の表示画像を生成する映像信号処理部と、
前記画像表示装置又は表示装置の表示面に描画装置が接触又は近接したことを示す座標位置の描画画像を生成し、前記映像信号処理部で生成された前記表示画像に合成する描画部と、
前記描画装置が前記画像表示装置又は表示装置の表示面から離れたことを通知するイベントを受信した場合であって、前記イベントに付加された座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、前記情報処理装置の表示画像が表示された領域にある場合に、当該座標位置に基づいて生成された信号を第２のインターフェースを介して前記情報処理装置に送信し、前記イベントに付加された前記座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、画像オブジェクトの領域にある場合は、当該画像オブジェクトに対応した操作の指示を前記オペレーティングシステムに発行する操作部と
を有する、画像表示制御装置。
前記操作部は、前記座標位置が、前記表示面のうち、前記情報処理装置の表示画像が表示された領域である場合には、前記座標位置を前記情報処理装置の表示画像の解像度に応じた座標位置の信号を生成し、当該信号を前記第２のインターフェースを介して前記情報処理装置に送信させる、請求項１に記載の画像表示制御装置。
前記操作部は、前記座標位置が、前記表示面のうち、前記情報処理装置の表示画像が表示された領域でない場合には、前記画像表示制御装置を含む装置に対する指示を受け付ける、
請求項１又は２に記載の画像表示制御装置。
請求項１に記載の画像表示制御装置と、
前記情報処理装置から送信される映像信号を受信する前記第１のインターフェースと、
前記画像表示制御装置で生成された信号を前記情報処理装置に送信する前記第２のインターフェースと、を有する画像表示装置。
前記第１のインターフェースは、ＶＧＡ、ＨＤＭＩ（登録商標）またはＤｉｓｐｌａｙＰｏｒｔ、無線通信プロトコルに準拠した無線通信のうちのいずれか１つであることを特徴とする、請求項１～３のいずれか１項に記載の画像表示制御装置。
前記第２のインターフェースは、ＵＳＢであることを特徴とする、請求項１～３、又は５のいずれか１項の記載の画像表示制御装置。
請求項４に記載の画像表示装置と、
前記情報処理装置と、を有し、
前記画像表示装置及び前記情報処理装置は、相互接続されている、
画像表示システム。
情報処理装置の表示画像を画像表示装置又は表示装置の表示面に表示させて当該情報処理装置の操作が可能な前記画像表示装置又は表示装置を制御する画像表示制御方法であって、
第１のインターフェースを介して前記情報処理装置から受信した映像信号に基づき前記情報処理装置の表示画像を生成する映像信号処理ステップと、
動作モードが描画モードである場合、前記画像表示装置又は表示装置の表示面に描画装置が接触又は近接したことを示す座標位置の描画画像を生成し、前記映像信号処理ステップで生成された前記表示画像に合成する描画ステップと、
前記動作モードが選択モードであり、前記描画装置が前記画像表示装置又は表示装置の表示面から離れたことを通知するイベントを受信した場合であって、前記イベントに付加された座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、前記情報処理装置の表示画像が表示された領域にある場合に、当該座標位置に基づいて生成された信号を第２のインターフェースを介して前記情報処理装置に送信し、前記イベントを受信し、前記イベントに付加された前記座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、画像オブジェクトの領域にある場合は、当該画像オブジェクトに対応した操作の指示を、前記画像表示装置又は表示装置を制御する画像表示制御装置が備えるオペレーティングシステムに発行する操作ステップと
を含む、方法。
情報処理装置の表示画像を画像表示装置又は表示装置の表示面に表示させて当該情報処理装置の操作が可能な前記画像表示装置又は表示装置として機能させるための画像表示方法であって、
第１のインターフェースを介して前記情報処理装置から受信した映像信号に基づき前記情報処理装置の表示画像を生成する映像信号処理ステップと、
動作モードが描画モードである場合、前記画像表示装置又は表示装置の表示面に描画装置が接触又は近接したことを示す座標位置の描画画像を生成し、前記映像信号処理ステップで生成された前記表示画像に合成して表示する描画ステップと、
前記動作モードが選択モードであり、前記描画装置が前記画像表示装置又は表示装置の表示面から離れたことを通知するイベントを受信した場合であって、前記イベントに付加された座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、前記情報処理装置の表示画像が表示された領域にある場合に、当該座標位置に基づいて生成された信号を第２のインターフェースを介して前記情報処理装置に送信し、前記イベントを受信し、前記イベントに付加された前記座標位置情報が示す前記描画装置が前記表示面に接触又は近接したときの座標位置が、画像オブジェクトの領域にある場合は、当該画像オブジェクトに対応した操作の指示を、前記画像表示装置又は表示装置を制御する画像表示制御装置が備えるオペレーティングシステムに発行する操作ステップと
を含む、画像表示方法。