JP6076479B2 - マルチ画面表示システム、画像描画方法及び画像描画プログラム - Google Patents

マルチ画面表示システム、画像描画方法及び画像描画プログラム Download PDF

Info

Publication number
JP6076479B2
JP6076479B2 JP2015531691A JP2015531691A JP6076479B2 JP 6076479 B2 JP6076479 B2 JP 6076479B2 JP 2015531691 A JP2015531691 A JP 2015531691A JP 2015531691 A JP2015531691 A JP 2015531691A JP 6076479 B2 JP6076479 B2 JP 6076479B2
Authority
JP
Japan
Prior art keywords
image
control command
input information
screen
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015531691A
Other languages
English (en)
Other versions
JPWO2015022723A1 (ja
Inventor
泰範 椿
泰範 椿
洋平 三木
洋平 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6076479B2 publication Critical patent/JP6076479B2/ja
Publication of JPWO2015022723A1 publication Critical patent/JPWO2015022723A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この発明は、複数の表示装置により構成されるマルチ画面上に画像を描画するマルチ画面表示システム、画像描画方法及び画像描画プログラムに関するものである。
マルチ画面表示システムは、例えば、横m列縦n段にm×n台の表示装置を配置することで、1台の表示装置では性能的に表示することができない巨大な大画面モニタを仮想的に実現するシステムである。
以下の特許文献1に開示されているマルチ画面表示システムでは、m×n台の表示装置と、m×n台の表示装置により構成されるマルチ画面の描画内容の全てを管理する制御サーバと、各々の表示装置と接続されているm×n台の画像描画端末とを備え、各々の画像描画端末が、制御サーバの制御の下で、自己が接続されている表示装置の画面に画像を描画する処理を行う。
特開平9−204164号公報(例えば、段落番号[0006]、図1)
従来のマルチ画面表示システムは以上のように構成されているので、制御サーバに故障が発生すると、全ての画像描画端末や表示装置が正常であっても、全ての表示装置の画面に画像を描画することができなくなる課題があった。
この発明は上記のような課題を解決するためになされたもので、画像描画端末や表示装置の一部に故障が発生しても、画像描画端末と表示装置が正常な組では、画像を画面に描画することができるマルチ画面表示システム、画像描画方法及び画像描画プログラムを得ることを目的とする。
この発明に係るマルチ画面表示システムは、複数の画像描画端末が、複数の表示装置の中で、自己が接続されている表示装置である自表示装置の画面に現在表示されている画像を管理する画像管理手段と、ユーザにより指定された画面上の位置及び操作を示す入力情報が与えられると、画像管理手段により管理されている現在表示中の画像の中から、入力情報が示す位置に対応する画像を特定する画像特定手段と、入力情報が示す位置及び操作にしたがって画像特定手段により特定された画像の更新内容を示す画像制御命令を生成する画像制御命令生成手段と、画像制御命令生成手段により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定する判定手段と、判定手段により更新後の画像の一部又は全部が他表示装置の画面内に表示されると判定された場合、その画像制御命令を他の画像描画端末に配信し、他の画像描画端末から画像制御命令が配信された場合、配信された画像制御命令を受信する画像制御命令送受信手段とを設け、画像描画手段が、画像制御命令生成手段により生成された画像制御命令又は画像制御命令送受信手段により受信された画像制御命令にしたがって更新後の画像を自表示装置の画面に描画するようにしたものである。
この発明によれば、画像制御命令生成手段により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定する判定手段と、判定手段により更新後の画像の一部又は全部が他表示装置の画面内に表示されると判定された場合、その画像制御命令を他の画像描画端末に配信し、他の画像描画端末から画像制御命令が配信された場合、配信された画像制御命令を受信する画像制御命令送受信手段とを設け、画像描画手段が、画像制御命令生成手段により生成された画像制御命令又は画像制御命令送受信手段により受信された画像制御命令にしたがって更新後の画像を自表示装置の画面に描画するように構成したので、画像描画端末や表示装置の一部に故障が発生しても、画像描画端末と表示装置が正常な組では、画像を画面に描画することができる効果がある。
この発明の実施の形態1によるマルチ画面表示システムを示す構成図である。 この発明の実施の形態1によるマルチ画面表示システムの画像描画端末を示す構成図である。 この発明の実施の形態1によるマルチ画面表示システムの画像描画端末の処理内容(画像描画方法)を示すフローチャートである。 表示装置の台数が2×2である場合の画面配置を示す説明図である。 画像描画端末の描画処理例を示す説明図である。 画像描画端末の描画処理例を示す説明図である。 この発明の実施の形態2によるマルチ画面表示システムの画像描画端末及び操作端末を示す構成図である。 この発明の実施の形態3によるマルチ画面表示システムを示す構成図である。 この発明の実施の形態4によるマルチ画面表示システムの画像描画端末を示す構成図である。 この発明の実施の形態5によるマルチ画面表示システムを示す構成図である。 この発明の実施の形態5によるマルチ画面表示システムの画像描画端末を示す構成図である。 この発明の実施の形態5によるマルチ画面表示システムの画像描画端末の処理内容(画像描画方法)を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1はこの発明の実施の形態1によるマルチ画面表示システムを示す構成図である。
図1において、表示装置11,1〜1M,Nはマルチ画面を構成する液晶ディスプレイやプロジェクタなどの表示器である。図1では、横方向にM台、縦方向にN台配置されている例を示している。
画像描画端末21,1〜2M,Nは表示装置11,1〜1M,Nと1対1で接続されており、接続されている表示装置1の画面に画像を描画する装置である。
なお、画像描画端末21,1〜2M,Nは例えばLANなどのネットワークに接続されている。
入力装置3はユーザが画面上の位置や画像操作を指定する際に操作するマンマシンインタフェースであり、例えば、マウス、キーボードやセンサなどから構成されている。
図1の例では、入力装置3が画像描画端末21,1に接続されているものを示しているが、画像描画端末21,1以外の画像描画端末2に接続されていてもよい。また、入力装置3が画像描画端末21,1だけでなく、複数の画像描画端末2に接続されていてもよい(実施の形態5を参照)。
図2はこの発明の実施の形態1によるマルチ画面表示システムの画像描画端末2m,nを示す構成図である。ただし、m=1,2,・・・,M、n=1,2,・・・,Nである。
図2において、画像表示リスト記憶部11は例えばRAMやハードディスクなどの記憶装置から構成されており、自己が接続されている表示装置である自表示装置1m,nの画面に現在表示されている画像の表示位置や各画像の表示順序を示す画像表示リストを保持している。なお、画像表示リスト記憶部11は画像管理手段を構成している。
端末情報記憶部12は例えばRAMやハードディスクなどの記憶装置から構成されており、端末情報を記憶している。
端末情報は、例えば、自表示装置1m,nの画面解像度及び自己の識別情報(自端末の端末名称、IPアドレスなど)からなる自端末識別情報と、周辺画面情報リストとからなる情報である。
周辺画面情報リストには、例えば、自表示装置1m,nと物理的に隣接して配置されている他の表示装置の画面解像度と、他の表示装置の画面位置情報と、他の表示装置と接続されている他の画像描画端末2の識別情報(端末名称、IPアドレスなど)とが含まれている。
この実施の形態1では、予め、端末情報が端末情報記憶部12に登録されているものを想定しているが、図示せぬ端末情報編集部が端末情報を入力して、その端末情報を編集できるものとしてもよい。
画像データ記憶部13は例えばRAMやハードディスクなどの記憶装置から構成されており、自表示装置1m,nの画面に画像を描画する際に必要な情報である画像データを記憶している。
画像データとしては、例えば、素材データ(例えば、静止画・動画などの画像から構成されるコンテンツのデータ)、画像上の指定領域内で入力イベント(例えば、クリックイベント、ドラッグイベントなど)が発生した場合に行う描画処理の内容を示すコマンド情報(例えば、停止コマンド、移動コマンドなど)、画像を識別する画像識別情報などが該当する。
入力情報生成部14は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力装置3を用いて、ユーザによって指定された位置や操作に応じて、画面上の位置及び入力イベント(例えば、クリックやドラッグなどの操作)を示す入力情報を生成する処理を実施する。なお、入力情報生成部14は入力情報生成手段を構成している。
図2の例では、入力装置3が画像描画端末2m,nに接続されているため、入力情報生成部14が搭載されているが、例えば、図1の画像描画端末22,1のように、入力装置3が接続されていない場合、入力情報生成部14は搭載されない。
入力装置3が接続されていない画像描画端末2m,nでは、後述する入力情報送受信部15が、入力装置3が接続されている画像描画端末2m,n(図1の例では、画像描画端末21,1)から配信された入力情報を受信することで、画像の描画処理を行う。
入力情報送受信部15は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、入力情報生成部14により生成された入力情報が示す位置が、他の画像描画端末(自画像描画端末2m,n以外の画像描画端末)に接続されている表示装置1である他表示装置(自表示装置1m,n以外の表示装置)の画面内の位置であるか否かを判定し、その入力情報が示す位置が他表示装置1の画面内の位置であれば、その入力情報を他の画像描画端末2に配信する一方、入力情報生成部14により生成された入力情報が示す位置が自表示装置1m,nの画面内の位置であれば、その入力情報を画像特定部16に出力する処理を実施する。
また、入力情報送受信部15は他の画像描画端末2から入力情報が配信された場合、その入力情報を受信して、その入力情報を画像特定部16に出力する処理を実施する。なお、入力情報送受信部15は入力情報送受信手段を構成している。
画像特定部16は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像表示リスト記憶部11により記憶されている画像表示リストを参照して、自表示装置1m,nの画面に現在表示中の画像を認識し、現在表示中の画像の中から、入力情報送受信部15から出力された入力情報が示す位置に対応する画像を特定する処理を実施する。なお、画像特定部16は画像特定手段を構成している。
画像制御命令生成部17は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像データ記憶部13により記憶されている画像データを用いて、入力情報送受信部15から出力された入力情報が示す位置及び入力イベントにしたがって画像データ記憶部13から得られる画像特定部16により特定された画像のコマンド情報に基づいた更新内容を示す画像制御命令を生成する処理を実施する。なお、画像制御命令生成部17は画像制御命令生成手段を構成している。
画像制御命令送受信部18は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、画像制御命令生成部17により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他表示装置の画面内に表示されるか否かを判定する処理を実施する。
画像制御命令送受信部18は更新後の画像の一部又は全部が他表示装置1の画面内に表示されると判定すると、その画像制御命令を他の画像描画端末2に配信する。また、画像制御命令生成部17により生成された画像制御命令を画像描画部19に出力する処理を実施する。
また、画像制御命令送受信部18は他の画像描画端末2から画像制御命令が配信された場合、その画像制御命令を受信して、その画像制御命令を画像描画部19に出力する処理を実施する。なお、画像制御命令送受信部18は判定手段及び画像制御命令送受信手段を構成している。
画像描画部19は例えばGPU(Graphics Processing Unit)から構成されており、画像データ記憶部13により記憶されている画像データを用いて、画像制御命令送受信部18から出力された画像制御命令にしたがって更新後の画像を自表示装置1m,nの画面に描画する処理を実施する。なお、画像描画部19は画像描画手段を構成している。
図2の例では、画像描画端末2m,nの構成要素である画像表示リスト記憶部11、端末情報記憶部12、画像データ記憶部13、入力情報生成部14、入力情報送受信部15、画像特定部16、画像制御命令生成部17、画像制御命令送受信部18及び画像描画部19のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像描画端末2m,nがコンピュータで構成されていてもよい。
画像描画端末2m,nがコンピュータで構成されている場合、画像表示リスト記憶部11、端末情報記憶部12及び画像データ記憶部13をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、入力情報生成部14、入力情報送受信部15、画像特定部16、画像制御命令生成部17、画像制御命令送受信部18及び画像描画部19の処理内容を記述している画像描画プログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されている画像描画プログラムを実行するようにすればよい。
図3はこの発明の実施の形態1によるマルチ画面表示システムの画像描画端末2m,nの処理内容(画像描画方法)を示すフローチャートである。
次に動作について説明する。
この実施の形態1では、説明の簡単化のため、表示装置1の台数が2×2である場合について説明する。
図4は表示装置1の台数が2×2である場合の画面配置を示す説明図である。
また、この実施の形態1では、説明の便宜上、自表示装置が表示装置11,1で、自表示装置の周辺に配置されている隣接の他表示装置が表示装置12,1、表示装置11,2、表示装置12,2であるとして説明する。
この場合、自表示装置11,1の端末情報記憶部12により記憶される周辺画面情報リスト内の他表示装置1の画面位置情報として、例えば、自表示装置11,1の画面の左上を原点とする座標系において、他表示装置1の画面に対するオフセット座標が用いられる。
したがって、例えば、表示装置11,1、表示装置12,1、表示装置11,2、表示装置12,2の解像度が全て同一であって、画素が画面上に隙間なく整列されており、水平画素数がW、垂直画素数がHであるとすると、自表示装置である表示装置11,1の表示領域は(0,0)−(W,H)、他表示装置である表示装置12,1の表示領域は(W,0)−(2W,H)で表される。
また、他表示装置である表示装置11,2の表示領域は(0,H)−(W,2H)、他表示装置である表示装置12,2の表示領域は(W,H)−(2W,2H)で表される。
この場合、自端末識別情報における自表示装置11,1の画面解像度がW×Hであり、他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面解像度がW×Hである。
この実施の形態1では、自端末識別情報における自己の識別情報である自画像描画端末21,1の端末名称が「term1」、他の画像描画端末(画像描画端末22,1、画像描画端末21,2、画像描画端末22,2)の識別情報である端末名称がそれぞれ「term2」「term3」「term4」であるものとする。
図5及び図6は画像描画端末の描画処理例を示す説明図である。
図5及び図6の例では、マルチ画面のうち、自表示装置11,1の画面だけに、画像A(アニメーション)が表示されている。
図5及び図6の例では、自画像描画端末21,1の画像描画部19が、自表示装置11,1の画面に対する描画を繰り返すことで、画像Aが定期的に更新されている状態を表している。
特に、図5は、画像Aが自表示装置11,1の画面上に表示されているとき、画像Aの座標系におけるイベント領域(Aev_l, Aev_t)−(Aev_r, Aev_b)内の位置(ix,iy)を短時間ボタン押下して直ぐに離す(クリックする)と、画像Aが停止するコマンド(あ)が実行される例を示している。イベント領域(Aev_l, Aev_t)−(Aev_r, Aev_b)は、図中、斜線が施されている矩形の領域である。
一方、図6は、画像Aが自表示装置11,1の画面上に表示されているとき、画像Aの表示領域(A_l,A_t)−(A_l+A_w,A_t+A_h)内の位置(ix,iy)をポインタで指定して画像Aを選択したのち、画像Aをドラッグすると、画像Aが移動するコマンド(い)が実行される例を示している。
図5及び図6において、画像Aの現在の表示位置は(A_l,A_t)、表示サイズはA_w×A_h、表示順序は1である。
図6では、画像Aの移動先の位置は、他表示装置12,1の画面内の位置(ix2,iy2)であるものとする。
以下、図5及び図6を参照しながら、画像描画端末の描画処理を説明する。
自画像描画端末21,1の入力情報生成部14は、入力装置3を用いて指定された位置や操作に応じて入力イベントを生成し、位置情報と合わせて入力情報を生成する(図3のステップST1)。
例えば、画像Aが自表示装置11,1の画面上に表示されているとき、図5に示すように、ユーザが入力装置3を操作して、位置(ix,iy)をボタン押下してすぐに離すと、クリックイベントを生成する。
また、画像Aが自表示装置11,1の画面上に表示されているとき、図6に示すように、ユーザが入力装置3を操作して、画像Aの表示領域(A_l,A_t)−(A_l+A_w,A_t+A_h)内の位置(ix0,iy0)を指定してボタン押下した後、そのボタンを押下したままの状態で位置(ix,iy)に移動した場合、ドラッグイベントを生成する。
入力情報送受信部15は、入力情報生成部14から入力情報を受けると、その入力情報に含まれている位置(ユーザにより指定された位置の座標(ix,iy))が、自表示装置11,1の画面内の位置であるか、他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面内の位置であるかを判定する(ステップST2)。
入力情報に含まれている位置が自表示装置11,1の画面内の位置であるか否かは、自表示装置11,1の表示領域が(0,0)−(W,H)であるため、入力情報に含まれている位置の座標(ix,iy)が、表示領域(0,0)−(W,H)内の座標であるか否かで判定する。
入力情報に含まれている位置が他表示装置12,1の画面内の位置であるか否かは、他表示装置12,1の表示領域が(W,0)−(2W,H)であるため、入力情報に含まれている位置の座標(ix,iy)が、表示領域(W,0)−(2W,H)内の座標であるか否かで判定する。
同様に、入力情報に含まれている位置が他表示装置11,2の画面内の位置であるか否かは、他表示装置11,2の表示領域が(0,H)−(W,2H)であるため、入力情報に含まれている位置の座標(ix,iy)が、表示領域(0,H)−(W,2H)内の座標であるか否かで判定する。
同様に、入力情報に含まれている位置が他表示装置12,2の画面内の位置であるか否かは、他表示装置12,2の表示領域が(W,H)−(2W,2H)であるため、入力情報に含まれている位置の座標(ix,iy)が、表示領域(W,H)−(2W,2H)内の座標であるか否かで判定する。
入力情報送受信部15は、入力情報に含まれている位置が他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面内の位置である場合(ステップST3)、端末情報記憶部12により記憶されている端末情報の周辺画面情報リストに含まれている他表示装置1の画面解像度及び画面位置情報を参照して、入力情報に含まれている位置の座標(ix,iy)を他表示装置1の座標系の座標(ix−t2_l,iy−t2_t)に変換する(ステップST4)。
例えば、他表示装置が表示装置12,1であれば、他表示装置の座標系は、図4(b)に示すように、表示装置12,1の左上点を原点とする座標系である。
入力情報送受信部15は、入力情報に含まれている位置の座標(ix,iy)を他表示装置1の座標系の座標(ix−t2_l,iy−t2_t)に変換すると、変換後の位置の座標(ix−t2_l,iy−t2_t)と、クリックイベント又はドラッグイベントとを含む入力情報を他画像描画端末(画像描画端末22,1、画像描画端末21,2、画像描画端末22,2)に送信する(ステップST5)。
例えば、他表示装置が表示装置12,1であれば、入力情報を画像描画端末22,1に送信し、他表示装置が表示装置11,2であれば、入力情報を画像描画端末21,2に送信し、他表示装置が表示装置12,2であれば、入力情報を画像描画端末22,2に送信する。
入力情報送受信部15は、入力情報に含まれている位置が自表示装置12,1の画面内の位置である場合(ステップST3)、その入力情報を画像特定部16に出力する。
また、入力情報送受信部15は、他画像描画端末(画像描画端末22,1、画像描画端末21,2、画像描画端末22,2)から入力情報が配信された場合、その入力情報を受信して、その入力情報を画像特定部16に出力する。
他画像描画端末2も、自画像描画端末21,1と同様に、入力情報送受信部15を搭載しているので、入力情報に含まれている位置が表示装置11,1の画面内の位置であれば、他画像描画端末2の入力情報送受信部15から当該入力情報が自画像描画端末21,1に配信されてくる。
なお、この実施の形態1では、ステップST4で、自端末から送信先の他画像描画端末2に送信する前に他表示装置1の座標系に変換しているが、変換せずに入力情報を送信し、その入力情報を受信した他画像描画端末2の入力情報送受信部15が自表示装置1の座標系に変換するようにしてもよい。
ここでは、表示装置1の台数が2×2であるため、自表示装置11,1以外の他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の全ては、自表示装置11,1の周辺に配置されている表示装置である。このため、入力情報に含まれている位置が他表示装置1の画面内の位置であるとき、どの表示装置1の画面内の位置であるかを特定することができる。
しかし、表示装置1の台数が増えると、自表示装置11,1の周辺に配置されている他表示装置1だけでなく、遠くに配置されている他表示装置1も存在する。遠くに配置されている他表示装置1に関する周辺画面情報リストは、自画像描画端末21,1の端末情報記憶部12に記憶されないため、入力情報に含まれている位置が、遠くに配置されている他表示装置1の画面内の位置である場合、どの表示装置1の画面内の位置であるかを特定することができない。
入力情報に含まれている位置が、どの表示装置1の画面内の位置であるかを特定することができない場合、自画像描画端末21,1の入力情報送受信部15は、入力情報を自表示装置11,1の周辺に配置されている他表示装置1に接続されている他画像描画端末2に配信する。このとき、入力情報送受信部15は、分かる範囲で、自表示装置11,1の周辺に配置されている複数の他表示装置1の中で、例えば、遠くに配置されている他表示装置1に対して最も近そうな他表示装置1に接続されている他画像描画端末2に配信する。あるいは、複数の他画像描画端末2に配信し、同じ入力情報を認識して一度転送したものについては、破棄するようにしてもよい。または、一般的な経路探索手法を用いて、最適な配信経路を算出し、配信経路の他画像描画端末2に配信するようにしてもよい。
この場合、自表示装置11,1の周辺に配置されている他表示装置1に接続されている他画像描画端末2の入力情報送受信部15は、接続されている表示装置1の画面内の位置ではない入力情報を受信することになるが、このような入力情報を受信すると、送信元の画像描画端末21,1とは異なる他の画像描画端末2(周辺の画像描画端末)に対して、その入力情報を転送する。
入力情報の転送を繰り返すことで、最終的に、入力情報に含まれている位置が画面内の位置である遠くの表示装置1に接続されている他画像描画端末2に配信することが可能になる。
画像特定部16は、入力情報送受信部15から入力情報を受けると、画像表示リスト記憶部11により記憶されている画像表示リストを参照して、自表示装置11,1の画面に現在表示中の画像を認識し、現在表示中の画像の中から、その入力情報に含まれている位置の座標(ix,iy)に対応する画像を特定する(ステップST6)。
即ち、画像特定部16は、画像表示リスト記憶部11により記憶されている画像表示リストを参照して、自表示装置11,1の画面に現在表示中の画像の表示位置を認識し、その入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像を特定する。
図5及び図6の例では、自表示装置11,1の画面に画像Aだけが表示されており、入力情報に含まれている位置の座標(ix,iy)が、画像Aの表示領域(A_l,A_t)−(A_r,A_b)内の座標であるため、入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像として画像Aを特定する。
ただし、入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像が複数存在する場合には、画像表示リストを参照して、それらの画像の表示順序を認識する。
そして、複数の画像の中で、表示順序が最も後である画像、即ち、一番手前に配置されている画像を、入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像として特定する。
画像特定部16は、入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像が存在しており(ステップST7)、現在表示中の画像を特定することができていれば、画像表示リストに含まれている画像の表示位置を参照して、入力情報に含まれている位置の座標(ix,iy)を現在表示中の画像の表示領域上の座標(ix’,iy’)に変換し、変換後の位置の座標(ix’,iy’)と、クリックイベント又はドラッグイベントとを含む入力情報を画像制御命令生成部17に出力する(ステップST8)。
例えば、現在表示中の画像として画像Aを特定している場合、画像Aの表示領域は、(A_l,A_t)−(A_r,A_b)であるため、画像Aの表示領域上の座標として、(ix’,iy’)=(ix−A_l,iy−A_t)に変換する。
なお、入力情報に含まれている位置の座標(ix,iy)を含んでいる現在表示中の画像が存在していない場合、以下の描画処理を実施せずに処理を終了する。
画像制御命令生成部17は、画像特定部16から入力情報を受けると、その入力情報に含まれている位置の座標(ix’,iy’)が、画像特定部16で特定された画像上のイベント領域(画像データ記憶部13に記憶)内にあるか否かを判定するとともに、イベントの実行可否を判定し、画像上のイベント領域内にあって、イベントの実行が可である場合は、入力イベントに応じた描画処理の内容を示すコマンド情報を取得する。
例えば、入力情報に含まれているイベントがクリックイベントである場合、その入力情報に含まれている位置の座標(ix’,iy’)がイベント領域(Aev_l, Aev_t)−(Aev_r, Aev_b)内の座標であれば、イベントの実行が可能であると判断する。
また、入力情報に含まれているイベントがドラッグイベントである場合、その入力情報に含まれている位置の座標(ix’,iy’)が画像Aの表示領域(A_l,A_t)−(A_l+A_w,A_t+A_h)内の座標であれば、イベントの実行が可能であると判断する。
画像制御命令生成部17は、入力情報に含まれているイベントがクリックイベントであるとき、イベントの実行が可能であると判断すると、画像データ記憶部13に記憶されている画像Aの画像識別情報と、コマンド情報(画像Aの停止の描画処理の内容を示す停止コマンド情報)と、画像Aの更新後の表示位置である新表示位置(A_l, A_t)と、画像Aの更新後の表示サイズである新表示サイズA_w×A_hとを含む画像制御命令(画像Aの更新内容を示す制御命令)を生成し、その画像制御命令を画像制御命令送受信部18に出力する(ステップST9)。
なお、停止コマンドでは、画像の動きを止めるだけであるため、画像Aの表示位置や表示サイズが更新前後で変わらない。
画像制御命令生成部17は、入力情報に含まれているイベントがドラッグイベントであるとき、イベントの実行が可能であると判断すると、端末情報記憶部12により記憶されている自端末識別情報(配信元の画像描画端末2を識別する情報)と、画像データ記憶部13に記憶されている画像Aの画像識別情報と、コマンド情報(画像Aの移動に伴う描画処理の内容を示す移動コマンド情報)と、画像Aの更新後の表示位置である新表示位置(A_l+ix2−ix,A_t+iy2−iy)と、画像Aの更新後の表示サイズである新表示サイズA_w×A_hとを含む画像制御命令(画像Aの更新内容を示す制御命令)を生成し、その画像制御命令を画像制御命令送受信部18に出力する(ステップST9)。
なお、表示位置や表示サイズが更新の前後で変わらない場合、新表示位置や新表示サイズを画像制御命令に含めなくてもよい。また、画像の描画状態が変わらない場合はコマンド情報を画像制御命令に含めなくてもよい。
また、表示順序に関する情報や、その他の画像制御に関するパラメータ情報を画像制御命令に含めるようにしてもよい。
画像制御命令送受信部18は、画像制御命令生成部17から画像制御命令を受けると、その画像制御命令を参照して、更新後の画像Aの一部又は全部が自表示装置11,1の画面内に表示されるか、他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面内に表示されるか否かを判定して、表示領域が更新後の画像Aの一部又は全部を含んでいる表示装置1を特定する(ステップST10)。
更新後の画像Aの一部又は全部が自表示装置11,1の画面内に表示されるかは、画像Aの新表示領域(A_l, A_t)−(A_l+A_w, A_t+A_h)と、自表示装置11,1の表示領域(0,0)−(W,H)との間に重複している領域が存在しているかで判定する。
更新後の画像Aの一部又は全部が他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面内に表示されるか否かについても、画像Aの新表示領域と、他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の表示領域との間に重複している領域が存在しているかで判定する。
図5の画面操作が行われて、停止イベントに係る画像制御命令が生成された場合、画像Aの新表示領域(A_l, A_t)−(A_l+A_w, A_t+A_h)が表示領域(0,0)−(W,H)内に含まれているので、更新後の画像Aの全部が自表示装置11,1の画面内に表示されると判定される。
図6の画面操作が行われて、移動イベントに係る画像制御命令が生成された場合、画像Aの新表示領域(A_l+ix−ix0,A_t+iy−iy0)−(A_l+A_w+ix−ix0,A_t+A_h+iy−iy0)が表示領域(W,0)−(2W,H)内に含まれているので、更新後の画像Aの全部が他表示装置12,1の画面内に表示されると判定される。
図6の例では、更新後の画像Aの全部が他表示装置12,1の画面内に表示される場合を示しているが、ドラックの移動量によっては、例えば、更新後の画像Aが自表示装置11,1の画面と他表示装置12,1の画面に跨って表示されると判定されることがある。
画像制御命令送受信部18は、更新後の画像Aの一部又は全部が他表示装置(表示装置12,1、表示装置11,2、表示装置12,2)の画面内に表示されると判定すると(ステップST11)、画像制御命令に含まれている画像Aの新表示位置(A_l+ix−ix0,A_t+iy−iy0)を他表示装置1の座標系の座標(ix−t2_l,iy−t2_t)に変換する。
ここでは、説明を一般的にするため、t2_l、t2_tとしているが、この実施の形態1では、t2_l=W、t2_t=0である。
図6の例では、更新後の画像Aの全部が他表示装置12,1の画面内に表示されるため、画像制御命令に含まれている画像Aの新表示位置を他表示装置12,1の座標系の座標(ix−W,iy)に変換する。
画像制御命令送受信部18は、画像制御命令に含まれている画像Aの新表示位置を他表示装置12,1の座標系の座標(ix−W,iy)に変換すると、座標変換後の画像Aの新表示位置を含む画像制御命令を他表示装置12,1に接続されている他画像描画端末22,1に送信する(ステップST12)。
また、画像制御命令送受信部18は、判定結果に関わらず、画像制御命令生成部17から出力された画像制御命令を画像描画部19に出力する。
なお、更新後の画像Aの全部が他表示装置1の画面に表示される場合だけでなく、例えば、更新後の画像Aが自表示装置11,1の画面と他表示装置12,1の画面に跨って表示される場合にも、座標変換後の画像Aの新表示位置を含む画像制御命令を他画像描画端末22,1に送信するとともに、画像制御命令生成部17から出力された画像制御命令を画像描画部19に出力する。
画像制御命令送受信部18は、他画像描画端末(画像描画端末22,1、画像描画端末21,2、画像描画端末22,2)から画像制御命令が配信された場合、その画像制御命令を受信して、その画像制御命令を画像描画部19に出力する。
他画像描画端末2も、自画像描画端末21,1と同様に、画像制御命令送受信部18を搭載しているので、更新後の画像の一部又は全部が自表示装置11,1の画面内に表示されると判定されれば、他画像描画端末2の画像制御命令送受信部18から当該画像制御命令が配信されてくる。
なお、画像制御命令送受信部18は、画像制御命令を他画像描画端末2に送信する場合、画像制御命令だけでなく、配信済の端末識別情報を一緒に送信することで、既に配信済みの他画像描画端末2に再配信することを抑えるようにしてもよい。
また、コマンド情報を識別する情報を一緒に送信することで、同一の他画像描画端末2が、複数回同じコマンド情報で処理することを避けるようにしてもよい。
ステップST11〜ST12の処理は、複数の他画像描画端末2で画像Aの描画処理が行われる場合、それらの他画像描画端末2に対して画像制御命令の送信が完了するまで繰り返し実施される。
画像描画部19は、画像制御命令送受信部18から画像制御命令を受けると、その画像制御命令を参照して、更新後の画像Aの一部又は全部が自表示装置11,1の画面内に表示されるか否かを判定する。
更新後の画像Aの一部又は全部が自表示装置11,1の画面内に表示されるかは、画像制御命令送受信部18と同様に、画像Aの新表示領域(A_l, A_t)−(A_l+A_w, A_t+A_h)と、自表示装置11,1の表示領域(0,0)−(W,H)との間に重複している領域が存在しているかで判定する。
次に、画像描画部19は、上記の判定結果に基づいて、画像表示リスト記憶部11に記憶されている画像表示リストを更新する(ステップST13)。
例えば、図6に示すように、更新後の画像Aの全部が自表示装置11,1の画面から他表示装置12,1の画面に移動しているような場合、更新前の状態では画像Aが自表示装置11,1の画面内に表示されていたが、更新後の状態では画像Aが自表示装置11,1の画面内に表示されないので、画像表示リストに含まれている現在表示中の画像Aの表示位置を削除するように、画像表示リストを更新する。
また、画像Aを移動する移動イベントであるとき、更新後の状態でも、更新前と同様に、画像Aの一部又は全部が自表示装置11,1の画面内に表示される場合には、画像表示リストに含まれている現在表示中の画像Aの表示位置を、画像制御命令に含まれている画像Aの新表示位置に変更するように、画像表示リストを更新する。
次に、画像描画部19は、画像データ記憶部13により記憶されている画像データである素材データを用いて、画像制御命令送受信部18から出力された画像制御命令にしたがって更新後の画像Aを自表示装置11,1の画面に描画する(ステップST14)。
例えば、図5の画面操作が行われて、停止イベントに係る画像制御命令が生成された場合、画像Aが表示フレームA_fまで再生されていたとすると、画像状態を“再生”から“停止”に変更して、再度、表示フレームA_fと同じ画像を自表示装置11,1の領域(A_l, A_t)−( A_l+A_w, A_t+A_h)に描画する。
例えば、図6の画面操作が行われて、移動イベントに係る画像制御命令が生成された場合、画像Aが自表示装置11,1の画面内に存在しないので、更新前の状態で自表示装置11,1の画面内に表示されていた画像Aを非表示とする描画処理を行う。
ここでは、更新前の状態で画像Aが自表示装置11,1の画面内に表示されているため、画像Aを非表示とする描画処理を行っているが、更新前の状態でも、画像Aが自表示装置11,1の画面内に表示されていなければ、画像Aの描画処理を行わない。
更新後の状態では、画像Aが他表示装置12,1の画面に移動しており、上記の通り、自画像描画端末21,1の画像制御命令送受信部18から画像制御命令が他画像描画端末22,1に配信されている。
そのため、他画像描画端末22,1の画像制御命令送受信部18は、自画像描画端末21,1から配信された画像制御命令を受信して、その画像制御命令を他画像描画端末22,1の画像描画部19に出力する。
他画像描画端末22,1の画像描画部19は、自画像描画端末21,1の画像描画部19と同様に、その画像制御命令を参照して、更新後の画像Aの一部又は全部が他画像描画端末22,1の画面内に表示されるか否かを判定する。
他画像描画端末22,1の画像描画部19は、その判定結果に基づいて、画像表示リスト記憶部11に記憶されている画像表示リストを更新する。
更新後の画像Aの全部が自表示装置11,1の画面から他表示装置12,1の画面に移動しているような場合、画像制御命令に含まれている画像Aの新表示位置を現在表示中の画像Aの表示位置として、画像表示リストに含めるように更新する。
また、他画像描画端末22,1の画像描画部19は、画像データ記憶部13により記憶されている画像データである素材データを用いて、画像制御命令送受信部18から出力された画像制御命令にしたがって更新後の画像Aを他表示装置12,1の画面に描画する。
例えば、画像Aが表示フレームA_fまで再生されていたとすると、画像制御命令における移動コマンド情報と素材データに基づいて表示フレーム(A_f+1)の画像を生成し、表示フレーム(A_f+1)の画像を他表示装置12,1の表示位置(ix−W,iy)に描画する。
なお、ステップST1〜ST9の処理は、1フレームを表示する毎に、全ての入力情報に対して実施されるものとする。その際、同一の画像に対する入力が複数発生していた場合、最後の入力情報だけを有効にして、最後の入力情報にしたがって描画処理を行うようにしてもよいし、入力が早い順番に、全ての入力情報にしたがって描画処理を行うようにしてもよい。また、全ての入力情報を処理した上で、必要な制御命令のみを生成するようにしてもよい。
また、各ステップで全ての入力情報について処理をした後に次のステップに進むようにしてもよい。
また、ステップST10〜ST14の処理は、1フレームを表示する毎に、ステップST9で生成された画像制御命令に対して実施されるものとする。その際、同一の画像に対する入力が複数発生していた場合、最後の画像制御命令だけを有効にして、最後の画像制御命令にしたがって描画処理を行うようにしてもよいし、画像制御命令を一時的に保持する画像制御命令記憶部を設け、生成が早い順番に、全ての画像制御命令にしたがって描画処理を行うようにしてもよい。
コマンド実行開始時刻を含む画像制御命令であれば、コマンド実行開始時刻に基づいて、順番に画像制御命令にしたがって描画処理を行うようにしてもよい。
また、各ステップで全ての画像制御命令について処理をした後に次のステップに進むようにしてもよい。
以上で明らかなように、この実施の形態1によれば、画像制御命令生成部17により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他表示装置1の画面内に表示されるか否かを判定し、更新後の画像の一部又は全部が他表示装置1の画面内に表示されると判定すると、その画像制御命令を他の画像描画端末2に配信し、他の画像描画端末2から画像制御命令が配信された場合、その画像制御命令を受信する画像制御命令送受信部18を設け、画像描画部19が、画像制御命令生成部17により生成された画像制御命令又は画像制御命令送受信部18により受信された画像制御命令にしたがって更新後の画像を自表示装置1m,nの画面に描画するように構成したので、画像描画端末2や表示装置1の一部に故障が発生しても、画像描画端末2と表示装置1が正常な組では、画像を画面に描画することができる効果を奏する。
即ち、この実施の形態1によれば、従来のマルチ画面表示システムのように、制御サーバを必要とせずに、全ての画像描画端末2が状況に応じて各画像の制御サーバとして稼動できるため、故障に強いマルチ画面表示システムを実現することができる。
また、各画像描画端末2は、自己が担当する表示装置1の画面と、その周辺の表示装置1の画面のみを把握し、各画像描画端末2がマルチ画面の全体の画面サイズを把握する必要がないため、画面サイズに制約がなく、形状に制約がより少ないマルチ画面表示システムを構築することもできる。
この実施の形態1では、端末情報記憶部12により記憶されている周辺画面情報リストは、自表示装置1m,nと物理的に隣接して配置されている他の表示装置1の画面位置情報としているため、画像描画端末21,1、画像描画端末22,1、画像描画端末21,2、画像描画端末22,2の端末情報記憶部12には、表示装置11,1、表示装置12,1、表示装置11,2、表示装置12,2の画面が隣接して配置されているとして画面位置情報が登録される。
しかし、図1に示す構成の場合、例えば、画像描画端末21,1の端末情報記憶部12には、例えば、表示装置13,1や表示装置14,1の画面が隣接して配置されているとして画面位置情報が登録されない。
このような構成では、例えば、画像Aが表示装置11,1、表示装置12,1、表示装置13,1に跨って表示される場合、画像描画端末21,1から入力情報や画像制御命令を直接画像描画端末23,1に配信することができないが、画像描画端末22,1の端末情報記憶部12には、表示装置13,1の画面が隣接して配置されているとして画面位置情報が登録されるため、画像Aの新表示領域を含む画面の表示装置1を特定する際に、画像Aの新表示領域を含む画面が表示装置13,1の画面であることを認識することができる。
これにより、他画像描画端末22,1から入力情報や画像制御命令を画像描画端末23,1に転送することができるため、跨って表示される画像Aの一部を表示装置13,1の画面に表示することができる。
この実施の形態1では、端末情報記憶部12により記憶されている周辺画面情報リストは、自表示装置1m,nと物理的に隣接して配置されている他の表示装置1の画面位置情報としているが、例えば、入力装置3が接続されている画像描画端末21,1の端末情報記憶部12が、全ての表示装置1m,nの位置関係を画面位置情報として記憶するようにしてもよい。
これにより、画像描画端末21,1の入力情報送受信部15が、入力情報に含まれている位置を画面内に含む表示装置1を特定する際に、例えば、表示装置11,1と物理的に隣接して配置されていない表示装置14,1の画面内に含まれるような場合でも、表示装置14,1を特定することができるようになり、その結果、直接、入力情報を表示装置14,1に配信することが可能になる。
この実施の形態1では、画像Aだけがマルチ画面に表示されているものを示したが、複数の画像がマルチ画面に表示され、かつ、画像同士が重なる場合でも、画像表示リスト記憶部11により記憶されている画像表示リストには、各画像の表示順序を示す情報が含まれているので、どの画像が画面の前面に表示されているかを判別することができる。このため、どの画像が描画処理対象の画像に選択されているのかを特定することができる。
この実施の形態1では、説明の簡単化のために、全表示装置1の画面解像度がW×Hで同じで、各表示装置1の間に隙間がないものとして説明したが、各表示装置1の画面解像度が不均一である場合や、各表示装置1の間に隙間や重なりがある場合でも、正しい周辺画面情報リストを端末情報記憶部12に登録することで、同様の描画処理を実現することができる。
このとき、ユーザにより自画面と周辺画面の間の位置が指定された場合、自画面上に存在する位置が入力されたことを示す入力情報を生成して画像特定部16に出力するようにしてもよいし、周辺画面上に存在する位置が入力されたことを示す入力情報を生成して他の画像描画端末2に配信するようにしてもよい。
各画像描画端末2の画像制御命令送受信部18は、どの表示装置1の画面にも表示されない位置に移動する画像制御命令を受信した場合、自画面上に存在する位置に移動する画像制御命令を受信したものとして、その画像制御命令を画像描画部19に出力するようにしてもよいし、移動する位置に最も近い画面の表示装置1に接続されている画像描画端末2に対して当該画像制御命令を配信するようにしてもよい。あるいは、当該画像制御命令を破棄して、描画処理を終了するようにしてもよい。
この実施の形態1では、端末情報記憶部12により記憶されている端末情報のうち、表示装置1の画面解像度を示す情報を画素数で表しているものを示したが、実寸で表現するようにしてもよい。その場合、自表示装置1m,nの画面解像度として自画面物理サイズを実寸で記憶し、入力情報送受信部15が、入力情報に含まれている位置の座標を他表示装置1の座標系の座標に変換する際、入力座標を画素単位から実寸単位に変換する。
そして、受信側の画像描画端末2では、画像制御命令生成部17が、入力情報に含まれている位置の座標を現在表示中の画像の表示領域上の座標に変換する際、接続されている表示装置1の画面解像度と自画面物理サイズによって、実寸単位から画素単位に再変換する。
実施の形態2.
上記実施の形態1では、複数の表示装置1と、複数の画像描画端末2とからマルチ画面表示システムが構成されているものを示したが、複数の表示装置1と複数の画像描画端末2の他に、ユーザにより指定された画面上の位置及び操作を受け付けて、その位置及び操作を示す入力情報を生成し、複数の画像描画端末2の中で、その位置が画面内の位置である表示装置1が接続されている画像描画端末2に対して、その入力情報を配信する操作端末を備えているマルチ画面表示システムであってもよい。
図7はこの発明の実施の形態2によるマルチ画面表示システムの画像描画端末2m,n及び操作端末4を示す構成図である。ただし、m=1,2,・・・,M、n=1,2,・・・,Nである。
図において、図2と同一符号は同一または相当部分を示すので説明を省略する。
操作端末4としては、例えば、画像描画端末2より簡易なPCなどを用いることができ、ネットワークが無線のネットワークであれば、携帯端末などを用いることができる。
操作端末4の入力情報生成部21は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力装置3を用いて指定された位置や操作に応じて、画面上の位置及び入力イベントを示す入力情報を生成する処理を実施する。
端末情報記憶部22は例えばRAMやハードディスクなどの記憶装置から構成されており、端末情報として、全ての表示装置1の位置関係を画面位置情報として記憶するとともに、全ての画像描画端末2の識別情報(端末名称、IPアドレスなど)などを記憶している。
入力情報配信部23は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、端末情報記憶部22により記憶されている端末情報を参照して、入力情報生成部21により生成された入力情報が示す位置が、どの表示装置1の画面内の位置であるかを特定して、その入力情報を特定した表示装置1に接続されている画像描画端末2に配信する処理を実施する。
入力情報受信部31は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、操作端末4の入力情報配信部23から配信された入力情報を受信し、その入力情報を画像特定部16に出力する処理を実施する。なお、入力情報受信部31は入力情報受信手段を構成している。
この実施の形態2では、マルチ画面表示システムが操作端末4を備えることで、図2の入力情報生成部14が画像描画端末2m,nから不要になっている。
また、入力情報生成部14が搭載されていないので、画像描画端末2m,nが他の画像描画端末2に配信することはないので、図2の入力情報送受信部15の代わりに、入力情報受信部31が搭載されている。
この実施の形態2における画像の描画処理の内容は、基本的には、上記実施の形態1と同様であり、入力情報を生成している部分が画像描画端末2m,nではなく、操作端末4である点が相違している。
操作端末4の入力情報生成部21は、図2における画像描画端末2m,nの入力情報生成部14と同様の方法で、入力装置3を用いて指定された位置や操作に応じた入力情報を生成する。
操作端末4の入力情報配信部23は、入力情報生成部21が入力情報を生成すると、端末情報記憶部22により記憶されている端末情報を参照して、その入力情報が示す位置が、どの表示装置1の画面内の位置であるかを特定して、その入力情報を特定した表示装置1に接続されている画像描画端末2に配信する。
例えば、入力情報に含まれている位置が表示装置11,1の画面内の位置であれば、その入力情報を表示装置11,1に接続されている画像描画端末21,1に配信し、入力情報に含まれている位置が表示装置12,1の画面内の位置であれば、その入力情報を表示装置12,1に接続されている画像描画端末22,1に配信する。
また、入力情報に含まれている位置が表示装置12,1の画面内の位置であれば、その入力情報を表示装置12,1に接続されている画像描画端末22,1に配信し、入力情報に含まれている位置が表示装置12,2の画面内の位置であれば、その入力情報を表示装置12,2に接続されている画像描画端末22,2に配信する。
画像描画端末2m,nの入力情報受信部31は、操作端末4の入力情報配信部23から配信された入力情報を受信し、その入力情報を画像特定部16に出力する。
画像描画端末2m,nの入力情報受信部31以外の処理部の処理内容は、上記実施の形態1と同様であるため詳細な説明を省略する。
この実施の形態2の場合も、上記実施の形態1と同様に、画像描画端末2や表示装置1の一部に故障が発生しても、画像描画端末2と表示装置1が正常な組では、画像を画面に描画することができる効果を奏する。
この実施の形態2では、操作端末4の入力情報配信部23が、入力情報が示す位置が、どの表示装置1の画面内の位置であるかを特定して、その入力情報を特定した表示装置1に接続されている画像描画端末2に配信するものを示したが、操作端末4の入力情報配信部23が入力情報を全ての画像描画端末2に一斉に配信し、全ての画像描画端末2の入力情報受信部31が、操作端末4の入力情報配信部23から配信された入力情報を受信すると、その入力情報が示す位置が自表示装置1の画面内の位置であるか否かを判定して、その入力情報が示す位置が自表示装置1の画面内の位置であれば、その入力情報を画像特定部16に出力し、その入力情報が示す位置が自表示装置1の画面内の位置でなければ、その入力情報を破棄するようにしてもよい。
実施の形態3.
上記実施の形態1,2では、複数の表示装置1を平面に配置して、矩形のマルチ画面を構成しているものを示したが、図8に示すように、表示装置1をリング状に配置して、リング状のマルチ画面を構成しているものであってもよい。
複数の表示装置1m,1(図8の例では、m=1,2,・・・,6)と接続されている画像描画端末2m,1の端末情報記憶部12は、上記実施の形態1でも説明したように、周辺画面情報リストとして、自表示装置1m,1と物理的に隣接して配置されている他の表示装置1の画面解像度、他の表示装置1の画面位置情報、他の表示装置1と接続されている他の画像描画端末2の識別情報(端末名称、IPアドレスなど)を記憶しているので、周辺画面情報を参照することで、複数の表示装置1m,1がリング状に配置されている場合でも、入力情報を配信する必要がある他の画像描画端末2を特定することができる。
したがって、特に形状に特化した情報の管理などを必要としない非平面形状のマルチ画面を構築することが可能になる。非平面形状のマルチ画面としては、リング状のマルチ画面の他に、例えば、曲面形状のマルチ画面なども構築することが可能である。
因みに、図8の例では、画像描画端末26,1の端末情報記憶部12が記憶する端末情報は、全表示装置1の画面解像度がW×Hであって、各表示装置1の間に隙間がないとすると、自表示装置16,1の画面解像度はW×H、自己の識別情報である端末名称はterm6となる。
また、画像描画端末26,1の端末情報記憶部12が記憶する周辺画面情報リストは、表示装置11,1と表示装置15,1に関する情報であり、表示装置11,1に関する周辺画面情報リストは、画面解像度はW×H、画面位置情報は(W,0)、識別情報である端末名称はterm1となる。
また、表示装置15,1に関する周辺画面情報リストは、画面解像度はW×H、画面位置情報は(−W,0)、識別情報である端末名称はterm5となる。
このように、マルチ画面が非平面形状であっても、局所的には平面と考えて扱うことで、平面のマルチ画面と同様に扱うことが可能である。
実施の形態4.
図9はこの発明の実施の形態4によるマルチ画面表示システムの画像描画端末を示す構成図であり、図において、図2と同一符号は同一または相当部分を示すので説明を省略する。
画像制御命令生成部41は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図2の画像制御命令生成部17と同様に、画像特定部16により特定された画像の更新内容を示す画像制御命令を生成する処理を実施するが、その際、内部時計44が示す現在時刻を基準にして、更新後の画像の描画処理を実行する時刻を示す実行時刻情報を上記画像制御命令に含めるようにする。なお、画像制御命令生成部41は画像制御命令生成手段を構成している。
画像描画部42は例えばGPUから構成されており、図2の画像描画部19と同様に、画像制御命令送受信部18から出力された画像制御命令にしたがって更新後の画像を自表示装置1m,nの画面に描画する処理を実施する。
ただし、画像描画部42は図2の画像描画部19と異なり、画像制御命令送受信部18から画像制御命令が出力されても、直ちに画像の描画処理を開始せずに、内部時計44の時刻が上記画像制御命令に含まれている実行時刻情報が示す時刻になった時点で、画像の描画処理を開始する。なお、画像描画部42は画像描画手段を構成している。
時刻同期処理部43は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、他の画像描画端末2の時刻同期処理部43との間で時刻情報を交換することで、自己の内部時計44と他の画像描画端末2の内部時計44との同期を図る(全ての画像描画端末2の内部時計44の時刻を合わせる)処理を実施する。なお、時刻同期処理部43は時刻同期手段を構成している。
図9の例では、画像描画端末2m,nの構成要素である画像表示リスト記憶部11、端末情報記憶部12、画像データ記憶部13、入力情報生成部14、入力情報送受信部15、画像特定部16、画像制御命令生成部41、画像制御命令送受信部18、画像描画部42、時刻同期処理部43及び内部時計44のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像描画端末2m,nがコンピュータで構成されていてもよい。
画像描画端末2m,nがコンピュータで構成されている場合、画像表示リスト記憶部11、端末情報記憶部12及び画像データ記憶部13をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、入力情報生成部14、入力情報送受信部15、画像特定部16、画像制御命令生成部41、画像制御命令送受信部18、画像描画部42、時刻同期処理部43及び内部時計44の処理内容を記述している画像描画プログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されている画像描画プログラムを実行するようにすればよい。
次に動作について説明する。
画像描画端末2m,nの時刻同期処理部43は、他の画像描画端末2の時刻同期処理部43との間で時刻情報を交換することで、自己の内部時計44と他の画像描画端末2の内部時計44との同期を図る処理を実施する。
時刻情報を交換する処理自体は公知の技術であるため詳細な説明を省略するが、自己の内部時計44と他の画像描画端末2の内部時計44との同期を図ることで、全ての画像描画端末2の内部時計44の時刻を合わせることができる。
画像制御命令生成部41は、画像特定部16から入力情報を受けると、図2の画像制御命令生成部17と同様に、画像特定部16により特定された画像の更新内容を示す画像制御命令を生成する処理を実施するが、その際、内部時計44が示す現在時刻を基準にして、更新後の画像の描画処理を実行する時刻を示す実行時刻情報を上記画像制御命令に含め、その実行時刻情報を含む画像制御命令を画像制御命令送受信部18に出力する。
画像描画部42は、画像制御命令送受信部18から実行時刻情報を含む画像制御命令を受けると、その画像制御命令に含まれている実行時刻情報を参照して、画像の描画処理を開始する時刻を認識し、内部時計44の時刻が画像の描画処理を開始する時刻になると、図2の画像描画部19と同様に、その画像制御命令にしたがって更新後の画像を自表示装置1m,nの画面に描画する。
これにより、画像が複数の表示装置1の画面に跨って表示される場合でも、例えば、画像制御命令の配信遅延等の影響を受けずに、同時刻に画像の描画を開始することができる効果を奏する。
なお、入力情報生成部14も内部時計44が示す現在時刻を基準にして、入力装置3から位置と状態情報を与えられた入力時刻を入力情報に含め、この時刻を基に画像制御命令生成部41で制御命令に含める時刻を求めてもよい。
また、実行時刻情報は、実際に実行を開始する時刻であってもよいし、入力時刻として画像描画部42で実行開始時刻を求めてもよい。
実施の形態5.
図10はこの発明の実施の形態5によるマルチ画面表示システムを示す構成図である。
図10の例では、入力装置3が画像描画端末21,1だけでなく、画像描画端末21,Nにも接続されている。
図11はこの発明の実施の形態5によるマルチ画面表示システムの画像描画端末を示す構成図であり、図において、図2と同一符号は同一または相当部分を示すので説明を省略する。
図11の画像描画端末2m,nは、図1の画像描画端末2m,nに対して画像入力情報配信部52を追加しているが、図7や図9の画像描画端末2m,nに対して画像入力情報配信部52を追加するようにしてもよい。
入力情報生成部51は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図2の入力情報生成部14と同様に、入力装置3により入力された画面上の位置及び画像操作を受け付けて、その位置及び画像操作を示す入力情報を生成する処理を実施するが、その際、入力情報の生成時刻を示す時刻情報を入力情報に含めるようにする。なお、入力情報生成部51は入力情報生成手段を構成している。
画像入力情報送受信部52は例えばネットワークに対するインタフェース機器や、CPUを実装している半導体集積回路などから構成されており、画像特定部16から出力された入力情報に含まれている現在表示中の画像の表示領域上の座標(ix’,iy’)を参照して、更新後の画像の一部又は全部が他表示装置1の画面内に表示されるか否かを判定し、更新後の画像の一部又は全部が他表示装置1の画面内に表示されると判定すると、後述する特定画像入力情報を他の画像描画端末2に配信する処理を実施する。特定画像入力情報は、入力情報の位置情報を画像特定部16で特定した画像上の座標系に変換し、同じく画像特定部16で特定した画像の画像識別情報を加えた情報である。
また、画像入力情報送受信部52は他の画像描画端末2から画像制御命令が配信された場合、その画像制御命令を受信する処理を実施する。
さらに、画像入力情報送受信部52は更新後の画像の一部又は全部が自表示装置1m,nの画面内に表示される入力情報を複数入力すると、入力情報に含まれている時刻情報が示す生成時刻が早い順番で、複数の入力情報を画像制御命令生成部17に出力する処理を実施する。
なお、画像入力情報送受信部52及び画像制御命令生成部17から画像制御命令生成手段が構成されている。
この実施の形態5における画像表示リストには、画像毎の描画制御を担当する1台の画像描画端末情報(制御担当端末情報)を含むものとする。なお、描画制御を担当する画像描画端末(制御担当端末)には、例えば、担当画像の左上角の描画を担当する画像描画端末を割り当ててもよい。
図11の例では、画像描画端末2m,nの構成要素である画像表示リスト記憶部11、端末情報記憶部12、画像データ記憶部13、入力情報生成部51、入力情報送受信部15、画像特定部16、画像入力情報送受信部52、画像制御命令生成部17、画像制御命令送受信部18及び画像描画部19のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像描画端末2m,nがコンピュータで構成されていてもよい。
画像描画端末2m,nがコンピュータで構成されている場合、画像表示リスト記憶部11、端末情報記憶部12及び画像データ記憶部13をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、入力情報生成部51、入力情報送受信部15、画像特定部16、画像入力情報送受信部52、画像制御命令生成部17、画像制御命令送受信部18及び画像描画部19の処理内容を記述している画像描画プログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されている画像描画プログラムを実行するようにすればよい。
図12はこの発明の実施の形態5によるマルチ画面表示システムの画像描画端末2m,nの処理内容(画像描画方法)を示すフローチャートである。
次に動作について説明する。
ここでは、上記実施の形態1と異なる部分だけを説明する。
この実施の形態5では、入力装置3が画像描画端末21,1だけでなく、画像描画端末21,Nにも接続されている。
このため、画像描画端末21,1の入力情報生成部51と、画像描画端末21,Nの入力情報生成部51とが、同じ画像についての入力情報を同時期に生成することがある。
この実施の形態5では、同じ画像について、複数の入力情報が同時期に生成された場合でも、不整合な画像の描画を防ぐために、入力情報生成部51と画像入力情報送受信部52を設けている。
画像描画端末21,1及び画像描画端末21,Nの入力情報生成部51は、入力装置3を用いて指定された位置や操作に応じて、画面上の位置及び入力イベントを示す入力情報を生成する。
その際、入力情報の生成時刻を示す時刻情報を入力情報に含め、その時刻情報を含む入力情報を入力情報送受信部15に出力する。
入力情報生成部51により生成された入力情報が入力情報送受信部15から画像特定部16に出力された場合、あるいは、他の画像描画端末2から配信された入力情報が入力情報送受信部15に受信されて、その入力情報が入力情報送受信部15から画像特定部16に出力された場合、画像特定部16から入力情報が自画像描画端末2m,nの画像入力情報送受信部52に与えられる。
また、他の画像描画端末2の画像入力情報送受信部52から配信された場合、その入力情報が自画像描画端末2m,nの画像入力情報送受信部52に与えられる。
これにより、自画像描画端末2m,nの画像入力情報送受信部52は、同時期に生成された複数の入力情報が与えられることがある。
画像入力情報送受信部52は、入力情報を受信すると、画像特定部16で特定された画像の制御担当端末情報を取得し、自端末が制御担当端末であるかを判定する(ステップST21)。
自端末が制御担当端末ではない場合は、特定画像入力情報を生成し、その特定画像入力情報を制御担当端末に配信する(ステップST22)。
なお、画像入力情報送受信部52は、他の画像描画端末2から特定画像入力情報を受信した場合も、ステップST21の処理を実施する。
画像入力情報送受信部52は、自端末が制御担当端末である場合、その入力情報を画像制御命令生成部17に出力する。
その際、各々の入力情報に含まれている時刻情報が示す生成時刻を比較して、その生成時刻が早い入力情報から順番に、画像制御命令生成部17に出力する。
これにより、画像制御命令生成部17では、生成時刻が早い入力情報から順番に取得し、以下、上記実施の形態1と同様にして、各々の入力情報にしたがって画像制御命令を生成する。
なお、画像制御命令生成部17は、画像制御命令を生成する際、画像の描画を担当する画像描画端末2として自分自身の端末情報を画像制御命令に含めるようにする。
画像制御命令送受信部18は、画像制御命令生成部17や他の画像描画端末の画像制御命令送受信部18から画像制御命令を受信すると、更新後の画像Aの一部又は全部が自表示装置1m,nの画面内に表示されるか否かを判定し(ステップST23)、自表示装置1m,nの画面内に表示されない場合、端末情報記憶部12に記憶されている端末情報を参照して、画像Aの描画を担当する画像描画端末2が自画像描画端末2m,nであるか否かを判定する(ステップST24)。
画像制御命令送受信部18は、画像の描画を担当する画像描画端末2が自画像描画端末2m,nでなければ、画像が他表示装置1の画面に移動しているので、次に画像の描画制御を担当する他の画像描画端末を端末情報記憶部12に記憶されている周辺端末情報から推定し、画像制御命令に含まれている端末情報が示す画像描画端末を、自端末から他の画像描画端末2に変更する(ステップST25)。なお、周辺端末に該当端末がない場合は、入力情報の配信等と同様に、画像の左上角の座標までの配信経路を考慮して経路上の描画制御端末を設定してもよい。
そして、画像制御命令送受信部18は、上記実施の形態1と同様にして、必要に応じて他の画像描画端末に画像制御命令を配信する。(ステップST11,ST12)。
画像描画部19は、更新後の画像を自表示装置1m,nの画面に描画して、画像表示リスト記憶部11に記憶されている画像表示リストを更新する際、画像制御命令から得られる画像の描画制御を担当する画像描画端末2を示す制御担当端末情報を画像表示リスト記憶部11に格納する。
ここで、図2と図12のフローチャートを比較すると、ステップST11,ST12の処理と、ステップST13,ST14の処理とが逆転しているが、各々の処理ステップ群は独立であり、実施の形態1〜4においては、特に順序は不動である。
この実施の形態5によれば、複数の入力装置3から同時に同じ画像を制御しようとした場合でも、1つの画像描画端末2で画像制御命令を順番に処理するため、不整合が発生しない。
したがって、複数の入力装置3をシステム上の任意の画像描画端末2に接続することで、複数のユーザが同時に画面上の画像を制御しても問題の発生しないマルチ大画面システムを構築することを可能になる。
ここでは、入力情報生成部51が、入力情報の生成時刻を示す時刻情報を入力情報に含めるものを示したが、さらに、入力装置3の識別情報を入力情報に含めるようにしてもよい。
この場合、任意の1つの入力装置3が、任意の1つの画像を指定して処理を行う場合に、画像入力情報送受信部52が、入力情報に含まれている入力装置3の識別情報を参照することで、他の入力装置3からの入力情報について処理を行わない排他制御を実施すれば、複数のユーザによる複数の操作からなる作業の競合を確実に回避することができる。
なお、上記実施の形態4に対して、この実施の形態5と同様に入力装置3を複数備え、入力情報生成部14の代わりに、この実施の形態5と同様の入力情報生成部51を備え、入力情報送受信部15が、各々の入力情報に含まれている時刻情報が示す生成時刻を比較して、その生成時刻が早い入力情報から順番に、画像制御命令生成部17に出力してもよい。ただし、この場合、複数の入力装置からの入力情報に対して処理順序に不整合を生じさせないためには、入力情報の生成から、画像制御命令生成部41が設定する更新後の画像の描画処理を実行する時刻までの時間を十分に空ける必要がある。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係るマルチ画面表示システムは、複数の表示装置1により構成されるマルチ画面上に画像を描画する際、画像描画端末2や表示装置1の一部に故障が発生しても、画像描画端末2と表示装置1が正常な組では、画像を画面に描画することができるように必要があるものに適している。
1,1〜1M,N 表示装置、21,1〜2M,N 画像描画端末、3 入力装置、4 操作端末、11 画像表示リスト記憶部(画像管理手段)、12 端末情報記憶部、13 画像データ記憶部、14 入力情報生成部(入力情報生成手段)、15 入力情報送受信部(入力情報送受信手段)、16 画像特定部(画像特定手段)、17 画像制御命令生成部(画像制御命令生成手段)、18 画像制御命令送受信部(判定手段、画像制御命令送受信手段)、19 画像描画部(画像描画手段)、21 入力情報生成部、22 端末情報記憶部、23 入力情報配信部、31 入力情報受信部(入力情報受信手段)、41 画像制御命令生成部(画像制御命令生成手段)、42 画像描画部(画像描画手段)、43 時刻同期処理部(時刻同期手段)、44 内部時計、51 入力情報生成部(入力情報生成手段)、52 画像入力情報送受信部(画像制御命令生成手段)。

Claims (11)

  1. マルチ画面を構成する複数の表示装置と、上記表示装置の画面に画像を描画する複数の画像描画端末とから構成されているマルチ画面表示システムにおいて、
    上記複数の画像描画端末は、
    上記複数の表示装置の中で、自己が接続されている表示装置である自表示装置の画面に現在表示されている画像を管理する画像管理手段と、
    ユーザにより指定された画面上の位置及び操作を示す入力情報が与えられると、上記画像管理手段により管理されている現在表示中の画像の中から、上記入力情報が示す位置に対応する画像を特定する画像特定手段と、
    上記入力情報が示す位置及び操作にしたがって上記画像特定手段により特定された画像の更新内容を示す画像制御命令を生成する画像制御命令生成手段と、
    上記画像制御命令生成手段により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定する判定手段と、
    上記判定手段により更新後の画像の一部又は全部が他表示装置の画面内に表示されると判定された場合、上記画像制御命令を他の画像描画端末に配信し、他の画像描画端末から画像制御命令が配信された場合、上記配信された画像制御命令を受信する画像制御命令送受信手段と、
    上記画像制御命令生成手段により生成された画像制御命令又は上記画像制御命令送受信手段により受信された画像制御命令にしたがって更新後の画像を自表示装置の画面に描画する画像描画手段と
    を備えていることを特徴とするマルチ画面表示システム。
  2. 上記複数の画像描画端末は、
    上記入力情報が示す位置が他表示装置の画面内の位置である場合、上記入力情報を他の画像描画端末に配信し、他の画像描画端末から入力情報が配信された場合、他の画像描画端末から配信された入力情報を受信する入力情報送受信手段を備え、
    上記画像特定手段は、上記画像管理手段により管理されている現在表示中の画像の中から、上記与えられた入力情報又は上記入力情報送受信手段により受信された入力情報が示す位置に対応する画像を特定することを特徴とする請求項1記載のマルチ画面表示システム。
  3. マルチ画面を構成する複数の表示装置と、上記表示装置の画面に画像を描画する複数の画像描画端末と、ユーザにより指定された画面上の位置及び操作を受け付けて、上記位置及び上記操作を示す入力情報を生成し、上記複数の画像描画端末の中で、上記受け付けた位置が画面内の位置である表示装置が接続されている画像描画端末に対して、上記生成した入力情報を配信する操作端末とからマルチ画面表示システムが構成されており、
    上記複数の画像描画端末は、
    上記操作端末から配信された入力情報を受信する入力情報受信手段を備え、
    上記画像特定手段は、上記画像管理手段により管理されている現在表示中の画像の中から、上記入力情報受信手段により受信された入力情報が示す位置に対応する画像を特定することを特徴とする請求項1記載のマルチ画面表示システム。
  4. 上記入力情報送受信手段は、
    自表示装置の周辺に配置されている他表示装置の画面に画像を描画する他の画像描画端末を識別する識別情報を参照して、入力情報を配信する他の画像描画端末を特定することを特徴とする請求項2記載のマルチ画面表示システム。
  5. 上記画像制御命令生成手段は、上記画像制御命令にしたがって更新後の画像の描画処理を実行する時刻を示す実行時刻情報を上記画像制御命令に含め、
    上記画像描画手段は、上記画像制御命令生成手段により生成された画像制御命令又は上記画像制御命令送受信手段により受信された画像制御命令を入力すると、内部時計の時刻が上記画像制御命令に含まれている実行時刻情報が示す時刻になった時点で、上記画像制御命令にしたがって更新後の画像を自表示装置の画面に描画することを特徴とする請求項1記載のマルチ画面表示システム。
  6. 入力情報は、当該入力情報の生成時刻を示す時刻情報を含んでいる情報であり、
    上記画像制御命令生成手段は、複数の入力情報がある場合、複数の入力情報に含まれている時刻情報が示す生成時刻が早い順に、当該入力情報が示す位置及び操作にしたがって画像制御命令を生成することを特徴とする請求項2記載のマルチ画面表示システム。
  7. 入力情報は、当該入力情報の生成時刻を示す時刻情報を含んでいる情報であり、
    上記画像制御命令生成手段は、複数の入力情報がある場合、複数の入力情報に含まれている時刻情報が示す生成時刻が早い順に、当該入力情報が示す位置及び操作にしたがって画像制御命令を生成することを特徴とする請求項5記載のマルチ画面表示システム。
  8. 上記複数の画像描画端末は、
    自己の内部時計と他の画像描画端末の内部時計との同期を図る時刻同期手段を備えたことを特徴とする請求項5記載のマルチ画面表示システム。
  9. 上記画像管理手段が描画制御を担当する画像描画端末を画像毎に管理し、
    上記与えられた入力情報を、上記画像特定手段で特定された画像の画像制御担当端末に送信する一方、他の画像描画端末から入力情報が送信された場合には上記送信された入力情報を受信し、上記画像制御担当端末に送信した入力情報又は上記受信した入力情報の処理順序を整理して上記画像制御命令生成手段に与える特定画像入力情報送受信手段を備え、
    上記判定手段は、上記画像制御命令生成手段により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定するほかに、画像更新後の画像制御担当端末を選定する機能を備え、
    上記画像制御命令生成手段は、上記判定手段により選定された画像制御担当端末の端末情報を画像制御命令に含める機能を備え、
    上記画像描画手段は、新しい画像制御担当端末の端末情報を上記画像管理手段に格納する機能を備えることを特徴とする請求項8記載のマルチ画面表示システム。
  10. マルチ画面を構成する複数の表示装置のうち、自己が接続されている表示装置の画面に画像を描画する複数の画像描画端末の画像描画方法において、
    画像管理手段が、上記複数の表示装置の中で、自己が接続されている表示装置である自表示装置の画面に現在表示されている画像を管理する画像管理処理ステップと、
    画像特定手段が、ユーザにより指定された画面上の位置及び操作を示す入力情報が与えられると、上記画像管理処理ステップで管理されている現在表示中の画像の中から、上記入力情報が示す位置に対応する画像を特定する画像特定処理ステップと、
    画像制御命令生成手段が、上記入力情報が示す位置及び操作にしたがって上記画像特定処理ステップで特定された画像の更新内容を示す画像制御命令を生成する画像制御命令生成処理ステップと、
    判定手段が、上記画像制御命令生成処理ステップで生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定する判定処理ステップと、
    画像制御命令送受信手段が、上記判定処理ステップで更新後の画像の一部又は全部が上記他表示装置の画面内に表示されると判定された場合、上記画像制御命令を他の画像描画端末に配信し、他の画像描画端末から画像制御命令が配信された場合、上記配信された画像制御命令を受信する画像制御命令送受信処理ステップと、
    画像描画手段が、上記画像制御命令生成処理ステップで生成された画像制御命令又は上記画像制御命令送受信処理ステップで受信された画像制御命令にしたがって更新後の画像を自表示装置の画面に描画する画像描画処理ステップと
    を備えたことを特徴とする画像描画方法。
  11. マルチ画面を構成する複数の表示装置のうち、自己が接続されている表示装置の画面に画像を描画する複数の画像描画端末の画像描画プログラムにおいて、
    上記複数の表示装置の中で、自己が接続されている表示装置である自表示装置の画面に現在表示されている画像を管理する画像管理処理手順と、
    ユーザにより指定された画面上の位置及び操作を示す入力情報が与えられると、上記画像管理処理手順により管理されている現在表示中の画像の中から、上記入力情報が示す位置に対応する画像を特定する画像特定処理手順と、
    上記入力情報が示す位置及び操作にしたがって上記画像特定処理手順により特定された画像の更新内容を示す画像制御命令を生成する画像制御命令生成処理手順と、
    上記画像制御命令生成処理手順により生成された画像制御命令を参照して、更新後の画像の一部又は全部が他の画像描画端末に接続されている表示装置である他表示装置の画面内に表示されるか否かを判定する判定処理手順と、
    上記判定処理手順により更新後の画像の一部又は全部が上記他表示装置の画面内に表示されると判定された場合、上記画像制御命令を他の画像描画端末に配信し、他の画像描画端末から画像制御命令が配信された場合、上記配信された画像制御命令を受信する画像制御命令送受信処理手順と、
    上記画像制御命令生成処理手順により生成された画像制御命令又は上記画像制御命令送受信処理手順により受信された画像制御命令にしたがって更新後の画像を自表示装置の画面に描画する画像描画処理手順と
    をコンピュータである上記画像描画端末に実行させるための画像描画プログラム。
JP2015531691A 2013-08-12 2013-08-12 マルチ画面表示システム、画像描画方法及び画像描画プログラム Expired - Fee Related JP6076479B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/071804 WO2015022723A1 (ja) 2013-08-12 2013-08-12 マルチ画面表示システム、画像描画方法及び画像描画プログラム

Publications (2)

Publication Number Publication Date
JP6076479B2 true JP6076479B2 (ja) 2017-02-08
JPWO2015022723A1 JPWO2015022723A1 (ja) 2017-03-02

Family

ID=52468125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015531691A Expired - Fee Related JP6076479B2 (ja) 2013-08-12 2013-08-12 マルチ画面表示システム、画像描画方法及び画像描画プログラム

Country Status (2)

Country Link
JP (1) JP6076479B2 (ja)
WO (1) WO2015022723A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016196424A1 (en) * 2015-05-29 2016-12-08 Legends Attractions, Llc Thematic interactive attraction
JP6685869B2 (ja) * 2016-09-09 2020-04-22 シャープ株式会社 表示装置、表示システム、および表示方法
CN113348436B (zh) * 2019-12-17 2023-07-25 松下知识产权经营株式会社 显示控制系统及方法、显示装置及方法、移动体、记录介质
JP2020118980A (ja) * 2020-04-01 2020-08-06 シャープ株式会社 表示装置及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146671A (ja) * 1993-06-16 1995-06-06 Mitsubishi Electric Corp 大型映像表示装置
JP2001318661A (ja) * 2000-05-10 2001-11-16 Mitsubishi Electric Corp マルチスクリーン表示装置
JP2003044028A (ja) * 2001-07-30 2003-02-14 Nec Corp 表示装置及び表示設定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104730A (ja) * 1993-10-06 1995-04-21 Canon Inc 動画表示方法並びに装置
JP2000020042A (ja) * 1998-07-01 2000-01-21 Nec Corp 映像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146671A (ja) * 1993-06-16 1995-06-06 Mitsubishi Electric Corp 大型映像表示装置
JP2001318661A (ja) * 2000-05-10 2001-11-16 Mitsubishi Electric Corp マルチスクリーン表示装置
JP2003044028A (ja) * 2001-07-30 2003-02-14 Nec Corp 表示装置及び表示設定方法

Also Published As

Publication number Publication date
JPWO2015022723A1 (ja) 2017-03-02
WO2015022723A1 (ja) 2015-02-19

Similar Documents

Publication Publication Date Title
JP4434973B2 (ja) 映像表示装置、映像合成配信装置、プログラム、システム及び方法
US8797233B2 (en) Systems, methods, and devices for dynamic management of data streams updating displays
JP4695474B2 (ja) 合成映像制御装置、合成映像制御方法およびプログラム
CN106572139B (zh) 多终端控制方法、终端、服务器和系统
JP6076479B2 (ja) マルチ画面表示システム、画像描画方法及び画像描画プログラム
US20100333004A1 (en) Method, apparatus and system for modifying a composite video signal
JP4998021B2 (ja) サーバ装置、クライアント装置及びプログラム
JP2011197348A (ja) 画像表示システム、画像表示方法、画像表示装置
JP2006172423A (ja) 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
JP2002251621A (ja) 画像作成システム、画像作成方法および画像作成プログラム
JP2009251867A (ja) データ処理装置、データ処理方法、記憶媒体、プログラム
JP5519458B2 (ja) プラント監視制御システムおよび表示画面管理方法
CN114570020A (zh) 数据处理方法以及系统
KR20180113467A (ko) 다자간 커뮤니케이션 서비스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2015207182A (ja) 情報処理装置、情報処理方法、並びにプログラム
JPH09198227A (ja) 情報処理システム及びその方法及び装置
CN116347166A (zh) 显示设备及窗口显示方法
CN112363683B (zh) 一种网页应用支持多图层显示的方法及显示设备
US9141443B2 (en) Method and system for integrating visual controls with legacy applications
JP2013205773A (ja) 表示システム、画像生成装置及びコンピュータプログラム
JP2009193471A (ja) 表示制御装置、表示処理装置、アプリケーションサーバ、表示制御方法、表示処理方法、アプリケーション実行方法、制御プログラム、および、記録媒体
JP2017147572A (ja) 映像監視装置およびこれを備えた映像監視システム
JP2005292876A (ja) 画像表示システム
JP2009140378A (ja) データ送信装置及びデータ送信方法
JP6025588B2 (ja) 監視制御システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170110

R150 Certificate of patent or registration of utility model

Ref document number: 6076479

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees