JP3935605B2 - マルチディスプレイビデオ表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、相互に接続された複数のビデオ表示装置によりビデオ映像を表示するマルチディスプレイビデオ表示装置に関するものである。
【０００２】
【従来の技術】
従来、大型投射型ディスプレイをマトリクス状に配置し、その一つ一つにビデオ映像を表示する場合は、ビデオ入力装置で取り込まれた映像を、アナログの分割器によって分割し、その一つ一つにビデオ映像をアナログ入力により入力、表示を行なわなければならず、複数のディスプレイに表示させる場合には、その配線が複雑で、かつ遠隔地からの映像入力は困難であった。
【０００３】
そこで、発明者らは、特願平９−１９０２８５号明細書において、ビデオ映像をディジタル符号化変換し、通信路を通して複数のビデオ表示装置に送信し、また、複数のビデオ表示装置では各々にＣＰＵを持たせ、各々座標変換し、ビデオ表示を行なうことによって、全体としてマルチディスプレイのビデオ表示を実現するのみならず、画面数が増えた場合のビデオ映像入力手段を容易にし、また遠隔地からの映像入力も容易にしている。
【０００４】
しかしながら、上記従来の技術では、それぞれのビデオ表示装置で、各々ビデオ表示を行なっているため、ビデオ表示装置間でのビデオ表示タイミングを同期させて実現する手段や方法については考慮されていない。
【０００５】
図２４は、特願平９−１９０２８５号明細書で出願した従来のマルチディスプレイビデオ表示装置を示す構成図である。図において、１は表示すべきビデオデータ、１０はビデオデータ１を取り込んで符号化（圧縮）を行なうビデオデータ符号化手段、１１は符号化されたビデオデータをマルチキャストにより送信するビデオデータ送信手段、２０はビデオデータ符号化手段１０、ビデオデータ送信手段１１を備えたビデオ送信装置である。
【０００６】
また、３２１から３２４は、符号化されたビデオデータを復号化（伸長）するビデオデータ復号化手段、３３１から３３４は、ビデオデータ１をマルチディスプレイ全体の座標系から自画面の座標系に変換する座標変換手段、３１１から３１４は、座標変換されたビデオデータ１をフレームメモリ（図示せず）に書き込むビデオ表示手段、３０１から３０４は、ビデオデータ復号化手段３２１から３２４、座標変換手段３３１から３３４、ビデオ表示手段３１１から３１４を備えたビデオ表示装置、１７１から１７４は、ビデオデータ１を実際に表示するディスプレイである。
【０００７】
このマルチディスプレイビデオ表示装置では、２×２個のディスプレイで画面を構成し、各ディスプレイ１７１から１７４の画面サイズが１２８０×１０２４ピクセルとすると、画面全体のマルチディスプレイのサイズは２５６０×２０４８ピクセルとなる。また、各ディスプレイ１７１から１７４の座標系として、左上端を（０，０），右下端を（１２７９，１０２３）とし、画面全体のマルチディスプレイの座標系として、左上端を（０，０），右下端を（２５５９，２０４７）とする。
【０００８】
従って、ディスプレイ１７１はマルチディスプレイ全体の（０，１０２４）から（１２７９，２０４７）の範囲、ディスプレイ１７２はマルチディスプレイ全体の（０，０）から（１２７９，１０２３）の範囲、ディスプレイ１７３はマルチディスプレイ全体の（１２８０，０）から（２５５９，１０２３）の範囲、ディスプレイ１７４はマルチディスプレイ全体の（１２８０，１０２４）から（２５５９，２０４７）の範囲をそれぞれ表示する。
【０００９】
次に動作について説明する。
図２５はマルチディスプレイ上のビデオデータの表示を説明する図である。ここでは、図２５に示すように、元の画像サイズが（６４０×４８０）のビデオデータ１を、マルチディスプレイ上で、始点の座標を（６４０，２４０）、画像サイズを（１２８０×７２０）にして表示する例をとって説明する。
【００１０】
図２６は、ビデオ送信装置２０及びビデオ表示装置３０１から３０４の処理を示すフローチャートである。図２６のステップＳＴ２１１において、ビデオ送信装置２０のビデオデータ符号化手段１０は、ビデオデータ１を符号化し、ステップＳＴ２１２において、ビデオデータ送信手段１１は、符号化されたビデオデータ１を、マルチキャストにより、すべてのビデオ表示装置３０１から３０４に対して送信する。
【００１１】
ビデオ表示装置３０１から３０４では、まず、ステップＳＴ２１３において、ビデオデータ復号化手段３２１から３２４が符号化されたビデオデータ１を各々復号化して、次のステップＳＴ２１４において、座標変換手段３３１から３３４が、送られてきたビデオデータ１を、自ディスプレイ１７１から１７４の座標系に変換する。
【００１２】
ここで、座標変換処理について説明する。
マルチディスプレイ上での座標（ｇｘ，ｇｙ）を、マルチディスプレイを構成する個々の画面上でのローカルな座標（ｌｘ，ｌｙ）に変換する場合に、マルチディスプレイ座標系における個々の画面の左上端の座標を（ｏｆｆｓｅｔｘ，ｏｆｆｓｅｔｙ）とすると、次式で表すことができる。
ｌｘ＝ｇｘ−ｏｆｆｓｅｔｘ （１）
ｌｙ＝ｇｙ−ｏｆｆｓｅｔｙ （２）
【００１３】
ステップＳＴ２１４において、マルチディスプレイ上での始点の座標が（６４０，２４０）、座標変換手段３３１に対応しているディスプレイ１７１の画面の左上端の座標が（０，１０２４）であるので、座標変換手段３３１は、上記（１），（２）式に、
ｇｘ＝６４０，ｇｙ＝２４０，
ｏｆｆｓｅｔｘ＝０，ｏｆｆｓｅｔｙ＝１０２４
を代入して、
ｌｘ＝６４０，ｌｙ＝−７８４
を求めることにより、ビデオデータ１の始点座標（６４０，２４０）を（６４０，−７８４）に変換する。また、座標変換手段３３１は、元のビデオデータ１の画像サイズ（６４０×４８０）を表示する画像サイズ（１２８０×７２０）にするために、横２倍、縦１．５倍に拡大する。
【００１４】
同様にして、ステップＳＴ２１４において、座標変換手段３３２は、対応しているディスプレイ１７２の画面の左上端の座標が（０，０）であるので、ビデオデータ１の始点座標（６４０，２４０）を（６４０，２４０）に変換すると共に、元のビデオデータ１の画像サイズを表示する画像サイズ（１２８０×７２０）にするために、横２倍、縦１．５倍に拡大する。
【００１５】
また、ステップＳＴ２１４において、座標変換手段３３３は、対応しているディスプレイ１７３の画面の左上端の座標が（１２８０，０）であるので、始点座標を（−６４０，２４０）に変換し、画像サイズを横２倍、縦１．５倍に拡大する。さらに、ステップＳＴ２１４において、座標変換手段３３４は、対応しているディスプレイ１７４の画面の左上端の座標が（１２８０，１０２４）であるので、始点座標を（−６４０，−７８４）に変換し、画像サイズを横２倍、縦１．５倍に拡大する。
【００１６】
次にステップＳＴ２１５において、ビデオ表示手段３１１は、座標変換手段３３１で変換された始点座標（６４０，−７８４）、画像サイズ（１２８０×７２０）のビデオデータ１を、ディスプレイ１７１に表示しようとするが、図２５に示すように、ディスプレイ１７１の表示領域外なので、ビデオデータ１を表示しない。
【００１７】
また、ステップＳＴ２１５において、ビデオ表示手段３１２は、座標変換手段３３２で変換された始点座標（６４０，２４０）、画像サイズ（１２８０×７２０）のビデオデータ１を、ディスプレイ１７２に表示しようとするが、ビデオデータ１の（１２８０，２４０），（１９１９，２４０），（１９１９，９５９），（１２８０，９５９）の範囲は表示領域外なので表示せずに、表示領域内の（６４０，２４０），（１２７９，２４０），（１２７９，９５９），（６４０，９５９）の範囲のみを表示する。
【００１８】
同様にして、ステップＳＴ２１５において、ビデオ表示手段３１３は、座標変換手段３３３で変換された始点座標（−６４０，２４０）、画像サイズ（１２８０×７２０）のビデオデータ１を、ディスプレイ１７３に表示しようとするが、ビデオデータ１の（−６４０，２４０），（−１，２４０），（−１，９５９），（−６４０，９５９）の範囲は表示領域外なので表示せずに、表示領域内の（０，２４０），（６３９，２４０），（６３９，９５９），（０，９５９）の範囲のみを表示する。
【００１９】
また、ステップＳＴ２１５において、ビデオ表示手段３１４は、座標変換手段３３４で変換された始点座標（−６４０，−７８４）、画像サイズ（１２８０×７２０）のビデオデータ１を、ディスプレイ１７４に表示しようとするが、ディスプレイ１７１の表示領域外なので、ビデオデータ１を表示しない。
【００２０】
このようにして、図２５に示すように、ビデオ表示手段３１２，３１３は、ビデオデータ１を、マルチディスプレイ上で、始点座標（６４０，２４０），画像サイズ（１２８０×７２０）のビデオ画像として表示する。
【００２１】
【発明が解決しようとする課題】
従来のマルチディスプレイビデオ表示装置は、以上のように構成されているので、各ビデオ画像の表示は、各々のビデオ表示装置が勝手に行なっていた。しかし、上記のように各ディスプレイに跨った映像を表示する場合、各ビデオ表示装置の負荷によって処理速度が異なることがあり、実際に表示するタイミングがずれるという課題があった。
【００２２】
この発明は上記のような課題を解決するためになされたもので、各ビデオ表示装置の同期を取ることによって、ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のないマルチディスプレイビデオ表示装置を得ることを目的とする。
【００２３】
上記課題を解決する先行技術として、特開平６−２１４５３４号公報に示されるものがある。これは、画像データが書き込まれる第１のフレームメモリと第２のフレームメモリを備え、システムコントローラからのトリガ信号により、第１のフレームメモリに書き込まれている画像データの表示を、第２のフレームメモリに書き込まれている画像データの表示に切り替えて、複数の表示ユニットの同期を取るものである。しかし、この先行技術は、複数のビデオデータを、マルチディスプレイに同時に表示させるものではない。
【００２４】
また、上記課題を解決する他の先行技術として、特開平８−２２１０４２号公報に示されるものがある。これは、各表示装置に与えられる制御信号に、各表示装置の表示切換の時間差を付加し、各表示装置では、この時間差によりタイマをセットし、タイミングをあわせて表示させるものである。しかし、この先行技術は、この時間差を実際の表示時間にあわせて調整できるものではない。
【００２５】
【課題を解決するための手段】
この発明に係るマルチディスプレイビデオ表示装置は、複数のディスプレイに表示される複数のビデオデータの位置により各ディスプレイのグループを決定するグループ決定手段と、上記グループ決定手段により決定された各グループ内のディスプレイに表示されるビデオデータの中で、各ビデオデータの優先度と各ビデオデータの解像度又は圧縮率に基づき、所定の間隔内に復号化可能な複数のビデオデータを決定するビデオ群決定手段と、上記ビデオ群決定手段により決定された複数のビデオデータを、上記グループ決定手段により決定されたグループごとにそれぞれ符号化し送信する複数のビデオ送信装置と、上記複数のビデオ送信装置により送信された複数のビデオデータを上記グループ決定手段により決定されたグループごとにそれぞれ復号化し、各ディスプレイに表示する複数のビデオ表示装置とを備え、上記各ビデオ表示装置が、送信された複数のビデオデータを復号化するビデオデータ復号化手段と、復号化された上記ビデオデータが書き込まれる第１及び第２のフレームバッファと、上記第１及び第２のフレームバッファの書込位置を決定する書込位置決定手段と、上記ビデオデータ復号化手段により復号化されたビデオデータを、上記第１及び第２のフレームバッファの上記書込位置決定手段により決定された書込位置に書き込むビデオ書込手段と、上記所定の間隔ごとに、上記第１及び第２のフレームバッファを、上記ビデオ書込手段による書込用と、書き込まれたビデオデータを表示する表示用に交互に切り替えるバッファ切替手段とを備え、上記第１及び第２のフレームバッファに書き込まれた複数のビデオデータを、上記所定の間隔ごとに切り替えて上記複数のディスプレイに表示するものである。
【００２９】
この発明に係るマルチディスプレイビデオ表示装置は、ビデオ群決定手段により通知された優先度の低いビデオデータに対して、解像度又は圧縮率を調整するビデオ調整手段を備えたものである。
【００３８】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は実施の形態１によるマルチディスプレイビデオ表示装置を示す構成図である。図において、１，２はマルチディスプレイに表示すべきビデオデータ、２１，２２はビデオデータ１，２をそれぞれ符号化（圧縮）してマルチキャストにより送信するビデオ送信装置、１４１から１４４は、ビデオデータ１，２を各ディスプレイ１７１から１７４に表示するビデオ表示装置である。
【００３９】
また、３１はグループ決定手段であり、マルチディスプレイを構成する全ディスプレイをグループとしたり、又はマルチディスプレイ内でビデオウィンドウが跨る隣接ディスプレイをグループとして決定する。４１は、グループ決定手段３１により決定された各グループのディスプレイの表示対象となるビデオデータの中で一定の間隔内に復号可能な組合せを決めるビデオ群決定手段、６１は、ビデオ表示装置１４１から１４４における復号で、もっとも時間のかかる復号時間を決定するビデオ復号時間決定手段、５１は、グループ決定手段３１、ビデオ群決定手段４１、ビデオ復号時間決定手段６１を備えたビデオ群決定装置である。
【００４０】
図２は、図１におけるビデオ表示装置１４１を示す構成図である。図２において、１１１は符号化されたビデオデータを復号化（伸長）するビデオデータ復号化手段、１２１はビデオデータをフレームバッファ１６１，１６２のどの位置に書き込むかを決定する書込位置決定手段、１３１は、どちらか一方のフレームバッファに、ビデオデータを書き込むビデオ書込手段、１５１は所定の間隔で２系統のフレームバッファ１６１，１６２を切替えるバッファ切替手段、１６１，１６２はビデオデータを書き込むための２系統のフレームバッファ、１８１は、ビデオデータの復号化と書き込みにかかる復号時間を見積もるビデオ復号時間見積手段である。
【００４１】
図２はビデオ表示装置１４１の構成として示したが、ビデオ表示装置１４２から１４４も同一の構成であり、各ビデオ表示装置１４２から１４４における符号は、ビデオデータ復号化手段が１１２から１１４、書込位置決定手段が１２２から１２４、ビデオ書込手段が１３２から１３４、バッファ切替手段が１５２から１５４、ビデオ復号時間見積手段が１８２から１８４であり、フレームバッファについては、ビデオ表示装置１４２で１６３，１６４，ビデオ表示装置１４３で１６５，１６６，ビデオ表示装置１４４で１６７，１６８である。
【００４２】
この実施の形態におけるマルチディスプレイは、２×２個のディスプレイ１７１から１７４で画面を構成し、各ディスプレイ１７１から１７４及び画面全体のマルチディスプレイの画面サイズ、座標系、表示範囲は、従来の技術と同様である。
【００４３】
次に動作について説明する。
図３はマルチディスプレイ上のビデオデータの表示を説明する図である。ここでは、図３に示すように、元の画像サイズが（６４０×４８０）のビデオデータ１を、マルチディスプレイ上で、始点の座標を（９６０，２４０）、画像サイズを（１２８０×７２０）にし、元の画像サイズが（３２０×２４０）のビデオデータ２を、マルチディスプレイ上で、始点の座標を（１６００，９０４）、画像サイズを（６４０×４８０）にして、２画面表示をする例をとって説明する。
【００４４】
図４は、ビデオ群決定装置、ビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。図４のステップＳＴ１１１において、図１におけるビデオ群決定装置５１のグループ決定手段３１は、図３の各ディスプレイ１７１から１７４に表示されるビデオデータ１，２の位置を考慮し、全ディスプレイを１つのグループとして決定する。
【００４５】
図５は各ディスプレイ１７１から１７４に表示されるビデオデータの位置により、ステップＳＴ１１１における各ディスプレイのグループの決定を説明する図である。図５（ａ）に示すように、ビデオデータ１，２がディスプレイ１７２から１７４に跨って表示され、ビデオデータ３，４がディスプレイ１７１にのみ表示される場合には、ディスプレイ１７２から１７４をグループ１とし、ディスプレイ１７１をグループ２として、２つのグループに分けることができる。
【００４６】
一方、図５（ｂ）に示すように、ビデオデータ１，２，３，４が、ディスプレイ１７１から１７４に表示される場合には、ディスプレイ１７１から１７４を分割することができず、１つのグループとして決定する。
【００４７】
そして図４のステップＳＴ１１２において、ビデオ群決定手段４１は、各グループについて、ディスプレイに表示対象となるビデオデータの中で一定の間隔内に復号可能なビデオ群を決める。この場合は、グループが１つであり、ビデオデータ１，２を一定の間隔内に復号可能なビデオ群として決定する。
【００４８】
次にステップＳＴ１１３において、ビデオ送信装置２１，２２は、ビデオデータ１，２をそれぞれ符号化（圧縮）し、マルチキャストにより全てのビデオ表示装置１４１から１４４に対して送信する。この場合、ビデオデータ１，２は、ビデオ送信装置２１，２２の都合により非同期で送信される。
【００４９】
ステップＳＴ１１４において、ビデオ表示装置１４１から１４４におけるビデオデータ復号化手段１１１から１１４は、符号化（圧縮）されたビデオデータ１を各々復号化（伸長）し、ステップＳＴ１１５において、書込位置決定手段１２１から１２４は、復号化されたビデオデータ１をそれぞれ自ディスプレイの座標系に変換し、フレームバッファ１６１，１６３，１６５，１６７への書込位置を決定する。
【００５０】
ここで、マルチディスプレイ上での座標を（ｇｘ，ｇｙ）、マルチディスプレイを構成する個々の画面上でのローカルな座標を（ｌｘ，ｌｙ）、マルチディスプレイ座標系における個々の画面の左上端の座標を（ｏｆｆｓｅｔｘ，ｏｆｆｓｅｔｙ）とすると、従来の技術と同様に、式（１）及び式（２）を用いて座標変換を行う。
【００５１】
ビデオ表示装置１４１の書込位置決定手段１２１は、対応しているディスプレイ１７１の画面の左上端の座標が（０，１０２４）であるので、座標変換を施すことにより、ビデオデータ１の始点座標（９６０，２４０）を（９６０，−７８４）に変換し、画像サイズ（６４０×４８０）を、（１２８０×７２０）にするために、横２倍、縦１．５倍に拡大する。
【００５２】
また、ビデオ表示装置１４２の書込位置決定手段１２２は、ディスプレイ１７２の画面の左上端の座標が（０，０）であるので、ビデオデータ１の始点座標を（９６０，２４０）に変換し、画像サイズを同様に横２倍、縦１．５倍に拡大する。さらに、ビデオ表示装置１４３の書込位置決定手段１２３は、ディスプレイ１７３の画面の左上端の座標が（１２８０，０）であるので、ビデオデータ１の始点座標を（−３２０，２４０）に変換し、画像サイズを横２倍、縦１．５倍に拡大する。
【００５３】
そして、ビデオ表示装置１４４の書込位置決定手段１２４は、ディスプレイ１７４の画面の左上端の座標が（１２８０，１０２４）であるので、ビデオデータ１の始点座標を（−３２０，−７８４）に変換し、画像サイズを横２倍、縦１．５倍に拡大する。このようにして、ステップＳＴ１１５において、書込位置決定手段１２１から１２４は、ビデオデータ１に対するフレームバッファ１６１，１６３，１６５，１６７への書込位置を決定する。
【００５４】
次にステップＳＴ１１６において、ビデオ書込手段１３１から１３４は、書込位置決定手段１２１から１２４の決定に基づいて、ビデオデータ１をそれぞれ自フレームバッファ１６１，１６３，１６５，１６７に書き込む。
【００５５】
ここで、フレームバッファヘの書込について説明する。
書込位置決定手段１２１により座標変換されたビデオデータ１は、始点座標が（９６０，−７８４），画像サイズが（１２８０×７２０）となっている。しかし、ディスプレイ１７１の表示領域は左上端を（０，０）とした（１２８０×１０２４）であるため、ディスプレイ１７１は、ビデオ画像全体である（９６０，−７８４），（２２３９，−７８４），（２２３９，−６５），（９６０，−６５）の範囲を実際には表示できない。従ってビデオ書込手段１３１は、実際に表示可能な範囲にビデオデータがないため、フレームバッファ１６１に何も書き込まない。
【００５６】
書込位置決定手段１２２により座標変換されたビデオデータ１は、始点座標が（９６０，２４０），画像サイズが（１２８０×７２０）となっている。しかし、ビデオ表示処理装置１４２に接続されたディスプレイ１７２の表示領域は、左上端を（０，０）とした（１２８０×１０２４）であるため、ディスプレイ１７２は、ビデオ画像の（１２８０，２４０），（２２３９，２４０），（２２３９，９５９），（１２８０，９５９）の範囲を表示できず、ビデオ書込手段１３２は、実際に表示可能な（９６０，２４０），（１２７９，２４０），（１２７９，９５９），（９６０，９５９）の範囲のみ、フレームバッファ１６３に書き込む。
【００５７】
また、書込位置決定手段１２３により座標変換されたビデオデータ１は、始点座標が（−３２０，２４０）、画像サイズが（１２８０×７２０）となっている。しかし、ディスプレイ１７３の表示領域は左上端を（０，０）とした（１２８０×１０２４）であるため、ディスプレイ１７３は、ビデオ画像の（−３２０，２４０），（−１，２４０），（−１，９５９），（−３２０，９５９）の範囲を表示できず、ビデオ書込手段１３３は、実際に表示可能な（０，２４０），（９５９，２４０），（９５９，９５９），（０，９５９）の範囲のみ、フレームバッファ１６５に書き込む。
【００５８】
さらに、書込位置決定手段１２４により座標変換されたビデオデータ１は、始点座標が（−３２０，−７８４），画像サイズが（１２８０×７２０）となっている。しかし、ディスプレイ１７４の表示領域は左上端を（０，０）とした（１２８０×１０２４）であるため、ディスプレイ１７４は、ビデオ画像全体である（−３２０，−７８４），（９５９，−７８４），（９５９，−６５），（−３２０，−６５）の範囲を表示できず、ビデオ書込手段１３４は、実際に表示可能な範囲にビデオデータがないため、フレームバッファ１６７には何も書き込まない。以上のようにして、ステップＳＴ１１６において、ビデオ書込手段１３１から１３４は、ビデオデータ１をそれぞれ自フレームバッファ１６１，１６３，１６５，１６７に書き込む。
【００５９】
次にステップＳＴ１１７において、ビデオ復号時間見積手段１８１から１８４は、それぞれビデオデータ１の復号化と書き込みにかかった復号時間を見積もり、その結果をビデオ復号時間決定手段６１に知らせる。例えば、ビデオ表示装置１４１では、ビデオデータ１の復号化は行なわれたが、書込は行なわれていないので、ビデオ復号時間見積手段１８１は、復号時間を１０ｍｓｅｃと見積もり、ビデオ表示装置１４２では、ビデオデータ１の復号化も書込も行なわれたので、ビデオ復号時間見積手段１８２は、復号時間を１５ｍｓｅｃと見積もる。
【００６０】
同様に、ビデオ復号時間見積手段１８３は、復号化も書込も行なわれているので、復号時間を１５ｍｓｅｃ、ビデオ復号時間見積手段１８４は、復号化のみ行なわれているので、復号時間を１０ｍｓｅｃと見積もる。従って、ビデオ復号時間見積手段１８１から１８４は、各々１０ｍｓｅｃ又は１５ｍｓｅｃと見積もった復号時間を、ビデオ復号時間決定手段６１に知らせる。
【００６１】
そしてステップＳＴ１１８において、ビデオ復号時間決定手段６１は、ビデオデータ１の復号見積時間を、処理時間の長い方である１５ｍｓｅｃと決定し、ビデオ群決定手段４１に知らせる。
【００６２】
次にステップＳＴ１１９において、符号化されたビデオデータ２についても、ビデオデータ１と同様に、ビデオデータ復号化手段１１１から１１４が各々復号化し、ステップＳＴ１２０において、書込位置決定手段１２１から１２４は、ビデオデータ２について、自ディスプレイの座標系に変換し書込位置を決定する。
【００６３】
次にステップＳＴ１２１において、ビデオ書込手段１３１から１３４は、書込位置決定手段１２１から１２４が決定した書込位置に基づいて、ビデオデータ２を自フレームバッファ１６１，１６３，１６５，１６７にそれぞれ書き込む。実際には図３に示すように、ビデオデータ２がディスプレイ１７３，１７４に表示されるように、フレームバッファ１６５，１６７に書き込まれる。
【００６４】
そしてステップＳＴ１２２において、ビデオ復号時間見積手段１８１から１８４は、ビデオデータ２の復号化と書込にかかった復号時間を見積もり、その結果をビデオ復号時間決定手段６１に知らせる。例えば、ビデオ復号時間見積手段１８１，１８２は、ビデオデータ２の復号化のみが行なわれているので、５ｍｓｅｃと見積もり、ビデオ復号時間見積手段１８３，１８４は、復号化も書込も行なわれたので、１０ｍｓｅｃと見積もって、ビデオ復号時間決定手段６１に知らせる。
【００６５】
さらにステップＳＴ１２３において、ビデオ復号時間決定手段６１は、ビデオデータ２の復号見積時間を、処理時間の長い方の１０ｍｓｅｃと決定し、ビデオ群決定手段４１に知らせる。
【００６６】
次にステップＳＴ１２４において、ビデオ群決定手段４１は、ビデオデータ１の復号見積時間が１５ｍｓｅｃ、ビデオデータ２の復号見積時間が１０ｍｓｅｃであることから、ビデオデータ１，２をビデオ群とした合計でも、ＮＴＳＣ方式によるフルレートの復号書込に必要な３０ｍｓｅｃ（１秒間に３０フレームで、正確には３３ｍｓｅｃ）を越えていないことを確認し、バッファ切替手段１５１から１５４の切替のタイミングを３０ｍｓｅｃにし、３０ｍｓｅｃ毎にバッファ切替手段１５１から１５４に対し、フレームバッファの切替指示を出す。
【００６７】
そしてステップＳＴ１２５において、バッファ切替手段１５１から１５４は、フレームバッファ１６１，１６３，１６５，１６７を表示用に、フレームバッファ１６２，１６４，１６６，１６８を書込用に切替える。フレームバッファ１６１，１６３，１６５，１６７が表示用に切替えられることによって、ビデオ書込手段１３１から１３４によって書き込まれたビデオデータ１，２は、ステップＳＴ１２６において、各ディスプレイ１７１から１７４に表示される。以後のビデオデータは、フレームバッファ１６２，１６４，１６６，１６８に書き込まれて、バッファ切替が行われて表示される。
【００６８】
この実施の形態では、グループ決定手段３１が全ディスプレイを１つのグループとして決定しているが、複数のグループとして決定しても良い。例えば、図５（ａ）に示すようなビデオデータの表示を行う場合には、図４のステップＳＴ１１１において、グループを２つに決定する。次にステップＳＴ１１２において、グループ１の中でビデオデータ１，２をビデオ群とし、グループ２の中でビデオデータ３，４をビデオ群として決定する。そしてステップＳＴ１１３において、ビデオデータ１，２を符号化してビデオ表示装置１４２から１４４に送信し、ビデオデータ３，４を符号化してビデオ表示装置１４１に送信する。
【００６９】
そしてビデオデータ１，２は、グループ１のディスプレイ１７２から１７４に表示されるので、ビデオ表示装置１４２から１４４がステップＳＴ１１４からＳＴ１２３までの処理を行い、ビデオデータ３，４は、グループ２のディスプレイ１７１に表示されるので、ビデオ装置１４１がステップＳＴ１１４からＳＴ１２３までの処理を行う。
【００７０】
この場合、ビデオデータ１＋ビデオデータ２の復号時間を２５ｍｓｅｃ、ビデオデータ３＋ビデオデータ４の復号時間を２０ｍｓｅｃとすると、２つのグループに分けて処理することにより、ビデオデータ１，２，３，４全てについて、３０ｍｓｅｃ以内のフルレート復号書込が行える。このように、表示するビデオデータが変化するたびに、グループ決定手段３１は、ディスプレイ１７１から１７４のグループを変更する。
【００７１】
図６はビデオデータのフレームバッファへの書込と表示の切替を説明する図である。このように、既に書き込まれたビデオデータを、３０ｍｓｅｃごとにバッファ切替によって表示することにより、ディスプレイ１７１から１７４に表示されるビデオ画像の同期は保たれる。
【００７２】
このように、この実施の形態では、ビデオ送信装置が複数のビデオデータをそれぞれ符号化した上で、複数のビデオ表示装置に対して、マルチキャストにより送信し、各ビデオ表示装置が符号化された複数のビデオデータを復号化し、マルチディスプレイ上における白分の画面位置に合わせてフレームバッファへの書込位置を決定し、フレームバッファヘ復号化されたデータを書き込んで、所定の間隔で２系統のフレームバッファを切替えて、画面間の同期を保ちながら複数のビデオデータを複数のディスプレイで表示を行う。
【００７３】
この実施の形態では、ビデオデータ１の復号化、書込後に、ビデオデータ２の復号化、書込を行い、シリアルな処理をしているが、一連の処理をソフト的に行うことにより、シリアルな処理でなく別々に処理を行っても良い。
【００７４】
また、この実施の形態では、バッファ切替手段１５１から１５４のフレームバッファの切替のタイミングを、ビデオ復号時間見積手段１８１から１８４が見積もることにより決定しているが、ビデオ群決定装置５１が基準とする一定間隔に同期させることによって、フレームバッファの切替えを行っても良い。この場合、図１におけるビデオ復号時間決定手段６１、図２におけるビデオ復号時間見積手段１８１が省略され、図４におけるステップＳＴ１１７，１１８，１２２，１２３の処理も省略される。
【００７５】
以上のように、この実施の形態１によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができるという効果が得られる。
【００７６】
また、この実施の形態１によれば、ディスプレイ１７１から１７４におけるグループを決定し、決定されたグループごとに所定の間隔内に復号化可能なビデオ群を決定しているので、複数のビデオデータを表示させる場合、各グループごとにフルレートでの処理が行え、違和感のない表示をすることができると共に、各グループごとに表示するビデオ表示装置だけにビデオデータを送信することにより、通信の効率化も行えるという効果が得られる。
【００７７】
さらに、この実施の形態１によれば、実際のビデオデータの復号時間を見積もり、各ビデオデータごとに、各ビデオ表示装置より通知された各復号時間の中で最長の時間を決定することにより、この最長の時間に基づき、所定の間隔内に復号化可能な複数のビデオデータを確認することができるという効果が得られる。
【００７８】
実施の形態２．
図７は実施の形態２によるマルチディスプレイビデオ表示装置を示す構成図である。図７において、１，２，３はマルチディスプレイに表示すべきビデオデータ、２１，２２，２３はビデオデータを符号化（圧縮）してマルチキャストにより送信するビデオ送信装置、１４１から１４４はビデオ表示装置、１７１から１７４はビデオデータ１，２，３を表示するディスプレイである。
【００７９】
また、３１はグループ決定手段であり、マルチディスプレイを構成する全ディスプレイをグループ化したり、マルチディスプレイ内でビデオウインドウが跨る隣接ディスプレイをグループ化する。４１は、グループ決定手段３１により決定されたグループ内のビデオデータの中で、一定の間隔内に復号化（伸長）可能な組合せを決めるビデオ群決定手段、５１は、グループ決定手段３１、ビデオ群決定手段４１を備えたビデオ群決定装置である。
【００８０】
図８はビデオ表示装置１４１から１４４を示す構成図であり、実施の形態１の図２からビデオ復号時間見積手段１８１を除いたものである。
【００８１】
次に動作について説明する。
ここでは、図７のディスプレイ１７１から１７４に示されるようなビデオデータ１，２，３の３画面表示をする例をとって説明する。図７において、ビデオ群決定装置５１のグループ決定手段３１は、ディスプレイ１７１から１７４に表示されるビデオデータ１，２，３の位置を考慮することにより、全ディスプレイを１つのグループとして決定する。
【００８２】
次にビデオ群決定手段４１は、ビデオデータ１，２，３の優先度と、解像度、圧縮率などからフルレート復号化可能なビデオデータの組合せを決める。ここではビデオデータ１の優先度は最高で、ビデオ復号化、書込にかかる時間は１５ｍｓｅｃであるとする。また、ビデオデータ２の優先度は普通で、ビデオ復号化、書込にかかる時間は１０ｍｓｅｃであるとする。さらに、ビデオデータ３の優先度は低く、ビデオ復号化、書込にかかる時間は１０ｍｓｅｃであるとする。ここで、優先度はアプリケーション又はユーザにより指定される。
【００８３】
図９はビデオデータのフレームバッファへの書込と表示の切り替えを説明する図である。ここでは、３つのビデオデータをフレームバッファに書き込み、表示させようとした場合の各ビデオデータの処理時間とビデオ群の組合せを時間軸で示している。ビデオデータ１，２，３の３つのビデオデータを表示しようとすると３５ｍｓｅｃ必要であるが、図９に示すように、バッファ切替え手段１５１から１５４の切替のタイミングを３０ｍｓｅｃとすると、ビデオデータ３の書込の途中でフレームバッファの切替が起こり、正常な画像の表示が行なわれない。従って、ビデオ群決定手段４１は、優先度の一番低いビデオデータ３の表示を諦め、ビデオデータ１，２のみを送信させ表示させる。
【００８４】
ビデオ表示装置１４１から１４４において、ビデオデータ１，２の２つのビデオウィンドウは、実施の形態１と同様に、ディスプレイ１７１から１７４で画面間の同期を保ちながら表示される。
【００８５】
以上のように、この実施の形態２によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができると共に、一定間隔で復号可能なビデオ群の選択は、各ビデオデータの優先度をもとに決定するので、優先度の高いビデオ映像を優先して表示することができるという効果が得られる。
【００８６】
実施の形態３．
図１０は実施の形態３によるマルチディスプレイビデオ表示装置を示す構成図である。図において、７１，７２，７３はビデオデータ１，２，３の圧縮率や解像度を調整するビデオ調整手段、４１は各ビデオデータの優先度と、解像度、圧縮率等からフルレート復号化（伸長）可能なビデオデータの組合せを決めるビデオ群決定手段であり、その他の構成は、実施の形態２の図７と同じである。
【００８７】
次に動作について説明する。
ここでは、ビデオデータ１，２，３の３画面表示をする例について説明する。図１０において、グループ決定手段３１は、ディスプレイ１７１から１７４に表示されるビデオデータ１，２，３の位置を考慮することにより、全ディスプレイを１つのグループとして決定する。次にビデオ群決定手段４１は、ビデオデータ１，２，３の優先度と、解像度、圧縮率などからフルレート復号化可能なビデオデータの組合せを決める。ここではビデオデータ１の優先度は最高で、ビデオ復号化、書込にかかる時間は１５ｍｓｅｃとする。また、ビデオデータ２の優先度は普通で、ビデオ復号化、書込にかかる時間は１０ｍｓｅｃとする。また、ビデオデータ３の優先度は低く、ビデオ復号化、書込にかかる時間は１０ｍｓｅｃとする。
【００８８】
図１１はビデオデータのフレームバッファへの書込と表示の切り替えを説明する図である。ここでは、３枚のビデオ画像をフレームバッファに書き込み、表示させようとした場合の各ビデオデータの処理時間とビデオ群の組合せを時間軸で示している。ビデオデータ１，２，３の３つのビデオ画像を表示しようとすると３５ｍｓｅｃ必要であるが、図１１に示すように、バッファ切替手段１５１から１５４の切替えのタイミングを３０ｍｓｅｃとすると、ビデオデータ３の書込の途中でバッファの切替が起こり、正常な画像の表示が行なわれない。従って、ビデオ群決定手段４１は、ビデオデータ１，２のフルレートの復号化は可能であるが、優先度の一番低いビデオデータ３のフルレートの復号化は不可能であることをビデオ調整手段７３に通知する。
【００８９】
通知を受けたビデオ調整手段７３は、ビデオデータ３のビデオ復号化、書込にかかる時間を５ｍｓｅｃ以内になるように、例えば解像度を（３２０×２４０）を（２００×１５０）に変更する。この解像度を変更することによって、図１１に示すように、ビデオデータ１，２，３の３つのビデオデータを、バッファ切替のタイミングの３０ｍｓｅｃ内で表示を行なうことができる。
【００９０】
この実施の形態では、解像度を変更しているが、圧縮率を変更しても良い。また、ビデオデータ１，２，３の３つのビデオウィンドウは、実施の形態１と同様に、ディスプレイ１７１から１７４で画面間の同期を保ちながら表示される。
【００９１】
以上のように、この実施の形態３によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができると共に、優先度の低いビデオデータの解像度や圧縮率を調整することにより、フルレート復号可能なビデオ群になるべく多くの優先度の高いビデオ映像を入れることができるという効果が得られる。
【００９２】
実施の形態４．
図１２は実施の形態４によるマルチディスプレイビデオ表示装置を示す構成図であり、実施の形態２における図７からビデオ群決定装置５１を削除したものである。
【００９３】
図１３は、図１２におけるビデオ表示装置１４１から１４４を示す構成図である。図において、１９１は、ビデオ送信装置２１から２３より送られてくるビデオデータの復号化（伸長）の順番を決める復号化順序決定手段であり、その他の構成は、実施の形態２の図８と同等である。
【００９４】
次に動作について説明する。
図１４はマルチディスプレイ上のビデオデータの表示を説明する図である。ここでは、図１４に示すように、元のサイズが（６４０×４８０）のビデオデータ１を、マルチディスプレイ上で、始点の座標を（９６０，２４０）、画像サイズを（１２８０×７２０）にし、元のサイズが（３２０×２４０）のビデオデータ２を、マルチディスプレイ上で、始点の座標を（１６００，９０４）、画像サイズを（６４０×４８０）にし、元のサイズが（３２０×２４０）のビデオデータ３を、マルチディスプレイ上で、始点の座標を（９００，１２００）、画像サイズを（１２８０×４８０）にして、３画面表示をする例をとって説明する。
【００９５】
図１５は、ビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。ステップＳＴ１３１において、ビデオ送信装置２１，２２，２３は、ビデオデータ１，２，３を各々符号化（圧縮）し、マルチキャストにより全てのビデオ表示装置１４１から１４４に対して送信する。
【００９６】
次にビデオ表示装置１４１から１４４が、ビデオデータ１，２，３をそれぞれ受信すると、ステップＳＴ１３２において、復号化順序決定手段１９１から１９４が、各ビデオデータを復号化し表示する順序づけを行ない、その順序で次のビデオデータ復号化手段１１１から１１４に出力する。
【００９７】
ここで、復号化順序決定手段１９１から１９４が行う復号化順序決定について説明する。ここで、ビデオデータ１，２，３の表示優先度を、それぞれ低、中、高とする。つまり、３つのビデオデータが重なっているところでは、上からビデオデータ３，２，１の順序で重なるようにする。従って、ビデオデータの復号化の順番は、ビデオデータ１，２，３の順序になる。ここで、ビデオデータ１，２，３の表示優先度については、復号化順序決定手段１９１から１９４に予め知らされているものとする。
【００９８】
ステップＳＴ１３３において、復号化順序決定手段１９１から１９４で決定された順番に従い、まずビデオデータ復号化手段１１１から１１４は、ビデオデータ１を復号化する。そして、ステップＳＴ１３４において、書込位置決定手段１２１から１２４は書込位置を決定し、ステップＳＴ１３５において、ビデオ書込手段１３１から１３４は、ビデオデータ１を自フレームバッファ１６１，１６３，１６５，１６７に書き込む。これらの処理については、実施の形態１で述べた通りである。
【００９９】
次に、ビデオデータ２に関して、ステップＳＴ１３６，１３７，１３８において、同様に復号化、書込位置決定、ビデオ書込処理を行なう。さらに、ビデオデータ３に関して、ステップＳＴ１３９，１４０，１４１において、同様に復号化、書込位置決定、ビデオ書込処理を行なう。フレームバッファ１６１，１６３，１６５，１６７には、３つのビデオデータが重なっているところでは、上からビデオデータ３，ビデオデータ２，ビデオデータ１の順序で重なって書き込まれる。
【０１００】
そして、ステップＳＴ１４２において、バッファ切替手段１５１から１５４は、３つのビデオデータの書込処理が終了した時点で、フレームバッファ１６１，１６３，１６５，１６７を表示用に、フレームバッファ１６２，１６４，１６６，１６８を書込用に切替える。
【０１０１】
フレームバッファ１６１，１６３，１６５，１６７が表示用に切替えられることによって、ステップＳＴ１４３において、ビデオ書込手段１３１から１３４によって書き込まれたビデオデータ１，２，３は、図１４に示すように、各ディスプレイ１７１から１７４にて表示される。また、ビデオ表示の下位のものから復号化、書込を行なっているので、クリップ処理などの必要がなく複数ビデオウインドウの重ね合わせが実現できる。
【０１０２】
以上のように、この実施の形態４によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができると共に、２つ以上のビデオデータについて、クリップ処理なしで複数ビデオウィンドウの重ね合わせを実現することができるという効果が得られる。
【０１０３】
実施の形態５．
図１６は実施の形態５によるマルチディスプレイビデオ表示装置を示す構成図である。図において、１，２はマルチディスプレイに表示すべきビデオデータ、９１はビデオ表示装置１４１から１４４の負荷を見積る負荷見積手段、８１，８２は、一番負荷の高いものに合わせて、ビデオデータのフレームレートを調整する送信制御手段、１１，１２は、マルチキャストにより符号化（圧縮）されたビデオデータを送信するビデオデータ送信手段、２１，２２は、送信制御手段８１，８２及びビデオデータ送信手段１１，１２を備えたビデオ送信装置である。
【０１０４】
また、１１１から１１４は、符号化されたビデオデータを復号化するビデオデータ復号化手段、１６１，１６３，１６５，１６７は、ビデオデータ１，２が書き込まれるフレームバッファであり、１２１から１２４は、フレームバッファ１６１，１６３，１６５，１６７へのビデオデータの書込位置を決定する書込位置決定手段である。
【０１０５】
１３１から１３４はフレームバッファ１６１，１６３，１６５，１６７にビデオデータを書き込むビデオ書込手段、１４１から１４４は、ビデオデータ復号化手段１１１から１１４、書込位置決定手段１２１から１２４、ビデオ書込手段１３１から１３４、フレームバッファ１６１、１６３，１６４，１６５を備えたビデオ表示装置、１７１から１７４は、それぞれフレームバッファ１６１，１６３，１６５，１６７に書き込まれたビデオ画像を表示するディスプレイである。
【０１０６】
上記実施の形態１〜４では、２系統のフレームバッファを備え、書込用と表示用に切り替えていたが、この実施の形態では、１系統のフレームバッファとしている。すなわち各フレームバッファ１６１、１６３，１６５，１６７に書き込まれビデオデータを同期を取って表示するのではなく、各フレームバッファ１６１、１６３，１６５，１６７に書き込まれビデオデータ１，２は、その都度、表示されてしまうが、実施の形態１〜４のように、厳密な同期を取らなくとも違和感のない表示となるように、フレームレートを調整するものである。
【０１０７】
次に動作について説明する。
ここでは、実施の形態１の図３と同様に、元の画像サイズが（６４０×４８０）のビデオデータ１を、マルチディスプレイ上に、始点の座標を（９６０，２４０）、画像サイズを（１２８０×７２０）にし、元の画像サイズが（３２０×２４０）のビデオデータ２を、マルチディスプレイ上に、始点の座標を（１６００，９０４）、画像サイズを（６４０×４８０）にして、２画面表示をする例をとって説明する。
【０１０８】
図１７は、負荷見積手段、ビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。ステップＳＴ１５１において、負荷見積手段９１は、ビデオ表示装置１４１から１４４で表示するビデオデータ１，２の座標位置、サイズを考慮して、ビデオ表示装置１４１から１４４の負荷を見積もる。次にステップＳＴ１５２において、ビデオ送信装置２１及び２２の送信制御手段８１及び８２は、負荷が高い場合にはフレームレートを落すことにより、送信するビデオデータのフレームレートを調整する。ステップＳＴ１５３において、ビデオデータ送信手段１１，１２は、ビデオデータ１，２を符号化し、マルチキャストによりすべてのビデオ表示装置１４１から１４４に対して送信する。
【０１０９】
次にステップＳＴ１５４において、ビデオ表示装置１４１から１４４のビデオデータ復号化手段１１１から１１４は、ビデオデータ１を各々復号化し、ステップＳＴ１５５において、書込位置決定手段１２１から１２４は、フレームバッファ１６１，１６３，１６５，１６７の書込位置を決定する。ステップＳＴ１５６において、ビデオ書込手段１３１から１３４は、書込位置決定手段１２１から１２４での決定に基づいて、ビデオデータ１を自フレームバッファ１６１，１６３，１６５，１６７に書き込む。これらの処理については、実施の形態１で述べた通りである。
【０１１０】
そしてステップＳＴ１５７において、フレームバッファ１６１，１６３，１６５，１６７に書き込まれたビデオデータ１は、各ディスプレイ１７１から１７４に渡されることにより、図３に示すように、始点座標（９６０，２４０）、画像サイズ（１２８０×７２０）のビデオデータ１が表示される。
【０１１１】
ビデオデータ２についても、ステップＳＴ１５８からステップＳＴ１６１において、同様に処理される。すなわち図３に示すように、始点座標（１６００，９０４）、画像サイズ（６４０×４８０）のビデオデータ２が表示される。
【０１１２】
ここで、負荷見積処理と送信制御処理について説明する。
負荷見積手段９１は、ビデオ表示装置１４１から１４４の各ディスプレイにかかっているビデオ画像の全面積の合計によって負荷を見積もる。ビデオ表示装置１４１では、ディスプレイ１７１にビデオ映像はかかっていないため、フルレートで復号化表示する１秒間当たりの総面積は０である。また、ビデオ表示装置１４２では、ディスプレイ１７２にかかっているビデオ画像は、ビデオデータ１のみであるため、フルレートで復号化表示する１秒間当たりの総面積は、
１２８０×７２０×３０＝２７６４８０００（ドット又はピクセル）
となる。
【０１１３】
また、ビデオ表示装置１４３では、ディスプレイ１７３にかかっているビデオ画像は、ビデオデータ１とビデオデータ２の両方であるため、フルレートで復号化表示する１秒間当たりの総面積は、
（１２８０×７２０＋６４０×４８０）×３０＝３６８６４０００（ドット）
となる。
【０１１４】
さらに、ビデオ表示装置１４４は、ディスプレイ１７４にかかっているビデオ画像はビデオデータ２のみであるため、フルレートで復号化表示する１秒間当たりの総面積は、
６４０×４８０×３０＝９２１６０００（ドット）
となる。従って、負荷の高い順に並べると、ビデオ表示装置１４３，ビデオ表示装置１４２，ビデオ表示装置１４４，ビデオ表示装置１４１の順になる。
【０１１５】
ビデオ表示装置１４１から１４４は、それぞれ１２８０×８００の面積のビデオ画像を、３０ｆｒａｍｅ／ｓｅｃで復号化表示する能力があるとすると、フレームバッファヘ書き込まれるビデオデータの１秒間当たりの総面積は、
１２８０×８００×３０＝３０７２００００（ドット）
となる。
【０１１６】
従って、ビデオ表示装置１４２では、
２７６４８０００≦３０７２００００
であるので、フルレートの復号化表示が行なわれる。また、ビデオ表示装置１４４では、
９２１６０００≦３０７２００００
であるので、フルレートの復号化表示が行なわれる。また、ビデオ表示装置１４１では、もともと表示が行なわれないので、ここでは無関係である。
【０１１７】
しかし、もっとも負荷の高いビデオ表示装置１４３では、
（１２８０×７２０＋６４０×４８０）×３０
＝３６８６４０００≧３０７２００００（ドット）
となり、能力を越えるので、２つのビデオ映像をフルレートで復号化表示することはできない。このため、ビデオ表示装置１４２及び１４４はフルレートで復号化表示を行なっているが、ビデオ表示装置１４３ではフルレートの復号化表示が行なえず、画面間の同期が乱れる。
【０１１８】
従って、送信制御手段８１及び８２が、ビデオ表示装置１４３の負荷に合わせて、それぞれのビデオデータのフレームレートを調整する。すなわち、送信制御手段８１及び８２において、それぞれのビデオデータのフレームレートを、１５ｆｒａｍｅ／ｓｅｃずつに抑えると、もっとも負荷の高いビデオ表示装置１４３では、
（１２８０×７２０＋６４０×４８０）×１５＝１８４３２０００（ドット）
となる。これは、ビデオ表示装置１４３の能力である
１２８０×８００×３０＝３０７２００００（ドット）
を越えないので、ビデオ表示装置１４３では、各ビデオデータを１５ｆｒａｍｅ／ｓｅｃで復号化表示することができる。
【０１１９】
ビデオ表示装置１４２，１４４においても、各ビデオデータを１５ｆｒａｍｅ／ｓｅｃで復号化表示することができることは明らかである。従って、全てのビデオ表示装置において、各ビデオデータを同じフレームレートで復号化表示することができる。
【０１２０】
このような送信制御手段８１から８２により、フレームレートを調整して通信量の制御を行なうことによって、マルチディスプレイビデオ表示装置において、２つ以上のビデオデータについて、画面間のある程度の同期を保ちながら表示を行なう。
【０１２１】
この実施の形態では、負荷見積手段は面積による見積をしているが、面積に限定しないで、ビデオ送信装置とビデオ表示装置間のネットワーク通信応答性を確認して、ビデオ表示装置の負荷を見積もることによっても、同様な表示が可能である。
【０１２２】
以上のように、この実施の形態５によれば、各ビデオ表示装置の負荷を、各ディスプレイに表示されるビデオデータの全面積により見積もり、一番負荷の高いビデオ表示装置に合わせて、送信するビデオデータのフレームレートを調整することにより、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置間で極端にずれることなく違和感なく行えるという効果が得られる。
【０１２３】
実施の形態６．
図１８は実施の形態６によるマルチディスプレイビデオ表示装置を示す構成図である。図において、１，２はマルチディスプレイに表示すべきビデオデータ、８１，８２は、一番負荷の高いものに合わせて、ビデオデータ１，２のフレームレートを調整する送信制御手段、１１，１２は、ビデオデータ１，２を符号化（圧縮）し、マルチキャストにより符号化されたビデオデータを送信するビデオデータ送信手段、２１，２２は、送信制御手段８１，８２、ビデオデータ送信手段１１，１２を備えたビデオ送信装置である。そして、１４１から１４４はビデオ表示装置、１７１から１７４は、ビデオデータ１，２を表示するディスプレイである。
【０１２４】
図１９は、図１８におけるビデオ表示装置１４１を示す構成図である。図において、２４１は自ビデオ表示装置の負荷を見積もる負荷見積手段であり、その他の構成については、実施の形態５の図１６におけるビデオ表示装置１４１と同様である。この実施の形態でも、実施の形態５と同様に、フレームバッファは１系統で、各ビデオ表示装置間で厳密な同期を取らずに、違和感のない表示を行うものである。また実施の形態５では、負荷見積手段９１をビデオデータの送信側に備えていたが、この実施の形態では、ビデオデータの表示側に備えており、より正確な見積を行うものである。
【０１２５】
図１９では、ビデオ表示装置１４１の構成を示したが、ビデオ表示装置１４２から１４４も同一の構成であり、各ビデオ表示装置１４２から１４４における符号は、負荷見積手段が２４２から２４４、ビデオデータ復号化手段が１１２から１１４、書込位置決定手段が１２２から１２４、ビデオ書込手段が１３２から１３４、フレームバッファが１６３，１６５，１６７である。
【０１２６】
次に動作について説明する。
ここでも、実施の形態１における図３と同様に、元のサイズが（６４０×４８０）のビデオデータ１を、マルチディスプレイ上で、始点の座標を（９６０，２４０）、画像サイズを（１２８０×７２０）にし、元のサイズが（３２０×２４０）のビデオデータ２を、マルチディスプレイ上で、始点の座標を（１６００，９０４）、画像サイズを（６４０×４８０）にして、２画面表示をする例について説明する。
【０１２７】
図１８において、まず、ビデオ送信装置２１及び２２における送信制御手段８１及び８２は、前に送信したフレームに対して、負荷見積手段２４１から２４４が見積もった負荷を考慮し、最も負荷が高いビデオ表示装置に合わせてフレームレートを落すよう調整する。そして、ビデオデータ送信手段１１及び１２がビデオデータを符号化し、マルチキャストによりすべてのビデオ表示装置１４１から１４４に対して送信する。
【０１２８】
次に、ビデオデータ復号化手段１１１から１１４は、ビデオデータ１を各々復号化（伸長）し、書込位置決定手段１２１から１２４が書込位置を決定し、ビデオ書込手段１３１から１３４が、ビデオデータ１を自フレームバッファ１６１，１６３，１６５，１６７に書き込む。これらの処理については、実施の形態１で述べた通りである。
【０１２９】
このようにして、ビデオ書込手段１３１から１３４によって書き込まれたビデオデータ１は、各ディスプレイ１７１から１７４に渡されることにより、図３に示すように、姶点座標（９６０，２４０），ビデオ画像サイズ（１２８０×７２０）のビデオデータ１が表示される。
【０１３０】
ビデオデータ２についても、同様に処理され、ビデオ書込手段１３１から１３４によって書き込まれたビデオデータ２は、各ディスプレイ１７１から１７４に渡されることにより、図３に示すように、始点座標（１６００，９０４），ビデオ画像サイズ（６４０×４８０）のビデオデータ２が表示される。
【０１３１】
ここで、負荷の見積について説明する。
負荷見積手段２４１から２４４は、ビデオ表示処理装置１４１から１４４の各ディスプレイにかかっているビデオ画像の単位時間あたりのデータ量の合計によって負荷を見積もる。ビデオデータ１のデータ量は、圧縮率１／５０，３０ｆｒａｍｅ／ｓｅｃで送信され、１ドット（ピクセル）を３２ｂｉｔで構成しているとすると、
６４０×４８０×（３２／８）×（１／５０）×３０
＝７３７２８０（ｂｙｔｅ／ｓｅｃ）
になる。
【０１３２】
また、ビデオデータ２のデータ量は、圧縮率１／２０，３０ｆｒａｍｅ／ｓｅｃで送信されているとすると、
３２０×２４０×（３２／８）×（１／２０）×３０
＝４６０８００（ｂｙｔｅ／ｓｅｃ）
になる。
【０１３３】
負荷見積手段２４１の見積において、ビデオ表示装置１４１では、ディスプレイ１７１にビデオデータはかかっていないため、データ量の合計は０となる。また、負荷見積手段２４２の見積において、ビデオ表示処理装置１４２では、ディスプレイ１７２にかかっているビデオ画像はビデオデータ１のみであるため、データ量は、７３７２８０（ｂｙｔｅ／ｓｅｃ）となる。
【０１３４】
また、負荷見積手段２４３の見積において、ビデオ表示装置１４３では、ディスプレイ１７３にかかっているビデオデータは、ビデオデータ１とビデオデータ２の両方であるため、データ量の合計は、
７３７２８０＋４６０８００＝１１９８０８０（ｂｙｔｅ／ｓｅｃ）
となる。また、負荷見積手段２４４の見積において、ビデオ表示装置１４４では、ディスプレイ１７４にかかっているビデオ画像はビデオデータ２のみであるため、データ量は、４６０８００（ｂｙｔｅ／ｓｅｃ）となる。従って、負荷の高い順に並べると、ビデオ表示装置１４３、ビデオ表示装置１４２、ビデオ表示装置１４４、ビデオ表示装置１４１の順になる。
【０１３５】
ここで例えば、ビデオ表示装置１４１から１４４は、入力画像サイズ６４０×４８０、圧縮率１／５０を３０ｆｒａｍｅ／ｓｅｃで復号化する能力があるとし、これをデータ量で表すと、
６４０×４８０×（３２／８）×（１／５０）×３０
＝７３７２８０（ｂｙｔｅ／ｓｅｃ）
の能力となる。
【０１３６】
従って、ビデオ表示装置１４２では、
７３７２８０＝７３７２８０
であるので、フルレートの復号化表示が行なわれる。また、ビデオ表示装置１４４では、
４６０８００≦７３７２８０
であるので、フルレートの復号化表示が行なわれる。
【０１３７】
また、ビデオ表示装置１４１では、もともと表示が行なわれないのでここでは無関係である。しかし、もっとも負荷の高いビデオ表示装置１４３では、
７３７２８０＋４６０８００＝１１９８０８０≧７３７２８０
となり、能力を越え、２つのビデオデータをフルレートで復号化表示することはできない。
【０１３８】
このため、ビデオ表示装置１４２及び１４４はフルレートで復号化表示を行なっているが、ビデオ表示装置１４３ではフルレートの復号化表示が行なえず、画面間の同期が乱れる。従って、送信制御手段８１及び８２において、ビデオ表示装置１４３に合わせて、ビデオデータ１，２のフレームレート制御を行なう。
【０１３９】
ここで、送信制御について説明する。
送信制御手段８１及び８２において、ビデオデータ１，２のフレームレートを１５ｆｒａｍｅ／ｓｅｃずつに抑えると、もっとも負荷の高いビデオ表示装置１４３では、
６４０×４８０×（３２／８）×（１／５０）×１５
＝３６８６４０（ｂｙｔｅ／ｓｅｃ）
３２０×２４０×（３２／８）×（１／２０）×１５
＝２３０４００（ｂｙｔｅ／ｓｅｃ）
３６８６４０＋２３０４００＝５９９０４０
となる。
【０１４０】
これは、ビデオ表示装置１４３の能力である
６４０×４８０×（３２／８）×（１／５０）×３０
＝７３７２８０（ｂｙｔｅ／ｓｅｃ）
を越えないので、ビデオ表示装置１４３では、ビデオデータ１，２を１５ｆｒａｍｅ／ｓｅｃで復号化表示することができる。
【０１４１】
ビデオ表示装置１４２，１４４においても、各ビデオデータを１５ｆｒａｍｅ／ｓｅｃで復号化表示することができることは明らかである。従って、全てのビデオ表示装置において、各ビデオデータを同じフレームレートで復号化表示することができる。
【０１４２】
このような送信制御手段による送信量の制御を行なうことによって、マルチディスプレイビデオ表示装置において、２つ以上のビデオデータについて、画面間のある程度の同期を保ちながら表示を行なう。
【０１４３】
以上のように、この実施の形態６によれば、ビデオ表示装置の負荷を、各ディスプレイに表示されるビデオデータの単位時間当たりのデータ量により見積もり、一番負荷の高いビデオ表示装置に合わせて、ビデオデータのフレームレートを調整することにより、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置間で、極端にずれることなく違和感なく行えるという効果が得られる。
【０１４４】
実施の形態７．
この実施の形態の構成は、実施の形態６と同様に、図１８，図１９示される構成と同じである。実施の形態６では、ビデオ画像の単位時間あたりのデータ量の合計によってビデオ表示装置の負荷の見積を行っていたが、この実施の形態は、各ビデオ表示装置の受信バッファの残量によってビデオ表示装置の負荷の見積を行うものである。この受信バッファは、図１９には図示されていないが、ビデオデータ復号化手段１１１の前に備えられているものである。
【０１４５】
ここで、負荷の見積について説明する。
負荷見積手段２４１から２４４は、ビデオ表示装置１４１から１４４の負荷を、各受信バッファの残量によって見積もる。ビデオデータ１のデータ量は、圧縮率１／５０，３０ｆｒａｍｅ／ｓｅｃで送信され、１ドット（ピクセル）を３２ｂｉｔで構成しているとすると、
６４０×４８０×（３２／８）×（１／５０）×３０
＝７３７２８０（ｂｙｔｅ／ｓｅｃ）
になる。
【０１４６】
また、ビデオデータ２のデータ量は、圧縮率１／２０，３０ｆｒａｍｅ／ｓｅｃで送信されているとすると、
３２０×２４０×３２／８×１／２０×３０
＝４６０８００（ｂｙｔｅ／ｓｅｃ）
になり、合計で、
７３７２８０＋４６０８００＝１１９８０８０（ｂｙｔｅ／ｓｅｃ）
のビデオデータがビデオ送信装置２１，２２から送信されてくることになる。
【０１４７】
負荷見積手段２４１において、ビデオ表示装置１４１の復号化、書込の処理能力が、２Ｍｂｙｔｅ／ｓｅｃであるとすると、
１１９８０８０（ｂｙｔｅ／ｓｅｃ）
≦２００００００（ｂｙｔｅ／ｓｅｃ）
であるため、受信バッファにデータがたまることはない。
【０１４８】
また、負荷見積手段２４２及び２４４において、ビデオ表示装置１４２と、ビデオ表示装置１４４の復号化、書込の能力が、１．５Ｍｂｙｔｅ／ｓｅｃであるとすると、
１１９８０８０（ｂｙｔｅ／ｓｅｃ）
≦１５０００００（ｂｙｔｅ／ｓｅｃ）
であるため、受信バッファにデータがたまることはない。
【０１４９】
また、負荷見積手段２４３において、ビデオ表示装置１４３の復号化書込の能力が、１Ｍｂｙｔｅ／ｓｅｃであるとすると、
１１９８０８０（ｂｙｔｅ／ｓｅｃ）
≧１００００００（ｂｙｔｅ／ｓｅｃ）
であるため、受信バッファにデータがたまっていき、受信バッファの残量は徐々に減っていき、いずれ受信バッファが溢れて通信に滞りが生じる。
【０１５０】
このように、ビデオ表示装置１４１，１４２，１４４は正常な通信が行なわれるが、ビデオ表示装置１４３では通信が遅れてしまい、結果として画面間の同期が乱れる。従って、送信制御手段８１，８２において、ビデオ表示装置１４３に合わせて、それぞれのビデオデータのフレームレートの調整を行なう。
【０１５１】
ここで送信制御について説明する。
送信制御手段８１，８２において、ビデオデータ１，２のフレームレートを１５ｆｒａｍｅ／ｓｅｃずつに抑えると、もっとも負荷の高いビデオ表示装置１４３では、
６４０×４８０×（３２／８）×（１／５０）×１５
＝３６８６４０（ｂｙｔｅ／ｓｅｃ）
３２０×２４０×（３２／８）×（１／２０）×１５
＝２３０４００（ｂｙｔｅ／ｓｅｃ）
３６８６４０＋２３０４００＝５９９０４０
となる。これは、ビデオ表示装置１４３の能力である１Ｍｂｙｔｅ／ｓｅｃを越えないので、ビデオ表示装置１４３では、各ビデオデータを１５ｆｒａｍｅ／ｓｅｃで復号化表示することができる。
【０１５２】
ビデオ表示装置１４２，１４４においても、各ビデオデータを１５ｆｒａｍｅ／ｓｅｃで復号化表示することができることは明らかである。従って、全てのビデオ表示装置において各ビデオデータを同じフレームレートで復号化表示することができる。
【０１５３】
このような送信制御手段による送信量の制御を行なうことによって、マルチディスプレイビデオ表示装置において、２つ以上のビデオデータについて、画面間のある程度の同期を保ちながら表示を行なう。
【０１５４】
以上のように、この実施の形態７によれば、ビデオ表示装置の負荷を各受信バッファの残量によって見積もり、一番負荷の高いビデオ表示装置に合わせて、ビデオデータのフレームレートを調整することにより、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置間で、極端にずれることなく違和感なく行えるという効果が得られる。
【０１５５】
実施の形態８．
この実施の形態の構成は、実施の形態５と同様に、図１６に示される構成と同じである。
【０１５６】
次に動作について説明する。
ビデオデータ１，２の元の画像サイズ、マルチディスプレイ上での始点の座標や、画像サイズについては、実施の形態１，５における図３と同じである。しかし、実施の形態５では、負荷見積手段９１がビデオ表示装置１４１から１４４の負荷を求め、送信制御手段８１，８２が、ビデオデータ１，２のフレームレートを一様に調整していたが、この実施の形態では、負荷見積手段９１がビデオ表示装置１４１から１４４の負荷を求め、あからじめ決定しているビデオデータ１，２の優先度に基づいて、ビデオデータ１，２のフレームレートを別々に調整するものである。
【０１５７】
ビデオデータ１，２を表示する処理の流れは、実施の形態５の図１７に示したフローチャートと基本的には同じであるが、ステップＳＴ１５２において、ビデオ送信装置２１，２２の送信制御手段８１，８２は、ビデオ表示装置１４１から１４４の負荷が高い場合には、ビデオデータ１，２の優先度に基づいて、送信する各ビデオデータのフレームレートを調整する。
【０１５８】
実施の形態５で述べたように、ビデオ表示装置１４１から１４４のうち、もっとも負荷の高いものは、ビデオ表示装置１４３である。ビデオ表示装置１４１から１４４は、それぞれ１２８０×８００の面積のビデオ画像を、３０ｆｒａｍｅ／ｓｅｃで復号化表示する能力があるとすると、フレームバッファヘ書き込まれるビデオデータの総面積は、
１２８０×８００×３０＝３０７２００００
となる。
【０１５９】
しかし、もっとも負荷の高いビデオ表示装置１４３では、
（１２８０×７２０＋６４０×４８０）×３０
＝３６８６４０００≧３０７２００００
となり、能力を越え、２つのビデオ映像をフルレートで復号化表示することはできない。
【０１６０】
仮に、ビデオデータ１の優先度を高、ビデオデータ２の優先度を低とし、各優先度の割合は、優先度高が１０、優先度低が２とする。ビデオ表示装置１４３で表示するビデオデータの総面積を３０７２００００にすれば良いので、
３０７２００００／（１２８０×７２０＋６４０×４８０）＝２５
となり、２つのビデオデータのフレームレートの合計が２５フレームになるように調整すれば良い。
【０１６１】
ここで、２つのビデオデータの優先度の割合が１０と２であるので、ビデオデータ１のフレームレートは、
２５×１０／１２＝２０
となり、ビデオデータ２のフレームレートは、
２５×２／１２＝５
となる。
【０１６２】
その結果、送信制御手段８１，８２において、ビデオデータ１のフレームレートを２０ｆｒａｍｅ／ｓｅｃ、ビデオデータ２のフレームレートを５ｆｒａｍｅ／ｓｅｃに抑えることによって、全てのビデオ表示装置において、同じフレームレートで復号化表示することができる。
【０１６３】
このような各ビデオデータの優先度の基づく各ビデオデータの送信量の制御を行なうことによって、マルチディスプレイビデオ表示装置において、２つ以上のビデオデータについて、画面間のある程度の同期を保ちながら表示を行なう。この実施の形態では、ビデオデータ１のフレームレートを２０ｆｒａｍｅ／ｓｅｃとしているのに対し、ビデオデータ２のフレームレートを５ｆｒａｍｅ／ｓｅｃと別々にしているが、視覚上、特に問題は生じない。
【０１６４】
以上のように、各ビデオデータの優先度の基づく各ビデオデータのフレームレートを調整することによって、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置間で、極端にずれることなく違和感なく行えるという効果が得られる。
【０１６５】
実施の形態９．
図２０は実施の形態９によるマルチディスプレイビデオ表示装置を示す構成図である。図において、９１はビデオ表示装置１４１から１４４の負荷を見積る負荷見積手段、１０１１は負荷見積手段９１からの情報によりビデオデータの通信帯域を決める通信帯域制御手段、１００１は、負荷見積手段９１、通信帯域制御手段１０１１を備えた通信帯域管理装置であり、その他の構成は、実施の形態５の図１６と同様である。
【０１６６】
次に動作について説明する。
実施の形態５では、負荷見積手段９１が見積もったビデオ表示装置１４１から１４４の負荷に基づき、送信制御手段８１，８２が、ビデオデータ１，２のフレームレートを調整していたが、この実施の形態では、見積もったビデオ表示装置１４１から１４４の負荷に基づき、ビデオデータ１，２の通信帯域を制御するものである。まず、負荷見積手段９１は、ビデオ表示装置１４１から１４４の負荷状況を見積もり、通信帯域制御手段１０１１に知らせる。
【０１６７】
ここで、負荷見積について説明する。
仮に、ビデオ表示装置１４１から１４４の受信能力が１Ｍｂｙｔｅ／ｓｅｃであるとする。ビデオデータ１を、圧縮率１／５０，３０ｆｒａｍｅ／ｓｅｃで受信し、１ドット（ピクセル）を３２ｂｉｔで構成しているとすると、ビデオデータ１のデータ量は、
６４０×４８０×（３２／８）×（１／５０）×３０
＝７３７２８０（ｂｙｔｅ／ｓｅｃ）
になる。
【０１６８】
また、ビデオデータ２を、圧縮率１／２０，３０ｆｒａｍｅ／ｓｅｃで受信するとすると、ビデオデータ２のデータ量は、
３２０×２４０×（３２／８）×（１／２０）×３０
＝４６０８００（ｂｙｔｅ／ｓｅｃ）
となり、ビデオデータ１とビデオデータ２の合計のデータ量は、
７３７２８０＋４６０８００＝１１９８０８０（ｂｙｔｅ／ｓｅｃ）
≧１００００００（ｂｙｔｅ／ｓｅｃ）
となり、受信能力を越えて負荷の高い状況であると判断され、通信帯域制御手段１０１１に送信負荷が高いことが知らされる。
【０１６９】
次に通信帯域制御手段１０１１は、ビデオデータ１，２の通信帯域を決め、そのことをビデオ送信装置２１，２２の送信制御手段８１，８２に知らせる。
【０１７０】
ここで通信帯域の振り分けについて説明する。
ビデオデータ１を圧縮率１／５０で圧縮するとすると、１フレームあたりのデータ量は、
６４０×４８０×（３２／８）×（１／５０）＝２４５７６（ｂｙｔｅ）
で、ビデオデータ２を圧縮率１／２０で圧縮するとすると、１フレームあたりのデータ量は、
３２０×２４０×（３２／８）×（１／２０）＝１５３６０（ｂｙｔｅ）
である。
【０１７１】
全体の送信量を保ったまま均等に送信量を振り分けようとすると、ビデオデータ１の送信量は、
１００００００×２４５７６／（２４５７６＋１５３６０）
＝６１５３８４
となり、ビデオデータ２の送信量は、
１００００００×１５３６０／（２４５７６＋１５３６０）
＝３８４６１５
となる。端数を切り捨てる形でビデオデータ１の通信帯域を６１０Ｋｂｙｔｅ／ｓｅｃ、ビデオデータ２の通信帯域を３８０Ｋｂｙｔｅ／ｓｅｃに決め、送信制御手段８１及び８２に渡す。
【０１７２】
次に、ビデオ送信装置２１及び２２は、送信制御手段８１及び８２によって、ビデオデータ１，２の送信量を制限し、ビデオデータ送信手段１１，１２でビデオデータを符号化し、マルチキャストによりすべてのビデオ表示装置１４１から１４４に対して送信する。
【０１７３】
ここで、送信量の制御について説明する。
ビデオデータ１の通信帯域は、６１０Ｋｂｙｔｅ／ｓｅｃであるので、
６１００００÷（６４０×４８０×３２／８×１／５０）＝２４．８２
になる。また、ビデオデータ２の通信帯域は３８０Ｋｂｙｔｅ／ｓｅｃであるので、
３８００００÷（３２０×２４０×３２／８×１／２０）＝２４．７３
になり、各々２４ｆｒａｍｅ／ｓｅｃ以下に送信量を制限することによって、指定された通信帯域（６１０Ｋｂｙｔｅ／ｓｅｃ，３８０Ｋｂｙｔｅ／ｓｅｃ）以下で送信が行なわれる。このようにして、送信量を制限されたビデオデータ１，２は、それぞれビデオ表示装置１４１から１４４に送信される。
【０１７４】
ビデオ表示装置１４１から１４４の処理は、実施の形態５と同様に行われる。このようにして、始点座標（９６０，２４０），ビデオ画像サイズ（１２８０×７２０）のビデオデータ１が２４ｆｒａｍｅ／ｓｅｃ以下の速度で表示され、始点座標（１６００，９０４），ビデオ画像サイズ（６４０×４８０）のビデオデータ２が、２４ｆｒａｍｅ／ｓｅｃ以下の速度で表示される。
【０１７５】
このようにして、送信量の制御を行ない、通信可能な帯域を保つことによって、マルチディスプレイビデオ表示装置において、２つ以上のビデオデータについて、ある程度の画面間の同期を保ちながら表示を行なう。
【０１７６】
以上のように、この実施の形態９によれば、通信帯域制御手段がビデオ表示装置の負荷に基づき、通信帯域を制御して送信量の制御を行なうことにより、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置で極端にずれることなく違和感なく行えるという効果が得られる。
【０１７７】
実施の形態１０．
図２１は実施の形態１０によるマルチディスプレイビデオ表示装置を示す構成図である。図において、１はマルチディスプレイに表示すべきビデオデータ、１０２１は、ビデオデータ１に復号開始時刻をタイムスタンプとして付加するタイムスタンプ付加手段、１０３１は復号開始時刻の決め方が不適当な場合に時刻の変更を指示する復号開始時刻変更手段、１１はマルチキャストにより符号化（圧縮）されたビデオデータ１を送信するビデオデータ送信手段であり、２１は、タイムスタンプ付加手段１０２１，復号開始時刻変更手段１０３１，ビデオデータ送信手段１１を備えたビデオ送信装置である。また、１４１から１４４はビデオ表示装置、１７１から１７４はビデオデータ１，２を表示するディスプレイである。
【０１７８】
図２２は、図２１におけるビデオ表示装置１４１を示す構成図である。図において、２０１はビデオデータの到着した時刻を調べる現在時刻取込手段、２１１は、現在時刻取込手段２０１で得られた時刻とビデオデータに付加された時刻を比較し時差を求める時刻比較手段、２２１は比較された時刻分だけ待ち合わせを行なう時刻待ち合わせ手段、２３１は、時刻比較手段２１１が求めた時差をビデオ送信装置２１に知らせるメッセージ送付手段である。
【０１７９】
また、１１１は符号化されたビデオデータを復号化（伸長）するビデオデータ復号化手段、１６１はビデオデータ１が書き込まれるフレームバッファ、１２１はビデオデータ１のフレームバッファ１６１への書込位置を決定する書込位置決定手段、１３１はフレームバッファ１６１にビデオデータ１を書き込むビデオ書込手段である。
【０１８０】
図２１では、ビデオ表示装置１４１の構成を示したが、ビデオ表示装置１４２から１４４も同一の構成であり、各ビデオ表示装置１４２から１４４における符号は、現在時刻取込手段が２０２から２０４，時刻比較手段が２１２から２１４，時刻待ち合わせ手段が２２２から２２４，メッセージ送付手段が２３２から２３４，ビデオデータ復号化手段が１１２から１１４，書込位置決定手段が１２２から１２４，ビデオ書込手段が１３２から１３４，フレームバッファが１６３，１６５，１６７である。
【０１８１】
次に動作について説明する。
ここでは、元の画像サイズが（６４０×４８０）のビデオデータを、マルチディスプレイ上で、始点の座標を（９６０，２４０）、画像サイズを（１２８０×７２０）にして表示する例をとって説明する。
【０１８２】
図２３はビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。ステップＳＴ１７１において、タイムスタンプ付加手段１０２１は、ビデオデータ１を取り込んだ時刻の絶対時間に送信にかかる任意時刻を加算したものを復号化を開始する時刻とし、これをタイムスタンプとしてビデオデータ１の１フレーム目に付加する。ここでは、ビデオデータの取込時刻を１０２１２０とし、送信にかかる時刻を１００として加え、これをタイムスタンプとして、１０２２２０とする。この場合、単位はいずれもｍｓｅｃとする。そしてステップＳＴ１７２において、ビデオデータ送信手段１１は、ビデオデータ１の１フレーム目を符号化し、マルチキャストによりすべてのビデオ表示装置１４１から１４４に対して送信する。
【０１８３】
ビデオ表示装置１４１から１４４側では、ステップＳＴ１７３において、現在時刻取込手段２０１から２０４は、符号化されたビデオデータの１フレーム目の到着時刻を調査する。ここで、現在時刻取込手段２０１から２０４が調査した到着時刻を、それぞれ１０２２００，１０２２１０，１０２２２５，１０２２１０とし、時刻比較手段２１１から２１４に知らせる。
【０１８４】
次にステップＳＴ１７４において、時刻比較手段２１１から２１４は、１フレーム目の到着時刻と付加されたタイムスタンプとの比較を行ない、その時差を求める。時刻比較手段２１１から２１４が求めた時差は、それぞれ２０，１０，−５，１０である。
【０１８５】
次にステップＳＴ１７５において、時刻待ち合わせ手段２２１から２２４は、求めた時差が正の値の場合に、１フレーム目の待ち合わせを行なう。すなわち、時刻待ち合わせ手段２２１，２２２，２２４では、それぞれ２０，１０，１０（ｍｓｅｃ）の待ち合わせを行う。そしてステップＳＴ１７６において、ビデオデータ復号化手段１１１から１１４は、符号化されたビデオデータの１フレーム目を各々復号化する。求めた時差が負の値の場合には復号化しない。
【０１８６】
ステップＳＴ１７７において、書込位置決定手段１２１，１２２，１２４は、書込位置を決定するが、書込位置決定手段１２３は、書込位置決定の処理を行なわない。次にステップＳＴ１７８において、ビデオ書込手段１３１，１３２，１３４は、１フレーム目を自フレームバッファ１６１，１６３，１６７に書き込む。ただし、ビデオ書込手段１３３はビデオ書込処理を行なわない。
【０１８７】
このようにして、ほぼ同時にビデオ書込手段１３１，１３２，１３４によって書き込まれたビデオデータ１は、ステップＳＴ１７９において、各ディスプレイ１７１，１７２，１７４に渡されることにより、始点座標（９６０，２４０），ビデオ画像サイズ（１２８０×７２０）のビデオデータ１の１フレーム目が表示される。しかし、ディスプレイ１７３に関しては、１フレーム目の表示が行なわれない。
【０１８８】
ステップＳＴ１８０において、メッセージ送付手段２３１から２３４は、上記ステップＳＴ１７４において、時刻比較手段２１１から２１４が求めた時差２０，１０，−５，１０をビデオ送信装置２１に知らせる。
【０１８９】
次にステップＳＴ１８１において、復号開始時刻変更手段１０３１は、メッセージ送付手段２３１から２３４からの情報により、ビデオ表示装置１４３における表示ができないことを判断し、復号開始時刻を変更するようタイムスタンプ付加手段１０２１に指示をする。例えば、ビデオデータ１の２フレーム目に付加する送信にかかる任意時間を、１００から１１０に変更するよう指示を出す。
【０１９０】
ステップＳＴ１８２において、タイムスタンプ付加手段１０２１は、ビデオデータ１の２フレーム目に、２フレーム目を取り込んだ時刻の絶対時間に送信にかかる任意時刻１１０を加算した復号開始時刻をタイムスタンプとして付加する。ここでは、ビデオデータの２フレーム目の取込時刻を１０２２２０とし、送信にかかる時刻を１１０として加え、これをタイムスタンプとして１０２３３０とする。単位はいずれもｍｓｅｃとする。そしてステップＳＴ１８３において、ビデオデータ送信手段１１は、２フレーム目を符号化し、マルチキャストによりすべてのビデオ表示装置１４１から１４４に対して送信する。
【０１９１】
ステップＳＴ１８４において、現在時刻取込手段２０１から２０４は、２フレーム目の到着時刻を調査する。ここで、現在時刻取込手段２０１，２０２，２０３，２０４が調査した時刻を、それぞれ１０２３００，１０２３１０，１０２３２５，１０２３１０とする。
【０１９２】
次にステップＳＴ１８５において、時刻比較手段２１１から２１４は、２フレーム目の到着時刻と付加されているタイムスタンプとの比較を行い、その時差を求める。ここで、時刻比較手段２１１から２１４が求めた時差は、それぞれ３０，２０，５，２０である。求めた時差については、上記ステップＳＴ１８０と同様に、メッセージ送付手段２３１から２３４によりビデオ送信装置２１に通知される。
【０１９３】
ステップＳＴ１８６において、時刻待ち合わせ手段２２１から２２４は、時差が正の値であるので、２フレーム目に対しそれぞれ３０，２０，５，２０（ｍｓｅｃ）の待ち合わせを行う。そしてステップＳＴ１８７において、ビデオデータ復号化手段１１１から１１４は、２フレーム目を同時に復号化する。ここでは、２フレーム目の全てが正常に復号化されるので、以降のステップＳＴ１８８からステップＳＴ１９０において処理がなされ、各ディスプレイ１７１から１７４に、ほぼ同時に始点座標（９６０，２４０），ビデオ画像サイズ（１２８０×７２０）のビデオデータが表示される。ビデオデータ１の次に取り込まれるフレームに関しても、同様な処理を繰り返す。
【０１９４】
このようにして、送信時間として付加する時刻を変更しながら、画面間の同期を保ち表示を行なう。この実施の形態では、１つのビデオデータについて処理しているが、２つ以上のビデオデータについても同様に処理できる。
【０１９５】
また、この実施の形態では、復号開始時刻変更手段１０３１とメッセージ送付手段２３１から２３４を備えているが、タイムスタンプ付加手段１０２１がタイムスタンプを付加する際に、送信にかかる時刻を適切に設定すれば、復号開始時刻変更手段１０３１とメッセージ送付手段２３１から２３４がなくとも、ほぼ同様な動作をすることは明らかである。
【０１９６】
さらに、このタイムスタンプの時刻とビデオデータの到着時刻との時差が、必要以上にある場合に、タイムスタンプ付加手段で付加する時刻を短く変更することによって、待ち合わせ時間を短くできることも明らかである。
【０１９７】
以上のように、この実施の形態１０によれば、ビデオ表示装置が、ビデオデータに付加されたタイムスタンプとビデオデータの到着時刻により求めた時差の分だけ、待ち合わせを行なうことによって、画面に跨ったビデオウィンドウの表示を、各ビデオ表示装置で同時に表示することができるという効果が得られる。
【０１９８】
また、この実施の形態１０によれば、ビデオデータの到着時刻が、タイムスタンプの時刻に間に合わないビデオ表示装置が存在する場合は、ビデオ送信装置でビデオデータに付加するタイムスタンプの時刻を遅く変更することによって、全ビデオ表示装置で同時に表示することができるという効果が得られる。
【０１９９】
さらに、この実施の形態１０によれば、ビデオデータの到着時刻が、全てのビデオ表示装置において、タイムスタンプの時刻に比べてかなりの余裕のある場合は、ビデオ表示装置でビデオデータに付加するタイムスタンプの時刻を早く変更することによって、全ビデオ表示装置で無駄のない待ち合わせ時刻で、同時に表示することができるという効果が得られる。
【０２００】
【発明の効果】
以上のように、この発明によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができ、また、ディスプレイにおけるグループを決定し、決定されたグループごとに所定の間隔内に復号化可能なビデオ群を決定しているので、複数のビデオデータを表示させる場合、各グループごとにフルレートでの処理が行え、違和感のない表示をすることができ、各グループごとに表示するビデオ表示装置だけにビデオデータを送信することにより通信の効率化も行え、さらに、一定間隔で復号可能なビデオ群の選択は、各ビデオデータの優先度をもとに決定するので、優先度の高いビデオ映像を優先して表示することができるという効果がある。
【０２０４】
この発明によれば、複数のビデオデータを各ディスプレイに対応したフレームバッファに書き込み、所定のタイミングでフレームバッファに書き込まれたビデオデータを表示することにより、各ディスプレイに跨った映像を表示する場合も、実際に表示されるタイミングがずれることなく、違和感のない表示をすることができると共に、優先度の低いビデオデータの解像度や圧縮率を調整することにより、フルレート復号可能なビデオ群になるべく多くの優先度の高いビデオ映像を入れることができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるマルチディスプレイビデオ表示装置を示す構成図である。
【図２】 この発明の実施の形態１によるビデオ表示装置を示す構成図である。
【図３】 この発明の実施の形態１によるマルチディスプレイ上のビデオデータの表示を説明する図である。
【図４】 この発明の実施の形態１によるビデオ群決定装置、ビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。
【図５】 この発明の実施の形態１による各ディスプレイのグループの決定を説明する図である。
【図６】 この発明の実施の形態１によるビデオデータのフレームバッファへの書込と表示の切替を説明する図である。
【図７】 この発明の実施の形態２によるマルチディスプレイビデオ表示装置を示す構成図である。
【図８】 この発明の実施の形態２によるビデオ表示装置を示す構成図である。
【図９】 この発明の実施の形態２によるビデオデータのフレームバッファへの書込と表示の切替を説明する図である。
【図１０】 この発明の実施の形態３によるマルチディスプレイビデオ表示装置を示す構成図である。
【図１１】 この発明の実施の形態３によるビデオデータのフレームバッファへの書込と表示の切替を説明する図である。
【図１２】 この発明の実施の形態４によるマルチディスプレイビデオ表示装置を示す構成図である。
【図１３】 この発明の実施の形態４によるビデオ表示装置を示す構成図である。
【図１４】 この発明の実施の形態４によるマルチディスプレイ上のビデオデータの表示を説明する図である。
【図１５】 この発明の実施の形態４によるビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。
【図１６】 この発明の実施の形態５，８によるビデオ表示装置を示す構成図である。
【図１７】 この発明の実施の形態５，８による負荷見積手段、ビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。
【図１８】 この発明の実施の形態６，７によるマルチディスプレイビデオ表示装置を示す構成図である。
【図１９】 この発明の実施の形態６，７によるビデオ表示装置を示す構成図である。
【図２０】 この発明の実施の形態９によるマルチディスプレイビデオ表示装置を示す構成図である。
【図２１】 この発明の実施の形態１０によるマルチディスプレイビデオ表示装置を示す構成図である。
【図２２】 この発明の実施の形態１０によるビデオ表示装置を示す構成図である。
【図２３】 この発明の実施の形態１０によるビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。
【図２４】 従来のマルチディスプレイビデオ表示装置を示す構成図である。
【図２５】 従来のマルチディスプレイ上のビデオデータの表示を説明する図である。
【図２６】 従来のビデオ送信装置、ビデオ表示装置の処理の流れを示すフローチャートである。
【符号の説明】
１，２，３ ビデオデータ、２１，２２，２３ ビデオ送信装置、３１ グループ決定手段、４１ ビデオ群決定手段、６１ ビデオ復号時間決定手段、７１，７２，７３ ビデオ調整手段、８１，８２ 送信制御手段、９１ 負荷見積手段、１１１，１１２，１１３，１１４ ビデオデータ復号化手段、１２１，１２２，１２３，１２４ 書込位置決定手段、１３１，１３２，１３３，１３４ ビデオ書込手段、１４１，１４２，１４３，１４４ ビデオ表示装置、１５１ バッファ切替手段、１６１，１６２ フレームバッファ、１７１，１７２，１７３，１７４ ディスプレイ、１８１ ビデオ復号時間見積手段、１９１ 復号化順序決定手段、２０１ 現在時刻取込手段、２１１ 時刻比較手段、２２１ 時刻待ち合わせ手段、２３１ メッセージ送付手段、１０１１ 通信帯域制御手段、１０２１ タイムスタンプ付加手段、１０３１ 復号開始時刻変更手段。

Claims (2)

1. 複数のディスプレイに表示される複数のビデオデータの位置により各ディスプレイのグループを決定するグループ決定手段と、
   上記グループ決定手段により決定された各グループ内のディスプレイに表示されるビデオデータの中で、各ビデオデータの優先度と各ビデオデータの解像度又は圧縮率に基づき、所定の間隔内に復号化可能な複数のビデオデータを決定するビデオ群決定手段と、
   上記ビデオ群決定手段により決定された複数のビデオデータを、上記グループ決定手段により決定されたグループごとにそれぞれ符号化し送信する複数のビデオ送信装置と、
   上記複数のビデオ送信装置により送信された複数のビデオデータを上記グループ決定手段により決定されたグループごとにそれぞれ復号化し、各ディスプレイに表示する複数のビデオ表示装置とを備え、
   上記各ビデオ表示装置が、
   送信された複数のビデオデータを復号化するビデオデータ復号化手段と、
   復号化された上記ビデオデータが書き込まれる第１及び第２のフレームバッファと、
   上記第１及び第２のフレームバッファの書込位置を決定する書込位置決定手段と、
   上記ビデオデータ復号化手段により復号化されたビデオデータを、上記第１及び第２のフレームバッファの上記書込位置決定手段により決定された書込位置に書き込むビデオ書込手段と、
   上記所定の間隔ごとに、上記第１及び第２のフレームバッファを、上記ビデオ書込手段による書込用と、書き込まれたビデオデータを表示する表示用に交互に切り替えるバッファ切替手段とを備え、
   上記第１及び第２のフレームバッファに書き込まれた複数のビデオデータを、上記所定の間隔ごとに切り替えて上記複数のディスプレイに表示することを特徴とするマルチディスプレイビデオ表示装置。
2. ビデオ群決定手段により通知された優先度の低いビデオデータに対して、解像度又は圧縮率を調整するビデオ調整手段を備えたことを特徴とする請求項１記載のマルチディスプレイビデオ表示装置。

Images