JP6272124B2 - マルチディスプレイシステム - Google Patents

Description

本発明は、複数のディスプレイを配置して１つの表示画面を構成するマルチディスプレイシステムに関する。

複数のディスプレイを例えば格子状に配置して１つの表示画面を構成するマルチディスプレイシステムは、電力、交通、プラント等のインフラ分野における監視に用いられる映像表示装置として広く活用されている。

このようなマルチディスプレイシステムでは、表示画面上に同時に複数の映像を表示するため、映像信号処理装置によって複数の映像の大きさ、位置、および優先度を決定し、映像信号処理装置に入力された映像信号から１または複数の映像信号を選択して映像表示装置に出力することが一般的である。

近年、遠隔地に配置された監視用カメラ等の映像配信機器から取得した映像信号をデータ圧縮し、圧縮映像データとしてEthernet（登録商標）等のネットワークを介して圧縮映像データ伸長再生装置（以下、伸長再生装置という）に配信し、伸長再生装置にて圧縮映像データを伸長再生してディスプレイに出力し、表示画面上に映像を表示する技術が開示されている（例えば、特許文献１参照）。当該技術によれば、同一の監視用カメラで撮影された映像を複数の地点に配置したディスプレイで同時に表示することが容易となる。このとき、伸長再生装置としてはＰＣ（Personal Computer）を用いることが多い。

一方、上記のマルチディスプレイシステムでは、各ディスプレイ上に同時に複数の映像を表示することが多く、この場合、伸長再生装置は複数の圧縮映像データの伸長再生を同時に行わなければならない。このとき、伸長再生装置が有する処理能力が十分でない場合は、伸長再生が不安定になる。すなわち、一部の映像フレーム（映像のコマ）が正常に伸長再生されないこと等による、映像の不定期なコマとび、映像のフリーズおよび破綻等が生じる可能性がある。

このような問題の対策として、伸長再生装置が有する処理能力を超えそうな場合は、監視用カメラから出力される映像の情報量を減らすために映像のフォーマットを変更するように監視用カメラを制御することによって、伸長再生装置における処理量を減らして安定した動作を得る方法が一般的に採用されている。映像のフォーマットの変更方法としては、例えば、映像の解像度を低くしたり、映像のフレームレートを低くしたりする等の方法がある。

また、他の対策として、伸長再生装置の処理負荷（ＣＰＵ（Central Processing Unit）の負荷）に応じて伸長再生方法を切り替え、ＣＰＵ負荷が一定の値を超えないようにすることによって安定した動作を得る技術が開示されている（例えば、特許文献２参照）。

特開平１１−３８９５１号公報 特許第３１３３１１３号公報

上記の伸長再生装置の処理能力に基づいて監視用カメラから出力される映像のフォーマットを変更する方法では、監視用カメラから出力される映像データの情報量を、マルチディスプリシステム内で最も処理能力が低い伸長再生装置に合わせる必要がある。従って、高品位な映像を表示するためには、カメラの映像を表示する全てのディスプレイに対して処理能力が高い伸長再生装置を設ける必要があった。

一方、マルチディスプレイシステムでは、表示画面上に複数の映像ウィンドウを任意の位置に任意の大きさで表示するため、１つのディスプレイ上に複数の映像ウィンドウを表示する場合があり、この場合、１つの伸長再生装置が複数の圧縮映像データを伸長再生する。このとき、ディスプレイに表示する映像ウィンドウの数、すなわち伸長再生装置にて伸長再生する圧縮映像データの数が多いほど、伸長再生処理における処理負荷が大きくなる傾向がある。従って、ディスプレイに表示する映像ウィンドウの数によって、各伸長再生装置における処理負荷が異なる。ここで、映像ウィンドウとは、映像の表示領域を示すが、以下では単に映像ともいう。

例えば、特許文献２のような、伸長再生装置内のＣＰＵ負荷に応じて伸長再生方法を切り替える方法では、１つの映像ウィンドウが複数のディスプレイに跨って表示される場合において、１つの映像ウィンドウを示す圧縮映像データを複数の伸長再生装置にて伸長して再生する。このとき、各伸長再生装置における負荷状態の違いによって、各伸長再生装置にて選択される伸長再生方法が異なると、各ディスプレイの境目で表示状態が異なり、映像が適切に表示されないという問題がある。

また、伸長再生装置の処理負荷を減らす方法として、伸長再生装置において映像フレームを間引く方法があるが、各伸長再生装置で間引く映像フレーム（間引きの対象となる映像フレーム）が異なる場合がある。従って、複数のディスプレイに跨って映像が表示される場合において、たとえ各伸長再生装置にて同じ伸長再生方法が選択されたとしても、各ディスプレイで異なる映像フレームが表示されてしまい、映像が各ディスプレイの境目で連続しなくなる（各ディスプレイで表示される映像フレームが異なる）という問題がある。

本発明は、これらの問題を解決するためになされたものであり、複数のディスプレイに跨って表示される映像を適切に表示することが可能なマルチディスプレイシステムを提供することを目的とする。

上記の課題を解決するために、本発明によるマルチディスプレイシステムは、複数のディスプレイを配列して一の表示画面を形成するマルチディスプレイと、映像データを圧縮し圧縮映像データとして配信する圧縮配信装置と、各ディスプレイに対応して配置され、複数の伸長再生方法のいずれかによって圧縮映像データを伸長することが可能であり、伸長されたデータを映像として対応する各ディスプレイに出力する複数の伸長再生装置と、映像が複数のディスプレイに跨って表示される場合において、当該跨る各ディスプレイに対応する各伸長再生装置に対して同一の伸長再生方法を適用するように制御する制御装置とを備え、圧縮配信装置は、圧縮映像データの映像フレームごとに連続するフレーム番号を付与し、各伸長再生方法は、間引きの対象となる映像フレームをフレーム番号に基づいて一意に決定する方法であることを特徴とする。

本発明によると、マルチディスプレイシステムは、複数のディスプレイを配列して一の表示画面を形成するマルチディスプレイと、映像データを圧縮し圧縮映像データとして配信する圧縮配信装置と、各ディスプレイに対応して配置され、複数の伸長再生方法のいずれかによって圧縮映像データを伸長することが可能であり、伸長されたデータを映像として対応する各ディスプレイに出力する複数の伸長再生装置と、映像が複数のディスプレイに跨って表示される場合において、当該跨る各ディスプレイに対応する各伸長再生装置に対して同一の伸長再生方法を適用するように制御する制御装置とを備え、圧縮配信装置は、圧縮映像データの映像フレームごとに連続するフレーム番号を付与し、各伸長再生方法は、間引きの対象となる映像フレームをフレーム番号に基づいて一意に決定する方法であるため、複数のディスプレイに跨って表示される映像を適切に表示することが可能となる。

本発明の実施の形態１によるマルチディスプレイシステムの構成の一例を示すブロック図である。 本発明の実施の形態１による圧縮配信装置の構成の一例を示すブロック図である。 本発明の実施の形態１による伸長再生装置の構成の一例を示すブロック図である。 本発明の実施の形態１による伸長再生する映像ウィンドウ数と伸長再生装置の動作状態との関係の一例を示す図である。 本発明の実施の形態１によるマルチディスプレイに表示される映像ウィンドウのレイアウトの一例を示す図である。 本発明の実施の形態１による図５の表示状態を示す図である。 本発明の実施の形態１による映像フレームの間引きの一例を示す図である。 本発明の実施の形態２によるマルチディスプレイシステムの構成の一例を示すブロック図である。 本発明の実施の形態２による伸長再生装置の負荷状態の一例を示す図である。 本発明の実施の形態２による伸長再生装置の構成の一例を示すブロック図である。 本発明の実施の形態２による伸長再生装置の負荷状態と基本伸長再生方法との関係の一例を示す図である。 本発明の実施の形態２による基本伸長再生方法を決定する動作の一例を示すフローチャートである。 本発明の実施の形態２による各映像ウィンドウに対して決定された伸長再生方法の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイにおける映像ウィンドウの表示状態と、伸長再生装置の負荷状態との関係の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイにおける映像ウィンドウの表示状態と、伸長再生装置の負荷状態との関係の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイにおける映像ウィンドウの表示状態と、伸長再生装置の負荷状態との関係の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイにおける映像ウィンドウの表示状態と、伸長再生装置の負荷状態との関係の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイにおける映像ウィンドウの表示状態と、伸長再生装置の負荷状態との関係の一例を示す図である。 本発明の実施の形態２によるマルチディスプレイに表示される映像ウィンドウのレイアウトの一例を示す図である。

本発明の実施の形態について、図面に基づいて以下に説明する。

＜実施の形態１＞
＜構成＞
図１は、本発明の実施の形態１によるマルチディスプレイシステムの構成の一例を示すブロック図である。

図１に示すように、マルチディスプレイシステムは、映像信号源１〜４と、圧縮配信装置５〜８と、伸長再生装置９〜１２と、マルチディスプレイ１３と、制御装置１８とを備えている。

映像信号源１〜４は、例えば監視用カメラであり、圧縮配信装置５〜８の各々に対応して接続されている。映像信号源１〜４は、例えば映像信号ケーブルを介して、映像信号を圧縮配信装置５〜８に出力する。

圧縮配信装置５〜８は、映像信号源１〜４から取得した映像信号（映像データ）をデータ圧縮し、当該データ圧縮した映像データ（圧縮映像データ）の各映像フレームデータに対して連続するフレーム番号を付与し、当該フレーム番号を付与した圧縮映像データを所定のフォーマットでEthernet等のネットワークを介して伸長再生装置９〜１２に出力する。

伸長再生装置９〜１２は、圧縮配信装置５〜８から取得した圧縮映像データを伸長し、当該伸長して得られた映像を任意の大きさに拡大または縮小した後、マルチディスプレイ１３の表示画面上における任意の位置に映像ウィンドウ（例えば、図１に示す映像ウィンドウＡ、映像ウィンドウＢ、映像ウィンドウＣ、映像ウィンドウＤ）として表示する。

マルチディスプレイ１３は、ディスプレイ１４〜１７が１つの表示画面（ディスプレイ）を形成するように、格子状に配置されて構成されている。ディスプレイ１４〜１７は、例えばＤＶＩ（Digital Visual Interface）ケーブル等を介して、伸長再生装置９〜１２にて生成された映像（映像ウィンドウ）を取得して表示する。例えば、各ディスプレイ１４〜１７の解像度が１９２０×１２００画素であるとすれば、マルチディスプレイ１３全体のスクリーンサイズ（ディスプレイサイズ）は３８４０×２４００画素となる。各ディスプレイ１４〜１７は、各伸長再生装置９〜１２と対応して接続されており、例えば、伸長再生装置９にて生成された映像ウィンドウはディスプレイ１４に表示され、伸長再生装置１０にて生成された映像ウィンドウはディスプレイ１５に表示される。

図２は、圧縮配信装置５の構成の一例を示すブロック図である。各圧縮配信装置５〜８の構成は同様であるため、ここでは代表して圧縮配信装置５について説明する。

図２に示すように、圧縮配信装置５は、ＡＤ変換部１９と、メモリ２０と、メモリ制御部２１と、データ圧縮部２２と、送信部２３と、制御部２４とを備えている。また、システムバス２５は、共通バスであり、メモリ制御部２１、送信部２３、および制御部２４が接続されている。

ＡＤ変換部１９は、映像ケーブル等を介して映像信号源１から取得した映像信号をデジタル映像データに変換し、メモリ制御部２１を介してメモリ２０に一時的に格納する。

データ圧縮部２２は、メモリ制御部２１を介して、メモリ２０に一時的に格納されたデジタル映像データを読み出し、所定の方式でデータ圧縮を行う。

また、データ圧縮部２２は、データ圧縮された映像データの各映像フレームデータに対して、映像フレームごとに１だけ増加する番号（以下、フレーム番号という）を付与し、その後、システムバス２５および送信部２３を介して、映像フレームデータにフレーム番号が付与された圧縮映像データを伸長再生装置９〜１２に対して配信（送信）する。なお、フレーム番号を示すデータ（フレーム番号データ）は、各映像フレームデータに直接付与してもよく、映像フレームデータあるいはタイムスタンプ情報等をまとめたパケット内に映像フレームデータとの対応が取れるように付与してもよい。

制御部２４は、ＡＤ変換部１９、メモリ制御部２１、データ圧縮部２２、送信部２３の制御を行う。

図３は、伸長再生装置９の構成の一例を示すブロック図である。各伸長再生装置９〜１２の構成は同様であるため、ここでは代表して伸長再生装置９について説明する。

図３に示すように、伸長再生装置９は、受信部２６と、通信部２７と、制御部２８と、メモリ２９と、プログラムデータファイル３０と、伸長再生部３１と、映像表示部３２とを備えている。また、システムバス３４は、共通バスであり、受信部２６、制御部２８、メモリ２９、プログラムデータファイル３０、伸長再生部３１、および映像表示部３２が接続されている。

受信部２６は、Ethernet等のネットワークを介して圧縮配信装置５〜８から圧縮映像データを受信し、受信した圧縮映像データをメモリ２９に一時的に格納する。

プログラムデータファイル３０には、圧縮映像データの伸長再生を行うための制御プログラム等のプログラムが記憶されている。また、メモリ２９には、上記の圧縮データの他に、プログラムデータファイル３０の展開したプログラムが一時的に格納される。

伸長再生部３１は、メモリ２９に一時的に格納された圧縮映像データを、プログラムデータファイル３０に記憶されているプログラムに従って伸長再生し、システムバス３４を介して、伸長再生後の映像信号を映像表示部３２に出力する。なお、伸長再生部３１は、時分割処理等によって複数の圧縮映像データを同時に伸長することができるように構成されている。

伸長再生部３１にて行われる伸長再生方法には、映像から映像フレーム（映像フレームデータ）を間引く割合が異なる複数の方法がある。本実施の形態では、映像から映像フレームを間引く割合が０（すなわち、映像フレームを全く間引かない）方法を方法１（第１の伸長再生方法）とし、映像から映像フレームを間引く割合が１／３（３フレームごとに１フレームを間引く）方法を方法２（第２の伸長再生方法）とする。すなわち、各伸長再生方法は、間引きの対象となる映像フレームをフレーム番号に基づいて一意に決定する方法である。伸長再生方法（方法１，２）は、予め設定されており、プログラムデータファイル３０に記憶されている。

なお、以下では、伸長再生部３１が２つの伸長再生方法を選択することができる場合について説明するが、伸長再生方法は２つの方法に限るものではない。また、以下では、方法２は、映像から映像フレームを間引く割合を１／３としているが、方法１と比較して映像から映像フレームを間引く割合が大きければ、いかなる割合で間引いてもよい。

伸長再生部３１は、間引かれなかった映像フレームのみに対して伸長再生を行う。具体的には、伸長再生部３１は、制御部２８の制御によって、伸長再生する映像フレームに対して上記の方法１または方法２に従って伸長再生を行う。方法２は、方法１よりも間引く映像フレームの数が多いため、伸長再生する映像フレームの数が少なくなる。従って、方法２は、方法１よりも処理対象となるデータ量が少なくなるため、方法１よりも処理負荷が低減する。

映像表示部３２は、伸長再生部３１にて伸長再生された映像信号を取得し、制御部２８の制御によってマルチディスプレイ１３に表示する映像（映像ウィンドウ）のレイアウトを決定し、各ディスプレイ１４〜１７に表示出力３３として映像信号を出力する。

図１に戻り、制御装置１８は、例えばＲＳ−２３２ＣあるいはEthernet等の汎用通信インターフェースの他に、キーボード、マウス、ディスプレイモニター等のユーザーインターフェースを備えるＰＣ等で構成される。制御装置１８は、オペレータの操作（指示）通りにマルチディスプレイ１３に表示される映像ウィンドウがレイアウトされるように、伸長再生装置９〜１２に対して圧縮映像データの伸長再生、伸長再生された映像の表示サイズおよび表示位置の指示を行う。また、制御装置１８は、各ディスプレイ１４〜１７における映像ウィンドウの表示状態に応じて、映像ウィンドウごとに伸長再生方法を決定する。

＜動作＞
まず、圧縮配信装置５〜８の処理について説明する。なお、以下では、圧縮配信装置５の処理について、図２を用いて説明する。

ＡＤ変換部１９は、映像信号源１から取得した映像信号をデジタル映像データに変換（ＡＤ変換）する。変換後のデジタル映像データは、メモリ制御部２１を介して、メモリ２０に一時的に格納される。

データ圧縮部２２は、メモリ制御部２１を介して、メモリ２０に一時的に格納されたデジタル映像データを読み出し、予め定められた圧縮方式（例えば、ＪＰＥＧ圧縮方式）でデータ圧縮を行う。また、データ圧縮部２２は、データ圧縮された各映像フレームデータに対して、フレームごとに１だけ連続して増加するフレーム番号データを割り当てる。ここで、フレーム番号データとは、例えば０から６５５３５までの数であり、０から順にフレームごとに１ずつ増加し、６５５３５の次は０に戻るものとする。

フレーム番号データは、データ圧縮された映像データ（圧縮映像データ）の各映像フレームデータの所定の位置に付与され、送信部２３を介してネットワークに出力される。

次に、制御装置１８による映像ウィンドウごとに伸長再生方法を決定するための処理について説明する。

図１に示す伸長再生装置９〜１２における処理負荷は、伸長再生する圧縮映像データの数、すなわち表示する映像ウィンドウの数が多いほど大きくなる傾向がある。従って、上述の伸長再生方法の方法１によって伸長再生する映像ウィンドウの数が所定の閾値を超えると、処理負荷が伸長再生装置９〜１２の処理能力を超えてしまい不安定な動作になる。

図４は、伸長再生する映像ウィンドウ数と伸長再生装置９〜１２の動作状態との関係の一例を示す図であり、伸長再生方法の方法１，２の各々について示している。図４において、「○」は安定動作状態を示し、「×」は不安定動作状態を示している。

図４に示すように、伸長再生装置９〜１２は、方法１で伸長再生する場合において、映像ウィンドウ数が３以上で不安定動作状態となる。また、伸長再生装置９〜１２は、方法２で伸長再生する場合において、映像ウィンドウ数が６以上で不安定動作状態となる。従って、映像ウィンドウ数が３である場合を、方法１から方法２に伸長再生方法を切り替える閾値とする。

このように、伸長再生する映像ウィンドウ数が３以上である伸長再生装置では、方法２を基本伸長再生方法とする。ここで、基本伸長再生方法とは、後述する横断映像ウィンドウを考慮しない場合における、伸長再生装置９〜１２で適用される伸長再生方法のことである。また、伸長再生する映像ウィンドウ数が２以下である伸長再生装置では、方法１を基本伸長再生方法とする。

基本伸長再生方法を決定した後、横断映像ウィンドウを考慮して基本伸長再生方法の修正を行う。ここで、横断映像ウィンドウとは、ディスプレイ１４〜１７のうち複数のディスプレイに跨って（横断して）表示される映像ウィンドウのことをいう。一の伸長再生装置が伸長再生する映像ウィンドウが横断映像ウィンドウである場合において、当該横断映像ウィンドウと同一の横断映像ウィンドウを伸長再生するすべての伸長再生装置の中で最も処理負荷が軽い基本伸長再生方法を、当該横断映像ウィンドウに適用する伸長再生方法として採用する。

上記より、制御装置１８は、各ディスプレイ１４〜１７に表示される映像ウィンドウの数に基づいて、伸長再生方法を伸長再生装置９〜１２ごとに決定し、一の映像ウィンドウが一のディスプレイで表示される場合は、一のディスプレイに対応する伸長再生装置に対して伸長再生方法を適用するように制御し、一の映像が複数のディスプレイに跨って表示される場合は、各ディスプレイに対応する各伸長再生装置に対して、伸長再生装置ごとに決定した各伸長再生方法のうち最も間引く割合が多い伸長再生方法を適用するように制御する。

図５は、マルチディスプレイ１３に表示される映像ウィンドウのレイアウトの一例を示す図である。また、図６は、図５の表示状態を示す図である。

ディスプレイ１４には３つの映像ウィンドウＡ，Ｂ，Ｃが表示されるため、伸長再生装置９に適用される基本伸長再生方法は方法２となる。ディスプレイ１５には１つの映像ウィンドウＣが表示されるため、伸長再生装置１０に適用される基本伸長再生方法は方法１となる。ディスプレイ１６には２つの映像ウィンドウＢ，Ｄが表示されるため、伸長再生装置１１に適用される基本伸長再生方法は方法１となる。ディスプレイ１７には１つの映像ウィンドウＤが表示されるため、伸長再生装置１２に適用される基本伸長再生方法は方法１となる。

映像ウィンドウＡは、ディスプレイ１４にのみ表示される映像ウィンドウである。また、映像ウィンドウＡを伸長再生する伸長再生装置９に適用される基本伸長再生方法は方法２である。従って、伸長再生装置９における映像ウィンドウＡの伸長再生方法は、基本伸長再生方法から変更しない（すなわち、基本伸長再生方法と同じ方法２に決定する）。

映像ウィンドウＢは、ディスプレイ１４，１６に跨って表示される横断映像ウィンドウである。また、映像ウィンドウＢを伸長再生する伸長再生装置９，１１に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置９に適用される方法２である。従って、伸長再生装置１１における映像ウィンドウＢの伸長再生方法を方法２に決定する。

映像ウィンドウＣは、ディスプレイ１４，１５に跨って表示される横断映像ウィンドウである。また、映像ウィンドウＣを伸長再生する伸長再生装置９，１０に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置９に適用される方法２である。従って、伸長再生装置１０における映像ウィンドウＣの伸長再生方法を方法２に決定する。

映像ウィンドウＤは、ディスプレイ１６，１７に跨って表示される横断映像ウィンドウである。また、映像ウィンドウＤを伸長再生する伸長再生装置１１，１２に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置１１，１２に適用される方法１である。従って、伸長再生装置１１，１２における映像ウィンドウＤの伸長再生方法は、基本伸長再生方法から変更しない（すなわち、基本伸長再生方法と同じ方法１に決定する）。

制御装置１８は、上記の方法によって決定された伸長再生方法で各映像ウィンドウの伸長再生を行うように、各伸長再生装置９〜１２に対して指示する。特に、制御装置１８は、映像ウィンドウが複数のディスプレイに跨って表示される場合において、当該跨る各ディスプレイに対応する各伸長再生装置に対して同一の伸長再生方法を適用するように制御する。

次に、伸長再生装置９〜１２による間引く映像フレームを決定するための処理について説明する。

制御装置１８は、伸長再生装置９〜１２に対して、上記の処理に従って決定した伸長再生方法で伸長再生するように指示する。

伸長再生装置９〜１２では、制御部２８が伸長再生部３１に対して、制御装置１８から指示された伸長再生方法で伸長再生するように指示する（図３参照）。伸長再生部３１は、プログラムデータファイル３０に格納されている、制御部３１から指示された伸長再生方法のプログラムに従って、圧縮配信装置５から配信された圧縮映像データの伸長再生を開始する。すなわち、伸長再生装置９〜１２は、複数の伸長再生方法のいずれかによって圧縮映像データを伸長することが可能である。

伸長再生方法が方法１のプログラムは、映像フレームを間引かず、全ての映像フレームを伸長再生する。

伸長再生方法が方法２のプログラムは、各映像フレームに付与されたフレーム番号に基づいて、各映像フレームについて間引くのか、あるいは間引かないのかを決定する。ここでは、間引く映像フレームの割合が、３フレームのうち１フレームを間引くようにする。例えば、ある映像フレームのフレーム番号Ｆｎに対して、次の式（１）が「真」のときは当該映像フレームを間引く映像フレームであると決定し、「偽」のときは当該映像フレームを間引かない映像フレームであると決定する。
Ｆｎ％３＝０ ・・・（１）
式（１）において、Ｆｎはフレーム番号、％は剰余演算子を示し、「ｘ％ｙ」は整数ｘを整数ｙで割った余りを表す。

図７は、映像フレームの間引きの一例を示す図であり、フレーム番号に基づいて間引く映像フレームを決定した結果を示している。図７において、「○」は映像フレームを間引くと決定したことを示し、「×」は映像フレームを間引かないと決定したことを示している。

図７に示すように、３フレームのうち１フレームの割合で間引くように決定されている。伸長再生部３１は、間引かないと決定した映像フレーム（図７の「×」に対応する映像フレーム）のみを伸長再生し、間引くと決定した映像フレーム（図７の「○」に対応する映像フレーム）は伸長再生しない。

以上のことから、本実施の形態１によれば、各映像フレームに対する間引きの有無（間引くか間引かないか）を、各映像フレームに付与されたフレーム番号に基づいて一意に決定されるため、各映像フレームに対する間引きの有無の決定結果は各伸長再生装置９〜１２で同じとなる。従って、伸長再生装置９〜１２は、不安定動作状態となることなく、圧縮映像データの伸長再生を行うことができる。また、複数のディスプレイに跨って表示される映像ウィンドウは、当該各ディスプレイに対応する各伸長再生装置にて同一の伸長再生方法で伸長再生されるため、複数のディスプレイに渡って同じ画質で表示される。このとき、映像フレームを間引いて映像ウィンドウを表示する場合は、各ディスプレイに対応する各伸長再生装置において同一の映像フレームが間引かれるため、映像ウィンドウは違和感なく表示される。すなわち、複数のディスプレイに跨って表示される映像を適切に表示することが可能となる。

また、伸長再生装置における処理負荷に余裕がある場合は、例えば図５の映像ウィンドウＤを方法１で伸長再生させることができるため、安定動作が可能な範囲で高画質の映像ウィンドウを再生することが可能となる。

このように、伸長再生装置９〜１２は、圧縮配信装置５〜８から配信された圧縮映像データを最適な再生方法で再生することができるため、マルチディスプレイシステム全体として安定かつ高品位の映像再生を行うことが可能となる。

＜実施の形態２＞
＜構成＞
図８は、本発明の実施の形態２によるマルチディスプレイシステムの構成の一例を示すブロック図である。

本実施の形態２によるマルチディスプレイシステムでは、伸長再生装置３５〜３８の構成が実施の形態１と異なっている。その他の構成および動作は、実施の形態１（図１参照）と同様であるため、ここでは説明を省略する。

図９は、伸長再生装置３５〜３８の負荷状態（処理負荷の状態）の一例を示す図であり、映像ウィンドウを表示しない状態であるアイドル状態と、映像ウィンドウＡ〜Ｄの各々を表示した場合における伸長再生装置３５〜３８の負荷状態とを、伸長再生方法の方法１，２の各々について示している。

図９に示すように、各映像ウィンドウＡ〜Ｄにおいて、方法１の方が方法２よりも処理負荷が高い。また、同一の伸長再生方法であっても、各映像ウィンドウＡ〜Ｄによって、映像の解像度あるいはビットレート処理負荷の違いから処理負荷が異なる。

上記を踏まえて、本実施の形態２によるマルチディスプレイシステムでは、伸長再生装置における実際の処理負荷を検出し、当該検出した処理負荷に基づいて伸長再生方法を選択的に切り替えることを特徴とする。このような構成とすることによって、映像ウィンドウごとに映像の解像度あるいはビットレートが異なっていても、適切に伸長再生方法を決定することが可能となる。以下、詳細に説明する。

図１０は、伸長再生装置３５の構成の一例を示すブロック図である。各伸長再生装置３５〜３８の構成は同様であるため、ここでは代表して伸長再生装置３５について説明する。

図１０に示すように、伸長再生装置３５は、負荷検出部３９を備えることを特徴としている。その他の構成および動作は、実施の形態１（図３参照）と同様であるため、説明を省略する。

負荷検出部３９は、予め定められた条件に従って、制御部２８および伸長再生部３１の負荷状態を検出する。検出方法としては、例えば、システムバス３４上における使用頻度、メモリ２９に対する書き込みおよび読み出しの頻度、制御部２８あるいは伸長再生部３１が使用するＣＰＵ使用率等に基づいて負荷状態を検出する。負荷検出部３９にて検出された負荷状態は、負荷の割合（％）として制御部２８に出力される。

制御部２８は、負荷検出部３９から入力された負荷状態を、通信部２７を介して制御装置１８に送信する。

制御装置１８（図８参照）は、伸長再生装置３５〜３８の負荷状態と映像ウィンドウの表示状態とに基づいて、マルチディスプレイ１３に表示される各映像ウィンドウに適用する伸長再生方法を決定する。

＜動作＞
圧縮配信装置５〜８の処理については、実施の形態１と同様であるため、ここでは説明を省略する。

次に、制御装置１８による映像ウィンドウごとに伸長再生方法を決定するための処理について説明する。

まず、制御装置１８は、各伸長再生装置３５〜３８に対する基本伸長再生方法を決定する。具体的には、制御装置１８は、各伸長再生装置３５〜３８から負荷状態を取得し、図１１に示すような特性に従って基本伸長再生方法を決定する。

図１１は、伸長再生装置の負荷状態と基本伸長再生方法との関係の一例を示す図である。図１１において、横軸は伸長再生装置３５〜３８の負荷状態（％）を示し、縦軸は基本伸長再生方法を示している。

図１１に示すように、伸長再生装置３５〜３８の負荷状態が０〜６０％の場合は、基本伸長再生方法を方法１とする。負荷状態が６０％未満の状態から上昇して９０％を超えた場合は、基本伸長再生方法を方法１から方法２に切り替える。負荷状態が９０％を超えた状態から下降して６０％未満になった場合は、基本伸長再生方法を方法２から方法１に切り替える。

図１２は、上記で説明した基本伸長再生方法を決定する動作の一例を示すフローチャートである。

ステップＳ１において、制御装置１８は、伸長再生装置３５〜３８から、伸長再生装置３５〜３８の負荷検出部（例えば、伸長再生装置３５の負荷検出部３９）にて検出された負荷状態を取得すると、取得した負荷状態が９０％よりも高いか否かの判断を行う。負荷状態が９０％よりも高い場合は、ステップＳ４に移行し、基本伸長再生方法を方法２に決定する。一方、負荷状態が９０％以下の場合は、ステップＳ２に移行する。

ステップＳ２において、制御装置１８は、負荷状態が６０％未満であるか否かの判断を行う。負荷状態が６０％未満である場合は、ステップＳ５に移行し、基本伸長再生方法を方法１に決定する。一方、負荷状態が６０％以上である場合は、ステップＳ３に移行する。

ステップＳ３において、制御装置１８は、現在の基本伸長再生方法が方法１であるか否かの判断を行う。方法１である場合は、ステップＳ６に移行し、基本伸長再生方法を方法１に決定する。一方、方法１でない場合（ここでは、方法２である場合）は、ステップＳ７に移行し、基本伸長再生方法を方法２に決定する。

上記の動作に従って各伸長再生装置３５〜３８に対する基本伸長再生方法を決定した後、マルチディスプレイ１３に表示される各映像ウィンドウに適用する伸長再生方法を決定する。

具体的には、複数のディスプレイに跨らずに１つのディスプレイにのみ表示される映像ウィンドウに対しては、当該映像ウィンドウを伸長再生する伸長再生装置に対して決定された基本伸長再生方法を伸長再生方法として適用する。また、複数のディスプレイに跨って表示される映像ウィンドウ（横断映像ウィンドウ）に対しては、当該横断映像ウィンドウを伸長再生する全ての伸長再生装置のうち、基本伸長再生方法として方法２が決定されているものが少なくとも１つある場合は、伸長再生方法として方法２を適用する。すなわち、横断映像ウィンドウを伸長再生する全ての伸長再生装置は、自身に対して決定された基本伸長再生方法に関わらず、方法２で横断映像ウィンドウを伸長再生する。

上記より、制御装置１８は、各伸長再生装置３５〜３８における処理の負荷状態に基づいて、伸長再生方法を伸長再生装置３５〜３８ごとに決定し、一の映像が一のディスプレイで表示される場合は、一のディスプレイに対応する伸長再生装置に対して伸長再生方法を適用するように制御し、一の映像が複数のディスプレイに跨って表示される場合は、各ディスプレイに対応する各伸長再生装置に対して、伸長再生装置ごとに決定した各伸長再生方法のうち最も負荷状態が小さい伸長再生方法を適用するように制御する。

図１３は、各映像ウィンドウに対して決定された伸長再生方法の一例を示す図である。

図１３に示すように、各伸長再生装置３５〜３８の処理負荷に基づいて、ディスプレイ１４に対応する伸長再生装置３５の基本伸長再生方法として方法２が選択され、ディスプレイ１５〜１７に対応する伸長再生装置３６〜３８の基本伸長再生方法として方法１が選択される。

そして、映像ウィンドウＡに適用する伸長再生方法は、伸長再生装置３５の基本伸長再生方法と同じ方法２となる。映像ウィンドウＢに適用する伸長再生方法は、伸長再生装置３５の基本伸長再生方法に合わせて方法２となる。映像ウィンドウＣに適用する伸長再生方法は、伸長再生装置３５の基本伸長再生方法に合わせて方法２となる。映像ウィンドウＤに適用する伸長再生方法は、伸長再生装置３７，３８の基本伸長再生方法と同じ方法１となる。

次に、マルチディスプレイ１３に映像ウィンドウが全く表示されていない状態から、図５に示すレイアウトで映像ウィンドウＡ，Ｂ，Ｃ，Ｄを表示する場合における動作について、図１４〜１６を用いて説明する。

図１４〜１６は、マルチディスプレイ１３における映像ウィンドウの表示状態と、伸長再生装置３５〜３８の負荷状態との関係の一例を示す図である。

図１４は、マルチディスプレイ１３に映像ウィンドウを全く表示していない状態を示している。図１４に示すように、伸長再生装置３５〜３８の負荷状態は全て２２％である。基本伸長再生方法を方法１から方法２に切り替える負荷状態の閾値は、図１１に示すように９０％であるため、伸長再生装置３５〜３８の基本伸長再生方法には方法１が選択される。

図１５は、図５に示すレイアウトで映像ウィンドウＡ，Ｂ，Ｃ，Ｄを表示した直後の状態を示している。図１５に示すように、伸長再生装置３５〜３８の基本伸長再生方法は全て方法１であるため、映像ウィンドウＡ，Ｂ，Ｃ，Ｄに適用する伸長再生方法は全て方法１となる。

具体的には、制御装置１８は、伸長再生装置３５に対して映像ウィンドウＡ，Ｂ，Ｃを伸長再生するよう指示し、伸長再生装置３６に対して映像ウィンドウＣを伸長再生するよう指示し、伸長再生装置３７に対して映像ウィンドウＢ，Ｄを伸長再生するよう指示し、伸長再生装置３８に対して映像ウィンドウＤを伸長再生するよう指示する。

伸長再生装置３５〜３８は、制御装置１８から指示を受けると、図５に示すレイアウトとなるように各映像ウィンドウに対して方法１で伸長再生を開始する。このとき、伸長再生装置３５〜３８は、映像フレームを間引かずに全ての映像フレームを伸長再生する。この結果、伸長再生装置３５〜３８の負荷状態は高くなり、図１５に示すような値となる。

図１６は、伸長再生装置３５〜３８の負荷状態に基づいて各映像ウィンドウＡ，Ｂ，Ｃ，Ｄに適用する伸長再生方法を決定した後の状態を示している。

制御装置１８は、伸長再生装置３５〜３８から負荷状態を取得し、取得した負荷状態に基づいて、各映像ウィンドウＡ，Ｂ，Ｃ，Ｄに適用する伸長再生方法を再び決定する。このとき、伸長再生装置３５〜３８から取得する負荷状態の値は、図１５に示す値となる。

制御装置１８は、伸長再生装置３５から取得した負荷状態の値が１００％であり、方法１から方法２に切り替える閾値である９０％を超えているため、伸長再生装置３５の基本伸長再生方法として方法２を選択する。また、制御装置１８は、伸長再生装置３６〜３８から取得した負荷状態の値はいずれも９０％を超えていないため、伸長再生装置３６〜３８の基本伸長再生方法を方法１のままとする。

この結果、映像ウィンドウＡは伸長再生装置３５に対応するディスプレイ１４に表示される映像ウィンドウであり、映像ウィンドウＢ，Ｃはディスプレイ１４に跨って表示される横断映像ウィンドウであるため、映像ウィンドウＡ，Ｂ，Ｃに適用する伸長再生方法を方法２に決定する。また、映像ウィンドウＤはディスプレイ１４に跨って表示されないため、伸長再生方法を変更せず方法１に決定する。すなわち、制御装置１８は、伸長再生装置３５に対して映像ウィンドウＡ，Ｂ，Ｃを方法２で伸長再生するよう指示し、伸長再生装置３６に対して映像ウィンドウＣを方法２で伸長再生するよう指示し、伸長再生装置３７に対して映像ウィンドウＢを方法２で伸長再生し、かつ映像ウィンドウＤを方法１で伸長再生するよう指示し、伸長再生装置３８に対して映像ウィンドウＤを方法１で伸長再生するよう指示する。

伸長再生装置３５〜３８は、制御装置１８からの指示を受けて、各映像ウィンドウＡ，Ｂ，Ｃ，Ｄの伸長再生を開始する。このとき、伸長再生装置３５〜３８は、実施の形態１と同様の方法で間引く映像フレームを決定し、間引かない映像フレームのみを伸長再生する。この結果、伸長再生装置３５〜３７の負荷状態の値は低下し、図１６に示すような値となる。

次に、図５に示すレイアウトで映像ウィンドウＡ，Ｂ，Ｃ，Ｄを表示している状態から、図１９に示すレイアウトで映像ウィンドウＢ，Ｃ，Ｄを表示する（映像ウィンドウＡを非表示にする）場合における動作について、図１７，１８を用いて説明する。

図１７，１８は、マルチディスプレイ１３における映像ウィンドウの表示状態と、伸長再生装置３５〜３８の負荷状態との関係の一例を示す図である。

図１７は、映像ウィンドウＡを非表示にして、図１９に示すレイアウトで映像ウィンドウＢ，Ｃ，Ｄを表示した直後の状態を示している。

具体的には、制御装置１８は、伸長再生装置３５に対して映像ウィンドウＡを非表示にするよう指示する。当該指示を受けた伸長再生装置３５は、映像ウィンドウＡを非表示にするために、映像ウィンドウＡの伸長再生の動作を停止する。この結果、伸長再生装置３５の負荷状態の値は低下し、図１７に示すような値となる。

図１８は、伸長再生装置３５〜３８の負荷状態に基づいて各映像ウィンドウＢ，Ｃ，Ｄに適用する伸長再生方法を決定した後の状態を示している。

具体的には、制御装置１８は、伸長再生装置３５〜３８から負荷状態を取得し、取得した負荷状態に基づいて、各映像ウィンドウＢ，Ｃ，Ｄに適用する伸長再生方法を再び決定する。このとき、伸長再生装置３５〜３８から取得する負荷状態は、図１７に示す各負荷状態である。

制御装置１８は、伸長再生装置３５から取得した負荷状態の値が４８％であり、方法２から方法１に切り替える閾値である６０％未満であるため、伸長再生装置３５の基本伸長再生方法として方法１を選択する。また、制御装置１８は、伸長再生装置３６〜３８から取得した負荷状態の値はいずれも変化していないため、伸長再生装置３６〜３８の基本伸長再生方法を方法１のままとする。

この結果、制御装置１８は、伸長再生装置３５に対して映像ウィンドウＢ，Ｃを方法１で伸長再生するよう指示し、伸長再生装置３６に対して映像ウィンドウＣを方法１で伸長再生するよう指示し、伸長再生装置３７に対して映像ウィンドウＢ，Ｄを方法１で伸長再生するよう指示し、伸長再生装置３８に対して映像ウィンドウＤを方法１で伸長再生するよう指示する。

伸長再生装置３５〜３８は、制御装置１８からの指示を受けて、方法１で映像ウィンドウＢ，Ｃの伸長再生を開始する。この結果、伸長再生装置３５〜３７の負荷状態の値は上昇し、図１８に示すような値となる。

以上のことから、本実施の形態２によれば、伸長再生装置３５〜３８が安定して圧縮映像データの伸長再生を行うことができる。また、複数のディスプレイに跨って表示される映像ウィンドウに適用する伸長再生方法が各ディスプレイで同一となり、かつ映像ウィンドウに表示される映像が映像フレームを間引いて表示される場合は、各ディスプレイに対応する各伸長再生装置において同一の映像フレームが間引かれるため、伸長再生される映像がディスプレイごとに異なることがない。また、伸長再生装置３５〜３８にて適用される伸長再生方法を調整することによって処理負荷を調整するため、最も処理能力が低い伸長再生装置に合わせて映像配信機器の出力フォーマットを変更する必要がない。従って、処理能力に余裕がある伸長再生装置は、高画質の映像を伸長再生することができる。また、映像ウィンドウごとに解像度あるいはビットレート等が異なり、各伸長再生装置３５〜３８の処理負荷が異なる場合であっても、制御装置１８は伸長再生装置３５〜３８の負荷状態に応じて適切な伸長再生方法を決定することができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１〜４ 映像信号源、５〜８ 圧縮配信装置、９〜１２ 伸長再生装置、１３ マルチディスプレイ、１４〜１７ ディスプレイ、１８ 制御装置、１９ ＡＤ変換部、２０ メモリ、２１ メモリ制御部、２２ データ圧縮部、２３ 送信部、２４ 制御部、２５ システムバス、２６ 受信部、２７ 通信部、２８ 制御部、２９ メモリ、３０ プログラムデータファイル、３１ 伸長再生部、３２ 映像表示部、３３ 表示出力、３４ システムバス、３５〜３８ 伸長再生装置、３９ 負荷検出部。

Claims (5)

1. 複数のディスプレイを配列して一の表示画面を形成するマルチディスプレイと、
   映像データを圧縮し圧縮映像データとして配信する圧縮配信装置と、
   各前記ディスプレイに対応して配置され、複数の伸長再生方法のいずれかによって前記圧縮映像データを伸長することが可能であり、前記伸長されたデータを映像として対応する各前記ディスプレイに出力する複数の伸長再生装置と、
   前記映像が複数の前記ディスプレイに跨って表示される場合において、当該跨る各前記ディスプレイに対応する各前記伸長再生装置に対して同一の前記伸長再生方法を適用するように制御する制御装置と、
   を備え、
   前記圧縮配信装置は、前記圧縮映像データの映像フレームごとに連続するフレーム番号を付与し、
   各前記伸長再生方法は、間引きの対象となる前記映像フレームを前記フレーム番号に基づいて一意に決定する方法であることを特徴とする、マルチディスプレイシステム。
2. 前記伸長再生方法は、前記映像フレームを間引かない第１の伸長再生方法と、前記映像フレームを予め定められた割合で間引く第２の伸長再生方法とを含むことを特徴とする、請求項１に記載のマルチディスプレイシステム。
3. 各前記伸長再生装置は、前記伸長再生方法に基づいて、間引かない前記映像フレームに対してのみ伸長することを特徴とする、請求項１または２に記載のマルチディスプレイシステム。
4. 前記圧縮配信装置は、前記映像データの数に対応して複数存在し、
   前記制御装置は、各前記ディスプレイに表示される前記映像の数に基づいて、前記伸長再生方法を前記伸長再生装置ごとに決定し、一の前記映像が一の前記ディスプレイで表示される場合は、前記一のディスプレイに対応する前記伸長再生装置に対して前記伸長再生方法を適用するように制御し、一の前記映像が複数の前記ディスプレイに跨って表示される場合は、各前記ディスプレイに対応する各前記伸長再生装置に対して、前記伸長再生装置ごとに決定した各前記伸長再生方法のうち最も間引く割合が多い前記伸長再生方法を適用するように制御することを特徴とする、請求項１から３のいずれか１項に記載のマルチディスプレイシステム。
5. 前記圧縮配信装置は、前記映像データの数に対応して複数存在し、
   前記制御装置は、各前記伸長再生装置における処理の負荷状態に基づいて、前記伸長再生方法を前記伸長再生装置ごとに決定し、一の前記映像が一の前記ディスプレイで表示される場合は、前記一のディスプレイに対応する前記伸長再生装置に対して前記伸長再生方法を適用するように制御し、一の前記映像が複数の前記ディスプレイに跨って表示される場合は、各前記ディスプレイに対応する各前記伸長再生装置に対して、前記伸長再生装置ごとに決定した各前記伸長再生方法のうち最も前記負荷状態が小さい前記伸長再生方法を適用するように制御することを特徴とする、請求項１から３のいずれか１項に記載のマルチディスプレイシステム。

Images