本発明の実施の形態について、図面に基づいて以下に説明する。
<実施の形態1>
<構成>
図1は、本発明の実施の形態1によるマルチディスプレイシステムの構成の一例を示すブロック図である。
図1に示すように、マルチディスプレイシステムは、映像信号源1〜4と、圧縮配信装置5〜8と、伸長再生装置9〜12と、マルチディスプレイ13と、制御装置18とを備えている。
映像信号源1〜4は、例えば監視用カメラであり、圧縮配信装置5〜8の各々に対応して接続されている。映像信号源1〜4は、例えば映像信号ケーブルを介して、映像信号を圧縮配信装置5〜8に出力する。
圧縮配信装置5〜8は、映像信号源1〜4から取得した映像信号(映像データ)をデータ圧縮し、当該データ圧縮した映像データ(圧縮映像データ)の各映像フレームデータに対して連続するフレーム番号を付与し、当該フレーム番号を付与した圧縮映像データを所定のフォーマットでEthernet等のネットワークを介して伸長再生装置9〜12に出力する。
伸長再生装置9〜12は、圧縮配信装置5〜8から取得した圧縮映像データを伸長し、当該伸長して得られた映像を任意の大きさに拡大または縮小した後、マルチディスプレイ13の表示画面上における任意の位置に映像ウィンドウ(例えば、図1に示す映像ウィンドウA、映像ウィンドウB、映像ウィンドウC、映像ウィンドウD)として表示する。
マルチディスプレイ13は、ディスプレイ14〜17が1つの表示画面(ディスプレイ)を形成するように、格子状に配置されて構成されている。ディスプレイ14〜17は、例えばDVI(Digital Visual Interface)ケーブル等を介して、伸長再生装置9〜12にて生成された映像(映像ウィンドウ)を取得して表示する。例えば、各ディスプレイ14〜17の解像度が1920×1200画素であるとすれば、マルチディスプレイ13全体のスクリーンサイズ(ディスプレイサイズ)は3840×2400画素となる。各ディスプレイ14〜17は、各伸長再生装置9〜12と対応して接続されており、例えば、伸長再生装置9にて生成された映像ウィンドウはディスプレイ14に表示され、伸長再生装置10にて生成された映像ウィンドウはディスプレイ15に表示される。
図2は、圧縮配信装置5の構成の一例を示すブロック図である。各圧縮配信装置5〜8の構成は同様であるため、ここでは代表して圧縮配信装置5について説明する。
図2に示すように、圧縮配信装置5は、AD変換部19と、メモリ20と、メモリ制御部21と、データ圧縮部22と、送信部23と、制御部24とを備えている。また、システムバス25は、共通バスであり、メモリ制御部21、送信部23、および制御部24が接続されている。
AD変換部19は、映像ケーブル等を介して映像信号源1から取得した映像信号をデジタル映像データに変換し、メモリ制御部21を介してメモリ20に一時的に格納する。
データ圧縮部22は、メモリ制御部21を介して、メモリ20に一時的に格納されたデジタル映像データを読み出し、所定の方式でデータ圧縮を行う。
また、データ圧縮部22は、データ圧縮された映像データの各映像フレームデータに対して、映像フレームごとに1だけ増加する番号(以下、フレーム番号という)を付与し、その後、システムバス25および送信部23を介して、映像フレームデータにフレーム番号が付与された圧縮映像データを伸長再生装置9〜12に対して配信(送信)する。なお、フレーム番号を示すデータ(フレーム番号データ)は、各映像フレームデータに直接付与してもよく、映像フレームデータあるいはタイムスタンプ情報等をまとめたパケット内に映像フレームデータとの対応が取れるように付与してもよい。
制御部24は、AD変換部19、メモリ制御部21、データ圧縮部22、送信部23の制御を行う。
図3は、伸長再生装置9の構成の一例を示すブロック図である。各伸長再生装置9〜12の構成は同様であるため、ここでは代表して伸長再生装置9について説明する。
図3に示すように、伸長再生装置9は、受信部26と、通信部27と、制御部28と、メモリ29と、プログラムデータファイル30と、伸長再生部31と、映像表示部32とを備えている。また、システムバス34は、共通バスであり、受信部26、制御部28、メモリ29、プログラムデータファイル30、伸長再生部31、および映像表示部32が接続されている。
受信部26は、Ethernet等のネットワークを介して圧縮配信装置5〜8から圧縮映像データを受信し、受信した圧縮映像データをメモリ29に一時的に格納する。
プログラムデータファイル30には、圧縮映像データの伸長再生を行うための制御プログラム等のプログラムが記憶されている。また、メモリ29には、上記の圧縮データの他に、プログラムデータファイル30の展開したプログラムが一時的に格納される。
伸長再生部31は、メモリ29に一時的に格納された圧縮映像データを、プログラムデータファイル30に記憶されているプログラムに従って伸長再生し、システムバス34を介して、伸長再生後の映像信号を映像表示部32に出力する。なお、伸長再生部31は、時分割処理等によって複数の圧縮映像データを同時に伸長することができるように構成されている。
伸長再生部31にて行われる伸長再生方法には、映像から映像フレーム(映像フレームデータ)を間引く割合が異なる複数の方法がある。本実施の形態では、映像から映像フレームを間引く割合が0(すなわち、映像フレームを全く間引かない)方法を方法1(第1の伸長再生方法)とし、映像から映像フレームを間引く割合が1/3(3フレームごとに1フレームを間引く)方法を方法2(第2の伸長再生方法)とする。すなわち、各伸長再生方法は、間引きの対象となる映像フレームをフレーム番号に基づいて一意に決定する方法である。伸長再生方法(方法1,2)は、予め設定されており、プログラムデータファイル30に記憶されている。
なお、以下では、伸長再生部31が2つの伸長再生方法を選択することができる場合について説明するが、伸長再生方法は2つの方法に限るものではない。また、以下では、方法2は、映像から映像フレームを間引く割合を1/3としているが、方法1と比較して映像から映像フレームを間引く割合が大きければ、いかなる割合で間引いてもよい。
伸長再生部31は、間引かれなかった映像フレームのみに対して伸長再生を行う。具体的には、伸長再生部31は、制御部28の制御によって、伸長再生する映像フレームに対して上記の方法1または方法2に従って伸長再生を行う。方法2は、方法1よりも間引く映像フレームの数が多いため、伸長再生する映像フレームの数が少なくなる。従って、方法2は、方法1よりも処理対象となるデータ量が少なくなるため、方法1よりも処理負荷が低減する。
映像表示部32は、伸長再生部31にて伸長再生された映像信号を取得し、制御部28の制御によってマルチディスプレイ13に表示する映像(映像ウィンドウ)のレイアウトを決定し、各ディスプレイ14〜17に表示出力33として映像信号を出力する。
図1に戻り、制御装置18は、例えばRS−232CあるいはEthernet等の汎用通信インターフェースの他に、キーボード、マウス、ディスプレイモニター等のユーザーインターフェースを備えるPC等で構成される。制御装置18は、オペレータの操作(指示)通りにマルチディスプレイ13に表示される映像ウィンドウがレイアウトされるように、伸長再生装置9〜12に対して圧縮映像データの伸長再生、伸長再生された映像の表示サイズおよび表示位置の指示を行う。また、制御装置18は、各ディスプレイ14〜17における映像ウィンドウの表示状態に応じて、映像ウィンドウごとに伸長再生方法を決定する。
<動作>
まず、圧縮配信装置5〜8の処理について説明する。なお、以下では、圧縮配信装置5の処理について、図2を用いて説明する。
AD変換部19は、映像信号源1から取得した映像信号をデジタル映像データに変換(AD変換)する。変換後のデジタル映像データは、メモリ制御部21を介して、メモリ20に一時的に格納される。
データ圧縮部22は、メモリ制御部21を介して、メモリ20に一時的に格納されたデジタル映像データを読み出し、予め定められた圧縮方式(例えば、JPEG圧縮方式)でデータ圧縮を行う。また、データ圧縮部22は、データ圧縮された各映像フレームデータに対して、フレームごとに1だけ連続して増加するフレーム番号データを割り当てる。ここで、フレーム番号データとは、例えば0から65535までの数であり、0から順にフレームごとに1ずつ増加し、65535の次は0に戻るものとする。
フレーム番号データは、データ圧縮された映像データ(圧縮映像データ)の各映像フレームデータの所定の位置に付与され、送信部23を介してネットワークに出力される。
次に、制御装置18による映像ウィンドウごとに伸長再生方法を決定するための処理について説明する。
図1に示す伸長再生装置9〜12における処理負荷は、伸長再生する圧縮映像データの数、すなわち表示する映像ウィンドウの数が多いほど大きくなる傾向がある。従って、上述の伸長再生方法の方法1によって伸長再生する映像ウィンドウの数が所定の閾値を超えると、処理負荷が伸長再生装置9〜12の処理能力を超えてしまい不安定な動作になる。
図4は、伸長再生する映像ウィンドウ数と伸長再生装置9〜12の動作状態との関係の一例を示す図であり、伸長再生方法の方法1,2の各々について示している。図4において、「○」は安定動作状態を示し、「×」は不安定動作状態を示している。
図4に示すように、伸長再生装置9〜12は、方法1で伸長再生する場合において、映像ウィンドウ数が3以上で不安定動作状態となる。また、伸長再生装置9〜12は、方法2で伸長再生する場合において、映像ウィンドウ数が6以上で不安定動作状態となる。従って、映像ウィンドウ数が3である場合を、方法1から方法2に伸長再生方法を切り替える閾値とする。
このように、伸長再生する映像ウィンドウ数が3以上である伸長再生装置では、方法2を基本伸長再生方法とする。ここで、基本伸長再生方法とは、後述する横断映像ウィンドウを考慮しない場合における、伸長再生装置9〜12で適用される伸長再生方法のことである。また、伸長再生する映像ウィンドウ数が2以下である伸長再生装置では、方法1を基本伸長再生方法とする。
基本伸長再生方法を決定した後、横断映像ウィンドウを考慮して基本伸長再生方法の修正を行う。ここで、横断映像ウィンドウとは、ディスプレイ14〜17のうち複数のディスプレイに跨って(横断して)表示される映像ウィンドウのことをいう。一の伸長再生装置が伸長再生する映像ウィンドウが横断映像ウィンドウである場合において、当該横断映像ウィンドウと同一の横断映像ウィンドウを伸長再生するすべての伸長再生装置の中で最も処理負荷が軽い基本伸長再生方法を、当該横断映像ウィンドウに適用する伸長再生方法として採用する。
上記より、制御装置18は、各ディスプレイ14〜17に表示される映像ウィンドウの数に基づいて、伸長再生方法を伸長再生装置9〜12ごとに決定し、一の映像ウィンドウが一のディスプレイで表示される場合は、一のディスプレイに対応する伸長再生装置に対して伸長再生方法を適用するように制御し、一の映像が複数のディスプレイに跨って表示される場合は、各ディスプレイに対応する各伸長再生装置に対して、伸長再生装置ごとに決定した各伸長再生方法のうち最も間引く割合が多い伸長再生方法を適用するように制御する。
図5は、マルチディスプレイ13に表示される映像ウィンドウのレイアウトの一例を示す図である。また、図6は、図5の表示状態を示す図である。
ディスプレイ14には3つの映像ウィンドウA,B,Cが表示されるため、伸長再生装置9に適用される基本伸長再生方法は方法2となる。ディスプレイ15には1つの映像ウィンドウCが表示されるため、伸長再生装置10に適用される基本伸長再生方法は方法1となる。ディスプレイ16には2つの映像ウィンドウB,Dが表示されるため、伸長再生装置11に適用される基本伸長再生方法は方法1となる。ディスプレイ17には1つの映像ウィンドウDが表示されるため、伸長再生装置12に適用される基本伸長再生方法は方法1となる。
映像ウィンドウAは、ディスプレイ14にのみ表示される映像ウィンドウである。また、映像ウィンドウAを伸長再生する伸長再生装置9に適用される基本伸長再生方法は方法2である。従って、伸長再生装置9における映像ウィンドウAの伸長再生方法は、基本伸長再生方法から変更しない(すなわち、基本伸長再生方法と同じ方法2に決定する)。
映像ウィンドウBは、ディスプレイ14,16に跨って表示される横断映像ウィンドウである。また、映像ウィンドウBを伸長再生する伸長再生装置9,11に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置9に適用される方法2である。従って、伸長再生装置11における映像ウィンドウBの伸長再生方法を方法2に決定する。
映像ウィンドウCは、ディスプレイ14,15に跨って表示される横断映像ウィンドウである。また、映像ウィンドウCを伸長再生する伸長再生装置9,10に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置9に適用される方法2である。従って、伸長再生装置10における映像ウィンドウCの伸長再生方法を方法2に決定する。
映像ウィンドウDは、ディスプレイ16,17に跨って表示される横断映像ウィンドウである。また、映像ウィンドウDを伸長再生する伸長再生装置11,12に適用される基本伸長再生方法のうち最も処理負荷が軽い方法は、伸長再生装置11,12に適用される方法1である。従って、伸長再生装置11,12における映像ウィンドウDの伸長再生方法は、基本伸長再生方法から変更しない(すなわち、基本伸長再生方法と同じ方法1に決定する)。
制御装置18は、上記の方法によって決定された伸長再生方法で各映像ウィンドウの伸長再生を行うように、各伸長再生装置9〜12に対して指示する。特に、制御装置18は、映像ウィンドウが複数のディスプレイに跨って表示される場合において、当該跨る各ディスプレイに対応する各伸長再生装置に対して同一の伸長再生方法を適用するように制御する。
次に、伸長再生装置9〜12による間引く映像フレームを決定するための処理について説明する。
制御装置18は、伸長再生装置9〜12に対して、上記の処理に従って決定した伸長再生方法で伸長再生するように指示する。
伸長再生装置9〜12では、制御部28が伸長再生部31に対して、制御装置18から指示された伸長再生方法で伸長再生するように指示する(図3参照)。伸長再生部31は、プログラムデータファイル30に格納されている、制御部31から指示された伸長再生方法のプログラムに従って、圧縮配信装置5から配信された圧縮映像データの伸長再生を開始する。すなわち、伸長再生装置9〜12は、複数の伸長再生方法のいずれかによって圧縮映像データを伸長することが可能である。
伸長再生方法が方法1のプログラムは、映像フレームを間引かず、全ての映像フレームを伸長再生する。
伸長再生方法が方法2のプログラムは、各映像フレームに付与されたフレーム番号に基づいて、各映像フレームについて間引くのか、あるいは間引かないのかを決定する。ここでは、間引く映像フレームの割合が、3フレームのうち1フレームを間引くようにする。例えば、ある映像フレームのフレーム番号Fnに対して、次の式(1)が「真」のときは当該映像フレームを間引く映像フレームであると決定し、「偽」のときは当該映像フレームを間引かない映像フレームであると決定する。
Fn%3=0 ・・・(1)
式(1)において、Fnはフレーム番号、%は剰余演算子を示し、「x%y」は整数xを整数yで割った余りを表す。
図7は、映像フレームの間引きの一例を示す図であり、フレーム番号に基づいて間引く映像フレームを決定した結果を示している。図7において、「○」は映像フレームを間引くと決定したことを示し、「×」は映像フレームを間引かないと決定したことを示している。
図7に示すように、3フレームのうち1フレームの割合で間引くように決定されている。伸長再生部31は、間引かないと決定した映像フレーム(図7の「×」に対応する映像フレーム)のみを伸長再生し、間引くと決定した映像フレーム(図7の「○」に対応する映像フレーム)は伸長再生しない。
以上のことから、本実施の形態1によれば、各映像フレームに対する間引きの有無(間引くか間引かないか)を、各映像フレームに付与されたフレーム番号に基づいて一意に決定されるため、各映像フレームに対する間引きの有無の決定結果は各伸長再生装置9〜12で同じとなる。従って、伸長再生装置9〜12は、不安定動作状態となることなく、圧縮映像データの伸長再生を行うことができる。また、複数のディスプレイに跨って表示される映像ウィンドウは、当該各ディスプレイに対応する各伸長再生装置にて同一の伸長再生方法で伸長再生されるため、複数のディスプレイに渡って同じ画質で表示される。このとき、映像フレームを間引いて映像ウィンドウを表示する場合は、各ディスプレイに対応する各伸長再生装置において同一の映像フレームが間引かれるため、映像ウィンドウは違和感なく表示される。すなわち、複数のディスプレイに跨って表示される映像を適切に表示することが可能となる。
また、伸長再生装置における処理負荷に余裕がある場合は、例えば図5の映像ウィンドウDを方法1で伸長再生させることができるため、安定動作が可能な範囲で高画質の映像ウィンドウを再生することが可能となる。
このように、伸長再生装置9〜12は、圧縮配信装置5〜8から配信された圧縮映像データを最適な再生方法で再生することができるため、マルチディスプレイシステム全体として安定かつ高品位の映像再生を行うことが可能となる。
<実施の形態2>
<構成>
図8は、本発明の実施の形態2によるマルチディスプレイシステムの構成の一例を示すブロック図である。
本実施の形態2によるマルチディスプレイシステムでは、伸長再生装置35〜38の構成が実施の形態1と異なっている。その他の構成および動作は、実施の形態1(図1参照)と同様であるため、ここでは説明を省略する。
図9は、伸長再生装置35〜38の負荷状態(処理負荷の状態)の一例を示す図であり、映像ウィンドウを表示しない状態であるアイドル状態と、映像ウィンドウA〜Dの各々を表示した場合における伸長再生装置35〜38の負荷状態とを、伸長再生方法の方法1,2の各々について示している。
図9に示すように、各映像ウィンドウA〜Dにおいて、方法1の方が方法2よりも処理負荷が高い。また、同一の伸長再生方法であっても、各映像ウィンドウA〜Dによって、映像の解像度あるいはビットレート処理負荷の違いから処理負荷が異なる。
上記を踏まえて、本実施の形態2によるマルチディスプレイシステムでは、伸長再生装置における実際の処理負荷を検出し、当該検出した処理負荷に基づいて伸長再生方法を選択的に切り替えることを特徴とする。このような構成とすることによって、映像ウィンドウごとに映像の解像度あるいはビットレートが異なっていても、適切に伸長再生方法を決定することが可能となる。以下、詳細に説明する。
図10は、伸長再生装置35の構成の一例を示すブロック図である。各伸長再生装置35〜38の構成は同様であるため、ここでは代表して伸長再生装置35について説明する。
図10に示すように、伸長再生装置35は、負荷検出部39を備えることを特徴としている。その他の構成および動作は、実施の形態1(図3参照)と同様であるため、説明を省略する。
負荷検出部39は、予め定められた条件に従って、制御部28および伸長再生部31の負荷状態を検出する。検出方法としては、例えば、システムバス34上における使用頻度、メモリ29に対する書き込みおよび読み出しの頻度、制御部28あるいは伸長再生部31が使用するCPU使用率等に基づいて負荷状態を検出する。負荷検出部39にて検出された負荷状態は、負荷の割合(%)として制御部28に出力される。
制御部28は、負荷検出部39から入力された負荷状態を、通信部27を介して制御装置18に送信する。
制御装置18(図8参照)は、伸長再生装置35〜38の負荷状態と映像ウィンドウの表示状態とに基づいて、マルチディスプレイ13に表示される各映像ウィンドウに適用する伸長再生方法を決定する。
<動作>
圧縮配信装置5〜8の処理については、実施の形態1と同様であるため、ここでは説明を省略する。
次に、制御装置18による映像ウィンドウごとに伸長再生方法を決定するための処理について説明する。
まず、制御装置18は、各伸長再生装置35〜38に対する基本伸長再生方法を決定する。具体的には、制御装置18は、各伸長再生装置35〜38から負荷状態を取得し、図11に示すような特性に従って基本伸長再生方法を決定する。
図11は、伸長再生装置の負荷状態と基本伸長再生方法との関係の一例を示す図である。図11において、横軸は伸長再生装置35〜38の負荷状態(%)を示し、縦軸は基本伸長再生方法を示している。
図11に示すように、伸長再生装置35〜38の負荷状態が0〜60%の場合は、基本伸長再生方法を方法1とする。負荷状態が60%未満の状態から上昇して90%を超えた場合は、基本伸長再生方法を方法1から方法2に切り替える。負荷状態が90%を超えた状態から下降して60%未満になった場合は、基本伸長再生方法を方法2から方法1に切り替える。
図12は、上記で説明した基本伸長再生方法を決定する動作の一例を示すフローチャートである。
ステップS1において、制御装置18は、伸長再生装置35〜38から、伸長再生装置35〜38の負荷検出部(例えば、伸長再生装置35の負荷検出部39)にて検出された負荷状態を取得すると、取得した負荷状態が90%よりも高いか否かの判断を行う。負荷状態が90%よりも高い場合は、ステップS4に移行し、基本伸長再生方法を方法2に決定する。一方、負荷状態が90%以下の場合は、ステップS2に移行する。
ステップS2において、制御装置18は、負荷状態が60%未満であるか否かの判断を行う。負荷状態が60%未満である場合は、ステップS5に移行し、基本伸長再生方法を方法1に決定する。一方、負荷状態が60%以上である場合は、ステップS3に移行する。
ステップS3において、制御装置18は、現在の基本伸長再生方法が方法1であるか否かの判断を行う。方法1である場合は、ステップS6に移行し、基本伸長再生方法を方法1に決定する。一方、方法1でない場合(ここでは、方法2である場合)は、ステップS7に移行し、基本伸長再生方法を方法2に決定する。
上記の動作に従って各伸長再生装置35〜38に対する基本伸長再生方法を決定した後、マルチディスプレイ13に表示される各映像ウィンドウに適用する伸長再生方法を決定する。
具体的には、複数のディスプレイに跨らずに1つのディスプレイにのみ表示される映像ウィンドウに対しては、当該映像ウィンドウを伸長再生する伸長再生装置に対して決定された基本伸長再生方法を伸長再生方法として適用する。また、複数のディスプレイに跨って表示される映像ウィンドウ(横断映像ウィンドウ)に対しては、当該横断映像ウィンドウを伸長再生する全ての伸長再生装置のうち、基本伸長再生方法として方法2が決定されているものが少なくとも1つある場合は、伸長再生方法として方法2を適用する。すなわち、横断映像ウィンドウを伸長再生する全ての伸長再生装置は、自身に対して決定された基本伸長再生方法に関わらず、方法2で横断映像ウィンドウを伸長再生する。
上記より、制御装置18は、各伸長再生装置35〜38における処理の負荷状態に基づいて、伸長再生方法を伸長再生装置35〜38ごとに決定し、一の映像が一のディスプレイで表示される場合は、一のディスプレイに対応する伸長再生装置に対して伸長再生方法を適用するように制御し、一の映像が複数のディスプレイに跨って表示される場合は、各ディスプレイに対応する各伸長再生装置に対して、伸長再生装置ごとに決定した各伸長再生方法のうち最も負荷状態が小さい伸長再生方法を適用するように制御する。
図13は、各映像ウィンドウに対して決定された伸長再生方法の一例を示す図である。
図13に示すように、各伸長再生装置35〜38の処理負荷に基づいて、ディスプレイ14に対応する伸長再生装置35の基本伸長再生方法として方法2が選択され、ディスプレイ15〜17に対応する伸長再生装置36〜38の基本伸長再生方法として方法1が選択される。
そして、映像ウィンドウAに適用する伸長再生方法は、伸長再生装置35の基本伸長再生方法と同じ方法2となる。映像ウィンドウBに適用する伸長再生方法は、伸長再生装置35の基本伸長再生方法に合わせて方法2となる。映像ウィンドウCに適用する伸長再生方法は、伸長再生装置35の基本伸長再生方法に合わせて方法2となる。映像ウィンドウDに適用する伸長再生方法は、伸長再生装置37,38の基本伸長再生方法と同じ方法1となる。
次に、マルチディスプレイ13に映像ウィンドウが全く表示されていない状態から、図5に示すレイアウトで映像ウィンドウA,B,C,Dを表示する場合における動作について、図14〜16を用いて説明する。
図14〜16は、マルチディスプレイ13における映像ウィンドウの表示状態と、伸長再生装置35〜38の負荷状態との関係の一例を示す図である。
図14は、マルチディスプレイ13に映像ウィンドウを全く表示していない状態を示している。図14に示すように、伸長再生装置35〜38の負荷状態は全て22%である。基本伸長再生方法を方法1から方法2に切り替える負荷状態の閾値は、図11に示すように90%であるため、伸長再生装置35〜38の基本伸長再生方法には方法1が選択される。
図15は、図5に示すレイアウトで映像ウィンドウA,B,C,Dを表示した直後の状態を示している。図15に示すように、伸長再生装置35〜38の基本伸長再生方法は全て方法1であるため、映像ウィンドウA,B,C,Dに適用する伸長再生方法は全て方法1となる。
具体的には、制御装置18は、伸長再生装置35に対して映像ウィンドウA,B,Cを伸長再生するよう指示し、伸長再生装置36に対して映像ウィンドウCを伸長再生するよう指示し、伸長再生装置37に対して映像ウィンドウB,Dを伸長再生するよう指示し、伸長再生装置38に対して映像ウィンドウDを伸長再生するよう指示する。
伸長再生装置35〜38は、制御装置18から指示を受けると、図5に示すレイアウトとなるように各映像ウィンドウに対して方法1で伸長再生を開始する。このとき、伸長再生装置35〜38は、映像フレームを間引かずに全ての映像フレームを伸長再生する。この結果、伸長再生装置35〜38の負荷状態は高くなり、図15に示すような値となる。
図16は、伸長再生装置35〜38の負荷状態に基づいて各映像ウィンドウA,B,C,Dに適用する伸長再生方法を決定した後の状態を示している。
制御装置18は、伸長再生装置35〜38から負荷状態を取得し、取得した負荷状態に基づいて、各映像ウィンドウA,B,C,Dに適用する伸長再生方法を再び決定する。このとき、伸長再生装置35〜38から取得する負荷状態の値は、図15に示す値となる。
制御装置18は、伸長再生装置35から取得した負荷状態の値が100%であり、方法1から方法2に切り替える閾値である90%を超えているため、伸長再生装置35の基本伸長再生方法として方法2を選択する。また、制御装置18は、伸長再生装置36〜38から取得した負荷状態の値はいずれも90%を超えていないため、伸長再生装置36〜38の基本伸長再生方法を方法1のままとする。
この結果、映像ウィンドウAは伸長再生装置35に対応するディスプレイ14に表示される映像ウィンドウであり、映像ウィンドウB,Cはディスプレイ14に跨って表示される横断映像ウィンドウであるため、映像ウィンドウA,B,Cに適用する伸長再生方法を方法2に決定する。また、映像ウィンドウDはディスプレイ14に跨って表示されないため、伸長再生方法を変更せず方法1に決定する。すなわち、制御装置18は、伸長再生装置35に対して映像ウィンドウA,B,Cを方法2で伸長再生するよう指示し、伸長再生装置36に対して映像ウィンドウCを方法2で伸長再生するよう指示し、伸長再生装置37に対して映像ウィンドウBを方法2で伸長再生し、かつ映像ウィンドウDを方法1で伸長再生するよう指示し、伸長再生装置38に対して映像ウィンドウDを方法1で伸長再生するよう指示する。
伸長再生装置35〜38は、制御装置18からの指示を受けて、各映像ウィンドウA,B,C,Dの伸長再生を開始する。このとき、伸長再生装置35〜38は、実施の形態1と同様の方法で間引く映像フレームを決定し、間引かない映像フレームのみを伸長再生する。この結果、伸長再生装置35〜37の負荷状態の値は低下し、図16に示すような値となる。
次に、図5に示すレイアウトで映像ウィンドウA,B,C,Dを表示している状態から、図19に示すレイアウトで映像ウィンドウB,C,Dを表示する(映像ウィンドウAを非表示にする)場合における動作について、図17,18を用いて説明する。
図17,18は、マルチディスプレイ13における映像ウィンドウの表示状態と、伸長再生装置35〜38の負荷状態との関係の一例を示す図である。
図17は、映像ウィンドウAを非表示にして、図19に示すレイアウトで映像ウィンドウB,C,Dを表示した直後の状態を示している。
具体的には、制御装置18は、伸長再生装置35に対して映像ウィンドウAを非表示にするよう指示する。当該指示を受けた伸長再生装置35は、映像ウィンドウAを非表示にするために、映像ウィンドウAの伸長再生の動作を停止する。この結果、伸長再生装置35の負荷状態の値は低下し、図17に示すような値となる。
図18は、伸長再生装置35〜38の負荷状態に基づいて各映像ウィンドウB,C,Dに適用する伸長再生方法を決定した後の状態を示している。
具体的には、制御装置18は、伸長再生装置35〜38から負荷状態を取得し、取得した負荷状態に基づいて、各映像ウィンドウB,C,Dに適用する伸長再生方法を再び決定する。このとき、伸長再生装置35〜38から取得する負荷状態は、図17に示す各負荷状態である。
制御装置18は、伸長再生装置35から取得した負荷状態の値が48%であり、方法2から方法1に切り替える閾値である60%未満であるため、伸長再生装置35の基本伸長再生方法として方法1を選択する。また、制御装置18は、伸長再生装置36〜38から取得した負荷状態の値はいずれも変化していないため、伸長再生装置36〜38の基本伸長再生方法を方法1のままとする。
この結果、制御装置18は、伸長再生装置35に対して映像ウィンドウB,Cを方法1で伸長再生するよう指示し、伸長再生装置36に対して映像ウィンドウCを方法1で伸長再生するよう指示し、伸長再生装置37に対して映像ウィンドウB,Dを方法1で伸長再生するよう指示し、伸長再生装置38に対して映像ウィンドウDを方法1で伸長再生するよう指示する。
伸長再生装置35〜38は、制御装置18からの指示を受けて、方法1で映像ウィンドウB,Cの伸長再生を開始する。この結果、伸長再生装置35〜37の負荷状態の値は上昇し、図18に示すような値となる。
以上のことから、本実施の形態2によれば、伸長再生装置35〜38が安定して圧縮映像データの伸長再生を行うことができる。また、複数のディスプレイに跨って表示される映像ウィンドウに適用する伸長再生方法が各ディスプレイで同一となり、かつ映像ウィンドウに表示される映像が映像フレームを間引いて表示される場合は、各ディスプレイに対応する各伸長再生装置において同一の映像フレームが間引かれるため、伸長再生される映像がディスプレイごとに異なることがない。また、伸長再生装置35〜38にて適用される伸長再生方法を調整することによって処理負荷を調整するため、最も処理能力が低い伸長再生装置に合わせて映像配信機器の出力フォーマットを変更する必要がない。従って、処理能力に余裕がある伸長再生装置は、高画質の映像を伸長再生することができる。また、映像ウィンドウごとに解像度あるいはビットレート等が異なり、各伸長再生装置35〜38の処理負荷が異なる場合であっても、制御装置18は伸長再生装置35〜38の負荷状態に応じて適切な伸長再生方法を決定することができる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。