JP4939131B2 - 遠隔表示システム、及び、方法 - Google Patents

Description

本発明は、通信手段を介して画像の表示再生を行なうネットワーク表示システムに関する。

従来より、ネットワークを介して遠隔の動画像コンテンツを表示再生する装置として、ＶＯＤ（ビデオオンデマンド）ストリーミングシステムやネットワークモニタリングシステムが知られている。ＶＯＤストリーミングシステムは、遠隔のサーバ上に蓄積されたコンテンツをネットワークに接続したＰＣで視聴する。ネットワークモニタリングシステムは、遠隔の監視カメラで撮影した画像をネットワークに接続したＰＣや専用モニタで表示させて監視を行なう。

これらシステムは、蓄積サーバ或いはカメラサーバとＰＣ或いは表示端末装置をネットワークで接続して構成する。ＰＣで視聴するには、さらにコンテンツ視聴用のアプリケーションソフトなど各種ソフトウェアが必要である。画像データは、データ量を減らすためにＭＰＥＧ２やＭＰＥＧ４等の形式で圧縮され、パケット化して伝送される。伝送プロトコルは、通信帯域を減らして制御を簡素にするために、ＲＴＰプロトコルを用いるものが多い。

ＲＴＰプロトコルで伝送する場合は、ネットワーク上でのデータ欠損が問題になる。ネットワークのルーティング経路の異常や外乱により、パケットロス、遅延、到着順の入れ代わりなどが発生する。これにより、動画が突然に停止したり、画面の一部が崩れたりする現象が生じ、再生表示品質が著しく劣化してしまう。

ＲＴＰプロトコルで画像データを伝送する際のデータ欠損対策としては、下記のものがある。

（１）再送プロトコルと組合わせる方法がある。ＴＣＰ／ＩＰ等の再送プロトコルを併用し、データ欠損が生じた場合は再送プロトコルで再送要求するように構成する。再送データの到着待ち等のために、受信装置側の入力段でバッファリングを行なった後に表示制御を行なう（例えば、特許文献１参照）。

（２）ＲＴＰプロトコルの誤り耐性を高める方法がある。一般にＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ ）と称される。送信側で予め冗長符号を付加することで、伝送中にパケットロスがあっても受信側でデータの復元が出来るようにする。冗長符号化は、Ｔｏｒｎａｄｏ符号、ＬＴ符号 、Ｒｅｅｄ−Ｓｏｌｏｍｏｎ符号を用いたものが知られている。ｎ個のパケットをグループ化し、それを元に冗長化したｍ個のパケットを生成する（ｎ＜ｍ）。パケットロスが生じた場合は、グループ内の残りのパケットを用いて、消失したパケットの内容を復元することができる（例えば、特許文献２参照）。

さらに細やかな制御を行なう例として、下記のものがある。

（３）ネットワークの輻輳状態、端末の負荷、受信端末のバッファリング状態、ユーザの指示、何れかの情報で誤り耐性方式を選択する方法が考案されている。統計情報観測手段で前記の情報を収集し、誤り耐性のアルゴリズム、特にＦＥＣとＡＲＱの切換えを行なう（例えば、特許文献３参照）。

（４）エラー耐性の異なる複数の画像データの何れかを指定して、受信、再生する方法が考案されている。サーバには、Ｉフレームの周期が異なる複数のビデオストリームを格納しておく。受信端末からの指令信号でビデオストリームの一つを指定した後、当該ストリームの配信を行なう（例えば、特許文献４参照）。

（５）画像を領域分割し、領域毎に階層符号化の解像度を変えて伝送する方法が考案されている。画像データを領域分割し、各々をベースレイヤとエンハンスメントレイヤで階層符号化する。伝送時は、まず全面をベースレイヤの解像度で送り、通信帯域が許容する範囲内で重要領域のエンハンスメントレイヤデータを伝送する（例えば、特許文献５参照）。
特開２００３−１６９０４０号公報 特開２００１−０４５０９８号公報 特開２００２−１４１９６４号公報 特開２００３−０３２６９０号公報 特開２００４−０９６３０９号公報

しかしながら、上記従来例では、画像品質とリアルタイム性が両立できないという問題があった。従来例（１）と（３）は、再送パケットの到着待ち時間を確保するために大量のバッファリングが必要であり、表示のリアルタイム性が著しく悪くなるという欠点があった。従来例（２）は、誤り強度に比例した帯域が必要なため、帯域一定の場合は、誤り強度を高めると画像品質が劣化してしまう問題があった。例えば、ラインやフレーム単位での欠損や画面崩れは少なくなるが、ブロックノイズやモスキートノイズ等が増加してしまう場合があった。従来例（４）は、サーバの用意するストリームの種類で一律に画質が決定されてしまい、それ以上の画質改善の余地がないという問題があった。従来例（５）は、階層符号化のデータにしか適用できないという欠点があった。

本発明は、表示状態に応じた誤り耐性強度を画面の領域毎に設定することで、リアルタイム性を維持しつつ注目領域の画質を大幅に改善した、好適な遠隔表示システムを提供することを目的とする。

上記目的を達成するために、本発明の受信装置は以下の構成を有する。

すなわち、送信装置によって送信された動画像データを受信する受信装置であって、前記受信された動画像データを表示させる表示制御手段と、前記受信された動画像データのうちの前記表示制御手段によって表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記表示制御手段によって表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、誤り耐性強度を決定する決定手段と、前記決定された誤り耐性強度に基づいた前記動画像データの訂正用データを前記送信装置に送信させるための要求コマンドを生成する生成手段と、前記生成された要求コマンドを前記送信装置に送信する送信手段とを有し、前記決定手段は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とする。

係る本発明の構成において、コンテンツの表示レイアウトを検出し、コンテンツの領域毎にレイアウトの重要度に応じた誤り耐性強度を設定する、という動作を行なう。

本発明によれば、表示状態に応じた誤り耐性強度を画面の領域毎に設定することで、リアルタイム性を維持しつつ注目領域の画像品質を向上できるという効果がある。

（実施例１）
以下、添付図面を参照して、本発明に係る好適な実施例を詳細に説明する。

本実施例の遠隔表示システムは、サーバーと表示端末を１対１で接続する。コンテンツ画面の領域毎に表示レイアウト状況を検出し、他のオブジェクトに透過的に重なる領域や隠れてしまう領域は誤り耐性強度を下げる、という動作を行なう。

＜表示端末の表示画面と誤り耐性強度の設定例（図２〜３）＞
図２を用いて、表示端末における表示画面例を説明する。本実施例の表示端末は、複数の画像コンテンツのマルチウインドウ表示を行なう。各画像コンテンツをウインドウ形式にし、表示エリア内の任意の場所に配置して任意の大きさで表示できる。他のウインドウや表示オブジェクトと干渉する場合は、ウインドウを背後に隠したり、ある透明度で重ね合せる処理を行なう。図中、２１〜２３はそれぞれ、画像コンテンツを表示するウインドウである。ウインドウ２１はネットワークから伝送されるストリーミングコンテンツ、ウインドウ２２と２３は表示端末５０内のメモリに蓄積されている画像コンテンツである。ここでウインドウ２１に着目すると、上部はウインドウ２２によって隠され、下部はウインドウ２３と透過的に重ね合せられて表示されている。

図３は、コンテンツ画像の誤り耐性強度の設定例を説明する図である。本実施例では、分割した各領域の表示状態に基づいて誤り耐性強度を設定する。隠されたり、透過重ね合せされた領域の誤り耐性強度が低くなるように設定する。図中、ウインドウ２１の画面は、９つの帯状の領域３１〜３９に分割されている。領域３１はウインドウ２２に隠され、領域３８〜３９はウインドウ２３と透過的に重ね合わされている。この場合、元の画像コンテンツそのものが表示されている領域３２〜３７は高い耐性強度に設定し、隠される領域３１は低い強度、領域３８〜３９は中程度の強度に設定する。視覚的に目立つ領域は高い強度の誤り耐性が施されているから、画像品質は保たれる。一方で視覚的に重要でない領域は誤り耐性を低くすることで、伝送データ量を低減させることができる。通信帯域一定の場合、視覚的に目立つ領域に、より高いデータレートを割当てることができるので、画像品質の向上を図ることができる。

＜遠隔表示システムの全体構成（図４）＞
図４のブロック図を用いて、本実施例の遠隔表示システムの構成を説明する。本実施例の遠隔表示システムは、ネットワークカメラサーバーと表示端末で構成される監視システムである。両装置は、ネットワークを介して画像コンテンツデータや制御データのやり取りを行なう。

４０はネットワークカメラサーバーであり、カメラで撮影した画像を低レートに符号化し、ネットワークに送出する機能を備える。ネットワークカメラサーバー４０において、４１はＣＰＵであり、サーバー４０内の各モジュールの動作パラメータ設定やシーケンス管理など各種制御を行なう。４２は、ＣＰＵ４１の制御プログラムや各種パラメータを格納し、撮影した画像データの保存等にも用いるメモリ部である。４３は周辺インタフェースであり、スイッチ等の各種ユーザーインタフェースの制御や、メモリカードなど各種周辺インタフェース装置の制御を行なう。４４はカメラ光学制御部であり、レンズやセンサ、レンズ駆動モータと制御系で構成される。４５は撮影画像処理部であり、センサからの出力データにγ補正やホワイトバランスなど各種補正を施す。

４８は画像データをネットワークに送出する画像送信部であり、詳細は後述する。４６はエンコーダであり、撮影画像データを低レートの圧縮形式データに変換する。本実施例ではＭｏｔｉｏｎ―ＪＰＥＧ形式へ変換するが、他の任意の方式を用いることができる。例えば、ＭｏｔｉｏｎＪＰＥＧ２０００やＭＰＥＧ１、２、４、Ｈ．２６３、Ｈ．２６４、マイクロソフト社のＷＭＶ形式などを用いることができる。４７は通信インタフェースであり、圧縮された画像データをパケット化してネットワークに送出する。本実施例では、誤り耐性符号化した後、ＲＴＰ形式にパケット化し、ＵＤＰ／ＩＰプロトコルで送出する。４９はネットワークである。

５０は表示端末であり、ネットワークから入力した画像データをマルチウインドウ形式で表示再生する。表示端末５０において、５１はＣＰＵであり、表示端末５０内の各モジュールの動作パラメータ設定やシーケンス管理など各種制御を行なう。アプリケーションプログラムやユーザの指示に応じて、表示レイアウトの設定制御も行なう。５２は、ＣＰＵ５１の制御プログラムや各種パラメータを格納するメモリである。５３は周辺インタフェースであり、スイッチ等の各種ユーザーインタフェースの制御や、メモリカードなど各種周辺インタフェース装置の制御を行なう。５８は、マルチウインドウ画面の表示再生を行なう表示パネルである。ＣＲＴやＬＣＤ、プラズマ、ＦＥＤ方式など、各種の表示パネルを用いることができる。

５９はネットワークからの画像データを受信する画像受信部であり、詳細は後述する。５４は、パケット化された画像データを入力する通信インタフェースである。ネットワークカメラサーバー４０の通信インタフェース部４７が送出したデータを受信できるよう構成される。５５は、圧縮形式の画像データを展開伸張するデコーダである。前述のエンコーダ４６の圧縮形式を展開できるよう構成される。５６は表示画像処理部であり、表示パネルの特性に合せて、γ補正や階調補正、色調補正など各種補正を行なう。必要であれば、解像度など各種変換も行なう。５７は表示制御部であり、駆動タイミング信号と表示画像データを出力する。

＜画像送信部と画像受信部の構成（図１、５）＞
次に、図１のブロック図を用いて、画像送信部４８と画像受信部５９の構成を詳細に説明する。画像送信部４８は、圧縮形式へのエンコードの後、画面領域毎に異なった強度で誤り耐性符号化を施し、パケット化して送信を行なう。画像受信部４９は、誤り耐性符号を元にして欠損パケットを復元した後に、圧縮形式のデコードを行ない、表示制御データを作成する。また、表示レイアウト状態に応じた画面領域毎の誤り耐性強度の設定を行なう。

画像送信部４８は、エンコーダ４６と通信インタフェース４７で構成される。

エンコーダ４６は、誤り耐性を向上させるために、スライス単位で圧縮を行なう。図３で説明したように、画面を複数のスライス領域に分割して、分割領域毎に圧縮を行なう。各スライスの先頭には、再同期マーカと呼ばれる符号が付加されており、以前のデータが失われた場合でも当該スライスのデコードは可能なようになっている。エンコーダ４６において、１はスライス設定部であり、符号化を行なう単位となる領域へ分割する。本実施例では、Ｍｏｔｉｏｎ−ＪＰＥＧの符号化効率を考慮して、横長の短冊状にスライスを設定する。スライスは複数のマクロブロックで構成され、スライス境界はマクロブロック境界と一致するように構成する。他の符号化方式を用いる場合には、符号化性能を加味しながら任意の形状にしてもよい。Ｈ．２６４方式はマクロブロック単位で任意形状にスライス構成ができるので、重ね合わせ状態を反映させたスライス形状にするように制御してもよい。スライスの構成情報は、接続開始時や伝送開始時に表示端末５０へと通知しておく。また、動的にスライス構成を変更する場合は、変更毎に通知を行なうようにする。２は符号化部であり、Ｍｏｔｉｏｎ−ＪＰＥＧの手順に従ってＤＣＴ符号化やエントロピー符号化を行ない、低レートのデータ列へと変換する。

通信インタフェース４７において、３〜５で示すブロックが画像データの送信処理を行なう。３はＦＥＣ付加部であり、スライス毎に誤り耐性符号化を行なう。後述の誤り耐性制御部９が指定する強度で符号化する。符号化方式は、リードソロモン符号やターボ符号など、任意のものを用いてよい。４はパケット生成部であり、ＲＴＰ及びＵＤＰ／ＩＰ形式のパケットを生成する。５は下位層制御部であり、ＭＡＣ層及びＰＨＹ層のプロトコルを制御して、パケットデータの送出を行なう。

一方、７〜８で示すブロックは、表示端末５０の出力する設定要求コマンドの処理を行なう。同処理は、通信制御ＣＰＵ６のソフトウェアで処理実行が行なわれる。プログラム／データメモリは通信制御ＣＰＵ６内に内蔵されており、内蔵プログラムに従って処理が実行される。設定要求コマンドは、ＴＣＰ／ＩＰ形式のパケットで通信される。７はＴＣＰ／ＩＰ制御処理であり、プロトコルに従ってパケット受信処理を行なう。８は誤り耐性設定処理であり、表示端末５０の設定要求コマンドに従って、誤り耐性制御部９の制御テーブルを書換える。

９は誤り強度制御部であり、スライス位置に応じた誤り耐性強度の指示信号を出力する。内部は、スライス位置と誤り耐性強度を対応させた制御テーブルで構成されている。スライス設定部１の出力するスライス番号に従って、同テーブルが検索され、対応する誤り耐性強度信号を出力する。この誤り耐性強度信号に従って、ＦＥＣ付加部３で誤り耐性符号化が行われる。図５は、誤り耐性制御テーブルの例であり、スライス番号６１と誤り耐性強度の設定値６２が対になるよう記述されている。同図は図３の画面をテーブル化した例であり、スライス３１は隠れる領域であるので強度「Ｌｏｗ」になっている。また、スライス３８は、透過重ね合せ領域であるために強度「Ｍｉｄ」に設定されている。

画像受信部５９は、通信インタフェース５４とデコーダ５５、表示画像処理部５６、表示制御部５７で構成される。

まず、画像データの流れを説明する。通信インタフェース５４において、１１は、ＰＨＹ層とＭＡＣ層プロトコルの制御を行なう下位層制御部である。１２はパケット取得部であり、ＲＴＰ及びＵＤＰ／ＩＰパケットを解析し、ペイロードを取出す。１３はＦＥＣデコード部であり、誤り耐性符号化されたデータのデコードを行なう。また、パケット欠損があった場合は、到着しているパケットを用いて欠損パケットの復元を行なう。

デコーダ５５は、エンコーダ４６で圧縮したデータを展開伸張する。前段でパケット欠損が復元できなかった場合にも、再同期マーカを用いてスライス構造を抽出し、スライス単位でデコードを継続する。表示画像処理部５６は、上述のしたように、表示パネルの特性に合せた各種補正を行なう。

表示制御部５７は、レイアウト制御部１４とブレンド合成部１５、パネル駆動部１６で構成される。レイアウト制御部１４は、ＣＰＵ５１の設定に従って、各ウインドウの大きさと位置、ウインドウ間の重ね合わせ、ウインドウ端面処理等の指示を出力する。ブレンド合成部１５は、レイアウト制御部１４の指示に従って各コンテンツ画像をブレンド合成し、表示画面データを作成する。表示画面データは不図示のＶＲＡＭに格納され、パネル駆動部１６の要求に合せて読み出される。パネル駆動部１６は、表示パネルに合せた駆動タイミング信号を作成し、同タイミングに合せて表示画像データを読み出して出力する。

次に、誤り耐性強度変更を行なうための要求制御の流れを説明する。１７は通信制御ＣＰＵであり、要求制御処理は同ＣＰＵ上のソフトウェアによって実行される。プログラム／データメモリは通信制御ＣＰＵ１７内に内蔵されており、内蔵プログラムに従って処理が実行される。１８は誤り耐性指示処理であり、表示レイアウトに応じて画面各領域の誤り耐性強度を決定し、サーバ４０に設定要求コマンドを送信する処理を行なう。表示レイアウトが更新された場合に、レイアウト制御部１４からの通知で起動され、表示状態に応じた設定要求コマンドを作成して出力する。同処理の流れは後述する。１９はＴＣＰ／ＩＰ制御処理であり、プロトコルに従って設定要求コマンドをパケット化する。下位層制御部１１を介することで、ネットワーク上へパケットが送信される。

＜誤り耐性指示の処理の流れの説明（図６〜７）＞
図７のフローチャートを用いて、誤り耐性指示の処理の流れを説明する。同処理は、通信制御ＣＰＵ１７上のソフトウェアで実現される。表示レイアウトが更新された場合に起動され、コンテンツの領域毎のレイアウト状態に応じて誤り耐性強度を決定し、設定要求コマンドを作成して出力する処理を行なう。

図中、ステップｓ２１１では、コンテンツ画像がどのような形状で領域分割されているかの情報取得を行なう。接続時又は伝送開始時にサーバー４０のスライス設定部１から通知された設定値を、通信制御ＣＰＵ１７のメモリに記録しておき、これを読み出して参照する。また、同ステップで、サーバー４０に問い合せるようにしてもよい。ステップｓ２１２では、レイアウト制御部１４の情報を元にして、分割された領域画像の重なり検出を行なう。また、ＣＰＵ５１に重なり状態を問合せるように構成してもよい。ステップｓ２１３では、重なり状態の情報を用いて、当該領域の誤り耐性強度を決定する。例えば、図６のような誤り耐性判定テーブルを用いて判定する。図６では、重なり状態７１と誤り耐性強度７２を対応させたテーブルとなっている。重なり状態７１は、「最上位」、「透明度８０％〜」、「透明度６０％〜」、「透明度４０％〜」、「透明度２０％〜」、「透明度０％〜」、「背景」の７段階に区分されている。誤り耐性強度７２は、「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏｗ」の３つが割当てられている。前ステップでの検出結果に応じて耐性強度を決定する。図７のフローチャートに戻ると、ステップｓ２１４では、全領域の決定処理が終了したか判定し、終了していればステップｓ２１５へ進み、残り領域があればステップｓ２１２に進んで次の領域の処理を行なう。ステップｓ２１５では、誤り耐性強度の設定要求コマンドを作成する。例えば、図５のように、画像領域（スライス）と誤り耐性強度設定値を対応付けた形式でコマンドを作成する。それぞれの設定値はテキスト形式でもよいし、数ビットにエンコードして指示して指示してもよい。ステップｓ２１６では、設定要求コマンドをＴＣＰ／ＩＰ制御処理に出力し、処理を終了する。

以上の処理により、表示レイアウトが更新された場合に、コンテンツの領域毎のレイアウト状態に応じて誤り耐性強度を決定し、設定変更要求を行なうことができる。また、サーバー４０は設定要求に応じて誤り耐性符号化の強度を変更するから、他の表示オブジェクトと干渉する場合に誤り耐性強度を低く符号化するような制御が可能となる。

以上説明したように本実施例によれば、表示レイアウト状態に応じた誤り耐性強度を画面領域毎に設定することで、リアルタイム性を維持しながら注目領域の画像品質を大幅に向上できる。

なお、本発明は上記に限定されることなく、幅広く応用することが可能である。

例えば、誤り耐性強度の決定処理は、サーバー側で行なうようにしてもよい。この場合、表示端末は、表示レイアウト情報または各コンテンツのレイアウト情報をサーバーに送信する。サーバーは、この表示レイアウト情報から画面領域毎の重要性を判定して、誤り耐性強度を設定する。

また、領域毎の重なり状態の判定はに幅を持たせてもよい。本実施例ではスライス領域の重ね合せ状態が一様な場合を説明したが、一様でない場合にも応用可能である。例えば、図１１のように、スライス領域が部分的に重なったような場合である。ウインドウ２１に対して、ウインドウ１１１が右上角部から斜めに重ね合わされている。図１２は各スライス領域への重ね合わせ状況を表す図である。スライス３１にウインドウ１１１が重なっているが、全面ではない。このような場合は、領域内で干渉がある部分の面積比率を計算し、所定割合以上に隠されていたときは「当該領域は隠されている」と判断するように制御すればよい。割合によって、誤り耐性強度を変更するようにしてもよい。

さらに、表示されるウインドウの重なり具合を検出し、二枚目以下のコンテンツの誤り耐性強度を一律に下げるようにしてもよい。また、ウインドウ画面がアクティブ状態（入力操作を受け付けられる状態）か否かを検出して、誤り耐性強度を下げるようにしてもよい。

（実施例２）
前述の実施例では、サーバーと表示端末を１対１で接続する場合を説明した。本実施例では、サーバーに複数の表示端末が接続され、マルチキャストでデータ配信する場合を説明する。サーバーは各端末の設定要求を集計し、全端末で重要度が低い画像領域の誤り耐性強度を下げる、という動作を行なう。

＜遠隔表示システムの全体構成（図８）＞
図８のブロック図を用いて、本実施例の遠隔表示システムの構成を説明する。前述の実施例と同一の構成要素には同一の番号を付し、説明は省略する。

図中、４０はネットワークカメラサーバーであり、撮影した画像をマルチキャストでデータ配信するように構成されている。８２〜８５は表示端末であり、個々の端末は前述の実施例の表示端末５０と同様の構成をとる。各表示端末は、マルチキャストされたコンテンツ画像を入力してマルチウインドウ形式で表示再生する。各表示端末で表示レイアウトが変更された場合は、サーバー４０宛てに誤り耐性の設定要求コマンドを送信する。サーバー４０の誤り耐性設定処理８は、各表示端末からの設定要求コマンドを集計して設定値を決定し、誤り耐性制御部９の制御テーブルへ書込みを行なう。誤り耐性設定処理８は、通信制御ＣＰＵ６内のメモリに要求集計テーブルを作成し、同テーブルを用いて設定要求コマンドの集計を行なう。

＜要求集計テーブルの構成例（図９）＞
図９は、要求集計テーブルの一例を示す図であり、同図を用いて要求集計処理の仕組みを説明する。本実施例では、全端末の要求をテーブル形式で集計し、一致して重要度が低いスライスの誤り耐性強度を低下させるよう設定する。図中、９１はスライス番号であり、９２は再評価後の誤り耐性設定値である。９３〜９８は、列毎に各表示端末の設定要求値を記述する。図の例では、記述欄９３〜９６は表示端末８２〜８５に割当てられ、９７〜９８は受信する端末がないために空欄となっている。

設定値９２の決定方法は、全端末の要求の中で最も高い強度のものを検索し、これを設定値とする。一端末でも高い強度を要求している場合は、その要求強度で伝送して画像品質を維持する。一方で、全端末が低い強度しか要求していない場合は、低強度に設定して通信データ量の削減を図る。

＜誤り耐性設定処理の流れの説明（図１０）＞
図１０のフローチャートを用いて、サーバー４０における誤り耐性設定処理の流れを説明する。同処理は、通信制御ＣＰＵ６上のソフトウェアで実現される。設定要求コマンドが到来した場合に起動され、全端末の要求を集計して誤り耐性強度を決定し、誤り耐性制御部の設定を書換える、という処理を行なう。

図中、ステップｓ２２１では、表示端末から出された設定要求コマンドを入力する。ステップｓ２２２では、設定要求コマンドに従って、要求集計テーブルの当該端末の項目を更新する。ステップｓ２２３では、スライス毎に全端末の設定要求値を取出す。ステップｓ２２４では、全端末の要求の中で最も高い強度を検索し、設定値欄９２に書込む。ステップｓ２２５では、全スライスの評価が終了したか判定し、終了していればステップｓ２２６へ進み、残り領域があればステップｓ２２３に進んで次のスライスの評価を行なう。ステップｓ２２６では、設定値９２の値を誤り耐性制御部９に書き込んで、処理を終了する。

以上の処理により、設定要求があった場合に全表示端末の要求を再評価して誤り耐性強度を設定することができる。これにより、全端末で一致して重要度が低いスライスは、誤り耐性強度を低下させるような設定が可能になる。

以上説明したように本実施例によれば、前述の実施例と全く同様な効果が得られる。さらに、複数の表示端末がそれぞれに異なる表示レイアウトで表示させた場合であっても、画質向上の効果を得ることができる。

なお、本発明は上記に限定されることなく、幅広く応用することが可能である。

例えば、端末間で優先度を付けるようにしてもよい。優先度が高い端末の変更要求は即座に反映し、低い優先度の要求は所定数が集まった場合に反映させるような制御を行なう。監視モニタリングシステムで、専任の監視者の端末と、一般ユーザ端末を共存させる場合に有効である。

また、各端末で表示されている大きさに応じて優先度を付けるようにしてもよい。大きなウインドウで表示している端末の要求優先度は高く、小さくサムネール表示している端末の要求優先度は低くするよう制御する。

（実施例３）
前述の実施例では、エンコーダのスライス単位で領域分割する例を説明した。本実施例では、マクロブロック単位で任意形状に領域分割する例を説明する。

＜遠隔表示システムの画像伝送部の構成（図１３〜１４）＞
図１３、１４のブロック図を用いて、本実施例の遠隔表示システムの画像伝送部の構成を説明する。前述の実施例と同一の構成要素には同一の番号を付し、説明は省略する。

図１３は、本実施例の画像送信部の構成を示すブロック図である。

エンコーダ４６において、２は符号化部である。本実施例では、Ｍｏｔｉｏｎ−ＪＰＥＧの手順で符号化するが、マクロブロック毎に通信インタフェースへデータ出力する。符号化部２において、１３１はＤＣＴ演算を行なう直交変換部、１３２は高周波領域のデータ削減を行なう量子化部、１３３はジグザグスキャンを行なってハフマン符号化を行なうエントロピー符号化部である。ここで、エントロピー符号化部１３３は、各マクロブロックのデータを連結せずに、ブロック単位でデータを出力する。同時に、１３４に示すように符号化したマクロブロックの番号を通信インタフェースに通知する。

通信インタフェース４７では、マクロブロック毎に重み付けて誤り耐性符号化を行ない、パケット化して送信する。誤り耐性制御部９は、誤り耐性設定部８からの設定によってマクロブロックの位置毎の耐性強度設定を保持している。エンコーダ４６からブロック番号１３４が入力されると、その位置に応じた耐性強度信号を出力する。

ＦＥＣ付加部３は、マクロブロック毎の強度に応じて誤り耐性符号化を行なう。本実施例では、マクロブロックを耐性強度毎に振分け、同じ強度のブロックをグループ化して誤り耐性符号化を行なう。ＦＥＣ付加部３は、振分け部１３５、バッファメモリ１３６、ＦＥＣ符号化部１３７で構成される。振分け部１３５は、入力されたマクロブロックを耐性強度毎に振分けを行なう。バッファメモリ１３６は、同一の耐性強度毎にマクロブロックデータを保持する。振分けの際にデータは順不同となってしまうから、以降はブロックデータとブロック番号は対にして保持及び処理を行なう。ＦＥＣ符号化部１３７はバッファ残量を監視し、ＦＥＣ符号を作成できるデータ量が揃った場合に、ＦＥＣ符号化を行なう。符号化されたデータ列はパケット生成部４へ出力される。ＦＥＣ符号化できるデータ量に満たない耐性強度があった場合は、フレーム末尾又はタイムアウトのタイミングを検出して、別の方式で誤り耐性符号化を行なって送信する。データの重複送信など別の方式で誤り耐性を高めてもよいし、強度の高い側のデータと一緒に符号化を行なうようにしてもよい。

続くパケット生成部４がＲＴＰ及びＵＤＰ／ＩＰパケットを生成し、下位層制御部５がＭＡＣ層及びＰＨＹ層プロトコルを制御することで、誤り耐性符号化された画像データパケットが送出される。

図１４は、本実施例の画像受信部の構成を示すブロック図である。

通信インタフェース５４において、下位層１１を介して入力した画像パケットは、ペイロード取得部１２でペイロードデータが取出される。

ＦＥＣデコード部１３では、パケット欠損があった場合は、到着しているパケットを用いて欠損パケットの復元を行なう。その後、誤り耐性符号化されたペイロードデータをデコードし、マクロブロックデータを取出す。本実施例では、耐性強度毎にグルーピングされたペイロードを逆符号化し、マクロブロックの番号に従って並べ替えを行なう。ＦＥＣデコード部１３は、逆符号化部１４１、並べ替え部１４２、バッファメモリ１４３で構成される。逆符号化部１４１は、誤り耐性符号化されたペイロードデータをデコードする。並べ替え部１４３は、マクロブロック番号に従って、データの並べ替えを行ない、バッファメモリ１４３に格納する。Ｍｏｔｉｏｎ−ＪＰＥＧデコーダの処理単位のデータが揃った場合、並べ替え部１４２はデコーダ５５へレディ信号を通知する。デコーダ５５は、バッファメモリ１４２のマクロブロックデータを読出し、デコード処理を開始する。

デコーダ以降の処理は、前述の実施例と同一であるために、説明を省略する。

以上説明したように本実施例によれば、前述の実施例と全く同様な効果が得られる。さらに、マクロブロック単位できめ細かな設定が可能となるので、より画質向上が図れるという効果がある。

なお、本発明は上記に限定されることなく、幅広く応用することが可能である。

本実施例では同じ耐性強度のマクロブロックをグループ化してパケットを構成したが、マクロブロック毎にパケット化を行なうようにしてもよい。また、誤り耐性符号にリードソロモン符号等の冗長符号を用いたが、同一データの重複送信で耐性を高めるようにしてもよい。

本実施例ではＭｏｔｉｏｎ−ＪＰＥＧのマクロブロックを分割単位とした例を説明したが、圧縮方式に応じて任意の分割単位を用いることが可能である。例えば、Ｈ．２６４方式は１６×１６、８×８等の複数サイズのマクロブロックを共存させることができるので、さらにきめ細かな分割領域を作成することができる。

また、マクロブロックを用いない圧縮方式の場合は、画素単位で領域分割を行なうことが可能である。例えば、階調を圧縮して画素データの構成ビット数を減らす場合や、隣接画素との差分値で圧縮を行なうような場合である。このような場合、本実施例のように、同一の強度設定の画素をグループ化して誤り耐性符号化することで、同一の効果を得ることができる。画素の位置情報とデータを対にするとデータ量があまりにも冗長になるから、画素位置と強度設定、パケット格納位置の対応情報を予め交換しておくようにするとよい。

前述の実施例と含め、監視カメラシステムの例を説明したが、ＶＯＤストリーミングシステムなど任意のネットワーク表示システムに応用することが可能である。本実施例では、他の画像コンテンツと干渉した時の制御を説明したが、ボタンや枠などユーザインタフェースのための表示オブジェクトとの干渉にも応用することができる。

前述の実施例と含め、ハードウェアと記載した要素をソフトウェアで、ソフトウェアと記載した要素をハードウェアで実現することが可能である。例えば、誤り耐性制御部９やＦＥＣ付加部３、パケット生成部４などの処理をソフトウェアで実現してもよいし、通信制御ＣＰＵ６や１７で行なっていた制御処理をハードウェアロジックに置き換えてもよい。

（実施例４）
本実施例は、表示端末が複数のサーバーと接続される例を説明する。複数のサーバーから送られてきたコンテンツを同一画面にレイアウトして表示する。コンテンツ画面の領域毎に表示レイアウト状況を検出し、他のオブジェクトに透過的に重なる領域や隠れてしまう領域は誤り耐性強度を下げる、という動作を行なう。

＜遠隔表示システムの全体構成（図１５）＞
図１５のブロック図を用いて、本実施例の遠隔表示システムの構成を説明する。図４と比較し、二つのサーバーが接続された構成となっている。同図と同一の構成要素には同一の番号を付し、説明を省略する。

１５０はネットワークカメラサーバーＡ、１５１はネットワークカメラサーバーＢである。サーバ１５０、１５１は、図４のネットワークカメラサーバー４０と同一の構成を備える。サーバー１５０、１５１はそれぞれ、画像送信部１６０、１６１を備える。表示端末５０は、サーバー１５０、１５１から送信されるコンテンツ（カメラ撮影映像）を受信し、画面にレイアウトして表示する。

＜画像送信部と画像受信部の構成（図１６）＞
図１６のブロック図を用いて、画像送信部１６０、１６１と画像受信部５９の構成を説明する。図１と同一の構成要素には同一の番号を付し、説明を省略する。

１６０は画像送信部Ａ、１６１は画像送信部Ｂであり、図１の画像送信部４８と同一の構成を備える。

画像受信部５９において、１６２は誤り耐性指示処理部である。誤り耐性指示処理部１６２は、表示レイアウトに応じて画面各領域の誤り耐性強度を決定し、画面領域に応じたサーバに対して設定要求コマンドを送信する。

＜誤り耐性指示の処理の流れの説明（図１７）＞
図１７のフローチャートを用いて、誤り耐性指示の処理の流れを説明する。図７のフローチャートと同一の構成要素には同一の番号を付し、説明を省略する。コンテンツの領域毎のレイアウト状態に応じて誤り耐性強度を決定し、領域に応じたサーバに対して設定要求コマンドを作成して出力する処理を行なう。

図中、ステップｓ２１１では、コンテンツ画像の分割状態を検出する。ステップｓ２１２では、レイアウト制御部１４の情報を元にして、分割された領域画像の重なり検出を行なう。ステップｓ２１３では、重なり状態の情報から当該領域の誤り耐性強度を決定する。ステップｓ２１４では、全領域の決定処理が終了したか判定し、終了していればステップｓ２１５へ進み、残り領域があればステップｓ２１２に進む。ステップｓ２１５では、誤り耐性強度の設定要求コマンドを作成する。例えば、図５のように、画像領域と誤り耐性強度設定値を対応付けた形式でコマンドを作成する。コマンドの送信先は、当該画像領域のデータを送信するサーバー宛てに設定する。ステップｓ２１６では、設定要求コマンドをＴＣＰ／ＩＰ制御処理に出力し、処理を終了する。

以上の処理により、コンテンツの領域毎のレイアウト状態に応じて誤り耐性強度を決定し、領域に応じたサーバに対して設定変更要求を行なうことができる。

以上説明したように本実施例によれば、複数のサーバーであっても、前述の実施例と全く同様な効果が得られる。

本実施例ではサーバーが２つの例を説明したが、任意の台数のサーバーであってもよい。

また、ステップｓ２１３で各領域の誤り耐性強度を決定する際に、コンテンツを送信するサーバーの状態を含めて決定するようにしてもよい。例えば、サーバー毎の伝送エラーレートを別途取得しておき、エラー率の高いサーバーの画像領域は誤り耐性強度を高く決定するようにしてもよい。

実施例１における遠隔表示システムの画像送信部と受信部の概略構成を示すブロック図。 実施例１における表示端末の表示画面の例を示す図。 実施例１における表示端末のコンテンツ画面の領域分割の様子を示す図。 実施例１における遠隔表示システムの概略構成を示すブロック図。 実施例１における誤り耐性制御部の制御テーブルの例を示す図。 実施例１における誤り耐性指示処理の判定テーブルの例を示す図。 実施例１における誤り耐性指示の処理の流れを示すフローチャート。 実施例２における遠隔表示システムの概略構成を示すブロック図。 実施例２における誤り耐性設定処理の集計テーブルの例を示す図。 実施例２における誤り耐性設定の処理の流れを示すフローチャート。 実施例１における表示端末の表示画面の例を示す図。 実施例１における表示端末のコンテンツ画面の領域分割の様子を示す図。 実施例３における遠隔表示システムの画像送信部の概略構成を示すブロック図。 実施例３における遠隔表示システムの画像受信部の概略構成を示すブロック図。 実施例４における遠隔表示システムの概略構成を示すブロック図。 実施例４における遠隔表示システムの画像送信部と受信部の概略構成を示すブロック図。 実施例４における誤り耐性指示の処理の流れを示すフローチャート。

符号の説明

１ スライス設定部
２ 符号化部
３ ＦＥＣ付加部
４ パケット生成部
５ 下位層制御部
６ 通信制御ＣＰＵ
７ ＴＣＰ／ＩＰ制御処理
８ 誤り耐性設定処理
９ 誤り耐性制御部
１１ 下位層制御部
１２ ペイロード取得部
１３ ＦＥＣデコード部
１４ レイアウト制御部
１５ ブレンド合成部
１６ パネル駆動部
１７ 通信制御ＣＰＵ
１８ 誤り耐性指示処理
１９ ＴＣＰ／ＩＰ制御処理
２０ 表示画面
２１〜２３ コンテンツウインドウ画面
３１〜３９ スライス画面
４０ ネットワークカメラサーバー
４１ ＣＰＵ
４２ メモリ
４３ 周辺インタフェース
４４ カメラ光学系
４５ 撮影画像処理部
４６ エンコーダ
４７ 通信インタフェース
４８ 画像送信部
４９ ネットワーク
５０ ネットワーク表示端末
５１ ＣＰＵ
５２ メモリ
５３ 周辺インタフェース
５４ 通信インタフェース
５５ デコーダ
５６ 表示画像処理部
５７ 表示制御部
５８ 表示パネル
５９ 画像受信部
８２〜８５ 表示端末

Claims (6)

1. 送信装置によって送信された動画像データを受信する受信装置であって、
   前記受信された動画像データを表示させる表示制御手段と、
   前記受信された動画像データのうちの前記表示制御手段によって表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記表示制御手段によって表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、誤り耐性強度を決定する決定手段と、
   前記決定された誤り耐性強度に基づいた前記動画像データの訂正用データを前記送信装置に送信させるための要求コマンドを生成する生成手段と、
   前記生成された要求コマンドを前記送信装置に送信する送信手段と
   を有し、
   前記決定手段は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とする受信装置。
2. 受信した動画像データを表示する受信装置に動画像データを送信する送信装置であって、前記受信装置から、受信した動画像データのうち表示している領域と表示していない領域に関する情報を受信する受信手段と、
   前記受信装置が前記動画像データを表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記受信装置が前記動画像データを表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、前記受信した領域に関する情報に基づいて前記第１、第２の領域の誤り耐性強度を決定する決定手段と、
   前記決定された誤り耐性強度に基づいて前記動画像データのエラーを前記受信装置が訂正するための訂正用データを生成する生成手段と、
   前記動画像データと前記訂正用データを送信する送信手段と
   を有し、
   前記決定手段は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とする送信装置。
3. 送信装置によって送信された動画像データを受信する受信装置が行う通信方法であって、
   前記受信された動画像データを表示させる表示制御工程と、
   前記受信された動画像データのうちの前記表示制御工程によって表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記表示制御工程によって表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、誤り耐性強度を決定する決定工程と、
   前記決定された誤り耐性強度に基づいた前記動画像データの訂正用データを前記送信装置に送信させるための要求コマンドを生成する生成工程と、
   前記生成された要求コマンドを前記送信装置に送信する送信工程と
   を有し、
   前記決定工程は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とする通信方法。
4. 送信装置によって送信された動画像データを受信するコンピュータに、
   前記受信された動画像データを表示させる表示制御手順と、
   前記受信された動画像データのうちの前記表示制御手順によって表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記表示制御手順によって表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、誤り耐性強度を決定する決定手順と、
   前記決定された誤り耐性強度に基づいた前記動画像データの訂正用データを前記送信装置に送信させるための要求コマンドを生成する生成手順と、
   前記生成された要求コマンドを前記送信装置に送信する送信手順と
   を実行させ、
   前記決定手順は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とするプログラム。
5. 受信した動画像データを表示する受信装置に動画像データを送信する送信装置が行う通信方法であって、
   前記受信装置から、受信した動画像データのうち表示している領域と表示していない領域に関する情報を受信する受信工程と、
   前記受信装置が前記動画像データを表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記受信装置が前記動画像データを表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、前記受信した領域に関する情報に基づいて前記第１、第２の領域の誤り耐性強度を決定する決定工程と、
   前記決定された誤り耐性強度に基づいて前記動画像データのエラーを前記受信装置が訂正するための訂正用データを生成する生成工程と、
   前記動画像データと前記訂正用データを送信する送信工程と
   を有し、
   前記決定工程は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とする通信方法。
6. 受信した動画像データを表示する受信装置に動画像データを送信するコンピュータに、前記受信装置から、受信した動画像データのうち表示している領域と表示していない領域に関する情報を受信する受信手順と、
   前記受信装置が前記動画像データを表示させている第１の領域に対応する動画像データの誤り耐性強度が、前記受信装置が前記動画像データを表示させていない第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、前記受信した領域に関する情報に基づいて前記第１、第２の領域の誤り耐性強度を決定する決定手順と、
   前記決定された誤り耐性強度に基づいて前記動画像データのエラーを前記受信装置が訂正するための訂正用データを生成する生成手順と、
   前記動画像データと前記訂正用データを送信する送信手順と
   を実行させ、
   前記決定手順は、前記送信装置からの動画像データの表示領域のうち、他の画像であって所定の透過率で透過する画像が表示されている第３の領域に対応する動画像データの誤り耐性強度のほうが、他の画像であって透過しない画像が表示されている前記第２の領域に対応する動画像データの誤り耐性強度よりも高くなるように、動画像データの領域の誤り耐性強度を決定することを特徴とするプログラム。

Images