JPWO2011027479A1 - 画像送信装置及び画像受信装置 - Google Patents

Abstract

画像送信装置（１００）は、複数の映像処理のいずれか１つを所定単位の画像に適用し、映像データを生成する映像処理部（１０２）と、所定単位の画像のフレーム番号と、所定単位の画像の座標情報と、映像データのサブサンプル／非サブサンプルを識別する情報と、映像データにサブサンプル処理が行われている場合における映像データの画素位相情報と、映像データの圧縮／非圧縮を識別する情報と、映像データのサイズ情報と、映像データとを含む伝送データを出力する出力部（１０３）とを具備する。

Description

本発明は、画像の送信及び受信に関する。

無線などの限られた伝送帯域において高精細な映像データを高品質実時間伝送するためには、伝送速度の変動に対する追随性及び伝送エラーに対する耐性を備える低遅延な画像圧縮／画像伸張技術が必要となる。

特許文献１記載の映像データ処理装置は、画像を画素位相に従ってサブサンプルして複数のサブサンプル画像に分離し、各サブサンプル画像を圧縮する。この映像データ処理装置によれば、複数のサブサンプル画像のうち一部がエラーにより欠落したとしても、残りの正常なサブサンプル画像に基づいてエラー隠蔽できる。

特許文献２記載の画像通信方法は、画像をブロック単位で可変長圧縮し、各ブロックの圧縮データに当該圧縮データのサイズを付加して送信する。この画像通信方法によれば、各ブロックの圧縮データの位置が受信側にとって既知となるため、ランダムアクセスが可能となる。即ち、この画像通信方法によれば、伝送エラーの伝播範囲がブロックレベルに抑えられる。

特開平６−２２２８８号公報 特開平１１−１８０８６号公報

特許文献１記載の映像データ処理装置は、映像データの無線伝送を想定していない。映像データを無線伝送する場合に、伝送エラー率などの伝送環境は時々刻々と変化する。一般に、サブサンプル処理は、画像の空間的相関を低下させるため、空間方向予測を利用した画像圧縮の効率を低下させる。故に、サブサンプル処理は、伝送エラー率が高い伝送環境において好適であるが、伝送エラー率が低い伝送環境において必ずしも好適でない。この映像データ処理装置は伝送エラー率が低い場合にもサブサンプル処理を行うため、高効率な画像圧縮に不向きである。また、サブサンプル処理に基づくエラー隠蔽は、伝送エラー率が著しく高い（複数のサブサンプル画像が殆ど欠落するような）伝送環境では機能しない。

特許文献２記載の画像通信方法は、ブロック毎の圧縮データサイズを送信データに格納する。故に、圧縮データサイズを表現するために大きな情報量が必要となる。また、この圧縮データサイズを表現する領域にエラーが生じると、ブロックの圧縮データへのランダムアクセスが破綻し、エラーがブロックレベルを超えて伝播するおそれがある。

従って、本発明は、伝送環境の変動に対して安定的に高品質な映像を伝送するための画像送信／画像受信の技術を提供することを目的とする。

本発明の一態様に係る画像送信装置は、入力画像を所定単位の画像に分割する分割部と、（ａ）前記所定単位の画像を映像データとして生成する第１の映像処理と、（ｂ）前記所定の単位の画像を圧縮して映像データを生成する第２の映像処理と、（ｃ）前記所定単位の画像を画素位相に従って複数のサブサンプル画像に画素分離するサブサンプル処理を行って、各サブサンプル画像を映像データとして生成する第３の映像処理と、（ｄ）前記所定単位の画像を画素位相に従って複数のサブサンプル画像に分離するサブサンプル処理を行って、各サブサンプル画像を圧縮して映像データを生成する第４の映像処理とのうちいずれか１つを前記所定単位の画像に適用し、前記映像データを生成する映像処理部と、前記所定単位の画像のフレーム番号と、前記所定単位の画像の座標情報と、前記映像データのサブサンプル／非サブサンプルを識別する情報と、前記映像データにサブサンプル処理が行われている場合における当該映像データの画素位相情報と、前記映像データの圧縮／非圧縮を識別する情報と、前記映像データのサイズ情報と、前記映像データとを含む伝送データを出力する出力部とを具備する。

本発明の他の態様に係る画像受信装置は、所定単位の画像のフレーム番号と、前記所定単位の画像の座標情報と、映像データのサブサンプル／非サブサンプルを識別する情報と、前記映像データにサブサンプル処理が行われている場合における当該映像データの画素位相情報と、前記映像データの圧縮／非圧縮を識別する情報と、前記映像データのサイズ情報と、前記映像データとを含む伝送データを入力する入力部と、前記映像データのサイズ情報に従って、前記伝送データから前記映像データを抽出する抽出部と、前記映像データの圧縮／非圧縮を識別する情報が当該映像データに圧縮処理が行われていることを示すならば当該映像データを伸張する伸張部と前記映像データのサブサンプル／非サブサンプルを識別する情報が当該映像データにサブサンプル処理が行われていることを示すならば、前記画素位相情報に従って前記映像データに逆サブサンプル処理を行って、前記所定単位の画像を再構成する逆サブサンプル部と、前記所定単位の画像の座標情報に基づいて、前記所定単位の画像の表示領域を決定する表示領域決定部と、前記所定単位の画像のフレーム番号に基づいて、前記所定単位の画像の表示フレームを決定する表示順序決定部とを具備する。

本発明の他の態様に係る画像送信装置は、入力画像を分割した所定単位の画像を入力する画像入力部と、水平方向の縮小変換を前記所定単位の画像の信号コンポーネント毎に行うフォーマット変換部と、前記縮小変換が施された所定単位の画像に対して、水平方向の画素分離を行う画素分離部と、前記画素分離が施された所定単位の画像を、分離された画素位相毎に独立して圧縮し、画像圧縮データを得る圧縮部と、前記画像圧縮データをパケット化するパケット化部と、前記パケット化された画像圧縮データを送信する送信部とを具備し、（１）前記画像圧縮データと、（２）前記入力画像の色空間の情報と、前記画像圧縮データに関する（３）水平方向の縮小率の情報と、（４）画素分離タイプの情報と、（５）画素分離位相の情報とを伝送する。

本発明の他の態様に係る画像受信装置は、入力画像を分割した所定単位の画像または前記所定単位の画像を水平方向に画素分離した画像の（１）画像圧縮データと、（２）前記入力画像の色空間の情報と、前記画像圧縮データに関する（３）水平方向の縮小率の情報と、（４）画素分離タイプの情報と、（５）画素分離位相の情報とを含む複数のパケットを受信する受信部と、前記パケットから前記（１）乃至（５）の情報を抽出するデパケット部と、前記画像圧縮データを伸張する伸張部と、前記画素分離タイプの情報及び前記画素分離位相の情報に応じて、伸張した画像の水平方向の画素結合を行う画素結合部と、前記水平方向の縮小率の情報に応じて、前記画素結合した画像を信号コンポーネント毎に水平方向に拡大するフォーマット変換部と、フォーマット変換が行われた画像を出力する画像出力部とを具備する。

本発明の他の態様に係る画像送信装置は、入力画像フレームをスライス単位に分割する分割部と、前記スライス単位に閉じた圧縮を行って圧縮画像データを生成する圧縮部と、パケット化されたデータ信号を生成するために、（１）前記圧縮画像データ、（２）前記入力画像フレームの色空間がＲＧＢ、ＹＣｂＣｒ４２２およびＹＣｂＣｒ４４４のうちのどの色空間であるかを示す色空間情報、（３）前記入力画像フレームのフレームサイズ情報、（４）前記スライスが前記入力画像フレームの所定単位の画像であるか、又は、前記所定単位の画像を２つのパーティションに分離したうちの一方の画像であるか、を示す分離情報、（５）前記スライスが属するフレーム番号を示すフレーム番号情報、（６）前記スライスがフレーム内で表示されるべき位置を示す表示位置情報、（７）前記スライスが、（Ａ）前記所定単位の画像を偶数列の画素と奇数列の画素とに分離する画素分離モード、（Ｂ）前記所定単位の画像をチェッカーボードパターンの第１位相の画素と第２位相の画素とに分離する画素分離モード、および、（Ｃ）前記所定単位の画像を左半分の画像と右半分の画像とに分離する画素分離モード、のうちの、どの画素分離モードに基づくパーティションであるかを示す画素分離タイプ情報、（８）前記スライスが前記２つのパーティションのうちのどちらであるかを示すパーティション番号情報、および、（９）前記所定単位の画像の各信号コンポーネントの水平サブサンプリング率を示す水平サブサンプリング率情報、をパケット化するパケット化部と、前記パケット化されたデータ信号をＯＦＤＭ変調して５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の無線伝送チャンネルで送信する送信部と、を具備する。

本発明の他の態様に係る画像受信装置は、５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の無線伝送チャンネルで受信された信号をＯＦＤＭ復調することにより、複数のパケットデータを受信する受信部と、前記複数のパケットデータから（１）スライス単位で圧縮された画像データ、（２）前記画像データのフレームの色空間が、ＲＧＢ、ＹＣｂＣｒ４２２およびＹＣｂＣｒ４４４のうちの、どの色空間であるかを示す色空間情報、（３）前記フレームのフレームサイズ情報、（４）前記スライスが前記フレームの所定単位の画像であるか、又は、前記所定単位の画像を２つのパーティションに分離したうちの一方の画像であるか、を示す分離情報、（５）前記スライスが属する前記フレームの番号を示すフレーム番号情報、（６）前記スライスが前記フレーム内で表示されるべき位置を示す表示位置情報、（７）前記スライスが、（Ａ）前記所定単位の画像を偶数列の画素と奇数列の画素とに分離する画素分離モード、（Ｂ）前記所定単位の画像をチェッカーボードパターンの第１位相の画素と第２位相の画素とに分離する画素分離モード、および、（Ｃ）前記所定単位の画像を左半分の画像と右半分の画像とに分離する画素分離モード、のうちの、どの画素分離モードに基づくパーティションであるかを示す画素分離タイプ情報、（８）前記スライスが前記２つのパーティションのうちのどちらであるか示すパーティション番号情報、および、（９）前記所定単位の画像の各信号コンポーネントの水平サブサンプリング率を示す水平サブサンプリング率情報、をデパケット化するデパケット化部と、前記（１）から（９）の情報に基づいて、前記画像データを伸張するとともに前記所定単位の画像を再構成する再構成部と、を備える。

本発明によれば、伝送環境の変動に対して安定的に高品質な映像を伝送するための画像送信／画像受信の技術を提供できる。

第１の実施形態に係る画像送信装置を示すブロック図。 図１における映像処理部１０２の詳細を示すブロック図。 第１の実施形態に係る画像受信装置を示すブロック図。 第２の実施形態に係る画像送信装置を示すブロック図。 第２の実施形態に係る画像受信装置を示すブロック図。 第３の実施形態に係る画像送信装置を示すブロック図。 第３の実施形態に係る画像受信装置を示すブロック図。 第１の実施形態における所定単位の画像の説明図。 第３の映像処理部２０３及び第４の映像処理部２０４が行うサブサンプル処理の説明図。 第３の映像処理部２０３及び第４の映像処理部２０４が行うサブサンプル処理の説明図。 第１の実施形態における伝送データの一例を示す図。 逆サブサンプル部３０４が行う逆サブサンプル処理の説明図。 逆サブサンプル部３０４が行う逆サブサンプル処理の説明図。 第２の実施形態における伝送データの一例を示す図。 第３の実施形態における伝送データの一例を示す図。 第４の実施形態における伝送データの一例を示す図。 第５の実施形態に係る画像送信装置のブロック図。 第５の実施形態に係る画像受信装置のブロック図。 第５の実施形態に係る伝送データ構造の例を示す図。 第５の実施形態に係るスライスヘッダの例を示す図。 第５の実施形態に係る画素分離タイプの情報の例を示す図。 第５の実施形態に係る縮小率の情報の例を示す図。 第５の実施形態に係る画素分離の例を示す図。 第５の実施形態に係る画素分離の例を示す図。 第５の実施形態に係る画素分離の例を示す図。 第５の実施形態に係るスライス識別子の例を示す図。 第５の実施形態に係る伝送画像フォーマットの情報の例を示す図。 第５の実施形態に係る色空間の情報の例を示す図。 第５の実施形態に係る画素分離の有効／無効を示す情報の例を示す図。 第５の実施形態に係る圧縮データの色空間の例を示す図。 第５の実施形態に係る圧縮データのブロック数係数の例を示す図。 画素結合部２５の一例を示すブロック図。 第５の実施形態に係る画素分離の効果を説明する図。 第５の実施形態に係る画素分離の効果を説明する図。 第５の実施形態に係る画素分離の効果を説明する図。 第５の実施形態に係る縮小変換の効果を説明する図。

以下、図面を参照して、本発明の実施形態について説明する。尚、本願明細書における「画像圧縮／画像伸張」という用語は、「画像符号化／画像復号化」という用語に置き換えて理解されてもよい。

（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像送信装置１００は、分割部１０１、映像処理部１０２及び出力部１０３を有する。画像送信装置１００は、入力画像１０４から伝送データ１０５を生成する。

分割部１０１は、入力画像１０４を所定単位の画像に分割する。ここで、入力画像１０４は、例えば伝送対象となる映像に含まれる１フレーム分の画像である。分割部１０１は、この入力画像１０４を空間的に分割する。分割部１０１は、例えば図８に示すように、入力画像１０４を複数の所定単位の画像に分割する。図８において、所定単位の画像は、幅が１フレームの半分であって高さが１６画素の領域内の画素集合である。尚、所定単位の画像は、図８に示すものに限られない。分割部１０１は、所定単位の画像と、当該所定単位の画像のフレーム番号と、当該所定の画像の座標情報とを映像処理部１０２に入力する。フレーム番号は所定単位の画像の属するフレーム（時間的位置）を識別し、座標情報はフレーム内で所定単位の画像が占める領域（空間的位置）を識別するために利用される。

映像処理部１０２は、所定単位の画像に対して後述する第１乃至第４の映像処理のいずれかを適用し、映像データを生成する。映像処理部１０２は、伝送速度及び伝送エラー率に応じて上記第１乃至第４の映像処理を選択し、所定単位の画像に適用する。映像処理部１０２における映像処理の選択は、第１乃至第４の映像処理の適用前になされてもよいし、第１乃至第４の映像処理の適用後になされてもよい。伝送速度及び伝送エラー率は、任意の既存の手法を利用して取得できる。

映像処理部１０２は、図２に示すように、第１の映像処理部２０１、第２の映像処理部２０２、第３の映像処理部２０３及び第４の映像処理部２０４を有する。
第１の映像処理部２０１は、所定単位の画像２０５に対して第１の映像処理を行う。第１の映像処理は、所定単位の画像２０５に対する圧縮及びサブサンプル処理を含まない。即ち、第１の映像処理部２０１は、所定単位の画像２０５をそのまま映像データ２０８として生成する。第１の映像処理によって生成される映像データ２０８は、データ量が大きくエラー耐性が低い。故に、第１の映像処理は、伝送速度２０６が高く、伝送エラー率２０７が低い伝送環境において好適である。

第２の映像処理部２０２は、所定単位の画像２０５に対して第２の映像処理を行う。第２の映像処理部２０２は、所定単位の画像２０５に対して圧縮処理を行って、映像データ２０８を生成する。尚、第２の映像処理は、サブサンプル処理を含まない。第２の映像処理における圧縮方式、圧縮率などは任意である。第２の映像処理によって生成される映像データ２０８は、データ量が小さくエラー耐性が低い。故に、第２の映像処理は、伝送速度２０６及び伝送エラー率２０７が低い伝送環境において好適である。

第３の映像処理部２０３は、所定単位の画像２０５に対して第３の映像処理を行う。第３の映像処理は、所定単位の画像２０５に対するサブサンプル処理を含む。即ち、第３の映像処理部２０３は、所定単位の画像２０５を画素位相に従って複数のサブサンプル画像に画素分離し、各サブサンプル画像を映像データ２０８として生成する。尚、第３の映像処理は、圧縮処理を含まない。第３の映像処理におけるサブサンプル処理の方式は任意である。第３の映像処理によって生成される映像データ２０８は、データ量が大きくエラー耐性が高い。故に、第３の映像処理は、伝送速度２０６及び伝送エラー率２０７が高い伝送環境において好適である。

第４の映像処理部２０４は、所定単位の画像２０５に対して第４の映像処理を行う。第４の映像処理は、所定単位の画像２０５に対するサブサンプル処理及び圧縮処理を含む。即ち、第４の映像処理部２０４は、所定単位の画像２０５を画素位相に従って複数のサブサンプル画像に画素分離し、サブサンプル画像毎に圧縮処理を行って映像データ２０８を生成する。第４の映像処理におけるサブサンプル処理の方式、圧縮方式、圧縮率などは任意である。第４の映像処理によって生成される映像データ２０８は、データ量が小さくエラー耐性が高い。故に、第４の映像処理は、伝送速度２０６が低く伝送エラー率２０７が高い伝送環境において好適である。

尚、伝送エラー率２０７が高い伝送環境においてサブサンプル処理が好適であると述べたが、伝送エラー率２０７が著しく高い場合には受信側においてサブサンプル処理に基づくエラー隠蔽が機能しないおそれがある。このような場合には、映像処理部１０２はデータ再送を想定した映像処理を適用してもよい。例えば、映像処理部１０２は、第２または第４の映像処理を通常よりも高い圧縮率で実行して映像データ２０８を生成し、図示しないバッファなどに再送のために一時保存しておいてもよい。

以下、第３及び第４の映像処理におけるサブサンプル処理の具体例を説明する。尚、第３の映像処理部２０３及び第４の映像処理部２０４は、いずれか１つのサブサンプル処理を固定的に適用してもよいし、複数のサブサンプル処理から１つを適応的に選択して適用してもよい。複数のサブサンプル処理を切り替え可能とする場合には、適用されたサブサンプル処理を識別する情報を後述する伝送データ１０５に格納させてもよい。

例えば、図９Ａ及び図９Ｂに示すように、サブサンプル処理において、所定単位の画像内の画素を水平方向及び垂直方向で偶奇的に分離することにより４つのサブサンプル画像が生成されてよい。換言すれば、所定単位の画像内の奇数番目の水平方向ライン及び奇数番目の垂直方向ラインの交点画素で構成されるサブサンプル画像と、奇数番目の水平方向ライン及び偶数番目の垂直方向ラインの交点画素で構成されるサブサンプル画像と、偶数番目の水平方向ライン及び奇数番目の垂直方向ラインの交点画素で構成されるサブサンプル画像と、偶数番目の水平方向ライン及び偶数番目の垂直方向ラインの交点画素で構成されるサブサンプル画像とが生成されてよい。また、このサブサンプル処理は、２×２画素ブロック単位での相対的な位置に応じて画素を分離して、４つのサブサンプル画像を生成しているとみなすこともできる。図９Ａは、このサブサンプル処理前の所定単位の画像を示している。図９Ａにおいて、奇数番目の水平方向ライン及び奇数番目の垂直方向ラインの交点画素は三角印、奇数番目の水平方向ライン及び偶数番目の垂直方向ラインの交点画素は菱形印、偶数番目の水平方向ライン及び奇数番目の垂直方向ラインの交点画素は正方形印、偶数番目の水平方向ライン及び偶数番目の垂直方向ラインの交点画素は丸印で夫々示されている。尚、図９Ａにおいて画素０の座標は（０，０）、画素３１の座標は（７，３）であるものとする。図９Ａに示す所定単位の画像を、前述の規則に従ってサブサンプルすると、図９Ｂに示す４つのサブサンプル画像が生成される。尚、図９Ａ及び図９Ｂにおいて同一画素には同一符号が付されている。

また、サブサンプル処理において、所定単位の画像内の画素を水平方向、垂直方向または斜め方向（チェッカーボード型）で偶奇的に分離することにより２つのサブサンプル画像が生成されてよい。

映像処理部１０２は、第１乃至第４の映像処理の適用によって得られた映像データ２０８と共に、所定単位の画像のフレーム番号、所定単位の画像の座標情報、サブサンプル／非サブサンプルを識別する情報、画素位相情報、圧縮／非圧縮を識別する情報、映像データ２０８のサイズ情報を出力部１０３に入力する。サブサンプル／非サブサンプルを識別する情報は、映像データ２０８を生成するためにサブサンプル処理が行われているか否かを示す。また、複数のサブサンプル処理の切り替えを行う場合は、サブサンプル／非サブサンプルを識別する情報に各サブサンプル処理の識別情報も含まれる。画素位相情報は、サブサンプル処理が行われている場合に映像データ２０８が表現するサブサンプル画像を示す。圧縮／非圧縮を識別する情報は、映像データ２０８を生成するために圧縮処理が行われているか否かを示す。映像データ２０８のサイズ情報は、例えば映像データ２０８の総サイズなどを示す。

出力部１０３は、映像処理部１０２からのデータの形式を整えて伝送データ１０５を生成し、出力する。伝送データ１０５は、伝送速度及び伝送エラー率が時間変化する伝送路（例えば、無線伝送路）を介して画像受信装置に伝送される。伝送データ１０５のフォーマットは、例えば図１０に示す通りである。尚、図１０のフォーマットにおいて、各フィールドの位置は適宜変更されてよいし、図示されていない情報が追加されてもよい。

以上説明したように、本実施形態に係る画像送信装置は、時間変化する伝送速度及び伝送エラー率に基づいて圧縮処理、サブサンプル処理などの映像処理の適用／非適用を切り替えている。従って、本実施形態に係る画像送信装置によれば、伝送速度または伝送エラー率の変動に対して安定的に高品質な映像を伝送できる。

図３に示すように、本実施形態に係る画像受信装置３００は、入力部３０１、映像データ抽出部３０２、伸張部３０３、逆サブサンプル部３０４、表示領域決定部３０５及び表示順序決定部３０６を有する。画像受信装置３００は、伝送データ１０５から出力映像３０７を生成する。伝送データ１０５は、図１の画像送信装置１００などから例えば無線伝送路を介して伝送される。

入力部３０１は、伝送データ１０５を映像データ抽出部３０２に入力する。尚、入力部３０１は、伝送データ１０５においてエラーを検出した場合には、当該伝送データ１０５の一部または全部を再送するように送信側（画像送信装置１００など）に要求してもよい。尚、エラーを検出するためには、例えば既存の誤り訂正符号を利用すればよい。

映像データ抽出部３０２は、伝送データ１０５に含まれる映像データのサイズ情報に従って、伝送データ１０５から映像データ２０８を抽出する。伝送データ１０５中の圧縮／非圧縮を識別する情報が映像データ２０８に圧縮処理が行われていることを示すならば、当該映像データ２０８は伸張部３０３に入力される。伝送データ１０５中の圧縮／非圧縮を識別する情報が映像データ２０８に圧縮処理が行われていないことを示し、かつ、サブサンプル／非サブサンプルを識別する情報が当該映像データ２０８にサブサンプル処理が行われていることを示すならば、当該映像データ２０８は逆サブサンプル部３０４に入力される。伝送データ１０５中の圧縮／非圧縮を識別する情報が映像データ２０８に圧縮処理が行われていないことを示し、かつ、サブサンプル／非サブサンプルを識別する情報が当該映像データ２０８にサブサンプル処理が行われていないことを示すならば、当該映像データ２０８は所定単位の画像として表示領域決定部３０５に入力される。

伸張部３０３は、入力された映像データを伸張する。尚、伸張部３０３が行う伸張処理は、送信側（画像送信装置１００など）において適用された圧縮処理に対応する。伝送データ１０５中のサブサンプル／非サブサンプルを識別する情報が当該映像データ２０８にサブサンプル処理が行われていることを示すならば伸張された映像データは逆サブサンプル部３０４に入力され、そうでなければ伸張された映像データは所定単位の画像として表示領域決定部３０５に入力される。

逆サブサンプル部３０４には、所定単位の画像を画素分離したサブサンプル画像に相当する映像データが入力される。逆サブサンプル部３０４は、伝送データ１０５中の画素位相情報に従って複数の映像データに逆サブサンプル処理（画素統合）を行って所定単位の画像を再構成する。尚、エラーによって一部のサブサンプル画像が欠落している場合には、逆サブサンプル部３０４は欠落した画素を（空間的にまたは時間的に）近隣の正常な画素に基づいて補間してもよい。尚、逆サブサンプル部３０４が行う逆サブサンプル処理は、送信側（画像送信装置１００など）において適用されたサブサンプル処理に対応する。例えば、送信側において図９Ａ及び図９Ｂに示すようなサブサンプル処理が行われているならば、逆サブサンプル部３０４は図１１Ａに示すサブサンプル画像から図１１Ｂに示す所定単位の画像を再構成すればよい。また、送信側にて複数のサブサンプル処理の切り替えが行われる場合には、サブサンプル／非サブサンプルを識別する情報に含まれるサブサンプル処理の識別情報に従い逆サブサンプル処理の内容を決定する。逆サブサンプル部３０４は、再構成した所定単位の画像を表示領域決定部３０５に入力する。

表示領域決定部３０５は、伝送データ１０５中の所定単位の画像の座標情報に従って、所定単位の画像の表示領域（空間的位置）を決定する（例えば、図８を参照）。表示順序決定部３０６は、伝送データ１０５中の所定単位の画像のフレーム番号に従って、所定単位の画像の表示フレームを決定し、出力映像３０７を生成する。出力映像３０７は、テレビなどのディスプレイ装置へ出力される。

以上説明したように、本実施形態に係る画像受信装置は、本実施形態に係る画像送信装置に対応している。従って、本実施形態に係る画像受信装置によれば、伝送速度または伝送エラー率の変動に対して安定的に高品質な映像を出力することが可能となる。

（第２の実施形態）
図４に示すように、本発明の第２の実施形態に係る画像送信装置４００は、ブロック分割部４０１、圧縮部４０２及び出力部４０３を有する。画像送信装置４００は、所定単位の画像４０４に圧縮処理を行って、伝送データ４０６を生成する。尚、画像送信装置４００は、図１の画像送信装置１００における第２の映像処理部２０２または第４の映像処理部２０４の一部として適宜組み込まれてもよい。

ブロック分割部４０１は、所定単位の画像４０４を分割し、複数の画像ブロックを生成する。尚、画像ブロックの形状及びサイズは限定されない。ブロック分割部４０１は、複数の画像ブロックを圧縮部４０２に入力する。

圧縮部４０２は、所定サイズ４０５に従って画像ブロックを圧縮する。所定サイズ４０５は、各画像ブロックの圧縮後のデータ量を指定するパラメータである。即ち、圧縮部４０２は、所定サイズ４０５を上回らないように画像ブロックを圧縮する。所定サイズ４０５は、可変値であってもよいし、固定値であってもよい。所定サイズ４０５が可変値であるならば、伝送速度の変動に追随するように変化させてもよい。圧縮部４０２は、画像ブロックの圧縮データ（以下、単にブロック圧縮データと称する）を出力部４０３に入力する。

出力部４０３は、図１２に示すように、所定単位の画像４０４に対応する複数のブロック圧縮データのまとまりと上記所定サイズ情報とを含む映像データと、この映像データの総サイズ情報を伝送データ４０６として生成する。所定サイズ情報は、所定サイズ４０５を示す情報である。尚、所定サイズ情報は映像データの一部でなく映像データのサイズ情報の一部として扱われてもよい。総サイズ情報は、映像データの総サイズに関する情報である。伝送データ４０６は、例えば無線伝送路を介して画像受信装置に伝送される。画像受信装置は、この所定サイズ情報及び総サイズ情報に基づいて、任意のブロック圧縮データにアクセス（ランダムアクセス）できる。具体的には、画像受信装置は、総サイズ情報に基づいて複数のブロック圧縮データのまとまりを抽出し、所定サイズ情報に基づいて個々のブロック圧縮データを抽出できる。

以上説明したように、本実施形態に係る画像送信装置は、所定単位の画像を分割した複数の画像ブロックを所定サイズに従って圧縮し、所定サイズ情報及び総サイズ情報と共に伝送する。従って、本実施形態に係る画像送信装置によれば、個々のブロック圧縮データへのランダムアクセスが可能となるため、エラーの伝播範囲がブロックレベルに抑えられる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を伝送できる。

図５に示すように、本実施形態に係る画像受信装置５００は、入力部５０１、分離部５０２及び伸張部５０３を有する。画像受信装置５００は、伝送データ４０６から出力画像５０４を生成する。伝送データ４０６は、図４の画像送信装置４００などから例えば無線伝送路を介して伝送される。尚、画像受信装置５００は、図３の画像受信装置３００における伸張部３０３の一部として適宜組み込まれてもよい。

入力部５０１は、伝送データ４０６を分離部５０２に入力する。尚、入力部５０１は、伝送データ４０６においてエラーを検出した場合には、当該伝送データ４０６の一部または全部を再送するように送信側（画像送信装置４００）に要求してもよい。

分離部５０２は、伝送データ４０６中の総サイズ情報に基づいて、所定サイズ情報と、ブロック圧縮データのまとまりとを分離する。分離部５０２は、所定サイズ情報及びブロック圧縮データのまとまりを伸張部５０３に入力する。

伸張部５０３は、所定サイズ情報に基づいて、ブロック圧縮データのまとまりにおける個々のブロック圧縮データの位置（例えば開始位置）を判定する。各ブロック圧縮データには所定サイズが割り当てられているため、伸張部５０３は個々のブロック圧縮データの位置を一意に識別できる。伸張部５０３は、個々のブロック圧縮データを伸張し、出力画像５０４を生成する。尚、伸張部５０３が行う伸張処理は、送信側（画像送信装置４００など）において適用された圧縮処理に対応する。

伸張部５０３は、一部のブロック圧縮データにおいてエラーを検出した場合には、当該ブロック圧縮データを破棄し、対応する画像ブロックを（空間的または時間的に）近隣の正常な画像ブロックに基づいて補間してもよい。また、伸張部５０３は、一部のブロック圧縮データにおいてエラーを検出した場合には、当該ブロック圧縮データを破棄し、当該ブロック圧縮データの再送を送信側に要求して、再送されたブロック圧縮データを伸張してもよい。これら２種類の処理は、例えば伝送速度に基づいて切り替えられてもよい。即ち、伸張部５０３は、伝送速度が低ければ画像ブロックの補間を行い、伝送速度が高ければ再送要求を行うようにしてもよい。

以上説明したように、本実施形態に係る画像受信装置は、本実施形態に係る画像送信装置に対応している。従って、本実施形態に係る画像受信装置によれば、個々のブロック圧縮データへのランダムアクセスが可能となるため、エラーの伝播範囲がブロックレベルに抑えられる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を出力できる。

（第３の実施形態）
図６に示すように、本発明の第３の実施形態に係る画像送信装置６００は、ブロック分割部６０１、圧縮部６１０及び出力部６０３を有する。画像送信装置６００は、所定単位の画像６０４に圧縮処理を行って、伝送データ６０６を生成する。尚、画像送信装置６００は、図１の画像送信装置１００における第２の映像処理部２０２または第４の映像処理部２０４の一部として適宜組み込まれてもよい。

ブロック分割部６０１は、所定単位の画像６０４を分割し、複数の画像ブロックを生成する。尚、画像ブロックの形状及びサイズは限定されない。ブロック分割部６０１は、複数の画像ブロックを圧縮部６１０に入力する。

圧縮部６１０は、所定サイズ６０５に従って画像ブロックを圧縮する。所定サイズ６０５は、各画像ブロックの圧縮後のデータ量を指定するパラメータである。即ち、圧縮部６０２は、所定サイズ６０５を上回らないように画像ブロックを圧縮する。所定サイズ６０５は、可変値であってもよいし、固定値であってもよい。所定サイズ６０５が可変値であるならば、伝送速度の変動に追随するように変化させてもよい。圧縮部６１０は、複数の圧縮方式からいずれか１つをブロック単位で選択して適用できる。例えば図６に示すように、圧縮部６１０は、例えば第１の圧縮部６１１、第２の圧縮部６１２及び第３の圧縮部６１３を有している。

第１の圧縮部６１１は、画素間差分を圧縮するＤＰＣＭ(Differential Pulse Code Modulation)などの第１の圧縮処理（可逆圧縮）を画像ブロックに適用する。第２の圧縮部６１２は、離散コサイン変換（ＤＣＴ）などの直交変換に伴う低周波領域へのエネルギー集中を利用する第２の圧縮処理（非可逆圧縮）を画像ブロックに適用する。第３の圧縮部６１３は、いわゆるカラーパレット方式の第３の圧縮処理（固定長の画素単位圧縮）を画像ブロックに適用する。カラーパレット方式によって生成されるブロック圧縮データは、画素値及びインデックス番号の対応表（カラーパレット）と、ブロック内の各画素に与えられたインデックス番号とを含む。

圧縮部６１０は、画像ブロックの性質に応じて圧縮方式を選択してもよい。例えば、一般的に、自然画像には第３の圧縮処理に比べて第２の圧縮処理が好適であるし、人工画像（例えば、コンピュータグラフィックス）には第２の圧縮処理に比べて第３の圧縮処理が好適である。また、圧縮部６１０は、第１乃至第３の圧縮処理を試験的に適用し、圧縮歪の最も小さくなる圧縮処理を選択してもよい。圧縮部６１０は、図１３に示すように、画像ブロックに圧縮処理を行って得られる圧縮データに圧縮方式の識別子を付加してブロック圧縮データとして出力部６０３に入力する。

出力部６０３は、図１３に示すように、所定単位の画像６０４に対応する複数のブロック圧縮データのまとまりと上記所定サイズ情報とを含む映像データと、この映像データの総サイズ情報を伝送データ６０６として生成する。所定サイズ情報は、所定サイズ６０５を示す情報である。尚、所定サイズ情報は映像データの一部でなく映像データのサイズ情報の一部として理解されてもよい。総サイズ情報は、映像データの総サイズに関する情報である。伝送データ６０６は、例えば無線伝送路を介して画像受信装置に伝送される。画像受信装置は、この所定サイズ情報及び総サイズ情報に基づいて、任意のブロック圧縮データにアクセス（ランダムアクセス）できる。具体的には、画像受信装置は、総サイズ情報に基づいて複数のブロック圧縮データのまとまりを抽出し、所定サイズ情報に基づいて個々のブロック圧縮データを抽出できる。

以上説明したように、本実施形態に係る画像送信装置は、所定単位の画像を分割した複数の画像ブロックを所定サイズに従って圧縮し、所定サイズ情報及び総サイズ情報と共に伝送する。従って、本実施形態に係る画像送信装置によれば、個々のブロック圧縮データへのランダムアクセスが可能となるため、エラーの伝播範囲がブロックレベルに抑えられる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を伝送できる。また、本実施形態に係る画像送信装置は、複数の圧縮方式をブロック単位で切り替え可能である。従って、本実施形態に係る画像送信装置によれば、個々の画像ブロックの性質に適した圧縮処理を適用できる。

図７に示すように、本実施形態に係る画像受信装置７００は、入力部７０１、分離部７０２及び伸張部７１０を有する。画像受信装置７００は、伝送データ６０６から出力画像６０４を生成する。伝送データ６０６は、図６の画像送信装置６００などから例えば無線伝送路を介して伝送される。尚、画像受信装置７００は、図３の画像受信装置３００における伸張部３０３の一部として適宜組み込まれてもよい。

入力部７０１は、伝送データ６０６を分離部７０２に入力する。尚、入力部７０１は、伝送データ６０６においてエラーを検出した場合には、当該伝送データ６０６の一部または全部を再送するように送信側（画像送信装置６００）に要求してもよい。

分離部７０２は、伝送データ６０６中の総サイズ情報に基づいて、所定サイズ情報と、ブロック圧縮データのまとまりとを分離する。分離部７０２は、所定サイズ情報及びブロック圧縮データのまとまりを伸張部７１０に入力する。

伸張部７１０は、所定サイズ情報に基づいて、ブロック圧縮データのまとまりにおける個々のブロック圧縮データの位置（例えば開始位置）を判定する。各ブロック圧縮データには所定サイズが割り当てられている、伸張部７１０は個々のブロック圧縮データの位置を一意に識別できる。伸張部７１０は、圧縮方式の識別子に従って個々のブロック圧縮データを伸張し、出力画像７０４を生成する。尚、伸張部７１０が行う伸張処理は、送信側（画像送信装置６００など）において適用された圧縮処理に対応する。例えば図７に示すように、伸張部７１０は、第１の伸張部７１１、第２の伸張部７１２及び第３の伸張部７１３を有している。

第１の伸張部７１１は、図６の第１の圧縮部６１１に対応する。即ち、第１の伸張部７１１は、第１の圧縮処理に対応する第１の伸張処理をブロック圧縮データに適用し、出力画像７０４を生成する。第２の伸張部７１２は、図６の第２の圧縮部６１２に対応する。即ち、第２の伸張部７１２は、第２の圧縮処理に対応する第２の伸張処理をブロック圧縮データに適用し、出力画像７０４を生成する。第３の伸張部７１３は、図６の第３の圧縮部６１３に対応する。即ち、第３の伸張部７１３は、第３の圧縮処理に対応する第３の伸張処理をブロック圧縮データに適用し、出力画像７０４を生成する。

伸張部７１０は、一部のブロック圧縮データにおいてエラーを検出した場合には、当該ブロック圧縮データを破棄し、対応する画像ブロックを（空間的または時間的に）近隣の正常な画像ブロックに基づいて補間してもよい。また、伸張部７１０は、一部のブロック圧縮データにおいてエラーを検出した場合には、当該ブロック圧縮データを破棄し、当該ブロック圧縮データの再送を送信側に要求して、再送されたブロック圧縮データを伸張してもよい。これら２種類の処理は、例えば伝送速度に基づいて切り替えられてもよい。即ち、伸張部７１０は、伝送速度が低ければ画像ブロックの補間を行い、伝送速度が高ければ再送要求を行うようにしてもよい。

以上説明したように、本実施形態に係る画像受信装置は、本実施形態に係る画像送信装置に対応している。従って、本実施形態に係る画像受信装置によれば、個々のブロック圧縮データへのランダムアクセスが可能となるため、エラーの伝播範囲がブロックレベルに抑えられる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を出力できる。また、本実施形態に係る画像受信装置は、圧縮方式の識別子に従って複数の伸張方式をブロック単位で切り替えて適用する。従って、本実施形態に係る画像受信装置によれば、個々の画像ブロックの性質に適合した高品質な画像を出力できる。

（第４の実施形態）
本発明の第４の実施形態に係る画像送信装置８００は、図４の画像送信装置４００において圧縮部４０２を別の圧縮部８１０に置き換えた構成に相当する。以下の説明では、圧縮部８１０と圧縮部４０２との間で異なる部分を中心に説明する。尚、画像送信装置８００は、図１の画像送信装置１００における第２の映像処理部２０２または第４の映像処理部２０４の一部として適宜組み込まれてもよい。

圧縮部８１０は、圧縮部４０２と同じ圧縮処理を行う。即ち、所定サイズ４０５を上回らないように画像ブロックを圧縮する。このとき、ブロック圧縮データのサイズは必ずしも所定サイズ４０５に一致せず、残余領域（パディング領域）が生じることがある。この残余領域は、通常、意味の無いパディングビットで満たされる。圧縮部８１０は、図１４に示すように、この残余領域に所定のビットパターンを格納させる。この所定のビットパターンは、任意であるが、例えば「０」の羅列または「１」の羅列であってもよいし、所定単位の画像のフレーム番号、所定単位の画像の座標情報などの特徴量の一部（上位ビット、下位ビットなど）であってもよい。但し、この所定のビットパターンは、送信側（画像送信装置）と受信側（画像受信装置）との間で共通の規則に従って生成されるものとする。

以上説明したように、本実施形態に係る画像送信装置は、各ブロック圧縮データにおいて所定サイズに満たない残余領域に共通の規則に従って生成したビットパターンを格納させる。従って、本実施形態に係る画像送信装置によれば、送受間でのビットパターンの一致／不一致によりエラーを判定できる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を伝送できる。

本実施形態に係る画像受信装置９００は、図５の画像受信装置５００において伸張部５０３を別の伸張部９１０に置き換えた構成に相当する。以下の説明では、伸張部９１０と圧縮部５０３との間で異なる部分を中心に説明する。

伸張部９１０は、伸張部５０３と同じ伸張処理を行う。更に、伸張部９１０は、画像ブロックの伸張データが所定サイズに満たなければ、画像送信装置８００との共通規則に従ってビットパターンを生成する。伸張部９１０は、生成したビットパターンと、ブロック圧縮データに格納されているビットパターンとを照合する。伸張部９１０は、両者が不一致であれば、ブロック圧縮データのエラーを検出する。また、伸張部９１０は、画像ブロックの伸張データが所定サイズを超える場合にも、ブロック圧縮データのエラーを検出する。尚、伸張部９１０は、ブロック圧縮データのエラーを検出した場合には、伸張部５０３と同様に画像ブロックの補間、再送要求などを実行する。

以上説明したように、本実施形態に係る画像受信装置は、本実施形態に係る画像送信装置に対応している。従って、本実施形態に係る画像受信装置によれば、送受間でのビットパターンの一致／不一致によりエラーを判定できる。即ち、伝送エラー率が一時的に上昇したとしても安定的に高品質な画像を出力できる。

（第５の実施形態）
図１５は、本発明の第５の実施形態に係る画像送信装置のブロック図である。入力画像１１は、画像入力部１２に入力される。画像入力部１１は、入力画像１１を所定単位の画像（例えば、連続する所定ライン数の画像領域）毎に、フォーマット変換部１３に入力する。フォーマット変換部１３は、水平方向の縮小変換を所定単位の画像の信号コンポーネント毎に行う。尚、フォーマット変換部１３は、色空間の変換（例えば、ＲＧＢからＹＣｂＣｒへの変換）を更に行ってもよい。水平方向の縮小変換が施された所定単位の画像は、画素分離部１４により水平方向の複数の位相の画素に分離される。圧縮部１５は、分離された画素位相毎に独立して所定単位の画像に対する圧縮処理（例えば、ＤＣＴ（離散コサイン変換）を用いた圧縮）を行う。圧縮されたデータは、パケット化部１６によりパケット化される。パケット化されたデータは、送信部１７により例えばＯＦＤＭ変調されて伝送データ１８として６０ＧＨｚ帯のミリ波の無線で伝送される。送信部１７は、例えば、５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の伝送チャンネルを用いて伝送データ１８を送信する。フォーマット変換部１３、画素分離部１４及び圧縮部１５は、それぞれ未処理（バイパスの処理）を含む複数のモードを備え、所定単位の画像毎にそれぞれのモードを変更できる。伝送データ１８は、フォーマット変換部１３における縮小率の情報１９、画素分離部１４における画素分離タイプ及び画素分離位相の情報２０、および、圧縮部１５の圧縮モードの情報を含む。

図１６は、本実施形態に係る画像受信装置のブロック図である。図１６に示す画像受信装置は、図１５の画像送信装置によって圧縮された画像圧縮データを含む伝送データ２１を受信して、画像圧縮データの伸張を行う。伝送データ２１は、例えばＯＦＤＭ変調された６０ＧＨｚ帯のミリ波の無線信号である。伝送データ２１は、例えば、５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の伝送チャンネルを用いて送信される。受信部２２は伝送データ２１を受信する。受信部２２は、受信された伝送データ２１に対して復調処理を行う。デパケット化部２３は、復調された伝送データ２１から、画像圧縮データ、縮小率の情報２９、画素分離タイプ及び画素分離位相の情報３０を抽出する。縮小率の情報２９、画素分離タイプ及び画素分離位相情報３０は、所定単位の画像圧縮データ毎に指定されている。伸張部２４は、受信した画像圧縮データの伸張処理を所定単位の画像圧縮データ毎に行う。伸張部２４は、上記縮小率の情報２９に加えて、後述する入力画像の色空間の情報、画像フレームの横幅の情報及び画素分離の有効／無効を示す情報を、所定単位の画像圧縮データ毎に用いて伸張処理を行う。画素結合部２５は、画素分離タイプ及び画素分離位相の情報３０を用いて、伸張された画像の画素結合処理を行う。フォーマット変換部２６は、縮小率の情報２９を用いて、水平方向の拡大処理を画素結合された画像の信号コンポーネント毎に行う。尚、フォーマット変換部１３は、色空間の変換（例えば、ＹＣｂＣｒからＲＧＢへの変換）を更に行ってもよい。画像出力部２７は、フォーマット変換された画像を、ライン単位の再生画像２８として出力する。

図１７は、第５の実施形態に係る伝送データ構造の例を示す図である。所定単位の画像は、分離された画素位相毎に独立して圧縮される。ここでは、独立して圧縮された圧縮データをスライスと呼ぶ。各スライスは、固定のブロックサイズ（例えば８ｘ８画素）の複数のブロックに分割されてブロック単位で圧縮される。各スライスには、固定ビット長のスライスヘッダが付与され、スライスヘッダとスライスとの組を、圧縮スライスデータユニットと呼ぶ。圧縮スライスデータユニットは、パケット化部１６によって、複数のデータに分割され、分割されたデータごとにヘッダが付与されてパケット化される。

図１８は、第５の実施形態に係るスライスヘッダの例を示す図である。スライスヘッダには、画素分離タイプを示す２ビットのｐａｒｔｉｔｉｏｎ＿ｔｙｐｅと水平縮小率を示す２ビットのｈ＿ｓｕｂｓａｍｐｌｉｎｇのデータフィールドが含まれる。

図１９は、第５の実施形態に係る画素分離タイプの情報ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅを説明する図である。ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＝０は、水平方向に画像ラインを左右２分割する画素分離タイプを示す。また、後述するＰａｒｔｉｔｉｏｎＥｎａｂｌｅが０（画素分離オフ）の場合には、ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅは必ず０がセットされ画素分離無しを意味する。図２１に、水平左右分割の例を示す。この水平左右分割では、連続する８ラインを所定単位の画像とし、画像フレームの左半分をパーティション０（画素分離位相１）、右半分をパーティション１（画素分離位相２）として２つの領域に分割し、分離されたパーティション（画素位相）毎に独立して圧縮が行われる。ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＝１は、水平方向に偶数画素と奇数画素で画素を分離する画素分離タイプを示す。図２２に、水平偶数奇数画素分離の例を示す。この水平偶数奇数画素分離では、連続する８ラインを所定単位の画像とし、水平方向偶数番目の画素をパーティション０（画素分離位相１）、奇数番目の画素をパーティション１（画素分離位相２）として分離して、分離されたパーティション（画素位相）毎に独立して圧縮が行われる。ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＝２は、チェッカーボード状に画素を分離するケースを示す。図２３に、チェッカーボード画素分離の例を示す。このチェッカーボード画素分離では、連続する８ラインを所定単位の画像とし、偶数ラインの偶数番目の画素及び奇数ラインの奇数番目の画素をパーティション０（画素分離位相１）、偶数ラインの奇数番目の画素及び奇数ラインの偶数番目の画素をパーティション１（画素分離位相２）として水平方向に分離して、分離されたパーティション（画素位相）毎に独立して圧縮が行われる。

所定のライン数単位（ここでは８ライン）での画像圧縮において、画素分離をライン方向（垂直方向）で行うためには、画像分離前の所定単位の画像の垂直ライン数を倍増（ここでは１６ライン）させる必要がある。垂直ライン数を倍増させることは、圧縮に係る遅延及び画像メモリ量の増加を招く。また、垂直ライン数が倍増すると、画像伸張においても、所定単位の画像をライン単位の出力画像にスキャン変換するための遅延量及び画像メモリ量が増大する。一方、画素分離を水平方向に限定すれば、所定単位の画像のライン数を維持したまま画素を２つの位相に分離できるので、圧縮処理及び伸張処理に係る遅延の増加や画像メモリの増加を抑えることが可能となる。

また、後述するＰａｒｔｉｔｉｏｎＥｎａｂｌｅが０、すなわち画素分離オフの場合には、連続する８ラインを所定単位として圧縮してスライスを構成することにより、スライスヘッダやパケット化などのオーバーヘッドを削減できる。また、ＰａｒｔｉｔｉｏｎＥｎａｂｌｅが１、すなわち画素分離オンの場合には、連続する８ライン毎に、画素単位の分離は行わず左右で分離する水平左右分割、画素単位の水平偶数奇数画素分離、チェッカーボード画素分離のいずれかの画素分離タイプが選択される。１フレームよりも短い周期で時々刻々変化する伝送レートやエラーレートに応じて、エラー耐性と符号化効率とのバランスが最適となるように画素分離タイプを選択することにより、画質劣化の少ない圧縮伝送を実現することが可能となる。また、いずれの画素分離タイプが選択されても、連続する８ラインが２つのスライスとして圧縮されるため、後段のパケット化部１６や送信部１７は、画素分離タイプを意識せずに（画素分離タイプに関係なく）容易に動作できる。

図２０は、第５の実施形態に係る水平縮小率を示すｈ＿ｓｕｂｓａｍｐｌｉｎｇを説明する図である。ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝０は、水平方向の縮小を行わずに圧縮が行われたことを示す。ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝１は、色差信号のみ水平方向に１／２縮小して圧縮が行われたこと示す。ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝２は、全ての画像信号コンポーネント（例えば、Ｒ，Ｇ，ＢまたはＹ，Ｃｂ，Ｃｒなど）に対して水平方向に１／２縮小を施して圧縮が行われたことを示す。受信側では、伸張処理及び画素結合が行われた画像に対して、ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝１の場合、色差信号の水平２倍の拡大処理が行われる。また、ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝２の場合、全ての画像信号コンポーネントに対して水平２倍の拡大処理が行われる。

所定単位の画像毎に、１フレームよりも短い周期で時々刻々変化する伝送レートや所定単位毎の画像の性質（圧縮困難度）に応じて、水平縮小無し、色差のみ縮小、全コンポーネント縮小を切り替えることにより、圧縮による歪と縮小による解像度低下のバランスを最適化させた高画質伝送が可能となる。

図２４は圧縮されたスライスの識別子ＳｌｉｃｅＩｎｄｅｘである。スライス識別子は、図１７におけるパケットヘッダ又はスライスヘッダに含まれる。スライス識別子には、後述するＰａｒｔｉｔｉｏｎＥｎａｂｌｅが１（画素分離オン）の場合は、上記画素分離されたパーティション（画素位相）番号（即ち、１または０）が、下位１ビットに含まれている。従って、下記の通り、各スライスのパーティション（画素位相）番号が抽出可能である。

図２５は、第５の実施形態に係る伝送画像フォーマット情報の例を示す図である。伝送画像フォーマット情報には、入力画像の色空間の情報ＣｏｌｏｒＳｐａｃｅ、画素分離の有効／無効を示す情報ＰａｒｔｉｔｉｏｎＥｎａｂｌｅ、画像フレームサイズの情報ＶｉｄｅｏＦｒａｍｅＳｉｚｅＩｎｆｏが含まれる。伝送画像フォーマット情報は画像圧縮データと共に伝送されるか、或いは、送信側と受信側の接続時に送信側から受信側へ伝送される。

図２６は、入力画像の色空間の情報ＣｏｌｏｒＳｐａｃｅを説明する図である。ＣｏｌｏｒＳｐａｃｅの０、１、２は、それぞれ入力画像がＲＧＢ画像信号、ＹＣｂＣｒ４２２画像信号、ＹＣｂＣｒ４４４画像信号であることを示す。

図２７は、画素分離の有効／無効を示す情報ＰａｒｔｉｔｉｏｎＥｎａｂｌｅを説明する図である。ＰａｒｔｉｔｉｏｎＥｎａｂｌｅの０、１は、それぞれ画素分離オフ（無効）、画素分離オン（有効）を示す。

図２８は、第５の実施形態に係る圧縮データの色空間を示す図である。圧縮データの色空間は、圧縮部１５に入力される画像及び伸張部２４から出力される画像の色空間を示しており、（画像送信装置の）入力画像の色空間の情報ＣｏｌｏｒＳｐａｃｅと水平縮小率を示すｈ＿ｓｕｂｓａｍｐｌｉｎｇによって決定される。水平縮小処理がオフ（ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝０）又は全コンポーネント１／２（ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝２）の場合、圧縮データの色空間と入力画像の色空間は一致する。一方、色差信号水平１／２（ｈ＿ｓｕｂｓａｍｐｌｉｎｇ＝１）は、入力画像の色空間がＹＣｂＣｒ４４４の場合にのみ適用可能であり、圧縮データの色空間はＹＣｂＣｒ４２２となる。図２８に従って、入力画像の色空間の情報と水平縮小率の情報を用いて、圧縮データの色空間の情報が導出され、送信装置の圧縮部１５、受信装置の伸張部２４に対して圧縮データの色空間の情報が、スライス毎に設定される。

スライスを構成する全コンポーネントのブロック総数（ここでは８ｘ８画素ブロック）ＮＢは、以下のように計算される。

ここで、NBFは圧縮データのブロック数係数であり、図２９に示すように、入力画像の色空間の情報ＣｏｌｏｒＳｐａｃｅと水平縮小率を示すｈ＿ｓｕｂｓａｍｐｌｉｎｇによって決定される。ｆｒａｍｅ＿ｗｉｄｔｈは、画像フレームの横幅であり、画像フレームサイズの情報ＶｉｄｅｏＦｒａｍｅＳｉｚｅＩｎｆｏから導出できる。上式は、画素分割がされない場合（ＰａｒｔｉｔｉｏｎＥｎａｂｌｅ＝０）には連続する８ラインの画像で１スライスが構成され、画素分割が用いられる場合（ＰａｒｔｉｔｉｏｎＥｎａｂｌｅ＝１）には連続する８ラインの画像で２スライスが構成されることに対応している。ただし、各コンポーネントが８×８画素の倍数とならない画素分離及び水平縮小の組み合わせは禁止される。すなわち、圧縮データの色空間がＲＧＢまたはＹＣｂＣｒ４４４の場合、ＮＢは３の倍数でなければならない。また、圧縮データの色空間がＹＣｂＣｒ４２２の場合、ＮＢは４の倍数でなければならない。上式に従って、入力画像の色空間の情報、画像フレームの横幅、画素分離の有無及び水平縮小率の情報を用いて、各スライスの圧縮データのブロック数が導出される。各スライスの圧縮データのブロック数は、送信装置の圧縮部１５、受信装置の伸張部２４に対してスライス毎に設定される。

図３０は、画素結合部２５の一例を示す。画像結合部２５には、伸張部２４により伸張された画像信号３３と、デパケット部２３からの画素分離タイプおよび画素分離位相に関する情報３０ａと、各位相の圧縮データに関する受信エラー情報３０ｂとが入力される。受信エラー情報３０ｂは、受信部２２及びデパケット部２３における受信エラーの検出結果に基づく情報である。選択部３４は、情報３０ａに従って、画像信号３３を画像バッファ（位相１）３５または画像バッファ（位相２）３８に一時保存する。補間部３６は、バッファ（位相１）３５の画像信号に基づいて、位相２の補間画像を生成する。補間部３７は、バッファ（位相２）３８の画像信号に基づいて、位相１の補間画像を生成する。選択部３９は受信エラー情報３０ｂに従って、結合部４０に出力する画素を選択する。選択部３９は、エラーの発生した位相に関して、補間部３６または補間部３７の出力を結合部４０に出力する。一方、選択部３９は、エラーの発生していない位相に関して、画像バッファ（位相１）３５または画像バッファ（位相２）３８の出力を結合部４０に出力する。結合部４０は、選択部３９から出力された画素を結合して画像４１を生成し、出力する。このように、所定単位の画像を画素分離して独立して圧縮し、受信エラーの発生した位相の画素を正常に受信された位相の画素から補間生成することにより、所定単位の画像がまとめて欠落することなく再生可能となり、伝送エラーに対して頑健な画像伝送を実現できる。

図３１は、本実施形態に係る画素分離の効果を示している。画素分離は、ＤＣＴなどの隣接画素間相関を利用した圧縮方式に関して、一般に圧縮効率の低下を引き起こす。例えば、水平偶数奇数画素分離は、水平方向の画素間距離を２倍にするので水平方向の相関を低下させるものの、垂直方向の画素間相関を維持できる。一方、チェッカーボード画素分離は、垂直方向及び水平方向の画素間距離を夫々２倍にして、斜め方向の画素間距離を維持する。一般に、自然画像信号は、垂直方向及び水平方向の画素間相関が高い。水平左右分割では、画素の連続性は維持され、水平方向に２つのスライスに分割されることによる圧縮効率の低下が見込まれるものの、画素分離無しと比べて大きな性能劣化とはならない。

故に、圧縮効率は、左右水平分割又は画素分離無し、水平偶数奇数画素分離、チェッカーボード画素分離の順で低下する。また、２つの分離された位相のうち一方で受信エラーが発生した場合に、正常に受信された位相の画素から補間画素を生成することになる。水平偶数奇数画素分離された画像信号は、図３２Ａに示すように水平方向に１／２の帯域しか維持されていないので、補間画像は水平方向にボケてしまう。一方、チェッカーボード画素分離された画像信号は、図３２Ｂに示すように、主観画質上重要となる水平及び垂直方向の帯域を維持できる。故に、補間画像の主観画質は、チェッカーボード画素分離の方が水平偶数奇数画素分離よりも高くなる。また、自然画像信号では、圧縮やフィルタ処理などの影響で、画像信号の斜め周波数成分が小さい場合が多いので、ＰＳＮＲ（Peak Signal-to-Noise Ratio）の観点からも、チェッカーボード画素分離は水平偶数奇数画素分離よりも画質が高くなる。一方、水平左右分割及び画素分離無しは、受信エラー発生時にスライスを構成する８ラインの画像領域が欠落することになり、欠落した画素が上下スライスから補間されると、主観画質およびＰＳＮＲのいずれにおいても大幅な低下を招く。即ち、画素分離タイプによる圧縮効率の低下と当該画素分離タイプのエラー耐性との間にはトレードオフの関係が成立する。従って、エラーレートに応じて適切な画素分離タイプを選択することにより、伝送画質を向上させることが可能となる。具体的には、図３１に示すように、エラーレートが低い場合であれば、水平左右分割又は画素分離無しが受信画質を最も高くさせるものの、エラーレート（即ち、エラーコンシールメントの必要性）が高くなるに従って、水平偶数奇数画素分離、チェッカーボード画素分離の順で受信画質が高くなる。以上説明したように、１フレームよりも速い周期で時々刻々変化する伝送エラーレートに応じて、画素分離タイプをスライスなどの所定単位で適切に選択することにより、図３１の点線で示すように、固定の画素分離タイプに比べて伝送画質を向上させることが可能となる。

図３３は、本実施形態に係る縮小変換の効果を示している。入力画像がＲＧＢ信号であって、伝送レートが十分高い場合には、ＲＧＢからＹＣｂＣｒへの色空間変換に伴う変換ロスを避けるため、ＲＧＢ信号のまま圧縮を行うことにより、画質劣化を回避できる。一方、ＲＧＢの信号コンポーネント間には一般に強い相関があるため、ＹＣｂＣｒに変換して圧縮することで、ＲＧＢのまま圧縮するのに比べて、圧縮効率が向上し、圧縮歪は少なくなる。伝送レートが低下するに従って、ＲＧＢからＹＣｂＣｒへの色空間変換に伴う変換ロスよりもＲＧＢのまま圧縮を行うことのロスの方が大きくなるので、ＹＣｂＣｒでの圧縮が有効となる。また、伝送レートが更に低下した場合には、解像度と圧縮歪との間のトレードオフが発生するため、伝送レートが低下するに従って、色差信号、輝度信号の順でサンプル数を削減して圧縮することが有効となる。図３３におけるＹＣｂＣｒ２２２は、ＹＣｂＣｒ４４４の各信号コンポーネントを垂直方向に１／２に縮小して圧縮した場合を示している。また、ＹＣｂＣｒ２１１は、ＹＣｂＣｒ４２２の各信号コンポーネントを垂直方向に１／２に縮小して圧縮した場合を示している。以上説明したように、１フレームよりも速い周期で時々刻々変化する伝送レートに応じて、色空間や、色差信号または輝度信号の縮小率を適応的に選択することにより、図３３の点線で示すように、固定の色空間、サンプル数での圧縮よりも伝送画質を向上させることが可能となる。

尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

例えば、上記した各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、上記した各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

１１・・・入力画像
１２・・・画像入力部
１３・・・フォーマット変換部
１４・・・画素分離部
１５・・・圧縮部
１６・・・パケット化部
１７・・・送信部
１８，２１・・・伝送データ
２２・・・受信部
２３・・・デパケット化部
２４・・・伸張部
２５・・・画素結合部
２６・・・フォーマット変換部
２７・・・画像出力部
２８・・・再生画像
１９、２９・・・縮小率の情報
２０，３０・・・画素分離の情報
３０ａ・・・画素分離タイプおよび画素分離位相に関する情報
３０ｂ・・・受信エラー情報
３３・・・伸張された画像信号
３４・・・選択部
３５・・・画像バッファ（位相１）
３６，３７・・・補間部
３８・・・画像バッファ（位相２）
３９・・・選択部
４０・・・結合部
４１・・・画像
１００・・・画像送信装置
１０１・・・分割部
１０２・・・映像処理部
１０３・・・出力部
１０４・・・入力画像
１０５・・・伝送データ
２０１・・・第１の映像処理部
２０２・・・第２の映像処理部
２０３・・・第３の映像処理部
２０４・・・第４の映像処理部
２０５・・・所定単位の画像
２０６・・・伝送速度
２０７・・・伝送エラー率
２０８・・・映像データ
３００・・・画像受信装置
３０１・・・入力部
３０２・・・映像データ抽出部
３０３・・・伸張部
３０４・・・逆サブサンプル部
３０５・・・表示領域決定部
３０６・・・表示順序決定部
３０７・・・出力映像
４００・・・画像送信装置
４０１・・・ブロック分割部
４０２・・・圧縮部
４０３・・・出力部
４０４・・・所定単位の画像
４０５・・・所定サイズ
４０６・・・伝送データ
５００・・・画像受信装置
５０１・・・入力部
５０２・・・分離部
５０３・・・伸張部
５０４・・・出力画像
６００・・・画像送信装置
６０１・・・ブロック分割部
６０３・・・出力部
６０４・・・所定単位の画像
６０５・・・所定サイズ
６０６・・・伝送データ
６１０・・・圧縮部
６１１・・・第１の圧縮部
６１２・・・第２の圧縮部
６１３・・・第３の圧縮部
７００・・・画像受信装置
７０１・・・入力部
７０２・・・分離部
７０４・・・出力画像
７１０・・・伸張部
７１１・・・第１の伸張部
７１２・・・第２の伸張部
７１３・・・第３の伸張部
８００・・・画像送信装置
８１０・・・圧縮部
９００・・・画像受信装置
９１０・・・伸張部

Claims (12)

1. 入力画像を所定単位の画像に分割する分割部と、
   （ａ）前記所定単位の画像を映像データとして生成する第１の映像処理と、（ｂ）前記所定の単位の画像を圧縮して映像データを生成する第２の映像処理と、（ｃ）前記所定単位の画像を画素位相に従って複数のサブサンプル画像に画素分離するサブサンプル処理を行って、各サブサンプル画像を映像データとして生成する第３の映像処理と、（ｄ）前記所定単位の画像を画素位相に従って複数のサブサンプル画像に分離するサブサンプル処理を行って、各サブサンプル画像を圧縮して映像データを生成する第４の映像処理とのうちいずれか１つを前記所定単位の画像に適用し、前記映像データを生成する映像処理部と、
   前記所定単位の画像のフレーム番号と、前記所定単位の画像の座標情報と、前記映像データのサブサンプル／非サブサンプルを識別する情報と、前記映像データにサブサンプル処理が行われている場合における当該映像データの画素位相情報と、前記映像データの圧縮／非圧縮を識別する情報と、前記映像データのサイズ情報と、前記映像データとを含む伝送データを出力する出力部と
   を具備する画像送信装置。
2. 前記伝送データは、前記サブサンプル処理の内容を識別するサブサンプル処理識別情報を含む
   請求項１記載の画像送信装置。
3. 前記サブサンプル処理は、前記所定単位の画像内の画素を（１）偶数列と奇数列、または、（２）チェッカーボードパターンの第１の位相と第２の位相、に分離することにより２つのサブサンプル画像を生成する処理である請求項２記載の画像送信装置。
4. 前記映像データは、前記第２の映像処理または前記第４の映像処理が行われた場合には、当該映像データの圧縮方式を識別する情報を更に含む請求項３記載の画像送信装置。
5. 所定単位の画像のフレーム番号と、前記所定単位の画像の座標情報と、映像データのサブサンプル／非サブサンプルを識別する情報と、前記映像データにサブサンプル処理が行われている場合における当該映像データの画素位相情報と、前記映像データの圧縮／非圧縮を識別する情報と、前記映像データのサイズ情報と、前記映像データとを含む伝送データを入力する入力部と、
   前記映像データのサイズ情報に従って、前記伝送データから前記映像データを抽出する抽出部と、
   前記映像データの圧縮／非圧縮を識別する情報が当該映像データに圧縮処理が行われていることを示すならば当該映像データを伸張する伸張部と
   前記映像データのサブサンプル／非サブサンプルを識別する情報が当該映像データにサブサンプル処理が行われていることを示すならば、前記画素位相情報に従って前記映像データに逆サブサンプル処理を行って、前記所定単位の画像を再構成する逆サブサンプル部と、
   前記所定単位の画像の座標情報に基づいて、前記所定単位の画像の表示領域を決定する表示領域決定部と、
   前記所定単位の画像のフレーム番号に基づいて、前記所定単位の画像の表示フレームを決定する表示順序決定部と
   を具備する画像受信装置。
6. 前記画像ブロックの圧縮データは、圧縮方式の識別子を含み、
   前記伸張部は、前記圧縮方式の識別子に従って伸張方式を選択して前記画像ブロックの圧縮データを伸張する
   請求項５記載の画像受信装置。
7. 入力画像を分割した所定単位の画像を入力する画像入力部と、
   水平方向の縮小変換を前記所定単位の画像の信号コンポーネント毎に行うフォーマット変換部と、
   前記縮小変換が施された所定単位の画像に対して、水平方向の画素分離を行う画素分離部と、
   前記画素分離が施された所定単位の画像を、分離された画素位相毎に独立して圧縮し、画像圧縮データを得る圧縮部と、
   前記画像圧縮データをパケット化するパケット化部と、
   前記パケット化された画像圧縮データを送信する送信部と
   を具備し、
   （１）前記画像圧縮データと、（２）前記入力画像の色空間の情報と、前記画像圧縮データに関する（３）水平方向の縮小率の情報と、（４）画素分離タイプの情報と、（５）画素分離位相の情報とを伝送する画像送信装置。
8. 前記画素分離タイプの情報が、（１）偶数画素／奇数画素への画素分離、（２）チェッカーボードパターンの第１位相／第２位相への画素分離、（３）前記所定単位の画像の左半分／右半分への分離、のいずれかであることを示す請求項７記載の画像送信装置。
9. 入力画像を分割した所定単位の画像または前記所定単位の画像を水平方向に画素分離した画像の（１）画像圧縮データと、（２）前記入力画像の色空間の情報と、前記画像圧縮データに関する（３）水平方向の縮小率の情報と、（４）画素分離タイプの情報と、（５）画素分離位相の情報とを含む複数のパケットを受信する受信部と、
   前記パケットから前記（１）乃至（５）の情報を抽出するデパケット部と、
   前記画像圧縮データを伸張する伸張部と、
   前記画素分離タイプの情報及び前記画素分離位相の情報に応じて、伸張した画像の水平方向の画素結合を行う画素結合部と、
   前記水平方向の縮小率の情報に応じて、前記画素結合した画像を信号コンポーネント毎に水平方向に拡大するフォーマット変換部と、
   フォーマット変換が行われた画像を出力する画像出力部と
   を具備する画像受信装置。
10. 前記画素分離タイプの情報が、（１）偶数画素／奇数画素への画素分離、（２）チェッカーボードパターンの第１位相／第２位相への画素分離、（３）前記所定単位の画像の左半分／右半分への分離、のいずれかであることを示す請求項９記載の画像受信装置。
11. 入力画像フレームをスライス単位に分割する分割部と、
    前記スライス単位に閉じた圧縮を行って圧縮画像データを生成する圧縮部と、
    パケット化されたデータ信号を生成するために、
    （１）前記圧縮画像データ、
    （２）前記入力画像フレームの色空間がＲＧＢ、ＹＣｂＣｒ４２２およびＹＣｂＣｒ４４４のうちのどの色空間であるかを示す色空間情報、
    （３）前記入力画像フレームのフレームサイズ情報、
    （４）前記スライスが前記入力画像フレームの所定単位の画像であるか、又は、前記所定単位の画像を２つのパーティションに分離したうちの一方の画像であるか、を示す分離情報、
    （５）前記スライスが属するフレーム番号を示すフレーム番号情報、
    （６）前記スライスがフレーム内で表示されるべき位置を示す表示位置情報、
    （７）前記スライスが、
    （Ａ）前記所定単位の画像を偶数列の画素と奇数列の画素とに分離する画素分離モード、
    （Ｂ）前記所定単位の画像をチェッカーボードパターンの第１位相の画素と第２位相の画素とに分離する画素分離モード、および、
    （Ｃ）前記所定単位の画像を左半分の画像と右半分の画像とに分離する画素分離モード、
    のうちの、どの画素分離モードに基づくパーティションであるかを示す画素分離タイプ情報、
    （８）前記スライスが前記２つのパーティションのうちのどちらであるかを示すパーティション番号情報、および、
    （９）前記所定単位の画像の各信号コンポーネントの水平サブサンプリング率を示す水平サブサンプリング率情報、
    をパケット化するパケット化部と、
    前記パケット化されたデータ信号をＯＦＤＭ変調して５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の無線伝送チャンネルで送信する送信部と、
    を具備する画像送信装置。
12. ５７ＧＨｚから６６ＧＨｚまでの周波数範囲内の無線伝送チャンネルで受信された信号をＯＦＤＭ復調することにより、複数のパケットデータを受信する受信部と、
    前記複数のパケットデータから
    （１）スライス単位で圧縮された画像データ、
    （２）前記画像データのフレームの色空間が、ＲＧＢ、ＹＣｂＣｒ４２２およびＹＣｂＣｒ４４４のうちの、どの色空間であるかを示す色空間情報、
    （３）前記フレームのフレームサイズ情報、
    （４）前記スライスが前記フレームの所定単位の画像であるか、又は、前記所定単位の画像を２つのパーティションに分離したうちの一方の画像であるか、を示す分離情報、
    （５）前記スライスが属する前記フレームの番号を示すフレーム番号情報、
    （６）前記スライスが前記フレーム内で表示されるべき位置を示す表示位置情報、
    （７）前記スライスが、
    （Ａ）前記所定単位の画像を偶数列の画素と奇数列の画素とに分離する画素分離モード、
    （Ｂ）前記所定単位の画像をチェッカーボードパターンの第１位相の画素と第２位相の画素とに分離する画素分離モード、および、
    （Ｃ）前記所定単位の画像を左半分の画像と右半分の画像とに分離する画素分離モード、
    のうちの、どの画素分離モードに基づくパーティションであるかを示す画素分離タイプ情報、
    （８）前記スライスが前記２つのパーティションのうちのどちらであるか示すパーティション番号情報、および、
    （９）前記所定単位の画像の各信号コンポーネントの水平サブサンプリング率を示す水平サブサンプリング率情報、
    をデパケット化するデパケット化部と、
    前記（１）から（９）の情報に基づいて、前記画像データを伸張するとともに前記所定単位の画像を再構成する再構成部と、
    を備える画像受信装置。

Images