図1は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。
送信側では、例えば、高解像度のビデオカメラ1や、低解像度のビデオカメラ2において、それぞれが出力し得る最大の数の画素数で構成される画像が出力される。即ち、ここでは、ビデオカメラ1においては、例えば、1920×960画素で構成される、アスペクト比が16:9で、フレームレートが約30フレーム/秒の、プログレッシブなHD画像が出力される。また、ビデオカメラ2においては、例えば、640×480画素で構成される、アスペクト比が4:3で、フレームレートが約30フレーム/秒の、プログレッシブなSD画像、または720×480画素で構成される、アスペクト比が4:3で、フレームレートが約15フレーム/秒の、プログレッシブなSD画像が出力される。
さらに、送信側では、プログレッシブイメージャ3において、被写体がスキャニングされ、例えば、縦の画素数が、480の整数倍のプログレッシブな画像が出力される。また、送信側では、計算機4において、コンピュータグラフィックス(CG)としての、例えば、640×480画素で構成される、画素の横と縦との比が1:1の画像が生成されて出力される。
ビデオカメラ1や2、プログレッシブイメージャ3、計算機4が出力する画像は、統合符号化装置6(処理手段)に供給される。
さらに、統合符号化装置6には、例えば、縦の画素数が、480の整数倍のプログレッシブな画像が、例えば、インターネットなどのネットワーク5から供給される。なお、ネットワーク5からは、例えば、計算機4と同様に、画素の横と縦との比が1:1の画像が供給される。
ここで、ビデオカメラ1や2に、それが出力し得る最大の数の画素数で構成される画像を出力させるようにしたのは、そのような画像を処理の対象とする方が、例えば、インターレース方式の画像などのように、一画面の画素数が少ない画像を処理の対象とする場合に比較して、一般に、高画質の復号画像を得ることができるからである。
さらに、統合符号化装置6に供給される画像の縦の画素数は、すべて、所定値、即ち、ここでは、例えば、480の整数倍となっており、また、フレームレートも、所定値としての15の整数倍となっているが、これは、例えば、HD画像を構成する画素を、空間方向または時間方向に間引いてSD画像を生成した場合や、SD画像を構成する画素を、空間方向または時間方向に補間してHD画像を生成した場合に、その生成したSD画像やHD画像の画質の劣化を低減することができるためのである。
また、ビデオカメラ1に出力させるHD画像の縦の画素数を、960画素としたのは、縦の画素数を、480の整数倍とするとき、960が、現行のHD画像の縦の画素数である1035(図16)に最も近く、従って、乗り換えを行うときに、画質の劣化を低減することができるからである。
さらに、ビデオカメラ2に出力させるSD画像の縦の画素数を480画素にしたのは、その値が、現行のNTSC方式やPAL方式で採用されている画素数に最も近い480の倍数であるからである。
なお、ビデオカメラ2に出力させるアスペクト比が4:3のSD画像の横の画素数を640とした場合、その画素の横と縦との比は、1:1(=4×480:3×640)となり、計算機4が出力する画像や、ネットワーク5から供給される画像とのコンパチビリティ(compatibility)が取り易くなる。
また、ビデオカメラ2に出力させるアスペクト比が4:3のSD画像の横の画素数を720とした場合、その画素の横と縦との比は、8:9(=4×480:3×720)となる。これは、ビデオカメラ1が出力するHD画像が構成する画素の横と縦との比(8:9=16×960:9×1920)に等しく、従って、この場合、ビデオカメラ2が出力するSD画素の横および縦の画素数を2倍にして、その縦の画素数を、ビデオカメラ1が出力するHD画像の縦の画素数に等しい960画素としたとき、いわゆる真円率を維持することができる(画像が、横方向や縦方向に間延びしたものにならない)。
統合符号化装置6では、そこに供給される画像(ディジタル画像信号)を対象に、その符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などの複数の処理の1以上が、他の処理を考慮した形で行われる。ここで、編集処理には、例えば、カット編集を行ったり、エフェクトをかけたりする、いわゆるビデオ編集のための処理の他、例えば、ISDB(Integrated Services Digital Broadcasting)(各種の情報をディジタル化して送信するインタラクティブな放送)などを実現するための情報や、その他の付加価値を付けるための情報(例えば、より高画質の復号画像を得るのに必要な情報)などを付加すること、さらには、ある画像と他の画像との間にリンクを張ることなども含まれる。
統合符号化装置6における処理の結果得られる伝送データは、伝送路13を介して、受信側に伝送される。なお、伝送路13には、例えば、衛星回線や、地上波、CATV網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録/再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスクその他の記録媒体も含まれる。
伝送路13を介して伝送されてくる伝送データは、受信側で受信され、適応復号化装置7(生成手段)に供給される。適応復号化装置7には、画像を出力する出力装置としての、例えば、HD画像を表示する高解像度の表示装置9,SD画像を表示する標準解像度または低解像度の表示装置10、画像を印刷するプリンタ11、コンピュータ(計算機)に接続されるコンピュータディスプレイ12などが接続されている(但し、プリンタ11は、画素アスペクト比変換器8を介して接続されている)。適応復号化装置7は、伝送データと、所定の係数との線形結合により、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12の解像度に対応した復号画像を生成し、それぞれに出力する。
表示装置9,10、およびコンピュータディスプレイ12では、適応復号化装置7からの復号画像が表示され、プリンタ11では、適応復号化装置7からの復号画像が印刷される。
なお、表示装置9,10、またはコンピュータディスプレイ12それぞれにおける画素の横と縦との比(以下、適宜、画素アスペクト比という)と、復号画像を構成する画素の画素アスペクト比との違いは、表示装置9,10、またはコンピュータディスプレイ12それぞれでの水平走査により吸収される。
また、プリンタ11では、そのような水平走査により、画素アスペクト比の違いを吸収することができないため、その前段に、画素アスペクト比変換器8が設けられており、そこで、復号画像の画素アスペクト比が、プリンタ11に対応したものに変換される。
次に、統合符号化装置6における処理について説明する。
統合符号化装置6では、例えば、圧縮処理が、編集処理を考慮した形で行われる。
即ち、統合符号化装置6では、圧縮処理として、例えば、ADRC(Adaptive Dynamic Range Coding)処理が行われる。
ここで、ADRC処理について、簡単に説明する。
いま、説明を簡単にするため、図2(A)に示すように、直線上に並んだ4画素で構成されるブロックを考えると、ADRC処理においては、その画素値の最大値MAXと最小値MINが検出される。そして、DR=MAX−MINを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、ブロックを構成する画素の画素値がKビットに再量子化される。
即ち、ブロック内の各画素値から、最小値MINを減算し、その減算値をDR/2Kで除算する。そして、その結果得られる除算値に対応するコード(ADRCコード)に変換される。具体的には、例えば、K=2とした場合、図2(B)に示すように、除算値が、ダイナミックレンジDRを4(=22)等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から2番目のレベルの範囲、下から3番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、00B,01B,10B、または11Bなどの2ビットにコード化される(Bは2進数であることを表す)。
ADRCでは、再量子化の際のビット数Kは、画素に割り当てられているビット数よりも小さい値が用いられ、従って、各画素は、そのような小さいビット数に圧縮されることになる(但し、その他に、ブロックごとに、最小値MINとダイナミックレンジDRが生じる)。
なお、その復号は、ADRCコード00B,01B,10B、または11Bを、例えば、ダイナミックレンジDRを4等分して得られる最も下のレベルの範囲の中心値L00、下から2番目のレベルの範囲の中心値L01、下から3番目のレベルの範囲の中心値L10、または最も上のレベルの範囲の中心値L11に変換し、その値に、最小値MINを加算することで行うことができる。
図3は、ADRC処理を行うADRC処理回路の構成例を示している。
画像データは、ブロック化回路21に供給され、そこで、所定の大きさのブロックにブロック化される。即ち、ブロック化回路21は、画像データを、例えば、横×縦が4画素×4画素のブロックに分割する。そして、そのブロックを、最小値検出回路22、最大値検出回路23、および演算器25に供給する。
最小値検出回路22では、ブロック化回路21からのブロックを構成する16(=4×4)画素の中から、最小値MINが検出される。この最小値MINは、ADRC処理結果の信号の1つとして出力されるとともに、演算器24および25に供給される。
同時に、最大値検出回路23では、ブロック化回路21からのブロックを構成する16画素の中から、最大値MAXが検出され、演算器24に供給される。
演算器24では、最大値MAXから最小値MINが減算され、これによりブロックのダイナミックレンジDRが求められる。このダイナミックレンジDRは、ADRC処理結果の信号の1つとして出力されるとともに、量子化回路26に供給される。
一方、演算器25では、ブロックを構成する16画素それぞれから、ブロックの最小値MINが減算され、その減算値が量子化回路26に供給される。量子化回路26では、演算器25からの減算値が、演算器24からのダイナミックレンジDRに対応する量子化ステップで量子化される。即ち、量子化回路26では、例えば、演算器25の出力が、DR/2Kで除算され、その除算値の小数点以下を切り捨てたものが、ADRCコード(画素の再量子化結果)CODEとして出力される。
ここで、本実施の形態では、再量子化の際のビット数Kは、各ブロックごとに、例えば、そのダイナミックレンジDRの大きさに対応して決定されるようになされており、これにより、ADRCコードは可変長とされている。
即ち、例えば、いま、4つの閾値T1,T2,T3,T4が設定されているものとし、その大小関係が、0<T1<T2<T3<T4であるとする。また、元の画像の画素には、例えば、8ビットが割り当てられているものとする(従って、T4は28未満)。
この場合、量子化回路26では、ダイナミックレンジDRが、0以上T1未満、T1以上T2未満、T2以上T3未満、T3以上T4未満、またはT4以上28未満のうちのいずれの範囲内にあるかが判定される。そして、ダイナミックレンジDRが、0以上T1未満、T1以上T2未満、T2以上T3未満、T3以上T4未満、またはT4以上28未満の範囲内にある場合、再量子化の際のビット数Kとして、例えば、0乃至4ビットがそれぞれ割り当てられる。従って、この場合、ADRCコードは、最小で0ビット、最大で4ビットになる。
ADRCコードが可変長の場合、その復号を行うのに、ADRCコードのビット数Kが必要となることから、量子化回路26では、ダイナミックレンジDRが、上述のいずれの範囲内にあるかを示す閾値コードを出力するようになされており、この閾値コードは、最小値MIN、ダイナミックレンジDR,ADRCコードとともに、ADRC処理結果として出力される。
なお、最小値MIN、ダイナミックレンジDR、および閾値コードは、例えば固定長とされている。
ここで、上述の場合においては、ADRCコードを可変長としたが、再量子化の際のビット数Kを、ブロックのダイナミックレンジDRに無関係に固定値とし、これにより、ADRCコードは固定長とすることも可能である。
以上のようなADRC処理により得られるADRCコードは、元の画素に割り当てられているビット数よりも少なくなっている。一方、ADRC処理の結果得られる最小値MIN、ダイナミックレンジDR,ADRCコードは、ブロック単位で取り扱うことが可能であり、従って、ADRC処理後の画像は、例えば、フレーム単位で編集することができる。
以上から、圧縮処理としてADRC処理を行い、そのADRC処理結果を、各種の編集処理の対象とすることで、ADRC処理前の元の画像を対象にする場合とほぼ同一の編集処理を行うことができるとともに、その処理の負荷を、ADRC処理前の元の画像を対象にする場合に比較して軽減することができる。
従って、圧縮処理としてのADRC処理は、編集処理を考慮したものということができ、その結果、編集処理を効率的に行うことが可能となる。
なお、ADRCについては、例えば、本件出願人が先に出願した特開平3−53778号公報などに、その詳細が開示されている。
また、ADRCは、ブロック単位で符号化を行うので、ブロック符号化ということができるが、ブロック符号化には、ADRCの他、ブロックを構成する画素の平均値および標準偏差とともに、その各画素と、平均値との大小関係を表す1ビットのフラグを求めるものなどがある。統合符号化装置6による圧縮処理としては、このようなブロック符号化を採用することも可能である。
さらに、上述の場合においては、最小値MINとダイナミックレンジDRを、ADRC処理結果に含ませるようにしたが、ADRC結果には、その他、最小値MINとブロックの最大値MAXや、ダイナミックレンジDRとブロックの最大値MAXを含ませるようにすることが可能である。
また、上述の場合には、1フレームの横4画素と縦4画素とで、ブロックを構成するようにしたが、ブロックは、時間的に連続する複数フレームを構成する画素で構成するようにすることも可能である。
ところで、ADRC処理の結果得られるブロックごとの最小値MIN、ダイナミックレンジDR、閾値コード、およびADRCコードの伝送方法としては、例えば、同期をとるための同期パターンの後に、所定のデータ量のADRC結果を配置したブロック(以下、適宜、シンクブロックという)を構成し、そのようなシンクブロック単位で、伝送を行うものがある。
シンクブロック単位で伝送を行う場合、最小値MIN、ダイナミックレンジDR、および閾値コードは、上述したように固定長であるから、これらのデータは、シンクブロックの固定の位置に配置するようにすれば、1のシンクブロックが、例えば欠落などして得られなくても、その影響が、他のシンクブロックに配置された最小値MIN、ダイナミックレンジDR、および閾値コードに及ぶことはない。
しかしながら、ADRCコードは可変長であるから、例えば、ADRCコードが、1のシンクブロックに入りきらずに、複数のシンクブロックに分けて配置されている場合には、1のシンクブロックの欠落が、他のシンクブロックに影響を及ぼすことがある。即ち、その複数のシンクブロックのうちの最初のシンクブロックが欠落した場合、2番目のシンクブロックの最初に配置されているADRCコードが、ブロックのどの位置の画素に対応するものなのか、さらに、そのADRCコードとして配置されているビットが、最初のシンクブロックの最後に配置されたADRCコードの続き(一部)を構成するビットなのか、あるいは、ADRCコードの最初のビットなのかが分からなくなる。その結果、2番目以降のシンクブロックに配置されたADRCコードも取り出すことができなくなり、このように、いわば、あるシンクブロックのエラーが、他のシンクブロックにも伝搬することになる。
ところで、あるブロックのADRCコードがすべて失われた場合であっても、最小値MINが分かれば、すべての画素が、その最小値MINを画素値として有するブロックを再生することができる。しかしながら、このブロックは、画素(画素値)が同一の値の、いわば平坦なものであるから、元の画像の再現性は低いものとなる。
そこで、より高い再現性を実現するために、ADRCコードを、例えば、MSB(Most Significant Bit)と、それ以外(以下、適宜、残りビットという)とに分離し、MSBも、最小値MIN、ダイナミックレンジDR、および閾値コードと同様に、シンクブロックの固定の位置に配置するようにすることができる。この場合、残りビットが失われても、MSBを、ダイナミックレンジDRにしたがって逆量子化することで、2値で構成されるブロックを得ることができ、ADRCコードがすべて失われた場合に比較して再現性の高い画像を得ることが可能となる。
図4は、以上のようなシンクブロックを構成するシンクブロック処理を行うシンクブロック構成回路の構成例を示している。
ADRC処理回路(図3)が出力する最小値MIN、ダイナミックレンジDR、閾値コードは、マルチプレクサ32に供給され、また、ADRCコードは、分離器31に供給される。分離器31では、ADRCコードが、MSBと残りビットとに分離され、いずれも、マルチプレクサ32に供給される。
マルチプレクサ32には、上述したデータの他、同期パターンが供給されている。マルチプレクサ32は、そこに供給されるデータを時分割多重化して、例えば、図5に示すようなシンクブロックを構成して出力する。
即ち、図5に示すように、シンクブロックの先頭には、固定長の同期パターンが配置され、その後には、固定長の付加データが配置される。ここで、付加データとは、閾値コードなどの固定長のデータだけで構成される。付加データの後には、残りビットが、所定のバイト数だけ配置される。即ち、付加データの後には、先頭からN1−1バイト目までに、残りビットが配置される。
そして、先頭からN1バイト目以降に、ダイナミックレンジDR,MSB、最小値MINが、例えば、DR,MSB,MIN,MSB,DR,・・・の順番で配置される。ダイナミックレンジDR,MSB、最小値MINが所定数だけ配置された後には、再び、残りビットが配置される。そして、先頭からN2バイト目以降に、再び、ダイナミックレンジDR,MSB、最小値MINが、上述した順番で、所定数だけ配置される。以下、同様の配置が、シンクブロックの最後まで繰り返される。
以上のように、ダイナミックレンジDR,MSB、最小値MINは、シンクブロックの先頭からN1,N2,・・・バイト目のように、決まった位置から配置され、さらに、これらのデータは固定長であるから、シンクブロックの固定の位置に配置されることになる。
以上のシンクブロック処理は、ADRCコード(残りビット)にエラーが生じた場合であっても、元の画像に比較的近い復号画像を得ることができるようにするものであり、残りビットがなくても、再現性の高い復号画像を得ることができる。従って、極端には、残りビットには、誤り訂正のための、例えばECCなどを付加しなくても良く、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、シンクブロック処理は、チャネル符号化処理を考慮したものということができる。
なお、シンクブロック処理については、例えば、本件出願人が先に出願した特開平2−162980号公報などに、その詳細が開示されている。
次に、統合符号化装置6には、圧縮処理として、ADRC処理の他、例えば、階層符号化処理を行わせることも可能である。
階層符号化は、例えば、高解像度の画像データを、最下位階層または第1階層の画像データとして、それより画素数の少ない第2階層の画像データ(圧縮画像)を形成し、さらに、それより画素数の少ない第3階層の画像データを形成し、以下、同様にして、最上位階層までの画像データを形成するもので、各階層の画像データは、その階層に対応した解像度(画素数)のモニタで表示される。従って、ユーザ側では、階層符号化された画像データのうち、自身が有するモニタの解像度に対応するものを選択することで、同一内容の画像を視聴することができる。
ところで、ある解像度の画像データを最下位階層(第1階層)の画像データとして、上位階層の画像データを、順次形成し、それらのすべてを、そのまま記憶や伝送などする場合には、最下位階層の画像データだけを記憶等する場合に比較して、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となる。
そこで、ここでは、そのような記憶容量等の増加のない階層符号化を、統合符号化装置6における圧縮処理として採用する。
即ち、例えば、いま、下位階層における2×2画素(横×縦)の4画素の平均値を、上位階層の画素(画素値)とし、3階層の階層符号化を行うものとする。この場合、最下位階層の画像として、例えば、図6(A)に示すように、8×8画素を考えると、その左上の2×2画素の4画素h00,h01,h02,h03の平均値m0が演算され、これが、第2階層の左上の1画素とされる。同様にして、最下位階層の画像の右上の4画素h10,h11,h12,h13の平均値m1、左下の4画素h20,h21,h22,h23の平均値m2、右下の4画素h30,h31,h32,h33の平均値m3が演算され、それぞれが、第2階層の右上、左下、右下の1画素とされる。さらに、第2階層の2×2画素の4画素m0,m1,m2,m3の平均値qが演算され、これが、第3階層、即ち、ここでは、最上位階層の画像の画素とされる。
以上の画素h00乃至h03,h10乃至h13,h20乃至h23,h30乃至h33,m0乃至m3,qを、そのまま全部記憶などさせたのでは、上述のように、画素m0乃至m3,qの分だけ余分に記憶容量等が必要となる。
そこで、図6(B)に示すように、第3階層の画素qを、第2階層の画素m0乃至m3のうちの、例えば、右下の画素m3の位置に配置する。これにより、第2階層は、画素m0乃至m2およびqで構成されることになる。
そして、図6(C)に示すように、第2階層の画素m0を、それを求めるのに用いた第3階層の画素h00乃至h03のうちの、例えば、右下の画素h03の位置に配置する。第2階層の残りの画素m1,m2,qも、同様に、第1階層の画素h13,h23,h33に代えて配置する。なお、画素qは、画素h30乃至h33から直接求められたものではないが、それらから直接求められたm3に代えて第2階層に配置されているものであるから、画素h33の位置に画素m3を配置する代わりに、画素qを配置する。
以上のようにすることで、図6(C)に示すように、全画素数は4×4の16画素となり、図6(A)に示した最下位階層の画素だけの場合と変わらない。従って、この場合、記憶容量等の増加を防止することができる。
なお、画素qと代えられた画素m3、画素m0乃至m3とそれぞれ代えられた画素h03,h13,h23,h33の復号は、次のようにして行うことができる。
即ち、qは、m0乃至m3の平均値であるから、式q=(m0+m1+m2+m3)/4が成り立つ。従って、式m3=4×q−(m0+m1+m2)により、m3を求めることができる。
また、m0は、h00乃至h03の平均値であるから、式m0=(h00+h01+h02+h03)/4が成り立つ。従って、式h03=4×m0−(h00+h01+h02)により、h03を求めることができる。同様にして、h13,h23,h33も求めることができる。
図7は、以上のような階層符号化処理を行う階層符号化回路の構成例を示している。この階層符号化回路では、例えば、上述したような3階層の階層符号化か行われるようになされている。
即ち、第1階層(最下位階層)の画像データ(ここでは、上述したように、プログレッシブな画像)は、平均値算出回路41および画素抜き出し回路43に供給される。
そして、平均値算出回路41では、第1階層の画像について、例えば、上述したような2×2画素の合計4画素の平均値が計算され、これにより、第2階層の画像が形成される。この第2階層の画像は、平均値算出回路42および画素抜き出し回路44に供給される。
平均値算出回路42では、第2階層の画像について、例えば、上述したような2×2画素の合計4画素単位の平均値が計算され、これにより、第3階層の画像が形成される。この第3階層の画像は、画素挿入回路45に供給される。
画素抜き出し回路43では、第1階層の画像から、図6で説明した画素h03,h13,h23の位置に対応する画素が抜き出され、残りが、画素挿入回路45に供給される。画素抜き出し回路44では、第2階層の画像から、図6で説明した画素m3の位置に対応する画素が抜き出され、残りが、画素挿入回路45に供給される。
画素挿入回路45では、画素抜き出し回路43からの第1階層の画像の画素h03,h13,h23に対応する位置に、画素抜き出し回路44からの第2階層の画像の画素(例えば、画素m0乃至m2など)が挿入され、さらに、第1階層の画像の画素h33に対応する位置に、平均値算出回路42からの第3階層の画素(例えば、画素qなど)が挿入される。以上のようにして、図6(C)で説明したような画像データが構成され、これが、階層符号化結果として出力される。
通常の階層符号化によれば、上述のように、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となるが、図6および図7で説明した階層符号化(以下、適宜、改良型階層符号化という)によれば、その結果得られるデータ量は、最下位階層の画像と変わらない。この意味で、改良型階層符号化は、情報圧縮処理であるということができる。
ここで、階層符号化を行った場合に、下位階層の画像は、上位階層の画像を用いて、例えば補間などを行うことにより得ることができる(但し、得られる画像は、下位階層の画像と同一の画像ではなく、画質の劣化したものとなる)。従って、最悪の場合であっても、最上位階層の画像を復元できれば、すべての階層の画像を得ることができるから、誤り訂正のための、例えば、ECCの付加などは、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもなく、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、階層符号化処理は、チャネル符号化処理を考慮したものということができる。
なお、上述の場合においては、空間方向の画素数を少なくして、上位階層の画像を形成するようにしたが、上位階層の画像は、その他、例えば、時間方向の画素数を少なくして形成することも可能である。
次に、統合符号化装置6における編集処理の1つである、ISDBを実現するための情報の付加について説明する。
図8は、統合符号化装置6の、ISDBを実現するための部分であるISDB用送信装置の構成例を示している。
符号化部51には、例えば、SD画像とそれに付随する音声とが入力され、そこでは、例えば、上述したADRC処理などの圧縮処理が施され、多重化部57に出力される。また、符号化部51は、その圧縮処理のタイミングを表す同期信号をタイムコード発生部52に出力する。タイムコード発生部52は、符号化部51の出力に付加する付加情報として、例えば、タイムコードなどを、符号化部51からの同期信号に同期して発生し、多重化部57に出力する。
符号化部53またはタイムコード発生部54においても、処理の対象が、SD画像ではなく、HD画像であることを除けば、符号化部51またはタイムコード発生部52における場合とそれぞれ同様の処理が行われる。そして、符号化部53における圧縮処理の結果得られる符号化データ、およびタイムコード発生部54が出力するタイムコードは、いずれも、多重化部57に供給される。
符号化部55には、例えば、コンピュータのプログラムや、そのプログラムの実行に必要なデータ、ファクシミリのデータ、さらには、地域情報などのマルチメディアを実現するためのデータが入力され、そこでは、それらのデータが圧縮され、符号化データとして、多重化部57に出力される。また、符号化部55は、その圧縮処理のタイミングを表す同期信号を付加情報発生部56に出力する。付加情報発生部56は、符号化部55で圧縮されているデータの種類などを表す付加情報を、符号化部55からの同期信号に同期して発生し、多重化部57に出力する。
ここで、符号化部55に入力される地域情報とは、各地域に特有の情報であり、例えば、各地域の天気予報や、地図、施設に関する情報(例えば、飲食店のサービス内容や、営業時間など)、企業の宣伝広告などが含まれている。また、このような地域情報については、付加情報発生部56は、各地域情報の該当する地域を表す地域コードを、付加情報として発生する。
多重化部57では、符号化部51、タイムコード発生部52、符号化部53、タイムコード発生部54、符号化部55、および付加情報発生部56の出力が多重化されて出力される。
次に、図9は、統合符号化装置6において、圧縮処理として、ADRC処理が行われる場合の、適応復号化装置7(図1)の構成例を示している。即ち、図9は、適応復号化装置7の、ADRC処理結果を復号するADRC復号処理を行う部分であるADRC復号回路の構成例を示している。
デマルチプレクサ101には、伝送路13(図1)を介して伝送されてくる伝送データとしての、ADRC処理結果が配置されたビットストリームが入力され、そこでは、伝送データから、最小値MIN、ダイナミックレンジDR,ADRCコードが分離される。なお、ADRCコードの分離は、デマルチプレクサ101において、伝送データから閾値コードが分離され、その閾値コードに基づいて、ADRCコードに対しての割当ビット数(上述のK)が認識されることで行われる。
そして、最小値MINは、演算器103に、ダイナミックレンジDRおよびADRCコードは、逆量子化回路102に、それぞれ供給される。逆量子化回路102では、ADRCコードが、ダイナミックレンジDRに対応する量子化ステップで逆量子化され、その結果得られる逆量子化値が演算器103に供給される。演算器103では、逆量子化回路102からの逆量子化値と、最小値MINとが加算され、これにより、画素が復号される。
そして、1ブロック分の画素が得られると、演算器103は、その1ブロック分の画素を、フレーム構成回路104に供給する。フレーム構成回路104は、ブロック単位で供給される画素を順次記憶し、1フレーム分の画素を記憶するごとに出力する。
なお、ADRCコードが、上述したように、MSBと残りビットとに分離されている場合には、デマルチプレクサ101は、そのMSBと残りビットとを合わせて、元のADRCコードを復元する処理も行うようになされている。また、ADRCコードが、MSBと残りビットとに分離されている場合において、残りビットにエラーが生じているときには、デマルチプレクサ101は、MSBをADRCコードとして逆量子化回路102に出力するようになされている。
ところで、ADRC復号処理においては、上述したように、残りビットがエラーになっても、MSBと、最小値MINおよびダイナミックレンジDRとがあれば、ある程度、再現性の良い復号画像(元の画像に近い復号画像)を得ることができる。しかしながら、最小値MINやダイナミックレンジDRがエラーになると、そのブロックを復号することが困難となる。
そこで、図10は、最小値MINやダイナミックレンジDRがエラーになっても、比較的精度良く、ブロックを復号することができるADRC復号回路の構成例を示している。なお、図中、図9における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このADRC復号回路は、セレクタ105および106、メモリ107、および復元回路108が新たに設けられている他は、基本的に、図9における場合と同様に構成されている。
セレクタ105には、デマルチプレクサ101が出力するダイナミックレンジDRと、復元回路108が出力するダイナミックレンジの予測値DR’とが供給されるようになされている。セレクタ106には、デマルチプレクサ101が出力する最小値MINと、復元回路108が出力する最小値の予測値MIN’とが供給されるようになされている。また、ここでは、デマルチプレクサ101は、伝送データに含まれる最小値MIN、ダイナミックレンジDRにエラーが生じているかどうかを検出するようになされており、エラーが生じている場合、エラー信号を、セレクタ105および106に出力するようになされている。
セレクタ105は、エラー信号を受信していないとき、即ち、最小値MIN、ダイナミックレンジDRにエラーが生じていないとき、デマルチプレクサ101が出力するダイナミックレンジDRを選択し、逆量子化回路102に出力する。同様に、セレクタ106も、エラー信号を受信していないときは、デマルチプレクサ101が出力する最小値MINを選択し、演算器103に出力する。
従って、この場合、図9における場合と同様にして、ADRC復号処理が行われる。
一方、演算器103が出力する画素の復号値は、フレーム構成回路104だけでなく、メモリ107にも供給されるようになされている。メモリ107では、演算器103からの画素の復号値が、対応するアドレスに記憶される。
そして、復元回路108において、いまADRC復号処理の対象となっているブロックの周辺にある画素の復号値が、例えば、ブロックを構成する画素数と同一の数だけ、即ち、本実施の形態では、上述したように16だけ、メモリ107から読み出される。さらに、復元回路108は、その16画素の最小値と、ダイナミックレンジ(最大値と最小値との差)を検出し、それぞれを、いまADRC復号処理の対象となっているブロックの最小値の予測値MIN’と、ダイナミックレンジの予測値DR’として、セレクタ106と105に、それぞれ出力する。
セレクタ105または106は、デマルチプレクサ101からエラー信号を受信したとき、即ち、最小値MIN、ダイナミックレンジDRにエラーが生じているとき、復元回路108からのダイナミックレンジの予測値DR’または最小値の予測値MIN’を選択し、逆量子化回路102または演算器103にそれぞれ出力する。
従って、この場合、逆量子化回路102では、ダイナミックレンジの予測値DR’を用いて逆量子化が行われ、また、演算器103では、最小値の予測値MIN’を用いて画素が復号される。
あるブロックに注目した場合に、その注目ブロックを構成する画素と、その注目ブロックの周辺にある画素との間には、通常、大きな相関があり、従って、そのような相関のある画素によれば、注目ブロックのダイナミックレンジおよび最小値を、比較的精度良く予測することができる。その結果、そのような予測値を用いることで、真の最小値MINおよびダイナミックレンジDRを用いた場合とほぼ同様の復号画像を得ることが可能となる。
なお、以上のようなADRC復号処理については、例えば、本件出願人が先に出願した特開昭63−257390号公報などに、その詳細が開示されている。
ここで、ADRC処理を行った場合、上述のように、最小値MINや、ダイナミックレンジDRにエラーが生じても、ある程度の復号画像を得ることができる。さらに、ADRC処理に加えて、シンクブロックブロック処理を行うことで、上述したように、残りビットのエラーにも対処することが可能となる。また、階層符号化を行う場合においても、誤り訂正のための処理は、上述したように、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもない。
従って、ADRC処理や、シンクブロックブロック処理、階層符号化処理は、エラーに対する耐性の強い、いわばロバストな処理ということができる。いま、このようなエラーに対する耐性の強いロバストな処理を、ロバスト符号化というものとすると、統合符号化装置6において行われる処理は、そのようなロバスト符号化と、編集処理などとを統合した統合符号化処理ということができる。
なお、ロバスト符号化のうち、例えば、ADRC処理では、それを行うことにより、情報量が削減されるとともに、エラーに対する耐性も向上することから、画像の圧縮処理と、誤り訂正のための処理とが、いわば有機的に結合して行われているということができる。
次に、図11は、適応復号化装置7の、ISDBを実現するための部分であるISDB用受信装置の構成例を示している。
信号分離部111には、伝送路13を介して伝送されてくる伝送データが入力され、そこでは、伝送データから、例えば、画像(SD画像や、HD画像)、およびそれに付随する音声)を符号化した符号化データが抽出される。信号分離部11において得られた符号化データは、復号部112にそれぞれ出力される。
復号部112では、信号分離部111からの符号化データが復号される。即ち、例えば、画像の符号化データについては、ADRC復号処理などが行われる。復号部112における復号処理の結果得られる画像およびそれに付随する音声は、セレクタ113を介して出力される。画像は、例えば、表示装置9,10、またはコンピュータディスプレイ12に供給されて表示され、あるいは、画素アスペクト比変換器8を介してプリンタ11に供給されて印刷される。また、音声は、図示せぬスピーカに供給されて出力される。
また、信号分離部111では、伝送データから、例えば、地域情報と、その地域情報に対応する付加情報としての地域コードとが抽出され、復号部114に供給される。復号部114では、地域コードに対応して、地域情報の復号が行われる。
即ち、受信した地域情報が、ユーザが所望する地域の情報であるとは限らないため、復号部114では、あらかじめ入力された地域に対応する地域コードとともに入力された地域情報だけの復号が行われる。
地域の入力は、例えば、制御部123を操作することにより行うことができるようになされており、その入力された地域は、ORゲート122を介して、復号部114に供給される。
また、地域の入力は、例えば、GPS(Global Positioning System)システム(システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かを問わない)を利用して行うことなども可能である。即ち、GPS衛星からの電波が、アンテナ118で受信され、その受信信号が、GPS受信部119に供給される。GPS受信部119は、アンテナ118からの受信信号から、図11のISDB用受信装置が設置されている位置を計算し、その計算結果としての位置情報(例えば、緯度と経度など)を、地域判別部120に供給する。地域判別部120は、GPS受信部119からの位置情報から地域を判別し、その地域に割り当てられているコードをメモリ121に出力して記憶させる。メモリ121に記憶されたコードは、ORゲート122を介して、復号部114に供給され、復号部114では、そのコードに一致する地域コードとともに入力された地域情報だけが復号される。
復号部114で復号された地域情報は、メモリ115に供給されて記憶される。従って、メモリ115には、例えば、ユーザが住んでいる地域の地域情報などだけが蓄積されていく。
メモリ115に記憶された地域情報を視聴する場合、ユーザは、そのように制御部123を操作する。メモリ115からは、制御部123の操作に対応して、地域情報が読み出され、セレクタ116に供給される。セレクタ116では、メモリ115からの地域情報のうちのいずれか、または全部が選択され、セレクタ113を介して出力される。これにより、地域情報は、上述の画像と同様に、表示装置9に表示等される。
なお、同一地域の地域情報であっても、その中には、ユーザが必要とするものとそうでないものとがある場合がある。セレクタ116では、ユーザが必要とする地域情報のみが、制御部123の操作に対応して選択されるようになされている。
また、セレクタ113では、制御部123の操作に対応して、復号部112の出力か、またはセレクタ116の出力のうちのいずれか一方が選択されて出力されるようになされている。
さらに、図8のISDB用送信装置においては、画像およびそれに付随する音声の付加情報として、タイムコードを多重化するようにしたが、画像およびそれに付随する音声の付加情報としては、その他、例えば、その画像および音声で構成される番組を識別するための識別コードなどを多重化することが可能である。この場合、所望の番組の識別コードをあらかじめ入力しておくことによって、その識別コードに対応する番組を選択することが可能となる。従って、例えば、所望の番組が送信されてきたときのみ、その番組を選択して出力するようにすることなどが可能となる。
なお、以上のようなISDB用送信装置やISDB用受信装置については、例えば、本件出願人が先に出願した特願平7−207158号や特願平7−243453号などに、その詳細が開示されている。
次に、適応復号化装置7は、復号画像の解像度が、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12のうちの、その復号画像を出力させようとしている出力装置の解像度より低い場合、その解像度の低い復号画像と、所定の係数との線形結合により、出力装置の解像度に対応した復号画像を生成する解像度創造処理を行うようになされている。
なお、復号画像の画素数が、出力装置の画素数より少ない場合においては、例えば、補間フィルタなどによる補間を行うことにより、復号画像の画素数を、出力装置の画素数に一致させる方法があるが、このような、いわば単純な補間では、元の復号画像に含まれていない高周波成分は再現されないから、解像度は向上しない。これに対して、解像度創造処理では、後述するように、そのような高周波成分を再現することができる。
また、復号画像の画素数が、出力装置の画素数より多い場合には、例えば、間引きを行ったり、階層符号化における場合のように、幾つかの画素の平均値などを、その幾つかの画素に換えて配置したりすることにより、復号画像の画素数が、出力装置の画素数に一致するように少なくされる。
図12は、適応復号化装置7の、解像度創造処理を行う部分である解像度創造回路の構成例を示している。
なお、ここでも、階層符号化における場合と同様に、解像度の高い(画素数の多い)画像を下位階層の画像とし、解像度の低い(画素数の少ない)画像を上位階層の画像とする。
例えば、図13において・印で示す部分を、下位階層の画像を構成する画素(以下、適宜、下位画素という)とするとともに、同図において○印で示す部分を、上位階層の画像を構成する画素(以下、適宜、上位画素という)とするとき、解像度創造回路は、同図に○印で示す画素で構成される上位階層の画像を、同図に・印で示す画素で構成される下位階層の画像に変換するようになされている。
即ち、上位階層の画像は、クラス分類用ブロック化回路131および予測値計算用ブロック化回路133に供給される。
クラス分類用ブロック化回路131は、そこに供給される上位階層の画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路131は、例えば、図13において実線で囲んで示すような、注目画素を中心とする5×5(横×縦)の上位画素で構成されるクラス分類用ブロックを構成する。
ここで、クラス分類用ブロックを構成する5×5の上位画素(図13において○印で示す部分)を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からi番目の、上からj番目に位置する上位画素を、Bijと表記する。従って、図13の実施の形態において、クラス分類用ブロックは、上位画素B33を注目画素として構成されることになる。また、クラス分類用ブロックを構成する上位画素から生成(予測)される下位画素(図13において・印で示す部分)を、以下、適宜、上位画素と同様に、Aijと表記する。
クラス分類用ブロック化回路131は、クラス分類用ブロックを構成すると、それを、クラス分類回路132に出力する。クラス分類回路132は、クラス分類用ブロックを、その性質に応じて所定のクラスに分類するクラス分類を行い、その結果得られるクラスを、予測回路134に供給する。
予測回路134には、さらに、予測値計算用ブロック化回路133から予測値計算用ブロックが供給される。予測値計算用ブロック化回路133では、例えば、図13において点線の四角形で囲むような、注目画素B33を中心とする3×3画素の予測値計算用ブロックが構成され、予測回路134に供給される。
ここで、予測値計算用ブロックおよびクラス分類用ブロックの構成方法は、上述したものに限定されるものではない。なお、予測値計算用ブロックは、基本的に、どのように構成しても良いが、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成するのが好ましい。
予測回路134は、注目画素についての予測値計算用ブロックとクラスを受信すると、後述するような予測係数であって、受信したクラスに対応するものと、予測値計算用ブロックを構成する上位画素の画素値との線形結合により、下位画素の画素値の予測値を求める適応処理を行う。即ち、予測回路134は、クラスに対応する予測係数と、予測値計算用ブロックを構成する上位画素B22,B23,B24,B32,B33,B34,B42,B43,B44とから、例えば、注目画素B33を中心とする3×3の範囲の下位画素A43,A44,A45,A53,A54,A55,A63,A64,A65の予測値を求める。
予測回路134では、以下同様の処理が、画素B33以外の上位画素を、順次、注目画素として行われ、これにより、下位階層の画像を構成するすべての下位画素の予測値が求められる。
ここで、予測回路134には、解像度設定回路135から解像度信号が供給されるようになされている。解像度設定回路135は、適応復号化装置7が画像を出力させる出力装置(図1の実施の形態では、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12)と、例えば通信を行うことにより、その解像度を認識し、認識した解像度を表す解像度信号を予測回路134に供給するようになされている。
そして、予測回路134では、各種の解像度の画像についての予測係数が記憶されており、解像度設定回路135からの解像度信号に対応した解像度についての予測係数を用いて、下位階層の画像が求められるようになされている。
なお、解像度設定回路135には、出力装置と通信させる他、例えば、図示せぬ操作部を操作することなどにより、解像度を入力することが可能である。
次に、クラス分類回路132で行われるクラス分類処理と、予測回路134で行われる適応処理とについて説明する。
まず、クラス分類処理について説明する。
いま、例えば、図14(A)に示すように、ある注目画素と、それに隣接する3つの画素により、2×2画素でなるブロック(クラス分類用ブロック)を構成し、また、各画素は、1ビットで表現される(0または1のうちのいずれかのレベルをとる)ものとする。この場合、2×2の4画素のブロックは、各画素のレベル分布により、図14(B)に示すように、16(=(21)4)パターンに分類することができる。このようなパターン分けが、クラス分類処理である。
なお、クラス分類処理は、画像(ブロック内の画像)のアクティビティ(画像の複雑さ)(変化の激しさ)などをも考慮して行うようにすることが可能である。
ここで、通常、各画素には、例えば8ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、5×5の25画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、(28)25という膨大な数のクラスに分類されること
になる。
そこで、クラス分類回路132には、クラス分類処理に先だって、クラス分類用ブロックに対して、ADRC処理を施させるようにすることができる。ADRC処理によれば、クラス分類用ブロックを構成する画素のビット数を小さくすることができ、その結果、クラス数を削減することができる。
次に、適応処理について説明する。
例えば、いま、下位画素の画素値yの予測値E[y]を、幾つかの上位画素の画素値(以下、適宜、学習データという)x1,x2,・・・と、所定の予測係数w1,w2,・・・との線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
E[y]=w1x1+w2x2+・・・
・・・(1)
そこで、一般化するために、予測係数wの集合でなる行列W、学習データの集合でなる行列X、および予測値E[y]の集合でなる行列Y’を、
で定義すると、次のような観測方程式が成立する。
XW=Y’
・・・(2)
そして、この観測方程式に最小自乗法を適用して、下位画素の画素値yに近い予測値E[y]を求めることを考える。この場合、下位画素の画素値(以下、適宜、教師データという)yの集合でなる行列Y、および下位画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
で定義すると、式(2)から、次のような残差方程式が成立する。
XW=Y+E
・・・(3)
この場合、下位画素の画素値yに近い予測値E[y]を求めるための予測係数w
iは、自乗誤差
を最小にすることで求めることができる。
従って、上述の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次式を満たす予測係数wiが、下位画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
そこで、まず、式(3)を、予測係数wiで微分することにより、次式が成立する。
式(4)および(5)より、式(6)が得られる。
さらに、式(3)の残差方程式における学習データx、予測係数w、教師データy、および残差eの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
式(7)の正規方程式は、求めるべき予測係数wの数と同じ数だけたてることができ、従って、式(7)を解くことで(但し、式(7)を解くには、式(7)において、予測係数wにかかる係数で構成される行列が正則である必要がある)、最適な予測係数wを求めることができる。なお、式(7)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを適用することが可能である。
以上のようにして、クラスごとに、最適な予測係数wを求めておき、さらに、その予測係数wを用い、式(1)により、下位画素の画素値yに近い予測値E[y]を求めるのが適応処理であり、この適応処理が、予測回路134において行われるようになされている。
即ち、例えば、いま、図13において、実線で囲んだ5×5画素で構成されるクラス分類用ブロックのクラス分類の結果得られるクラスについて、上述の学習を行うことにより、予測値計算用ブロック内における下位画素A43,A44,A45,A53,A54,A55,A63,A64,A65それぞれの予測値E[A43],E[A44],E[A45],E[A53],E[A54],E[A55],E[A63],E[A64],E[A65]を求めるための予測係数として、w1(A43)乃至w9(A43),w1(A44)乃至w9(A44),w1(A45)乃至w9(A45),w1(A53)乃至w9(A53),w1(A54)乃至w9(A54),w1(A55)乃至w9(A55),w1(A63)乃至w9(A63),w1(A64)乃至w9(A64),w1(A65)乃至w9(A65)が、それぞれ得られたとする。この場合、予測回路134では、式(1)に対応する次式にしたがって、予測値計算用ブロック内におけるHD画素A43,A44,A45,A53,A54,A55,A63,A64,A65それぞれの予測値E[A43],E[A44],E[A45],E[A53],E[A54],E[A55],E[A63],E[A64],E[A65]が求められる。
E[A43]=w1(A43)B22+w2(A43)B23+w3(A43)B24
+w4(A43)B32+w5(A43)B33+w6(A43)B34
+w7(A43)B42+w8(A43)B43+w9(A43)B44
E[A44]=w1(A44)B22+w2(A44)B23+w3(A44)B24
+w4(A44)B32+w5(A44)B33+w6(A44)B34
+w7(A44)B42+w8(A44)B43+w9(A44)B44
E[A45]=w1(A45)B22+w2(A45)B23+w3(A45)B24
+w4(A45)B32+w5(A45)B33+w6(A45)B34
+w7(A45)B42+w8(A45)B43+w9(A45)B44
E[A53]=w1(A53)B22+w2(A53)B23+w3(A53)B24
+w4(A53)B32+w5(A53)B33+w6(A53)B34
+w7(A53)B42+w8(A53)B43+w9(A53)B44
E[A54]=w1(A54)B22+w2(A54)B23+w3(A54)B24
+w4(A54)B32+w5(A54)B33+w6(A54)B34
+w7(A54)B42+w8(A54)B43+w9(A54)B44
E[A55]=w1(A55)B22+w2(A55)B23+w3(A55)B24
+w4(A55)B32+w5(A55)B33+w6(A55)B34
+w7(A55)B42+w8(A55)B43+w9(A55)B44
E[A63]=w1(A63)B22+w2(A63)B23+w3(A63)B24
+w4(A63)B32+w5(A63)B33+w6(A63)B34
+w7(A63)B42+w8(A63)B43+w9(A63)B44
E[A64]=w1(A64)B22+w2(A64)B23+w3(A64)B24
+w4(A64)B32+w5(A64)B33+w6(A64)B34
+w7(A64)B42+w8(A64)B43+w9(A64)B44
E[A65]=w1(A65)B22+w2(A65)B23+w3(A65)B24
+w4(A65)B32+w5(A65)B33+w6(A65)B34
+w7(A65)B42+w8(A65)B43+w9(A65)B44
・・・(8)
なお、適応処理は、上位階層の画像には含まれていない、下位階層の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式(1)や(8)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いての、いわば学習により求められるため、下位階層の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば解像度の創造作用がある処理ということができる。
ここで、適応処理については、例えば、本件出願人が先に出願した特開平5−328185号公報などに、その詳細が開示されている。
次に、図15は、図12の予測回路134の構成例を示している。
スイッチ141には、クラス分類回路132からのクラスが供給されるようになされており、スイッチ141は、解像度設定回路135からの解像度信号に対応して、端子a1乃至a4のうちのいずれかを選択するようになされている。そして、スイッチ141の端子a1乃至a4は、ROM(Read Only Memory)143乃至146のアドレス端子(AD)にそれぞれ接続されている。従って、クラス分類回路132からのクラスは、スイッチ141を介して、ROM143乃至146のうちのいずれかに、アドレスとして供給されるようになされている。
スイッチ142は、スイッチ141と同様に、解像度設定回路135からの解像度信号に対応して、端子b1乃至b4のうちのいずれかを選択するようになされている。端子b1乃至b4は、ROM143乃至146のデータ端子(D)とそれぞれ接続されている。なお、スイッチ142は、スイッチ141と連動するようになされており、例えば、スイッチ141が端子a1乃至a4を選択したとき、スイッチ142は、端子b1乃至b4をそれぞれ選択するようになされている。
ROM143乃至146には、上述したような学習により求められたクラスごとの予測係数が、そのクラスに対応するアドレスに記憶されている。即ち、ROM143乃至146には、例えば、上述したような階層符号化が行われた場合に、最上位階層の画像などを、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12の解像度に対応した下位階層の画像に変換するための予測係数が、それぞれ記憶されている。
演算回路147には、予測値計算用ブロック化回路133から予測値計算用ブロックが、ROM143乃至146のうちのいずれかからスイッチ142を介して、予測係数が、それぞれ供給されるようになされており、演算回路147は、予測値計算用ブロックと予測係数とを用いて、式(1)または(8)に対応する積和演算を行うことにより、出力装置の解像度に対応した下位階層の画像を求めるようになされている。
以上のように構成される予測回路134では、解像度設定回路135からの解像度信号に対応して、スイッチ141において、端子a1乃至a4のうちのいずれかが選択され、スイッチ142においても、それに連動して、端子b1乃至b4のうちのいずれかが選択される。
そして、クラス分類回路132からのクラスが、ROM143乃至146のうちの、スイッチ141が選択している端子(端子a1乃至a4のうちのいずれか)に接続されているもの(以下、適宜、選択ROMという)のアドレス端子に供給される。選択ROMでは、そのアドレス端子に供給されたクラスに対応するアドレスに記憶されている予測係数が読み出され、そのデータ端子から出力される。
上述したように、スイッチ142は、スイッチ141と連動しているから、選択ROMから読み出された予測係数は、スイッチ142を介して、演算回路147に供給される。
演算回路147には、予測係数の他、上述したように、予測値計算用ブロック化回路133から予測値計算用ブロックが供給されるようになされており、演算回路147では、そこに供給される予測値計算用ブロックおよび予測係数を用いて、式(1)または(8)に対応する積和演算が行われ、これにより、出力装置の解像度に対応した下位階層の画像が生成されて出力される。
従って、ユーザは、出力装置に対応する画像を視聴することができる。
なお、上述の場合においては、予測係数を適応復号化装置7に記憶させておくようにしたが、予測係数は、復号に必要な情報として、送信側から伝送するようにすることも可能である。また、クラス分類用ブロックや、予測値計算用ブロックなどの構成方法も、送信側から指示するようにすることが可能である。
1,2 ビデオカメラ, 3 プログレッシブイメージャ, 4 計算機, 5 ネットワーク, 6 統合符号化装置, 7 適応復号化装置, 8 画素アスペクト比変換器, 9,10 表示装置, 11 プリンタ, 12 コンピュータディスプレイ, 13 伝送路, 21 ブロック化回路, 22 最小値検出回路, 23 最大値検出回路, 24,25 演算器, 26 量子化回路, 31 分離器, 32 マルチプレクサ, 41,42 平均値算出回路, 43,44 画素抜き出し回路, 45 画素挿入回路, 51 符号化部, 52 タイムコード発生部, 53 符号化部, 54 タイムコード発生部, 55 符号化部, 56 付加情報発生部, 57 多重化部, 101 デマルチプレクサ, 102 逆量子化回路, 103 演算器, 104 フレーム構成回路, 105,106 セレクタ, 107 メモリ, 108 復元回路, 111 信号分離部, 112 復号部, 113 セレクタ, 114 復号部, 115 メモリ, 116 セレクタ, 118 アンテナ, 119 GPS受信部, 120 地域判別部, 121 メモリ, 122 ORゲート, 123 制御部, 131 クラス分類用ブロック化回路, 132 クラス分類回路, 133 予測値計算用ブロック化回路, 134 予測回路, 135 解像度設定回路, 141,142 スイッチ, 143乃至146 ROM, 147 演算回