JP4674593B2

JP4674593B2 - 画像符号化装置

Info

Publication number: JP4674593B2
Application number: JP2007097070A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-03
Filing date: 2007-04-03
Publication date: 2011-04-20
Anticipated expiration: 2017-07-11
Also published as: JP2007215224A

Description

本発明は、画像符号化装置に関し、特に、画像を効率的に符号化し、さらに、画像を表示するモニタなどに適した形の復号画像を得ることができるようにする画像符号化装置に関する。

図１６は、送信側から受信側に画像を伝送する画像伝送装置の構成例を示している。

送信側では、例えば、高解像度のビデオカメラ２０１において、被写体が撮影され、例えば、横×縦の画素数が１９２０×１０３５で構成される、アスペクト比が１６：９の、高解像度の画像（以下、適宜、ＨＤ画像という）が出力される。なお、ビデオカメラ２０１からは、１秒間に約３０フレームのＨＤ画像が出力される。但し、ここでは、ＨＤ画像は、インターレース走査されるようになされており、従って、ビデオカメラ２０１からは、１秒間に、約６０フィールドのＨＤ画像が出力される。

また、送信側では、例えば、標準解像度または低解像度のビデオカメラ２０２において、被写体が撮影され、アスペクト比が４：３の、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）が出力される。ビデオカメラ２０２が、例えば、ＮＴＳＣ（National Television Systems Committee）方式またはＰＡＬ（Phase Alternating by Line color television system）方式のものである場合、１フレームは、例えば、それぞれ７２０×４８０画素または７２０×５７６画素で構成され、また、１秒間のフレーム数（フィールド数）は、それぞれ３０（６０）または２５（５０）である。

さらに、送信側では、プログレッシブイメージャ２０３において、被写体がスキャニングされ、順次走査された画像（以下、適宜、プログレッシブな画像という）が出力される。また、送信側では、計算機２０４において、コンピュータグラフィックス（ＣＧ）としての、例えば、６４０×４８０画素で構成される画像が生成されて出力される。

なお、ビデオカメラ２０１，２０２が出力する画像を構成する画素の横と縦との比は、約１：１．１程度になっているが、計算機２０４が出力する画像を構成する画素の横と縦との比は、１：１になっている。

以上のように、ビデオカメラ２０１，２０２、プログレッシブイメージャ２０３、計算機２０４からは、アスペクト比や、画素数、走査方法、画素の横と縦との比などが異なる画像が出力される。

これらの画像は、編集装置２０５に入力される。編集装置２０５では、ビデオカメラ２０１，２０２、プログレッシブイメージャ２０３、計算機２０４からの画像がそれぞれ編集される。編集後の画像は、すべて、例えば、１９２０×１０８０画素で構成されるプログレッシブな画像とされ、ソース符号化装置２０６に出力される。ソース符号化装置２０６では、編集装置２０５から出力された画像が、情報圧縮のための符号化である、例えば、ＭＰＥＧ（Moving Picture Experts Group）の規格に準拠して符号化（ＭＰＥＧ符号化）され、その結果得られる符号化データが、チャネル符号化装置２０７に供給される。

ここで、画素数や走査方法の異なる画像を、すべて、１９２０×１０８０画素のプログレッシブな画像にすることは、ＡＴＶ（Advanced Television）で採用することが検討されている。

チャネル符号化装置２０７では、伝送時の符号化データの信頼性を向上させるためのチャネル符号化が行われる。即ち、チャネル符号化装置２０７では、例えば、エラー訂正のための処理としてＥＣＣ（Error Correcting Codes）が付加され、さらに、所定の変調処理などが施される。チャネル符号化装置２０７における処理の結果得られる伝送データは、伝送路２１１を介して伝送される。

受信側では、上述したようにして送信側から伝送されてくる伝送データが受信される。この伝送データは、チャネル復号化装置２０８に供給され、チャネル復号される。即ち、例えば、所定の復調処理が施され、さらに、ＥＣＣを用いた誤り訂正などが行われる。

チャネル復号化装置２０８における処理の結果得られる符号化データは、ソース復号化装置２０９に供給される。ソース復号化装置２０９では、符号化データが、例えば、ＭＰＥＧの規格に準拠して復号（ＭＰＥＧ復号）されるなどして伸張され、その結果得られる画像データは、加工装置２１０に供給される。

加工装置２１０では、画像データを出力する出力装置のフォーマットにあうように、ソース復号化装置２０９からの画像データが加工される。即ち、画像データを、ＨＤ画像を表示するＨＤ表示装置２２１に表示させる場合、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、１９２０×１０３５画素で構成される、アスペクト比が１６：９の、インターレース走査されるＨＤ画像に加工される。また、画像データを、ＳＤ画像を表示するＳＤ表示装置２２２に表示させる場合、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、７２０×４８０画素または７２０×５７６画素で構成される、ＮＴＳＣ方式またはＰＡＬ方式のＳＤ画像に加工される。さらに、画像データを、プリンタ２２３に印刷させる場合には、加工装置２１０では、ソース復号化装置２０９が出力する画像を構成する画素の横と縦との比が、プリンタ２２３に対応したものに変換される。また、画像データを、コンピュータディスプレイ２２４に表示させる場合には、加工装置２１０では、ソース復号化装置２０９が出力する画像データが、例えば、６４０×４８０画素で構成される画像に加工される。

ＨＤ表示装置２２１，ＳＤ表示装置２２２、プリンタ２２３、コンピュータディスプレイ２２４では、加工装置２１０からの画像が表示され、または印刷される。

ところで、従来においては、送信側における編集装置２０５による編集処理、ソース符号化装置２０６による圧縮処理、およびチャネル符号化装置２０７によるチャネル符号化処理は、いわば、それぞれ別個独立に行われていた。

即ち、例えば、圧縮処理を行った後のデータは、圧縮処理を行う前のデータより情報量が少なく、従って、圧縮処理を行った後のデータを編集処理の対象とすることができれば、編集装置２０５に対する負荷を低減することができる。しかしながら、ソース符号化装置２０６において、上述したように、画像をＭＰＥＧ符号化する場合、その結果得られるビットストリームは、いわゆるＧＯＰ（Group Of Picture）単位でなければ編集することが困難になる。また、その編集も、ＧＯＰどうしを接続するだけの、いわゆるカット編集などに制限される。即ち、ソース符号化装置２０６では、編集装置２０５による編集処理を考慮した圧縮処理がなされないため、その圧縮処理後のデータについては、例えば、フレーム単位で編集することができず、また、各種のエフェクトなどをかけることも困難である。

また、例えば、ソース符号化装置２０６では、チャネル符号化装置２０７によるＥＣＣの付加を考慮した圧縮処理がなされないため、例えば、圧縮処理により得られる符号化データにＥＣＣが付加されることによって、ＥＣＣが付加された後のデータ全体としての圧縮率が劣化することがあった。

以上のように、従来においては、画像の符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などが、互いに他の処理を考慮した形で行われていないため、効率的な処理を行うことが困難であった。

本発明は、このような状況に鑑みてなされたものであり、効率的な処理を行うことができるようにするものである。

本発明の第１の側面は、異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化する画像符号化装置であって、前記異なる複数の画像をADRC処理の圧縮処理を行なって符号化データを出力する符号化手段と、前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、前記符号化手段の出力である符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する多重化手段とを備え、前記符号化データに固定長の同期パターン及び付加データを付加してシンクブロック処理を行なう画像符号化装置である。

本発明の第１の側面においては、異なる解像度の複数の画像を階層符号化処理またはADRC処理の圧縮処理を行なって符号化データが出力され、前記圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報が発生され、前記符号化データ、前記タイムコード及び前記付加情報が多重化され、前記符号化データに固定長の同期パターン及び付加データを付加してシンクブロック処理が行なわれる。

本発明の第１の側面によれば、異なる解像度の複数の画像を階層符号化処理またはADRC処理の圧縮処理を行なって符号化データが出力され、前記圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報が発生され、前記符号化データ、前記タイムコード及び前記付加情報が多重化され、前記符号化データに固定長の同期パターン及び付加データを付加してシンクブロック処理が行なわれる。従って、効率的な処理が可能となる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。

送信側では、例えば、高解像度のビデオカメラ１や、低解像度のビデオカメラ２において、それぞれが出力し得る最大の数の画素数で構成される画像が出力される。即ち、ここでは、ビデオカメラ１においては、例えば、１９２０×９６０画素で構成される、アスペクト比が１６：９で、フレームレートが約３０フレーム／秒の、プログレッシブなＨＤ画像が出力される。また、ビデオカメラ２においては、例えば、６４０×４８０画素で構成される、アスペクト比が４：３で、フレームレートが約３０フレーム／秒の、プログレッシブなＳＤ画像、または７２０×４８０画素で構成される、アスペクト比が４：３で、フレームレートが約１５フレーム／秒の、プログレッシブなＳＤ画像が出力される。

さらに、送信側では、プログレッシブイメージャ３において、被写体がスキャニングされ、例えば、縦の画素数が、４８０の整数倍のプログレッシブな画像が出力される。また、送信側では、計算機４において、コンピュータグラフィックス（ＣＧ）としての、例えば、６４０×４８０画素で構成される、画素の横と縦との比が１：１の画像が生成されて出力される。

ビデオカメラ１や２、プログレッシブイメージャ３、計算機４が出力する画像は、統合符号化装置６（処理手段）に供給される。

さらに、統合符号化装置６には、例えば、縦の画素数が、４８０の整数倍のプログレッシブな画像が、例えば、インターネットなどのネットワーク５から供給される。なお、ネットワーク５からは、例えば、計算機４と同様に、画素の横と縦との比が１：１の画像が供給される。

ここで、ビデオカメラ１や２に、それが出力し得る最大の数の画素数で構成される画像を出力させるようにしたのは、そのような画像を処理の対象とする方が、例えば、インターレース方式の画像などのように、一画面の画素数が少ない画像を処理の対象とする場合に比較して、一般に、高画質の復号画像を得ることができるからである。

さらに、統合符号化装置６に供給される画像の縦の画素数は、すべて、所定値、即ち、ここでは、例えば、４８０の整数倍となっており、また、フレームレートも、所定値としての１５の整数倍となっているが、これは、例えば、ＨＤ画像を構成する画素を、空間方向または時間方向に間引いてＳＤ画像を生成した場合や、ＳＤ画像を構成する画素を、空間方向または時間方向に補間してＨＤ画像を生成した場合に、その生成したＳＤ画像やＨＤ画像の画質の劣化を低減することができるためのである。

また、ビデオカメラ１に出力させるＨＤ画像の縦の画素数を、９６０画素としたのは、縦の画素数を、４８０の整数倍とするとき、９６０が、現行のＨＤ画像の縦の画素数である１０３５（図１６）に最も近く、従って、乗り換えを行うときに、画質の劣化を低減することができるからである。

さらに、ビデオカメラ２に出力させるＳＤ画像の縦の画素数を４８０画素にしたのは、その値が、現行のＮＴＳＣ方式やＰＡＬ方式で採用されている画素数に最も近い４８０の倍数であるからである。

なお、ビデオカメラ２に出力させるアスペクト比が４：３のＳＤ画像の横の画素数を６４０とした場合、その画素の横と縦との比は、１：１（＝４×４８０：３×６４０）となり、計算機４が出力する画像や、ネットワーク５から供給される画像とのコンパチビリティ（compatibility）が取り易くなる。

また、ビデオカメラ２に出力させるアスペクト比が４：３のＳＤ画像の横の画素数を７２０とした場合、その画素の横と縦との比は、８：９（＝４×４８０：３×７２０）となる。これは、ビデオカメラ１が出力するＨＤ画像が構成する画素の横と縦との比（８：９＝１６×９６０：９×１９２０）に等しく、従って、この場合、ビデオカメラ２が出力するＳＤ画素の横および縦の画素数を２倍にして、その縦の画素数を、ビデオカメラ１が出力するＨＤ画像の縦の画素数に等しい９６０画素としたとき、いわゆる真円率を維持することができる（画像が、横方向や縦方向に間延びしたものにならない）。

統合符号化装置６では、そこに供給される画像（ディジタル画像信号）を対象に、その符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などの複数の処理の１以上が、他の処理を考慮した形で行われる。ここで、編集処理には、例えば、カット編集を行ったり、エフェクトをかけたりする、いわゆるビデオ編集のための処理の他、例えば、ＩＳＤＢ（Integrated Services Digital Broadcasting）（各種の情報をディジタル化して送信するインタラクティブな放送）などを実現するための情報や、その他の付加価値を付けるための情報（例えば、より高画質の復号画像を得るのに必要な情報）などを付加すること、さらには、ある画像と他の画像との間にリンクを張ることなども含まれる。

統合符号化装置６における処理の結果得られる伝送データは、伝送路１３を介して、受信側に伝送される。なお、伝送路１３には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスクその他の記録媒体も含まれる。

伝送路１３を介して伝送されてくる伝送データは、受信側で受信され、適応復号化装置７（生成手段）に供給される。適応復号化装置７には、画像を出力する出力装置としての、例えば、ＨＤ画像を表示する高解像度の表示装置９，ＳＤ画像を表示する標準解像度または低解像度の表示装置１０、画像を印刷するプリンタ１１、コンピュータ（計算機）に接続されるコンピュータディスプレイ１２などが接続されている（但し、プリンタ１１は、画素アスペクト比変換器８を介して接続されている）。適応復号化装置７は、伝送データと、所定の係数との線形結合により、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２の解像度に対応した復号画像を生成し、それぞれに出力する。

表示装置９，１０、およびコンピュータディスプレイ１２では、適応復号化装置７からの復号画像が表示され、プリンタ１１では、適応復号化装置７からの復号画像が印刷される。

なお、表示装置９，１０、またはコンピュータディスプレイ１２それぞれにおける画素の横と縦との比（以下、適宜、画素アスペクト比という）と、復号画像を構成する画素の画素アスペクト比との違いは、表示装置９，１０、またはコンピュータディスプレイ１２それぞれでの水平走査により吸収される。

また、プリンタ１１では、そのような水平走査により、画素アスペクト比の違いを吸収することができないため、その前段に、画素アスペクト比変換器８が設けられており、そこで、復号画像の画素アスペクト比が、プリンタ１１に対応したものに変換される。

次に、統合符号化装置６における処理について説明する。

統合符号化装置６では、例えば、圧縮処理が、編集処理を考慮した形で行われる。

即ち、統合符号化装置６では、圧縮処理として、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理が行われる。

ここで、ＡＤＲＣ処理について、簡単に説明する。

いま、説明を簡単にするため、図２（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。

即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図２（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。

ＡＤＲＣでは、再量子化の際のビット数Ｋは、画素に割り当てられているビット数よりも小さい値が用いられ、従って、各画素は、そのような小さいビット数に圧縮されることになる（但し、その他に、ブロックごとに、最小値ＭＩＮとダイナミックレンジＤＲが生じる）。

なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。

図３は、ＡＤＲＣ処理を行うＡＤＲＣ処理回路の構成例を示している。

画像データは、ブロック化回路２１に供給され、そこで、所定の大きさのブロックにブロック化される。即ち、ブロック化回路２１は、画像データを、例えば、横×縦が４画素×４画素のブロックに分割する。そして、そのブロックを、最小値検出回路２２、最大値検出回路２３、および演算器２５に供給する。

最小値検出回路２２では、ブロック化回路２１からのブロックを構成する１６（＝４×４）画素の中から、最小値ＭＩＮが検出される。この最小値ＭＩＮは、ＡＤＲＣ処理結果の信号の１つとして出力されるとともに、演算器２４および２５に供給される。

同時に、最大値検出回路２３では、ブロック化回路２１からのブロックを構成する１６画素の中から、最大値ＭＡＸが検出され、演算器２４に供給される。

演算器２４では、最大値ＭＡＸから最小値ＭＩＮが減算され、これによりブロックのダイナミックレンジＤＲが求められる。このダイナミックレンジＤＲは、ＡＤＲＣ処理結果の信号の１つとして出力されるとともに、量子化回路２６に供給される。

一方、演算器２５では、ブロックを構成する１６画素それぞれから、ブロックの最小値ＭＩＮが減算され、その減算値が量子化回路２６に供給される。量子化回路２６では、演算器２５からの減算値が、演算器２４からのダイナミックレンジＤＲに対応する量子化ステップで量子化される。即ち、量子化回路２６では、例えば、演算器２５の出力が、ＤＲ／２^Kで除算され、その除算値の小数点以下を切り捨てたものが、ＡＤＲＣコード（画素の再量子化結果）ＣＯＤＥとして出力される。

ここで、本実施の形態では、再量子化の際のビット数Ｋは、各ブロックごとに、例えば、そのダイナミックレンジＤＲの大きさに対応して決定されるようになされており、これにより、ＡＤＲＣコードは可変長とされている。

即ち、例えば、いま、４つの閾値Ｔ１，Ｔ２，Ｔ３，Ｔ４が設定されているものとし、その大小関係が、０＜Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４であるとする。また、元の画像の画素には、例えば、８ビットが割り当てられているものとする（従って、Ｔ４は２⁸未満）。

この場合、量子化回路２６では、ダイナミックレンジＤＲが、０以上Ｔ１未満、Ｔ１以上Ｔ２未満、Ｔ２以上Ｔ３未満、Ｔ３以上Ｔ４未満、またはＴ４以上２⁸未満のうちのいずれの範囲内にあるかが判定される。そして、ダイナミックレンジＤＲが、０以上Ｔ１未満、Ｔ１以上Ｔ２未満、Ｔ２以上Ｔ３未満、Ｔ３以上Ｔ４未満、またはＴ４以上２⁸未満の範囲内にある場合、再量子化の際のビット数Ｋとして、例えば、０乃至４ビットがそれぞれ割り当てられる。従って、この場合、ＡＤＲＣコードは、最小で０ビット、最大で４ビットになる。

ＡＤＲＣコードが可変長の場合、その復号を行うのに、ＡＤＲＣコードのビット数Ｋが必要となることから、量子化回路２６では、ダイナミックレンジＤＲが、上述のいずれの範囲内にあるかを示す閾値コードを出力するようになされており、この閾値コードは、最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードとともに、ＡＤＲＣ処理結果として出力される。

なお、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードは、例えば固定長とされている。

ここで、上述の場合においては、ＡＤＲＣコードを可変長としたが、再量子化の際のビット数Ｋを、ブロックのダイナミックレンジＤＲに無関係に固定値とし、これにより、ＡＤＲＣコードは固定長とすることも可能である。

以上のようなＡＤＲＣ処理により得られるＡＤＲＣコードは、元の画素に割り当てられているビット数よりも少なくなっている。一方、ＡＤＲＣ処理の結果得られる最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードは、ブロック単位で取り扱うことが可能であり、従って、ＡＤＲＣ処理後の画像は、例えば、フレーム単位で編集することができる。

以上から、圧縮処理としてＡＤＲＣ処理を行い、そのＡＤＲＣ処理結果を、各種の編集処理の対象とすることで、ＡＤＲＣ処理前の元の画像を対象にする場合とほぼ同一の編集処理を行うことができるとともに、その処理の負荷を、ＡＤＲＣ処理前の元の画像を対象にする場合に比較して軽減することができる。

従って、圧縮処理としてのＡＤＲＣ処理は、編集処理を考慮したものということができ、その結果、編集処理を効率的に行うことが可能となる。

なお、ＡＤＲＣについては、例えば、本件出願人が先に出願した特開平３−５３７７８号公報などに、その詳細が開示されている。

また、ＡＤＲＣは、ブロック単位で符号化を行うので、ブロック符号化ということができるが、ブロック符号化には、ＡＤＲＣの他、ブロックを構成する画素の平均値および標準偏差とともに、その各画素と、平均値との大小関係を表す１ビットのフラグを求めるものなどがある。統合符号化装置６による圧縮処理としては、このようなブロック符号化を採用することも可能である。

さらに、上述の場合においては、最小値ＭＩＮとダイナミックレンジＤＲを、ＡＤＲＣ処理結果に含ませるようにしたが、ＡＤＲＣ結果には、その他、最小値ＭＩＮとブロックの最大値ＭＡＸや、ダイナミックレンジＤＲとブロックの最大値ＭＡＸを含ませるようにすることが可能である。

また、上述の場合には、１フレームの横４画素と縦４画素とで、ブロックを構成するようにしたが、ブロックは、時間的に連続する複数フレームを構成する画素で構成するようにすることも可能である。

ところで、ＡＤＲＣ処理の結果得られるブロックごとの最小値ＭＩＮ、ダイナミックレンジＤＲ、閾値コード、およびＡＤＲＣコードの伝送方法としては、例えば、同期をとるための同期パターンの後に、所定のデータ量のＡＤＲＣ結果を配置したブロック（以下、適宜、シンクブロックという）を構成し、そのようなシンクブロック単位で、伝送を行うものがある。

シンクブロック単位で伝送を行う場合、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードは、上述したように固定長であるから、これらのデータは、シンクブロックの固定の位置に配置するようにすれば、１のシンクブロックが、例えば欠落などして得られなくても、その影響が、他のシンクブロックに配置された最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードに及ぶことはない。

しかしながら、ＡＤＲＣコードは可変長であるから、例えば、ＡＤＲＣコードが、１のシンクブロックに入りきらずに、複数のシンクブロックに分けて配置されている場合には、１のシンクブロックの欠落が、他のシンクブロックに影響を及ぼすことがある。即ち、その複数のシンクブロックのうちの最初のシンクブロックが欠落した場合、２番目のシンクブロックの最初に配置されているＡＤＲＣコードが、ブロックのどの位置の画素に対応するものなのか、さらに、そのＡＤＲＣコードとして配置されているビットが、最初のシンクブロックの最後に配置されたＡＤＲＣコードの続き（一部）を構成するビットなのか、あるいは、ＡＤＲＣコードの最初のビットなのかが分からなくなる。その結果、２番目以降のシンクブロックに配置されたＡＤＲＣコードも取り出すことができなくなり、このように、いわば、あるシンクブロックのエラーが、他のシンクブロックにも伝搬することになる。

ところで、あるブロックのＡＤＲＣコードがすべて失われた場合であっても、最小値ＭＩＮが分かれば、すべての画素が、その最小値ＭＩＮを画素値として有するブロックを再生することができる。しかしながら、このブロックは、画素（画素値）が同一の値の、いわば平坦なものであるから、元の画像の再現性は低いものとなる。

そこで、より高い再現性を実現するために、ＡＤＲＣコードを、例えば、ＭＳＢ（Most Significant Bit）と、それ以外（以下、適宜、残りビットという）とに分離し、ＭＳＢも、最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コードと同様に、シンクブロックの固定の位置に配置するようにすることができる。この場合、残りビットが失われても、ＭＳＢを、ダイナミックレンジＤＲにしたがって逆量子化することで、２値で構成されるブロックを得ることができ、ＡＤＲＣコードがすべて失われた場合に比較して再現性の高い画像を得ることが可能となる。

図４は、以上のようなシンクブロックを構成するシンクブロック処理を行うシンクブロック構成回路の構成例を示している。

ＡＤＲＣ処理回路（図３）が出力する最小値ＭＩＮ、ダイナミックレンジＤＲ、閾値コードは、マルチプレクサ３２に供給され、また、ＡＤＲＣコードは、分離器３１に供給される。分離器３１では、ＡＤＲＣコードが、ＭＳＢと残りビットとに分離され、いずれも、マルチプレクサ３２に供給される。

マルチプレクサ３２には、上述したデータの他、同期パターンが供給されている。マルチプレクサ３２は、そこに供給されるデータを時分割多重化して、例えば、図５に示すようなシンクブロックを構成して出力する。

即ち、図５に示すように、シンクブロックの先頭には、固定長の同期パターンが配置され、その後には、固定長の付加データが配置される。ここで、付加データとは、閾値コードなどの固定長のデータだけで構成される。付加データの後には、残りビットが、所定のバイト数だけ配置される。即ち、付加データの後には、先頭からＮ₁−１バイト目までに、残りビットが配置される。

そして、先頭からＮ₁バイト目以降に、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが、例えば、ＤＲ，ＭＳＢ，ＭＩＮ，ＭＳＢ，ＤＲ，・・・の順番で配置される。ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが所定数だけ配置された後には、再び、残りビットが配置される。そして、先頭からＮ₂バイト目以降に、再び、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが、上述した順番で、所定数だけ配置される。以下、同様の配置が、シンクブロックの最後まで繰り返される。

以上のように、ダイナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮは、シンクブロックの先頭からＮ₁，Ｎ₂，・・・バイト目のように、決まった位置から配置され、さらに、これらのデータは固定長であるから、シンクブロックの固定の位置に配置されることになる。

以上のシンクブロック処理は、ＡＤＲＣコード（残りビット）にエラーが生じた場合であっても、元の画像に比較的近い復号画像を得ることができるようにするものであり、残りビットがなくても、再現性の高い復号画像を得ることができる。従って、極端には、残りビットには、誤り訂正のための、例えばＥＣＣなどを付加しなくても良く、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、シンクブロック処理は、チャネル符号化処理を考慮したものということができる。

なお、シンクブロック処理については、例えば、本件出願人が先に出願した特開平２−１６２９８０号公報などに、その詳細が開示されている。

次に、統合符号化装置６には、圧縮処理として、ＡＤＲＣ処理の他、例えば、階層符号化処理を行わせることも可能である。

階層符号化は、例えば、高解像度の画像データを、最下位階層または第１階層の画像データとして、それより画素数の少ない第２階層の画像データ（圧縮画像）を形成し、さらに、それより画素数の少ない第３階層の画像データを形成し、以下、同様にして、最上位階層までの画像データを形成するもので、各階層の画像データは、その階層に対応した解像度（画素数）のモニタで表示される。従って、ユーザ側では、階層符号化された画像データのうち、自身が有するモニタの解像度に対応するものを選択することで、同一内容の画像を視聴することができる。

ところで、ある解像度の画像データを最下位階層（第１階層）の画像データとして、上位階層の画像データを、順次形成し、それらのすべてを、そのまま記憶や伝送などする場合には、最下位階層の画像データだけを記憶等する場合に比較して、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となる。

そこで、ここでは、そのような記憶容量等の増加のない階層符号化を、統合符号化装置６における圧縮処理として採用する。

即ち、例えば、いま、下位階層における２×２画素（横×縦）の４画素の平均値を、上位階層の画素（画素値）とし、３階層の階層符号化を行うものとする。この場合、最下位階層の画像として、例えば、図６（Ａ）に示すように、８×８画素を考えると、その左上の２×２画素の４画素ｈ００，ｈ０１，ｈ０２，ｈ０３の平均値ｍ０が演算され、これが、第２階層の左上の１画素とされる。同様にして、最下位階層の画像の右上の４画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値ｍ１、左下の４画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値ｍ２、右下の４画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の平均値ｍ３が演算され、それぞれが、第２階層の右上、左下、右下の１画素とされる。さらに、第２階層の２×２画素の４画素ｍ０，ｍ１，ｍ２，ｍ３の平均値ｑが演算され、これが、第３階層、即ち、ここでは、最上位階層の画像の画素とされる。

以上の画素ｈ００乃至ｈ０３，ｈ１０乃至ｈ１３，ｈ２０乃至ｈ２３，ｈ３０乃至ｈ３３，ｍ０乃至ｍ３，ｑを、そのまま全部記憶などさせたのでは、上述のように、画素ｍ０乃至ｍ３，ｑの分だけ余分に記憶容量等が必要となる。

そこで、図６（Ｂ）に示すように、第３階層の画素ｑを、第２階層の画素ｍ０乃至ｍ３のうちの、例えば、右下の画素ｍ３の位置に配置する。これにより、第２階層は、画素ｍ０乃至ｍ２およびｑで構成されることになる。

そして、図６（Ｃ）に示すように、第２階層の画素ｍ０を、それを求めるのに用いた第３階層の画素ｈ００乃至ｈ０３のうちの、例えば、右下の画素ｈ０３の位置に配置する。第２階層の残りの画素ｍ１，ｍ２，ｑも、同様に、第１階層の画素ｈ１３，ｈ２３，ｈ３３に代えて配置する。なお、画素ｑは、画素ｈ３０乃至ｈ３３から直接求められたものではないが、それらから直接求められたｍ３に代えて第２階層に配置されているものであるから、画素ｈ３３の位置に画素ｍ３を配置する代わりに、画素ｑを配置する。

以上のようにすることで、図６（Ｃ）に示すように、全画素数は４×４の１６画素となり、図６（Ａ）に示した最下位階層の画素だけの場合と変わらない。従って、この場合、記憶容量等の増加を防止することができる。

なお、画素ｑと代えられた画素ｍ３、画素ｍ０乃至ｍ３とそれぞれ代えられた画素ｈ０３，ｈ１３，ｈ２３，ｈ３３の復号は、次のようにして行うことができる。

即ち、ｑは、ｍ０乃至ｍ３の平均値であるから、式ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４が成り立つ。従って、式ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）により、ｍ３を求めることができる。

また、ｍ０は、ｈ００乃至ｈ０３の平均値であるから、式ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０３）／４が成り立つ。従って、式ｈ０３＝４×ｍ０−（ｈ００＋ｈ０１＋ｈ０２）により、ｈ０３を求めることができる。同様にして、ｈ１３，ｈ２３，ｈ３３も求めることができる。

図７は、以上のような階層符号化処理を行う階層符号化回路の構成例を示している。この階層符号化回路では、例えば、上述したような３階層の階層符号化か行われるようになされている。

即ち、第１階層（最下位階層）の画像データ（ここでは、上述したように、プログレッシブな画像）は、平均値算出回路４１および画素抜き出し回路４３に供給される。

そして、平均値算出回路４１では、第１階層の画像について、例えば、上述したような２×２画素の合計４画素の平均値が計算され、これにより、第２階層の画像が形成される。この第２階層の画像は、平均値算出回路４２および画素抜き出し回路４４に供給される。

平均値算出回路４２では、第２階層の画像について、例えば、上述したような２×２画素の合計４画素単位の平均値が計算され、これにより、第３階層の画像が形成される。この第３階層の画像は、画素挿入回路４５に供給される。

画素抜き出し回路４３では、第１階層の画像から、図６で説明した画素ｈ０３，ｈ１３，ｈ２３の位置に対応する画素が抜き出され、残りが、画素挿入回路４５に供給される。画素抜き出し回路４４では、第２階層の画像から、図６で説明した画素ｍ３の位置に対応する画素が抜き出され、残りが、画素挿入回路４５に供給される。

画素挿入回路４５では、画素抜き出し回路４３からの第１階層の画像の画素ｈ０３，ｈ１３，ｈ２３に対応する位置に、画素抜き出し回路４４からの第２階層の画像の画素（例えば、画素ｍ０乃至ｍ２など）が挿入され、さらに、第１階層の画像の画素ｈ３３に対応する位置に、平均値算出回路４２からの第３階層の画素（例えば、画素ｑなど）が挿入される。以上のようにして、図６（Ｃ）で説明したような画像データが構成され、これが、階層符号化結果として出力される。

通常の階層符号化によれば、上述のように、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となるが、図６および図７で説明した階層符号化（以下、適宜、改良型階層符号化という）によれば、その結果得られるデータ量は、最下位階層の画像と変わらない。この意味で、改良型階層符号化は、情報圧縮処理であるということができる。

ここで、階層符号化を行った場合に、下位階層の画像は、上位階層の画像を用いて、例えば補間などを行うことにより得ることができる（但し、得られる画像は、下位階層の画像と同一の画像ではなく、画質の劣化したものとなる）。従って、最悪の場合であっても、最上位階層の画像を復元できれば、すべての階層の画像を得ることができるから、誤り訂正のための、例えば、ＥＣＣの付加などは、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもなく、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、階層符号化処理は、チャネル符号化処理を考慮したものということができる。

なお、上述の場合においては、空間方向の画素数を少なくして、上位階層の画像を形成するようにしたが、上位階層の画像は、その他、例えば、時間方向の画素数を少なくして形成することも可能である。

次に、統合符号化装置６における編集処理の１つである、ＩＳＤＢを実現するための情報の付加について説明する。

図８は、統合符号化装置６の、ＩＳＤＢを実現するための部分であるＩＳＤＢ用送信装置の構成例を示している。

符号化部５１には、例えば、ＳＤ画像とそれに付随する音声とが入力され、そこでは、例えば、上述したＡＤＲＣ処理などの圧縮処理が施され、多重化部５７に出力される。また、符号化部５１は、その圧縮処理のタイミングを表す同期信号をタイムコード発生部５２に出力する。タイムコード発生部５２は、符号化部５１の出力に付加する付加情報として、例えば、タイムコードなどを、符号化部５１からの同期信号に同期して発生し、多重化部５７に出力する。

符号化部５３またはタイムコード発生部５４においても、処理の対象が、ＳＤ画像ではなく、ＨＤ画像であることを除けば、符号化部５１またはタイムコード発生部５２における場合とそれぞれ同様の処理が行われる。そして、符号化部５３における圧縮処理の結果得られる符号化データ、およびタイムコード発生部５４が出力するタイムコードは、いずれも、多重化部５７に供給される。

符号化部５５には、例えば、コンピュータのプログラムや、そのプログラムの実行に必要なデータ、ファクシミリのデータ、さらには、地域情報などのマルチメディアを実現するためのデータが入力され、そこでは、それらのデータが圧縮され、符号化データとして、多重化部５７に出力される。また、符号化部５５は、その圧縮処理のタイミングを表す同期信号を付加情報発生部５６に出力する。付加情報発生部５６は、符号化部５５で圧縮されているデータの種類などを表す付加情報を、符号化部５５からの同期信号に同期して発生し、多重化部５７に出力する。

ここで、符号化部５５に入力される地域情報とは、各地域に特有の情報であり、例えば、各地域の天気予報や、地図、施設に関する情報（例えば、飲食店のサービス内容や、営業時間など）、企業の宣伝広告などが含まれている。また、このような地域情報については、付加情報発生部５６は、各地域情報の該当する地域を表す地域コードを、付加情報として発生する。

多重化部５７では、符号化部５１、タイムコード発生部５２、符号化部５３、タイムコード発生部５４、符号化部５５、および付加情報発生部５６の出力が多重化されて出力される。

次に、図９は、統合符号化装置６において、圧縮処理として、ＡＤＲＣ処理が行われる場合の、適応復号化装置７（図１）の構成例を示している。即ち、図９は、適応復号化装置７の、ＡＤＲＣ処理結果を復号するＡＤＲＣ復号処理を行う部分であるＡＤＲＣ復号回路の構成例を示している。

デマルチプレクサ１０１には、伝送路１３（図１）を介して伝送されてくる伝送データとしての、ＡＤＲＣ処理結果が配置されたビットストリームが入力され、そこでは、伝送データから、最小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコードが分離される。なお、ＡＤＲＣコードの分離は、デマルチプレクサ１０１において、伝送データから閾値コードが分離され、その閾値コードに基づいて、ＡＤＲＣコードに対しての割当ビット数（上述のＫ）が認識されることで行われる。

そして、最小値ＭＩＮは、演算器１０３に、ダイナミックレンジＤＲおよびＡＤＲＣコードは、逆量子化回路１０２に、それぞれ供給される。逆量子化回路１０２では、ＡＤＲＣコードが、ダイナミックレンジＤＲに対応する量子化ステップで逆量子化され、その結果得られる逆量子化値が演算器１０３に供給される。演算器１０３では、逆量子化回路１０２からの逆量子化値と、最小値ＭＩＮとが加算され、これにより、画素が復号される。

そして、１ブロック分の画素が得られると、演算器１０３は、その１ブロック分の画素を、フレーム構成回路１０４に供給する。フレーム構成回路１０４は、ブロック単位で供給される画素を順次記憶し、１フレーム分の画素を記憶するごとに出力する。

なお、ＡＤＲＣコードが、上述したように、ＭＳＢと残りビットとに分離されている場合には、デマルチプレクサ１０１は、そのＭＳＢと残りビットとを合わせて、元のＡＤＲＣコードを復元する処理も行うようになされている。また、ＡＤＲＣコードが、ＭＳＢと残りビットとに分離されている場合において、残りビットにエラーが生じているときには、デマルチプレクサ１０１は、ＭＳＢをＡＤＲＣコードとして逆量子化回路１０２に出力するようになされている。

ところで、ＡＤＲＣ復号処理においては、上述したように、残りビットがエラーになっても、ＭＳＢと、最小値ＭＩＮおよびダイナミックレンジＤＲとがあれば、ある程度、再現性の良い復号画像（元の画像に近い復号画像）を得ることができる。しかしながら、最小値ＭＩＮやダイナミックレンジＤＲがエラーになると、そのブロックを復号することが困難となる。

そこで、図１０は、最小値ＭＩＮやダイナミックレンジＤＲがエラーになっても、比較的精度良く、ブロックを復号することができるＡＤＲＣ復号回路の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このＡＤＲＣ復号回路は、セレクタ１０５および１０６、メモリ１０７、および復元回路１０８が新たに設けられている他は、基本的に、図９における場合と同様に構成されている。

セレクタ１０５には、デマルチプレクサ１０１が出力するダイナミックレンジＤＲと、復元回路１０８が出力するダイナミックレンジの予測値ＤＲ’とが供給されるようになされている。セレクタ１０６には、デマルチプレクサ１０１が出力する最小値ＭＩＮと、復元回路１０８が出力する最小値の予測値ＭＩＮ’とが供給されるようになされている。また、ここでは、デマルチプレクサ１０１は、伝送データに含まれる最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じているかどうかを検出するようになされており、エラーが生じている場合、エラー信号を、セレクタ１０５および１０６に出力するようになされている。

セレクタ１０５は、エラー信号を受信していないとき、即ち、最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じていないとき、デマルチプレクサ１０１が出力するダイナミックレンジＤＲを選択し、逆量子化回路１０２に出力する。同様に、セレクタ１０６も、エラー信号を受信していないときは、デマルチプレクサ１０１が出力する最小値ＭＩＮを選択し、演算器１０３に出力する。

従って、この場合、図９における場合と同様にして、ＡＤＲＣ復号処理が行われる。

一方、演算器１０３が出力する画素の復号値は、フレーム構成回路１０４だけでなく、メモリ１０７にも供給されるようになされている。メモリ１０７では、演算器１０３からの画素の復号値が、対応するアドレスに記憶される。

そして、復元回路１０８において、いまＡＤＲＣ復号処理の対象となっているブロックの周辺にある画素の復号値が、例えば、ブロックを構成する画素数と同一の数だけ、即ち、本実施の形態では、上述したように１６だけ、メモリ１０７から読み出される。さらに、復元回路１０８は、その１６画素の最小値と、ダイナミックレンジ（最大値と最小値との差）を検出し、それぞれを、いまＡＤＲＣ復号処理の対象となっているブロックの最小値の予測値ＭＩＮ’と、ダイナミックレンジの予測値ＤＲ’として、セレクタ１０６と１０５に、それぞれ出力する。

セレクタ１０５または１０６は、デマルチプレクサ１０１からエラー信号を受信したとき、即ち、最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じているとき、復元回路１０８からのダイナミックレンジの予測値ＤＲ’または最小値の予測値ＭＩＮ’を選択し、逆量子化回路１０２または演算器１０３にそれぞれ出力する。

従って、この場合、逆量子化回路１０２では、ダイナミックレンジの予測値ＤＲ’を用いて逆量子化が行われ、また、演算器１０３では、最小値の予測値ＭＩＮ’を用いて画素が復号される。

あるブロックに注目した場合に、その注目ブロックを構成する画素と、その注目ブロックの周辺にある画素との間には、通常、大きな相関があり、従って、そのような相関のある画素によれば、注目ブロックのダイナミックレンジおよび最小値を、比較的精度良く予測することができる。その結果、そのような予測値を用いることで、真の最小値ＭＩＮおよびダイナミックレンジＤＲを用いた場合とほぼ同様の復号画像を得ることが可能となる。

なお、以上のようなＡＤＲＣ復号処理については、例えば、本件出願人が先に出願した特開昭６３−２５７３９０号公報などに、その詳細が開示されている。

ここで、ＡＤＲＣ処理を行った場合、上述のように、最小値ＭＩＮや、ダイナミックレンジＤＲにエラーが生じても、ある程度の復号画像を得ることができる。さらに、ＡＤＲＣ処理に加えて、シンクブロックブロック処理を行うことで、上述したように、残りビットのエラーにも対処することが可能となる。また、階層符号化を行う場合においても、誤り訂正のための処理は、上述したように、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもない。

従って、ＡＤＲＣ処理や、シンクブロックブロック処理、階層符号化処理は、エラーに対する耐性の強い、いわばロバストな処理ということができる。いま、このようなエラーに対する耐性の強いロバストな処理を、ロバスト符号化というものとすると、統合符号化装置６において行われる処理は、そのようなロバスト符号化と、編集処理などとを統合した統合符号化処理ということができる。

なお、ロバスト符号化のうち、例えば、ＡＤＲＣ処理では、それを行うことにより、情報量が削減されるとともに、エラーに対する耐性も向上することから、画像の圧縮処理と、誤り訂正のための処理とが、いわば有機的に結合して行われているということができる。

次に、図１１は、適応復号化装置７の、ＩＳＤＢを実現するための部分であるＩＳＤＢ用受信装置の構成例を示している。

信号分離部１１１には、伝送路１３を介して伝送されてくる伝送データが入力され、そこでは、伝送データから、例えば、画像（ＳＤ画像や、ＨＤ画像）、およびそれに付随する音声）を符号化した符号化データが抽出される。信号分離部１１において得られた符号化データは、復号部１１２にそれぞれ出力される。

復号部１１２では、信号分離部１１１からの符号化データが復号される。即ち、例えば、画像の符号化データについては、ＡＤＲＣ復号処理などが行われる。復号部１１２における復号処理の結果得られる画像およびそれに付随する音声は、セレクタ１１３を介して出力される。画像は、例えば、表示装置９，１０、またはコンピュータディスプレイ１２に供給されて表示され、あるいは、画素アスペクト比変換器８を介してプリンタ１１に供給されて印刷される。また、音声は、図示せぬスピーカに供給されて出力される。

また、信号分離部１１１では、伝送データから、例えば、地域情報と、その地域情報に対応する付加情報としての地域コードとが抽出され、復号部１１４に供給される。復号部１１４では、地域コードに対応して、地域情報の復号が行われる。

即ち、受信した地域情報が、ユーザが所望する地域の情報であるとは限らないため、復号部１１４では、あらかじめ入力された地域に対応する地域コードとともに入力された地域情報だけの復号が行われる。

地域の入力は、例えば、制御部１２３を操作することにより行うことができるようになされており、その入力された地域は、ＯＲゲート１２２を介して、復号部１１４に供給される。

また、地域の入力は、例えば、ＧＰＳ（Global Positioning System）システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かを問わない）を利用して行うことなども可能である。即ち、ＧＰＳ衛星からの電波が、アンテナ１１８で受信され、その受信信号が、ＧＰＳ受信部１１９に供給される。ＧＰＳ受信部１１９は、アンテナ１１８からの受信信号から、図１１のＩＳＤＢ用受信装置が設置されている位置を計算し、その計算結果としての位置情報（例えば、緯度と経度など）を、地域判別部１２０に供給する。地域判別部１２０は、ＧＰＳ受信部１１９からの位置情報から地域を判別し、その地域に割り当てられているコードをメモリ１２１に出力して記憶させる。メモリ１２１に記憶されたコードは、ＯＲゲート１２２を介して、復号部１１４に供給され、復号部１１４では、そのコードに一致する地域コードとともに入力された地域情報だけが復号される。

復号部１１４で復号された地域情報は、メモリ１１５に供給されて記憶される。従って、メモリ１１５には、例えば、ユーザが住んでいる地域の地域情報などだけが蓄積されていく。

メモリ１１５に記憶された地域情報を視聴する場合、ユーザは、そのように制御部１２３を操作する。メモリ１１５からは、制御部１２３の操作に対応して、地域情報が読み出され、セレクタ１１６に供給される。セレクタ１１６では、メモリ１１５からの地域情報のうちのいずれか、または全部が選択され、セレクタ１１３を介して出力される。これにより、地域情報は、上述の画像と同様に、表示装置９に表示等される。

なお、同一地域の地域情報であっても、その中には、ユーザが必要とするものとそうでないものとがある場合がある。セレクタ１１６では、ユーザが必要とする地域情報のみが、制御部１２３の操作に対応して選択されるようになされている。

また、セレクタ１１３では、制御部１２３の操作に対応して、復号部１１２の出力か、またはセレクタ１１６の出力のうちのいずれか一方が選択されて出力されるようになされている。

さらに、図８のＩＳＤＢ用送信装置においては、画像およびそれに付随する音声の付加情報として、タイムコードを多重化するようにしたが、画像およびそれに付随する音声の付加情報としては、その他、例えば、その画像および音声で構成される番組を識別するための識別コードなどを多重化することが可能である。この場合、所望の番組の識別コードをあらかじめ入力しておくことによって、その識別コードに対応する番組を選択することが可能となる。従って、例えば、所望の番組が送信されてきたときのみ、その番組を選択して出力するようにすることなどが可能となる。

なお、以上のようなＩＳＤＢ用送信装置やＩＳＤＢ用受信装置については、例えば、本件出願人が先に出願した特願平７−２０７１５８号や特願平７−２４３４５３号などに、その詳細が開示されている。

次に、適応復号化装置７は、復号画像の解像度が、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２のうちの、その復号画像を出力させようとしている出力装置の解像度より低い場合、その解像度の低い復号画像と、所定の係数との線形結合により、出力装置の解像度に対応した復号画像を生成する解像度創造処理を行うようになされている。

なお、復号画像の画素数が、出力装置の画素数より少ない場合においては、例えば、補間フィルタなどによる補間を行うことにより、復号画像の画素数を、出力装置の画素数に一致させる方法があるが、このような、いわば単純な補間では、元の復号画像に含まれていない高周波成分は再現されないから、解像度は向上しない。これに対して、解像度創造処理では、後述するように、そのような高周波成分を再現することができる。

また、復号画像の画素数が、出力装置の画素数より多い場合には、例えば、間引きを行ったり、階層符号化における場合のように、幾つかの画素の平均値などを、その幾つかの画素に換えて配置したりすることにより、復号画像の画素数が、出力装置の画素数に一致するように少なくされる。

図１２は、適応復号化装置７の、解像度創造処理を行う部分である解像度創造回路の構成例を示している。

なお、ここでも、階層符号化における場合と同様に、解像度の高い（画素数の多い）画像を下位階層の画像とし、解像度の低い（画素数の少ない）画像を上位階層の画像とする。

例えば、図１３において・印で示す部分を、下位階層の画像を構成する画素（以下、適宜、下位画素という）とするとともに、同図において○印で示す部分を、上位階層の画像を構成する画素（以下、適宜、上位画素という）とするとき、解像度創造回路は、同図に○印で示す画素で構成される上位階層の画像を、同図に・印で示す画素で構成される下位階層の画像に変換するようになされている。

即ち、上位階層の画像は、クラス分類用ブロック化回路１３１および予測値計算用ブロック化回路１３３に供給される。

クラス分類用ブロック化回路１３１は、そこに供給される上位階層の画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路１３１は、例えば、図１３において実線で囲んで示すような、注目画素を中心とする５×５（横×縦）の上位画素で構成されるクラス分類用ブロックを構成する。

ここで、クラス分類用ブロックを構成する５×５の上位画素（図１３において○印で示す部分）を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からｉ番目の、上からｊ番目に位置する上位画素を、Ｂ_ijと表記する。従って、図１３の実施の形態において、クラス分類用ブロックは、上位画素Ｂ₃₃を注目画素として構成されることになる。また、クラス分類用ブロックを構成する上位画素から生成（予測）される下位画素（図１３において・印で示す部分）を、以下、適宜、上位画素と同様に、Ａ_ijと表記する。

クラス分類用ブロック化回路１３１は、クラス分類用ブロックを構成すると、それを、クラス分類回路１３２に出力する。クラス分類回路１３２は、クラス分類用ブロックを、その性質に応じて所定のクラスに分類するクラス分類を行い、その結果得られるクラスを、予測回路１３４に供給する。

予測回路１３４には、さらに、予測値計算用ブロック化回路１３３から予測値計算用ブロックが供給される。予測値計算用ブロック化回路１３３では、例えば、図１３において点線の四角形で囲むような、注目画素Ｂ₃₃を中心とする３×３画素の予測値計算用ブロックが構成され、予測回路１３４に供給される。

ここで、予測値計算用ブロックおよびクラス分類用ブロックの構成方法は、上述したものに限定されるものではない。なお、予測値計算用ブロックは、基本的に、どのように構成しても良いが、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成するのが好ましい。

予測回路１３４は、注目画素についての予測値計算用ブロックとクラスを受信すると、後述するような予測係数であって、受信したクラスに対応するものと、予測値計算用ブロックを構成する上位画素の画素値との線形結合により、下位画素の画素値の予測値を求める適応処理を行う。即ち、予測回路１３４は、クラスに対応する予測係数と、予測値計算用ブロックを構成する上位画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄とから、例えば、注目画素Ｂ₃₃を中心とする３×３の範囲の下位画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を求める。

予測回路１３４では、以下同様の処理が、画素Ｂ₃₃以外の上位画素を、順次、注目画素として行われ、これにより、下位階層の画像を構成するすべての下位画素の予測値が求められる。

ここで、予測回路１３４には、解像度設定回路１３５から解像度信号が供給されるようになされている。解像度設定回路１３５は、適応復号化装置７が画像を出力させる出力装置（図１の実施の形態では、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２）と、例えば通信を行うことにより、その解像度を認識し、認識した解像度を表す解像度信号を予測回路１３４に供給するようになされている。

そして、予測回路１３４では、各種の解像度の画像についての予測係数が記憶されており、解像度設定回路１３５からの解像度信号に対応した解像度についての予測係数を用いて、下位階層の画像が求められるようになされている。

なお、解像度設定回路１３５には、出力装置と通信させる他、例えば、図示せぬ操作部を操作することなどにより、解像度を入力することが可能である。

次に、クラス分類回路１３２で行われるクラス分類処理と、予測回路１３４で行われる適応処理とについて説明する。

まず、クラス分類処理について説明する。

いま、例えば、図１４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１４（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。このようなパターン分けが、クラス分類処理である。

なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。

ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、５×５の２５画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２⁸）²⁵という膨大な数のクラスに分類されること
になる。

そこで、クラス分類回路１３２には、クラス分類処理に先だって、クラス分類用ブロックに対して、ＡＤＲＣ処理を施させるようにすることができる。ＡＤＲＣ処理によれば、クラス分類用ブロックを構成する画素のビット数を小さくすることができ、その結果、クラス数を削減することができる。

次に、適応処理について説明する。

例えば、いま、下位画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの上位画素の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・との線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（１）

そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、下位画素の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および下位画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

以上のようにして、クラスごとに、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、予測回路１３４において行われるようになされている。

即ち、例えば、いま、図１３において、実線で囲んだ５×５画素で構成されるクラス分類用ブロックのクラス分類の結果得られるクラスについて、上述の学習を行うことにより、予測値計算用ブロック内における下位画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅それぞれの予測値Ｅ［Ａ₄₃］，Ｅ［Ａ₄₄］，Ｅ［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ［Ａ₅₄］，Ｅ［Ａ₅₅］，Ｅ［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ［Ａ₆₅］を求めるための予測係数として、ｗ₁（Ａ₄₃）乃至ｗ₉（Ａ₄₃），ｗ₁（Ａ₄₄）乃至ｗ₉（Ａ₄₄），ｗ₁（Ａ₄₅）乃至ｗ₉（Ａ₄₅），ｗ₁（Ａ₅₃）乃至ｗ₉（Ａ₅₃），ｗ₁（Ａ₅₄）乃至ｗ₉（Ａ₅₄），ｗ₁（Ａ₅₅）乃至ｗ₉（Ａ₅₅），ｗ₁（Ａ₆₃）乃至₉（Ａ₆₃），ｗ₁（Ａ₆₄）乃至ｗ₉（Ａ₆₄），ｗ₁（Ａ₆₅）乃至ｗ₉（Ａ₆₅）が、それぞれ得られたとする。この場合、予測回路１３４では、式（１）に対応する次式にしたがって、予測値計算用ブロック内におけるＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅それぞれの予測値Ｅ［Ａ₄₃］，Ｅ［Ａ₄₄］，Ｅ［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ［Ａ₅₄］，Ｅ［Ａ₅₅］，Ｅ［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ［Ａ₆₅］が求められる。

Ｅ［Ａ₄₃］＝ｗ₁（Ａ₄₃）Ｂ₂₂＋ｗ₂（Ａ₄₃）Ｂ₂₃＋ｗ₃（Ａ₄₃）Ｂ₂₄
＋ｗ₄（Ａ₄₃）Ｂ₃₂＋ｗ₅（Ａ₄₃）Ｂ₃₃＋ｗ₆（Ａ₄₃）Ｂ₃₄
＋ｗ₇（Ａ₄₃）Ｂ₄₂＋ｗ₈（Ａ₄₃）Ｂ₄₃＋ｗ₉（Ａ₄₃）Ｂ₄₄
Ｅ［Ａ₄₄］＝ｗ₁（Ａ₄₄）Ｂ₂₂＋ｗ₂（Ａ₄₄）Ｂ₂₃＋ｗ₃（Ａ₄₄）Ｂ₂₄
＋ｗ₄（Ａ₄₄）Ｂ₃₂＋ｗ₅（Ａ₄₄）Ｂ₃₃＋ｗ₆（Ａ₄₄）Ｂ₃₄
＋ｗ₇（Ａ₄₄）Ｂ₄₂＋ｗ₈（Ａ₄₄）Ｂ₄₃＋ｗ₉（Ａ₄₄）Ｂ₄₄
Ｅ［Ａ₄₅］＝ｗ₁（Ａ₄₅）Ｂ₂₂＋ｗ₂（Ａ₄₅）Ｂ₂₃＋ｗ₃（Ａ₄₅）Ｂ₂₄
＋ｗ₄（Ａ₄₅）Ｂ₃₂＋ｗ₅（Ａ₄₅）Ｂ₃₃＋ｗ₆（Ａ₄₅）Ｂ₃₄
＋ｗ₇（Ａ₄₅）Ｂ₄₂＋ｗ₈（Ａ₄₅）Ｂ₄₃＋ｗ₉（Ａ₄₅）Ｂ₄₄
Ｅ［Ａ₅₃］＝ｗ₁（Ａ₅₃）Ｂ₂₂＋ｗ₂（Ａ₅₃）Ｂ₂₃＋ｗ₃（Ａ₅₃）Ｂ₂₄
＋ｗ₄（Ａ₅₃）Ｂ₃₂＋ｗ₅（Ａ₅₃）Ｂ₃₃＋ｗ₆（Ａ₅₃）Ｂ₃₄
＋ｗ₇（Ａ₅₃）Ｂ₄₂＋ｗ₈（Ａ₅₃）Ｂ₄₃＋ｗ₉（Ａ₅₃）Ｂ₄₄
Ｅ［Ａ₅₄］＝ｗ₁（Ａ₅₄）Ｂ₂₂＋ｗ₂（Ａ₅₄）Ｂ₂₃＋ｗ₃（Ａ₅₄）Ｂ₂₄
＋ｗ₄（Ａ₅₄）Ｂ₃₂＋ｗ₅（Ａ₅₄）Ｂ₃₃＋ｗ₆（Ａ₅₄）Ｂ₃₄
＋ｗ₇（Ａ₅₄）Ｂ₄₂＋ｗ₈（Ａ₅₄）Ｂ₄₃＋ｗ₉（Ａ₅₄）Ｂ₄₄
Ｅ［Ａ₅₅］＝ｗ₁（Ａ₅₅）Ｂ₂₂＋ｗ₂（Ａ₅₅）Ｂ₂₃＋ｗ₃（Ａ₅₅）Ｂ₂₄
＋ｗ₄（Ａ₅₅）Ｂ₃₂＋ｗ₅（Ａ₅₅）Ｂ₃₃＋ｗ₆（Ａ₅₅）Ｂ₃₄
＋ｗ₇（Ａ₅₅）Ｂ₄₂＋ｗ₈（Ａ₅₅）Ｂ₄₃＋ｗ₉（Ａ₅₅）Ｂ₄₄
Ｅ［Ａ₆₃］＝ｗ₁（Ａ₆₃）Ｂ₂₂＋ｗ₂（Ａ₆₃）Ｂ₂₃＋ｗ₃（Ａ₆₃）Ｂ₂₄
＋ｗ₄（Ａ₆₃）Ｂ₃₂＋ｗ₅（Ａ₆₃）Ｂ₃₃＋ｗ₆（Ａ₆₃）Ｂ₃₄
＋ｗ₇（Ａ₆₃）Ｂ₄₂＋ｗ₈（Ａ₆₃）Ｂ₄₃＋ｗ₉（Ａ₆₃）Ｂ₄₄
Ｅ［Ａ₆₄］＝ｗ₁（Ａ₆₄）Ｂ₂₂＋ｗ₂（Ａ₆₄）Ｂ₂₃＋ｗ₃（Ａ₆₄）Ｂ₂₄
＋ｗ₄（Ａ₆₄）Ｂ₃₂＋ｗ₅（Ａ₆₄）Ｂ₃₃＋ｗ₆（Ａ₆₄）Ｂ₃₄
＋ｗ₇（Ａ₆₄）Ｂ₄₂＋ｗ₈（Ａ₆₄）Ｂ₄₃＋ｗ₉（Ａ₆₄）Ｂ₄₄
Ｅ［Ａ₆₅］＝ｗ₁（Ａ₆₅）Ｂ₂₂＋ｗ₂（Ａ₆₅）Ｂ₂₃＋ｗ₃（Ａ₆₅）Ｂ₂₄
＋ｗ₄（Ａ₆₅）Ｂ₃₂＋ｗ₅（Ａ₆₅）Ｂ₃₃＋ｗ₆（Ａ₆₅）Ｂ₃₄
＋ｗ₇（Ａ₆₅）Ｂ₄₂＋ｗ₈（Ａ₆₅）Ｂ₄₃＋ｗ₉（Ａ₆₅）Ｂ₄₄
・・・（８）

なお、適応処理は、上位階層の画像には含まれていない、下位階層の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）や（８）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、下位階層の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば解像度の創造作用がある処理ということができる。

ここで、適応処理については、例えば、本件出願人が先に出願した特開平５−３２８１８５号公報などに、その詳細が開示されている。

次に、図１５は、図１２の予測回路１３４の構成例を示している。

スイッチ１４１には、クラス分類回路１３２からのクラスが供給されるようになされており、スイッチ１４１は、解像度設定回路１３５からの解像度信号に対応して、端子ａ１乃至ａ４のうちのいずれかを選択するようになされている。そして、スイッチ１４１の端子ａ１乃至ａ４は、ＲＯＭ（Read Only Memory）１４３乃至１４６のアドレス端子（ＡＤ）にそれぞれ接続されている。従って、クラス分類回路１３２からのクラスは、スイッチ１４１を介して、ＲＯＭ１４３乃至１４６のうちのいずれかに、アドレスとして供給されるようになされている。

スイッチ１４２は、スイッチ１４１と同様に、解像度設定回路１３５からの解像度信号に対応して、端子ｂ１乃至ｂ４のうちのいずれかを選択するようになされている。端子ｂ１乃至ｂ４は、ＲＯＭ１４３乃至１４６のデータ端子（Ｄ）とそれぞれ接続されている。なお、スイッチ１４２は、スイッチ１４１と連動するようになされており、例えば、スイッチ１４１が端子ａ１乃至ａ４を選択したとき、スイッチ１４２は、端子ｂ１乃至ｂ４をそれぞれ選択するようになされている。

ＲＯＭ１４３乃至１４６には、上述したような学習により求められたクラスごとの予測係数が、そのクラスに対応するアドレスに記憶されている。即ち、ＲＯＭ１４３乃至１４６には、例えば、上述したような階層符号化が行われた場合に、最上位階層の画像などを、表示装置９，１０、プリンタ１１、またはコンピュータディスプレイ１２の解像度に対応した下位階層の画像に変換するための予測係数が、それぞれ記憶されている。

演算回路１４７には、予測値計算用ブロック化回路１３３から予測値計算用ブロックが、ＲＯＭ１４３乃至１４６のうちのいずれかからスイッチ１４２を介して、予測係数が、それぞれ供給されるようになされており、演算回路１４７は、予測値計算用ブロックと予測係数とを用いて、式（１）または（８）に対応する積和演算を行うことにより、出力装置の解像度に対応した下位階層の画像を求めるようになされている。

以上のように構成される予測回路１３４では、解像度設定回路１３５からの解像度信号に対応して、スイッチ１４１において、端子ａ１乃至ａ４のうちのいずれかが選択され、スイッチ１４２においても、それに連動して、端子ｂ１乃至ｂ４のうちのいずれかが選択される。

そして、クラス分類回路１３２からのクラスが、ＲＯＭ１４３乃至１４６のうちの、スイッチ１４１が選択している端子（端子ａ１乃至ａ４のうちのいずれか）に接続されているもの（以下、適宜、選択ＲＯＭという）のアドレス端子に供給される。選択ＲＯＭでは、そのアドレス端子に供給されたクラスに対応するアドレスに記憶されている予測係数が読み出され、そのデータ端子から出力される。

上述したように、スイッチ１４２は、スイッチ１４１と連動しているから、選択ＲＯＭから読み出された予測係数は、スイッチ１４２を介して、演算回路１４７に供給される。

演算回路１４７には、予測係数の他、上述したように、予測値計算用ブロック化回路１３３から予測値計算用ブロックが供給されるようになされており、演算回路１４７では、そこに供給される予測値計算用ブロックおよび予測係数を用いて、式（１）または（８）に対応する積和演算が行われ、これにより、出力装置の解像度に対応した下位階層の画像が生成されて出力される。

従って、ユーザは、出力装置に対応する画像を視聴することができる。

なお、上述の場合においては、予測係数を適応復号化装置７に記憶させておくようにしたが、予測係数は、復号に必要な情報として、送信側から伝送するようにすることも可能である。また、クラス分類用ブロックや、予測値計算用ブロックなどの構成方法も、送信側から指示するようにすることが可能である。

本発明を適用した画像伝送装置の一実施の形態の構成例を示すブロック図である。ＡＤＲＣ処理を説明するための図である。ＡＤＲＣ処理回路の構成例を示すブロック図である。シンクブロック構成回路の構成例を示すブロック図である。シンクブロックのフォーマットを示す図である。階層符号化を説明するための図である。階層符号化回路の構成例を示すブロック図である。ＩＳＤＢ用送信装置の構成例を示すブロック図である。ＡＤＲＣ復号回路の構成例を示すブロック図である。ＡＤＲＣ復号回路の他の構成例を示すブロック図である。ＩＳＤＢ用受信装置の構成例を示すブロック図である。解像度創造回路の構成例を示すブロック図である。クラス分類用ブロックと予測値計算用ブロックとを示す図である。クラス分類処理を説明するための図である。図１２の予測回路１３４の構成例を示すブロック図である。送信側から受信側に画像を伝送する画像伝送装置の構成例を示すブロック図である。

符号の説明

１，２ビデオカメラ，３プログレッシブイメージャ，４計算機，５ネットワーク，６統合符号化装置，７適応復号化装置，８画素アスペクト比変換器，９，１０表示装置，１１プリンタ，１２コンピュータディスプレイ，１３伝送路，２１ブロック化回路，２２最小値検出回路，２３最大値検出回路，２４，２５演算器，２６量子化回路，３１分離器，３２マルチプレクサ，４１，４２平均値算出回路，４３，４４画素抜き出し回路，４５画素挿入回路，５１符号化部，５２タイムコード発生部，５３符号化部，５４タイムコード発生部，５５符号化部，５６付加情報発生部，５７多重化部，１０１デマルチプレクサ，１０２逆量子化回路，１０３演算器，１０４フレーム構成回路，１０５，１０６セレクタ，１０７メモリ，１０８復元回路，１１１信号分離部，１１２復号部，１１３セレクタ，１１４復号部，１１５メモリ，１１６セレクタ，１１８アンテナ，１１９ＧＰＳ受信部，１２０地域判別部，１２１メモリ，１２２ＯＲゲート，１２３制御部，１３１クラス分類用ブロック化回路，１３２クラス分類回路，１３３予測値計算用ブロック化回路，１３４予測回路，１３５解像度設定回路，１４１，１４２スイッチ，１４３乃至１４６ＲＯＭ，１４７演算回路

Claims

異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化する画像符号化装置であって、
前記異なる複数の画像をADRC処理の圧縮処理を行なって符号化データを出力する符号化手段と、
前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、
付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、
前記符号化手段の出力である符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する多重化手段とを備え、
前記符号化データに固定長の同期パターン及び付加データを付加してシンクブロック処理を行なう
画像符号化装置。