JPH1132330A

JPH1132330A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに画像処理装置および画像処理方法

Info

Publication number: JPH1132330A
Application number: JP18614497A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-11
Filing date: 1997-07-11
Publication date: 1999-02-02
Anticipated expiration: 2017-07-11
Also published as: EP0926898A4; EP0926898A1; JP4240554B2; CN1231100A; EP1313326A3; CN1178509C; US6636640B2; EP1313326A2; US6990244B2; US20040086189A1; US6480630B1; US20040086190A1; US7072491B2; KR100574184B1; KR20000068542A; WO1999003283A1; US20020181793A1

Abstract

(57)【要約】【課題】処理を効率的に行う。【解決手段】統合符号化装置６では、画像の符号化に
必要な複数の処理のうちの１以上であって、他の処理を
考慮したものが行われる。即ち、例えば、情報圧縮のた
めの圧縮処理として、編集処理を考慮した処理であるＡ
ＤＲＣ処理が行われる。ここで、ＡＤＲＣ処理において
は、画像がブロックに分割され、ブロックの画素値の最
大値MAXと最小値MINが検出される。そして、DR=MAX-MIN
が、ブロックの局所的なダイナミックレンジとされ、ブ
ロック内の各画素値から、最小値MINを減算した減算値
がDR/2^Kで除算される。ＡＤＲＣ処理結果を、各種の編
集処理の対象とすることで、ＡＤＲＣ処理前の元の画像
を対象にする場合とほぼ同一の編集処理を行うことがで
き、また、ＡＤＲＣ処理結果のデータ量は少ないことか
ら、編集処理の負荷を、ＡＤＲＣ処理前の元の画像を対
象にする場合に比較して軽減することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号化装置および画像復号化
方法、並びに画像処理装置および画像処理方法に関し、
特に、画像を効率的に符号化し、さらに、画像を表示す
るモニタなどに適した形の復号画像を得ることができる
ようにする画像符号化装置および画像符号化方法、画像
復号化装置および画像復号化方法、並びに画像処理装置
および画像処理方法に関する。

【０００２】

【従来の技術】図１６は、送信側から受信側に画像を伝
送する画像伝送装置の構成例を示している。

【０００３】送信側では、例えば、高解像度のビデオカ
メラ２０１において、被写体が撮影され、例えば、横×
縦の画素数が１９２０×１０３５で構成される、アスペ
クト比が１６：９の、高解像度の画像（以下、適宜、Ｈ
Ｄ画像という）が出力される。なお、ビデオカメラ２０
１からは、１秒間に約３０フレームのＨＤ画像が出力さ
れる。但し、ここでは、ＨＤ画像は、インターレース走
査されるようになされており、従って、ビデオカメラ２
０１からは、１秒間に、約６０フィールドのＨＤ画像が
出力される。

【０００４】また、送信側では、例えば、標準解像度ま
たは低解像度のビデオカメラ２０２において、被写体が
撮影され、アスペクト比が４：３の、標準解像度または
低解像度の画像（以下、適宜、ＳＤ画像という）が出力
される。ビデオカメラ２０２が、例えば、ＮＴＳＣ（Na
tional Television Systems Committee）方式またはＰ
ＡＬ（Phase Alternating by Line color television s
ystem）方式のものである場合、１フレームは、例え
ば、それぞれ７２０×４８０画素または７２０×５７６
画素で構成され、また、１秒間のフレーム数（フィール
ド数）は、それぞれ３０（６０）または２５（５０）で
ある。

【０００５】さらに、送信側では、プログレッシブイメ
ージャ２０３において、被写体がスキャニングされ、順
次走査された画像（以下、適宜、プログレッシブな画像
という）が出力される。また、送信側では、計算機２０
４において、コンピュータグラフィックス（ＣＧ）とし
ての、例えば、６４０×４８０画素で構成される画像が
生成されて出力される。

【０００６】なお、ビデオカメラ２０１，２０２が出力
する画像を構成する画素の横と縦との比は、約１：１．
１程度になっているが、計算機２０４が出力する画像を
構成する画素の横と縦との比は、１：１になっている。

【０００７】以上のように、ビデオカメラ２０１，２０
２、プログレッシブイメージャ２０３、計算機２０４か
らは、アスペクト比や、画素数、走査方法、画素の横と
縦との比などが異なる画像が出力される。

【０００８】これらの画像は、編集装置２０５に入力さ
れる。編集装置２０５では、ビデオカメラ２０１，２０
２、プログレッシブイメージャ２０３、計算機２０４か
らの画像がそれぞれ編集される。編集後の画像は、すべ
て、例えば、１９２０×１０８０画素で構成されるプロ
グレッシブな画像とされ、ソース符号化装置２０６に出
力される。ソース符号化装置２０６では、編集装置２０
５から出力された画像が、情報圧縮のための符号化であ
る、例えば、ＭＰＥＧ（Moving Picture Experts Grou
p）の規格に準拠して符号化（ＭＰＥＧ符号化）され、
その結果得られる符号化データが、チャネル符号化装置
２０７に供給される。

【０００９】ここで、画素数や走査方法の異なる画像
を、すべて、１９２０×１０８０画素のプログレッシブ
な画像にすることは、ＡＴＶ（Advanced Television）
で採用することが検討されている。

【００１０】チャネル符号化装置２０７では、伝送時の
符号化データの信頼性を向上させるためのチャネル符号
化が行われる。即ち、チャネル符号化装置２０７では、
例えば、エラー訂正のための処理としてＥＣＣ（Error
Correcting Codes）が付加され、さらに、所定の変調処
理などが施される。チャネル符号化装置２０７における
処理の結果得られる伝送データは、伝送路２１１を介し
て伝送される。

【００１１】受信側では、上述したようにして送信側か
ら伝送されてくる伝送データが受信される。この伝送デ
ータは、チャネル復号化装置２０８に供給され、チャネ
ル復号される。即ち、例えば、所定の復調処理が施さ
れ、さらに、ＥＣＣを用いた誤り訂正などが行われる。

【００１２】チャネル復号化装置２０８における処理の
結果得られる符号化データは、ソース復号化装置２０９
に供給される。ソース復号化装置２０９では、符号化デ
ータが、例えば、ＭＰＥＧの規格に準拠して復号（ＭＰ
ＥＧ復号）されるなどして伸張され、その結果得られる
画像データは、加工装置２１０に供給される。

【００１３】加工装置２１０では、画像データを出力す
る出力装置のフォーマットにあうように、ソース復号化
装置２０９からの画像データが加工される。即ち、画像
データを、ＨＤ画像を表示するＨＤ表示装置２２１に表
示させる場合、加工装置２１０では、ソース復号化装置
２０９が出力する画像データが、例えば、１９２０×１
０３５画素で構成される、アスペクト比が１６：９の、
インターレース走査されるＨＤ画像に加工される。ま
た、画像データを、ＳＤ画像を表示するＳＤ表示装置２
２２に表示させる場合、加工装置２１０では、ソース復
号化装置２０９が出力する画像データが、例えば、７２
０×４８０画素または７２０×５７６画素で構成され
る、ＮＴＳＣ方式またはＰＡＬ方式のＳＤ画像に加工さ
れる。さらに、画像データを、プリンタ２２３に印刷さ
せる場合には、加工装置２１０では、ソース復号化装置
２０９が出力する画像を構成する画素の横と縦との比
が、プリンタ２２３に対応したものに変換される。ま
た、画像データを、コンピュータディスプレイ２２４に
表示させる場合には、加工装置２１０では、ソース復号
化装置２０９が出力する画像データが、例えば、６４０
×４８０画素で構成される画像に加工される。

【００１４】ＨＤ表示装置２２１，ＳＤ表示装置２２
２、プリンタ２２３、コンピュータディスプレイ２２４
では、加工装置２１０からの画像が表示され、または印
刷される。

【００１５】

【発明が解決しようとする課題】ところで、従来におい
ては、送信側における編集装置２０５による編集処理、
ソース符号化装置２０６による圧縮処理、およびチャネ
ル符号化装置２０７によるチャネル符号化処理は、いわ
ば、それぞれ別個独立に行われていた。

【００１６】即ち、例えば、圧縮処理を行った後のデー
タは、圧縮処理を行う前のデータより情報量が少なく、
従って、圧縮処理を行った後のデータを編集処理の対象
とすることができれば、編集装置２０５に対する負荷を
低減することができる。しかしながら、ソース符号化装
置２０６において、上述したように、画像をＭＰＥＧ符
号化する場合、その結果得られるビットストリームは、
いわゆるＧＯＰ（Group Of Picture）単位でなければ編
集することが困難になる。また、その編集も、ＧＯＰど
うしを接続するだけの、いわゆるカット編集などに制限
される。即ち、ソース符号化装置２０６では、編集装置
２０５による編集処理を考慮した圧縮処理がなされない
ため、その圧縮処理後のデータについては、例えば、フ
レーム単位で編集することができず、また、各種のエフ
ェクトなどをかけることも困難である。

【００１７】また、例えば、ソース符号化装置２０６で
は、チャネル符号化装置２０７によるＥＣＣの付加を考
慮した圧縮処理がなされないため、例えば、圧縮処理に
より得られる符号化データにＥＣＣが付加されることに
よって、ＥＣＣが付加された後のデータ全体としての圧
縮率が劣化することがあった。

【００１８】以上のように、従来においては、画像の符
号化に必要な、例えば、編集処理や、圧縮処理、チャネ
ル符号化処理などが、互いに他の処理を考慮した形で行
われていないため、効率的な処理を行うことが困難であ
った。

【００１９】本発明は、このような状況に鑑みてなされ
たものであり、効率的な処理を行うことができるように
するものである。

【００２０】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、画像の符号化に必要な複数の処理の１以上
であって、他の処理を考慮したものを行う処理手段を備
えることを特徴とする。

【００２１】請求項５に記載の画像符号化方法は、画像
の符号化に必要な複数の処理のうちの１以上であって、
他の処理を考慮したものを行うことを特徴とする。

【００２２】請求項６に記載の画像復号化装置は、伝送
データと、所定の係数との線形結合により、画像を出力
する出力装置の解像度に対応した復号画像を生成する生
成手段を備えることを特徴とする。

【００２３】請求項７に記載の画像復号化方法は、伝送
データと、所定の係数との線形結合により、画像を出力
する出力装置の解像度に対応した復号画像を生成するこ
とを特徴とする。

【００２４】請求項８に記載の画像処理装置は、画像の
符号化に必要な複数の処理のうちの１以上であって、他
の処理を考慮したものを行う処理手段と、処理手段によ
る処理の結果得られるデータと、所定の係数との線形結
合により、画像を出力する出力装置の解像度に対応した
復号画像を生成する生成手段とを備えることを特徴とす
る。

【００２５】請求項９に記載の画像処理方法は、画像の
符号化に必要な複数の処理のうちの１以上であって、他
の処理を考慮したものを行い、その結果得られるデータ
と、所定の係数との線形結合により、画像を出力する出
力装置の解像度に対応した復号画像を生成することを特
徴とする。

【００２６】請求項１に記載の画像符号化装置において
は、処理手段が、画像の符号化に必要な複数の処理の１
以上であって、他の処理を考慮したものを行うようにな
されている。

【００２７】請求項５に記載の画像符号化方法において
は、画像の符号化に必要な複数の処理のうちの１以上で
あって、他の処理を考慮したものを行うようになされて
いる。

【００２８】請求項６に記載の画像復号化装置において
は、生成手段が、伝送データと、所定の係数との線形結
合により、画像を出力する出力装置の解像度に対応した
復号画像を生成するようになされている。

【００２９】請求項７に記載の画像復号化方法において
は、伝送データと、所定の係数との線形結合により、画
像を出力する出力装置の解像度に対応した復号画像を生
成するようになされている。

【００３０】請求項８に記載の画像処理装置において
は、処理手段は、画像の符号化に必要な複数の処理のう
ちの１以上であって、他の処理を考慮したものを行い、
生成手段は、処理手段による処理の結果得られるデータ
と、所定の係数との線形結合により、画像を出力する出
力装置の解像度に対応した復号画像を生成するようにな
されている。

【００３１】請求項９に記載の画像処理方法において
は、画像の符号化に必要な複数の処理のうちの１以上で
あって、他の処理を考慮したものを行い、その結果得ら
れるデータと、所定の係数との線形結合により、画像を
出力する出力装置の解像度に対応した復号画像を生成す
るようになされている。

【００３２】

【発明の実施の形態】図１は、本発明を適用した画像伝
送装置の一実施の形態の構成例を示している。

【００３３】送信側では、例えば、高解像度のビデオカ
メラ１や、低解像度のビデオカメラ２において、それぞ
れが出力し得る最大の数の画素数で構成される画像が出
力される。即ち、ここでは、ビデオカメラ１において
は、例えば、１９２０×９６０画素で構成される、アス
ペクト比が１６：９で、フレームレートが約３０フレー
ム／秒の、プログレッシブなＨＤ画像が出力される。ま
た、ビデオカメラ２においては、例えば、６４０×４８
０画素で構成される、アスペクト比が４：３で、フレー
ムレートが約３０フレーム／秒の、プログレッシブなＳ
Ｄ画像、または７２０×４８０画素で構成される、アス
ペクト比が４：３で、フレームレートが約１５フレーム
／秒の、プログレッシブなＳＤ画像が出力される。

【００３４】さらに、送信側では、プログレッシブイメ
ージャ３において、被写体がスキャニングされ、例え
ば、縦の画素数が、４８０の整数倍のプログレッシブな
画像が出力される。また、送信側では、計算機４におい
て、コンピュータグラフィックス（ＣＧ）としての、例
えば、６４０×４８０画素で構成される、画素の横と縦
との比が１：１の画像が生成されて出力される。

【００３５】ビデオカメラ１や２、プログレッシブイメ
ージャ３、計算機４が出力する画像は、統合符号化装置
６（処理手段）に供給される。

【００３６】さらに、統合符号化装置６には、例えば、
縦の画素数が、４８０の整数倍のプログレッシブな画像
が、例えば、インターネットなどのネットワーク５から
供給される。なお、ネットワーク５からは、例えば、計
算機４と同様に、画素の横と縦との比が１：１の画像が
供給される。

【００３７】ここで、ビデオカメラ１や２に、それが出
力し得る最大の数の画素数で構成される画像を出力させ
るようにしたのは、そのような画像を処理の対象とする
方が、例えば、インターレース方式の画像などのよう
に、一画面の画素数が少ない画像を処理の対象とする場
合に比較して、一般に、高画質の復号画像を得ることが
できるからである。

【００３８】さらに、統合符号化装置６に供給される画
像の縦の画素数は、すべて、所定値、即ち、ここでは、
例えば、４８０の整数倍となっており、また、フレーム
レートも、所定値としての１５の整数倍となっている
が、これは、例えば、ＨＤ画像を構成する画素を、空間
方向または時間方向に間引いてＳＤ画像を生成した場合
や、ＳＤ画像を構成する画素を、空間方向または時間方
向に補間してＨＤ画像を生成した場合に、その生成した
ＳＤ画像やＨＤ画像の画質の劣化を低減することができ
るためのである。

【００３９】また、ビデオカメラ１に出力させるＨＤ画
像の縦の画素数を、９６０画素としたのは、縦の画素数
を、４８０の整数倍とするとき、９６０が、現行のＨＤ
画像の縦の画素数である１０３５（図１６）に最も近
く、従って、乗り換えを行うときに、画質の劣化を低減
することができるからである。

【００４０】さらに、ビデオカメラ２に出力させるＳＤ
画像の縦の画素数を４８０画素にしたのは、その値が、
現行のＮＴＳＣ方式やＰＡＬ方式で採用されている画素
数に最も近い４８０の倍数であるからである。

【００４１】なお、ビデオカメラ２に出力させるアスペ
クト比が４：３のＳＤ画像の横の画素数を６４０とした
場合、その画素の横と縦との比は、１：１（＝４×４８
０：３×６４０）となり、計算機４が出力する画像や、
ネットワーク５から供給される画像とのコンパチビリテ
ィ（compatibility）が取り易くなる。

【００４２】また、ビデオカメラ２に出力させるアスペ
クト比が４：３のＳＤ画像の横の画素数を７２０とした
場合、その画素の横と縦との比は、８：９（＝４×４８
０：３×７２０）となる。これは、ビデオカメラ１が出
力するＨＤ画像が構成する画素の横と縦との比（８：９
＝１６×９６０：９×１９２０）に等しく、従って、こ
の場合、ビデオカメラ２が出力するＳＤ画素の横および
縦の画素数を２倍にして、その縦の画素数を、ビデオカ
メラ１が出力するＨＤ画像の縦の画素数に等しい９６０
画素としたとき、いわゆる真円率を維持することができ
る（画像が、横方向や縦方向に間延びしたものにならな
い）。

【００４３】統合符号化装置６では、そこに供給される
画像（ディジタル画像信号）を対象に、その符号化に必
要な、例えば、編集処理や、圧縮処理、チャネル符号化
処理などの複数の処理の１以上が、他の処理を考慮した
形で行われる。ここで、編集処理には、例えば、カット
編集を行ったり、エフェクトをかけたりする、いわゆる
ビデオ編集のための処理の他、例えば、ＩＳＤＢ（Inte
grated Services Digital Broadcasting）（各種の情報
をディジタル化して送信するインタラクティブな放送）
などを実現するための情報や、その他の付加価値を付け
るための情報（例えば、より高画質の復号画像を得るの
に必要な情報）などを付加すること、さらには、ある画
像と他の画像との間にリンクを張ることなども含まれ
る。

【００４４】統合符号化装置６における処理の結果得ら
れる伝送データは、伝送路１３を介して、受信側に伝送
される。なお、伝送路１３には、例えば、衛星回線や、
地上波、ＣＡＴＶ網、公衆網、インターネットなどの通
信回線の他、例えば、磁気記録／再生のプロセス、さら
には、磁気ディスク、光ディスク、磁気テープ、光磁気
ディスクその他の記録媒体も含まれる。

【００４５】伝送路１３を介して伝送されてくる伝送デ
ータは、受信側で受信され、適応復号化装置７（生成手
段）に供給される。適応復号化装置７には、画像を出力
する出力装置としての、例えば、ＨＤ画像を表示する高
解像度の表示装置９，ＳＤ画像を表示する標準解像度ま
たは低解像度の表示装置１０、画像を印刷するプリンタ
１１、コンピュータ（計算機）に接続されるコンピュー
タディスプレイ１２などが接続されている（但し、プリ
ンタ１１は、画素アスペクト比変換器８を介して接続さ
れている）。適応復号化装置７は、伝送データと、所定
の係数との線形結合により、表示装置９，１０、プリン
タ１１、またはコンピュータディスプレイ１２の解像度
に対応した復号画像を生成し、それぞれに出力する。

【００４６】表示装置９，１０、およびコンピュータデ
ィスプレイ１２では、適応復号化装置７からの復号画像
が表示され、プリンタ１１では、適応復号化装置７から
の復号画像が印刷される。

【００４７】なお、表示装置９，１０、またはコンピュ
ータディスプレイ１２それぞれにおける画素の横と縦と
の比（以下、適宜、画素アスペクト比という）と、復号
画像を構成する画素の画素アスペクト比との違いは、表
示装置９，１０、またはコンピュータディスプレイ１２
それぞれでの水平走査により吸収される。

【００４８】また、プリンタ１１では、そのような水平
走査により、画素アスペクト比の違いを吸収することが
できないため、その前段に、画素アスペクト比変換器８
が設けられており、そこで、復号画像の画素アスペクト
比が、プリンタ１１に対応したものに変換される。

【００４９】次に、統合符号化装置６における処理につ
いて説明する。

【００５０】統合符号化装置６では、例えば、圧縮処理
が、編集処理を考慮した形で行われる。

【００５１】即ち、統合符号化装置６では、圧縮処理と
して、例えば、ＡＤＲＣ（AdaptiveDynamic Range Codi
ng）処理が行われる。

【００５２】ここで、ＡＤＲＣ処理について、簡単に説
明する。

【００５３】いま、説明を簡単にするため、図２（Ａ）
に示すように、直線上に並んだ４画素で構成されるブロ
ックを考えると、ＡＤＲＣ処理においては、その画素値
の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、
ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミ
ックレンジとし、このダイナミックレンジＤＲに基づい
て、ブロックを構成する画素の画素値がＫビットに再量
子化される。

【００５４】即ち、ブロック内の各画素値から、最小値
ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。
そして、その結果得られる除算値に対応するコード（Ａ
ＤＲＣコード）に変換される。具体的には、例えば、Ｋ
＝２とした場合、図２（Ｂ）に示すように、除算値が、
ダイナミックレンジＤＲを４（＝２²）等分して得られ
るいずれの範囲に属するかが判定され、除算値が、例え
ば、最も下のレベルの範囲、下から２番目のレベルの範
囲、下から３番目のレベルの範囲、または最も上のレベ
ルの範囲に属する場合には、それぞれ、例えば、００
Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコ
ード化される（Ｂは２進数であることを表す）。

【００５５】ＡＤＲＣでは、再量子化の際のビット数Ｋ
は、画素に割り当てられているビット数よりも小さい値
が用いられ、従って、各画素は、そのような小さいビッ
ト数に圧縮されることになる（但し、その他に、ブロッ
クごとに、最小値ＭＩＮとダイナミックレンジＤＲが生
じる）。

【００５６】なお、その復号は、ＡＤＲＣコード００
Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナ
ミックレンジＤＲを４等分して得られる最も下のレベル
の範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中
心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、
または最も上のレベルの範囲の中心値Ｌ₁₁に変換し、そ
の値に、最小値ＭＩＮを加算することで行うことができ
る。

【００５７】図３は、ＡＤＲＣ処理を行うＡＤＲＣ処理
回路の構成例を示している。

【００５８】画像データは、ブロック化回路２１に供給
され、そこで、所定の大きさのブロックにブロック化さ
れる。即ち、ブロック化回路２１は、画像データを、例
えば、横×縦が４画素×４画素のブロックに分割する。
そして、そのブロックを、最小値検出回路２２、最大値
検出回路２３、および演算器２５に供給する。

【００５９】最小値検出回路２２では、ブロック化回路
２１からのブロックを構成する１６（＝４×４）画素の
中から、最小値ＭＩＮが検出される。この最小値ＭＩＮ
は、ＡＤＲＣ処理結果の信号の１つとして出力されると
ともに、演算器２４および２５に供給される。

【００６０】同時に、最大値検出回路２３では、ブロッ
ク化回路２１からのブロックを構成する１６画素の中か
ら、最大値ＭＡＸが検出され、演算器２４に供給され
る。

【００６１】演算器２４では、最大値ＭＡＸから最小値
ＭＩＮが減算され、これによりブロックのダイナミック
レンジＤＲが求められる。このダイナミックレンジＤＲ
は、ＡＤＲＣ処理結果の信号の１つとして出力されると
ともに、量子化回路２６に供給される。

【００６２】一方、演算器２５では、ブロックを構成す
る１６画素それぞれから、ブロックの最小値ＭＩＮが減
算され、その減算値が量子化回路２６に供給される。量
子化回路２６では、演算器２５からの減算値が、演算器
２４からのダイナミックレンジＤＲに対応する量子化ス
テップで量子化される。即ち、量子化回路２６では、例
えば、演算器２５の出力が、ＤＲ／２^Kで除算され、そ
の除算値の小数点以下を切り捨てたものが、ＡＤＲＣコ
ード（画素の再量子化結果）ＣＯＤＥとして出力され
る。

【００６３】ここで、本実施の形態では、再量子化の際
のビット数Ｋは、各ブロックごとに、例えば、そのダイ
ナミックレンジＤＲの大きさに対応して決定されるよう
になされており、これにより、ＡＤＲＣコードは可変長
とされている。

【００６４】即ち、例えば、いま、４つの閾値Ｔ１，Ｔ
２，Ｔ３，Ｔ４が設定されているものとし、その大小関
係が、０＜Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４であるとする。ま
た、元の画像の画素には、例えば、８ビットが割り当て
られているものとする（従って、Ｔ４は２⁸未満）。

【００６５】この場合、量子化回路２６では、ダイナミ
ックレンジＤＲが、０以上Ｔ１未満、Ｔ１以上Ｔ２未
満、Ｔ２以上Ｔ３未満、Ｔ３以上Ｔ４未満、またはＴ４
以上２⁸未満のうちのいずれの範囲内にあるかが判定さ
れる。そして、ダイナミックレンジＤＲが、０以上Ｔ１
未満、Ｔ１以上Ｔ２未満、Ｔ２以上Ｔ３未満、Ｔ３以上
Ｔ４未満、またはＴ４以上２⁸未満の範囲内にある場
合、再量子化の際のビット数Ｋとして、例えば、０乃至
４ビットがそれぞれ割り当てられる。従って、この場
合、ＡＤＲＣコードは、最小で０ビット、最大で４ビッ
トになる。

【００６６】ＡＤＲＣコードが可変長の場合、その復号
を行うのに、ＡＤＲＣコードのビット数Ｋが必要となる
ことから、量子化回路２６では、ダイナミックレンジＤ
Ｒが、上述のいずれの範囲内にあるかを示す閾値コード
を出力するようになされており、この閾値コードは、最
小値ＭＩＮ、ダイナミックレンジＤＲ，ＡＤＲＣコード
とともに、ＡＤＲＣ処理結果として出力される。

【００６７】なお、最小値ＭＩＮ、ダイナミックレンジ
ＤＲ、および閾値コードは、例えば固定長とされてい
る。

【００６８】ここで、上述の場合においては、ＡＤＲＣ
コードを可変長としたが、再量子化の際のビット数Ｋ
を、ブロックのダイナミックレンジＤＲに無関係に固定
値とし、これにより、ＡＤＲＣコードは固定長とするこ
とも可能である。

【００６９】以上のようなＡＤＲＣ処理により得られる
ＡＤＲＣコードは、元の画素に割り当てられているビッ
ト数よりも少なくなっている。一方、ＡＤＲＣ処理の結
果得られる最小値ＭＩＮ、ダイナミックレンジＤＲ，Ａ
ＤＲＣコードは、ブロック単位で取り扱うことが可能で
あり、従って、ＡＤＲＣ処理後の画像は、例えば、フレ
ーム単位で編集することができる。

【００７０】以上から、圧縮処理としてＡＤＲＣ処理を
行い、そのＡＤＲＣ処理結果を、各種の編集処理の対象
とすることで、ＡＤＲＣ処理前の元の画像を対象にする
場合とほぼ同一の編集処理を行うことができるととも
に、その処理の負荷を、ＡＤＲＣ処理前の元の画像を対
象にする場合に比較して軽減することができる。

【００７１】従って、圧縮処理としてのＡＤＲＣ処理
は、編集処理を考慮したものということができ、その結
果、編集処理を効率的に行うことが可能となる。

【００７２】なお、ＡＤＲＣについては、例えば、本件
出願人が先に出願した特開平３−５３７７８号公報など
に、その詳細が開示されている。

【００７３】また、ＡＤＲＣは、ブロック単位で符号化
を行うので、ブロック符号化ということができるが、ブ
ロック符号化には、ＡＤＲＣの他、ブロックを構成する
画素の平均値および標準偏差とともに、その各画素と、
平均値との大小関係を表す１ビットのフラグを求めるも
のなどがある。統合符号化装置６による圧縮処理として
は、このようなブロック符号化を採用することも可能で
ある。

【００７４】さらに、上述の場合においては、最小値Ｍ
ＩＮとダイナミックレンジＤＲを、ＡＤＲＣ処理結果に
含ませるようにしたが、ＡＤＲＣ結果には、その他、最
小値ＭＩＮとブロックの最大値ＭＡＸや、ダイナミック
レンジＤＲとブロックの最大値ＭＡＸを含ませるように
することが可能である。

【００７５】また、上述の場合には、１フレームの横４
画素と縦４画素とで、ブロックを構成するようにした
が、ブロックは、時間的に連続する複数フレームを構成
する画素で構成するようにすることも可能である。

【００７６】ところで、ＡＤＲＣ処理の結果得られるブ
ロックごとの最小値ＭＩＮ、ダイナミックレンジＤＲ、
閾値コード、およびＡＤＲＣコードの伝送方法として
は、例えば、同期をとるための同期パターンの後に、所
定のデータ量のＡＤＲＣ結果を配置したブロック（以
下、適宜、シンクブロックという）を構成し、そのよう
なシンクブロック単位で、伝送を行うものがある。

【００７７】シンクブロック単位で伝送を行う場合、最
小値ＭＩＮ、ダイナミックレンジＤＲ、および閾値コー
ドは、上述したように固定長であるから、これらのデー
タは、シンクブロックの固定の位置に配置するようにす
れば、１のシンクブロックが、例えば欠落などして得ら
れなくても、その影響が、他のシンクブロックに配置さ
れた最小値ＭＩＮ、ダイナミックレンジＤＲ、および閾
値コードに及ぶことはない。

【００７８】しかしながら、ＡＤＲＣコードは可変長で
あるから、例えば、ＡＤＲＣコードが、１のシンクブロ
ックに入りきらずに、複数のシンクブロックに分けて配
置されている場合には、１のシンクブロックの欠落が、
他のシンクブロックに影響を及ぼすことがある。即ち、
その複数のシンクブロックのうちの最初のシンクブロッ
クが欠落した場合、２番目のシンクブロックの最初に配
置されているＡＤＲＣコードが、ブロックのどの位置の
画素に対応するものなのか、さらに、そのＡＤＲＣコー
ドとして配置されているビットが、最初のシンクブロッ
クの最後に配置されたＡＤＲＣコードの続き（一部）を
構成するビットなのか、あるいは、ＡＤＲＣコードの最
初のビットなのかが分からなくなる。その結果、２番目
以降のシンクブロックに配置されたＡＤＲＣコードも取
り出すことができなくなり、このように、いわば、ある
シンクブロックのエラーが、他のシンクブロックにも伝
搬することになる。

【００７９】ところで、あるブロックのＡＤＲＣコード
がすべて失われた場合であっても、最小値ＭＩＮが分か
れば、すべての画素が、その最小値ＭＩＮを画素値とし
て有するブロックを再生することができる。しかしなが
ら、このブロックは、画素（画素値）が同一の値の、い
わば平坦なものであるから、元の画像の再現性は低いも
のとなる。

【００８０】そこで、より高い再現性を実現するため
に、ＡＤＲＣコードを、例えば、ＭＳＢ（Most Signifi
cant Bit）と、それ以外（以下、適宜、残りビットとい
う）とに分離し、ＭＳＢも、最小値ＭＩＮ、ダイナミッ
クレンジＤＲ、および閾値コードと同様に、シンクブロ
ックの固定の位置に配置するようにすることができる。
この場合、残りビットが失われても、ＭＳＢを、ダイナ
ミックレンジＤＲにしたがって逆量子化することで、２
値で構成されるブロックを得ることができ、ＡＤＲＣコ
ードがすべて失われた場合に比較して再現性の高い画像
を得ることが可能となる。

【００８１】図４は、以上のようなシンクブロックを構
成するシンクブロック処理を行うシンクブロック構成回
路の構成例を示している。

【００８２】ＡＤＲＣ処理回路（図３）が出力する最小
値ＭＩＮ、ダイナミックレンジＤＲ、閾値コードは、マ
ルチプレクサ３２に供給され、また、ＡＤＲＣコード
は、分離器３１に供給される。分離器３１では、ＡＤＲ
Ｃコードが、ＭＳＢと残りビットとに分離され、いずれ
も、マルチプレクサ３２に供給される。

【００８３】マルチプレクサ３２には、上述したデータ
の他、同期パターンが供給されている。マルチプレクサ
３２は、そこに供給されるデータを時分割多重化して、
例えば、図５に示すようなシンクブロックを構成して出
力する。

【００８４】即ち、図５に示すように、シンクブロック
の先頭には、固定長の同期パターンが配置され、その後
には、固定長の付加データが配置される。ここで、付加
データとは、閾値コードなどの固定長のデータだけで構
成される。付加データの後には、残りビットが、所定の
バイト数だけ配置される。即ち、付加データの後には、
先頭からＮ₁−１バイト目までに、残りビットが配置さ
れる。

【００８５】そして、先頭からＮ₁バイト目以降に、ダ
イナミックレンジＤＲ，ＭＳＢ、最小値ＭＩＮが、例え
ば、ＤＲ，ＭＳＢ，ＭＩＮ，ＭＳＢ，ＤＲ，・・・の順
番で配置される。ダイナミックレンジＤＲ，ＭＳＢ、最
小値ＭＩＮが所定数だけ配置された後には、再び、残り
ビットが配置される。そして、先頭からＮ₂バイト目以
降に、再び、ダイナミックレンジＤＲ，ＭＳＢ、最小値
ＭＩＮが、上述した順番で、所定数だけ配置される。以
下、同様の配置が、シンクブロックの最後まで繰り返さ
れる。

【００８６】以上のように、ダイナミックレンジＤＲ，
ＭＳＢ、最小値ＭＩＮは、シンクブロックの先頭からＮ
₁，Ｎ₂，・・・バイト目のように、決まった位置から配
置され、さらに、これらのデータは固定長であるから、
シンクブロックの固定の位置に配置されることになる。

【００８７】以上のシンクブロック処理は、ＡＤＲＣコ
ード（残りビット）にエラーが生じた場合であっても、
元の画像に比較的近い復号画像を得ることができるよう
にするものであり、残りビットがなくても、再現性の高
い復号画像を得ることができる。従って、極端には、残
りビットには、誤り訂正のための、例えばＥＣＣなどを
付加しなくても良く、この場合、チャネル符号化処理に
対する負荷を軽減することができる。この意味で、シン
クブロック処理は、チャネル符号化処理を考慮したもの
ということができる。

【００８８】なお、シンクブロック処理については、例
えば、本件出願人が先に出願した特開平２−１６２９８
０号公報などに、その詳細が開示されている。

【００８９】次に、統合符号化装置６には、圧縮処理と
して、ＡＤＲＣ処理の他、例えば、階層符号化処理を行
わせることも可能である。

【００９０】階層符号化は、例えば、高解像度の画像デ
ータを、最下位階層または第１階層の画像データとし
て、それより画素数の少ない第２階層の画像データ（圧
縮画像）を形成し、さらに、それより画素数の少ない第
３階層の画像データを形成し、以下、同様にして、最上
位階層までの画像データを形成するもので、各階層の画
像データは、その階層に対応した解像度（画素数）のモ
ニタで表示される。従って、ユーザ側では、階層符号化
された画像データのうち、自身が有するモニタの解像度
に対応するものを選択することで、同一内容の画像を視
聴することができる。

【００９１】ところで、ある解像度の画像データを最下
位階層（第１階層）の画像データとして、上位階層の画
像データを、順次形成し、それらのすべてを、そのまま
記憶や伝送などする場合には、最下位階層の画像データ
だけを記憶等する場合に比較して、上位階層の画像デー
タの分だけ、記憶容量や伝送容量が余計に必要となる。

【００９２】そこで、ここでは、そのような記憶容量等
の増加のない階層符号化を、統合符号化装置６における
圧縮処理として採用する。

【００９３】即ち、例えば、いま、下位階層における２
×２画素（横×縦）の４画素の平均値を、上位階層の画
素（画素値）とし、３階層の階層符号化を行うものとす
る。この場合、最下位階層の画像として、例えば、図６
（Ａ）に示すように、８×８画素を考えると、その左上
の２×２画素の４画素ｈ００，ｈ０１，ｈ０２，ｈ０３
の平均値ｍ０が演算され、これが、第２階層の左上の１
画素とされる。同様にして、最下位階層の画像の右上の
４画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値ｍ１、
左下の４画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値
ｍ２、右下の４画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の
平均値ｍ３が演算され、それぞれが、第２階層の右上、
左下、右下の１画素とされる。さらに、第２階層の２×
２画素の４画素ｍ０，ｍ１，ｍ２，ｍ３の平均値ｑが演
算され、これが、第３階層、即ち、ここでは、最上位階
層の画像の画素とされる。

【００９４】以上の画素ｈ００乃至ｈ０３，ｈ１０乃至
ｈ１３，ｈ２０乃至ｈ２３，ｈ３０乃至ｈ３３，ｍ０乃
至ｍ３，ｑを、そのまま全部記憶などさせたのでは、上
述のように、画素ｍ０乃至ｍ３，ｑの分だけ余分に記憶
容量等が必要となる。

【００９５】そこで、図６（Ｂ）に示すように、第３階
層の画素ｑを、第２階層の画素ｍ０乃至ｍ３のうちの、
例えば、右下の画素ｍ３の位置に配置する。これによ
り、第２階層は、画素ｍ０乃至ｍ２およびｑで構成され
ることになる。

【００９６】そして、図６（Ｃ）に示すように、第２階
層の画素ｍ０を、それを求めるのに用いた第３階層の画
素ｈ００乃至ｈ０３のうちの、例えば、右下の画素ｈ０
３の位置に配置する。第２階層の残りの画素ｍ１，ｍ
２，ｑも、同様に、第１階層の画素ｈ１３，ｈ２３，ｈ
３３に代えて配置する。なお、画素ｑは、画素ｈ３０乃
至ｈ３３から直接求められたものではないが、それらか
ら直接求められたｍ３に代えて第２階層に配置されてい
るものであるから、画素ｈ３３の位置に画素ｍ３を配置
する代わりに、画素ｑを配置する。

【００９７】以上のようにすることで、図６（Ｃ）に示
すように、全画素数は４×４の１６画素となり、図６
（Ａ）に示した最下位階層の画素だけの場合と変わらな
い。従って、この場合、記憶容量等の増加を防止するこ
とができる。

【００９８】なお、画素ｑと代えられた画素ｍ３、画素
ｍ０乃至ｍ３とそれぞれ代えられた画素ｈ０３，ｈ１
３，ｈ２３，ｈ３３の復号は、次のようにして行うこと
ができる。

【００９９】即ち、ｑは、ｍ０乃至ｍ３の平均値である
から、式ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４が成り立
つ。従って、式ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）に
より、ｍ３を求めることができる。

【０１００】また、ｍ０は、ｈ００乃至ｈ０３の平均値
であるから、式ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０
３）／４が成り立つ。従って、式ｈ０３＝４×ｍ０−
（ｈ００＋ｈ０１＋ｈ０２）により、ｈ０３を求めるこ
とができる。同様にして、ｈ１３，ｈ２３，ｈ３３も求
めることができる。

【０１０１】図７は、以上のような階層符号化処理を行
う階層符号化回路の構成例を示している。この階層符号
化回路では、例えば、上述したような３階層の階層符号
化か行われるようになされている。

【０１０２】即ち、第１階層（最下位階層）の画像デー
タ（ここでは、上述したように、プログレッシブな画
像）は、平均値算出回路４１および画素抜き出し回路４
３に供給される。

【０１０３】そして、平均値算出回路４１では、第１階
層の画像について、例えば、上述したような２×２画素
の合計４画素の平均値が計算され、これにより、第２階
層の画像が形成される。この第２階層の画像は、平均値
算出回路４２および画素抜き出し回路４４に供給され
る。

【０１０４】平均値算出回路４２では、第２階層の画像
について、例えば、上述したような２×２画素の合計４
画素単位の平均値が計算され、これにより、第３階層の
画像が形成される。この第３階層の画像は、画素挿入回
路４５に供給される。

【０１０５】画素抜き出し回路４３では、第１階層の画
像から、図６で説明した画素ｈ０３，ｈ１３，ｈ２３の
位置に対応する画素が抜き出され、残りが、画素挿入回
路４５に供給される。画素抜き出し回路４４では、第２
階層の画像から、図６で説明した画素ｍ３の位置に対応
する画素が抜き出され、残りが、画素挿入回路４５に供
給される。

【０１０６】画素挿入回路４５では、画素抜き出し回路
４３からの第１階層の画像の画素ｈ０３，ｈ１３，ｈ２
３に対応する位置に、画素抜き出し回路４４からの第２
階層の画像の画素（例えば、画素ｍ０乃至ｍ２など）が
挿入され、さらに、第１階層の画像の画素ｈ３３に対応
する位置に、平均値算出回路４２からの第３階層の画素
（例えば、画素ｑなど）が挿入される。以上のようにし
て、図６（Ｃ）で説明したような画像データが構成さ
れ、これが、階層符号化結果として出力される。

【０１０７】通常の階層符号化によれば、上述のよう
に、上位階層の画像データの分だけ、記憶容量や伝送容
量が余計に必要となるが、図６および図７で説明した階
層符号化（以下、適宜、改良型階層符号化という）によ
れば、その結果得られるデータ量は、最下位階層の画像
と変わらない。この意味で、改良型階層符号化は、情報
圧縮処理であるということができる。

【０１０８】ここで、階層符号化を行った場合に、下位
階層の画像は、上位階層の画像を用いて、例えば補間な
どを行うことにより得ることができる（但し、得られる
画像は、下位階層の画像と同一の画像ではなく、画質の
劣化したものとなる）。従って、最悪の場合であって
も、最上位階層の画像を復元できれば、すべての階層の
画像を得ることができるから、誤り訂正のための、例え
ば、ＥＣＣの付加などは、少なくとも、最上位階層の画
像を対象に行えば充分で、すべての階層の画像を対象に
行う必要は必ずしもなく、この場合、チャネル符号化処
理に対する負荷を軽減することができる。この意味で、
階層符号化処理は、チャネル符号化処理を考慮したもの
ということができる。

【０１０９】なお、上述の場合においては、空間方向の
画素数を少なくして、上位階層の画像を形成するように
したが、上位階層の画像は、その他、例えば、時間方向
の画素数を少なくして形成することも可能である。

【０１１０】次に、統合符号化装置６における編集処理
の１つである、ＩＳＤＢを実現するための情報の付加に
ついて説明する。

【０１１１】図８は、統合符号化装置６の、ＩＳＤＢを
実現するための部分であるＩＳＤＢ用送信装置の構成例
を示している。

【０１１２】符号化部５１には、例えば、ＳＤ画像とそ
れに付随する音声とが入力され、そこでは、例えば、上
述したＡＤＲＣ処理などの圧縮処理が施され、多重化部
５７に出力される。また、符号化部５１は、その圧縮処
理のタイミングを表す同期信号をタイムコード発生部５
２に出力する。タイムコード発生部５２は、符号化部５
１の出力に付加する付加情報として、例えば、タイムコ
ードなどを、符号化部５１からの同期信号に同期して発
生し、多重化部５７に出力する。

【０１１３】符号化部５３またはタイムコード発生部５
４においても、処理の対象が、ＳＤ画像ではなく、ＨＤ
画像であることを除けば、符号化部５１またはタイムコ
ード発生部５２における場合とそれぞれ同様の処理が行
われる。そして、符号化部５３における圧縮処理の結果
得られる符号化データ、およびタイムコード発生部５４
が出力するタイムコードは、いずれも、多重化部５７に
供給される。

【０１１４】符号化部５５には、例えば、コンピュータ
のプログラムや、そのプログラムの実行に必要なデー
タ、ファクシミリのデータ、さらには、地域情報などの
マルチメディアを実現するためのデータが入力され、そ
こでは、それらのデータが圧縮され、符号化データとし
て、多重化部５７に出力される。また、符号化部５５
は、その圧縮処理のタイミングを表す同期信号を付加情
報発生部５６に出力する。付加情報発生部５６は、符号
化部５５で圧縮されているデータの種類などを表す付加
情報を、符号化部５５からの同期信号に同期して発生
し、多重化部５７に出力する。

【０１１５】ここで、符号化部５５に入力される地域情
報とは、各地域に特有の情報であり、例えば、各地域の
天気予報や、地図、施設に関する情報（例えば、飲食店
のサービス内容や、営業時間など）、企業の宣伝広告な
どが含まれている。また、このような地域情報について
は、付加情報発生部５６は、各地域情報の該当する地域
を表す地域コードを、付加情報として発生する。

【０１１６】多重化部５７では、符号化部５１、タイム
コード発生部５２、符号化部５３、タイムコード発生部
５４、符号化部５５、および付加情報発生部５６の出力
が多重化されて出力される。

【０１１７】次に、図９は、統合符号化装置６におい
て、圧縮処理として、ＡＤＲＣ処理が行われる場合の、
適応復号化装置７（図１）の構成例を示している。即
ち、図９は、適応復号化装置７の、ＡＤＲＣ処理結果を
復号するＡＤＲＣ復号処理を行う部分であるＡＤＲＣ復
号回路の構成例を示している。

【０１１８】デマルチプレクサ１０１には、伝送路１３
（図１）を介して伝送されてくる伝送データとしての、
ＡＤＲＣ処理結果が配置されたビットストリームが入力
され、そこでは、伝送データから、最小値ＭＩＮ、ダイ
ナミックレンジＤＲ，ＡＤＲＣコードが分離される。な
お、ＡＤＲＣコードの分離は、デマルチプレクサ１０１
において、伝送データから閾値コードが分離され、その
閾値コードに基づいて、ＡＤＲＣコードに対しての割当
ビット数（上述のＫ）が認識されることで行われる。

【０１１９】そして、最小値ＭＩＮは、演算器１０３
に、ダイナミックレンジＤＲおよびＡＤＲＣコードは、
逆量子化回路１０２に、それぞれ供給される。逆量子化
回路１０２では、ＡＤＲＣコードが、ダイナミックレン
ジＤＲに対応する量子化ステップで逆量子化され、その
結果得られる逆量子化値が演算器１０３に供給される。
演算器１０３では、逆量子化回路１０２からの逆量子化
値と、最小値ＭＩＮとが加算され、これにより、画素が
復号される。

【０１２０】そして、１ブロック分の画素が得られる
と、演算器１０３は、その１ブロック分の画素を、フレ
ーム構成回路１０４に供給する。フレーム構成回路１０
４は、ブロック単位で供給される画素を順次記憶し、１
フレーム分の画素を記憶するごとに出力する。

【０１２１】なお、ＡＤＲＣコードが、上述したよう
に、ＭＳＢと残りビットとに分離されている場合には、
デマルチプレクサ１０１は、そのＭＳＢと残りビットと
を合わせて、元のＡＤＲＣコードを復元する処理も行う
ようになされている。また、ＡＤＲＣコードが、ＭＳＢ
と残りビットとに分離されている場合において、残りビ
ットにエラーが生じているときには、デマルチプレクサ
１０１は、ＭＳＢをＡＤＲＣコードとして逆量子化回路
１０２に出力するようになされている。

【０１２２】ところで、ＡＤＲＣ復号処理においては、
上述したように、残りビットがエラーになっても、ＭＳ
Ｂと、最小値ＭＩＮおよびダイナミックレンジＤＲとが
あれば、ある程度、再現性の良い復号画像（元の画像に
近い復号画像）を得ることができる。しかしながら、最
小値ＭＩＮやダイナミックレンジＤＲがエラーになる
と、そのブロックを復号することが困難となる。

【０１２３】そこで、図１０は、最小値ＭＩＮやダイナ
ミックレンジＤＲがエラーになっても、比較的精度良
く、ブロックを復号することができるＡＤＲＣ復号回路
の構成例を示している。なお、図中、図９における場合
と対応する部分については、同一の符号を付してあり、
以下では、その説明は、適宜省略する。即ち、このＡＤ
ＲＣ復号回路は、セレクタ１０５および１０６、メモリ
１０７、および復元回路１０８が新たに設けられている
他は、基本的に、図９における場合と同様に構成されて
いる。

【０１２４】セレクタ１０５には、デマルチプレクサ１
０１が出力するダイナミックレンジＤＲと、復元回路１
０８が出力するダイナミックレンジの予測値ＤＲ’とが
供給されるようになされている。セレクタ１０６には、
デマルチプレクサ１０１が出力する最小値ＭＩＮと、復
元回路１０８が出力する最小値の予測値ＭＩＮ’とが供
給されるようになされている。また、ここでは、デマル
チプレクサ１０１は、伝送データに含まれる最小値ＭＩ
Ｎ、ダイナミックレンジＤＲにエラーが生じているかど
うかを検出するようになされており、エラーが生じてい
る場合、エラー信号を、セレクタ１０５および１０６に
出力するようになされている。

【０１２５】セレクタ１０５は、エラー信号を受信して
いないとき、即ち、最小値ＭＩＮ、ダイナミックレンジ
ＤＲにエラーが生じていないとき、デマルチプレクサ１
０１が出力するダイナミックレンジＤＲを選択し、逆量
子化回路１０２に出力する。同様に、セレクタ１０６
も、エラー信号を受信していないときは、デマルチプレ
クサ１０１が出力する最小値ＭＩＮを選択し、演算器１
０３に出力する。

【０１２６】従って、この場合、図９における場合と同
様にして、ＡＤＲＣ復号処理が行われる。

【０１２７】一方、演算器１０３が出力する画素の復号
値は、フレーム構成回路１０４だけでなく、メモリ１０
７にも供給されるようになされている。メモリ１０７で
は、演算器１０３からの画素の復号値が、対応するアド
レスに記憶される。

【０１２８】そして、復元回路１０８において、いまＡ
ＤＲＣ復号処理の対象となっているブロックの周辺にあ
る画素の復号値が、例えば、ブロックを構成する画素数
と同一の数だけ、即ち、本実施の形態では、上述したよ
うに１６だけ、メモリ１０７から読み出される。さら
に、復元回路１０８は、その１６画素の最小値と、ダイ
ナミックレンジ（最大値と最小値との差）を検出し、そ
れぞれを、いまＡＤＲＣ復号処理の対象となっているブ
ロックの最小値の予測値ＭＩＮ’と、ダイナミックレン
ジの予測値ＤＲ’として、セレクタ１０６と１０５に、
それぞれ出力する。

【０１２９】セレクタ１０５または１０６は、デマルチ
プレクサ１０１からエラー信号を受信したとき、即ち、
最小値ＭＩＮ、ダイナミックレンジＤＲにエラーが生じ
ているとき、復元回路１０８からのダイナミックレンジ
の予測値ＤＲ’または最小値の予測値ＭＩＮ’を選択
し、逆量子化回路１０２または演算器１０３にそれぞれ
出力する。

【０１３０】従って、この場合、逆量子化回路１０２で
は、ダイナミックレンジの予測値ＤＲ’を用いて逆量子
化が行われ、また、演算器１０３では、最小値の予測値
ＭＩＮ’を用いて画素が復号される。

【０１３１】あるブロックに注目した場合に、その注目
ブロックを構成する画素と、その注目ブロックの周辺に
ある画素との間には、通常、大きな相関があり、従っ
て、そのような相関のある画素によれば、注目ブロック
のダイナミックレンジおよび最小値を、比較的精度良く
予測することができる。その結果、そのような予測値を
用いることで、真の最小値ＭＩＮおよびダイナミックレ
ンジＤＲを用いた場合とほぼ同様の復号画像を得ること
が可能となる。

【０１３２】なお、以上のようなＡＤＲＣ復号処理につ
いては、例えば、本件出願人が先に出願した特開昭６３
−２５７３９０号公報などに、その詳細が開示されてい
る。

【０１３３】ここで、ＡＤＲＣ処理を行った場合、上述
のように、最小値ＭＩＮや、ダイナミックレンジＤＲに
エラーが生じても、ある程度の復号画像を得ることがで
きる。さらに、ＡＤＲＣ処理に加えて、シンクブロック
ブロック処理を行うことで、上述したように、残りビッ
トのエラーにも対処することが可能となる。また、階層
符号化を行う場合においても、誤り訂正のための処理
は、上述したように、少なくとも、最上位階層の画像を
対象に行えば充分で、すべての階層の画像を対象に行う
必要は必ずしもない。

【０１３４】従って、ＡＤＲＣ処理や、シンクブロック
ブロック処理、階層符号化処理は、エラーに対する耐性
の強い、いわばロバストな処理ということができる。い
ま、このようなエラーに対する耐性の強いロバストな処
理を、ロバスト符号化というものとすると、統合符号化
装置６において行われる処理は、そのようなロバスト符
号化と、編集処理などとを統合した統合符号化処理とい
うことができる。

【０１３５】なお、ロバスト符号化のうち、例えば、Ａ
ＤＲＣ処理では、それを行うことにより、情報量が削減
されるとともに、エラーに対する耐性も向上することか
ら、画像の圧縮処理と、誤り訂正のための処理とが、い
わば有機的に結合して行われているということができ
る。

【０１３６】次に、図１１は、適応復号化装置７の、Ｉ
ＳＤＢを実現するための部分であるＩＳＤＢ用受信装置
の構成例を示している。

【０１３７】信号分離部１１１には、伝送路１３を介し
て伝送されてくる伝送データが入力され、そこでは、伝
送データから、例えば、画像（ＳＤ画像や、ＨＤ画
像）、およびそれに付随する音声）を符号化した符号化
データが抽出される。信号分離部１１において得られた
符号化データは、復号部１１２にそれぞれ出力される。

【０１３８】復号部１１２では、信号分離部１１１から
の符号化データが復号される。即ち、例えば、画像の符
号化データについては、ＡＤＲＣ復号処理などが行われ
る。復号部１１２における復号処理の結果得られる画像
およびそれに付随する音声は、セレクタ１１３を介して
出力される。画像は、例えば、表示装置９，１０、また
はコンピュータディスプレイ１２に供給されて表示さ
れ、あるいは、画素アスペクト比変換器８を介してプリ
ンタ１１に供給されて印刷される。また、音声は、図示
せぬスピーカに供給されて出力される。

【０１３９】また、信号分離部１１１では、伝送データ
から、例えば、地域情報と、その地域情報に対応する付
加情報としての地域コードとが抽出され、復号部１１４
に供給される。復号部１１４では、地域コードに対応し
て、地域情報の復号が行われる。

【０１４０】即ち、受信した地域情報が、ユーザが所望
する地域の情報であるとは限らないため、復号部１１４
では、あらかじめ入力された地域に対応する地域コード
とともに入力された地域情報だけの復号が行われる。

【０１４１】地域の入力は、例えば、制御部１２３を操
作することにより行うことができるようになされてお
り、その入力された地域は、ＯＲゲート１２２を介し
て、復号部１１４に供給される。

【０１４２】また、地域の入力は、例えば、ＧＰＳ（Gl
obal Positioning System）システム（システムとは、
複数の装置が論理的に集合したものをいい、各構成の装
置が同一筐体中にあるか否かを問わない）を利用して行
うことなども可能である。即ち、ＧＰＳ衛星からの電波
が、アンテナ１１８で受信され、その受信信号が、ＧＰ
Ｓ受信部１１９に供給される。ＧＰＳ受信部１１９は、
アンテナ１１８からの受信信号から、図１１のＩＳＤＢ
用受信装置が設置されている位置を計算し、その計算結
果としての位置情報（例えば、緯度と経度など）を、地
域判別部１２０に供給する。地域判別部１２０は、ＧＰ
Ｓ受信部１１９からの位置情報から地域を判別し、その
地域に割り当てられているコードをメモリ１２１に出力
して記憶させる。メモリ１２１に記憶されたコードは、
ＯＲゲート１２２を介して、復号部１１４に供給され、
復号部１１４では、そのコードに一致する地域コードと
ともに入力された地域情報だけが復号される。

【０１４３】復号部１１４で復号された地域情報は、メ
モリ１１５に供給されて記憶される。従って、メモリ１
１５には、例えば、ユーザが住んでいる地域の地域情報
などだけが蓄積されていく。

【０１４４】メモリ１１５に記憶された地域情報を視聴
する場合、ユーザは、そのように制御部１２３を操作す
る。メモリ１１５からは、制御部１２３の操作に対応し
て、地域情報が読み出され、セレクタ１１６に供給され
る。セレクタ１１６では、メモリ１１５からの地域情報
のうちのいずれか、または全部が選択され、セレクタ１
１３を介して出力される。これにより、地域情報は、上
述の画像と同様に、表示装置９に表示等される。

【０１４５】なお、同一地域の地域情報であっても、そ
の中には、ユーザが必要とするものとそうでないものと
がある場合がある。セレクタ１１６では、ユーザが必要
とする地域情報のみが、制御部１２３の操作に対応して
選択されるようになされている。

【０１４６】また、セレクタ１１３では、制御部１２３
の操作に対応して、復号部１１２の出力か、またはセレ
クタ１１６の出力のうちのいずれか一方が選択されて出
力されるようになされている。

【０１４７】さらに、図８のＩＳＤＢ用送信装置におい
ては、画像およびそれに付随する音声の付加情報とし
て、タイムコードを多重化するようにしたが、画像およ
びそれに付随する音声の付加情報としては、その他、例
えば、その画像および音声で構成される番組を識別する
ための識別コードなどを多重化することが可能である。
この場合、所望の番組の識別コードをあらかじめ入力し
ておくことによって、その識別コードに対応する番組を
選択することが可能となる。従って、例えば、所望の番
組が送信されてきたときのみ、その番組を選択して出力
するようにすることなどが可能となる。

【０１４８】なお、以上のようなＩＳＤＢ用送信装置や
ＩＳＤＢ用受信装置については、例えば、本件出願人が
先に出願した特願平７−２０７１５８号や特願平７−２
４３４５３号などに、その詳細が開示されている。

【０１４９】次に、適応復号化装置７は、復号画像の解
像度が、表示装置９，１０、プリンタ１１、またはコン
ピュータディスプレイ１２のうちの、その復号画像を出
力させようとしている出力装置の解像度より低い場合、
その解像度の低い復号画像と、所定の係数との線形結合
により、出力装置の解像度に対応した復号画像を生成す
る解像度創造処理を行うようになされている。

【０１５０】なお、復号画像の画素数が、出力装置の画
素数より少ない場合においては、例えば、補間フィルタ
などによる補間を行うことにより、復号画像の画素数
を、出力装置の画素数に一致させる方法があるが、この
ような、いわば単純な補間では、元の復号画像に含まれ
ていない高周波成分は再現されないから、解像度は向上
しない。これに対して、解像度創造処理では、後述する
ように、そのような高周波成分を再現することができ
る。

【０１５１】また、復号画像の画素数が、出力装置の画
素数より多い場合には、例えば、間引きを行ったり、階
層符号化における場合のように、幾つかの画素の平均値
などを、その幾つかの画素に換えて配置したりすること
により、復号画像の画素数が、出力装置の画素数に一致
するように少なくされる。

【０１５２】図１２は、適応復号化装置７の、解像度創
造処理を行う部分である解像度創造回路の構成例を示し
ている。

【０１５３】なお、ここでも、階層符号化における場合
と同様に、解像度の高い（画素数の多い）画像を下位階
層の画像とし、解像度の低い（画素数の少ない）画像を
上位階層の画像とする。

【０１５４】例えば、図１３において・印で示す部分
を、下位階層の画像を構成する画素（以下、適宜、下位
画素という）とするとともに、同図において○印で示す
部分を、上位階層の画像を構成する画素（以下、適宜、
上位画素という）とするとき、解像度創造回路は、同図
に○印で示す画素で構成される上位階層の画像を、同図
に・印で示す画素で構成される下位階層の画像に変換す
るようになされている。

【０１５５】即ち、上位階層の画像は、クラス分類用ブ
ロック化回路１３１および予測値計算用ブロック化回路
１３３に供給される。

【０１５６】クラス分類用ブロック化回路１３１は、そ
こに供給される上位階層の画像から、所定の注目画素を
含むクラス分類用ブロックを構成する。即ち、クラス分
類用ブロック化回路１３１は、例えば、図１３において
実線で囲んで示すような、注目画素を中心とする５×５
（横×縦）の上位画素で構成されるクラス分類用ブロッ
クを構成する。

【０１５７】ここで、クラス分類用ブロックを構成する
５×５の上位画素（図１３において○印で示す部分）
を、以下、適宜、次のように表記する。即ち、クラス分
類用ブロックの中の左からｉ番目の、上からｊ番目に位
置する上位画素を、Ｂ_ijと表記する。従って、図１３の
実施の形態において、クラス分類用ブロックは、上位画
素Ｂ₃₃を注目画素として構成されることになる。また、
クラス分類用ブロックを構成する上位画素から生成（予
測）される下位画素（図１３において・印で示す部分）
を、以下、適宜、上位画素と同様に、Ａ_ijと表記する。

【０１５８】クラス分類用ブロック化回路１３１は、ク
ラス分類用ブロックを構成すると、それを、クラス分類
回路１３２に出力する。クラス分類回路１３２は、クラ
ス分類用ブロックを、その性質に応じて所定のクラスに
分類するクラス分類を行い、その結果得られるクラス
を、予測回路１３４に供給する。

【０１５９】予測回路１３４には、さらに、予測値計算
用ブロック化回路１３３から予測値計算用ブロックが供
給される。予測値計算用ブロック化回路１３３では、例
えば、図１３において点線の四角形で囲むような、注目
画素Ｂ₃₃を中心とする３×３画素の予測値計算用ブロッ
クが構成され、予測回路１３４に供給される。

【０１６０】ここで、予測値計算用ブロックおよびクラ
ス分類用ブロックの構成方法は、上述したものに限定さ
れるものではない。なお、予測値計算用ブロックは、基
本的に、どのように構成しても良いが、クラス分類用ブ
ロックは、予測値計算用ブロックの特徴が含まれるよう
に構成するのが好ましい。

【０１６１】予測回路１３４は、注目画素についての予
測値計算用ブロックとクラスを受信すると、後述するよ
うな予測係数であって、受信したクラスに対応するもの
と、予測値計算用ブロックを構成する上位画素の画素値
との線形結合により、下位画素の画素値の予測値を求め
る適応処理を行う。即ち、予測回路１３４は、クラスに
対応する予測係数と、予測値計算用ブロックを構成する
上位画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，
Ｂ₄₃，Ｂ₄₄とから、例えば、注目画素Ｂ₃₃を中心とする
３×３の範囲の下位画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，
Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を求める。

【０１６２】予測回路１３４では、以下同様の処理が、
画素Ｂ₃₃以外の上位画素を、順次、注目画素として行わ
れ、これにより、下位階層の画像を構成するすべての下
位画素の予測値が求められる。

【０１６３】ここで、予測回路１３４には、解像度設定
回路１３５から解像度信号が供給されるようになされて
いる。解像度設定回路１３５は、適応復号化装置７が画
像を出力させる出力装置（図１の実施の形態では、表示
装置９，１０、プリンタ１１、またはコンピュータディ
スプレイ１２）と、例えば通信を行うことにより、その
解像度を認識し、認識した解像度を表す解像度信号を予
測回路１３４に供給するようになされている。

【０１６４】そして、予測回路１３４では、各種の解像
度の画像についての予測係数が記憶されており、解像度
設定回路１３５からの解像度信号に対応した解像度につ
いての予測係数を用いて、下位階層の画像が求められる
ようになされている。

【０１６５】なお、解像度設定回路１３５には、出力装
置と通信させる他、例えば、図示せぬ操作部を操作する
ことなどにより、解像度を入力することが可能である。

【０１６６】次に、クラス分類回路１３２で行われるク
ラス分類処理と、予測回路１３４で行われる適応処理と
について説明する。

【０１６７】まず、クラス分類処理について説明する。

【０１６８】いま、例えば、図１４（Ａ）に示すよう
に、ある注目画素と、それに隣接する３つの画素によ
り、２×２画素でなるブロック（クラス分類用ブロッ
ク）を構成し、また、各画素は、１ビットで表現される
（０または１のうちのいずれかのレベルをとる）ものと
する。この場合、２×２の４画素のブロックは、各画素
のレベル分布により、図１４（Ｂ）に示すように、１６
（＝（２¹）⁴）パターンに分類することができる。この
ようなパターン分けが、クラス分類処理である。

【０１６９】なお、クラス分類処理は、画像（ブロック
内の画像）のアクティビティ（画像の複雑さ）（変化の
激しさ）などをも考慮して行うようにすることが可能で
ある。

【０１７０】ここで、通常、各画素には、例えば８ビッ
ト程度が割り当てられる。また、本実施の形態において
は、上述したように、クラス分類用ブロックは、５×５
の２５画素で構成される。従って、このようなクラス分
類用ブロックを対象にクラス分類処理を行ったのでは、
（２⁸）²⁵という膨大な数のクラスに分類されることに
なる。

【０１７１】そこで、クラス分類回路１３２には、クラ
ス分類処理に先だって、クラス分類用ブロックに対し
て、ＡＤＲＣ処理を施させるようにすることができる。
ＡＤＲＣ処理によれば、クラス分類用ブロックを構成す
る画素のビット数を小さくすることができ、その結果、
クラス数を削減することができる。

【０１７２】次に、適応処理について説明する。

【０１７３】例えば、いま、下位画素の画素値ｙの予測
値Ｅ［ｙ］を、幾つかの上位画素の画素値（以下、適
宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予
測係数ｗ₁，ｗ₂，・・・との線形結合により規定される
線形１次結合モデルにより求めることを考える。この場
合、予測値Ｅ［ｙ］は、次式で表すことができる。

【０１７４】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０１７５】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【０１７６】ＸＷ＝Ｙ’ ・・・（２）

【０１７７】そして、この観測方程式に最小自乗法を適
用して、下位画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、下位画素の画素値（以
下、適宜、教師データという）ｙの集合でなる行列Ｙ、
および下位画素の画素値ｙに対する予測値Ｅ［ｙ］の残
差ｅの集合でなる行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【０１７８】ＸＷ＝Ｙ＋Ｅ・・・（３）

【０１７９】この場合、下位画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】を最小にすることで求めることができる。

【０１８０】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、下位画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０１８１】

【数４】・・・（４）

【０１８２】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【０１８３】

【数５】・・・（５）

【０１８４】式（４）および（５）より、式（６）が得
られる。

【０１８５】

【数６】・・・（６）

【０１８６】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【０１８７】

【数７】・・・（７）

【０１８８】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【０１８９】以上のようにして、クラスごとに、最適な
予測係数ｗを求めておき、さらに、その予測係数ｗを用
い、式（１）により、下位画素の画素値ｙに近い予測値
Ｅ［ｙ］を求めるのが適応処理であり、この適応処理
が、予測回路１３４において行われるようになされてい
る。

【０１９０】即ち、例えば、いま、図１３において、実
線で囲んだ５×５画素で構成されるクラス分類用ブロッ
クのクラス分類の結果得られるクラスについて、上述の
学習を行うことにより、予測値計算用ブロック内におけ
る下位画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，
Ａ₆₃，Ａ₆₄，Ａ₆₅それぞれの予測値Ｅ［Ａ₄₃］，Ｅ［Ａ
₄₄］，Ｅ［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ［Ａ₅₄］，Ｅ
［Ａ₅₅］，Ｅ［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ［Ａ₆₅］を求め
るための予測係数として、ｗ₁（Ａ₄₃）乃至ｗ
₉（Ａ₄₃），ｗ₁（Ａ₄₄）乃至ｗ₉（Ａ₄₄），ｗ₁（Ａ₄₅）
乃至ｗ₉（Ａ₄₅），ｗ₁（Ａ₅₃）乃至ｗ₉（Ａ₅₃），ｗ
₁（Ａ₅₄）乃至ｗ₉（Ａ₅₄），ｗ₁（Ａ₅₅）乃至ｗ
₉（Ａ₅₅），ｗ₁（Ａ₆₃）乃至₉（Ａ₆₃），ｗ₁（Ａ₆₄）乃
至ｗ₉（Ａ₆₄），ｗ₁（Ａ₆₅）乃至ｗ₉（Ａ₆₅）が、それ
ぞれ得られたとする。この場合、予測回路１３４では、
式（１）に対応する次式にしたがって、予測値計算用ブ
ロック内におけるＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ
₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅それぞれの予測値Ｅ
［Ａ₄₃］，Ｅ［Ａ₄₄］，Ｅ［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ
［Ａ₅₄］，Ｅ［Ａ₅₅］，Ｅ［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ
［Ａ₆₅］が求められる。

【０１９１】Ｅ［Ａ₄₃］＝ｗ₁（Ａ₄₃）Ｂ₂₂＋ｗ₂（Ａ₄₃）Ｂ₂₃＋ｗ₃（Ａ₄₃）Ｂ₂₄ ＋ｗ₄（Ａ₄₃）Ｂ₃₂＋ｗ₅（Ａ₄₃）Ｂ₃₃＋ｗ₆（Ａ₄₃）Ｂ₃₄ ＋ｗ₇（Ａ₄₃）Ｂ₄₂＋ｗ₈（Ａ₄₃）Ｂ₄₃＋ｗ₉（Ａ₄₃）Ｂ₄₄ Ｅ［Ａ₄₄］＝ｗ₁（Ａ₄₄）Ｂ₂₂＋ｗ₂（Ａ₄₄）Ｂ₂₃＋ｗ₃（Ａ₄₄）Ｂ₂₄ ＋ｗ₄（Ａ₄₄）Ｂ₃₂＋ｗ₅（Ａ₄₄）Ｂ₃₃＋ｗ₆（Ａ₄₄）Ｂ₃₄ ＋ｗ₇（Ａ₄₄）Ｂ₄₂＋ｗ₈（Ａ₄₄）Ｂ₄₃＋ｗ₉（Ａ₄₄）Ｂ₄₄ Ｅ［Ａ₄₅］＝ｗ₁（Ａ₄₅）Ｂ₂₂＋ｗ₂（Ａ₄₅）Ｂ₂₃＋ｗ₃（Ａ₄₅）Ｂ₂₄ ＋ｗ₄（Ａ₄₅）Ｂ₃₂＋ｗ₅（Ａ₄₅）Ｂ₃₃＋ｗ₆（Ａ₄₅）Ｂ₃₄ +w₇（Ａ₄₅）Ｂ₄₂＋ｗ₈（Ａ₄₅）Ｂ₄₃＋ｗ₉（Ａ₄₅）Ｂ₄₄ Ｅ［Ａ₅₃］＝ｗ₁（Ａ₅₃）Ｂ₂₂＋ｗ₂（Ａ₅₃）Ｂ₂₃＋ｗ₃（Ａ₅₃）Ｂ₂₄ ＋ｗ₄（Ａ₅₃）Ｂ₃₂＋ｗ₅（Ａ₅₃）Ｂ₃₃＋ｗ₆（Ａ₅₃）Ｂ₃₄ ＋ｗ₇（Ａ₅₃）Ｂ₄₂＋ｗ₈（Ａ₅₃）Ｂ₄₃＋ｗ₉（Ａ₅₃）Ｂ₄₄ Ｅ［Ａ₅₄］＝ｗ₁（Ａ₅₄）Ｂ₂₂＋ｗ₂（Ａ₅₄）Ｂ₂₃＋ｗ₃（Ａ₅₄）Ｂ₂₄ ＋ｗ₄（Ａ₅₄）Ｂ₃₂＋ｗ₅（Ａ₅₄）Ｂ₃₃＋ｗ₆（Ａ₅₄）Ｂ₃₄ ＋ｗ₇（Ａ₅₄）Ｂ₄₂＋ｗ₈（Ａ₅₄）Ｂ₄₃＋ｗ₉（Ａ₅₄）Ｂ₄₄ Ｅ［Ａ₅₅］＝ｗ₁（Ａ₅₅）Ｂ₂₂＋ｗ₂（Ａ₅₅）Ｂ₂₃＋ｗ₃（Ａ₅₅）Ｂ₂₄ ＋ｗ₄（Ａ₅₅）Ｂ₃₂＋ｗ₅（Ａ₅₅）Ｂ₃₃＋ｗ₆（Ａ₅₅）Ｂ₃₄ ＋ｗ₇（Ａ₅₅）Ｂ₄₂＋ｗ₈（Ａ₅₅）Ｂ₄₃＋ｗ₉（Ａ₅₅）Ｂ₄₄ Ｅ［Ａ₆₃］＝ｗ₁（Ａ₆₃）Ｂ₂₂＋ｗ₂（Ａ₆₃）Ｂ₂₃＋ｗ₃（Ａ₆₃）Ｂ₂₄ ＋ｗ₄（Ａ₆₃）Ｂ₃₂＋ｗ₅（Ａ₆₃）Ｂ₃₃＋ｗ₆（Ａ₆₃）Ｂ₃₄ ＋ｗ₇（Ａ₆₃）Ｂ₄₂＋ｗ₈（Ａ₆₃）Ｂ₄₃＋ｗ₉（Ａ₆₃）Ｂ₄₄ Ｅ［Ａ₆₄］＝ｗ₁（Ａ₆₄）Ｂ₂₂＋ｗ₂（Ａ₆₄）Ｂ₂₃＋ｗ₃（Ａ₆₄）Ｂ₂₄ ＋ｗ₄（Ａ₆₄）Ｂ₃₂＋ｗ₅（Ａ₆₄）Ｂ₃₃＋ｗ₆（Ａ₆₄）Ｂ₃₄ ＋ｗ₇（Ａ₆₄）Ｂ₄₂＋ｗ₈（Ａ₆₄）Ｂ₄₃＋ｗ₉（Ａ₆₄）Ｂ₄₄ Ｅ［Ａ₆₅］＝ｗ₁（Ａ₆₅）Ｂ₂₂＋ｗ₂（Ａ₆₅）Ｂ₂₃＋ｗ₃（Ａ₆₅）Ｂ₂₄ ＋ｗ₄（Ａ₆₅）Ｂ₃₂＋ｗ₅（Ａ₆₅）Ｂ₃₃＋ｗ₆（Ａ₆₅）Ｂ₃₄ ＋ｗ₇（Ａ₆₅）Ｂ₄₂＋ｗ₈（Ａ₆₅）Ｂ₄₃＋ｗ₉（Ａ₆₅）Ｂ₄₄ ・・・（８）

【０１９２】なお、適応処理は、上位階層の画像には含
まれていない、下位階層の画像に含まれる成分が再現さ
れる点で、補間処理とは異なる。即ち、適応処理では、
式（１）や（８）だけを見る限りは、いわゆる補間フィ
ルタを用いての補間処理と同一であるが、その補間フィ
ルタのタップ係数に相当する予測係数ｗが、教師データ
ｙを用いての、いわば学習により求められるため、下位
階層の画像に含まれる成分を再現することができる。こ
のことから、適応処理は、いわば解像度の創造作用があ
る処理ということができる。

【０１９３】ここで、適応処理については、例えば、本
件出願人が先に出願した特開平５−３２８１８５号公報
などに、その詳細が開示されている。

【０１９４】次に、図１５は、図１２の予測回路１３４
の構成例を示している。

【０１９５】スイッチ１４１には、クラス分類回路１３
２からのクラスが供給されるようになされており、スイ
ッチ１４１は、解像度設定回路１３５からの解像度信号
に対応して、端子ａ１乃至ａ４のうちのいずれかを選択
するようになされている。そして、スイッチ１４１の端
子ａ１乃至ａ４は、ＲＯＭ（Read Only Memory）１４３
乃至１４６のアドレス端子（ＡＤ）にそれぞれ接続され
ている。従って、クラス分類回路１３２からのクラス
は、スイッチ１４１を介して、ＲＯＭ１４３乃至１４６
のうちのいずれかに、アドレスとして供給されるように
なされている。

【０１９６】スイッチ１４２は、スイッチ１４１と同様
に、解像度設定回路１３５からの解像度信号に対応し
て、端子ｂ１乃至ｂ４のうちのいずれかを選択するよう
になされている。端子ｂ１乃至ｂ４は、ＲＯＭ１４３乃
至１４６のデータ端子（Ｄ）とそれぞれ接続されてい
る。なお、スイッチ１４２は、スイッチ１４１と連動す
るようになされており、例えば、スイッチ１４１が端子
ａ１乃至ａ４を選択したとき、スイッチ１４２は、端子
ｂ１乃至ｂ４をそれぞれ選択するようになされている。

【０１９７】ＲＯＭ１４３乃至１４６には、上述したよ
うな学習により求められたクラスごとの予測係数が、そ
のクラスに対応するアドレスに記憶されている。即ち、
ＲＯＭ１４３乃至１４６には、例えば、上述したような
階層符号化が行われた場合に、最上位階層の画像など
を、表示装置９，１０、プリンタ１１、またはコンピュ
ータディスプレイ１２の解像度に対応した下位階層の画
像に変換するための予測係数が、それぞれ記憶されてい
る。

【０１９８】演算回路１４７には、予測値計算用ブロッ
ク化回路１３３から予測値計算用ブロックが、ＲＯＭ１
４３乃至１４６のうちのいずれかからスイッチ１４２を
介して、予測係数が、それぞれ供給されるようになされ
ており、演算回路１４７は、予測値計算用ブロックと予
測係数とを用いて、式（１）または（８）に対応する積
和演算を行うことにより、出力装置の解像度に対応した
下位階層の画像を求めるようになされている。

【０１９９】以上のように構成される予測回路１３４で
は、解像度設定回路１３５からの解像度信号に対応し
て、スイッチ１４１において、端子ａ１乃至ａ４のうち
のいずれかが選択され、スイッチ１４２においても、そ
れに連動して、端子ｂ１乃至ｂ４のうちのいずれかが選
択される。

【０２００】そして、クラス分類回路１３２からのクラ
スが、ＲＯＭ１４３乃至１４６のうちの、スイッチ１４
１が選択している端子（端子ａ１乃至ａ４のうちのいず
れか）に接続されているもの（以下、適宜、選択ＲＯＭ
という）のアドレス端子に供給される。選択ＲＯＭで
は、そのアドレス端子に供給されたクラスに対応するア
ドレスに記憶されている予測係数が読み出され、そのデ
ータ端子から出力される。

【０２０１】上述したように、スイッチ１４２は、スイ
ッチ１４１と連動しているから、選択ＲＯＭから読み出
された予測係数は、スイッチ１４２を介して、演算回路
１４７に供給される。

【０２０２】演算回路１４７には、予測係数の他、上述
したように、予測値計算用ブロック化回路１３３から予
測値計算用ブロックが供給されるようになされており、
演算回路１４７では、そこに供給される予測値計算用ブ
ロックおよび予測係数を用いて、式（１）または（８）
に対応する積和演算が行われ、これにより、出力装置の
解像度に対応した下位階層の画像が生成されて出力され
る。

【０２０３】従って、ユーザは、出力装置に対応する画
像を視聴することができる。

【０２０４】なお、上述の場合においては、予測係数を
適応復号化装置７に記憶させておくようにしたが、予測
係数は、復号に必要な情報として、送信側から伝送する
ようにすることも可能である。また、クラス分類用ブロ
ックや、予測値計算用ブロックなどの構成方法も、送信
側から指示するようにすることが可能である。

【０２０５】

【発明の効果】請求項１に記載の画像符号化装置および
請求項５に記載の画像符号化方法によれば、画像の符号
化に必要な複数の処理のうちの１以上であって、他の処
理を考慮したものが行われる。従って、効率的な処理が
可能となる。

【０２０６】請求項６に記載の画像復号化装置および請
求項７に記載の画像復号化方法によれば、伝送データ
と、所定の係数との線形結合により、画像を出力する出
力装置の解像度に対応した復号画像が生成される。従っ
て、各種の解像度の出力装置に対処することが可能とな
る。

【０２０７】請求項８に記載の画像処理装置および請求
項９に記載の画像処理方法によれば、画像の符号化に必
要な複数の処理のうちの１以上であって、他の処理を考
慮したものが行われる一方、その結果得られるデータ
と、所定の係数との線形結合により、画像を出力する出
力装置の解像度に対応した復号画像が生成される。従っ
て、効率的な処理が可能となるとともに、各種の解像度
の出力装置に対処することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像伝送装置の一実施の形態
の構成例を示すブロック図である。

【図２】ＡＤＲＣ処理を説明するための図である。

【図３】ＡＤＲＣ処理回路の構成例を示すブロック図で
ある。

【図４】シンクブロック構成回路の構成例を示すブロッ
ク図である。

【図５】シンクブロックのフォーマットを示す図であ
る。

【図６】階層符号化を説明するための図である。

【図７】階層符号化回路の構成例を示すブロック図であ
る。

【図８】ＩＳＤＢ用送信装置の構成例を示すブロック図
である。

【図９】ＡＤＲＣ復号回路の構成例を示すブロック図で
ある。

【図１０】ＡＤＲＣ復号回路の他の構成例を示すブロッ
ク図である。

【図１１】ＩＳＤＢ用受信装置の構成例を示すブロック
図である。

【図１２】解像度創造回路の構成例を示すブロック図で
ある。

【図１３】クラス分類用ブロックと予測値計算用ブロッ
クとを示す図である。

【図１４】クラス分類処理を説明するための図である。

【図１５】図１２の予測回路１３４の構成例を示すブロ
ック図である。

【図１６】送信側から受信側に画像を伝送する画像伝送
装置の構成例を示すブロック図である。

【符号の説明】

１，２ビデオカメラ，３プログレッシブイメージ
ャ，４計算機，５ネットワーク，６統合符号
化装置，７適応復号化装置，８画素アスペクト
比変換器，９，１０表示装置，１１プリンタ，
１２コンピュータディスプレイ，１３伝送路，
２１ブロック化回路，２２最小値検出回路，
２３最大値検出回路，２４，２５演算器，２６
量子化回路，３１分離器，３２マルチプレク
サ，４１，４２平均値算出回路，４３，４４画
素抜き出し回路，４５画素挿入回路，５１符号
化部，５２タイムコード発生部，５３符号化
部，５４タイムコード発生部，５５符号化部，
５６付加情報発生部，５７多重化部，１０１
デマルチプレクサ，１０２逆量子化回路，１０
３演算器，１０４フレーム構成回路，１０５，
１０６セレクタ，１０７メモリ，１０８復元
回路，１１１信号分離部，１１２復号部，１
１３セレクタ，１１４復号部，１１５メモ
リ，１１６セレクタ，１１８アンテナ，１１
９ＧＰＳ受信部，１２０地域判別部，１２１
メモリ，１２２ＯＲゲート，１２３制御部，１
３１クラス分類用ブロック化回路，１３２クラス
分類回路，１３３予測値計算用ブロック化回路，１
３４予測回路，１３５解像度設定回路，１４
１，１４２スイッチ，１４３乃至１４６ＲＯＭ，
１４７演算回路

Claims

【特許請求の範囲】

【請求項１】画像を符号化する画像符号化装置であっ
て、前記画像の符号化に必要な複数の処理の１以上であっ
て、他の処理を考慮したものを行う処理手段を備えるこ
とを特徴とする画像符号化装置。
【請求項２】前記画像は、被写体を撮影して画像信号
を出力する撮像装置が出力し得る最大の数の画素数で構
成されることを特徴とする請求項１に記載の画像符号化
装置。
【請求項３】前記画像の符号化に必要な複数の処理の
うちの１つは、前記画像の編集処理、その情報量を低減
するための圧縮処理、または伝送時のデータの信頼性を
向上させるためのチャネル符号化処理のうちのいずれか
であることを特徴とする請求項１に記載の画像符号化装
置。
【請求項４】前記処理手段は、少なくとも、前記画像
を構成する、空間方向または時間方向の画素を少なくし
た圧縮画像を生成することを特徴とする請求項１に記載
の画像符号化装置。
【請求項５】画像を符号化する画像符号化方法であっ
て、前記画像の符号化に必要な複数の処理のうちの１以上で
あって、他の処理を考慮したものを行うことを特徴とす
る画像符号化方法。
【請求項６】伝送されてきた伝送データを画像に復号
する画像復号化装置であって、前記伝送データと、所定の係数との線形結合により、画
像を出力する出力装置の解像度に対応した復号画像を生
成する生成手段を備えることを特徴とする画像復号化装
置。
【請求項７】伝送されてきた伝送データを画像に復号
する画像復号化方法であって、前記伝送データと、所定の係数との線形結合により、画
像を出力する出力装置の解像度に対応した復号画像を生
成することを特徴とする画像復号化方法。
【請求項８】画像を処理する画像処理装置であって、前記画像の符号化に必要な複数の処理のうちの１以上で
あって、他の処理を考慮したものを行う処理手段と、前記処理手段による処理の結果得られるデータと、所定
の係数との線形結合により、画像を出力する出力装置の
解像度に対応した復号画像を生成する生成手段とを備え
ることを特徴とする画像処理装置。
【請求項９】画像を処理する画像処理方法であって、前記画像の符号化に必要な複数の処理のうちの１以上で
あって、他の処理を考慮したものを行い、その結果得られるデータと、所定の係数との線形結合に
より、画像を出力する出力装置の解像度に対応した復号
画像を生成することを特徴とする画像処理方法。