JP4240554B2 - 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 - Google Patents

画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 Download PDF

Info

Publication number
JP4240554B2
JP4240554B2 JP18614497A JP18614497A JP4240554B2 JP 4240554 B2 JP4240554 B2 JP 4240554B2 JP 18614497 A JP18614497 A JP 18614497A JP 18614497 A JP18614497 A JP 18614497A JP 4240554 B2 JP4240554 B2 JP 4240554B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
pixels
processing
circuit
example
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18614497A
Other languages
English (en)
Other versions
JPH1132330A (ja )
Inventor
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Description

【0001】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法に関し、特に、画像を効率的に符号化し、さらに、画像を表示するモニタなどに適した形の復号画像を得ることができるようにする画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法に関する。
【0002】
【従来の技術】
図16は、送信側から受信側に画像を伝送する画像伝送装置の構成例を示している。
【0003】
送信側では、例えば、高解像度のビデオカメラ201において、被写体が撮影され、例えば、横×縦の画素数が1920×1035で構成される、アスペクト比が16:9の、高解像度の画像(以下、適宜、HD画像という)が出力される。なお、ビデオカメラ201からは、1秒間に約30フレームのHD画像が出力される。但し、ここでは、HD画像は、インターレース走査されるようになされており、従って、ビデオカメラ201からは、1秒間に、約60フィールドのHD画像が出力される。
【0004】
また、送信側では、例えば、標準解像度または低解像度のビデオカメラ202において、被写体が撮影され、アスペクト比が4:3の、標準解像度または低解像度の画像(以下、適宜、SD画像という)が出力される。ビデオカメラ202が、例えば、NTSC(National Television Systems Committee)方式またはPAL(Phase Alternating by Line color television system)方式のものである場合、1フレームは、例えば、それぞれ720×480画素または720×576画素で構成され、また、1秒間のフレーム数(フィールド数)は、それぞれ30(60)または25(50)である。
【0005】
さらに、送信側では、プログレッシブイメージャ203において、被写体がスキャニングされ、順次走査された画像(以下、適宜、プログレッシブな画像という)が出力される。また、送信側では、計算機204において、コンピュータグラフィックス(CG)としての、例えば、640×480画素で構成される画像が生成されて出力される。
【0006】
なお、ビデオカメラ201,202が出力する画像を構成する画素の横と縦との比は、約1:1.1程度になっているが、計算機204が出力する画像を構成する画素の横と縦との比は、1:1になっている。
【0007】
以上のように、ビデオカメラ201,202、プログレッシブイメージャ203、計算機204からは、アスペクト比や、画素数、走査方法、画素の横と縦との比などが異なる画像が出力される。
【0008】
これらの画像は、編集装置205に入力される。編集装置205では、ビデオカメラ201,202、プログレッシブイメージャ203、計算機204からの画像がそれぞれ編集される。編集後の画像は、すべて、例えば、1920×1080画素で構成されるプログレッシブな画像とされ、ソース符号化装置206に出力される。ソース符号化装置206では、編集装置205から出力された画像が、情報圧縮のための符号化である、例えば、MPEG(Moving Picture Experts Group)の規格に準拠して符号化(MPEG符号化)され、その結果得られる符号化データが、チャネル符号化装置207に供給される。
【0009】
ここで、画素数や走査方法の異なる画像を、すべて、1920×1080画素のプログレッシブな画像にすることは、ATV(Advanced Television)で採用することが検討されている。
【0010】
チャネル符号化装置207では、伝送時の符号化データの信頼性を向上させるためのチャネル符号化が行われる。即ち、チャネル符号化装置207では、例えば、エラー訂正のための処理としてECC(Error Correcting Codes)が付加され、さらに、所定の変調処理などが施される。チャネル符号化装置207における処理の結果得られる伝送データは、伝送路211を介して伝送される。
【0011】
受信側では、上述したようにして送信側から伝送されてくる伝送データが受信される。この伝送データは、チャネル復号化装置208に供給され、チャネル復号される。即ち、例えば、所定の復調処理が施され、さらに、ECCを用いた誤り訂正などが行われる。
【0012】
チャネル復号化装置208における処理の結果得られる符号化データは、ソース復号化装置209に供給される。ソース復号化装置209では、符号化データが、例えば、MPEGの規格に準拠して復号(MPEG復号)されるなどして伸張され、その結果得られる画像データは、加工装置210に供給される。
【0013】
加工装置210では、画像データを出力する出力装置のフォーマットにあうように、ソース復号化装置209からの画像データが加工される。即ち、画像データを、HD画像を表示するHD表示装置221に表示させる場合、加工装置210では、ソース復号化装置209が出力する画像データが、例えば、1920×1035画素で構成される、アスペクト比が16:9の、インターレース走査されるHD画像に加工される。また、画像データを、SD画像を表示するSD表示装置222に表示させる場合、加工装置210では、ソース復号化装置209が出力する画像データが、例えば、720×480画素または720×576画素で構成される、NTSC方式またはPAL方式のSD画像に加工される。さらに、画像データを、プリンタ223に印刷させる場合には、加工装置210では、ソース復号化装置209が出力する画像を構成する画素の横と縦との比が、プリンタ223に対応したものに変換される。また、画像データを、コンピュータディスプレイ224に表示させる場合には、加工装置210では、ソース復号化装置209が出力する画像データが、例えば、640×480画素で構成される画像に加工される。
【0014】
HD表示装置221,SD表示装置222、プリンタ223、コンピュータディスプレイ224では、加工装置210からの画像が表示され、または印刷される。
【0015】
【発明が解決しようとする課題】
ところで、従来においては、送信側における編集装置205による編集処理、ソース符号化装置206による圧縮処理、およびチャネル符号化装置207によるチャネル符号化処理は、いわば、それぞれ別個独立に行われていた。
【0016】
即ち、例えば、圧縮処理を行った後のデータは、圧縮処理を行う前のデータより情報量が少なく、従って、圧縮処理を行った後のデータを編集処理の対象とすることができれば、編集装置205に対する負荷を低減することができる。しかしながら、ソース符号化装置206において、上述したように、画像をMPEG符号化する場合、その結果得られるビットストリームは、いわゆるGOP(Group Of Picture)単位でなければ編集することが困難になる。また、その編集も、GOPどうしを接続するだけの、いわゆるカット編集などに制限される。即ち、ソース符号化装置206では、編集装置205による編集処理を考慮した圧縮処理がなされないため、その圧縮処理後のデータについては、例えば、フレーム単位で編集することができず、また、各種のエフェクトなどをかけることも困難である。
【0017】
また、例えば、ソース符号化装置206では、チャネル符号化装置207によるECCの付加を考慮した圧縮処理がなされないため、例えば、圧縮処理により得られる符号化データにECCが付加されることによって、ECCが付加された後のデータ全体としての圧縮率が劣化することがあった。
【0018】
以上のように、従来においては、画像の符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などが、互いに他の処理を考慮した形で行われていないため、効率的な処理を行うことが困難であった。
【0019】
本発明は、このような状況に鑑みてなされたものであり、効率的な処理を行うことができるようにするものである。
【0020】
【課題を解決するための手段】
請求項1に記載の画像符号化装置は、異なる複数の画像 ADRC処理の圧縮処理を行なって符号化データを出力する符号化手段と、圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、付加的な情報であって、符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、符号化手段の出力である符号化データ、タイムコード発生手段の出力であるタイムコード及び付加情報発生手段の出力である付加情報を多重化する多重化手段とを備えることを特徴とする。
【0021】
請求項に記載の画像符号化方法は、異なる複数の画像 ADRC処理の圧縮処理を行なって符号化データを出力し、圧縮処理のタイミングを表す同期信号であるタイムコードを発生し、付加的な情報であって、符号化データの種類を表す情報を含む付加情報を発生し、出力された符号化データ、発生されたタイムコード及び前記発生された付加情報を多重化することを特徴とする。
【0022】
請求項に記載の画像復号化装置は、伝送データから符号化データ、符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び符号化データの種類を表す情報を含む付加情報を分離する分離手段と、付加情報に基づいて符号化データを復号化して復号画像を出力する復号化手段と、復号画像の画素数が復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する解像度創造処理手段とを備えることを特徴とする。
【0023】
請求項に記載の画像復号化方法は、伝送データから符号化データ、符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び符号化データの種類を表す情報を含む付加情報を分離し、付加情報に基づいて符号化データを復号化して復号画像を出力し、復号画像の画素数が出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成することを特徴とする。
【0026】
請求項1に記載の画像符号化装置においては、異なる複数の画像 ADRC処理の圧縮処理が行われ、圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、符号化データの種類を表す情報を含む付加情報が発生され、符号化データ、タイムコード及び付加情報が多重化される。
【0027】
請求項に記載の画像符号化方法においては、異なる複数の画像 ADRC処理の圧縮処理が行われ、圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、符号化データの種類を表す情報を含む付加情報が発生され、符号化データ、タイムコード及び付加情報が多重化される。
【0028】
請求項に記載の画像復号化装置においては、伝送データから符号化データ、符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び符号化データの種類を表す情報を含む付加情報が分離され、付加情報に基づいて符号化データが復号化されて復号画像が出力され、復号画像の画素数が復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像が解像度創造処理により生成される。
【0029】
請求項に記載の画像復号化方法においては、伝送データから符号化データ、符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び符号化データの種類を表す情報を含む付加情報が分離され、付加情報に基づいて符号化データが復号化されて復号画像が出力され、復号画像の画素数が復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像が解像度創造処理により生成される。
【0032】
【発明の実施の形態】
図1は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。
【0033】
送信側では、例えば、高解像度のビデオカメラ1や、低解像度のビデオカメラ2において、それぞれが出力し得る最大の数の画素数で構成される画像が出力される。即ち、ここでは、ビデオカメラ1においては、例えば、1920×960画素で構成される、アスペクト比が16:9で、フレームレートが約30フレーム/秒の、プログレッシブなHD画像が出力される。また、ビデオカメラ2においては、例えば、640×480画素で構成される、アスペクト比が4:3で、フレームレートが約30フレーム/秒の、プログレッシブなSD画像、または720×480画素で構成される、アスペクト比が4:3で、フレームレートが約15フレーム/秒の、プログレッシブなSD画像が出力される。
【0034】
さらに、送信側では、プログレッシブイメージャ3において、被写体がスキャニングされ、例えば、縦の画素数が、480の整数倍のプログレッシブな画像が出力される。また、送信側では、計算機4において、コンピュータグラフィックス(CG)としての、例えば、640×480画素で構成される、画素の横と縦との比が1:1の画像が生成されて出力される。
【0035】
ビデオカメラ1や2、プログレッシブイメージャ3、計算機4が出力する画像は、統合符号化装置6(処理手段)に供給される。
【0036】
さらに、統合符号化装置6には、例えば、縦の画素数が、480の整数倍のプログレッシブな画像が、例えば、インターネットなどのネットワーク5から供給される。なお、ネットワーク5からは、例えば、計算機4と同様に、画素の横と縦との比が1:1の画像が供給される。
【0037】
ここで、ビデオカメラ1や2に、それが出力し得る最大の数の画素数で構成される画像を出力させるようにしたのは、そのような画像を処理の対象とする方が、例えば、インターレース方式の画像などのように、一画面の画素数が少ない画像を処理の対象とする場合に比較して、一般に、高画質の復号画像を得ることができるからである。
【0038】
さらに、統合符号化装置6に供給される画像の縦の画素数は、すべて、所定値、即ち、ここでは、例えば、480の整数倍となっており、また、フレームレートも、所定値としての15の整数倍となっているが、これは、例えば、HD画像を構成する画素を、空間方向または時間方向に間引いてSD画像を生成した場合や、SD画像を構成する画素を、空間方向または時間方向に補間してHD画像を生成した場合に、その生成したSD画像やHD画像の画質の劣化を低減することができるためのである。
【0039】
また、ビデオカメラ1に出力させるHD画像の縦の画素数を、960画素としたのは、縦の画素数を、480の整数倍とするとき、960が、現行のHD画像の縦の画素数である1035(図16)に最も近く、従って、乗り換えを行うときに、画質の劣化を低減することができるからである。
【0040】
さらに、ビデオカメラ2に出力させるSD画像の縦の画素数を480画素にしたのは、その値が、現行のNTSC方式やPAL方式で採用されている画素数に最も近い480の倍数であるからである。
【0041】
なお、ビデオカメラ2に出力させるアスペクト比が4:3のSD画像の横の画素数を640とした場合、その画素の横と縦との比は、1:1(=4×480:3×640)となり、計算機4が出力する画像や、ネットワーク5から供給される画像とのコンパチビリティ(compatibility)が取り易くなる。
【0042】
また、ビデオカメラ2に出力させるアスペクト比が4:3のSD画像の横の画素数を720とした場合、その画素の横と縦との比は、8:9(=4×480:3×720)となる。これは、ビデオカメラ1が出力するHD画像が構成する画素の横と縦との比(8:9=16×960:9×1920)に等しく、従って、この場合、ビデオカメラ2が出力するSD画素の横および縦の画素数を2倍にして、その縦の画素数を、ビデオカメラ1が出力するHD画像の縦の画素数に等しい960画素としたとき、いわゆる真円率を維持することができる(画像が、横方向や縦方向に間延びしたものにならない)。
【0043】
統合符号化装置6では、そこに供給される画像(ディジタル画像信号)を対象に、その符号化に必要な、例えば、編集処理や、圧縮処理、チャネル符号化処理などの複数の処理の1以上が、他の処理を考慮した形で行われる。ここで、編集処理には、例えば、カット編集を行ったり、エフェクトをかけたりする、いわゆるビデオ編集のための処理の他、例えば、ISDB(Integrated Services Digital Broadcasting)(各種の情報をディジタル化して送信するインタラクティブな放送)などを実現するための情報や、その他の付加価値を付けるための情報(例えば、より高画質の復号画像を得るのに必要な情報)などを付加すること、さらには、ある画像と他の画像との間にリンクを張ることなども含まれる。
【0044】
統合符号化装置6における処理の結果得られる伝送データは、伝送路13を介して、受信側に伝送される。なお、伝送路13には、例えば、衛星回線や、地上波、CATV網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録/再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスクその他の記録媒体も含まれる。
【0045】
伝送路13を介して伝送されてくる伝送データは、受信側で受信され、適応復号化装置7(生成手段)に供給される。適応復号化装置7には、画像を出力する出力装置としての、例えば、HD画像を表示する高解像度の表示装置9,SD画像を表示する標準解像度または低解像度の表示装置10、画像を印刷するプリンタ11、コンピュータ(計算機)に接続されるコンピュータディスプレイ12などが接続されている(但し、プリンタ11は、画素アスペクト比変換器8を介して接続されている)。適応復号化装置7は、伝送データと、所定の係数との線形結合により、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12の解像度に対応した復号画像を生成し、それぞれに出力する。
【0046】
表示装置9,10、およびコンピュータディスプレイ12では、適応復号化装置7からの復号画像が表示され、プリンタ11では、適応復号化装置7からの復号画像が印刷される。
【0047】
なお、表示装置9,10、またはコンピュータディスプレイ12それぞれにおける画素の横と縦との比(以下、適宜、画素アスペクト比という)と、復号画像を構成する画素の画素アスペクト比との違いは、表示装置9,10、またはコンピュータディスプレイ12それぞれでの水平走査により吸収される。
【0048】
また、プリンタ11では、そのような水平走査により、画素アスペクト比の違いを吸収することができないため、その前段に、画素アスペクト比変換器8が設けられており、そこで、復号画像の画素アスペクト比が、プリンタ11に対応したものに変換される。
【0049】
次に、統合符号化装置6における処理について説明する。
【0050】
統合符号化装置6では、例えば、圧縮処理が、編集処理を考慮した形で行われる。
【0051】
即ち、統合符号化装置6では、圧縮処理として、例えば、ADRC(Adaptive Dynamic Range Coding)処理が行われる。
【0052】
ここで、ADRC処理について、簡単に説明する。
【0053】
いま、説明を簡単にするため、図2(A)に示すように、直線上に並んだ4画素で構成されるブロックを考えると、ADRC処理においては、その画素値の最大値MAXと最小値MINが検出される。そして、DR=MAX−MINを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、ブロックを構成する画素の画素値がKビットに再量子化される。
【0054】
即ち、ブロック内の各画素値から、最小値MINを減算し、その減算値をDR/2Kで除算する。そして、その結果得られる除算値に対応するコード(ADRCコード)に変換される。具体的には、例えば、K=2とした場合、図2(B)に示すように、除算値が、ダイナミックレンジDRを4(=22)等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から2番目のレベルの範囲、下から3番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、00B,01B,10B、または11Bなどの2ビットにコード化される(Bは2進数であることを表す)。
【0055】
ADRCでは、再量子化の際のビット数Kは、画素に割り当てられているビット数よりも小さい値が用いられ、従って、各画素は、そのような小さいビット数に圧縮されることになる(但し、その他に、ブロックごとに、最小値MINとダイナミックレンジDRが生じる)。
【0056】
なお、その復号は、ADRCコード00B,01B,10B、または11Bを、例えば、ダイナミックレンジDRを4等分して得られる最も下のレベルの範囲の中心値L00、下から2番目のレベルの範囲の中心値L01、下から3番目のレベルの範囲の中心値L10、または最も上のレベルの範囲の中心値L11に変換し、その値に、最小値MINを加算することで行うことができる。
【0057】
図3は、ADRC処理を行うADRC処理回路の構成例を示している。
【0058】
画像データは、ブロック化回路21に供給され、そこで、所定の大きさのブロックにブロック化される。即ち、ブロック化回路21は、画像データを、例えば、横×縦が4画素×4画素のブロックに分割する。そして、そのブロックを、最小値検出回路22、最大値検出回路23、および演算器25に供給する。
【0059】
最小値検出回路22では、ブロック化回路21からのブロックを構成する16(=4×4)画素の中から、最小値MINが検出される。この最小値MINは、ADRC処理結果の信号の1つとして出力されるとともに、演算器24および25に供給される。
【0060】
同時に、最大値検出回路23では、ブロック化回路21からのブロックを構成する16画素の中から、最大値MAXが検出され、演算器24に供給される。
【0061】
演算器24では、最大値MAXから最小値MINが減算され、これによりブロックのダイナミックレンジDRが求められる。このダイナミックレンジDRは、ADRC処理結果の信号の1つとして出力されるとともに、量子化回路26に供給される。
【0062】
一方、演算器25では、ブロックを構成する16画素それぞれから、ブロックの最小値MINが減算され、その減算値が量子化回路26に供給される。量子化回路26では、演算器25からの減算値が、演算器24からのダイナミックレンジDRに対応する量子化ステップで量子化される。即ち、量子化回路26では、例えば、演算器25の出力が、DR/2Kで除算され、その除算値の小数点以下を切り捨てたものが、ADRCコード(画素の再量子化結果)CODEとして出力される。
【0063】
ここで、本実施の形態では、再量子化の際のビット数Kは、各ブロックごとに、例えば、そのダイナミックレンジDRの大きさに対応して決定されるようになされており、これにより、ADRCコードは可変長とされている。
【0064】
即ち、例えば、いま、4つの閾値T1,T2,T3,T4が設定されているものとし、その大小関係が、0<T1<T2<T3<T4であるとする。また、元の画像の画素には、例えば、8ビットが割り当てられているものとする(従って、T4は28未満)。
【0065】
この場合、量子化回路26では、ダイナミックレンジDRが、0以上T1未満、T1以上T2未満、T2以上T3未満、T3以上T4未満、またはT4以上28未満のうちのいずれの範囲内にあるかが判定される。そして、ダイナミックレンジDRが、0以上T1未満、T1以上T2未満、T2以上T3未満、T3以上T4未満、またはT4以上28未満の範囲内にある場合、再量子化の際のビット数Kとして、例えば、0乃至4ビットがそれぞれ割り当てられる。従って、この場合、ADRCコードは、最小で0ビット、最大で4ビットになる。
【0066】
ADRCコードが可変長の場合、その復号を行うのに、ADRCコードのビット数Kが必要となることから、量子化回路26では、ダイナミックレンジDRが、上述のいずれの範囲内にあるかを示す閾値コードを出力するようになされており、この閾値コードは、最小値MIN、ダイナミックレンジDR,ADRCコードとともに、ADRC処理結果として出力される。
【0067】
なお、最小値MIN、ダイナミックレンジDR、および閾値コードは、例えば固定長とされている。
【0068】
ここで、上述の場合においては、ADRCコードを可変長としたが、再量子化の際のビット数Kを、ブロックのダイナミックレンジDRに無関係に固定値とし、これにより、ADRCコードは固定長とすることも可能である。
【0069】
以上のようなADRC処理により得られるADRCコードは、元の画素に割り当てられているビット数よりも少なくなっている。一方、ADRC処理の結果得られる最小値MIN、ダイナミックレンジDR,ADRCコードは、ブロック単位で取り扱うことが可能であり、従って、ADRC処理後の画像は、例えば、フレーム単位で編集することができる。
【0070】
以上から、圧縮処理としてADRC処理を行い、そのADRC処理結果を、各種の編集処理の対象とすることで、ADRC処理前の元の画像を対象にする場合とほぼ同一の編集処理を行うことができるとともに、その処理の負荷を、ADRC処理前の元の画像を対象にする場合に比較して軽減することができる。
【0071】
従って、圧縮処理としてのADRC処理は、編集処理を考慮したものということができ、その結果、編集処理を効率的に行うことが可能となる。
【0072】
なお、ADRCについては、例えば、本件出願人が先に出願した特開平3−53778号公報などに、その詳細が開示されている。
【0073】
また、ADRCは、ブロック単位で符号化を行うので、ブロック符号化ということができるが、ブロック符号化には、ADRCの他、ブロックを構成する画素の平均値および標準偏差とともに、その各画素と、平均値との大小関係を表す1ビットのフラグを求めるものなどがある。統合符号化装置6による圧縮処理としては、このようなブロック符号化を採用することも可能である。
【0074】
さらに、上述の場合においては、最小値MINとダイナミックレンジDRを、ADRC処理結果に含ませるようにしたが、ADRC結果には、その他、最小値MINとブロックの最大値MAXや、ダイナミックレンジDRとブロックの最大値MAXを含ませるようにすることが可能である。
【0075】
また、上述の場合には、1フレームの横4画素と縦4画素とで、ブロックを構成するようにしたが、ブロックは、時間的に連続する複数フレームを構成する画素で構成するようにすることも可能である。
【0076】
ところで、ADRC処理の結果得られるブロックごとの最小値MIN、ダイナミックレンジDR、閾値コード、およびADRCコードの伝送方法としては、例えば、同期をとるための同期パターンの後に、所定のデータ量のADRC結果を配置したブロック(以下、適宜、シンクブロックという)を構成し、そのようなシンクブロック単位で、伝送を行うものがある。
【0077】
シンクブロック単位で伝送を行う場合、最小値MIN、ダイナミックレンジDR、および閾値コードは、上述したように固定長であるから、これらのデータは、シンクブロックの固定の位置に配置するようにすれば、1のシンクブロックが、例えば欠落などして得られなくても、その影響が、他のシンクブロックに配置された最小値MIN、ダイナミックレンジDR、および閾値コードに及ぶことはない。
【0078】
しかしながら、ADRCコードは可変長であるから、例えば、ADRCコードが、1のシンクブロックに入りきらずに、複数のシンクブロックに分けて配置されている場合には、1のシンクブロックの欠落が、他のシンクブロックに影響を及ぼすことがある。即ち、その複数のシンクブロックのうちの最初のシンクブロックが欠落した場合、2番目のシンクブロックの最初に配置されているADRCコードが、ブロックのどの位置の画素に対応するものなのか、さらに、そのADRCコードとして配置されているビットが、最初のシンクブロックの最後に配置されたADRCコードの続き(一部)を構成するビットなのか、あるいは、ADRCコードの最初のビットなのかが分からなくなる。その結果、2番目以降のシンクブロックに配置されたADRCコードも取り出すことができなくなり、このように、いわば、あるシンクブロックのエラーが、他のシンクブロックにも伝搬することになる。
【0079】
ところで、あるブロックのADRCコードがすべて失われた場合であっても、最小値MINが分かれば、すべての画素が、その最小値MINを画素値として有するブロックを再生することができる。しかしながら、このブロックは、画素(画素値)が同一の値の、いわば平坦なものであるから、元の画像の再現性は低いものとなる。
【0080】
そこで、より高い再現性を実現するために、ADRCコードを、例えば、MSB(Most Significant Bit)と、それ以外(以下、適宜、残りビットという)とに分離し、MSBも、最小値MIN、ダイナミックレンジDR、および閾値コードと同様に、シンクブロックの固定の位置に配置するようにすることができる。この場合、残りビットが失われても、MSBを、ダイナミックレンジDRにしたがって逆量子化することで、2値で構成されるブロックを得ることができ、ADRCコードがすべて失われた場合に比較して再現性の高い画像を得ることが可能となる。
【0081】
図4は、以上のようなシンクブロックを構成するシンクブロック処理を行うシンクブロック構成回路の構成例を示している。
【0082】
ADRC処理回路(図3)が出力する最小値MIN、ダイナミックレンジDR、閾値コードは、マルチプレクサ32に供給され、また、ADRCコードは、分離器31に供給される。分離器31では、ADRCコードが、MSBと残りビットとに分離され、いずれも、マルチプレクサ32に供給される。
【0083】
マルチプレクサ32には、上述したデータの他、同期パターンが供給されている。マルチプレクサ32は、そこに供給されるデータを時分割多重化して、例えば、図5に示すようなシンクブロックを構成して出力する。
【0084】
即ち、図5に示すように、シンクブロックの先頭には、固定長の同期パターンが配置され、その後には、固定長の付加データが配置される。ここで、付加データとは、閾値コードなどの固定長のデータだけで構成される。付加データの後には、残りビットが、所定のバイト数だけ配置される。即ち、付加データの後には、先頭からN1−1バイト目までに、残りビットが配置される。
【0085】
そして、先頭からN1バイト目以降に、ダイナミックレンジDR,MSB、最小値MINが、例えば、DR,MSB,MIN,MSB,DR,・・・の順番で配置される。ダイナミックレンジDR,MSB、最小値MINが所定数だけ配置された後には、再び、残りビットが配置される。そして、先頭からN2バイト目以降に、再び、ダイナミックレンジDR,MSB、最小値MINが、上述した順番で、所定数だけ配置される。以下、同様の配置が、シンクブロックの最後まで繰り返される。
【0086】
以上のように、ダイナミックレンジDR,MSB、最小値MINは、シンクブロックの先頭からN1,N2,・・・バイト目のように、決まった位置から配置され、さらに、これらのデータは固定長であるから、シンクブロックの固定の位置に配置されることになる。
【0087】
以上のシンクブロック処理は、ADRCコード(残りビット)にエラーが生じた場合であっても、元の画像に比較的近い復号画像を得ることができるようにするものであり、残りビットがなくても、再現性の高い復号画像を得ることができる。従って、極端には、残りビットには、誤り訂正のための、例えばECCなどを付加しなくても良く、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、シンクブロック処理は、チャネル符号化処理を考慮したものということができる。
【0088】
なお、シンクブロック処理については、例えば、本件出願人が先に出願した特開平2−162980号公報などに、その詳細が開示されている。
【0089】
次に、統合符号化装置6には、圧縮処理として、ADRC処理の他、例えば、階層符号化処理を行わせることも可能である。
【0090】
階層符号化は、例えば、高解像度の画像データを、最下位階層または第1階層の画像データとして、それより画素数の少ない第2階層の画像データ(圧縮画像)を形成し、さらに、それより画素数の少ない第3階層の画像データを形成し、以下、同様にして、最上位階層までの画像データを形成するもので、各階層の画像データは、その階層に対応した解像度(画素数)のモニタで表示される。従って、ユーザ側では、階層符号化された画像データのうち、自身が有するモニタの解像度に対応するものを選択することで、同一内容の画像を視聴することができる。
【0091】
ところで、ある解像度の画像データを最下位階層(第1階層)の画像データとして、上位階層の画像データを、順次形成し、それらのすべてを、そのまま記憶や伝送などする場合には、最下位階層の画像データだけを記憶等する場合に比較して、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となる。
【0092】
そこで、ここでは、そのような記憶容量等の増加のない階層符号化を、統合符号化装置6における圧縮処理として採用する。
【0093】
即ち、例えば、いま、下位階層における2×2画素(横×縦)の4画素の平均値を、上位階層の画素(画素値)とし、3階層の階層符号化を行うものとする。この場合、最下位階層の画像として、例えば、図6(A)に示すように、8×8画素を考えると、その左上の2×2画素の4画素h00,h01,h02,h03の平均値m0が演算され、これが、第2階層の左上の1画素とされる。同様にして、最下位階層の画像の右上の4画素h10,h11,h12,h13の平均値m1、左下の4画素h20,h21,h22,h23の平均値m2、右下の4画素h30,h31,h32,h33の平均値m3が演算され、それぞれが、第2階層の右上、左下、右下の1画素とされる。さらに、第2階層の2×2画素の4画素m0,m1,m2,m3の平均値qが演算され、これが、第3階層、即ち、ここでは、最上位階層の画像の画素とされる。
【0094】
以上の画素h00乃至h03,h10乃至h13,h20乃至h23,h30乃至h33,m0乃至m3,qを、そのまま全部記憶などさせたのでは、上述のように、画素m0乃至m3,qの分だけ余分に記憶容量等が必要となる。
【0095】
そこで、図6(B)に示すように、第3階層の画素qを、第2階層の画素m0乃至m3のうちの、例えば、右下の画素m3の位置に配置する。これにより、第2階層は、画素m0乃至m2およびqで構成されることになる。
【0096】
そして、図6(C)に示すように、第2階層の画素m0を、それを求めるのに用いた第3階層の画素h00乃至h03のうちの、例えば、右下の画素h03の位置に配置する。第2階層の残りの画素m1,m2,qも、同様に、第1階層の画素h13,h23,h33に代えて配置する。なお、画素qは、画素h30乃至h33から直接求められたものではないが、それらから直接求められたm3に代えて第2階層に配置されているものであるから、画素h33の位置に画素m3を配置する代わりに、画素qを配置する。
【0097】
以上のようにすることで、図6(C)に示すように、全画素数は4×4の16画素となり、図6(A)に示した最下位階層の画素だけの場合と変わらない。従って、この場合、記憶容量等の増加を防止することができる。
【0098】
なお、画素qと代えられた画素m3、画素m0乃至m3とそれぞれ代えられた画素h03,h13,h23,h33の復号は、次のようにして行うことができる。
【0099】
即ち、qは、m0乃至m3の平均値であるから、式q=(m0+m1+m2+m3)/4が成り立つ。従って、式m3=4×q−(m0+m1+m2)により、m3を求めることができる。
【0100】
また、m0は、h00乃至h03の平均値であるから、式m0=(h00+h01+h02+h03)/4が成り立つ。従って、式h03=4×m0−(h00+h01+h02)により、h03を求めることができる。同様にして、h13,h23,h33も求めることができる。
【0101】
図7は、以上のような階層符号化処理を行う階層符号化回路の構成例を示している。この階層符号化回路では、例えば、上述したような3階層の階層符号化か行われるようになされている。
【0102】
即ち、第1階層(最下位階層)の画像データ(ここでは、上述したように、プログレッシブな画像)は、平均値算出回路41および画素抜き出し回路43に供給される。
【0103】
そして、平均値算出回路41では、第1階層の画像について、例えば、上述したような2×2画素の合計4画素の平均値が計算され、これにより、第2階層の画像が形成される。この第2階層の画像は、平均値算出回路42および画素抜き出し回路44に供給される。
【0104】
平均値算出回路42では、第2階層の画像について、例えば、上述したような2×2画素の合計4画素単位の平均値が計算され、これにより、第3階層の画像が形成される。この第3階層の画像は、画素挿入回路45に供給される。
【0105】
画素抜き出し回路43では、第1階層の画像から、図6で説明した画素h03,h13,h23の位置に対応する画素が抜き出され、残りが、画素挿入回路45に供給される。画素抜き出し回路44では、第2階層の画像から、図6で説明した画素m3の位置に対応する画素が抜き出され、残りが、画素挿入回路45に供給される。
【0106】
画素挿入回路45では、画素抜き出し回路43からの第1階層の画像の画素h03,h13,h23に対応する位置に、画素抜き出し回路44からの第2階層の画像の画素(例えば、画素m0乃至m2など)が挿入され、さらに、第1階層の画像の画素h33に対応する位置に、平均値算出回路42からの第3階層の画素(例えば、画素qなど)が挿入される。以上のようにして、図6(C)で説明したような画像データが構成され、これが、階層符号化結果として出力される。
【0107】
通常の階層符号化によれば、上述のように、上位階層の画像データの分だけ、記憶容量や伝送容量が余計に必要となるが、図6および図7で説明した階層符号化(以下、適宜、改良型階層符号化という)によれば、その結果得られるデータ量は、最下位階層の画像と変わらない。この意味で、改良型階層符号化は、情報圧縮処理であるということができる。
【0108】
ここで、階層符号化を行った場合に、下位階層の画像は、上位階層の画像を用いて、例えば補間などを行うことにより得ることができる(但し、得られる画像は、下位階層の画像と同一の画像ではなく、画質の劣化したものとなる)。従って、最悪の場合であっても、最上位階層の画像を復元できれば、すべての階層の画像を得ることができるから、誤り訂正のための、例えば、ECCの付加などは、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもなく、この場合、チャネル符号化処理に対する負荷を軽減することができる。この意味で、階層符号化処理は、チャネル符号化処理を考慮したものということができる。
【0109】
なお、上述の場合においては、空間方向の画素数を少なくして、上位階層の画像を形成するようにしたが、上位階層の画像は、その他、例えば、時間方向の画素数を少なくして形成することも可能である。
【0110】
次に、統合符号化装置6における編集処理の1つである、ISDBを実現するための情報の付加について説明する。
【0111】
図8は、統合符号化装置6の、ISDBを実現するための部分であるISDB用送信装置の構成例を示している。
【0112】
符号化部51には、例えば、SD画像とそれに付随する音声とが入力され、そこでは、例えば、上述したADRC処理などの圧縮処理が施され、多重化部57に出力される。また、符号化部51は、その圧縮処理のタイミングを表す同期信号をタイムコード発生部52に出力する。タイムコード発生部52は、符号化部51の出力に付加する付加情報として、例えば、タイムコードなどを、符号化部51からの同期信号に同期して発生し、多重化部57に出力する。
【0113】
符号化部53またはタイムコード発生部54においても、処理の対象が、SD画像ではなく、HD画像であることを除けば、符号化部51またはタイムコード発生部52における場合とそれぞれ同様の処理が行われる。そして、符号化部53における圧縮処理の結果得られる符号化データ、およびタイムコード発生部54が出力するタイムコードは、いずれも、多重化部57に供給される。
【0114】
符号化部55には、例えば、コンピュータのプログラムや、そのプログラムの実行に必要なデータ、ファクシミリのデータ、さらには、地域情報などのマルチメディアを実現するためのデータが入力され、そこでは、それらのデータが圧縮され、符号化データとして、多重化部57に出力される。また、符号化部55は、その圧縮処理のタイミングを表す同期信号を付加情報発生部56に出力する。付加情報発生部56は、符号化部55で圧縮されているデータの種類などを表す付加情報を、符号化部55からの同期信号に同期して発生し、多重化部57に出力する。
【0115】
ここで、符号化部55に入力される地域情報とは、各地域に特有の情報であり、例えば、各地域の天気予報や、地図、施設に関する情報(例えば、飲食店のサービス内容や、営業時間など)、企業の宣伝広告などが含まれている。また、このような地域情報については、付加情報発生部56は、各地域情報の該当する地域を表す地域コードを、付加情報として発生する。
【0116】
多重化部57では、符号化部51、タイムコード発生部52、符号化部53、タイムコード発生部54、符号化部55、および付加情報発生部56の出力が多重化されて出力される。
【0117】
次に、図9は、統合符号化装置6において、圧縮処理として、ADRC処理が行われる場合の、適応復号化装置7(図1)の構成例を示している。即ち、図9は、適応復号化装置7の、ADRC処理結果を復号するADRC復号処理を行う部分であるADRC復号回路の構成例を示している。
【0118】
デマルチプレクサ101には、伝送路13(図1)を介して伝送されてくる伝送データとしての、ADRC処理結果が配置されたビットストリームが入力され、そこでは、伝送データから、最小値MIN、ダイナミックレンジDR,ADRCコードが分離される。なお、ADRCコードの分離は、デマルチプレクサ101において、伝送データから閾値コードが分離され、その閾値コードに基づいて、ADRCコードに対しての割当ビット数(上述のK)が認識されることで行われる。
【0119】
そして、最小値MINは、演算器103に、ダイナミックレンジDRおよびADRCコードは、逆量子化回路102に、それぞれ供給される。逆量子化回路102では、ADRCコードが、ダイナミックレンジDRに対応する量子化ステップで逆量子化され、その結果得られる逆量子化値が演算器103に供給される。演算器103では、逆量子化回路102からの逆量子化値と、最小値MINとが加算され、これにより、画素が復号される。
【0120】
そして、1ブロック分の画素が得られると、演算器103は、その1ブロック分の画素を、フレーム構成回路104に供給する。フレーム構成回路104は、ブロック単位で供給される画素を順次記憶し、1フレーム分の画素を記憶するごとに出力する。
【0121】
なお、ADRCコードが、上述したように、MSBと残りビットとに分離されている場合には、デマルチプレクサ101は、そのMSBと残りビットとを合わせて、元のADRCコードを復元する処理も行うようになされている。また、ADRCコードが、MSBと残りビットとに分離されている場合において、残りビットにエラーが生じているときには、デマルチプレクサ101は、MSBをADRCコードとして逆量子化回路102に出力するようになされている。
【0122】
ところで、ADRC復号処理においては、上述したように、残りビットがエラーになっても、MSBと、最小値MINおよびダイナミックレンジDRとがあれば、ある程度、再現性の良い復号画像(元の画像に近い復号画像)を得ることができる。しかしながら、最小値MINやダイナミックレンジDRがエラーになると、そのブロックを復号することが困難となる。
【0123】
そこで、図10は、最小値MINやダイナミックレンジDRがエラーになっても、比較的精度良く、ブロックを復号することができるADRC復号回路の構成例を示している。なお、図中、図9における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このADRC復号回路は、セレクタ105および106、メモリ107、および復元回路108が新たに設けられている他は、基本的に、図9における場合と同様に構成されている。
【0124】
セレクタ105には、デマルチプレクサ101が出力するダイナミックレンジDRと、復元回路108が出力するダイナミックレンジの予測値DR’とが供給されるようになされている。セレクタ106には、デマルチプレクサ101が出力する最小値MINと、復元回路108が出力する最小値の予測値MIN’とが供給されるようになされている。また、ここでは、デマルチプレクサ101は、伝送データに含まれる最小値MIN、ダイナミックレンジDRにエラーが生じているかどうかを検出するようになされており、エラーが生じている場合、エラー信号を、セレクタ105および106に出力するようになされている。
【0125】
セレクタ105は、エラー信号を受信していないとき、即ち、最小値MIN、ダイナミックレンジDRにエラーが生じていないとき、デマルチプレクサ101が出力するダイナミックレンジDRを選択し、逆量子化回路102に出力する。同様に、セレクタ106も、エラー信号を受信していないときは、デマルチプレクサ101が出力する最小値MINを選択し、演算器103に出力する。
【0126】
従って、この場合、図9における場合と同様にして、ADRC復号処理が行われる。
【0127】
一方、演算器103が出力する画素の復号値は、フレーム構成回路104だけでなく、メモリ107にも供給されるようになされている。メモリ107では、演算器103からの画素の復号値が、対応するアドレスに記憶される。
【0128】
そして、復元回路108において、いまADRC復号処理の対象となっているブロックの周辺にある画素の復号値が、例えば、ブロックを構成する画素数と同一の数だけ、即ち、本実施の形態では、上述したように16だけ、メモリ107から読み出される。さらに、復元回路108は、その16画素の最小値と、ダイナミックレンジ(最大値と最小値との差)を検出し、それぞれを、いまADRC復号処理の対象となっているブロックの最小値の予測値MIN’と、ダイナミックレンジの予測値DR’として、セレクタ106と105に、それぞれ出力する。
【0129】
セレクタ105または106は、デマルチプレクサ101からエラー信号を受信したとき、即ち、最小値MIN、ダイナミックレンジDRにエラーが生じているとき、復元回路108からのダイナミックレンジの予測値DR’または最小値の予測値MIN’を選択し、逆量子化回路102または演算器103にそれぞれ出力する。
【0130】
従って、この場合、逆量子化回路102では、ダイナミックレンジの予測値DR’を用いて逆量子化が行われ、また、演算器103では、最小値の予測値MIN’を用いて画素が復号される。
【0131】
あるブロックに注目した場合に、その注目ブロックを構成する画素と、その注目ブロックの周辺にある画素との間には、通常、大きな相関があり、従って、そのような相関のある画素によれば、注目ブロックのダイナミックレンジおよび最小値を、比較的精度良く予測することができる。その結果、そのような予測値を用いることで、真の最小値MINおよびダイナミックレンジDRを用いた場合とほぼ同様の復号画像を得ることが可能となる。
【0132】
なお、以上のようなADRC復号処理については、例えば、本件出願人が先に出願した特開昭63−257390号公報などに、その詳細が開示されている。
【0133】
ここで、ADRC処理を行った場合、上述のように、最小値MINや、ダイナミックレンジDRにエラーが生じても、ある程度の復号画像を得ることができる。さらに、ADRC処理に加えて、シンクブロックブロック処理を行うことで、上述したように、残りビットのエラーにも対処することが可能となる。また、階層符号化を行う場合においても、誤り訂正のための処理は、上述したように、少なくとも、最上位階層の画像を対象に行えば充分で、すべての階層の画像を対象に行う必要は必ずしもない。
【0134】
従って、ADRC処理や、シンクブロックブロック処理、階層符号化処理は、エラーに対する耐性の強い、いわばロバストな処理ということができる。いま、このようなエラーに対する耐性の強いロバストな処理を、ロバスト符号化というものとすると、統合符号化装置6において行われる処理は、そのようなロバスト符号化と、編集処理などとを統合した統合符号化処理ということができる。
【0135】
なお、ロバスト符号化のうち、例えば、ADRC処理では、それを行うことにより、情報量が削減されるとともに、エラーに対する耐性も向上することから、画像の圧縮処理と、誤り訂正のための処理とが、いわば有機的に結合して行われているということができる。
【0136】
次に、図11は、適応復号化装置7の、ISDBを実現するための部分であるISDB用受信装置の構成例を示している。
【0137】
信号分離部111には、伝送路13を介して伝送されてくる伝送データが入力され、そこでは、伝送データから、例えば、画像(SD画像や、HD画像)、およびそれに付随する音声)を符号化した符号化データが抽出される。信号分離部11において得られた符号化データは、復号部112にそれぞれ出力される。
【0138】
復号部112では、信号分離部111からの符号化データが復号される。即ち、例えば、画像の符号化データについては、ADRC復号処理などが行われる。復号部112における復号処理の結果得られる画像およびそれに付随する音声は、セレクタ113を介して出力される。画像は、例えば、表示装置9,10、またはコンピュータディスプレイ12に供給されて表示され、あるいは、画素アスペクト比変換器8を介してプリンタ11に供給されて印刷される。また、音声は、図示せぬスピーカに供給されて出力される。
【0139】
また、信号分離部111では、伝送データから、例えば、地域情報と、その地域情報に対応する付加情報としての地域コードとが抽出され、復号部114に供給される。復号部114では、地域コードに対応して、地域情報の復号が行われる。
【0140】
即ち、受信した地域情報が、ユーザが所望する地域の情報であるとは限らないため、復号部114では、あらかじめ入力された地域に対応する地域コードとともに入力された地域情報だけの復号が行われる。
【0141】
地域の入力は、例えば、制御部123を操作することにより行うことができるようになされており、その入力された地域は、ORゲート122を介して、復号部114に供給される。
【0142】
また、地域の入力は、例えば、GPS(Global Positioning System)システム(システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かを問わない)を利用して行うことなども可能である。即ち、GPS衛星からの電波が、アンテナ118で受信され、その受信信号が、GPS受信部119に供給される。GPS受信部119は、アンテナ118からの受信信号から、図11のISDB用受信装置が設置されている位置を計算し、その計算結果としての位置情報(例えば、緯度と経度など)を、地域判別部120に供給する。地域判別部120は、GPS受信部119からの位置情報から地域を判別し、その地域に割り当てられているコードをメモリ121に出力して記憶させる。メモリ121に記憶されたコードは、ORゲート122を介して、復号部114に供給され、復号部114では、そのコードに一致する地域コードとともに入力された地域情報だけが復号される。
【0143】
復号部114で復号された地域情報は、メモリ115に供給されて記憶される。従って、メモリ115には、例えば、ユーザが住んでいる地域の地域情報などだけが蓄積されていく。
【0144】
メモリ115に記憶された地域情報を視聴する場合、ユーザは、そのように制御部123を操作する。メモリ115からは、制御部123の操作に対応して、地域情報が読み出され、セレクタ116に供給される。セレクタ116では、メモリ115からの地域情報のうちのいずれか、または全部が選択され、セレクタ113を介して出力される。これにより、地域情報は、上述の画像と同様に、表示装置9に表示等される。
【0145】
なお、同一地域の地域情報であっても、その中には、ユーザが必要とするものとそうでないものとがある場合がある。セレクタ116では、ユーザが必要とする地域情報のみが、制御部123の操作に対応して選択されるようになされている。
【0146】
また、セレクタ113では、制御部123の操作に対応して、復号部112の出力か、またはセレクタ116の出力のうちのいずれか一方が選択されて出力されるようになされている。
【0147】
さらに、図8のISDB用送信装置においては、画像およびそれに付随する音声の付加情報として、タイムコードを多重化するようにしたが、画像およびそれに付随する音声の付加情報としては、その他、例えば、その画像および音声で構成される番組を識別するための識別コードなどを多重化することが可能である。この場合、所望の番組の識別コードをあらかじめ入力しておくことによって、その識別コードに対応する番組を選択することが可能となる。従って、例えば、所望の番組が送信されてきたときのみ、その番組を選択して出力するようにすることなどが可能となる。
【0148】
なお、以上のようなISDB用送信装置やISDB用受信装置については、例えば、本件出願人が先に出願した特願平7−207158号や特願平7−243453号などに、その詳細が開示されている。
【0149】
次に、適応復号化装置7は、復号画像の解像度が、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12のうちの、その復号画像を出力させようとしている出力装置の解像度より低い場合、その解像度の低い復号画像と、所定の係数との線形結合により、出力装置の解像度に対応した復号画像を生成する解像度創造処理を行うようになされている。
【0150】
なお、復号画像の画素数が、出力装置の画素数より少ない場合においては、例えば、補間フィルタなどによる補間を行うことにより、復号画像の画素数を、出力装置の画素数に一致させる方法があるが、このような、いわば単純な補間では、元の復号画像に含まれていない高周波成分は再現されないから、解像度は向上しない。これに対して、解像度創造処理では、後述するように、そのような高周波成分を再現することができる。
【0151】
また、復号画像の画素数が、出力装置の画素数より多い場合には、例えば、間引きを行ったり、階層符号化における場合のように、幾つかの画素の平均値などを、その幾つかの画素に換えて配置したりすることにより、復号画像の画素数が、出力装置の画素数に一致するように少なくされる。
【0152】
図12は、適応復号化装置7の、解像度創造処理を行う部分である解像度創造回路の構成例を示している。
【0153】
なお、ここでも、階層符号化における場合と同様に、解像度の高い(画素数の多い)画像を下位階層の画像とし、解像度の低い(画素数の少ない)画像を上位階層の画像とする。
【0154】
例えば、図13において・印で示す部分を、下位階層の画像を構成する画素(以下、適宜、下位画素という)とするとともに、同図において○印で示す部分を、上位階層の画像を構成する画素(以下、適宜、上位画素という)とするとき、解像度創造回路は、同図に○印で示す画素で構成される上位階層の画像を、同図に・印で示す画素で構成される下位階層の画像に変換するようになされている。
【0155】
即ち、上位階層の画像は、クラス分類用ブロック化回路131および予測値計算用ブロック化回路133に供給される。
【0156】
クラス分類用ブロック化回路131は、そこに供給される上位階層の画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路131は、例えば、図13において実線で囲んで示すような、注目画素を中心とする5×5(横×縦)の上位画素で構成されるクラス分類用ブロックを構成する。
【0157】
ここで、クラス分類用ブロックを構成する5×5の上位画素(図13において○印で示す部分)を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からi番目の、上からj番目に位置する上位画素を、Bijと表記する。従って、図13の実施の形態において、クラス分類用ブロックは、上位画素B33を注目画素として構成されることになる。また、クラス分類用ブロックを構成する上位画素から生成(予測)される下位画素(図13において・印で示す部分)を、以下、適宜、上位画素と同様に、Aijと表記する。
【0158】
クラス分類用ブロック化回路131は、クラス分類用ブロックを構成すると、それを、クラス分類回路132に出力する。クラス分類回路132は、クラス分類用ブロックを、その性質に応じて所定のクラスに分類するクラス分類を行い、その結果得られるクラスを、予測回路134に供給する。
【0159】
予測回路134には、さらに、予測値計算用ブロック化回路133から予測値計算用ブロックが供給される。予測値計算用ブロック化回路133では、例えば、図13において点線の四角形で囲むような、注目画素B33を中心とする3×3画素の予測値計算用ブロックが構成され、予測回路134に供給される。
【0160】
ここで、予測値計算用ブロックおよびクラス分類用ブロックの構成方法は、上述したものに限定されるものではない。なお、予測値計算用ブロックは、基本的に、どのように構成しても良いが、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成するのが好ましい。
【0161】
予測回路134は、注目画素についての予測値計算用ブロックとクラスを受信すると、後述するような予測係数であって、受信したクラスに対応するものと、予測値計算用ブロックを構成する上位画素の画素値との線形結合により、下位画素の画素値の予測値を求める適応処理を行う。即ち、予測回路134は、クラスに対応する予測係数と、予測値計算用ブロックを構成する上位画素B22,B23,B24,B32,B33,B34,B42,B43,B44とから、例えば、注目画素B33を中心とする3×3の範囲の下位画素A43,A44,A45,A53,A54,A55,A63,A64,A65の予測値を求める。
【0162】
予測回路134では、以下同様の処理が、画素B33以外の上位画素を、順次、注目画素として行われ、これにより、下位階層の画像を構成するすべての下位画素の予測値が求められる。
【0163】
ここで、予測回路134には、解像度設定回路135から解像度信号が供給されるようになされている。解像度設定回路135は、適応復号化装置7が画像を出力させる出力装置(図1の実施の形態では、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12)と、例えば通信を行うことにより、その解像度を認識し、認識した解像度を表す解像度信号を予測回路134に供給するようになされている。
【0164】
そして、予測回路134では、各種の解像度の画像についての予測係数が記憶されており、解像度設定回路135からの解像度信号に対応した解像度についての予測係数を用いて、下位階層の画像が求められるようになされている。
【0165】
なお、解像度設定回路135には、出力装置と通信させる他、例えば、図示せぬ操作部を操作することなどにより、解像度を入力することが可能である。
【0166】
次に、クラス分類回路132で行われるクラス分類処理と、予測回路134で行われる適応処理とについて説明する。
【0167】
まず、クラス分類処理について説明する。
【0168】
いま、例えば、図14(A)に示すように、ある注目画素と、それに隣接する3つの画素により、2×2画素でなるブロック(クラス分類用ブロック)を構成し、また、各画素は、1ビットで表現される(0または1のうちのいずれかのレベルをとる)ものとする。この場合、2×2の4画素のブロックは、各画素のレベル分布により、図14(B)に示すように、16(=(214)パターンに分類することができる。このようなパターン分けが、クラス分類処理である。
【0169】
なお、クラス分類処理は、画像(ブロック内の画像)のアクティビティ(画像の複雑さ)(変化の激しさ)などをも考慮して行うようにすることが可能である。
【0170】
ここで、通常、各画素には、例えば8ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、5×5の25画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、(2825という膨大な数のクラスに分類されることになる。
【0171】
そこで、クラス分類回路132には、クラス分類処理に先だって、クラス分類用ブロックに対して、ADRC処理を施させるようにすることができる。ADRC処理によれば、クラス分類用ブロックを構成する画素のビット数を小さくすることができ、その結果、クラス数を削減することができる。
【0172】
次に、適応処理について説明する。
【0173】
例えば、いま、下位画素の画素値yの予測値E[y]を、幾つかの上位画素の画素値(以下、適宜、学習データという)x1,x2,・・・と、所定の予測係数w1,w2,・・・との線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0174】
【0175】
そこで、一般化するために、予測係数wの集合でなる行列W、学習データの集合でなる行列X、および予測値E[y]の集合でなる行列Y’を、
【数1】
で定義すると、次のような観測方程式が成立する。
【0176】
【0177】
そして、この観測方程式に最小自乗法を適用して、下位画素の画素値yに近い予測値E[y]を求めることを考える。この場合、下位画素の画素値(以下、適宜、教師データという)yの集合でなる行列Y、および下位画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【数2】
で定義すると、式(2)から、次のような残差方程式が成立する。
【0178】
【0179】
この場合、下位画素の画素値yに近い予測値E[y]を求めるための予測係数wiは、自乗誤差
【数3】
を最小にすることで求めることができる。
【0180】
従って、上述の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次式を満たす予測係数wiが、下位画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0181】
【数4】
・・・(4)
【0182】
そこで、まず、式(3)を、予測係数wiで微分することにより、次式が成立する。
【0183】
【数5】
・・・(5)
【0184】
式(4)および(5)より、式(6)が得られる。
【0185】
【数6】
・・・(6)
【0186】
さらに、式(3)の残差方程式における学習データx、予測係数w、教師データy、および残差eの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
【0187】
【数7】
・・・(7)
【0188】
式(7)の正規方程式は、求めるべき予測係数wの数と同じ数だけたてることができ、従って、式(7)を解くことで(但し、式(7)を解くには、式(7)において、予測係数wにかかる係数で構成される行列が正則である必要がある)、最適な予測係数wを求めることができる。なお、式(7)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを適用することが可能である。
【0189】
以上のようにして、クラスごとに、最適な予測係数wを求めておき、さらに、その予測係数wを用い、式(1)により、下位画素の画素値yに近い予測値E[y]を求めるのが適応処理であり、この適応処理が、予測回路134において行われるようになされている。
【0190】
即ち、例えば、いま、図13において、実線で囲んだ5×5画素で構成されるクラス分類用ブロックのクラス分類の結果得られるクラスについて、上述の学習を行うことにより、予測値計算用ブロック内における下位画素A43,A44,A45,A53,A54,A55,A63,A64,A65それぞれの予測値E[A43],E[A44],E[A45],E[A53],E[A54],E[A55],E[A63],E[A64],E[A65]を求めるための予測係数として、w1(A43)乃至w9(A43),w1(A44)乃至w9(A44),w1(A45)乃至w9(A45),w1(A53)乃至w9(A53),w1(A54)乃至w9(A54),w1(A55)乃至w9(A55),w1(A63)乃至9(A63),w1(A64)乃至w9(A64),w1(A65)乃至w9(A65)が、それぞれ得られたとする。この場合、予測回路134では、式(1)に対応する次式にしたがって、予測値計算用ブロック内におけるHD画素A43,A44,A45,A53,A54,A55,A63,A64,A65それぞれの予測値E[A43],E[A44],E[A45],E[A53],E[A54],E[A55],E[A63],E[A64],E[A65]が求められる。
【0191】
E[A43]=w1(A43)B22+w2(A43)B23+w3(A43)B24
+w4(A43)B32+w5(A43)B33+w6(A43)B34
+w7(A43)B42+w8(A43)B43+w9(A43)B44
E[A44]=w1(A44)B22+w2(A44)B23+w3(A44)B24
+w4(A44)B32+w5(A44)B33+w6(A44)B34
+w7(A44)B42+w8(A44)B43+w9(A44)B44
E[A45]=w1(A45)B22+w2(A45)B23+w3(A45)B24
+w4(A45)B32+w5(A45)B33+w6(A45)B34
+w7(A45)B42+w8(A45)B43+w9(A45)B44
E[A53]=w1(A53)B22+w2(A53)B23+w3(A53)B24
+w4(A53)B32+w5(A53)B33+w6(A53)B34
+w7(A53)B42+w8(A53)B43+w9(A53)B44
E[A54]=w1(A54)B22+w2(A54)B23+w3(A54)B24
+w4(A54)B32+w5(A54)B33+w6(A54)B34
+w7(A54)B42+w8(A54)B43+w9(A54)B44
E[A55]=w1(A55)B22+w2(A55)B23+w3(A55)B24
+w4(A55)B32+w5(A55)B33+w6(A55)B34
+w7(A55)B42+w8(A55)B43+w9(A55)B44
E[A63]=w1(A63)B22+w2(A63)B23+w3(A63)B24
+w4(A63)B32+w5(A63)B33+w6(A63)B34
+w7(A63)B42+w8(A63)B43+w9(A63)B44
E[A64]=w1(A64)B22+w2(A64)B23+w3(A64)B24
+w4(A64)B32+w5(A64)B33+w6(A64)B34
+w7(A64)B42+w8(A64)B43+w9(A64)B44
E[A65]=w1(A65)B22+w2(A65)B23+w3(A65)B24
+w4(A65)B32+w5(A65)B33+w6(A65)B34
+w7(A65)B42+w8(A65)B43+w9(A65)B44
・・・(8)
【0192】
なお、適応処理は、上位階層の画像には含まれていない、下位階層の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式(1)や(8)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いての、いわば学習により求められるため、下位階層の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば解像度の創造作用がある処理ということができる。
【0193】
ここで、適応処理については、例えば、本件出願人が先に出願した特開平5−328185号公報などに、その詳細が開示されている。
【0194】
次に、図15は、図12の予測回路134の構成例を示している。
【0195】
スイッチ141には、クラス分類回路132からのクラスが供給されるようになされており、スイッチ141は、解像度設定回路135からの解像度信号に対応して、端子a1乃至a4のうちのいずれかを選択するようになされている。そして、スイッチ141の端子a1乃至a4は、ROM(Read Only Memory)143乃至146のアドレス端子(AD)にそれぞれ接続されている。従って、クラス分類回路132からのクラスは、スイッチ141を介して、ROM143乃至146のうちのいずれかに、アドレスとして供給されるようになされている。
【0196】
スイッチ142は、スイッチ141と同様に、解像度設定回路135からの解像度信号に対応して、端子b1乃至b4のうちのいずれかを選択するようになされている。端子b1乃至b4は、ROM143乃至146のデータ端子(D)とそれぞれ接続されている。なお、スイッチ142は、スイッチ141と連動するようになされており、例えば、スイッチ141が端子a1乃至a4を選択したとき、スイッチ142は、端子b1乃至b4をそれぞれ選択するようになされている。
【0197】
ROM143乃至146には、上述したような学習により求められたクラスごとの予測係数が、そのクラスに対応するアドレスに記憶されている。即ち、ROM143乃至146には、例えば、上述したような階層符号化が行われた場合に、最上位階層の画像などを、表示装置9,10、プリンタ11、またはコンピュータディスプレイ12の解像度に対応した下位階層の画像に変換するための予測係数が、それぞれ記憶されている。
【0198】
演算回路147には、予測値計算用ブロック化回路133から予測値計算用ブロックが、ROM143乃至146のうちのいずれかからスイッチ142を介して、予測係数が、それぞれ供給されるようになされており、演算回路147は、予測値計算用ブロックと予測係数とを用いて、式(1)または(8)に対応する積和演算を行うことにより、出力装置の解像度に対応した下位階層の画像を求めるようになされている。
【0199】
以上のように構成される予測回路134では、解像度設定回路135からの解像度信号に対応して、スイッチ141において、端子a1乃至a4のうちのいずれかが選択され、スイッチ142においても、それに連動して、端子b1乃至b4のうちのいずれかが選択される。
【0200】
そして、クラス分類回路132からのクラスが、ROM143乃至146のうちの、スイッチ141が選択している端子(端子a1乃至a4のうちのいずれか)に接続されているもの(以下、適宜、選択ROMという)のアドレス端子に供給される。選択ROMでは、そのアドレス端子に供給されたクラスに対応するアドレスに記憶されている予測係数が読み出され、そのデータ端子から出力される。
【0201】
上述したように、スイッチ142は、スイッチ141と連動しているから、選択ROMから読み出された予測係数は、スイッチ142を介して、演算回路147に供給される。
【0202】
演算回路147には、予測係数の他、上述したように、予測値計算用ブロック化回路133から予測値計算用ブロックが供給されるようになされており、演算回路147では、そこに供給される予測値計算用ブロックおよび予測係数を用いて、式(1)または(8)に対応する積和演算が行われ、これにより、出力装置の解像度に対応した下位階層の画像が生成されて出力される。
【0203】
従って、ユーザは、出力装置に対応する画像を視聴することができる。
【0204】
なお、上述の場合においては、予測係数を適応復号化装置7に記憶させておくようにしたが、予測係数は、復号に必要な情報として、送信側から伝送するようにすることも可能である。また、クラス分類用ブロックや、予測値計算用ブロックなどの構成方法も、送信側から指示するようにすることが可能である。
【0205】
【発明の効果】
請求項1に記載の画像符号化装置および請求項に記載の画像符号化方法によれば、異なる複数の画像 ADRC処理の圧縮処理が行われ、圧縮処理のタイミングを表す同期信号であるタイムコードが発生され、付加的な情報であって、符号化データの種類を表す情報を含む付加情報が発生され、符号化データ、タイムコード及び付加情報が多重化される。従って、効率的な処理が可能となる。
【0206】
請求項に記載の画像復号化装置および請求項に記載の画像復号化方法によれば、伝送データから符号化データ、符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び符号化データの種類を表す情報を含む付加情報が分離され、付加情報に基づいて符号化データが復号化されて復号画像が出力され、復号画像の画素数が復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像が解像度創造処理により生成される。従って、各種の解像度の出力装置に対処することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像伝送装置の一実施の形態の構成例を示すブロック図である。
【図2】ADRC処理を説明するための図である。
【図3】ADRC処理回路の構成例を示すブロック図である。
【図4】シンクブロック構成回路の構成例を示すブロック図である。
【図5】シンクブロックのフォーマットを示す図である。
【図6】階層符号化を説明するための図である。
【図7】階層符号化回路の構成例を示すブロック図である。
【図8】ISDB用送信装置の構成例を示すブロック図である。
【図9】ADRC復号回路の構成例を示すブロック図である。
【図10】ADRC復号回路の他の構成例を示すブロック図である。
【図11】ISDB用受信装置の構成例を示すブロック図である。
【図12】解像度創造回路の構成例を示すブロック図である。
【図13】クラス分類用ブロックと予測値計算用ブロックとを示す図である。
【図14】クラス分類処理を説明するための図である。
【図15】図12の予測回路134の構成例を示すブロック図である。
【図16】送信側から受信側に画像を伝送する画像伝送装置の構成例を示すブロック図である。
【符号の説明】
1,2 ビデオカメラ, 3 プログレッシブイメージャ, 4 計算機, 5 ネットワーク, 6 統合符号化装置, 7 適応復号化装置, 8 画素アスペクト比変換器, 9,10 表示装置, 11 プリンタ, 12 コンピュータディスプレイ, 13 伝送路, 21 ブロック化回路, 22 最小値検出回路, 23 最大値検出回路, 24,25 演算器, 26 量子化回路, 31 分離器, 32 マルチプレクサ, 41,42 平均値算出回路, 43,44 画素抜き出し回路, 45 画素挿入回路, 51 符号化部, 52 タイムコード発生部, 53 符号化部, 54 タイムコード発生部, 55 符号化部, 56 付加情報発生部, 57 多重化部, 101 デマルチプレクサ, 102 逆量子化回路, 103 演算器, 104 フレーム構成回路, 105,106 セレクタ, 107 メモリ, 108 復元回路, 111 信号分離部, 112 復号部, 113 セレクタ, 114 復号部, 115 メモリ, 116 セレクタ, 118 アンテナ, 119 GPS受信部, 120 地域判別部, 121 メモリ,122 ORゲート, 123 制御部, 131 クラス分類用ブロック化回路, 132 クラス分類回路, 133 予測値計算用ブロック化回路, 134 予測回路, 135 解像度設定回路, 141,142 スイッチ,143乃至146 ROM, 147 演算回路

Claims (4)

  1. 異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化する画像符号化装置であって、
    前記異なる複数の画像 ADRC処理の圧縮処理を行なって符号化データを出力する符号化手段と、
    前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生するタイムコード発生手段と、
    付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生する付加情報発生手段と、
    前記符号化手段の出力である符号化データ、前記タイムコード発生手段の出力であるタイムコード及び前記付加情報発生手段の出力である付加情報を多重化する多重化手段と
    を備えることを特徴とする画像符号化装置。
  2. 異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化する画像符号化方法であって、
    前記異なる複数の画像 ADRC処理の圧縮処理を行なって符号化データを出力し、
    前記圧縮処理のタイミングを表す同期信号であるタイムコードを発生し、
    付加的な情報であって、前記符号化データの種類を表す情報を含む付加情報を発生し、
    前記出力された符号化データ、前記発生されたタイムコード及び前記発生された付加情報を多重化する
    ことを特徴とする画像符号化方法。
  3. 異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化する画像復号化装置であって、
    伝送データから符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離する分離手段と、
    前記付加情報に基づいて前記符号化データを復号化して復号画像を出力する復号化手段と、
    前記復号画像の画素数が前記復号画像を出力する出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する解像度創造処理手段と
    を備えることを特徴とする画像復号化装置。
  4. 異なるビデオカメラからの出力である解像度、フレームレート又は画素の横と縦の比が異なる複数の画像を符号化した伝送データを受け取って復号化する画像復号化方法であって、
    伝送データから符号化データ、前記符号化データが符号化されたときの圧縮処理のタイミングを表す同期信号であるタイムコード及び前記符号化データの種類を表す情報を含む付加情報を分離し、
    前記付加情報に基づいて前記符号化データを復号化して復号画像を出力し、
    前記復号画像の画素数が出力装置の画素数より少ない場合は、出力装置の解像度に対応した復号画像を解像度創造処理により生成する
    ことを特徴とする画像復号化方法。
JP18614497A 1997-07-11 1997-07-11 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 Expired - Fee Related JP4240554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18614497A JP4240554B2 (ja) 1997-07-11 1997-07-11 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP18614497A JP4240554B2 (ja) 1997-07-11 1997-07-11 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
KR19997002046A KR100574184B1 (ko) 1997-07-11 1998-07-10 비디오 인코더, 비디오 디코더, 비디오 처리기 및 그 방법
PCT/JP1998/003116 WO1999003283A1 (fr) 1997-07-11 1998-07-10 Dispositif et procede de codage, de decodage et de traitement d'image
CN 98800948 CN1178509C (zh) 1997-07-11 1998-07-10 图像编码器、图像解码器、和图像处理器及其方法
EP20030075213 EP1313326A3 (en) 1997-07-11 1998-07-10 Video encoder, video decoder, video processor and methods thereof
US09254536 US6480630B1 (en) 1997-07-11 1998-07-10 Encoding and decoding different resolution video signals for display on plural units
EP19980931058 EP0926898A4 (en) 1997-07-11 1998-07-10 Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method
US10160418 US6636640B2 (en) 1997-07-11 2002-05-31 Integrative encoding system and adaptive decoding system
US10602232 US6990244B2 (en) 1997-07-11 2003-06-24 Integrative encoding system and adaptive decoding system
US10602231 US7072491B2 (en) 1997-07-11 2003-06-24 Integrative encoding system and adaptive decoding system

Publications (2)

Publication Number Publication Date
JPH1132330A true JPH1132330A (ja) 1999-02-02
JP4240554B2 true JP4240554B2 (ja) 2009-03-18

Family

ID=16183159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18614497A Expired - Fee Related JP4240554B2 (ja) 1997-07-11 1997-07-11 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法

Country Status (6)

Country Link
US (4) US6480630B1 (ja)
EP (2) EP1313326A3 (ja)
JP (1) JP4240554B2 (ja)
KR (1) KR100574184B1 (ja)
CN (1) CN1178509C (ja)
WO (1) WO1999003283A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265053B2 (ja) * 1999-11-04 2009-05-20 ソニー株式会社 デジタル放送受信システム、デジタル放送受信装置、受信装置、印刷装置、並びに印刷方法
US6687304B1 (en) * 2000-04-19 2004-02-03 Koninklijke Philips Electronics N.V. Efficient video data data access using fixed ratio compression
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4766288B2 (ja) * 2000-06-21 2011-09-07 ソニー株式会社 情報処理装置
FI110376B (fi) * 2000-08-16 2002-12-31 Skyvision Oy Menetelmä tietokoneresoluutioisen kuvan siirtämiseksi MPEG2-järjestelmässä reaaliajassa
KR100888095B1 (ko) * 2001-09-07 2009-03-11 인터그래프 소프트웨어 테크놀로지스 캄파니 컬러 부합을 이용한 화상 안정화 방법 및 화상 안정화를 위한 컴퓨터 판독가능한 코드를 갖는 컴퓨터 판독가능 기록 매체
US20050007452A1 (en) * 2001-09-07 2005-01-13 Mckay Therman Ward Video analyzer
KR20040022697A (ko) * 2002-09-09 2004-03-16 한국전자통신연구원 영상 데이터 압축을 위한 움직임 추정 장치
US7330181B2 (en) * 2003-10-31 2008-02-12 Sony Corporation Method and apparatus for processing an image, image display system, storage medium, and program
WO2004086758A1 (ja) 2003-03-24 2004-10-07 Sony Corporation データ符号化装置およびデータ符号化方法、データ出力装置およびデータ出力方法、信号処理システム、信号処理装置および信号処理方法、並びにデータ復号化装置およびデータ復号化方法
JP3772846B2 (ja) 2003-03-24 2006-05-10 ソニー株式会社 データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
JP4337505B2 (ja) * 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
US7839932B2 (en) 2004-12-06 2010-11-23 Thomson Licensing Method and apparatus for encoding or decoding two digital video signals arranged in a single-video signal path
EP1667430A1 (en) 2004-12-06 2006-06-07 Thomson Licensing Synchronising a base unit and a camera unit which are connected by two opposite-direction digital video signal connections
EP1667467B1 (en) * 2004-12-06 2014-04-09 GVBB Holdings S.A.R.L Method and apparatus for encoding or decoding two digital video signals multiplexed in a single-video signal path
EP1667465A1 (en) * 2004-12-06 2006-06-07 Thomson Licensing Method and apparatus for encoding or decoding two digital video signals multiplexed in a single-video signal path
US20060182180A1 (en) * 2005-02-04 2006-08-17 Shinsuke Araya Encoding apparatus and method, decoding apparatus and method, recording medium, image processing system, and image processing method
JP2007013315A (ja) 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
JP4508132B2 (ja) 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
US20070268406A1 (en) * 2006-05-22 2007-11-22 Broadcom Corporation, A California Corporation Video processing system that generates sub-frame metadata
JP4337911B2 (ja) 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4835554B2 (ja) 2007-09-06 2011-12-14 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びにプログラム
JP5007681B2 (ja) 2008-02-14 2012-08-22 ソニー株式会社 放送システム
JP4435251B2 (ja) * 2008-08-29 2010-03-17 株式会社東芝 映像表示装置、映像再生装置、映像表示方法および映像再生方法
US8767820B2 (en) * 2009-11-11 2014-07-01 Dell Products, Lp Adaptive display compression for wireless transmission of rendered pixel data
GB2484969B (en) * 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9167261B2 (en) * 2011-11-07 2015-10-20 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
KR20130065929A (ko) * 2011-12-12 2013-06-20 한국전자통신연구원 위성방송 시스템 및 방법
CN103517022B (zh) * 2012-06-29 2017-06-20 华为技术有限公司 一种图像数据压缩和解压缩方法、装置
EP2958329A1 (en) * 2014-06-16 2015-12-23 Thomson Licensing Method for encoding and decoding an image block based on dynamic range extension, encoder and decoder

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3508619A (en) 1968-08-13 1970-04-28 Gardner Denver Co Hose guide for rock drills
JPH01213088A (en) * 1988-02-22 1989-08-25 Mitsubishi Electric Corp Picture encoding/transmitting method
JP2900385B2 (ja) * 1988-12-16 1999-06-02 ソニー株式会社 フレーム化回路及び方法
GB8830184D0 (en) * 1988-12-23 1989-02-22 Philips Electronic Associated Methods of and apparatus for encoding,decoding and processing pixel values,and methods of and apparatuses for storing and reproducing a digitised image
JP2840678B2 (ja) * 1989-07-21 1998-12-24 ソニー株式会社 高能率符合化装置
GB8921265D0 (en) * 1989-09-20 1989-11-08 British Broadcasting Corp Bit-rate reduction
JP2827356B2 (ja) 1989-11-28 1998-11-25 ソニー株式会社 画像信号伝送装置及び方法
CA2063972A1 (en) * 1991-04-18 1992-10-19 John Watney Method and apparatus for determining a quantizing factor for multi-generation data compression/decompression processes
US5276531A (en) * 1991-09-27 1994-01-04 Apple Computer, Inc. Method and apparatus for high definition imaging
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
JP3438233B2 (ja) 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
JPH0636469A (ja) * 1992-06-16 1994-02-10 Sony Corp 記録媒体および記録媒体記録方法
JPH06133284A (ja) * 1992-10-15 1994-05-13 Sony Corp エンコーダ及びデコーダ
JP3259428B2 (ja) * 1993-03-24 2002-02-25 ソニー株式会社 ディジタル画像信号のコンシール装置及び方法
JPH0787327A (ja) * 1993-09-17 1995-03-31 Fuji Xerox Co Ltd 画像符号化装置
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3125552B2 (ja) * 1993-12-28 2001-01-22 三菱電機株式会社 テレビ会議システム
JP3499302B2 (ja) * 1994-09-20 2004-02-23 株式会社東芝 テレビジョン受信機
US5559553A (en) * 1994-10-28 1996-09-24 Eastman Kodak Company Clock control circuit with independent timing adjustments for image sensing devices
JP3911706B2 (ja) * 1995-08-14 2007-05-09 ソニー株式会社 送受信システム及び受信装置
JP4023839B2 (ja) * 1995-09-21 2007-12-19 ソニー株式会社 受信装置
US5796858A (en) * 1996-05-10 1998-08-18 Digital Persona, Inc. Fingerprint sensing system using a sheet prism
JPH11510989A (ja) * 1996-06-05 1999-09-21 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 符号化ディジタルビデオ信号を復号化する方法および装置
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding

Also Published As

Publication number Publication date Type
US6480630B1 (en) 2002-11-12 grant
KR100574184B1 (ko) 2006-04-27 grant
US6990244B2 (en) 2006-01-24 grant
US7072491B2 (en) 2006-07-04 grant
CN1231100A (zh) 1999-10-06 application
WO1999003283A1 (fr) 1999-01-21 application
KR20000068542A (ko) 2000-11-25 application
US20040086190A1 (en) 2004-05-06 application
EP1313326A3 (en) 2004-10-27 application
EP1313326A2 (en) 2003-05-21 application
US6636640B2 (en) 2003-10-21 grant
EP0926898A4 (en) 2000-11-29 application
CN1178509C (zh) 2004-12-01 grant
US20040086189A1 (en) 2004-05-06 application
JPH1132330A (ja) 1999-02-02 application
US20020181793A1 (en) 2002-12-05 application
EP0926898A1 (en) 1999-06-30 application

Similar Documents

Publication Publication Date Title
US6188725B1 (en) Interlaced video signal encoding and decoding method, by conversion of selected fields to progressive scan frames which function as reference frames for predictive encoding
US5408270A (en) Advanced television system
US5767911A (en) Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US5832124A (en) Picture signal coding method and picture signal coding apparatus, and picture signal decoding method and picture signal decoding apparatus
US5475435A (en) Layer encoding apparatus and layer decoding apparatus for input non-interlace video signal
US6018366A (en) Video coding and decoding system and method
US20010028725A1 (en) Information processing method and apparatus
US20050220190A1 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
US6519341B1 (en) Method and apparatus for outputting a high definition image
US5485279A (en) Methods and systems for encoding and decoding picture signals and related picture-signal records
US5991445A (en) Image processing apparatus
EP0644695A2 (en) Spatially scalable video encoding and decoding
US5191414A (en) Interfield predictive encoder and decoder for reproducing a signal subjected to predictive encoding by encoder into an image signal
US5504530A (en) Apparatus and method for coding and decoding image signals
US6295089B1 (en) Unsampled hd MPEG video and half-pel motion compensation
EP0662770A1 (en) Apparatus and method for coding/decoding subtitles data
US6567427B1 (en) Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media
US6078694A (en) Image signal padding method, image signal coding apparatus, image signal decoding apparatus
US5412428A (en) Encoding method and decoding method of color signal component of picture signal having plurality resolutions
US20060062299A1 (en) Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks
US6801574B2 (en) Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US6690724B1 (en) Image processing method, image processing device, and data recording medium
US5703652A (en) Information signal encoding system and method for adaptively encoding an information signal
US20040008893A1 (en) Stereoscopic image encoding and decoding device
US6173013B1 (en) Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080415

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees