JP3624655B2

JP3624655B2 - 画像符号化装置および画像復号装置

Info

Publication number: JP3624655B2
Application number: JP28823797A
Authority: JP
Inventors: 太郎横瀬; 一憲宋; 俊一木村; 裕越
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-10-25
Filing date: 1997-10-21
Publication date: 2005-03-02
Anticipated expiration: 2017-10-21
Also published as: JPH10191338A

Description

【０００１】
【発明の属する技術分野】
本発明は画像符号化復号装置に関するものであり、特に多値の入力画像に対する非可逆符号化に関するものである。
【０００２】
【従来の技術】
画像は一般に非常に大量のデータとなるので、蓄積や伝送の際には符号化によって圧縮するのが一般的である。このとき画像符号化の対象となる画像データを２つに大別すると、例えば自然画像と人工画像に分けられる。
【０００３】
前者は実在する画像を何らかの手段でデジタルデータに変換したもので、例えば写真をスキャナで読み取ったり、風景をデジタルカメラで取り込んだものがこれに相当する。後者は実在しない画像を何らかの手段でデジタルデータとして作成したもので、例えばコンピュータ・グラフィックスやワードプロセッサによって作られた原稿等がこれに相当する。以降、自然画像、人工画像という言葉はこの定義で用いる。
【０００４】
一般的に自然画像はデジタル変換時にノイズが重畳され、高域成分が劣化する傾向がある。この結果として、得られるデジタルデータは下位ビットの情報量が多く、使われる色数も多い。また周波数分析すると成分が低域に集中しやすく、高域は減衰する。
【０００５】
逆に人工画像は故意にノイズを加えた場合を除いて下位ビットの情報量は多くなく、使われる色も特定色に集中しやすい。またエッジや細線等がシャープに出るため、高域にも重要な情報が多く含まれる。
【０００６】
以上の事実を確認する２つの実験例を図３０から図３２に示す。第１の実験としてＤＣＴ（離散コサイン変換：ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）処理によって得られる係数に対して、個別に２乗平均して平方根をとった値をいくつかの画像について調べた。この平方根を図３０に示す８つのエリア別に加算した結果を同図ｂ）に示す。ＤＣＴ係数は左上から右下にいくにつれ周波数が高くなるように表記するので、図３０ではｘ軸で右側が高い周波数にあたる。同図から明らかなように自然画像は高域になるに従って成分が減少するのに対し、人工画像は周波数にかかわらず成分が分布する。
【０００７】
第２の実験は画像から隣り合った画素値を取り出し、左側の画素値を右側の画素値から減算した結果の統計をとった。これは一般には前値差分等と呼ばれる値である。図３２は第２の実験結果である。同図から明らかなように人工画像では自然画像に比較して前値差分が０に集中する。これは左側の画素値から右側の画素値を予測する前値予測の予測精度が高くなることを示す。
【０００８】
以下、自然画像と人工画像のそれぞれに対して有効な画像符号化手法をそれぞれ第１、第２の従来例として述べる。
【０００９】
まず第１の従来例として自然画像に対する従来の符号化技術について説明する。もともと自然画像は情報量が非常に多いので、何らかの手法で情報を量子化することが必要になる。そこで量子化の効率について考えた場合、自然画像は周波数成分が低域に集中するので、低域を細かく、高域を粗く量子化することにより、平均誤差を小さくした量子化が実現できる。すなわち、画質への影響を極力少なくし、かつ効率的に情報量を削減することができる。
【００１０】
画像符号化の一手法である周波数変換符号化はこの特性を利用し、入力画像を周波数変換し高域成分の情報を特に粗く量子化する。周波数変換符号化の代表例としては、例えば国際標準であるＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）のＤＣＴ方式があげれられる。以下、第１の従来例としてＪＰＥＧ−ＤＣＴ方式について説明する。
【００１１】
第１の従来例の説明に入る前にＤＣＴについて説明する。画像符号化で用いられるＤＣＴは正確には二次元ＤＣＴと呼ばれるもので、横方向と縦方向の２つの一次元ＤＣＴを独立に処理することによって求められる。”カラー静止画像の国際標準符号化方式−ＪＰＥＧアルゴリズム−”（遠藤、インターフェース、１９９１．１２、ｐｐ１６０−１８２）によれば、変換する画像ブロックをｘ（ｍ，ｎ）、変換された係数ブロックをｙ（ｕ，ｖ）と表記すると、８ｂｉｔ画像に対する８×８のＤＣＴの変換式と逆変換式は次のようにかける。
【００１２】
【数１】

図３３および図３４はそれぞれ第１の従来例の画像非可逆符号化装置および復号装置の構成例である。同図は前出”カラー静止画像の国際標準符号化方式−ＪＰＥＧアルゴリズム−”ｐ．１６３の図３を部分的に抜き出し、用語を修正したものである。図３３および図３４において、１０は画像入力部、２０はＤＣＴ部、３５は係数量子化部、４５は係数出力部、１１０は入力画像データ、１２０は係数データ、１７０は量子化係数データ、２２５は係数入力部、２４０は逆ＤＣＴ部、２５０は復号画像出力部、２６０は係数逆量子化部、３２０は復号画像データ、３３０は逆量子化係数データである。
【００１３】
図３３および図３４の各部について説明する。図３３の符号化装置は以下の構成よりなる。画像入力部１０は外部より画像を入力し、入力画像データ１１０としてＤＣＴ部２０へ送出する。ＤＣＴ部２０は入力画像データ１１０にＤＣＴ処理を行い、その結果を係数データ１２０として係数量子化部３０へ送出する。係数量子化部３０は係数データ１２０に対して予め定められた方法で量子化処理を行い、量子化係数データ１７０として係数出力部９０へ送出する。係数出力部９０は量子化係数データ１７０を外部へ出力する。
【００１４】
次に図３４の復号装置は以下の構成よりなる。係数入力部２２０は外部より係数を入力し、量子化係数データ１７０として係数逆量子化部２６０へ送出する。係数逆量子化部２６０は量子化係数データ１７０に対して係数量子化部３０で行われた量子化の逆変換となるような逆量子化を行い、逆量子化係数データ３３０として逆ＤＣＴ部２４０へ送出する。逆ＤＣＴ部２４０は逆量子化係数データ３３０に対してＤＣＴ部２０で行われたＤＣＴ処理の逆変換となる逆ＤＣＴ処理を行い、その結果を復号画像データ３２０として復号画像出力部２５０へ送出する。復号画像出力部２５０は復号画像データ３２０を外部へ出力する。
【００１５】
以上の構成は第１の従来例の一部であり、通常は符号化装置では量子化係数データ１７０にＨｕｆｆｍａｎ符号やＱＭ符号等の可変長符号化処理を行い、復号装置では可変長符号化処理に対応する復号を行って量子化係数データ１７０を得るのが一般的な構成である。これらの部分は本発明の本質とは関係がなく、またこの部分の省略が第１の従来例の本質を損なうものでもないので、ここでは説明を省略する。
【００１６】
以上の構成に基づいて第１の従来例の動作について説明する。図３５および図３６は従来例の動作を示すフローチャートである。
【００１７】
まず図３５を用いて第１の従来例の符号化手順について説明する。Ｓ１０では画像入力部１０において外部より画像の入力を行い、入力画像データ１１０を得る。Ｓ２０ではＤＣＴ部２０においてＤＣＴ処理を行い、係数データ１２０を得る。Ｓ３５では係数量子化部３０において係数データ１２０に対して予め定められた方法で量子化処理を行い、量子化係数データ１７０を得る。Ｓ７５では係数出力部９０において量子化係数データ１７０を外部へ出力する。Ｓ８０では入力された入力画像データ１１０の処理が全て終了したかどうかを判定し、終了していなければＳ１０へ戻り、終了していれば符号化手順を終了する。
【００１８】
次に図３６を用いて第１の従来例の復号手順について説明する。Ｓ１１５では係数入力部２２０において外部より係数の入力を行い、量子化係数データ１７０を得る。Ｓ１２５では係数逆量子化部２６０において逆量子化処理を行い、逆量子化係数データ３３０を得る。Ｓ１３０では逆ＤＣＴ部２４０において逆量子化係数データに対して逆ＤＣＴ処理を行い、復号画像データ３２０を得る。Ｓ１４０では復号画像出力部２５０において復号画像データ３２０を外部へ出力する。Ｓ１５０では入力された量子化係数データ１７０の処理が全て終了したかどうかを判定し、終了していなければＳ１１５へ戻り、終了していれば復号手順を終了する。
【００１９】
以上の動作の中で係数量子化部３５で行われる量子化処理について説明する。前述したように一般の周波数変換符号化では、低域成分に比較して高域成分を粗く量子化する。ＪＰＥＧ−ＤＣＴ方式では次の式の線形量子化を用いる。ここでｒｏｕｎｄは引数に最も近い整数を返す関数である。
【００２０】
【数２】

図３７はＪＰＥＧ−ＤＣＴ方式の推奨量子化テーブルである（前出”カラー静止画像の国際標準符号化方式−ＪＰＥＧアルゴリズム−”ｐ．１６７図９による）。同図中の数字が量子化ステップを表し、数値が大きいほど粗く量子化することに相当する。量子化テーブルは（１）式のＤＣＴ係数同様に左上から右下に向かって周波数が高くなるよう表記されるので、高域成分が特に粗く量子化されていることになる。
【００２１】
次に第２の従来例として、人工画像に対する従来の符号化技術について説明する。人工画像では図３２で示したように同じ色が空間的に局在して出現することが多いので、周辺画素による画素値予測と予測誤差の符号化を組み合せる予測符号化が有効である。以下、予測符号化の代表例として前述の国際標準ＪＰＥＧで定められた可逆符号化方式であるＳｐａｔｉａｌ方式を第２の従来例として説明する。
【００２２】
第２の従来例の具体的な説明に入る前に予測符号化について説明する。予測符号化は次に符号化しようとする画素の画素値を予測し、次の式で得られる予測誤差を符号化する手法である。
【００２３】
【数３】
（予測誤差）＝（実際の画素値）−（予測値）（４）
図３１に示したように人工画像では予測誤差が０に集中するから、一般には自然画像よりも符号量を削減することができる。また特に可逆の予測符号化は、符号量制御ができない反面、画質が劣化する可能性はない。
【００２４】
以下、第２の従来例の具体的な説明を行う。図３８および図３９はそれぞれ第２の従来例の画像可逆符号化装置、復号装置の構成図である。同図は前出”カラー静止画像の国際標準符号化方式−ＪＰＥＧアルゴリズム−”ｐ．１７３の図１７を部分的に抜き出し、復号装置を加え、用語を修正したものである。図中、図３３および図３４と同様の部分は同じ符号を付して説明を省略する。２５は予測部、４６は予測誤差出力部、２２６は予測誤差入力部、１７１は予測誤差データである。
【００２５】
図３８および図３９の各部について説明する。図３８の符号化装置は以下の構成よりなる。予測部２５は入力画像データ１１０を用いて次に符号化する画素値を予測し、実際の画素値との差分を予測誤差データ１７１として予測誤差出力部４６へ送出する。
【００２６】
図３９の復号装置は以下の構成よりなる。予測誤差入力部２２６は予測誤差を外部より入力し、予測誤差データ１７１として予測部２５へ送出する。予測部２５は符号化装置の予測部２５と同一であるが、次の画素を予測のために復号した画像を参照する点が異なる。
【００２７】
以上の構成に基づいて第２の従来例の動作について説明する。図４０および図４１は従来例の動作を示すフローチャートである。
【００２８】
まず図４０を用いて第１の従来例の符号化手順について説明する。図３５と同様の部分は同一の符号を付し、説明を省略する。Ｓ２５では予測部２５において（４）式より予測誤差を算出する。Ｓ７６では予測誤差出力部４６においてＳ２５で算出した予測誤差データ１７１を外部へ出力する。
【００２９】
次に図４１を用いて第１の従来例の復号手順について説明する。図３６と同様の部分は同一の符号を付し、説明を省略する。Ｓ１１６では予測誤差入力部２２６において外部より予測誤差を入力する。Ｓ１３５では予測部２５において予測値と予測誤差の加算によって画素値を算出する。
【００３０】
動作説明中、予測誤差算出処理について説明する。ＪＰＥＧ−Ｓｐａｔｉａｌ方式では図４２に示した７つの予測器のうち、どれか１つを使うように定められている。例えば予測式をａとした場合、これから符号化する画素ｘの左隣りの画素値を予測値とすればよい。
【００３１】
以上第１、第２の従来例を説明したが、以下ではいずれか単独では自然画像と人工画像の区別なく効率的に符号化するのは難しいことを示す。
【００３２】
人工画像では高域成分にも重要な情報が含まれるので、図３７のように高域が粗い量子化を行うと画質劣化、例えばモスキート・ノイズが発生する。図３７ａ）に示した量子化テーブルによって発生したモスキート・ノイズの例を図４３ａ）およびｂ）に示す。同図ａ）が入力画像、同図ｂ）が復号画像である。このようなノイズのためにＪＰＥＧ−ＤＣＴ方式のような周波数変換符号化では、人工画像に対して画質を維持したまま符号量を削減することが難しい。この様子を図４４に示す。
【００３３】
一方、自然画像はノイズの影響で近隣画素同士でも画素値が異なるため、ＪＰＥＧ−Ｓｐａｔｉａｌ方式のような可逆の予測符号化では符号量が小さくならない。この様子を図４５に示す。また可逆符号化は画質と符号量をトレード・オフにできないので、符号量制御ができない。これは蓄積媒体の容量や通信帯域等に直接影響するので、システムの構築を難しくする。
【００３４】
このように第１、第２の従来例では有効に符号化できない画像が存在する。この問題を解決するために非可逆符号化と可逆符号化とを部分毎に使い分ける手法が考えられる。そのような例として特開平６−１１３１４５号公報がある。以下、第３の従来例として該公報に記載された発明について説明する。
【００３５】
図４６は第３の従来例の画像処理装置の構成図である。同図は特開平６−１１３１４５号公報の主旨を損なわないよう、該公報の図１の一部を省略し、用語を修正したものである。図中、１５は人工画像入力部、１６は自然画像入力部、９０は人工画像符号化部、９１は自然画像符号化部、９２は人工画像記憶部、９３は自然画像記憶部、９４は人工画像復号部、９５は自然画像復号部、９６は画像合成部、１１２は入力人工画像データ、１１３は入力自然画像データ、１１４は人工画像符号データ、１１５は自然画像符号データ、１１６は復号人工画像データ、１１７は復号自然画像データである。
【００３６】
図４６の各部について説明する。人工画像入力部１５および自然画像入力部１６はそれぞれ外部より人工画像、自然画像を入力し、入力人工画像データ１１２、入力自然画像データ１１３として人工画像符号化部９０、自然画像符号化部９１へ送出する。人工画像符号化部９０および自然画像符号化部９１はそれぞれ入力人工画像データ１１２、入力自然画像データ１１３にそれぞれに予め定められた手法で符号化を行い、人工画像符号データ１１４、自然画像符号データ１１５として、人工画像記憶部９２、自然画像記憶部９３へ送出する。人工画像記憶部９２および自然画像記憶部９３はそれぞれ人工画像符号データ１１４、自然画像符号データ１１５を一時的に記憶し、それぞれ人工画像復号部９４、自然画像復号部９５へ送出する。人工画像復号部９４および自然画像復号部９５はそれぞれ人工画像符号化部９０、自然画像符号化部９１で行われた符号化に対応する復号処理を人工画像符号データ１１４、自然画像符号データ１１５に対して行い、復号人工画像データ１１６、復号自然画像データ１１７として画像合成部９６へ送出する。画像合成部９６は復号人工画像データ１１６と復号自然画像データ１１７の合成を行う。
【００３７】
以上の説明の中で人工画像符号化部９０で行われる符号化は、該特許の第１実施例において「ランレングス符号化方式等の可逆方式の機能を持つ」という記述がされている。また自然画像符号化部９１で行われる符号化は、やはり該特許の第１実施例において「ＪＰＥＧ等の画像圧縮方式」という記述がされている。なお該特許でいうＪＰＥＧとは本説明でいうＪＰＥＧ−ＤＣＴ方式のことを指す。
【００３８】
【発明が解決しようとする課題】
第１、第２の従来例についてはそれぞれ自然画像、人工画像に特化して設計されているため、いずれか単独の手法で両方の画像を効率的に扱うのが困難であることは既に指摘した。
【００３９】
第３の従来例においては自然画像と人工画像が全く異なる方式で並列に符号化復号されるため、一般には両処理の処理時間が一致しない。このため符号化時は全ての符号データが、復号時は全ての画像データが出揃うまで外部に出力することができなくなり、符号化装置には最低１画像分の符号バッファが、また復号装置にも最低１画像分の画像バッファが必要となる。これらは１系統の方式しか持たない画像符号化復号装置であれば不要な構成である。
【００４０】
また符号化装置、復号装置共に２系統以上持つので、装置規模の増大を招く。さらに全く異なる複数の符号で画像を表現するため、伝送や蓄積の際などに符号の取扱いが複雑になる。さらに復号画像の画質についても、符号化手法の切替え部分でノイズが発生することがある。
【００４１】
本発明は上述した事情に鑑みてなされたもので、自然画像と人工画像の区別なく、効率的な圧縮が可能な単一の符号化装置および復号装置を提供することを目的とする。
【００４２】
【課題を解決するための手段】
本発明は以上の目的を達成するためにつぎのよな構成を採用している。まず画像符号化装置の発明について説明する。
【００４３】
請求項１の発明によれば、画像符号化装置において、画像を入力する画像入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記周波数変換手段により求められた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて、前記画像入力手段により入力された画像の低域周波数成分の画像を出力する低域周波数画像出力手段と、前記閾値処理手段により閾値処理された結果に応じて、前記低域周波数画像出力手段により出力された画像に対して所定の間引き処理を行う画素間引き手段と、前記閾値処理手段により閾値処理された結果を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００４４】
この構成においては、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減する。最適な解像度を求めるために周波数分析を行い、この分析結果に基づいて画素の間引き処理を行っている。
【００４５】
また、請求項２の発明によれば、画像復号装置において、画像を入力する画像入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記周波数変換手段により求められた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて前記周波数変換手段により求められた周波数成分のうち高域周波数成分を０で置き換える高域係数マスク手段と、前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、前記閾値処理手段により閾値処理された結果に応じて、前記逆変換手段により変換された画像に対して所定の間引き処理を行う画素間引き手段と、前記閾値処理手段により閾値処理された結果を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００４６】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００４７】
また、請求項３の発明によれば、画像符号化装置において、画像を入力する画像入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記周波数変換手段により求められた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて、前記画像入力手段により入力された画像に対して所定の間引き処理を行う画素間引き手段と、前記閾値処理手段により閾値処理された結果を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００４８】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００４９】
また、請求項４の発明によれば、画像符号化装置において、画像を入力する画像入力手段と、前記画像入力手段により入力された画像を、所定の間引き処理及び所定の補間処理により疑似復号画像を生成する疑似復号画像生成手段と、前記疑似復号画像生成手段により生成された疑似復号画像と前記画像入力手段により入力された画像との誤差により間引き率を求める係数分析手段と、前記係数分析手段により求められた間引き率に応じて、前記画像入力手段により入力された画像に対して所定の間引き処理を行う画素間引き手段と、前記係数分析手段により求められた間引き率を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００５０】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００５１】
また、請求項５の発明によれば、請求項４の画像符号化装置において、前記係数分析手段で用いられる誤差は、画素値誤差、誤差の絶対値、誤差の二乗値のうちいずれかの最大値、またはダイナミックレンジ、分散、ＳＮ比のいずれかであることを特徴とする。
【００５２】
また、請求項６の発明によれば、請求項４の画像符号化装置において、前記疑似復号画像生成手段の所定の補間処理とは、最近傍補間、４点線形補間、９点２次補間、またはローパスフィルタ処理のいずれかであることを特徴とする。
【００５３】
また、請求項７の発明によれば、画像符号化装置において、画像に対して周波数変換しエントロピー符号化を行った符号を入力する符号入力手段と、前記符号入力手段により入力された符号に対して該符号に行われたエントロピー符号化の逆変換にあたる復号を行うことにより周波数成分を得るエントロピー復号手段と、前記エントロピー復号手段で得られた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて、前記エントロピー復号手段で得られた周波数成分のうち高域周波数成分を０で置き換える高域係数マスク手段と、前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、前記閾値処理手段により閾値処理された結果に応じて、前記逆変換手段により変換された画像に対して所定の間引き処理を行う画素間引き手段と、前記閾値処理手段により閾値処理された結果を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００５４】
また、請求項８の発明によれば、請求項７に記載の画像符号化装置において、前記エントロピー復号手段の復号とは、ハフマン符号化、算術符号化またはＱＭ符号化のいずれかであることを特徴とする。
【００５５】
また、請求項９の発明によれば、画像符号化装置において、画像を入力する画像入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記周波数変換手段により求められた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて、前記周波数変換手段で得られた周波数成分のうち高域周波数成分を０で置き換える高域係数マスク手段と、前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、前記閾値処理手段により閾値処理された結果に応じて、前記逆変換手段により変換された画像に対して所定の間引き処理を行う画素間引き手段と、前記画素間引き手段で得られた間引き画像と前記閾値処理手段により閾値処理された結果とを合成するデータ合成手段と、前記データ合成手段で合成された合成データを出力する合成データ出力手段とを具備することを特徴とする。
【００５６】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００５７】
また、請求項１０の発明によれば、画像符号化装置において、画像を入力する画像入力手段と、係数情報を入力する係数情報入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記係数情報入力手段により入力された係数情報に応じて、前記周波数変換手段により求められた周波数成分のうち高域周波数成分を０で置き換える高域係数マスク手段と、前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、前記係数情報入力手段により入力された係数情報に応じて、前記逆変換手段により変換された画像に対して所定の間引き処理を行う画素間引き手段と、前記係数情報入力手段により入力された係数情報を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする。
【００５８】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００５９】
また、請求項１１の発明によれば、請求項１ないし８または１０に記載の画像符号化装置において、さらに、前記間引き画像出力手段により出力される間引き画像に対して画像符号化を行う画像符号化手段を有することを特徴とする。
【００６０】
また、請求項１２の発明によれば、請求項１１に記載の画像符号化装置において、前記画像符号化手段で行われる画像符号化は、可逆符号化または予測符号化のいずれか若しくは両方であることを特徴とする。
【００６１】
また、請求項１３の発明によれば、請求項１ないし８または１０に記載の画像符号化装置において、さらに、前記係数情報出力手段により出力される係数情報に対して情報源符号化を行う係数情報符号化手段を有することを特徴とする。
【００６２】
また、請求項１４の発明によれば、請求項２、９、１０に記載の画像符号化装置において、前記周波数変換手段および前記逆変換手段で行われる周波数変換は、離散コサイン変換、フーリエ変換、離散サイン変換、サブバンド変換またはウェーブレット変換であることを特徴とする。
【００６３】
また、請求項１５の発明によれば、請求項１ないし３、７ないし９に記載の画像符号化装置において、前記閾値処理手段の閾値処理は、所定の量子化テーブルを閾値とした閾値処理であることを特徴とする。
【００６４】
また、請求項１６の発明によれば、請求項１５に記載の画像符号化装置において、前記閾値処理手段で用いられる量子化テーブルは、外部から設定できることを特徴とする。
【００６５】
また、請求項１７の発明によれば、請求項２、７ないし１０に記載の画像符号化装置において、前記高域係数マスク手段は、前記閾値処理手段により最高周波数成分より大きい成分を０に置換することを特徴とする。
【００６６】
また、請求項１８の発明によれば、請求項１ないし１７に記載の画像符号化装置において、前記画素間引き手段の間引き処理は、ブロック内の最高周波数成分若しくは０でない周波数成分の分布から導かれる割合に応じて行われることを特徴とする。
【００６７】
また、請求項１９の発明によれば、請求項１ないし１８に記載の画像符号化装置において、前記画素間引き手段で行われる間引き処理の間引きの割合は、予め定められた所定の値に量子化されることであることを特徴とする。
【００６８】
また、請求項２０の発明によれば、請求項１ないし１８に記載の画像符号化装置において、前記画素間引き手段の所定の間引き処理は、格子状に画素が残すこと、縦方向と横方向に同じ割合で行うこと、残る画素がほぼ等間隔になるように行うこと、周辺画素中のピーク値を優先的に残すことであることを特徴とする。
【００６９】
また、請求項２１の発明によれば、請求項１ないし２０に記載の画像符号化装置において、前記画素間引き手段の間引き処理は、前記画像入力手段により入力された画像がすでに画像符号化装置により符号化されたことがある場合には前回間引かれた画素と同じ画素を間引くことであることを特徴とする。
【００７０】
また、請求項２２の発明によれば、請求項１ないし２１に記載の画像符号化装置において、さらに、前記画素間引き手段により間引き処理された画像の画素値を量子化する画素値量子化手段を有することを特徴とする。
【００７１】
また、請求項２３の発明によれば、請求項２２に記載の画像符号化装置において、前記画素値量子化手段は、前記閾値処理手段により閾値処理された結果に応じて量子化ステップを変更すること、または前記閾値処理手段で使用される閾値の大きさに応じて量子化ステップを変更することであることを特徴とする。
【００７２】
また、請求項２４の発明によれば、請求項１ないし２３に記載の画像符号化装置において、さらに、前記画像入力手段により入力された画像に対して所定の分析を行い前記閾値処理手段で使用する閾値を決定する画像判定手段を有することを特徴とする。
【００７３】
また、請求項２５の発明によれば、請求項２４に記載の画像符号化装置において、前記画像判定手段は、自然画像と人工画像の違いを判定し、人工画像の場合は閾値を０として前記閾値処理手段における閾値処理で０にされる周波数成分が発生しないように制御することを特徴とする。
【００７４】
また、請求項２６の発明によれば、請求項２４に記載の画像符号化装置前記画像判定手段の所定の分析処理は、画素値のダイナミックレンジの測定、画素値のヒストグラムの測定、画素値の下位ビットのエントロピーの測定、エッジの急峻さの測定、線の太さの測定、周波数成分の測定、外部から指定されること、またはエッジ、パターン、グラデーション、線のうち少なくとも１つ以上の成分を検出することを特徴とする。
【００７５】
つぎに画像復号装置について説明する。
【００７６】
請求項２７の発明によれば、画像復号装置において、係数情報を入力する係数情報入力手段と、間引き画像を入力する間引き画像入力手段と、前記間引き画像入力手段により入力された間引き画像と前記係数情報入力手段により入力された係数情報に応じて、所定の手法で周波数成分を算出する係数補間手段と、前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、前記逆変換手段により変換された画像を出力する復号画像出力手段とを具備することを特徴とする。
【００７７】
この構成においては、周波数分析に応じて適応的に間引きを行って圧縮した画像データを復号することができる。
【００７８】
また、請求項２８の発明によれば、画像復号装置において、画像の一定領域であるブロック毎の係数情報を入力する係数情報入力手段と、ブロック毎の間引き画像を入力する間引き画像入力手段と、前記間引き画像入力手段により入力された間引き画像と前記係数情報入力手段により入力された係数情報とに応じて所定の手法で画素値を補間する画素値補間手段と、前記画素値補間手段により補間された画像を出力する復号画像出力手段とを具備することを特徴とする。
【００７９】
この構成においても、周波数分析に応じて適応的に間引きを行って圧縮した画像データを復号することができる。
【００８０】
また、請求項２９の発明によれば、請求項２８に記載の画像復号装置において、前記画素値補間手段の所定の手法は、最近傍補間、４点線形補間、９点２次補間、ローパスフィルタ処理であることを特徴とする。
【００８１】
また、請求項３０の発明によれば、画像復号装置において、係数情報と間引き画像の合成されたデータである合成データを入力する合成データ入力手段と、前記合成データ入力手段により入力された合成データを間引き画像と係数情報に分解するデータ分解手段と、前記データ分解手段により分解された間引き画像と係数情報とに応じて、所定の手法で周波数成分を算出する係数補間手段と、前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換する逆変換手段と、前記逆変換手段により変換された画像を出力する復号画像出力手段とを具備することを特徴とする。
【００８２】
この構成においても、周波数分析に応じて適応的に間引きを行って圧縮した画像データを復号することができる。
【００８３】
また、請求項３１の発明によれば、請求項２７ないし３０に記載の画像復号装置において、さらに、間引き画像に対して画像符号化した符号を、画像に復号する画像復号手段を有し、前記間引き画像入力手段は、前記画像復号手段により復号された画像を間引き画像として入力することを特徴とする。
【００８４】
また、請求項３２の発明によれば、請求項３１に記載の画像復号装置において、前記画像復号手段で行われる復号は、可逆符号化の逆処理、予測符号化の逆処理であることを特徴とする。
【００８５】
また、請求項３３の発明によれば、請求項２７ないし３２に記載の画像復号装置において、さらに、前記逆変換手段により変換された画像のうち前記間引き画像入力手段により入力された間引き画像に含まれる画素については、前記間引き画像の画素値で置き換える画素値補正手段を有し、前記復号画像出力手段は、前記画素値補正手段により補正された画像を出力することを特徴とする。
【００８６】
また、請求項３４の発明によれば、請求項２７、３０に記載の画像復号装置において、前記逆変換手段の周波数変換は、離散コサイン変換、フーリエ変換、離散サイン変換、サブバンド変換またはウェーブレット変換であることを特徴とする。
【００８７】
また、請求項３５の発明によれば、請求項２７、３０に記載の画像復号装置において、前記係数補間手段で行われる係数補間は、周波数係数と画素値に関する線形の連立方程式を解くこと、周波数係数と画素値に関する線形の連立方程式に対して事前に求められた逆行列の演算、または間引き画像に対するローパスフィルタ処理もしくはその近似処理であることを特徴とする。
【００８８】
また、請求項３６の発明によれば、画像符号化復号装置おいて、画像を入力する画像入力手段と、前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、前記周波数変換手段により求められた周波数成分を閾値処理する閾値処理手段と、前記閾値処理手段により閾値処理された結果に応じて前記周波数変換手段により求められた周波数成分のうち高域周波数成分を０で置き換える高域係数マスク手段と、前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う第１の逆変換手段と、前記閾値処理手段により閾値処理された結果に応じて、前記第１の逆変換手段により変換された画像に対して所定の間引き処理を行う画素間引き手段と、前記閾値処理手段により閾値処理された結果を出力する係数情報出力手段と、前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段前記係数情報出力手段により出力された閾値処理された結果である係数情報を入力する係数情報入力手段と、前記間引き画像出力手段により出力された間引き画像を入力する間引き画像入力手段と、前記間引き画像入力手段により入力された間引き画像と前記係数情報入力手段により入力された係数情報に応じて、所定の手法で周波数成分を算出する係数補間手段と、前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換を行う第２の逆変換手段と、前記第２の逆変換手段により変換された画像を出力する復号画像出力手段を具備することを特徴とする。
【００８９】
この構成においては、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減する。最適な解像度を求めるために周波数分析を行い、この分析結果に基づいて画素の間引き処理を行っている。そして、周波数分析に応じて適応的に間引きを行って圧縮した画像データを復号することができる。
【００９０】
また、請求項３７の発明によれば、画像符号方法において、画像を入力するステップ１と、前記ステップ１により入力された画像の周波数成分を求める周波数変換を行うステップ２と、前記ステップ２により求められた周波数成分を閾値処理するステップ３と、前記ステップ３により閾値処理された結果に応じて前記ステップ２により求められた周波数成分のうち高域周波数成分を０で置き換えるステップ４と、前記ステップ４により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行うステップ５と、前記ステップ３により閾値処理された結果に応じて、前記ステップ５により変換された画像に対して所定の間引き処理を行うステップ６と、前記ステップ３により閾値処理された結果を出力するステップ７と、前記ステップ６により間引き処理された画像を出力するステップ８を具備することを特徴とする。
【００９１】
この構成においても、画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減することができる。
【００９２】
また、請求項３８の発明によれば、画像復号方法において、係数情報を入力するステップ１と、間引き画像を入力するステップ２と、前記ステップ２により入力された間引き画像と前記ステップ１により入力された係数情報に応じて、所定の手法で周波数成分を算出するステップ３と、前記ステップ３により貸出された周波数成分を画像に変換する逆周波数変換を行うステップ４と、前記ステップ４により変換された画像を出力するステップ５を具備することを特徴とする。
【００９３】
この構成においても、周波数分析に応じて適応的に間引きを行って圧縮した画像データを復号することができる。
【００９４】
また本発明はマルチプレーン画像の符号化に適用できる。
【００９５】
【発明の実施の形態】
以下、本発明の実施例について説明する。まず、ＤＣＴを用いた第１の実施例を説明し、つぎにＤＣＴ以外の周波数変換手法を用いた第２の実施例を説明する。最後に、本発明を画像処理に応用した例を第３の実施例として説明する。
【００９６】
［実施例１］
本発明の第１の実施例の具体的な説明の前に、本発明の基本的な考え方について述べる。デジタル画像のデータ量は解像度と画素あたりのビット数によって決まる。そして画像フォーマットは解像度、ビット数いずれも定数で固定するのが一般的である。
【００９７】
しかし画像の情報量は局所的に変化する。例えば画素値の変化が全くないところでは最高解像度の必要はないし、ビット数も制限できる。これはすなわち、固定の画像フォーマットは冗長な情報を含むことを意味する。
【００９８】
特に自然画像についてはデジタル変換する機器の周波数特性や解像度によって、その画像の最高解像度が制限される。例えば解像度ｓのスキャナで入力したデジタル画像を解像度２ｓの画像フォーマットで管理する場合、本来意味のある画素はｓ^２／（２ｓ）^２＝１／４に過ぎない。この現象は出力機器の高解像度化や画像の拡大処理等で顕著になる。
【００９９】
そこで画像を最適な解像度で表現することを考える。デジタル画像で必要な解像度はその画像が持つ最高周波数に依存する。例えば解像度のピッチｐは、その画像が持つ最高周波数の周期Ｔの半分の長さＴ／２より短くできない。これを逆に考えれば、その解像度が許す最高周波数まで使っていない画像は冗長な画素を含んでいるといえる。そのような冗長な画素は間引いても、最高周波数さえわかっていれば後で周辺画素から補間することが可能である。
【０１００】
以上の原理に基づき、本発明は画像を最適な解像度で表現することにより、冗長成分を抑圧し符号量を削減する。上述の最適な解像度への解像度変換は画素の間引き処理によって実現する。また最適な解像度を求めるための分析処理は周波数分析によって行う。符号化復号処理は間引いた画像に対して行う。
【０１０１】
式で表すと以上で示した本発明の原理は次のようにかける。いま符号化しようとする画像の周波数成分ｖ（ｆ）がある周波数ｆ_ｓより上では全て０になるとする。
【０１０２】
【数４】

周波数ｆｓは周波数分析によって求めることができる。一方、画像フォーマットのピッチをｐとすると表現可能な最高周波数ｆ_ｍａｘは前述の通り次のようになる。
【０１０３】
【数５】

当然ｆ_ｓ≦ｆ_ｍａｘである。さてｆ_ｓを表現するのに必要な解像度のピッチｐ_ｓは（６）式同様、次式で求められる。
【０１０４】
【数６】

このときｆ_ｓ≦ｆ_ｍａｘであるからｐ≧ｐ_ｓとなる。このピッチｐ_ｓこそ本発明でいうところの最適な解像度を示している。
【０１０５】
本発明の効果は定性的には次のように説明される。入力が人工画像の場合は図３１からもわかるように高域成分に情報が多く含まれるのでほとんどの画素は間引けない。しかし第２の従来例の説明で述べたように予測符号化等で十分可逆圧縮できるため、間引けなくても問題ない。また入力が自然画像の場合は第１の従来例で述べたように高域成分はある程度量子化しても構わない。従ってある程度小さい高域成分は無視してもよく、最高周波数を下げることができるから、結局必要な解像度すなわち画素数も少なくてすむ。
【０１０６】
従来例の問題点を本発明の観点から述べると次のように表現できる。第１の従来例は画像が持つべき本来の解像度に無関係に周波数成分の量子化を行う。上述したように周波数成分の量子化は高域についてみれば小成分を無視する行為であるから、解像度を強制的に低くすることに等しい。従って部分的に最大の解像度が必要な人工画像に対して画質劣化を生じるか、量子化を細かくして符号量が増加するかのいずれかとなる。
【０１０７】
一方、第２の従来例は自然画像について本来必要のない高い解像度で符号化を行うため、符号量を削減することができない。
【０１０８】
また、第３の従来例は非可逆符号化と可逆符号化を、全く異なる空間である周波数空間と画素値空間で別々に行うため課題で指摘したような歪みが発生する。この点、本発明は全ての画像を解像度という共通の観点で処理するので、そのような歪みを生じない。
【０１０９】
本発明の概略構成は以下のようになる。本発明は可逆の予測符号化を基本とし、量子化が必要な自然画像についてはその前段で画素を間引くことにより非可逆化を実現する。画素の間引き処理は周波数分析と量子化により、与えられた画像が最適な解像度であるかどうかを判定しつつ行う。一方、人工画像については間引き処理が無効なので、量子化を厳しく行い可逆符号化に不要な画素のみを間引く。
【０１１０】
次に本実施例の動作原理を具体的に説明する。本実施例では簡易な周波数分析としてＤＣＴを用いる。ＤＣＴとその逆変換は前掲の（１）、（２）式で表される。すなわち、ＤＣＴ係数ｙ（ｕ，ｖ）は画素値ｘ（ｍ，ｎ）の線形和であり、８×８のＤＣＴであれば６４個の式を書き並べることによって１つのＤＣＴ処理が表現される。
【０１１１】
ここでＤＣＴ係数はブロック内の周波数成分に相当する。従ってあるブロックが高域成分を持たないことを式で表現すると、いまｕ、ｖ方向の最高周波数をそれぞれｆ_ｕ、ｆ_ｖとすれば（８）式のようになる（ただし０≦ｆ_ｕ、ｆ_ｖ≦７）。
【０１１２】
【数７】

さて（８）式を満たすＤＣＴ係数ｙ（ｕ，ｖ）は（６４−（ｆ_ｕ＋１）×（ｆ_ｖ＋１））個あるので、８×８ＤＣＴの６４個の式のうち（６４−（ｆ_ｕ＋１）×（ｆ_ｖ＋１））個の式は左辺が０になる。これはＤＣＴ処理を、引数が画素値で未知数がＤＣＴ係数である線形連立方程式と考えれば、未知数が６４個から（ｆ_ｕ＋１）×（ｆ_ｖ＋１）個に減ることに相当する。すなわち（６４−（ｆ_ｕ＋１）×（ｆ_ｖ＋１））個の式が冗長となるから、引数となる画素値のうち（６４−（ｆ_ｕ＋１）×（ｆ_ｖ＋１））個は式の操作によって除去できる。結局（ｆ_ｕ＋１）×（ｆ_ｖ＋１）個の画素値さえわかっていれば、ＤＣＴ処理という連立方程式を解くことにより後から６４個のＤＣＴ係数、ひいては画素値を再構成することが可能であることがわかる。
【０１１３】
ただしここでは計算精度は考慮していない。また簡単のため６４個の連立式として説明したが、２次元ＤＣＴの性質から２次元独立の８個の連立式の組合せと考えて処理してもよい。また以上の事実は８×８以外のＤＣＴでも、定数以外は何ら違いがない。
【０１１４】
以上の理論により８×８ブロックのうちｎｙ個の画素が間引けるわけだが、間引き方に制限が加わる。２次元ＤＣＴは１次元ＤＣＴの組合せで行われるため、最終的に（ｆ_ｕ＋１）×（ｆ_ｖ＋１）個の画素が残るように間引かれなければならない。ただし２次元独立で例えばｕ方向の補間を先に行うような構成であれば、ｕ方向の補間が終わった時にｖ方向に（ｆ_ｖ＋１）個の画素が残るようになっていればよい。このとき画素の間隔に制限はないが、画素値は整数精度しか持てないため、空間的に近い画素を残すと補間される画素値精度が低下することがある。
【０１１５】
簡単のため８画素の１次元ＤＣＴの例を用いて、以上の論理を式で示す。まず１次元ＤＣＴの変換式は（１）式から容易に（９）式が導ける。
【０１１６】
【数８】

（９）式は単なる積和の形になっているから行列表現できる。ｃｏｓの項をｄ（ｕ，ｍ）と表現すれば（１０）式を得る。
【０１１７】
【数９】

ここでｆ_ｕ＝２とすればｙ（ｕ）＝０（ｕ＞２）だから、（１０）式は
【０１１８】
【数１０】

となる。（１１）式の下側の５つの式は左辺が０で固定されるので、これを上側の３つの式に代入することで右辺の変数が消去できる。例えばｘ（３）からｘ（７）を消去すれば、結局（１２）式を得る。
【０１１９】
【数１１】

（１２）式からｘ（０）、ｘ（１）、ｘ（２）の３つの画素値がわかればｙ（０）、ｙ（１）、ｙ（２）が求められる。ｙ（３）からｙ（７）は０であることがわかっているから、後は（９）式の逆変換によってｘ（３）からｘ（７）が補間できる。（１１）式で消去する変数の選び方に制限はないので、（１２）式の右辺に選ばれる画素値は個数さえ合えばどのような組合せでもよい。ただし前述のように間隔を広くとったほうが補間の精度が良い、といった性質はある。
【０１２０】
間引き方の例を図５に示す。同図ａ）は明らかに上述の条件を満たす。同図ｂ）はまずｕ方向の補間を行い、次にｖ方向の補間を行うことで復号が可能である。同図ｃ）ｄ）はいずれも制限を満たさない。
【０１２１】
間引き方の拡張について述べる。以上では簡単のために（８）式に基づいた間引きについて説明した。実際、（８）式は本実施例の始めに説明した本発明の概念をよく表現している。しかし本実施例においては補間処理は連立方程式に帰着できるから、（８）式を拡張することができる。すなわちｆ_ｕ以下であってもその成分がｖ成分によらず０となる周波数ｆｓ_ｕが存在する場合、周波数ｆｓ_ｕに関する８つの式は連立方程式から削除できる。従ってｕ方向に残す画素数はｆ_ｕ個に減らせる。ｆｓ_ｕは複数であってもよい。またｖ方向についても同じように考えられる。
【０１２２】
また以上ではｆ_ｕ、ｆ_ｖに独立に基づいた間引き処理を行ったが、両軸ともｆ_ｕ、ｆ_ｖのいずれか高い方の周波数に合わせてもよい。これにより間引ける画素数は減少するが、間引くパターンも減少するので係数分析処理や補間処理等の処理を単純化できる。もちろん画質劣化を許容すればｆ_ｕ、ｆ_ｖの平均値や最低値等の値でもよい。あるいはｆ_ｕ、ｆ_ｖの値を例えば０、１、３、７のいずれか、といったふうに適当に量子化しても同様の効果を得る。
【０１２３】
ちなみに（８）式はｕ、ｖ方向の最高周波数に依存して書かれるので、有効な周波数成分のエリアはＤＣＴ係数ブロック上では長方形を形成する。これは２次元ＤＣＴが１次元ＤＣＴの組合せによって実現されることに起因する。もし、２次元の変換基底が互いに完全に独立であれば長方形以外の自由形状に拡張することができる。例えば周波数成分上で左上三角成分だけ残すように制限してもよい。この場合、間引き方の制限もなくなる。
【０１２４】
ＤＣＴ係数の量子化について述べる。ＪＰＥＧ−ＤＣＴ方式の説明で述べたように周波数変換符号化では、高域成分を粗く量子化することにより画質の劣化を抑えたまま符号量を削減できる。本実施例においても例えば図３７の量子化テーブルを用いた量子化処理の適用が可能である。量子化により０になる周波数成分が増えるが、上で述べた原理はほぼそのまま適用できる。
【０１２５】
そこで量子化の具体的な適用手順について述べる。本発明では周波数変換は画像の分析だけに用い、実際の量子化は画素の間引きで実現する。従って周波数成分の量子化は厳密には絶対値に対する閾値処理で実現される。すなわち、各周波数成分を対応する量子化ステップと比較し、より小さければその周波数成分を０とする処理を行う。量子化テーブルが適切に設定されていれば、閾値処理された係数データを逆ＤＣＴ処理することにより画質劣化がなく、かつ高域成分が制限された画像を得ることができる。これ以降は上で述べた原理をそのまま適用すればよい。まとめると次の手順になる。
［係数データを量子化する場合のアルゴリズム］
ステップ１：ＤＣＴ処理を行う。
ステップ２：係数データを閾値処理し、量子化ステップより小さい成分は０とする。このときの最高周波数成分をｆ_ｕ、ｆ_ｖとする。
ステップ３：逆ＤＣＴ処理を行う。
ステップ４：ステップ２で求めたｆ_ｕ、ｆ_ｖに基づいて間引き処理を行う。画像が残っていればステップ１へ。
【０１２６】
さてステップ２ではｆ_ｕ、ｆ_ｖ以下の周波数でもたまたま０に閾値処理される成分が発生する。このアルゴリズムではステップ４の間引き処理はステップ２で求まるｆ_ｕ、ｆ_ｖに基づくから、このような成分は無理に０にしなくても間引き／補間処理ともに処理量は変わらない。したがってステップ２とステップ３の間に次のような処理が入ってもよい。
【０１２７】
ステップ２．５：ｆ_ｕ、ｆ_ｖ以下の周波数成分で０に閾値処理されたものがあれば、閾値処理前のデータに戻す。
【０１２８】
さて本発明では後段に予測符号化等の圧縮手段を想定している。以上で述べた原理によって後段に送出する画素数を削減することができるので、本発明の副次的な効果として後段の処理軽減が可能である。これは後段で色変換、拡縮、回転、クリッピング等の画像処理を行う場合でも有効なので、本発明を画像処理のアクセラレータとして応用することもできる。
【０１２９】
以上で原理については説明したので、本実施例の具体的な説明に移る。以下、上述した後段部分を除き、自然画像に対する画素間引き処理を行う部分について説明する。
【０１３０】
図１および図２は本発明の第１の実施例を示すブロック図である。図中、図３３および図３４と同様の部分には同一の符号を付して説明を省略する。図１および図２において、３０は係数分析部、４０は係数分析出力部、５０は高域係数マスク部、６０は逆ＤＣＴ部、７０は画素間引き部、８０は間引き画像出力部、１３０は係数分析データ、１４０は低域係数データ、１５０は低域画像データ、１６０は間引き画像データ、２１０は間引き画像入力部、２２０は係数分析入力部、２３０は係数補間部、３１０は補間係数データである。
【０１３１】
図１および図２の各部について説明する。図１の符号化装置は以下の構成よりなる。係数分析部３０は予め定められた定数と係数データ１２０の比較を行い、その比較結果を係数分析データ１３０として係数分析出力部４０、高域係数マスク部５０および画素間引き部７０のそれぞれへ送出する。係数分析出力部４０は係数分析データ１３０を外部へ出力する。高域係数マスク部５０は係数分析データ１３０に基づき係数データ１２０の高域係数の一部を０で置き換え、低域係数データ１４０として逆ＤＣＴ部６０へ送出する。逆ＤＣＴ部６０は低域係数データ１４０に対してＤＣＴ部２０で行われたＤＣＴ処理の逆変換にあたる逆ＤＣＴ処理を行い、低域画像データ１５０として画素間引き部７０へ送出する。画素間引き部７０は予め設定された間引き方法と係数分析データ１３０に基づき低域画像データ１５０に対して間引き処理を行い、間引き画像データ１６０として間引き画像出力部８０へ送出する。間引き画像出力部８０は間引き画像データ１６０を外部へ送出する。
【０１３２】
次に図２の復号装置は以下の構成よりなる。間引き画像入力部２１０は外部より間引き画像の入力を行い、間引き画像データ１６０として係数補間部２３０へ送出する。係数分析入力部２２０は外部より係数分析データの入力を行い、係数分析データ１３０として係数補間部２３０へ送出する。係数補間部２３０は係数分析データ１３０に基づいて間引き画像データ１６０に対してＤＣＴ係数の補間処理を施し、その結果を補間係数データ３１０として逆ＤＣＴ部２４０へ送出する。逆ＤＣＴ部２４０は補間係数データ３１０に逆ＤＣＴ処理を施し、復号画像データ３２０として復号画像出力部２５０へ送出する。
【０１３３】
以上の構成に基づいて第１の実施例の動作について説明する。図３および図４は本発明の第１の実施例の動作を示すフローチャートである。
【０１３４】
まず図３を用いて本実施例の符号化手順について説明する。Ｓ１０では画像入力部１０において外部より画像の入力を行い、入力画像データ１１０を得る。Ｓ２０ではＤＣＴ部２０においてＤＣＴ処理を行い、係数データ１２０を得る。Ｓ３０では係数分析部３０において係数データ１２０と予め定められた定数との比較を行い、その結果を係数分析データ１３０として得る。Ｓ４０では高域係数マスク部５０において係数分析データ１３０に基づき係数データ１２０の高域成分の一部を０で置き換え、低域係数データ１４０とする。Ｓ５０では逆ＤＣＴ部６０において低域係数データ１４０に逆ＤＣＴ処理を行い、低域画像データ１５０を得る。Ｓ６０では画素間引き部７０において係数分析データ１３０に基づいて画素の間引き処理を行い、間引き画像データ１６０を得る。Ｓ７０では係数分析出力部４０および間引き画像出力部８０において、それぞれ係数分析データ１３０および間引き画像データ１６０を外部に出力する。Ｓ８０ではＳ１０で入力された入力画像データ１１０が全て処理されたかどうかを判断し、未処理データがあればＳ１０へ戻り、すべて処理されていれば符号化手順を終了する。
【０１３５】
次に図４を用いて本実施例の復号手順について説明する。Ｓ１１０では間引き画像入力部２１０および係数分析入力部２２０において、それぞれ間引き画像データ１６０および係数分析データ１３０を外部より入力する。Ｓ１２０では係数補間部２３０において間引き画像データ１６０と係数分析データ１３０に基づいて補間係数データ３１０を得る。Ｓ１３０では逆ＤＣＴ部２４０において補間係数データ３１０に逆ＤＣＴ処理を施し、復号画像データ３２０を得る。Ｓ１４０では復号画像出力部２５０において復号画像データ３２０を外部へ出力する。Ｓ１５０ではＳ１１０で入力された間引き画像データ１６０および係数分析データ１３０が全て処理されたかどうかを判断し、未処理データがあればＳ１１０へ戻り、すべて処理されていれば復号手順を終了する。
【０１３６】
以上の動作中の係数分析処理について説明する。係数分析処理はＪＰＥＧ−ＤＣＴ方式で用いる量子化テーブルのように高域係数に対して粗い定数を使用する。ただし前述したように量子化ではなく、単なる閾値処理によってＤＣＴ係数の有効性を判断する。
【０１３７】
ＪＰＥＧ−ＤＣＴ方式の推奨テーブルを用いた場合の係数分析処理の流れを図６を用いて説明する。同図ａ）はＤＣＴ処理で得られる係数データ１２０の例である。これに対してＪＰＥＧ−ＤＣＴ方式の量子化を行うと、同図ｂ）の量子化係数データを得る。本実施例では閾値処理を行うので、例えば有効係数を１、無効係数を０で表すと同図ｃ）のような係数分析データ１３０を得る。
【０１３８】
本実施例の説明の始めに述べたように、間引ける画素数はｕ、ｖ各方向の最高周波数に応じて決まるから、この情報は同図ｄ）としても必要な情報は失われない。またフォーマットとしては（４，４）といったふうに略記してもよい。この係数分析データ１３０に基づいて高域係数マスク部５０で作成される低域係数データ１４０は同図ｅ）のようになる。
【０１３９】
また動作中、Ｓ１２０で係数補間部２３０において行われる係数補間処理は、本実施例の説明の始めに述べたように連立方程式を解くことによって行われる。なお選択される連立方程式は例えば８×８ブロックで高々６４通りの組合せしかないから、前もって逆行列を求めておけば簡単に処理が可能である。
【０１４０】
また動作中、Ｓ７０において出力される間引き画像データ１６０が後段の符号化装置で符号化されることを前提としていることは既に述べたが、これと同様に係数分析データ１３０が何らかの情報源符号化によって符号化されてもよい。
【０１４１】
以上のように本実施例によれば、後段に可逆符号化を用いることで、自然画像を効果的に非可逆符号化することが可能である。人工画像を符号化する場合には、図１の符号化装置の係数分析部３０で行う閾値処理に用いる量子化テーブルの値を全て０にすればよい。これにより係数データの量子化が行われなくなるので、計算誤差がなければ図１の符号化装置は可逆符号化装置として動作する。もちろん人工画像が入力される際には図１の構成をバイパスするようなデータパスを別に設けても構わない。
【０１４２】
また、図１の符号化装置の広域係数マスク部５０と逆ＤＣＴ部６０とにおける処理は、結局は画像入力部１０により入力された画像の高周波領域をカットすること、すなわちローパスフィルタ処理と同じ処理となる。したがって、広域係数マスク部５０と逆ＤＣＴ部６０とをローパスフィルタとすることも可能である。
【０１４３】
［第１の拡張例］
本実施例の拡張について述べる。ＪＰＥＧ−ＤＣＴ方式と本実施例を復号画像で比較したときに異なる点として、ＪＰＥＧ−ＤＣＴ方式では全ての画素値が入力画像のそれと微妙に異なる可能性があるのに対し、本実施例では間引かれなかった画素はそのまま復号側に送られることがあげられる。一例としてＪＰＥＧ−ＤＣＴ方式による復号画像と入力画像の画素値の差分の絶対値の平均を、いくつかの自然画像についてとった。これを係数データの分析結果で層別した結果を図７に示す。横軸の係数分析結果は次式で算出した。
【０１４４】
【数１２】

前述の例では逆ＤＣＴ処理した画像を復号画像としてそのまま出力するので、間引かれなかった画素でも計算誤差等によって画素値がずれることがある。本実施例ではこの復号画像を出力する前に、間引かれなかった画素を改めて本来の画素値に戻してやることが可能である。このような処理を入れておいた場合、再符号化した際に同じように間引くことで全く同一の間引き画像が得られる。従って符号化復号を繰り返しても画質劣化が重ならない非可逆符号化を実現できる。これが本実施例の第１の拡張例である。
【０１４５】
再符号化の際に最初の符号化と同じ画素を間引くためには、係数情報データ１３０および間引き画像データ１６０に間引き方の情報を含めればよい。図８はそのようなデータ形式の例である。この例ではヘッダとして間引き手法に関するデータを含めている。この間引き手法データは図９のように係数情報データ１３０に応じた間引き方を列挙したものでもよいし、単に予めつけたＩＤを示すようなものでもよい。もちろん間引き方が係数情報データ１３０以外の条件に依存しない符号化装置で符号化復号を繰り返す場合は、このような仕組みは必要ない。
【０１４６】
図１０は本実施例の第１の拡張例における復号装置の構成図である。図中、図１と同様の部分には同一の符号を付して説明を省略する。２４１は画素値補正部、３２１は補正復号画像データである。
【０１４７】
図１０の各部について説明する。画素値補正部２４１は復号画像データ３２０のうち、間引き画像データ１６０によって与えられる画素については、間引き画像データ１６０の画素値に置き換える。その結果を補正復号画像データ３２１として復号画像出力部２５０へ送出する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。
【０１４８】
［第２の拡張例］
本実施例の拡張に戻る。前出の図７で見たようにＪＰＥＧ−ＤＣＴ方式にならって考えれば、本実施例の後段で予測符号化する際に画素値を量子化してもそれほど画質に影響を与えないことが期待される。ここで許される量子化は周波数成分に対して行う閾値処理に依存すると考えられるから、両者を連携して制御すれば効率的な量子化が可能である。前出の図７の例は図３７ａ）の量子化テーブルで固定的に閾値処理した結果だが、係数データの分析結果によって復号誤差の絶対値の傾向が掴める。これを参考に画素値量子化処理を行ってもよい。例えば誤差は一様分布で発生すると仮定して量子化ステップを誤差値の平均の２倍と見積もれば、（１４）式が分析タイプ毎に成立する。
【０１４９】
【数１３】
（量子化ステップ）＝（復号誤差絶対値平均）×２（１４）
誤差分布が例えば０を中心にした偏りがあるのであれば、（１４）式の２はもう少し小さい値でもよい。いずれにしてもこの値は統計処理によって実験的に算出できる。もちろんもっと複雑な仮定をいれて（１４）式を非線形演算で算出してもよい。以上が本実施例の第２の拡張例である。
【０１５０】
図１１は本実施例の第２の拡張例における符号化装置の構成図である。図中、図１と同様の部分には同一の符号を付して説明を省略する。７１は画素値量子化部、１６１は量子化間引き画像データである。
【０１５１】
図１１の各部について説明する。画素値量子化部７１は係数分析部３０で用いられる閾値と係数分析データ１３０とに基づき、復号画像データ１６０に対して予め定められた手法で画素値を量子化し、量子化復号画像データ１６１として間引き画像出力部８０へ送出する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。
【０１５２】
以上の例で、もちろん画素値量子化部７１における量子化が閾値や係数分析データ１３０に関連しない、固定的なものでも構わない。
【０１５３】
［第３の拡張例］
本実施例の第３の拡張例について述べる。係数分析処理に用いられる閾値を制御することで非可逆符号化と可逆符号化のいずれも実行可能であることはすでに述べた。以下、このような閾値制御がダイナミックに行われる変形例を第３の拡張例として述べる。
【０１５４】
図１２は本実施例の第３の拡張例の構成図である。図中、３１は画像判定部、１３１は閾値制御データである。
【０１５５】
図１２の各部について説明する。画像判定部３１は入力画像データ１１０に対して予め定められた手法で画像の判定を行い、その結果を閾値制御データ１３１として係数分析部３０へ送出する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。
【０１５６】
画像判定部３１は自然画像と人工画像の判定を行う。具体的には画素値の分布の広がり方、下位ビットのエントロピー、エッジの急峻さ等からノイズの有無が推定されるので、これに基づいて判定を行う。図は省略するが、外部から自然画像と人工画像の区別がサイド情報として送られるような構成でもよい。この場合画像判定部３１はサイド情報から閾値制御データ１３１への変換を行う。
【０１５７】
このような閾値制御は画像毎に行われるものでも、画像の局所毎に行われるものでもよい。また自然画像と人工画像という区別にとらわれず、画像の局所的な性質に基づいて制御されるものでもよい。例えば画素値や周波数成分の分布、エッジの鋭さ、パターンの有無、細線の有無、グラデーションの有無等が指標となり得る。
【０１５８】
［第１の簡易化］
次に本実施例の簡易化について述べる。図２の復号装置において係数補間部２３０と逆ＤＣＴ部２４０の代わりに直接画素値を補間する手段を設けてもよい。ここでいう画素値を補間する手段というのは、画像処理で行われるような最近傍補間、４点線形補間、９点２次補間など、画素値を補間するものであれば何でもよい。この場合、やはり本実施例の原理が成立しないので画質劣化は避けられない。しかし原理的には本実施例で行う係数補間処理はＤＣＴ係数上でのローパスフィルタ的な効果があり、上で列挙した画素値補間処理もまたローパスフィルタ的な効果があることから、非常に簡単な近似とみなすことが可能である。以上が本実施例の第１の簡易化例である。
【０１５９】
図１３は本実施例の第１の簡易化例の構成図である。図中、図２と同様の部分には同一の符号を付して説明を省略する。２３１は画素値補間部である。
【０１６０】
図１３の各部について説明する。画素値補間部２３１は間引き画像データ１６０に対して予め定められた手法で間引かれた画素を補間し、復号画像データ３２０として復号画像出力部２５０へ送出する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。
【０１６１】
上述のように第１の簡易化例における画素値補間はローパスフィルタの効果があるため、同数の画素を間引いても選択する画素に依存して画質に差を生じる可能性がある。また制限を守れば画素選択はある程度自由に行えることは既に述べた。そこで例えば残す画素を選択する際にブロック内のピーク値を選択するように調整すればブロックのダイナミックレンジを損なわずにすむ。
【０１６２】
また画素値補間を行う場合は（８）式が成立する必要はないので、折り返し歪みの問題を除けば間引き処理の対象となる画像は高域を制限されていなくてもよい。従って例えば図１の符号化装置において高域係数マスク部５０と逆ＤＣＴ部６０を設ける代わりに直接入力画像データ１１０を画素間引き部７０へ送出してもよい。この場合、大幅に処理を簡易化することができる。この構成図を図１４に示す。各部および動作の説明は省略する。なお図１の係数分析部３０で高域成分に対していかなる量子化も行わない場合は、入力画像が既に（８）式を満たす。従って画質や符号量への影響なくやはり図１４の構成で符号化装置が実現できる。
【０１６３】
さらに復号装置で画素値補間を行う場合でも、符号化装置で復号画像をシミュレートすることが可能である。従って図１の係数分析部３０の代わりに画素値補間された復号画像データ３２０をシミュレートし、入力画像データ１１０との誤差を評価しつつ係数情報データ１３０を決定するような手段を設けてもよい。誤差の評価はＳＮ比でもよいし、誤差の最大値、分散、ダイナミックレンジ等でもよい。この場合、係数情報データ１３０は単に画素の間引き率を意味する。この場合周波数分析を行わないので、明らかにＤＣＴ部２０は省略できる。構成は類推が可能なので構成図以下の説明は省略する。
【０１６４】
［第２の簡易化］
次に入力として画像の代わりにＤＣＴ係数を受け取る場合を考える。例えばＪＰＥＧ−ＤＣＴ方式で符号化された画像を受け取る場合、対応するエントロピー復号によって得られるデータは画素値ではなくてＤＣＴ係数になる。このような場合は図１の符号化装置の係数分析部３０および高域係数マスク部５０に、ＤＣＴ係数を直接入力すればよい。こうすればＤＣＴ部２０とその処理を省略することができる。これが本実施例の第２の簡易化例である。
【０１６５】
図１５は本実施例の第２の簡易化例の構成図である。図中、図１と同様の部分には同一の符号を付して説明を省略する。１１は符号入力部、２１はエントロピー復号部、１１１は符号データである。
【０１６６】
図１５の各部について説明する。符号入力部１１は外部より符号を入力し、符号データ１１１としてエントロピー復号部２１へ送出する。エントロピー復号部２１は符号データ１１１を復号し、係数データ１２０として係数分析部３０および高域係数マスク部５０へ送出する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。
【０１６７】
このようにＤＣＴ係数が入力となる場合には、すでにＤＣＴ係数に量子化がかかっている場合も想定される。この場合エントロピー復号部２１で逆量子化処理を行う必要がある。
【０１６８】
さらに入力される符号の量子化ステップが係数分析部３０に予め定められた量子化ステップよりも粗い場合、各部の処理が簡略化できる。ひとつは係数分析部３０における係数分析処理に関し、０でない係数が閾値処理の結果０になることはないので、閾値処理でなく単に周波数成分が０か０以外かを判断すればよい。また同様の理由で高域係数マスク部５０と逆ＤＣＴ部６０で行われる処理は画像劣化なしに省略できる。図１５の復号装置はこのような場合に、上述の部分をバイパスできるような構成でも構わない。
【０１６９】
［第３の簡易化］
次に第３の簡易化例を説明する。図１および図２の構成によれば係数分析データ１３０と間引き画像データ１６０については独立に入出力が行われるが、両方のデータをまとめてて入出力しても構わない。これが第３の簡易化例である。
【０１７０】
図１６は本実施例の第３の簡易化例の構成図である。図中、図１と同様の部分には同一の符号を付して説明を省略する。７２はデータ合成部、８１は合成データ出力部、１６２は合成データである。
【０１７１】
図１６の各部について説明する。データ合成部７２は係数分析データ１３０と間引き画像データ１６０を合成し、合成データ１６２として合成データ出力部８１へ送出する。合成データ出力部８１は合成データ１６２を外部へ出力する。他の部分の説明と動作の説明は前述の説明と大差ないため省略する。また第３の簡易化例の符号化装置に対応する復号装置に関しても類推が容易なため説明を省略する。
【０１７２】
データ合成部７２で行われるデータ合成処理について説明する。合成データ１６２は復号装置で係数分析データ１３０と間引き画像データ１６０に分解できるように合成する必要がある。そのような例としては図１７のように単純に２つをまとめる方式や、図１８のようにブロック毎にまとめる方式等、いくつかの例が考えられる。もちろんこれ以外の単位でまとめてもよい。
【０１７３】
［第４の簡易化］
次に第４の簡易化例を説明する。前もって入力画像の有効な周波数成分がわかっているような場合には、外部から係数情報を指定してもよい。これが第４の簡易化例である。
【０１７４】
図１９は本実施例の第４の簡易化例の構成図である。図中、図１と同様の部分には同一の符号を付し、各部および動作の説明は省略する。
【０１７５】
このような構成をとると、例えば高域成分が明らかにノイズだと分かっているような場合に、直接０にする成分を指定できるので符号量が減少する。そのような画像の例としては例えば低解像度のスキャナで入力された後に拡大された自然画像があげられる。このような拡大画像は拡大によるぼけを抑制するために、エッジ強調等の処理がかけられることがある。このような処理によって生成される高周波成分はノイズとはいえない。しかし復号後に再現することも可能なので、本発明でいうところの最適な解像度で再現する必要はない。一方、第１の従来例ではこのような画像でも高域まで再現するので、符号量が削減できない。この現象は出力機器の解像度が向上するにつれ顕著になる。この様子を示すのが図２７である。
【０１７６】
最後に本実施例の一形態に基づいて自然画像と人工画像を符号化した実験結果例を図２０に示す。またある自然画像について本実施例の一形態と第１の従来例に基づいて作成した復号画像と入力画像の差分画像を図２８および図２９に示す。
【０１７７】
［実施例２］
本発明の基本的な発想は自然画像においていわばオーバーサンプリングされていると見なせる画素を間引き、画素空間上で非可逆の符号化処理を実現することにある。この考え方はＤＣＴ以外の周波数変換手法へも拡張することが可能である。以下、本発明の第２の実施例として一般的な周波数変換手法を用いた実施例について述べる。
【０１７８】
図２１および図２２はそれぞれ本発明の第２の実施例の画像符号化装置、復号装置の構成図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。２２は周波数変換部、６１は逆変換部、２４２は逆変換部である。
【０１７９】
図２１および図２２の各部について説明する。周波数変換部２２は何らかの手法で入力画像データ１１０を周波数変換し、得られる周波数成分を係数データ１２０として係数分析部３０および高域係数マスク部５０へ送出する。逆変換部６１および逆変換部２４２はそれぞれ係数データ１４０、３１０に対し、周波数変換部２２で行われる周波数変換の逆変換を施し、その結果をそれぞれ低域画像データ１５０、復号画像データ３２０として出力する。他の部分の説明と動作の説明は本発明の第１の実施例の説明と大差ないため省略する。
【０１８０】
以上の説明の中で、周波数変換処理は周波数変換できるものであれば何でもよい。例えば高速フーリエ変換、離散サイン変換、サブバンド分割等がこれにあたる。
【０１８１】
係数補間部２３０における補間処理は使用する周波数変換処理に依存する。第１の実施例ではＤＣＴに対して線形連立方程式を解くことで補間が実現できることを説明した。高速フーリエ変換で画像をブロック化する場合や、離散サイン変換に対しては同様の手法が応用できる。
【０１８２】
サブバンド分割の場合は例えばバンド毎に有効性を判定し、無効とみなしたバンドの成分を０とすることで高域係数をマスクできる。補間時は間引き画像から低域バンドの成分を再構成し、高域バンドを０で補えば係数補間が実現できる。
【０１８３】
また全ての周波数変換手法にいえることだが、係数補間部２３０で行う補間を図１３の構成のように画素値補間で置き換えれば、簡易的にではあるが補間処理が実現できる。
【０１８４】
［実施例３］
以上では本発明を画像符号化装置、復号装置として説明してきたが、見方を変えることで一部の画像処理装置に応用することができる。以下、本発明の第３の実施例として、マルチプレーン画像を扱う画像符号化装置に本発明を応用した実施例について述べる。詳細の説明に入る前に、マルチプレーン画像を定義する。ここでいうマルチプレーン画像とは、異なる素材画像を重ね合わせてつくる画像で、それぞれの素材画像を別個に扱っておいて出力時に１枚に重ね合わせるものを指す。ただし別個に扱うのは素材画像毎ではなくて、第３の従来例で述べたように自然画像と人工画像といった画像種別に応じて分類してもよい。別個に扱う素材画像、すなわちプレーンの個数はいくつでも構わないが、以下の説明では簡単のために自然画像と人工画像および切換情報の３プレーンからなるものとする。図２３はこのような画像の説明図である。
【０１８５】
図２３では人工画像を自然画像に上書きして出力画像を得ている。ここで自然画像を符号化することを考えると、上書きされる部分は出力画像の生成には必要ないので、この部分を符号化に都合の良い画素値に置き換えてやれば圧縮率を向上することができる。図２４はそのような画素値置換の説明図である。図２４ｄ）に斜線でハッチングした部分が、画素値を置換できる部分である。
【０１８６】
しかし実際には周波数を使った符号化に都合のよい画素値を求めるのは簡単ではない。画素値置換で最も単純なのは、白または黒などの固定値で埋めてしまう手法である。これだと処理は簡単だが、画素値置換部分と元画像部分との境界でエッジが発生する可能性があり、周波数変換符号化では高圧縮率は望めない。これに対して置換に使う固定値を残った画素値の平均値などで置き換えてやれば、エッジは発生しにくくなるが、最適な画素値である保証はない。しかも平均値を求めなければならず、処理負荷が大きい。
【０１８７】
ところで図２４ｄ）をよく見ると、第１の実施例および図５で説明した間引き方の条件を満たしていることがわかる。そこでこれを間引き画像と考えて、本発明の係数補間処理を応用して周波数変換することを考える。本発明によれば間引き画像を表現する周波数成分の組合せのうち、なるべく高域を０とするような組合せを求めることができる。例えば前出のＪＰＥＧ−ＤＣＴ方式の場合、低域から符号化していくので、高域を０にするということは符号量を小さくすることと同義である。しかも本発明の場合、置き換え部分の画素を埋める必要がないので、付加的な処理も発生しない。これが本実施例の基本アイディアである。
【０１８８】
図２５は本発明の第３の実施例の画像処理装置の構成図である。図中、図１、２９、４２と同様の部分には同一の符号を付して説明を省略する。１７は切換情報入力部、１１８は入力切換データである。
【０１８９】
図２５の各部について説明する。切換情報入力部１７は入力切換データ１１８を外部より入力し、画素間引き部７０へ送出する。画素間引き部７０については説明を補足する。画素間引き部７０は入力自然画像データ１１３に対して、入力切換データ１１８が人工画像を選択する部分に間引き処理を行い、間引き画像データ１６０として出力する。
【０１９０】
動作については他の実施例などの説明から類推が可能なので、説明を省略する。
【０１９１】
画素間引き部７０で行われる間引き処理は本発明の第１の実施例で説明した、間引き方の条件を満たすように間引く。この例を図２６に示す。図２６ａ）のような切換情報が与えられたとき、図２６ｂ）のような間引き方をすれば、本発明の係数補間処理を適用することができる。人工画像を選択するにもかかわらず、画素値を保存する画素が残るが、この部分は固定値や平均値で置き換えてもよい。
【０１９２】
なお、本実施例は第２の実施例と同様、ＤＣＴ以外の周波数変換へも容易に拡張可能である。また、係数出力部４５の後にエントロピー符号化を行うのが普通だが、本発明の本質に影響しないのでここでは説明を省略する。また、本実施例によって作成された符号は、例えば第１の従来例で述べた復号器によって復号が可能であるので、復号に関する説明は省略する。
【０１９３】
【発明の効果】
以上の説明から明らかなように本発明によれば自然画像、人工画像の区別なく、単一の装置で効率的な符号化復号処理を実現できる。従って２つの符号化方式を組み合せる場合に比較してページメモリを除去できる等の効果がある。さらに、本発明の後段で画像処理を行うことにより画像処理の高速化を実現できる。さらに、符号化／復号処理の繰り返して画質の劣化しない符号化復号処理を実現できる。さらに、実際の高解像度入力画像は一般的に低解像度の画像を拡大したものが多い。このような場合、拡大前の実効解像度に対するのと同様の符号量で符号化できる。さらに本発明をマルチプレーン画像の符号化処理に適用することにより、上書きされる画素を含む画像を効率的に符号化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の画像符号化装置を示す構成図である。
【図２】本発明の第１の実施例の画像復号装置を示す構成図である。
【図３】本発明の第１の実施例の画像符号化装置の符号化処理の動作の一例を示すフローチャートである。
【図４】本発明の第１の実施例の画像復号装置の復号処理の動作の一例を示すフローチャートである。
【図５】本発明の第１の実施例における間引き処理の説明図である。
【図６】本発明の第１の実施例における係数データの処理の説明図である。
【図７】ＪＰＥＧ−ＤＣＴ方式の復号画像における画素値の誤差に関する説明図である。
【図８】再符号化の間引きのための情報を説明する図である。
【図９】再符号化の間引きのための情報を説明する図である。
【図１０】本発明の第１の実施例における拡張例を示す構成図である。
【図１１】本発明の第１の実施例における拡張例を示す構成図である。
【図１２】本発明の第１の実施例における拡張例を示す構成図である。
【図１３】本発明の第１の実施例における簡易化例を示す構成図である。
【図１４】本発明の第１の実施例における簡易化例を示す構成図である。
【図１５】本発明の第１の実施例における簡易化例を示す構成図である。
【図１６】本発明の第１の実施例における簡易化例を示す構成図である。
【図１７】本発明の第１の実施例における簡易化例を示す図である。
【図１８】本発明の第１の実施例における簡易化例を示す図である。
【図１９】本発明の第１の実施例における簡易化例を示す構成図である。
【図２０】本発明の第１の実施例の実験結果例を示す説明図である。
【図２１】本発明の第２の実施例の画像符号化装置を示す構成図である。
【図２２】本発明の第２の実施例の画像復号装置を示す構成図である。
【図２３】本発明の第３の実施例のマルチプレーン画像を説明する図である。
【図２４】本発明の第の実施例における画素値の置換を説明する図である。
【図２５】本発明の第３の実施例の画像処理装置を示す構成図である。
【図２６】本発明の第３の実施例の動作を説明するである。
【図２７】第１の実施例と第１の従来例の符号量の比較を模式的に示した説明図である。
【図２８】第１の実施例と第１の従来例の画質劣化の比較を示した説明図である。
【図２９】第１の実施例と第１の従来例の画質劣化の比較を示した説明図である。
【図３０】画像の特性を示す実験例の説明図である。
【図３１】画像の特性を示す実験例の説明図である。
【図３２】画像の特性を示す実験例の説明図である。
【図３３】第１の従来例の画像符号化装置を示す構成図である。
【図３４】第１の従来例の画像復号装置を示す構成図である。
【図３５】第１の従来例における符号化処理の動作の一例を示すフローチャートである。
【図３６】第１の従来例における復号処理の動作の一例を示すフローチャートである。
【図３７】第１の従来例で使用する量子化テーブル例の説明図である。
【図３８】第２の従来例の画像符号化装置を示す構成図である。
【図３９】第２の従来例の画像復号装置を示す構成図である。
【図４０】第２の従来例における符号化処理の動作の一例を示すフローチャートである。
【図４１】第２の従来例における復号処理の動作の一例を示すフローチャートである。
【図４２】第２の従来例で使用する予測器の説明図である。
【図４３】モスキートノイズの説明図である。
【図４４】第１の従来例による実験例の説明図である。
【図４５】第２の従来例による実験例の説明図である。
【図４６】第３の従来例を示す構成図である。
【符号の説明】
１０画像入力部
１１符号入力部
１５人工画像入力部
１６自然画像入力部
２０ＤＣＴ部
２１エントロピー復号部
２２周波数変換部
２５予測部
３０係数分析部
３１画像判定部
３５係数量子化部
４０係数情報出力部
４５係数出力部
４６予測誤差出力部
５０高域係数マスク部
６０逆ＤＣＴ部
６１逆変換部
７０画素間引き部
７１画素値量子化部
７２データ合成部
８０間引き画像出力部
８１合成データ出力部
９０人工画像符号化部
９１自然画像符号化部
９２人工画像記憶部
９３自然画像記憶部
９４人工画像復号部
９５自然画像復号部
９６画像合成部
１１０入力画像データ
１１１符号データ
１１２入力人工画像データ
１１３入力自然画像データ
１１４人工画像符号データ
１１５自然画像符号データ
１１６復号人工画像データ
１１７復号自然画像データ
１２０係数データ
１３０係数分析データ
１３１閾値制御データ
１４０低域係数データ
１５０低域画像データ
１６０間引き画像データ
１６１量子化間引き画像データ
１６２合成データ
１７０量子化係数データ
１７１予測誤差データ
２１０間引き画像入力部
２２０係数情報入力部
２２５係数入力部
２２６予測誤差入力部
２３０係数補間部
２３１画素値補間部
２４０逆ＤＣＴ部
２４１画素値補正部
２４２逆変換部
２５０復号画像出力部
３１０補間係数データ
３２０復号画像データ
３２１補正復号画像データ
３３０逆量子化係数データ

Claims

画像を入力する画像入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記周波数変換手段により求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて、前記画像入力手段により入力された画像の前記最高周波数成分を含む低域周波数成分の画像を出力する低域周波数画像出力手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記低域周波数画像出力手段により出力された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報を出力する係数情報出力手段と、
前記画素間引き手段により画素間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする画像符号化装置。
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記周波数変換手段により求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて前記周波数変換手段により求められた周波数成分のうち前記最高周波数成分以下の周波数成分を含まない周波数領域の高域周波数成分を０で置き換える高域係数マスク手段と、
前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記逆変換手段により変換された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報を出力する係数情報出力手段と、
前記画素間引き手段により画素間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする画像符号化装置。
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記周波数変換手段により求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記画像入力手段により入力された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報を出力する係数情報出力手段と、
前記画素間引き手段により画素間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする画像符号化装置。
画像に対して周波数変換しエントロピー符号化を行った符号を入力する符号入力手段と、
前記符号入力手段により入力された符号に対して該符号に行われたエントロピー符号化の逆変換にあたる復号を行うことにより周波数成分を得るエントロピー復号手段と、
前記エントロピー復号手段で得られた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて、前記エントロピー復号手段で得られた周波数成分のうち前記最高周波数成分以下の周波数成分を含まない周波数領域の高域周波数成分を０で置き換える高域係数マスク手段と、
前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記逆変換手段により変換された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報を出力する係数情報出力手段と、
前記画素間引き手段により画素間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする画像符号化装置。
前記エントロピー復号手段の復号とは、ハフマン符号化、算術符号化またはＱＭ符号化のいずれかであることを特徴とする請求項４に記載の画像符号化装置。
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記周波数変換手段により求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて、前記周波数変換手段で得られた周波数成分のうち前記最高周波数成分以下の周波数成分を含まない周波数領域の高域周波数成分を０で置き換える高域係数マスク手段と、
前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記逆変換手段により変換された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記画素間引き手段で得られた間引き画像と前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報とを合成するデータ合成手段と、
前記データ合成手段で合成された合成データを出力する合成データ出力手段とを具備することを特徴とする画像符号化装置。
画像を入力する画像入力手段と、
画像を周波数変換して得た周波数成分のうち所定の閾値を基準にして大きな値を持つ周波数成分の分布の最高周波数成分を表す係数情報を入力する係数情報入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記係数情報入力手段により入力された係数情報に応じて、前記周波数変換手段により求められた周波数成分のうち上記最高周波数成分以下の周波数成分を含まない領域の高域周波数成分を０で置き換える高域係数マスク手段と、
前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、
前記係数情報入力手段により入力された係数情報に応じて決定される画素間引き態様で、前記逆変換手段により変換された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記係数情報入力手段により入力された係数情報を出力する係数情報出力手段と、
前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段とを具備することを特徴とする画像符号化装置。
さらに、前記間引き画像出力手段により出力される間引き画像に対して画像符号化を行う画像符号化手段を有することを特徴とする請求項１ないし５または７に記載の画像符号化装置。
前記画像符号化手段で行われる画像符号化は、可逆符号化または予測符号化のいずれか若しくは両方であることを特徴とする請求項８に記載の画像符号化装置。
さらに、前記係数情報出力手段により出力される係数情報に対して情報源符号化を行う係数情報符号化手段を有することを特徴とする請求項１ないし５または７に記載の画像符号化装置。
前記周波数変換手段および前記逆変換手段で行われる周波数変換は、離散コサイン変換、フーリエ変換、離散サイン変換、サブバンド変換またはウェーブレット変換であることを特徴とする請求項２、６、７に記載の画像符号化装置。
前記閾値処理手段の閾値処理は、所定の量子化テーブルを閾値とした閾値処理であることを特徴とする請求項１ないし３、４ないし６に記載の画像符号化装置。
前記閾値処理手段で用いられる量子化テーブルは、外部から設定できることを特徴とする請求項１２に記載の画像符号化装置。
前記高域係数マスク手段は、前記閾値処理手段により最高周波数成分より大きい成分を０に置換することを特徴とする請求項２、４ないし７に記載の画像符号化装置。
前記画素間引き手段で行われる画素間引き処理の間引きの割合は、予め定められた所定の値に量子化されることであることを特徴とする請求項１ないし１４に記載の画像符号化装置。
前記画素間引き手段の所定の画素間引き処理は、格子状に画素を残すこと、縦方向と横方向に同じ割合で行うこと、残る画素がほぼ等間隔になるように行うこと、周辺画素中のピーク値を優先的に残すことであることを特徴とする請求項１ないし１４に記載の画像符号化装置。
前記画素間引き手段の画素間引き処理は、前記画像入力手段により入力された画像がすでに画像符号化装置により符号化されたことがある場合には前回間引かれた画素と同じ画素を間引くことであることを特徴とする請求項１ないし１６に記載の画像符号化装置。
さらに、前記画素間引き手段により画素間引き処理された画像の画素値を量子化する画素値量子化手段を有することを特徴とする請求項１ないし１７に記載の画像符号化装置。
前記画素値量子化手段は、前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて量子化ステップを変更すること、または前記閾値処理手段で使用される閾値の大きさに応じて量子化ステップを変更することであることを特徴とする請求項１８に記載の画像符号化装置。
さらに、前記画像入力手段により入力された画像に対して所定の分析を行い前記閾値処理手段で使用する閾値を決定する画像判定手段を有することを特徴とする請求項１ないし１９に記載の画像符号化装置。
前記画像判定手段は、自然画像と人工画像の違いを判定し、人工画像の場合は閾値を０として前記閾値処理手段における閾値処理で０にされる周波数成分が発生しないように制御することを特徴とする請求項２０に記載の画像符号化装置。
前記画像判定手段の所定の分析処理は、画素値のダイナミックレンジの測定、画素値のヒストグラムの測定、画素値の下位ビットのエントロピーの測定、エッジの急峻さの測定、線の太さの測定、周波数成分の測定、外部から指定されること、またはエッジ、パターン、グラデーション、線のうち少なくとも１つ以上の成分を検出することを特徴とする請求項２０に記載の画像符号化装置。
画像を周波数変換して得た周波数成分のうち所定の閾値を基準にして大きな値を持つ周波数成分の分布の最高周波数成分を表す係数情報を入力する係数情報入力手段と、
間引き画像を入力する間引き画像入力手段と、
前記間引き画像入力手段により入力された間引き画像に対して、前記係数情報入力手段により入力された係数情報に応じて決定される補間演算を適用して画素間引きまえの画像の周波数成分を算出する係数補間手段と、
前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換を行う逆変換手段と、
前記逆変換手段により変換された画像を出力する復号画像出力手段とを具備することを特徴とする画像復号装置。
画像の一定領域であるブロック毎に周波数変換して得た周波数成分のうち所定の閾値を基準にして大きな値を持つ周波数成分の分布の最高周波数成分を表す係数情報を入力する係数情報入力手段と、
ブロック毎の間引き画像を入力する間引き画像入力手段と、
前記間引き画像入力手段により入力された間引き画像に対して前記係数情報入力手段により入力された係数情報に応じて決定される画素補間態様で間引き画素の画素値を補間する画素値補間手段と、
前記画素値補間手段により補間された画像を出力する復号画像出力手段とを具備することを特徴とする画像復号装置。
前記画素値補間手段の所定の手法は、最近傍補間、４点線形補間、９点２次補間、またはローパスフィルタ処理であることを特徴とする請求項２４に記載の画像復号装置。
画像を周波数変換して得た周波数成分のうち所定の閾値を基準にして大きな値を持つ周波数成分の分布の最高周波数成分を表す係数情報と間引き画像の合成されたデータである合成データを入力する合成データ入力手段と、
前記合成データ入力手段により入力された合成データを間引き画像と係数情報に分解するデータ分解手段と、
前記データ分解手段により分解された間引き画像に対して、係数情報に応じて決定される補間演算を適用して画素間引きまえの画像の周波数成分を算出する係数補間手段と、
前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換する逆変換手段と、
前記逆変換手段により変換された画像を出力する復号画像出力手段とを具備することを特徴とする画像復号装置。
さらに、間引き画像に対して画像符号化した符号を、画像に復号する画像復号手段を有し、前記間引き画像入力手段は、前記画像復号手段により復号された画像を間引き画像として入力することを特徴とする請求項２３ないし２６に記載の画像復号装置。
前記画像復号手段で行われる復号は、可逆符号化の逆処理、または予測符号化の逆処理であることを特徴とする請求項２７に記載の画像復号装置。
さらに、前記逆変換手段により変換された画像のうち前記間引き画像入力手段により入力された間引き画像に含まれる画素については、前記間引き画像の画素値で置き換える画素値補正手段を有し、前記復号画像出力手段は、前記画素値補正手段により補正された画像を出力することを特徴とする請求項２３ないし２８に記載の画像復号装置。
前記逆変換手段の周波数変換は、離散コサイン変換、フーリエ変換、離散サイン変換、サブバンド変換またはウェーブレット変換であることを特徴とする請求項２３、２６に記載の画像復号装置。
前記係数補間手段で行われる係数補間は、周波数係数と画素値に関する線形の連立方程式を解くこと、周波数係数と画素値に関する線形の連立方程式に対して事前に求められた逆行列の演算、または間引き画像に対するローパスフィルタ処理もしくはその近似処理であることを特徴とする請求項２３、２６に記載の画像復号装置。
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像の周波数成分を求める周波数変換を行う周波数変換手段と、
前記周波数変換手段により求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて前記周波数変換手段により求められた周波数成分のうち前記最高周波数成分以下の周波数成分を含まない高域周波数成分を０で置き換える高域係数マスク手段と、
前記高域係数マスク手段により高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う第１の逆変換手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記第１の逆変換手段により変換された画像に対して所定の画素間引き処理を行う画素間引き手段と、
前記閾値処理手段により前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報を出力する係数情報出力手段と、
前記画素間引き手段により間引き処理された画像を出力する間引き画像出力手段前記係数情報出力手段により出力された、前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に関する情報である係数情報を入力する係数情報入力手段と、
前記間引き画像出力手段により出力された間引き画像を入力する間引き画像入力手段と、
前記間引き画像入力手段により入力された間引き画像に対して、前記係数情報入力手段により入力された係数情報に応じて決定される補間演算を適用して周波数成分を算出する係数補間手段と、
前記係数補間手段により算出された周波数成分を画像に変換する逆周波数変換を行う第２の逆変換手段と、
前記第２の逆変換手段により変換された画像を出力する復号画像出力手段とを具備することを特徴とする画像符号化復号装置。
画像を入力する画像入力ステップと、
前記画像入力ステップにより入力された画像の周波数成分を求める周波数変換を行う周波数変換ステップと、
前記周波数変換ステップにより求められた周波数成分の大きさが所定の閾値を基準にして大きな値を持つかどうかを判別する閾値処理ステップと、
前記閾値処理ステップにより前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて前記周波数変換ステップにより求められた周波数成分のうち前記最高周波数成分以下の周波数成分を含まない周波数領域の高域周波数成分を０で置き換える高域係数マスクステップと、
前記高域係数マスクステップにより高域周波数成分を０で置き換えた周波数成分を画像に変換する逆周波数変換を行う逆変換ステップと、
前記閾値処理ステップにより前記大きな値を持つと判別された周波数成分の分布の最高周波数成分に応じて決定される画素間引き態様で、前記逆変換ステップにより変換された画像に対して所定の画素間引き処理を行う画素間引きステップと、
前記閾値処理ステップにより前記大きな値を持つと判別された周波数成分の分布に関する情報を出力する係数情報出力ステップと、
前記画素間引きステップにより間引き処理された画像を出力する間引き画像出力ステップとを具備することを特徴とする画像符号化方法。
画像を周波数変換して得た周波数成分のうち所定の閾値を基準にして大きな値を持つ周波数成分の分布の最高周波数成分を表す係数情報を入力する係数情報入力ステップと、
間引き画像を入力する間引き画像入力ステップと、
前記間引き画像入力ステップにより入力された間引き画像に対して、前記係数情報入力ステップにより入力された係数情報に応じて決定される補間演算を適用して画素間引きまえの画像の周波数成分を算出する係数補間ステップと、
前記係数補間ステップにより算出された周波数成分を画像に変換する逆周波数変換を行う逆変換ステップと、
前記逆変換ステップにより変換された画像を出力する画像出力ステップとを具備することを特徴とする画像復号方法。