JPH11146394A

JPH11146394A - 画像分析装置および画像符号化復号装置

Info

Publication number: JPH11146394A
Application number: JP30243297A
Authority: JP
Inventors: Shunichi Kimura; 俊一木村; Yutaka Koshi; 裕越
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1997-11-05
Filing date: 1997-11-05
Publication date: 1999-05-28

Abstract

(57)【要約】【課題】自然画像と人工画像との区別なく効率的な圧
縮を行う。【解決手段】入力画像は、ｎ×ｍ画素の矩形に分割さ
れ、分割された矩形毎に、ｎ×ｍ間引き画素判断手段１
０１において間引き画素数が決定される。複数個のｎ×
ｍ画素の矩形の間引き率を基に、さらに次の段階で間引
きを行うかどうかを、次段階間引き判断手段１０２で判
断する。次段階間引き判断手段１０２でさらに、間引き
を行うと判断された場合、ｎ’×ｍ’間引き画素判断手
段１０３で間引き率を判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像のサブサンプ
リングパターンを分析する画像分析装置および画像符号
化復号装置に関するものである。

【０００２】

【従来の技術】画像は一般に非常に大量のデータとなる
ので、蓄積や伝送の際には符号化によって圧縮するのが
一般的である。このとき画像符号化の対象となる画像デ
ータを２つに大別すると、例えば自然画像と人工画像に
分けられる。

【０００３】前者は実在する画像を何らかの手段でデジ
タルデータに変換したもので、例えば写真をスキャナで
読み取ったり、風景をデジタルカメラで取り込んだもの
がこれに相当する。後者は実在しない画像を何らかの手
段でデジタルデータとして作成したもので、例えばコン
ピュータ・グラフィックスやワードプロセッサによって
作られた原稿等がこれに相当する。以降、自然画像、人
工画像という言葉はこの定義で用いる。

【０００４】一般的に自然画像はデジタル変換時にノイ
ズが重畳され、高域成分が劣化する傾向がある。この結
果として、得られるデジタルデータは下位ビットの情報
量が多く、使われる色数も多い。また周波数分析すると
成分が低域に集中しやすく、高域は減衰する。

【０００５】逆に人工画像は故意にノイズを加えた場合
を除いて下位ビットの情報量は多くなく、使われる色も
特定色に集中しやすい。またエッジや細線等がシャープ
に出るため、高域にも重要な情報が多く含まれる。

【０００６】以上の事実を確認する２つの実験例を図２
６に示す。第１の実験としてＤＣＴ（離散コサイン変
換：ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏ
ｒｍ）処理によって得られる係数に対して、個別に２乗
平均して平方根をとった値をいくつかの画像について調
べた。この結果を同図ａ）のように８つのエリア別に加
算した結果を同図ｂ）に示す。ＤＣＴ係数は左上から右
下にいくにつれ周波数が高くなるように表記するので、
同図ｂ）ではｘ軸で右側が高い周波数にあたる。同図か
ら明らかなように自然画像は高域になるに従って成分が
減少するのに対し、人工画像は周波数にかかわらず成分
が分布する。

【０００７】第２の実験は画像から隣り合った画素値を
取り出し、左側の画素値を右側の画素値から減算した結
果の統計をとった。これは一般には前値差分等と呼ばれ
る値である。図２６ｃ）は第２の実験結果である。同図
から明らかなように人工画像では自然画像に比較して前
値差分が０に集中する。これは左側の画素値から右側の
画素値を予測する前値予測の予測精度が高くなることを
示す。

【０００８】以下、自然画像と人工画像のそれぞれに対
して有効な画像符号化手法をそれぞれ第１、第２の従来
例として述べる。

【０００９】まず第１の従来例として自然画像に対する
従来の符号化技術について説明する。もともと自然画像
は情報量が非常に多いので、何らかの手法で情報を量子
化することが必要になる。そこで量子化の効率について
考えた場合、自然画像は周波数成分が低域に集中するの
で、低域を細かく、高域を粗く量子化することにより、
平均誤差を小さくした量子化が実現できる。すなわち、
画質への影響を極力少なくし、かつ効率的に情報量を削
減することができる。

【００１０】画像符号化の一手法である周波数変換符号
化はこの特性を利用し、入力画像を周波数変換し高域成
分の情報を特に粗く量子化する。周波数変換符号化の代
表例としては、例えば国際標準であるＪＰＥＧ（Ｊｏｉ
ｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧ
ｒｏｕｐ）のＤＣＴ方式があげれられる。以下、第１の
従来例としてＪＰＥＧ−ＤＣＴ方式について説明する。

【００１１】第１の従来例の説明に入る前にＤＣＴにつ
いて説明する。画像符号化で用いられるＤＣＴは正確に
は二次元ＤＣＴと呼ばれるもので、横方向と縦方向の２
つの一次元ＤＣＴを独立に処理することによって求めら
れる。”カラー静止画像の国際標準符号化方式−ＪＰＥ
Ｇアルゴリズム−”（遠藤、インターフェース、１９９
１．１２、ｐｐ１６０−１８２）によれば、変換する画
像ブロックをｘ（ｍ，ｎ）、変換された係数ブロックを
ｙ（ｕ，ｖ）と表記すると、８ｂｉｔ画像に対する８×
８のＤＣＴの変換式と逆変換式は次のようにかける。

【００１２】

【数１】図２７ａ）ｂ）はそれぞれ第１の従来例の画像非可逆符
号化装置、復号装置の構成例である。同図は前出”カラ
ー静止画像の〜”ｐ．１６３の図３を部分的に抜き出
し、用語を修正したものである。図中、１０１０１は画
像入力部、１０１０３はＤＣＴ部、１０１０５は係数量
子化部、１０１０７は係数出力部、１０１０２は入力画
像データ、１０１０４は係数データ、１０１０６は量子
化係数データ、１０１０８は係数入力部、１０１０９は
量子化係数データ、１０１１２は逆ＤＣＴ部、１０１１
４は復号画像出力部、１０１１０は係数逆量子化部、１
０１１３は復号画像データ、１０１１１は逆量子化係数
データである。

【００１３】図２７ａ）ｂ）の各部について説明する。
図２７ａ）の符号化装置は以下の構成よりなる。画像入
力部１０１０１は外部より画像を入力し、入力画像デー
タ１０１０２としてＤＣＴ部１０１０３へ送出する。Ｄ
ＣＴ部１０１０３は入力画像データ１０１０２にＤＣＴ
処理を行い、その結果を係数データ１０１０４として係
数量子化部１０１０５へ送出する。係数量子化部１０１
０５は係数データ１０１０４に対して予め定められた方
法で量子化処理を行い、量子化係数データ１０１０６と
して係数出力部１０１０７へ送出する。係数出力部１０
１０７は量子化係数データ１０１０６を外部へ出力す
る。

【００１４】次に図２７ｂ）の復号装置は以下の構成よ
りなる。係数入力部１０１０８は外部より係数を入力
し、量子化係数データ１０１０９として係数逆量子化部
１０１１０へ送出する。係数逆量子化部１０１１０は量
子化係数データ１０１０９に対して係数量子化部１０１
０５で行われた量子化の逆変換となるような逆量子化を
行い、逆量子化係数データ１０１１１として逆ＤＣＴ部
１０１１２へ送出する。逆ＤＣＴ部１０１１２は逆量子
化係数データ１０１１１に対してＤＣＴ部１０１０３で
行われたＤＣＴ処理の逆変換となる逆ＤＣＴ処理を行
い、その結果を復号画像データ１０１１３として復号画
像出力部１０１１４へ送出する。復号画像出力部１０１
１４は復号画像データ１０１１３を外部へ出力する。

【００１５】以上の構成は第１の従来例の一部であり、
通常は符号化装置では量子化係数データ１０１０６にＨ
ｕｆｆｍａｎ符号やＱＭ符号等の可変長符号化処理を行
い、復号装置では可変長符号化処理に対応する復号を行
って量子化係数データ１０１０９を得るのが一般的な構
成である。これらの部分は本発明の本質とは関係がな
く、またこの部分の省略が第１の従来例の本質を損なう
ものでもないので、ここでは説明を省略する。

【００１６】以上の構成に基づいて第１の従来例の動作
について説明する。図２８ａ）ｂ）は従来例の動作を示
すフローチャートである。

【００１７】まず図２８ａ）を用いて第１の従来例の符
号化手順について説明する。Ｓ１０では画像入力部１０
１０１において外部より画像の入力を行い、入力画像デ
ータ１０１０２を得る。Ｓ２０ではＤＣＴ部１０１０３
においてＤＣＴ処理を行い、係数データ１０１０４を得
る。Ｓ３５では係数量子化部１０１０５において係数デ
ータ１０１０４に対して予め定められた方法で量子化処
理を行い、量子化係数データ１０１０６を得る。Ｓ７５
では係数出力部１０１０７において量子化係数データ１
０１０６を外部へ出力する。Ｓ８０では入力された入力
画像データ１０１０２の処理が全て終了したかどうかを
判定し、終了していなければＳ１０へ戻り、終了してい
れば符号化手順を終了する。

【００１８】次に図２８ｂ）を用いて第１の従来例の復
号手順について説明する。Ｓ１１５では係数入力部１０
１０８において外部より係数の入力を行い、量子化係数
データ１０１０９を得る。Ｓ１２５では係数逆量子化部
１０１１０において逆量子化処理を行い、逆量子化係数
データ１０１１１を得る。Ｓ１３０では逆ＤＣＴ部１０
１１２において逆量子化係数データに対して逆ＤＣＴ処
理を行い、復号画像データ１０１１３を得る。Ｓ１４０
では復号画像出力部１０１１４において復号画像データ
１０１１３を外部へ出力する。Ｓ１５０では入力された
量子化係数データ１０１０９の処理が全て終了したかど
うかを判定し、終了していなければＳ１１５へ戻り、終
了していれば復号手順を終了する。

【００１９】以上の動作の中で係数量子化部１０１０５
で行われる量子化処理について説明する。前述したよう
に一般の周波数変換符号化では、低域成分に比較して高
域成分を粗く量子化する。ＪＰＥＧ−ＤＣＴ方式では次
の式の線形量子化を用いる。ここでｒｏｕｎｄは引数に
最も近い整数を返す関数である。

【００２０】

【数２】図２９はＪＰＥＧ−ＤＣＴ方式の推奨量子化テーブルで
ある（前出”カラー静止画像の〜”ｐ．１６７の図９に
よる）。同図中の数字が量子化ステップを表し、数値が
大きいほど粗く量子化することに相当する。量子化テー
ブルは（１）式のＤＣＴ係数同様に左上から右下に向か
って周波数が高くなるよう表記されるので、高域成分が
特に粗く量子化されていることになる。

【００２１】次に第２の従来例として、人工画像に対す
る従来の符号化技術について説明する。人工画像では図
２６ｃ）で示したように同じ色が空間的に局在して出現
することが多いので、周辺画素による画素値予測と予測
誤差の符号化を組み合せる予測符号化が有効である。以
下、予測符号化の代表例として前述の国際標準ＪＰＥＧ
で定められた可逆符号化方式であるＳｐａｔｉａｌ方式
を第２の従来例として説明する。Ｓｐａｔｉａｌ方式は
可逆の符号化方式であり、人工画像に対してはＤＣＴ方
式よりも高い圧縮率を得ることができる。

【００２２】第２の従来例の具体的な説明に入る前に予
測符号化について説明する。予測符号化は次に符号化し
ようとする画素の画素値を予測し、次の式で得られる予
測誤差を符号化する手法である。

【００２３】

【数３】（予測誤差）＝（実際の画素値）−（予測値）（４）図２６ｂ）に示したように人工画像では予測誤差が０に
集中するから、一般には自然画像よりも符号量を削減す
ることができる。また特に可逆の予測符号化は、符号量
制御ができない反面、画質が劣化する可能性はない。

【００２４】以下、第２の従来例の具体的な説明を行
う。図３０ａ）ｂ）はそれぞれ第２の従来例の画像可逆
符号化装置、復号装置の構成図である。同図は前出”カ
ラー静止画像の〜”ｐ．１７３の図１７を部分的に抜き
出し、復号装置を加え、用語を修正したものである。図
中、図２７と同様の部分は同じ符号を付して説明を省略
する。１０４０３は予測部、１０４０５は予測誤差出力
部、１０４０６は予測誤差入力部、１０４０４は予測誤
差データである。

【００２５】図３０ａ）ｂ）の各部について説明する。
図３０ａ）の符号化装置は以下の構成よりなる。予測部
１０４０３は入力画像データ１０１０２を用いて次に符
号化する画素値を予測し、実際の画素値との差分を予測
誤差データ１０４０４として予測誤差出力部１０４０５
へ送出する。

【００２６】図３０ｂ）の復号装置は以下の構成よりな
る。予測誤差入力部１０４０６は予測誤差を外部より入
力し、予測誤差データ１０４０４として予測部１０４０
３へ送出する。予測部１０４０３は符号化装置の予測部
１０４０３と同一であるが、次の画素を予測のために復
号した画像を参照する点が異なる。

【００２７】以上の構成に基づいて第２の従来例の動作
について説明する。図３１ａ）ｂ）は従来例の動作を示
すフローチャートである。

【００２８】まず図３１ａ）を用いて第２の従来例の符
号化手順について説明する。図２８ａ）と同様の部分は
同一の符号を付し、説明を省略する。Ｓ２５では予測部
１０４０３において（４）式より予測誤差を算出する。
Ｓ７６では予測誤差出力部１０４０５においてＳ２５で
算出した予測誤差データ１０４０４を外部へ出力する。

【００２９】次に図３１ｂ）を用いて第２の従来例の復
号手順について説明する。図２８ｂ）と同様の部分は同
一の符号を付し、説明を省略する。Ｓ１１６では予測誤
差入力部１０４０６において外部より予測誤差を入力す
る。Ｓ１３５では予測部１０４０３において予測値と予
測誤差の加算によって画素値を算出する。

【００３０】動作説明中、予測誤差算出処理について説
明する。ＪＰＥＧ−Ｓｐａｔｉａｌ方式では図３２に示
した７つの予測器のうち、どれか１つを使うように定め
られている。例えば予測式をａとした場合、これから符
号化する画素ｘの左隣りの画素値を予測値とすればよ
い。

【００３１】以上第１、第２の従来例を説明したが、以
下ではいずれか単独では自然画像と人工画像の区別なく
効率的に符号化するのは難しいことを示す。

【００３２】人工画像では高域成分にも重要な情報が含
まれるので、図２９のように高域が粗い量子化を行うと
画質劣化、例えばモスキート・ノイズが発生する。図２
９ａ）に示した量子化テーブルによって発生したモスキ
ート・ノイズの例を図３３ａ）ｂ）に示す。同図ａ）が
入力画像、同図ｂ）が復号画像である。このようなノイ
ズのためにＪＰＥＧ−ＤＣＴ方式のような周波数変換符
号化では、人工画像に対して画質を維持したまま符号量
を削減することが難しい。この様子を図３４に示す。

【００３３】一方、自然画像はノイズの影響で近隣画素
同士でも画素値が異なるため、ＪＰＥＧ−Ｓｐａｔｉａ
ｌ方式のような可逆の予測符号化では符号量が小さくな
らない。この様子を図３５に示す。また可逆符号化は画
質と符号量をトレード・オフにできないので、符号量制
御ができない。これは蓄積媒体の容量や通信帯域等に直
接影響するので、システムの構築を難しくする。

【００３４】このように第１、第２の従来例では有効に
符号化できない画像が存在する。この問題を解決するた
めに非可逆符号化と可逆符号化とを部分毎に使い分ける
手法が考えられる。そのような例として特開平６−１１
３１４５号公報の技術がある。以下、第３の従来例とし
てこの特許文献の技術について説明する。

【００３５】図３６は第３の従来例の画像処理装置の構
成図である。同図は特開平６−１１３１４５号公報の主
旨を損なわないよう、同特許文献の図１の一部を省略
し、用語を修正したものである。図中、１１００１は人
工画像入力部、１１０１０は自然画像入力部、１１００
３人工画像符号化部、１１０１２は自然画像符号化部、
１１００５は人工画像記憶部、１１０１４は自然画像記
憶部、１１００７は人工画像復号部、１１０１６は自然
画像復号部、１１００９は画像合成部、１１００２は入
力人工画像データ、１１０１１は入力自然画像データ、
１１００４は人工画像符号データ、１１０１３は自然画
像符号データ、１１００８は復号人工画像データ、１１
０１７は復号自然画像データである。

【００３６】図３６の各部について説明する。人工画像
入力部１１００１および自然画像入力部１１０１０はそ
れぞれ外部より人工画像、自然画像を入力し、入力人工
画像データ１１００２、入力自然画像データ１１０１１
として人工画像符号化部１１００３、自然画像符号化部
１１０１２へ送出する。人工画像符号化部１１００３お
よび自然画像符号化部１１０１２はそれぞれ入力人工画
像データ１１００２、入力自然画像データ１１０１１に
それぞれに予め定められた手法で符号化を行い、人工画
像符号データ１１００４、自然画像符号データ１１０１
３として、人工画像記憶部１１００５、自然画像記憶部
１１０１４へ送出する。人工画像記憶部１１００５およ
び自然画像記憶部１１０１４はそれぞれ人工画像符号デ
ータ１１００４、自然画像符号データ１１０１３を一時
的に記憶し、それぞれ人工画像復号部１１００７、自然
画像復号部１１０１６へ送出する。人工画像復号部１１
００７および自然画像復号部１１０１６はそれぞれ人工
画像符号化部１１００３、自然画像符号化部１１０１２
で行われた符号化に対応する復号処理を人工画像符号デ
ータ１１００４、自然画像符号データ１１０１３に対し
て行い、復号人工画像データ１１００８、復号自然画像
データ１１０１７として画像合成部１１００９へ送出す
る。画像合成部１１００９は復号人工画像データ１１０
０８と復号自然画像データ１１０１７の合成を行う。

【００３７】動作については説明を省略する。

【００３８】以上の説明の中で人工画像符号化部１１０
０３で行われる符号化は、該特許の第１実施例において
「ランレングス符号化方式等の可逆方式の機能を持つ」
という記述がされている。また自然画像符号化部１１０
１２で行われる符号化は、やはり上記特許文献の第１実
施例において「ＪＰＥＧ等の画像圧縮方式」という記述
がされている。なお上記特許文献でいうＪＰＥＧとは本
説明でいうＪＰＥＧ−ＤＣＴ方式のことを指す。

【００３９】

【発明が解決しようとする課題】第１、第２の従来例に
ついてはそれぞれ自然画像、人工画像に特化して設計さ
れているため、いずれか単独の手法で両方の画像を効率
的に扱うことは困難である。

【００４０】第３の従来例においては自然画像と人工画
像が全く異なる方式で並列に符号化復号されるため、一
般には両処理の処理時間が一致しない。このため符号化
時は全ての符号データが、復号時は全ての画像データが
出揃うまで外部に出力することができなくなり、符号化
装置には最低１画像分の符号バッファが、また復号装置
にも最低１画像分の画像バッファが必要となる。これら
は１系統の方式しか持たない画像符号化復号装置であれ
ば不要な構成である。

【００４１】また符号化装置、復号装置共に２系統以上
持つので、装置規模の増大を招く。さらに全く異なる複
数の符号で画像を表現するため、伝送や蓄積の際などに
符号の取扱いが複雑になる。

【００４２】本発明は上述した事情に鑑みてなされたも
ので、自然画像と人工画像の区別なく、特に、自然画像
と人工画像が混在した画像に対して、効率的な圧縮が可
能な単一の符号化装置を提供することを目的とする。

【００４３】

【課題を解決するための手段】本発明は以上の目的を達
成するためになされたものであり、その概要は以下の通
りである。すなわち、本発明においては、入力画像を分
析して、入力画像の構造に適したサブサンプリングを行
う。その後、サブサンプリングされた画像を可逆符号化
する。以下、サブサンプリングは間引きされないこと、
また、間引きはサブサンプリングしないことを示す。間
引き情報を逆にするとサブサンプリング画素を示す情報
とすることができる。

【００４４】まず、近接した画素を分析して、間引きで
きるかどうかを調べる。間引きできた場合、さらに遠く
の画素を分析して、さらに間引きが可能であるか調べ
る。その結果、画像の細かな部分は細かく、粗い部分は
粗く、サブサンプリングを行うことができる。

【００４５】全ての画像をサブサンプリングする場合、
可逆符号化となる。また、間引きを行う場合、非可逆符
号化となる。

【００４６】復号時には間引きされた画素を補間するこ
とにより、復号画像を再形成する。

【００４７】可逆符号化部分では、入力画像を矩形領域
に分割して、矩形領域の画素を予測して符号化を行う。
矩形領域内の画素の符号化を行う順は、低解像度から高
解像度になるような順である。予測は既に符号化された
周囲の参照画素を用いる。基本的には予測が的中した予
測器を符号化する。的中する予測器がない場合は、予測
誤差を符号化する。予測器自体を符号化するのではな
く、予測器の的中確率を予測し、その的中確率の高い順
に順位付けした時の順位を符号化する。

【００４８】本発明をさらに詳細に説明する。本発明に
よれば、上述の目的を達成するために、画像分析装置
に、入力画像をｎ×ｍ画素の画素領域に区切り、ｎ×ｍ
画素の矩形毎にサブサンプリングパターンを定める間引
き画素判断手段と、Ｎ×Ｍ個の相互に隣接する、ｎ×ｍ
の画素領域において所定の画素数以下の画素のみサブサ
ンプリングしている場合には、上記ｎ×ｍの画素領域か
ら所定の画素を抽出してｎ’×ｍ’の画素領域をさらに
形成する次段階間引き判断手段とを設けるようにしてい
る。

【００４９】間引き画素判断手段は、入力画像の画素
を、サブサンプリングを行って符号化する画素と、間引
きを行って符号化を行わない画素とに分ける手段であ
り、たとえば、ｎ×ｍ間引き画素判断手段、ｎ’×ｍ’
間引き画素判断手段、ｎ’’×ｍ’’間引き画素判断手
段、２×２間引き画素判断手段として実現される。間引
き画素判断手段は、判断を行う画素を中心として、高域
通過フィルタを掛けて、その出力が閾値より小さい場合
に間引きを行う。出力が閾値より大きな場合は間引きを
行わない。

【００５０】次段階間引き判断手段は、複数の間引き画
素判断手段によって判断された間引き画素数から、さら
に低周波の間引きを行うかどうか判断する手段である。
例えば、後述の図２においては、Ｎ×Ｍ個の間引き画素
判断手段から判断されて抽出されたサブサンプリング画
素全てが所定の個数以下の場合に、Ｎ×Ｍ個の間引き画
素判断手段から判断されて抽出されたサブサンプリング
画素を形成する。

【００５１】この構成においては、小さな矩形の領域で
サブサンプリングを行い、この後、サブサンプリングが
少ない（間引きが多い）場合にはさらに大きな矩形の領
域でサブサンプリングを行うので、画像の細かさに応じ
たサブサンプリングが行える。

【００５２】また、本発明によれば、上述の目的を達成
するために、画像符号化装置に、入力画像の一部または
全体を一時記憶する画像記憶手段と、前記間引き画素判
断手段と、前記次段階間引き判断手段と、前記間引き画
素判断手段および前記次段階間引き画素判断手段によっ
て算出されたサブサンプリング画素の冗長度を削減する
画素値変換手段と、前記画素値変換手段によって変換さ
れたシンボルに符号を割当てる符号化手段とを設けるよ
うにしている。

【００５３】ここで、画像記憶手段は一時画像を記憶す
る手段であり、ランダムアクセス可能な半導体メモリ等
で実現される。

【００５４】前記間引き画素判断手段および前記次段階
間引き判断手段は上述と同様である。

【００５５】画素値変換手段は、入力画像の画素値を変
換して、圧縮しやすいシンボルに変換する手段であり、
ＪＰＥＧ−ＤＣＴ方式で用いられるＤＣＴ（離散コサイ
ン変換）や、隣接する画素との差分をとる処理、ウエー
ブレット変換処理、同一画素値のランレングスをとる処
理等が例として挙げられる。画素値変換手段の一形態
は、画素抽出手段と、予測手段と、予測器順位記憶手段
と、選択手段と、予測器順位変更手段とから形成され
る。

【００５６】符号化手段は画素値変換手段で変換された
シンボルに符号を割当てる手段であり、例えば、ハフマ
ン符号化、算術符号化等が挙げられる。

【００５７】この構成においては、画像の細かさに応じ
てサブサンプリングを行って符号化するので画像の細か
さに応じて効率のよい符号化を行える。

【００５８】また、この構成においては、間引かれた画
素値を補間して求め、画像記憶手段で再記憶させる補間
画素値算出手段をさらに設けるようにしてもよい。この
補間画素値算出手段は、間引かれた画素値を補間によっ
て求める手段であり、補間手法は例えば線形補間、スプ
ライン補間である。

【００５９】また、本発明によれば、上述の目的を達成
するために、画像復号装置に、符号を復号し、変換シン
ボルと、サブサンプリングパターンを求める復号手段
と、変換シンボルを画素値に変換するシンボル変換手段
と、シンボル変換手段によって求められた画素値と、サ
ブサンプリングパターンから、間引きされた画素値を補
間によって求める補間画素値算出手段とを設けるように
している。

【００６０】シンボル変換手段は、画素値変換手段で変
換されたシンボルから、画素値を再構成する手段であ
り、シンボル変換としては、ＪＰＥＧ−ＤＣＴ方式で用
いられるＩＤＣＴ（逆離散コサイン変換）や、隣接する
画素との差分から注目画素の画素値を算出する処理、逆
ウエーブレット変換処理、ランレングスから連続する同
一画素値を再構成する処理等が例として挙げられる。

【００６１】この構成により、画像の細かさに応じたサ
ブサンプリングを伴う符号化による符号を復号すること
ができる。

【００６２】また、本発明の画像符号化装置の画素値変
換手段を、画像記憶手段に記憶された画像を矩形領域に
分割し、符号化を行う画素と、符号化を行う画素に隣接
し、かつ、既に符号化されている隣接矩形領域内あるい
は同一矩形領域内の参照画素を抽出する画素抽出手段
と、参照画素の画素値を用いて、符号化を行う画素の画
素値を予測するか、または、符号化を行う画素の画素値
と、参照画素の画素値を用いて予測した画素値との予測
誤差を算出する複数の予測手段と、予測器の選択可能性
の順位を記憶する予測器順位記憶手段と、前記複数の予
測手段の中から、予測手段を選択する選択手段と、選択
した予測手段の情報をもとに予測器順位記憶手段に記憶
されている予測器の順位を変更する予測器順位変更手段
と、選択された予測器順位あるいは、予測器順位と予測
誤差を符号化する符号化手段とから構成してもよい。

【００６３】ここで、画素抽出手段は、画像記憶手段か
ら、符号化を行う画素の画素値を取り出す手段である。

【００６４】予測手段は、既に符号化／復号が終わった
参照画素の画素値を基に、注目画素の画素値を予測する
手段である。予測には、参照画素の画素値をそのまま用
いる場合と、複数の参照画素の画素値の演算によって予
測値を算出する場合がある。

【００６５】予測器順位記憶手段は、複数の予測手段の
的中確率の順位を記憶する手段である。

【００６６】選択手段は、複数の予測手段のうち、予測
が的中した予測手段を選択する手段である。

【００６７】予測器順位変更手段は、予測器順位記憶手
段に記憶されている複数の予測手段の的中確率の順位を
変更する手段であり、例えば、最も最近的中した予測手
段の的中確率の順位を１位とする。他の予測手段の的中
確率の順位は１づつ下げる。

【００６８】

【発明の実施の態様】以下、本発明の実施の態様につい
て説明する。まず、本発明の画像分析装置および画像符
号化装置・復号装置の原理的な構成を説明する。

【００６９】［画像分析装置の原理的な構成］図１およ
び図２に本発明の画像分析装置の概念を表す図を示す。
図１において、１０１はｎ×ｍ間引き画素判断手段、１
０２は次段階間引き判断手段、１０３はｎ’×ｍ’間引
き画素判断手段、１０４は次段階間引き判断手段、１０
５はｎ’’×ｍ’’間引き画素判断手段である。

【００７０】入力画像は、ｎ×ｍ画素の矩形に分割さ
れ、分割された矩形毎に、ｎ×ｍ間引き画素判断手段１
０１において間引き画素数が決定される。複数個のｎ×
ｍ画素の矩形の間引き率を基に、さらに次の段階で間引
きを行うかどうかを、次段階間引き判断手段１０２で判
断する。次段階間引き判断手段１０２でさらに、間引き
を行うと判断された場合、ｎ’×ｍ’間引き画素判断手
段１０３で間引き率を判断する。

【００７１】以下同様に、複数個のｎ’×ｍ’画素の矩
形の間引き率を基に、さらに次の段階で間引きを行うか
どうかを、次段階間引き判断手段１０４で判断する。ま
た、次段階間引き判断手段１０４でさらに、間引きを行
うと判断された場合、ｎ’’×ｍ’’間引き画素判断手
段１０５で間引き率を判断する。

【００７２】図２を基に、間引き画素判断手段１０１
（１０３．．．）と、次段階間引き判断手段１０２（１
０４．．．）の説明を行う。

【００７３】入力画像は、ｎ×ｍ画素の矩形に分割され
る。ｎ×ｍ画素の矩形毎に、ｎ×ｍ間引き画素判断手段
１０１において間引き画素数が決定される。さらに、ｎ
×ｍ画素の矩形をＮ×Ｍ個まとめる。次段階間引き判断
手段１０２では、Ｎ×Ｍ個のｎ×ｍ画素の矩形のサブサ
ンプリング画素数が全て所定の値以下の場合、例えば図
２の場合では、２個以下の場合、所定の個数のサブサン
プリング画素をまとめて、ｎ’×ｍ’画素の矩形を作
る。さらに、ｎ’×ｍ’間引き画素判断手段１０３にお
いて、ｎ’×ｍ’画素の矩形の間引き率が判断される。

【００７４】以上、一般的な場合に説明した。以下で
は、図６、図９、図１０において、ｎ、ｎ’、ｎ’’、
ｍ、ｍ’、ｍ’’、が全て２の場合を説明する。

【００７５】図６において、５０１は２×２間引き画素
判断手段、５０２は次段階間引き判断手段、５０３は２
×２間引き画素判断手段、５０４は次段階間引き判断手
段、５０５は２×２間引き画素判断手段である。動作は
図１の場合と同じである。

【００７６】２×２画素のサブサンプリングパターン
は、例えば、図９のようになる。図９において、斜線部
はサブサンプリングを行う画素、斜線を引いていない画
素は間引きを行う画素である。さて、図１０（ａ）に示
されるように、近接する４×４画素の間引き率を考え
る。図１０（ｂ）のように、４×４画素を、４つの２×
２画素の矩形に分割する。２×２間引き画素判断手段５
０１は、４つの２×２画素の矩形の間引き率をそれぞれ
判断する。次段階間引き判断手段５０２は、図１０
（ｃ）のように、全ての４つの２×２画素の矩形が１画
素のみサブサンプリングされた場合、４つのサブサンプ
リング画素をまとめて、さらに図１０（ｄ）のように２
×２画素の矩形を形成する。２×２間引き画素判断手段
５０３はさらに、図１０（ｄ）の２×２画素の矩形の間
引き率を判断する。

【００７７】［画像符号化装置の原理的な構成］つぎに
本発明の画像符号化装置について説明する。図３および
図４にそれぞれ本発明の画像符号化装置の概念を表す構
成図を示す。図３において、２０１は入力画像、２０２
は画像記憶部、２０４は間引き情報算出部、２０５は間
引き情報、２０６は画素値変換部、２０７は変換された
情報である変換シンボル、２０８は符号化部２０９は符
号である。

【００７８】入力画像２０１は一旦画像記憶部２０２に
入力される。間引き情報算出部２０４では、入力画像２
０１のうち、間引いても画質に影響を及ぼさない画素を
検出し、検出結果である間引き情報２０５を出力する。
画素値変換部２０６は間引かれなかった画素、すなわ
ち、サブサンプリングされた画素の冗長度を削減する変
換処理を行い、変換シンボル２０７を出力する。符号化
部２０８は変換シンボル２０７に符号を割当て、符号２
０９を出力する。

【００７９】図４において、３０３はサブサンプリング
画素、３０２はサブサンプリング画素から間引き画素を
補間して求める補間画素値算出部、３０１は補間して求
めた間引き画素の画素値である。

【００８０】間引き情報算出部２０４で間引かれた画素
の画素値を補間画素値算出部３０２で補間して求め、補
間して求めた間引き画素の画素値は画像記憶部２０２に
戻される。画素値変換部２０６では、変換時に補間画素
値の情報も利用する。

【００８１】［復号装置の原理的な構成］図５に本発明
の復号装置の概念を表す構成図を示す。図５において、
４００は符号、４０１は符号から変換シンボルと間引き
情報を復号する復号部、４０２は変換シンボル、４０３
は変換シンボルを逆変換して画素値にするシンボル変換
部、４０５は間引き情報、４０６は画素値４０４と間引
き情報４０５から補間画素値を算出する補間画素値算出
部、４０７は復号画像である。

【００８２】入力された符号４００は、復号部４０１で
変換シンボル４０２に復号される。また、復号部では、
間引き情報４０５の復号も行う。変換シンボル４０２は
シンボル変換部４０３で画素値４０４に逆変換される。
補間画素値算出部４０６では、変換された画素値４０４
から、間引かれた画素値を補間して復号画像４０７を出
力する。

【００８３】［第１の実施例］第１の実施例は、入力画
像を矩形領域毎にハールウエーブレット分析を行ってサ
ブサンプリングパターンを算出する画像分析装置の例
と、サブサンプリングされた画素を可逆で符号化する画
像符号化装置の例とを示すものである。

【００８４】以下、図７を用いて説明する。

【００８５】図７において、２０１は入力画像、２０２
は画像記憶部、２０３は画像ブロック、２０４は間引き
情報算出部、２０５は間引き情報、２０６は画素値変換
部、２０７は変換された情報である変換シンボル、２０
８は符号化部、２０９は符号、３０３はサブサンプリン
グ画素、３０２はサブサンプリング画素から間引き画素
を補間して求める補間画素値算出部、３０１は補間して
求めた間引き画素の画素値、６０１は画素抽出部、６０
２は抽出された符号化画素、６０３は抽出された参照画
素、６０４は第１の予測器、６０５は第２の予測器、６
０６は第Ｎの予測器、６０７は予測誤差算出器、６０８
は第１の予測結果、６０９は第２の予測結果、６１０は
第Ｎの予測結果、６１１は予測誤差、６１２は予測器順
位記憶部、６１３は予測器順位変更部、６１４は選択部
である。

【００８６】図７を用いて、第１の実施例の動作を説明
する。

【００８７】入力画像２０１は一旦画像記憶部２０２で
記憶される。この時、画素抽出部６０１で必要となる符
号化画素と、参照画素を含んだ領域が、最低限の記憶領
域である。

【００８８】つぎに画像ブロック２０３が、画像記憶部
２０２から間引き情報算出部２０４に送られる。画像ブ
ロックは、図８に示されるように、入力画像を矩形に区
切ったものである。

【００８９】間引き情報算出部２０４は画像ブロック２
０３の間引き情報を算出し、サブサンプリング画素３０
３と、間引き情報２０５を出力する。補間画素値算出部
３０２はサブサンプリング画素から間引かれた画素の画
素値を算出し、画像記憶部２０２の所定の場所に戻す。

【００９０】間引き情報２０４と補間画素値算出部３０
２の詳細な動作は後述する。

【００９１】画素抽出部６０１は画像記憶部２０２か
ら、間引き情報２０５で示されるサブサンプリング画素
のみを符号化を行う画素（符号化画素）として抽出す
る。さらに、符号化画素の画素値を予測するために必要
な参照画素を抽出する。画素抽出部の詳細な動作は後述
する。

【００９２】画素抽出部６０１で抽出された参照画素の
画素値６０３は第１予測器６０４、第２予測器６０５、
第Ｎ予測器６０６、予測誤差算出器６０７に送られる。
また、画素抽出部６０１で抽出された符号化画素の画素
値６０２は選択部６１４と、予測誤差算出器６０７に送
られる。

【００９３】第１予測器６０４〜第Ｎ予測器６０６で
は、参照画素６０３を用いて符号化画素６０２を予測す
る。その予測結果６０８〜６１０は選択部６１４に送ら
れる。

【００９４】予測誤差算出器６０７では所定の予測器を
用いて符号化画素の画素値を予測し、その予測結果と符
号化画素の画素値の差分を計算し、予測誤差６１１とし
て選択部に送られる。

【００９５】第１予測器６０４〜第Ｎ予測器６０６と、
予測誤差算出器６０７の具体的な予測方法については後
述する。

【００９６】予測器順位記憶部６１２では、予測器が選
択される確率の順位を記憶している。選択部６１４は、
予測器順位記憶部６１２で記憶されている順に、第１予
測器６０４〜第Ｎ予測器６０６の予測結果６０８〜６１
０と、符号化画素の画素値６０２の比較を行う。

【００９７】選択部６１４は、予測器の順位の順に比較
を行い、予測結果と符号化画素の画素値６０２が同じで
あれば、その予測器の順位を符号化部２０８で符号化す
る。また、全ての予測結果６０８〜６１０と、符号化画
素の画素値６０２が異なっている場合、選択部６１４
は、予測誤差を符号化することを選択し、符号化部２０
８は予測誤差を符号化する。

【００９８】符号化部の動作の詳細は後述する。

【００９９】さらに、予測器順位変更部６１３は、選択
部６１４で選択された予測器の順位を１位として予測器
順位記憶部６１２の予測器順位を変更する。予測器順位
変更部６１３は、同時に選択部６１４で選択されない全
ての予測器の予測器順位を１下げる。ここで１下げると
は、Ｍ位の予測器は（Ｍ＋１）位の予測器になることを
意味している。

【０１００】図２４に示されるように、予測器順序記憶
部６１２は、第１段階の符号化画素と、第２段階（画素
位相１）、第２段階（画素位相１）、．．．、第４段階
（画素位相３）まで、全ての段階と、画素位相に対し
て、異なる予測器順序を記憶する。

【０１０１】予測器順序変更部６１３も、符号化画素の
段階と位相に応じて順位を変更する。

【０１０２】以下、間引き情報算出部２０４の動作を詳
細に説明する。

【０１０３】図１１を用いて説明する。図１１（ａ）に
示されるように、８×８の画像ブロックを２×２画素の
矩形に分割する。図１１（ｂ）に示されるように、２×
２画素の矩形内の画素の画素値をａ，ｂ，ｃ，ｄとす
る。

【０１０４】

【数４】Ｌ１＝（ａ＋ｂ）／２Ｌ２＝（ｃ＋ｄ）／２Ｈ１＝（ａ−ｂ）／２Ｈ２＝（ｃ−ｄ）／２として、ローパス画像Ｌ１，Ｌ２と、ハイパス画像Ｈ
１，Ｈ２を求める。さらに、

【０１０５】

【数５】ＬＬ＝（Ｌ１＋Ｌ２）／２ＨＬ＝（Ｈ１＋Ｈ２）／２ＬＨ＝（Ｌ１−Ｌ２）／２ＨＨ＝（Ｈ１−Ｈ２）／２として、２次元周波数分割画像ＬＬ，ＨＬ，ＬＨ，ＨＨ
を求める。閾値Ｔｌｈ１、Ｔｈｈ１を定めておき、

【０１０６】

【数６】ＨＬ＜Ｔｌｈ１、かつ、ＨＨ＜Ｔｈｈ１の時→
図１２（ａ）のサブサンプリング、ＬＨ＜Ｔｌｈ１、かつ、ＨＨ＜Ｔｈｈ１の時→図１２
（ｂ）のサブサンプリング、ＨＬ＜Ｔｌｈ１、かつ、ＬＨ＜Ｔｌｈ１、かつ、ＨＨ＜
Ｔｈｈ１の時→図１２（ｃ）のサブサンプリングそれ以外の時、→全てサブサンプリングする、とした分
析を行う。

【０１０７】図１２（ｄ）に示されるように、隣接する
４つの２×２画素の矩形全てが１２（ｃ）のサブサンプ
リングを行う場合は、４つまとめて新たに２×２画素の
矩形を作成する。

【０１０８】以上を８×８の画像ブロック全体になるま
で行う。結果として、図１２（ｅ）のようなサブサンプ
リングパターンとなる。例えば、分割された各矩形の右
下の画素をサブサンプリングすると規定することによっ
て符号化を行う。

【０１０９】以下、補間画素値算出部３０２の動作を詳
細に説明する。

【０１１０】図１３を用いて説明を行う。図１３におい
て、同一模様の画素は同一画素値を表す。図１３（ａ）
のようにサブサンプリングされた場合は、図１３（ｂ）
に示されるように補間する。図１３（ｃ）のようにサブ
サンプリングされた場合は、図１３（ｄ）に示されるよ
うに補間する。図１３（ｅ）のようにサブサンプリング
された場合は、図１３（ｆ）に示されるように補間す
る。図１３（ｇ）のようにすべてサブサンプリングされ
た場合は、図１３（ｈ）に示されるようにそのまま補間
画素値とする。

【０１１１】以下、画素抽出部６０１の動作を詳細に説
明する。

【０１１２】図８には画素抽出部６０１の説明図であ
る。図８に示されるように、画素抽出部６０１は入力画
像を矩形領域（ブロック）に分割する。例えば、図８の
ように８×８画素のブロックに分割する。

【０１１３】さらに図１９を用いて画素抽出部６０１の
動作を説明する。

【０１１４】画素抽出部６０１は図１９に示されるよう
に、第１段階として、ブロックの右下の画素を符号化画
素として抽出する。第２段階として、ブロックを縦横均
等に４分割し、その分割されたブロック（サブブロッ
ク）の右下の画素を抽出する。同様に第３段階として、
さらにサブブロックを４分割し、右下の画素を抽出す
る。８×８のブロックでは、第４段階まで行うと、全て
の画素を抽出できる。

【０１１５】一つのサブブロック内の次に符号化を行う
段階の符号化画素は３つある。以下の説明のために３つ
の画素の位置によって、画素の相対位置の位相番号を図
１９のように付けておく。同一段階にあるサブブロック
は、ラスタスキャン順に、左上から右に符号化し、一番
右を符号化し終わったら、一段下のサブブロックを符号
化する。

【０１１６】参照画素は、既に符号化された画素であ
る。ここで、位相１、２、３の順に符号化を行うとする
と、図２０に示されるように、最も隣接した既に符号化
された画素を参照画素として抽出する。

【０１１７】次に予測器について説明する。図２１に示
されるように、位相１の場合の参照画素は、例えば、
Ｄ，Ｉ，Ｇとすることができる。予測器として、次の方
法を用いる。Ｄの画素値をそのまま予測結果とする。Ｉの画素値をそのまま予測結果とする。Ｇの画素値をそのまま予測結果とする。（Ｄ＋Ｉ）／２の計算結果を予測結果とする。

【０１１８】同様に、位相２の場合の参照画素は、例え
ば、Ｈ，Ｉ，Ｃとすることができる。予測器として、次
の方法を用いる。Ｈの画素値をそのまま予測結果とする。Ｉの画素値をそのまま予測結果とする。Ｃの画素値をそのまま予測結果とする。（Ｈ＋Ｉ）／２の計算結果を予測結果とする。

【０１１９】同様に、位相３の場合の参照画素は、例え
ば、Ｃ，Ｇ，Ｊ，Ｋとすることができる。予測器とし
て、次の方法を用いる。Ｃの画素値をそのまま予測結果とする。Ｇの画素値をそのまま予測結果とする。Ｊの画素値をそのまま予測結果とする。Ｋの画素値をそのまま予測結果とする。（Ｃ＋Ｇ＋Ｊ＋Ｋ）／４の計算結果を予測結果とす
る。

【０１２０】第１段階の場合は、Ｄ，Ｈを参照画素とす
ることができる。Ｄの画素値をそのまま予測結果とする。Ｈの画素値をそのまま予測結果とする。（以上請求項
１０）（Ｄ＋Ｈ）／２の計算結果を予測結果とする。（請求
項１１）参照画素や予測器は以上に限ったものではなく、既に符
号化された画素であれば何でも使用できる。また、予測
器の数の制限もない。また、以上のように、画素の位相
に応じて参照画素の位置および数は変化する。

【０１２１】予測誤差算出器６０７は例えば、以下の計
算を行う回路を用いる。位相１の場合、（Ｄ＋Ｉ）／２位相２の場合、（Ｈ＋Ｉ）／２位相３の場合、（Ｃ＋Ｇ＋Ｊ＋Ｋ）／４第１段階の場合、（Ｄ＋Ｈ）／２当然ながら、予測誤差算出器６０７は他の参照画素を用
いる回路としても良い。

【０１２２】次に符号化部２０８の動作を詳細に説明す
る。

【０１２３】符号化部２０８へは、選択部６１４で選択
された予測器順位と予測誤差がある場合は予測誤差が送
られる。１ブロック内の符号情報は、図１７に示される
ように、１ブロック分の１位以外の順位符号と、１ブロ
ック分の予測誤差符号と、１位か１位以外かを示す的中
情報と、間引き情報の４つに分けることができる。例え
ば、図１７では的中した場合の的中情報を１、的中して
いない場合を０としている。また、サブサンプリングす
る画素を１、間引く画素を０としている。

【０１２４】符号化部２０８はこれら４つの情報を符号
化し、１ブロックの符号とする。

【０１２５】順位と、予測誤差は、通常のハフマン符号
化を行う。階層と位相毎にハフマンテーブルを用意す
る。例えば、予測器がＭ個ある場合、順位符号は２位か
らＭ位までの順位に対してその生起確率に応じたハフマ
ン符号を図２３のように割当てることができる。各順位
に対しハフマン符号化を行う。また、同様に予測誤差に
対してもその生起確率に応じた符号を割当てて符号化す
る。

【０１２６】的中情報と間引き情報は、１ビットの情報
であるため、従来の２値用の符号化方法を利用すること
ができる。例えば、ＭＨ、ＭＲ、ＭＭＲ、ＱＭ符号化等
である。あるいは、的中情報と間引き情報を数ビット
（例えば８ビット）づつまとめてハフマン符号化しても
良い。

【０１２７】［第２の実施例］この実施例においては、
間引き情報算出部２０４の他の実現形態について述べ
る。他の部分の動作は第１の実施例と同じである。

【０１２８】図１４（ａ）に示されるように、入力画像
ブロックを２×２画素の矩形に分割する。そして図１４
（ｂ）各２×２画素の矩形（例えば実線で囲まれたａ，
ｂ，ｃ，ｄ）に加えて、周囲のｅ，ｆ，ｇ，ｈ，ｊも参
照する。

【０１２９】所定の閾値Ｔａ、Ｔｂ、Ｔｃを用意し、

【０１３０】

【数７】画素ａの評価｜（ｂ＋ｃ＋ｆ＋ｈ）／４−
ａ｜＜Ｔａならば、ａはサブサンプリングしない、画素ｃの評価｜（ｄ＋ｊ）／２−ｃ｜＜Ｔｃなら
ば、ｃはサブサンプリングしない、画素ｂの評価｜（ｄ＋ｇ）／２−ｂ｜＜Ｔｂなら
ば、ｂはサブサンプリングしない、という３つの評価によって、間引き情報を算出する。画
素ｄは必ずサブサンプリングを行う。間引き情報のパタ
ーンは、図９に示されるように、８通りある。図９にお
いて、サブサンプリングする画素は斜線で示されてい
る。

【０１３１】この形態においても第１の形態と同様に、
隣接する４つの２×２画素の矩形の全てが１画素のみサ
ブサンプリングされる場合（図１５（ａ）に示される場
合）、図１５（ｅ）の矩形画素を形成し、さらに上位の
階層で間引き情報算出を行う。

【０１３２】本形態の復号時の補間手順を示す。

【０１３３】第０階層図１６（ａ）に示されるように、第０階層では右下の画
素が復号される。（右下の画素は常にサンプリングされ
る）。

【０１３４】第１階層図１６（ｂ）に示される画素が復号される。サンプリン
グ画素の場合、通常の可逆復号を行う。間引き画素の場
合、既に復号されている参照画素を用いて補間される。
補間の方法は、画素位相（１、２、３）によって異な
る。下図で画素位相１、２、３の画素値をそれぞれａ、
ｂ、ｃとする。

【０１３５】第２階層図１６（ｃ）に示される画素が復号される。第２階層で
は、４×４のサブブロック毎に、下図の画素が復号され
る。第１階層で復号された画素が画素位相０の画素とな
る。第１階層と同様に、間引き画素の場合、既に復号さ
れている参照画素を用いて補間される。同じ段階のサブ
ブロックは、常に左上から復号する。これにより、サブ
ブロックの上と左の画素を参照画素として用いることが
できる。

【０１３６】第３階層以降図１６（ｄ）に示される画素が復号される。第３階層以
降も同様に、第ｉ階層の画素は、第ｉ−１段階で復号さ
れた画素を画素位相０として復号／補間が行われる。

【０１３７】［第３の実施例］第１の実施例で示した形
態とは異なる符号化部２０８の形態を示す。符号化部２
０８以外の動作は第１の実施例と同一である。

【０１３８】１位的中情報はサンプリング情報が１の時
のみ有効である（サンプリングされない場合は符号化し
ないため）。また、位相０の画素がサンプリングされて
いない場合、そのサブブロックより以降の画素はサンプ
リングされない。この性質を利用するため、以下の符号
割当てを行う。ブロックを４×４のサブブロックに分割する。サブブ
ロックの右下の画素ＡＢＣＤに対して、サンプリング情
報が０か１かで図９に示された（ａ）（ｂ）（ｃ）
（ｄ）の４パターンがある。

【０１３９】例えば、図２２（ａ）に示される点ＡＢＣ
Ｄのサブサンプリングパターンを考える。ＡＢＣＤを図
２２（ｂ）のように示すこととし、サブサンプリングす
る場合は１とし、間引く場合は無印とする。第１の形態
の間引き情報算出方式では、サブサンプリングパターン
は図２２（ｃ）の４パターンである。サンプリング情報が１の画素に対して、１位的中情報
が０か１かの２通りを符号化する。サンプリング情報が１のサブブロックに対して、その
サブブロック内にさらにサンプリングが行われているか
否かの２通りを符号化する。さらに小さなサブブロックは、サブブロック内にさら
にサンプリングが行われている場合のみ符号化する。

【０１４０】各点に対して、２×２＝４通りの符号が必
要である。以上を符号化する場合の、全ての場合の数
は、

【０１４１】

【数８】４点が１の場合（１通り）１×４⁴＝２５６２点が１の場合（３通り）３×４²＝４８１点が１の場合（１通り）１×４＝４計３０８通りである。９ビット入力のハフマン符号化で実現可能であ
る。

【０１４２】［第４の実施例］第２の実施例で示した形
態とは異なる符号化部２０８の形態を示す。符号化部２
０８以外の動作は第２の実施例と同一である。サブブロ
ックのサンプリングパターンが８つある点が第２の形態
と異なる。第２の形態の符号化部に対応している。

【０１４３】１位的中情報はサンプリング情報が１の時
のみ有効である（サンプリングされない場合は符号化し
ないため）。また、位相０の画素がサンプリングされて
いない場合、そのサブブロックより以降の画素はサンプ
リングされない。この性質を利用するため、以下の符号
割当てを行う。ブロックを４×４のサブブロックに分割する。サブブ
ロックの右下の画素ＡＢＣＤに対して、サンプリング情
報が０か１かで図９に示された（ａ）（ｂ）（ｃ）
（ｄ）（ｅ）（ｆ）（ｇ）（ｈ）の８パターンがある。

【０１４４】例えば、図２２（ａ）に示される点ＡＢＣ
Ｄのサブサンプリングパターンを考える。ＡＢＣＤを図
２２（ｂ）のように示すこととし、サブサンプリングす
る場合は１とし、間引く場合は無印とする。第２の形態
の間引き情報算出方式では、サブサンプリングパターン
は図２２（ｄ）の８パターンである。サンプリング情報が１の画素に対して、１位的中情報
が０か１かの２通りを符号化する。サンプリング情報が１のサブブロックに対して、その
サブブロック内にさらにサンプリングが行われているか
否かの２通りを符号化する。さらに小さなサブブロックは、サブブロック内にさら
にサンプリングが行われている場合のみ符号化する。

【０１４５】各点に対して、２×２＝４通りの符号が必
要である。以上の符号化する場合の、全ての場合の数
は、

【０１４６】

【数９】４点が１の場合（１通り）１×４⁴＝２５６３点が１の場合（３通り）３×４³＝１９２２点が１の場合（３通り）３×４²＝４８１点が１の場合（１通り）１×４＝４計５００通りである。９ビット入力のハフマン符号化で実現可能であ
る。

【０１４７】［第５の実施例］符号化部２０８の他の構
成について述べる。第５の実施例５の形態は、図７の間
引き情報算出部図２０４の算出結果で、ブロックの全体
をサブサンプリングする場合も、符号化効率が落ちない
ようにするものである。

【０１４８】符号化部２０９では、図１８（ａ）に示さ
れるように、間引き情報を４分割して調べて、分割され
たサブブロックの全ての画素がサブサンプリングされる
かどうか検査し、全てサブサンプリングするかどうかを
示すフラグを、図１８（ｂ）に示されるように、各ブロ
ックの符号の先頭に付加する。

【０１４９】全ての画素がサブサンプリングされる場合
は、間引き情報を符号化せず、１位的中情報のみを符号
化する。全ての画素がサブサンプリングされない場合
は、第１の形態に示される符号化を行う。４分割してフ
ラグを立てる場合、４ビットの情報が付加される。この
４ビットをさらにハフマン符号化等の情報源符号化して
もよい。

【０１５０】以上の発明の実施の形態（第２、第４、第
５の実施例）により実験を行った結果を図２５に示す。
図２５は、背景が一定の濃度で、写真が張り付けられて
いる画像を、本発明と、ＪＰＥＧ−ＤＣＴ、および、Ｊ
ＰＥＧ−Ｓｐａｃｉａｌ方式で符号化した結果である。
図２５（ａ）は、横軸に符号量、縦軸に画質を表す物理
量を示したグラフである。本発明は、ＪＰＥＧ−ＤＣＴ
方式よりも同一の符号量で良い画質を示している。ま
た、図２５（ｂ）は、ＪＰＥＧ−Ｓｐａｃｉａｌ方式で
可逆符号化した時の圧縮率である。可逆符号化の場合
は、約２．７の圧縮率しか得られていないのに対し、図
２５（ａ）に示されるように、本発明では、良好な画質
レベルで、約１０の圧縮率を得ることができる。ここで
は画質レベル４０で良好な画質を保てることを主観評価
によって予め確認してある。

【０１５１】

【発明の効果】以上説明したように、本発明によれば、
単一の手法で、可逆／非可逆双方に用いることができる
ため、２つの符号化方式を組み合せる場合に比較してペ
ージメモリを除去できる、符号化装置を簡単化できる等
の効果がある。さらに、人工画像と自然画像が混在した
画像に対する符号化効率を向上させることができる。

【図面の簡単な説明】

【図１】本発明の画像分析装置の原理構成を示すブロ
ック図である。

【図２】図１の画像分析装置の概念を説明する図であ
る。

【図３】本発明の画像符号化装置の原理構成を示すブ
ロック図である。

【図４】本発明の画像符号化装置の他の原理構成を示
すブロック図である。

【図５】本発明の画像復号装置の原理構成の具体例を
示すブロック図である。

【図６】本発明の画像分析装置の構成例を示すブロッ
ク図である。

【図７】本発明の第１の実施例の画像符号化装置の構
成を示すブロック図である。

【図８】第１の実施例における画素抽出部を説明する
図である。

【図９】本発明における間引き情報算出部を説明する
図である。

【図１０】本発明における間引き情報算出部を説明す
る図である。

【図１１】第１の実施例における間引き情報算出部を
説明する図である。

【図１２】第１の実施例における間引き情報算出部を
説明する図である。

【図１３】第１の実施例における補間画素値算出部を
説明する図である。

【図１４】第２の実施例における間引き情報算出部を
説明する図である。

【図１５】第２の実施例における間引き情報算出部を
説明する図である。

【図１６】第２の実施例における補間画素値算出部を
説明する図である。

【図１７】第１の実施例における符号化部を説明する
図である。

【図１８】第５の実施例における符号化部を説明する
図である。

【図１９】第１の実施例における画素抽出部を説明す
る図である。

【図２０】第１の実施例における画素抽出部を説明す
る図である。

【図２１】第１の実施例における画素抽出部を説明す
る図である。

【図２２】第３の実施例における符号化部を説明する
図である。

【図２３】第１の実施例における符号化部を説明する
図である

【図２４】第１の実施例における予測器順序記憶部を
説明する図である。

【図２５】発明の符号化特性を示す図である。

【図２６】画像の特性を示す実験例の説明図である。

【図２７】第１の従来例を示す構成図である。

【図２８】第１の従来例における符号化復号処理の動
作の一例を示すフローチャートである。

【図２９】第１の従来例で使用する量子化テーブル例
の説明図である。

【図３０】第２の従来例を示す構成図である。

【図３１】第２の従来例における符号化復号処理の動
作の一例を示すフローチャートである。

【図３２】第２の従来例で使用する予測器の説明図で
ある。

【図３３】モスキートノイズの説明図である。

【図３４】第１の従来例による実験例の説明図であ
る。

【図３５】第２の従来例による実験例の説明図であ
る。

【図３６】第３の従来例を示す構成図である。

【符号の説明】

１０１ｎ×ｍ間引き画素判断手段１０２次段階間引き判断手段１０３ｎ’×ｍ’間引き画素判断手段１０４次段階間引き判断手段１０５ｎ’’×ｍ’’間引き画素判断手段５０１２×２間引き画素判断手段５０２次段階間引き判断手段５０３２×２間引き画素判断手段５０４次段階間引き判断手段５０５２×２間引き画素判断手段２０１入力画像２０２画像記憶部２０４間引き情報算出部２０５間引き情報２０６画素値変換部２０７変換された情報である変換シンボル２０８符号化部２０９符号３０３サブサンプリング画素３０２サブサンプリング画素から間引き画素を補間
して求める補間画素値算出部３０１補間して求めた間引き画素の画素値４００符号４０１符号から変換シンボルと間引き情報を復号す
る復号部４０２変換シンボル４０３変換シンボルを逆変換して画素値にするシン
ボル変換部４０５間引き情報４０６画素値４０４と間引き情報４０５から補間画
素値を算出する補間画素値算出部４０７復号画像６０１画素抽出部６０２抽出された符号化画素６０３抽出された参照画素６０４第１の予測器６０５第２の予測器６０６第Ｎの予測器６０７予測誤差算出器６０８第１の予測結果６０９第２の予測結果６１０第Ｎの予測結果６１１予測誤差６１２予測器順位記憶部６１３予測器順位変更部６１４選択部１０１０１画像入力部１０１０３ＤＣＴ部１０１０５係数量子化部１０１０７係数出力部１０１０２入力画像データ１０１０４係数データ１０１０６量子化係数データ１０１０８係数入力部１０１０９量子化係数データ１０１１２逆ＤＣＴ部１０１１４復号画像出力部１０１１０係数逆量子化部１０１１３復号画像データ１０１１１逆量子化係数データ１０４０３予測部１０４０５予測誤差出力部１０４０６予測誤差入力部１０４０４予測誤差データ１１００１人工画像入力部１１０１０自然画像入力部１１００３人工画像符号化部１１０１２自然画像符号化部１１００５人工画像記憶部１１０１４自然画像記憶部１１００７人工画像復号部１１０１６自然画像復号部１１００９画像合成部１１００２入力人工画像データ１１０１１入力自然画像データ１１００４人工画像符号データ１１０１３自然画像符号データ１１００８復号人工画像データ１１０１７復号自然画像データ

Claims

【特許請求の範囲】

【請求項１】入力画像をｎ×ｍ画素の画素領域に区切
り、ｎ×ｍ画素の矩形毎にサブサンプリングパターンを
定める間引き画素判断手段と、Ｎ×Ｍ個の相互に隣接する、ｎ×ｍ画素の画素領域の各
々において所定の画素数以下の画素のみサブサンプリン
グしている場合には、上記ｎ×ｍの画素領域の各々から
所定の画素を抽出してｎ’×ｍ’の画素領域を形成する
次段階間引き判断手段とからなることを特徴とする画像
分析装置。
【請求項２】入力画像を２×２の画素領域に区切り、
２×２画素の矩形毎にサブサンプリングパターンを定め
る間引き画素判断手段と、２×２個の相互に隣接する、２×２の画素領域の各々に
おいて１画素のみサブサンプリングしている場合には、
上記２×２の画素領域から１画素ずつ画素を抽出して２
×２の画素領域をさらに形成する次段階間引き判断手段
とからなることを特徴とする画像分析装置。
【請求項３】前記間引き画素判断手段と、前記次段階
間引き判断手段を交互に縦続接続する請求項１記載の画
像分析装置。
【請求項４】前記間引き画素判断手段と、前記次段階
間引き判断手段との縦続接続数を所定の数に制限する請
求項３記載の画像分析装置。
【請求項５】入力画像の一部または全体を一時記憶す
る画像記憶手段と、前記間引き画素判断手段と、前記次段階間引き判断手段と、前記間引き画素判断手段、および前記次段階間引き画素
判断手段によって算出されたサブサンプリング画素の冗
長度を削減する画素値変換手段と、前記画素値変換手段によって変換されたシンボルに符号
を割当てる符号化手段とからなることを特徴とする画像
符号化装置。
【請求項６】間引かれた画素値を補間して求め、画像
記憶手段で再記憶させる補間画素値算出手段をさらに具
備したことを特徴とする請求項５記載の画像符号化装
置。
【請求項７】符号を復号し、変換シンボルと、サブサ
ンプリングパターンを求める復号手段と、変換シンボルを画素値に変換するシンボル変換手段と、シンボル変換手段によって求められた画素値と、サブサ
ンプリングパターンとから、間引きされた画素値を補間
によって求める補間画素値算出手段とからなることを特
徴とする画像復号装置。
【請求項８】画素値変換手段が、画像記憶手段に記憶された画像を矩形領域に分割し、符
号化を行う画素と、符号化を行う画素に隣接し、かつ、
既に符号化されている隣接矩形領域内あるいは同一矩形
領域内の参照画素を抽出する画素抽出手段と、参照画素の画素値を用いて、符号化を行う画素の画素値
を予測するか、または、符号化を行う画素の画素値と、
参照画素の画素値を用いて予測した画素値との予測誤差
を算出する複数の予測手段と、予測器の選択可能性の順位を記憶する予測器順位記憶手
段と、前記複数の予測手段の中から、予測手段を選択する選択
手段と、選択した予測手段の情報をもとに予測器順位記憶手段に
記憶されている予測器の順位を変更する予測器順位変更
手段と、選択された予測器順位あるいは、予測器順位と予測誤差
を符号化する符号化手段とからなる請求項５または請求
項６記載の画像符号化装置。
【請求項９】選択手段は、予測画素値と符号化を行う
画素の画素値が等しい予測器のうちで、最も予測器順位
の高い予測器を選択し、全ての予測器の予測結果が符号
化を行う画素の画素値と異なる場合には予測誤差を算出
する予測器を選択する請求項８の画像符号化装置。
【請求項１０】予測手段は、参照画素の画素値を予測
値とする請求項８記載の画像符号化装置。
【請求項１１】予測手段は、複数の参照画素の画素値
の線形和を予測値とする請求項８記載の画像符号化装
置。
【請求項１２】画素抽出手段は、符号化を行う画素の
矩形領域内の相対位置に応じて、参照画素の位置および
数を変化させる請求項８記載の画像符号化装置。
【請求項１３】画像抽出手段は、画像記憶手段に記憶された画像を縦および横が２のＮ乗
の画素数の矩形領域に分割し、第１の符号化画素を、該矩形領域の右下の画素として抽
出し、第２の符号化画素を、該矩形領域を縦横均等に４分割し
た右下の画素として抽出し、さらに、矩形領域を縦横均等に４分割してできる矩形領
域の右下の画素を矩形領域が２×２画素の大きさになる
まで次々と抽出する請求項８記載の画像符号化装置。
【請求項１４】予測器順位記憶手段は、符号化を行う
画素と参照画素の位置関係によって、別々の順位を記憶
し、予測器順位変更手段は、符号化を行う画素と参照画素の
位置関係によって、変更する順位を変える請求項８記載
の画像符号化装置。
【請求項１５】予測器順位変更手段は、直前に選択さ
れた予測器を順位１位とし、その他の予測器の順位は順
次１づつ下げる請求項８記載の画像符号化装置。
【請求項１６】符号化手段では、画素当たり１ビット
の間引き情報と、１位以外の予測手段順位と、予測誤差
と、１位か、１位以外かの画素当たり１ビットの予測的
中情報を矩形領域毎に符号化する請求項８記載の画像符
号化装置。
【請求項１７】間引き情報算出手段は、第１に、２×２画素のブロック左上、右上、左下の画素
を間引くかどうか判断し、隣接する２×２画素の４ブロック全ての左上、右上、左
下の画素を間引くと判断した場合には、２×２画素のブ
ロックの右下の画素４つを用いて、新たに解像度の低い
２×２画素のブロックを作り、その２×２のブロックで
さらに間引くかどうかを判断する請求項２記載の画像分
析装置。
【請求項１８】間引き情報算出手段は、第１に、２×２画素を、縦２画素に間引くか、あるい
は、横２画素に間引くか、あるいは、１画素に間引くか
を判断し、隣接する２×２画素の４ブロック全てを１画素に間引く
と判断した場合には、２×２画素のブロックの残った１
つの画素４つを用いて、新たに解像度の低い２×２画素
のブロックを作り、その２×２のブロックでさらに間引
くかどうかを判断する請求項２記載の画像分析装置。
【請求項１９】符号化手段では、間引き情報を４分割
し、分割された領域毎に、さらに高解像度でサンプリン
グされているか、予測が１位であるかどうかの予測的中
情報で、パターン分けして、そのパターン毎に符号を割
当て、さらに高解像度の画素が全て１位の場合あるいは
全て間引きされている場合にはそこで符号化を終える請
求項１６記載の画像符号化装置。
【請求項２０】符号化手段では、間引き情報を分割
し、分割された個々の部分毎に、全部間引かない場合
は、予測的中情報を別に符号化する請求項１６記載の画
像符号化装置。