JP2613325B2

JP2613325B2 - 画像符号化処理方法および画像復号化処理方法

Info

Publication number: JP2613325B2
Application number: JP14253491A
Authority: JP
Inventors: 英俊中西
Original assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Current assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Priority date: 1991-05-17
Filing date: 1991-05-17
Publication date: 1997-05-28
Anticipated expiration: 2012-05-28
Also published as: JPH04341067A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データ処理におけ
る画像符号化処理方法に関し、特に商用印刷画像におけ
る画質の劣化を最小限に押さえつつ、画像データ量を削
減できる画像符号化処理方法、およびそれと組合せて利
用される画像復号化処理方法に関する。

【０００２】

【従来技術】印刷分野における画像データは、テレビジ
ョンの画像データに比べて量が大変多く、１画像当たり
数ＭＢから数１０ＭＢの情報量に達する。このような大
量のデータをそのままデータベースとして記憶するには
膨大なメモリが必要であるし、またデータ伝送に要する
時間も大変長くなる。

【０００３】これに対処するため、画像の情報量を削減
する符号化技術、すなわち、画像データの圧縮技術が一
般に知られている。

【０００４】この圧縮技術として、従来から、直交変換
符号化もしくはベクトル量子化などの方法が開発されて
いる。特に直交変換符号化は静止画像の国際標準圧縮方
式にも採用されている。

【０００５】これらの圧縮方法においては、１つの画像
に対し１つの圧縮方法しか適用していなかった。

【０００６】しかし、画像全体に１つの圧縮方法しか行
わない場合、データ量削減のため高い圧縮率による符号
化処理を行うと画像全体の画質が一様に劣化する。ま
た、一方で必要な部分の画質を向上させるため圧縮率を
低くしようとすると画像全体の圧縮率を低くしなければ
ならず、画像データ量を削減するという点で効率が悪
い。

【０００７】この問題を解消するため、画像の劣化を最
小限に押さえて圧縮する手法が研究されている。

【０００８】その一つに例えば、２次元構造抽出符号化
方式をあげることができる。この一例として「輪郭情報
を重視したハイブリッド画像符号化法」に関する論文が
ある（テレビジョン学会技術報告Vol.14，No.12 ，PP21
〜26，1990）。

【０００９】この論文には、次のような画像処理方法が
記載されている。

【００１０】まず、直交変換前の画像データに低域フィ
ルター（ＬＰＦ）処理を施した画像と、元の原画像との
差分を取る。この差分画像には被写体など対象物画像の
輪郭部の誤差に関する情報が含まれているので、このよ
うな差分画像の中から有意性のある差分を抽出し、差分
情報とする。この差分情報は直交変換符号化における量
子化の際、欠落する高周波成分を予め原画像から抽出し
た成分といえる。

【００１１】一方、ＬＰＦ処理を施した画像は直交変換
を用いて圧縮し、これをメイン情報とする。このメイン
情報を復元した圧縮再生画像に前記差分情報を加えるこ
とにより、輪郭ぼけに関わる誤差は大幅に低減され、ぼ
けの少ない視覚的に良好な再生画像が得られる。

【００１２】

【発明が解決しようとする課題】しかしながら、この手
法は、差分画像の作成、差分情報の抽出、さらにメイン
画像に対する差分情報の付加など複雑な処理をするため
画像処理のアルゴリズムが複雑である。また、対象物画
像の輪郭以外にも人間の視覚上重要な情報が含まれてい
る場合がある。

【００１３】商用印刷画像においては、例えば人物など
の肌の滑らかさ、ドレスなどの生地の風合いなどが重要
である。圧縮処理を施した画像においてもそれらの部分
の画像の劣化は最小限におさえることが望まれる。

【００１４】従って、上述のように輪郭だけを鮮明にす
るだけの手法では到底満足のいくものでない。商用印刷
の分野、とりわけファッション雑誌などにおいてはこの
ような要請が顕著であり、欠くことができない要素とな
っている。

【００１５】本発明の目的は、簡単な手法により、画像
データの量を従来通り低く押さえながら、被写体などの
重要な部分の画像を鮮明に維持するための画像符号化処
理方法およびそれと組合せて利用される画像復号化処理
方法を提供することを目的とする。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、本発明の第１の構成の画像符号化処理方法では、
(a) 符号化処理の対象となる画像を複数の画素ブロック
に分割する。そして、(b)各画素ブロック内における前
記画像の濃度変化を表現したパラメータ値を画素ブロッ
クごとに求め、前記パラメータ値が所定の閾値より大き
い画素ブロックを、少なくとも対象物画像の一部分を含
む対象物ブロックと判定することによって、前記複数の
画素ブロックを対象物ブロック群と非対象物ブロック群
とに分類し、(c) 前記対象物ブロックに囲まれた領域を
閉領域として検出し、(d) 前記閉領域内に含まれる各画
素ブロックのうち、前記パラメータ値が前記閾値より小
さいために前記対象物ブロックと判定されなかった画素
ブロックについても対象物ブロックとみなす補正を行な
いつつ前記対象物ブロック群を特定する。

【００１７】また、符号化にあたっては、(e) 前記対象
物ブロック群に属する画素ブロックについては符号化処
理しないかまたは比較的低い圧縮率が得られる第１の符
号化処理をするとともに、前記非対象物ブロック群に属
する画素ブロックについては比較的高い圧縮率が得られ
る第２の符号化処理をすることによって、前記複数の画
素ブロックのそれぞれについて符号化された画像データ
を得る。

【００１８】さらに、(f) 前記複数の画素ブロックのそ
れぞれについて、前記対象物ブロック群と前記非対象物
ブロック群とのうちのいずれに属するかを表現する属性
データを生成して前記符号化された画像データに付随さ
せておく。

【００１９】ただし、「画像データに付随」とは、画像
データと概念的にペアにする場合と、画像データの一部
として画像データ中に組込む場合との双方を含む用語で
ある。

【００２０】一方、この発明の復号化処理方法では、
(A) 前記属性データを参照することによって、前記画素
ブロックのそれぞれが前記対象物ブロック群と前記非対
象物ブロック群とのうちのいずれに属するかを判定す
る。そして、(B) 前記符号化された画像データを復号化
するが、それにあたっては、工程(A) によって前記対象
物ブロック群に属する判定された画素ブロックについて
は前記第１の符号化処理に対応する第１の復号化処理
で、また、工程(A) によって前記非対象物ブロック群に
属する判定された画素ブロックについては前記第２の符
号化処理に対応する第２の復号化処理それぞれ復号化を
行なう。そして、(C) 工程(B) によって復号化された各
画素ブロックを合成して、原画像に対応する復元画像を
得る。

【００２１】

【作用】符号化すべき画像を分割した画素ブロックのう
ち、濃度変化が大きいブロックは、被写体などの対象物
画像の少なくとも一部を含むものとして把握される。そ
して、このような対象物ブロックについては実質的に圧
縮を行わないか、あるいは低圧縮率の圧縮に相当する符
号化処理を施す。またそれ以外の画素ブロックには高圧
縮率の圧縮に相当する符号化処理を施す。このため画像
全体のデータ量を少なく押さえながら、重要部分の画質
の劣化を最小限にとどめることができる。

【００２２】画像データの符号化を行なうことによって
得られた符号化画像データは保存または伝送される。そ
してその符号化画像データをモニタ等の出力機に表示す
る場合には復号化を行なわねばならないが、この復号化
に際しては各画素ブロックがいずれの圧縮率で符号化さ
れたものであるかを知ることが必要となる。このため、
各画素ブロックについて、対象物ブロック群と非対象物
ブロック群のいずれに属するかを表現する属性データを
生成して画像データに付随させておく。

【００２３】ところで、対象物ブロックであるか否かを
判定するにあたって各画素ブロック内の濃度変化をその
指標とした場合においては、本来は対象物ブロックであ
るにもかかわらず、対象物ブロックでないと判定される
場合がある（具体例は実施例において説明する）。この
ため、このような誤判定が生じてもそれを補正すること
を可能にしている。

【００２４】すなわち、対象物画像の輪郭部分と中央部
分とはそれらの画像データの分布の性質が明らかに異な
っている場合が多いために、輪郭部分では上記のような
誤判定はあまり発生せず、誤判定が生じ易い画素ブロッ
クは対象物画像の内部に孤立して存在している場合が通
例であることに着目する。このため、対象物ブロックと
判定された画素ブロックに囲まれた閉領域内にある各画
素ブロックを対象物ブロック群に属するのものとみなす
ことにより、誤って非対象物ブロックと判定された対象
物ブロックも対象物ブロック群の中に含ませるような補
正を行なう。

【００２５】これによって、輪郭部以外の対象物部分に
ついては、画質の劣化がその輪郭部と同程度に押さえら
れる。

【００２６】また、この発明の画像復号化処理方法は、
上記第１の符号化処理方法で符号化された画像を復号化
するために適した方法となっている。その過程において
は各画素ブロックが対象物ブロック群と非対象物ブロッ
ク群とのいずれに属しているかを知る必要があり、その
ために「属性データ」が参照される。

【００２７】

【実施例】以下、図面を参照して、本発明にかかる画像
符号化処理方法と画像復号化処理方法の実施例を詳細に
説明するが、本発明の技術的範囲がこれにより限定され
るものではないことはもちろんである。

【００２８】本実施例は、次のような順番で説明され
る。

【００２９】（Ｉ）対象物ブロックの抽出方法（II）対象物ブロックに囲まれた閉領域の形成方法 (III)画像圧縮方法（IV）本実施例にかかる方法を実施する装置例（Ｖ）変形例以下、分説する。＜（Ｉ）対象物ブロックの抽出方法＞本実施例では、商
用印刷の分野でも需要の多いファッション雑誌において
よく用いられる撮影手法、すなわちモデルなどの被写体
を望遠レンズで撮影し、モデルにピントを合わせて背景
部分はピントをぼかす手法によって得られた画像につい
て対象物ブロックを抽出する方法を述べる。（１）画像データのブロック化まず、原画像から得られた画像データを、複数の画素ブ
ロックに分割する。

【００３０】図５(a) で模式的に示すように画像データ
は、（Ｈ×Ｖ）個の多数の画素Ｐで構成されているとと
もに、それぞれが複数の画素を有する（Ｍ×Ｎ）個の画
素ブロックＢ_xyに分割されている。図５(b) は、１つの
画素ブロックＢ_xyの構成を示した概念図である。画素ブ
ロックＢ_xyは、（Ｉ×Ｊ）個の画素で構成された画素マ
トリクスとなっており、各画素ごとに画像データｆ_ijが
得られている。

【００３１】図５(b) の例では、画素ブロックＢ_xyは、
（８×８）画素で構成されているが、（４×４）画素や
（１６×１６）画素などで構成してもよい。（２）対象物ブロックの抽出まず、画素ブロックＢ_xyごとに画像データｆ_ijの標準偏
差σ_xyを求める。

【００３２】この標準偏差σ_xyは、元の画像データｆ_ij
の分布状態を示すもであって、画像の輪郭部など濃度変
化が大きい部分では、その標準偏差σ_xyは相対的に大き
くなり、これに対して背景部など濃度変化が小さい部分
ではその標準偏差σ_xyは相対的に小さくなる。

【００３３】従って、元の画像データｆ_ijの標準偏差が
大きな画素ブロックＢ_xyを対象物ブロックと判断するこ
とができる。

【００３４】すなわち画素ブロックＢ_xyごとの画像デー
タｆ_ijの標準偏差σ_xyが所定の閾値σ₁より大きいとき
に、当該画素ブロックＢ_xyは対象物画像を含む対象物ブ
ロックであると判断することができる。

【００３５】尚、この閾値σ₁の値は画像の種類により
経験的に求め得るものである。＜（II）対象物ブロックに囲まれた閉領域の形成＞最初
に上述の（２）において抽出された対象物ブロックのデ
ータに基づき、第１のコードテーブルＣＴ（ｘ，ｙ）を
作成する。

【００３６】この第１のコードテーブルの作成手順を、
図１０のフローチャートに基づき説明する。

【００３７】まず、（Ｍ×Ｎ）の画素ブロックＢ_xyに分
割された画像データに対応させて（Ｍ×Ｎ）個分の領域
を有するコードテーブルを用意する。

【００３８】そしてｘ＝０，ｙ＝０に対応する画素ブロ
ックＢ_xy（すなわち最初の画素ブロックＢ₀₀）を選択
し、そのブロックＢ_xyについての画像データｆ_ijの標準
偏差σ_xyを求めるとともに、その標準偏差σ_xyと閾値σ
₁とを比較する。そして標準偏差σ_xyが閾値σ₁よりも
大きいときにはその当該画素ブロックＢ_xyが対象物ブロ
ックであると判定し、閾値σ₁と同じかまたはそれより
も小さいときには対象物ブロックではないと判定する
（ステップＳ３１〜Ｓ３３）。

【００３９】ステップＳ３３で当該画素ブロックＢ_xyが
対象物ブロックと判定されれば、その画素ブロックＢ_xy
に対応するＣＴ（ｘ，ｙ）の値を“１”にし（ステップ
Ｓ３４）、対象ブロックでなければＣＴ（ｘ，ｙ）を
“２”にして（ステップＳ３５）、次に変数ｙを“１”
だけインクリメントし、変数ｙの値がＮになるまで上記
処理を繰り返す（ステップＳ３６、Ｓ３７）。ステップ
Ｓ３７で変数ｙの値がＮになれば、画素ブロックＢ_xyの
一列目の走査が終了したことになるので、変数ｘを
“１”だけインクリメントして次の列の走査に移って
（ステップＳ３８）、ステップＳ３２からステップＳ３
７までの処理を繰り返し、ステップＳ３９で変数ｘがＭ
になれば、全画素ブロックＢ_xyに対する判定が終了した
ことになり、第１のコードテーブルが完成する。

【００４０】図９に、原画像２０とそれに基づき作成さ
れた第１のコードテーブル２１ａの例を概念的に示す。
対象物画像２０ａの少くとも一部を含むものとして抽出
されたブロックにはコード“１”が与えられ、それ以外
のブロックには“２”が与えられている。（実際には、
もっと細かなブロックに分割されるので、対象物画像２
０ａの輪郭をかなり正確につかむことができるのである
が、本例では説明のため概略的に示した。）同図に示す
ように対象物画像２０ａの各部分は、その多くが対象物
ブロックとして抽出されているが、対象物画像２０ａの
内部であってもコード“１”が付与されていない領域が
ある。これは、上記の対称物ブロック抽出の操作が、画
素ブロックＢ_xy内の画素データの空間的な分布状態に着
目してなされたためであり、対象物画像２０ａ内部であ
っても、例えばモデルが白色の無地の服などを着ていれ
ば、その部分は空間的変化が少なく対象物ブロックとし
て抽出されないことによる。

【００４１】そこで、このような画素ブロック（以下、
「疑似非対象物ブロック」と言う）が対象物ブロックと
して取扱われるようにするため、対象物ブロックで囲ま
れた閉領域内のブロックを全て“１”に置き換える補正
処理を行う。疑似非対象物ブロックは対象物画像２０ａ
の内部に孤立して存在することが多いため、上記閉領域
内の置き換え処理によって確実に対象物ブロックへと補
正される。

【００４２】この処理は、まず、対象物ブロックによっ
て囲まれた閉領域以外の領域（背景領域）のブロックを
全て“０”に置き換える処理と、次に対象物ブロックに
よって囲まれた閉領域内のブロックを全て“１”に置き
換える処理からなる。

【００４３】図１１には、まず、第１のコードテーブル
２１ａを上下方向から走査して対象物ブロックによって
囲まれた閉領域以外の領域（背景領域）のブロックを
“０”に置き換える手順を示すフローチャートが示され
ている。

【００４４】第１のコードテーブル２１ａを、ｘ＝０、
ｙ＝０の位置から走査し、当該ＣＴ（ｘ，ｙ）の値が
“１”かどうかを判定して（ステップＳ４１〜Ｓ４
３）、“１”でなければそのＣＴ（ｘ，ｙ）の値を
“０”とする（ステップＳ４４）。そして変数ｙを
“１”だけインクリメントして、変数ｙが“Ｎ”になる
まで、ステップＳ４３からステップＳ４５までの処理を
繰り返す（ステップＳ４５、Ｓ４６）。ステップＳ４６
で変数ｙが“Ｎ”になると、この列の走査が終了したこ
とになるので、変数ｘを“１”だけインクリメントして
次の列の走査に移る（ステップＳ５２）。

【００４５】ただし、ステップＳ４３において、ＣＴ
（ｘ，ｙ）の値が“１”であれば、この列の上方向から
の走査は終了し、今度は変数ｙを“Ｎ−１”にして下方
向から走査を開始して（ステップＳ４７）、当該ＣＴ
（ｘ，ｙ）の値を判定する（ステップＳ４８）。ＣＴ
（ｘ，ｙ）が“１”でなければそのＣＴ（ｘ，ｙ）の値
を“０”に置き換え（ステップＳ４９）、変数ｙを
“１”だけデクリメントして、変数ｙが“０”になるま
で、１つ上のブロックについて順次同じ処理を繰り返す
（ステップＳ５０、Ｓ５１）が、ステップＳ４３におい
て同列にＣＴ（ｘ，ｙ）＝１を検出しているので、通常
は変数ｙが“０”になるまでにステップＳ４８において
“１”を検出し、ステップＳ５２に移る。

【００４６】ステップＳ５２では、変数ｘを“１”だけ
インクリメントして、次の列の走査に移るよう指示を出
し、変数ｘがＭになるまで上記処理を繰り返す。そして
変数ｘがＭになれば処理を停止する（ステップＳ５
３）。

【００４７】次に第１のコードテーブル２１ａを左右横
方向からの走査するが、これは上記上下方向からの走査
において、変数ｘと変数ｙを入れ替えればよいだけなの
でここでの説明は省略する。

【００４８】このようにして、初期の第１のコードテー
ブルを上下左右方向から走査し、対象ブロックに突き当
たるまでのブロックのコードを全て“０”に置換した結
果、図９の第２のコードテーブル２１ｂに示すように対
象物ブロックの周囲のブロックを全て“０”にすること
ができる。

【００４９】次に、この対象物ブロックで囲まれた閉領
域内のブロックのコードを全て“１”に置き換える処理
を図１２のフローチャートに基づき説明する。

【００５０】第２のコードテーブル２１ｂを、ｘ＝０、
ｙ＝０の位置から走査し、当該ＣＴ（ｘ，ｙ）の値が
“２”かどうかを判定する（ステップＳ５４〜Ｓ５
６）。ＣＴ（ｘ，ｙ）の値が“２”であればそのＣＴ
（ｘ，ｙ）の値を“１”とし（ステップＳ５７）、
“２”でなければそのままステップＳ５８に移って変数
ｙを１だけインクリメントし、変数ｙがＮになるまで、
順次１つ下のブロックについて上記処理を繰り返す（ス
テップＳ５８、Ｓ５９）。

【００５１】ステップＳ５９で変数ｙがＮになると、こ
の列の走査が終了したことになるので、変数ｘを１だけ
インクリメントし（ステップＳ６０）、その値がＭにな
っていなければ、次の列の走査に移って上記処理を繰り
返し、変数ｘがＭになれば処理を終了する（ステップＳ
６１）。

【００５２】この処理により、図９の第３のコードテー
ブル２１ｃに示すように対象物ブロックに囲まれた閉領
域内のブロックは全て“１”に置換される。このような
補正を行なった後に対象物ブロックとして取り扱われる
すべての画素ブロックの集合によって「対象物ブロック
群」が定義される。また、この最終的なコードテーブル
２１ｃを以下「対象物テーブル」と呼ぶが、この対象物
テーブルは画像データに付随する「付随データ」であ
る。

【００５３】ところで、この補正方法によれば、対象物
画像２０ａの隙間に現われている背景部分２０ｂ，２０
ｃも対象物領域のブロックとみなされることになるが、
このようなことは人物などの被写体においてはまれであ
り、また、あったとしてもその面積は微小である。ま
た、後述するように対象物ブロックの画像データは比較
的低い圧縮率で圧縮するため、本来は画質が低くてもよ
い背景部分２０ｂ，２０ｃについても比較的高い画質を
維持するように圧縮することになるだけであって、その
逆、すなわち高い画質が要求される部分の画質を落とす
わけではない。このため、上記補正によって背景部分２
０ｂ，２０ｃが対象物ブロック群の中に入れられてしま
うことによる弊害はない。＜（III)画像圧縮方法＞上述のようにして形成された対
象物テーブルに基づき、対象物領域内の画素ブロック
（これを改めて「対象物ブロック」という。）には低圧
縮率の符号化処理を行い、それ以外の背景領域内の画素
ブロック（以下「背景ブロック」ないしは「非対象物ブ
ロック」という。）については高圧縮率の符号化処理を
行う。その具体的方法は以下の通りである。

【００５４】まず、画像データから画素ブロックＢ_xyを
順次呼び出し、対応する対象物テーブルのデータＣＴ
（ｘ，ｙ）の値が“１”の場合は、当該画素ブロックＢ
_xyが対象物ブロックであることを示すから、直交変換符
号化例えば離散コサイン変換等を用いて原画像のデータ
をほとんど保存した低い圧縮率ｒ_Bで符号化処理する
（圧縮Ｂ）。この場合、低圧縮には、全く圧縮しない場
合も含む。

【００５５】一方、当該画素ブロックＢ_xyに対応する対
象物テーブル２１ｃのデータＣＴ（ｘ，ｙ）の値が
“０”の場合は、当該画素ブロックＢ_xyが背景ブロック
であることを示しているので、当該画像データを直交変
換符号化でも低周波成分のみを保存する高圧縮率ｒ_Cで
符号化処理する（圧縮Ｃ）。

【００５６】圧縮方法としては、離散フーリエ変換、ア
ダマール変換などの種々の方法を用いることができる
が、ここでは、次式で示される離散コサイン変換を用い
る。

【００５７】

【数１】

【００５８】図６，図７，図８は、１つの画素ブロック
内における画像データｆ_ijと、数１で求められた変換係
数Ｆ_pqを示す説明図である。

【００５９】変換係数Ｆ₀₀は、画像データｆ_ijの単純平
均値（以下「直流成分」という。）を示し、その他の変
換係数Ｆ_pq（p,q は正の整数であり、以下「交流成分」
という。）が画像データｆ_ijの分布状態を示している。
変換係数Ｆ_pqは実際は、それぞれ例えば２進数で表わさ
れる値であるが、図６では、説明の便宜上１０進数で示
している。

【００６０】図６，図７，図８の、（ａ−１），（ｂ−
１），（ｃ−１）の画像データｆ_ijと、それぞれに対応
する図６，図７，図８の（ａ−２），（ｂ−２），（ｃ
−２）の変換係数Ｆ_pqを見ればわかるように、画像デー
タｆ_ijの分布の態様によって変換係数Ｆ_pqは、０でない
値を持つ位置（ｐ，ｑ）、およびその値の大きさがかな
り異なる。

【００６１】たとえば、濃度変化の大きい（ａ−１）の
画像データや、輪郭部を含む（ｂ−１）の画像データの
変換係数Ｆ_pqの（ａ−２），（ｂ−２）の交流成分には
大きい値（例えば“４”以上）を持つものが多く存在す
るが、これに対して、背景など濃度変化の小さい（ｃ−
１）の画像データの変換係数Ｆ_pqの（ｃ−２）の交流成
分には大きい値（例えば“４”以上）をもつものが存在
しない。

【００６２】このことから、低い圧縮率で符号化処理す
る圧縮Ｂは変換係数Ｆ_pqの直流成分及びほとんどの交流
成分を保存し、一部の交流成分のみ削除し、一方、高い
圧縮率で符号化処理する圧縮Ｃは、有効な交流成分が少
ないので変換係数Ｆ_pqの直流成分及び一部の交流成分
（低周波成分）のみを保存し、その他の交流成分（高周
波成分側）を削除する。このようにして保存されたデー
タを圧縮データとする。

【００６３】また、対象物テーブル２１ｃも圧縮してお
くことが好ましい。この場合、対象物テーブル２１ｃ
は、“０”と“１”の２値データなので、ＭＲ（Modifi
ed Read ）符号で圧縮すればよい（圧縮Ａ）。もちろん
他の可逆符号，たとえばランレングス圧縮方法により圧
縮しても構わない。

【００６４】そして、圧縮された画像データと対象物テ
ーブルはそれぞれ異なるメモリ部に保存されてデータベ
ース化され、もしくは、通信回線にのせられ伝送され
る。

【００６５】上述のように、対象物テーブル２１ｃに基
づき領域ごとに異なる符号化処理をすることにより、重
要な対象物画像の画質を維持しながら、あまり重要でな
い背景領域には高圧縮率をかけることができるので、全
体として画像データを大幅に削減することが可能とな
る。

【００６６】このようにして圧縮された画像データを復
元するには、次の手順による。

【００６７】まず、圧縮された対象物テーブルを、上記
圧縮Ａの逆変換に相当する伸長処理を行い、復元する。
次に圧縮された画像データをブロックＢ_xyごとに呼び出
し、復元された対象物テーブル２１ｃのＣＴ（ｘ，ｙ）
の値と照らし合わせて、当該ＣＴ（ｘ，ｙ）が“１”な
らば、上記圧縮Ｂの逆変換に相当する伸長を行い、当該
ＣＴ（ｘ，ｙ）が“０”ならば、上記圧縮Ｃの逆変換に
相当する伸長処理でこれを伸長して復元する。

【００６８】最後にこれらの伸長された画像データを合
成して、最終的に画像全体を復元する。

【００６９】このとき、背景領域の画像について平滑処
理、たとえば３×３平滑化マトリクスの平滑化処理を施
し、高圧縮により劣化したデータを補正する。背景画像
はもともとピントがぼけて階調変化の緩やかな部分であ
るから、この平滑化処理により原画像とほとんど同じに
ように背景画像を再現できる。

【００７０】なお、原画像は通常カラー画像の場合が多
いが、このようなカラー画像の場合には、色分解された
イエロー（Ｙ），マゼンダ（Ｍ），シアン（Ｃ），墨
（Ｋ）、もしくは、赤（Ｒ），緑（Ｇ），青（Ｂ）、ま
たは、色座標変換後の色変数、例えば輝度（Ｙｓ），色
差（Ｉｓ，Ｑｓ）などの成分についてそれぞれ上記画像
処理を行ったのち最後にこれらを合成して復元すること
になる。

【００７１】また、この場合前記対象物ブロックの抽出
に用いられる画像は１種類、たとえば、輝度（Ｙｓ）の
みの原画像でよいが、２または３種類の色成分について
抽出処理を行い、それぞれについて得られた色成分別の
対象物ブロック群の和集合によって、低圧縮率で符号化
すべき対象物ブロック群を定義すれば、より確実に対象
物ブロックの画像を抽出できることができる。＜（IV）本実施例にかかる方法を実施する装置例＞次
に、上記画像符号化処理方法および画像復号化処理方法
を実施するための画像処理装置の一例について説明す
る。

【００７２】この画像処理装置は、画像データ圧縮装置
と、画像データ復元装置とからなり、両者は一体となっ
て構成されていることもあれば、独立して構成されて異
なる場所に配置され、通信回線によって画像データの伝
送をすることもある。（１）画像データ圧縮装置図１は画像データ圧縮装置１００の構成を示すブロック
図であり、図３はこの画像データ圧縮装置１００の動作
を示すフローチャートである。

【００７３】画像メモリ部１に記憶された原画像の画像
データは、画素ブロック分割部２において複数の画素ブ
ロックＢ_xyに分割され（ステップＳ１）、対象物ブロッ
ク抽出部３にて、前記分割された画素ブロックＢ_xy内の
画像データｆ_ijの分布状態により、当該画素ブロックＢ
_xyが、対象物画像のうち少なくとも輪郭部を含むブロッ
クであるかどうかを判定し対象物ブロックとして抽出す
る（ステップＳ２、なお、対象物ブロックの抽出操作の
詳細については，上記（Ｉ）参照）。

【００７４】次に対象物テーブル作成部４にて、前記抽
出された対象物ブロックに囲まれた領域内を閉領域とし
てこの領域内のブロックを全て対象物ブロックとみなし
てそのブロックのＣＴ（ｘ，ｙ）の値を“１”にし、そ
の他の領域を背景ブロックとしてそのブロックのＣＴ
（ｘ，ｙ）の値を“０”にして、対象物テーブルを作成
する（ステップＳ３、なお、この対象物テーブルの作成
手順の詳細については上記（II）参照）。

【００７５】前記対象物テーブルのデータＣＴ（ｘ，
ｙ）に基づき、画素ブロック判別部６おいては、まず、
変数ｘ，変数ｙの双方が“０”の画素ブロックＢ_xyから
走査を始める（ステップＳ４，Ｓ５）。そして当該画素
ブロックＢ_xyに対応するＣＴ（ｘ，ｙ）の値が“１”か
どうかを判定する（ステップＳ６）。

【００７６】画像データ圧縮装置１００は第１から第３
の圧縮部５，７，８を備えている。そして当該画素ブロ
ックＢ_xyに対応するＣＴ（ｘ，ｙ）の値が“１”であれ
ば当該画素ブロックＢ_xyは対象物ブロックであるから、
第２の圧縮部７に送って低圧縮率による符号化処理（圧
縮Ｂ）を行い（ステップＳ７）、“１”でなければ当該
画素ブロックＢxyは背景ブロックであるからこれを第３
の圧縮部８に送って高圧縮率による符号化処理（圧縮
Ｃ）を行う（ステップＳ８）。

【００７７】ステップＳ９に移り変数ｙを“１”だけイ
ンクリメントする。このときの変数ｙの値がＮになった
かどうかを判断し（ステップＳ１０）、Ｎになっていな
ければ、ステップＳ６に戻って上記処理を繰り返し、Ｎ
になっておればその列の走査は終了したことになるの
で、変数ｘを“１”だけインクリメントして次の列の処
理に移り、変数ｘがＭになるまで、同じ走査を繰り返
す。そして変数ｘがＭになれば処理を停止する（ステッ
プＳ１１、Ｓ１２）。

【００７８】最後に対象物テーブルのデータを第１の圧
縮部５にてＭＲ符号化にて圧縮（圧縮Ａ）する（ステッ
プＳ１３）。このようにして得られた圧縮画像データと
圧縮対象物テーブルデータとを、以下では「圧縮済デー
タ」と総称する。

【００７９】次にこれらの圧縮済データを保存するかど
うかを判断する（ステップＳ１４）。これらの圧縮済デ
ータを保存するか、それとも画像データ復元装置に伝送
するかは、図示しない操作入力装置をオペレータがマニ
ュアル操作することによって指定される。

【００８０】これらの圧縮済データを保存する場合は、
上記指示に応答して第１の切換手段９が保存部１０側に
切換わり、圧縮済データが磁気ディスクなどに保存され
る（ステップＳ１５）。また圧縮済データを伝送する場
合には第１の切換手段９が伝送部１１側に切換わり、圧
縮済データが通信回線ＣＬを介して伝送される（ステッ
プＳ１６）。尚、この場合、圧縮済データの保存と伝送
を並行して行うようにすることももちろん可能である。

【００８１】また、これらの圧縮済データの保存や伝送
においては、対象物テーブルと色分解された画像データ
とが相互に識別可能なデータ形式とされている。（２）画像データ復元装置図２は画像データ復元装置２００の構成のブロック図で
あり、図４はこの画像データ復元装置２００における圧
縮データ伸長の動作を示すフローチャートである。

【００８２】この画像データ復元装置２００は圧縮済デ
ータの保存部１０ａを備えている。この画像データ復元
装置２００が図１の画像データ圧縮装置１００と一体化
されるか、もしくは近接して設けられる場合には、この
保存部１０ａは画像データ圧縮装置１００の保存部１０
と共用されていてもよい。

【００８３】圧縮済データが保存部１０ａに保存されて
いる場合には、この保存部１０ａから圧縮済データが読
出される。また、圧縮済データが通信回線ＣＬを通じて
伝送される場合には、受信部１２を介して圧縮済データ
が受信される。そして前者の場合には第２の切換え手段
１３が保存部１０ａに切換わることにより、また後者の
場合には第２の切換え手段１３が受信部１２に切換わる
ことによって、圧縮済データが第２の切換え手段１３か
ら出力される。

【００８４】圧縮済データのうち、まず、対象物コード
テーブルが第１の伸長部１４に与えられ、この第１の伸
長部１４においてデータ伸長のために復号化される。
（ステップＳ１７）。また、圧縮画像データは圧縮画像
データ判別部１５に与えられ、圧縮画像データ判別部１
５は上記のようにして復号化された対象物テーブルＣＴ
（ｘ，ｙ）に基づき、圧縮画像データの各画素ブロック
が対象物ブロックであるか非対象物ブロックであるかを
判定する。

【００８５】すなわち、まず、画素ブロックＢ_xyのうち
変数ｘ，変数ｙが共に“０”のものから判断を開始し
（ステップＳ１８，Ｓ１９）、当該画素ブロックＢ_xyに
対応する対象物テーブルのＣＴ（ｘ，ｙ）の値を参照す
る（ステップＳ２０）。

【００８６】対象物テーブルのＣＴ（ｘ，ｙ）の値が
“１”である場合には、その画素ブロックは対象物ブロ
ックであるからこれを第２の伸長部１６に送って復号化
する（ステップＳ２１）。

【００８７】また、対象物テーブルのＣＴ（ｘ，ｙ）の
値が“１”でない場合は背景ブロックであるからこれを
第３の伸長部１７に送って復号化する（ステップＳ２
２）。

【００８８】ここでの復号化処理は、符号化処理の逆変
換を行うものであって、符号化処理が例えば数１の式で
表される離散コサイン変換の場合、次式で表される離散
コサイン逆変換を用いる。

【００８９】

【数２】

【００９０】その後、変数ｙが“１”だけインクリメン
トされ、変数ｙがＮになるまで、順次１つ下の画素ブロ
ックＢ_xyについて同じ処理を繰り返す（ステップＳ２
３、Ｓ２４）。ステップＳ２４で変数ｙがＮになるとこ
の列の処理が終了したことになるので、変数ｘに“１”
をインクリメントして（ステップＳ２５）、変数ｘがＭ
になるまで上記走査を繰り返し、変数ｘがＭになれば処
理を停止する（ステップＳ２６）。画像データがカラー
画像データの場合には、以上の処理は各色成分ごとに行
なわれる。

【００９１】第２の伸長部１６から出力された復元画像
データと、第３の伸長部１７から出力された復元画像デ
ータとは、画像面上におけるそれぞれの位置ないしはア
ドレスに対応するタイミングで次段の合成部１８に送ら
れる。この合成部１８では、各画素ブロックの位置ない
しはアドレスを参照しつつ上記対象物と背景部とのそれ
ぞれの画素ブロックの復元済画像データを合成すること
によって、最終的に原画像に相当する画像を得る。画像
データがカラー画像データの場合には、各色成分ごとの
画像データの合成も行なわれる。

【００９２】また、合成部１８には各種の画像処理・編
集機能を持たせておくことが可能であり、たとえば平滑
処理機能を設け、背景領域の画像について平滑処理、た
とえば３×３平滑化マトリクスを用いた平滑処理を施
し、高圧縮により劣化したデータを補正することにより
原画像に近い背景部を再現することができる。この場合
には背景部について平滑化処理を行った後に合成が行な
われる。それは、合成後に平滑化を行なおうとすると再
び対象物ブロックと背景ブロックとの識別を行ない、後
者のみについて平滑化をするというプロセスが必要にな
ってくるからである。

【００９３】このようにして合成部１８で復元された画
像は、カラーディスプレイなどの表示部１９にて表示さ
れる。また、この画像は画像記録のために画像記録装置
に与えられてもよいし、また画像編集処理のために、メ
モリに格納されてもよい。＜（Ｖ）変形例＞本実施例においてはさまざまな変形例
が考えられる。まず、（Ｉ）で述べた対象物ブロック抽
出方法は、本実施例のように画素ブロックにおける画像
データの分散状態によるものだけでなく、各画素ブロッ
クの画像データを直交変換した後、この交流成分のうち
一定の閾値以上のものが何個あるかで判別する方法でも
可能である。

【００９４】さらに、本実施例では、原画像として被写
体のみピントが合い背景部分はピントがぼやけたものを
例にして説明したが、これに限らず背景部分にピントが
あっていても、無地のような階調変化に乏しい背景であ
れば、同様の処理を行うことが可能である。

【００９５】また、場合によっては、前述の論文のよう
に原画像のデータを低域フィルタに通した後に元の画像
との差分をとり、輪郭部分のみを差分情報として抽出す
る方法を採用しても、対象物ブロックの抽出を行うこと
ができる。

【００９６】また、原画のうちのいずれの部分を対象物
と見るかは状況に応じて定まるものであって、たとえば
風景写真の場合には遠景部を対象物とし、近景部を非対
象物とし、前者については低圧縮率で、また、後者につ
いては高圧縮率で圧縮してもよい。

【００９７】また、本実施例では、対象物テーブルを作
成し、これも圧縮して圧縮画像データと識別可能にし
て、別個に保存もしくは伝送するようにしたが、必ずし
もこのようにする必要はない。対象物テーブルのＣＴ
（ｘ，ｙ）値は“０”か“１”の２値データであるの
で、このデータを当該画素ブロックＢ_xyの圧縮データの
１ビットにこの情報を入れておけば、圧縮画像データ判
別部１５で読み出すときにその識別データにより、対象
物ブロックか背景ブロックかを判別できる。これにより
同様の効果を有しながら、画像符号化装置１００におけ
る第１の圧縮部５と画像データ復元装置２００における
第１の伸長部１４を省略することができ装置全体の簡略
化が図れる。

【００９８】さらに、各圧縮部の圧縮率を自由に設定で
きるようにし、対象物画像と背景画像の微妙なバランス
をとるようにすることも可能である。

【００９９】また、前記モニター用表示部に原画像と対
象物テーブルをオーバーラップして表示させ、これを見
ながら、対象物ブロックの範囲を確認し、はみ出したと
ころは削除し、不足なところは補ってさらに正確な対象
物テーブルを作成するようにすることも可能である。こ
の方法によれば、原画像２０における２０ｂや２０ｃの
部分も背景ブロックに変換することができるようにな
る。

【０１００】尚、画像データ圧縮装置１００と画像デー
タ復元装置２００が一体となっている場合には、画像デ
ータ復元装置２００の表示部１９を、前記モニター用表
示部として使用することができる。

【０１０１】

【発明の効果】本発明の第１の構成にかかる画像符号化
処理方法は、上述のように原画像のデータについて対象
物画像を含む画素ブロックを抽出し、この抽出された画
素ブロックと対象物以外の領域の画素ブロックに対し異
なる画像処理をするようにしたので、高い画像品質が要
求される画像の領域の画像データを低圧縮率で圧縮し、
その他の領域の画像データを高圧縮率で圧縮することに
より、重要な画像の画質を鮮明に維持できる一方、従来
の画像全体の画質を低圧縮する方法に比べ、画像データ
の量を削減することができる。

【０１０２】また、この発明では各ブロック内の濃度変
化に着目して対象物ブロックを特定するため、特に画質
の劣化を防止すべき対象物画像が空間的に適切に抽出さ
れる。その一方で、濃度変化に着目したことによる誤差
に対しては、対象物ブロックに囲まれた閉領域の各画素
ブロックを対象物ブロックとする補正を行なっているた
め、本来は対象物ブロックであるにもかかわらず非対象
物ブロックであると誤判定された画素ブロックも対象物
ブロック群に属するブロックとして取扱うことができ、
その結果、復号化する場合、人物の肌やドレスの生地等
が劣化なく復元できる。

【０１０３】さらにこの発明の画像復号化処理方法によ
れば、上記のようにして圧縮された画像を、その圧縮の
態様に応じて適切に復元することが可能である。

【図面の簡単な説明】

【図１】本発明にかかる画像符号化処理方法を実施する
ための画像データ圧縮装置の一例を示すブロック図であ
る。

【図２】本発明にかかる画像復号化処理方法を実施する
ための画像データ復元装置の一例を示すブロック図であ
る。

【図３】図１の画像データ圧縮装置の動作を説明するフ
ローチャートである。

【図４】図２の画像データ復元装置における圧縮のデー
タの伸長工程の動作を説明するフローチャートである。

【図５】ａ図は画像の画素ブロック化を、ｂ図は当該画
素ブロック内の画素配列の状態をそれぞれ示す図であ
る。

【図６】画素ブロックにおける画像データと変換係数の
第１の例を示す図である。

【図７】画素ブロックにおける画像データと変換係数の
第２の例を示す図である。

【図８】画素ブロックにおける画像データと変換係数の
第３の例を示す図である。

【図９】原画像の一例およびこれに基づく対象物テーブ
ルの作成手順を示す図である。

【図１０】分割された画素ブロックの中から対象物ブロ
ックを抽出する処理を説明するためのフローチャートで
ある。

【図１１】抽出された対象物ブロックから閉領域を形成
するための処理を説明するためのフローチャートであ
る。

【図１２】対象物ブロックで囲まれた領域のブロックを
全て１に置き換える処理を説明するためのフローチャー
トである。

【符号の説明】

１画像メモリ部２画素ブロック分割部３対象物ブロック抽出部４対象物テーブル作成部５第１の圧縮部６画素ブロック判別部７第２の圧縮部８第３の圧縮部９第１の切換手段１０，１０ａ保存部１１伝送部１２受信部１３第２の切換手段１４第１の伸長部１５圧縮画像データ判別部１６第２の伸長部１７第３の伸長部１８合成部１９表示部

Claims

(57)【特許請求の範囲】

【請求項１】与えられた画像の画像データを圧縮する
ために前記画像データを符号化する方法であって、 (a) 符号化処理の対象となる画像を複数の画素ブロック
に分割する工程と、 (b) 各画素ブロック内における前記画像の濃度変化を表
現したパラメータ値を画素ブロックごとに求め、前記パ
ラメータ値が所定の閾値より大きい画素ブロックを、少
なくとも対象物画像の一部分を含む対象物ブロックと判
定することによって、前記複数の画素ブロックを対象物
ブロック群と非対象物ブロック群とに分類する工程と、 (c) 前記対象物ブロックに囲まれた領域を閉領域として
検出する工程と、 (d) 前記閉領域内に含まれる各画素ブロックのうち、前
記パラメータ値が前記閾値より小さいために前記対象物
ブロックと判定されなかった画素ブロックについても対
象物ブロックとみなす補正を行ないつつ前記対象物ブロ
ック群を特定する工程と、 (e) 前記対象物ブロック群に属する画素ブロックについ
ては符号化処理をしないかまたは比較的低い圧縮率が得
られる第１の符号化処理をするとともに、前記非対象物
ブロック群に属する画素ブロックについては比較的高い
圧縮率が得られる第２の符号化処理をすることによっ
て、前記複数の画素ブロックのそれぞれについて符号化
された画像データを得る工程と、 (f) 前記複数の画素ブロックのそれぞれについて、前記
対象物ブロック群と前記非対象物ブロック群とのうちの
いずれに属するかを表現する属性データを生成して前記
符号化された画像データに付随させる工程と、を備えることを特徴とする画像符号化処理方法。
【請求項２】請求項１の方法で符号化された画像デー
タを復号化する方法であって、(A) 前記符号化された画
像データに付随させた前記属性データを参照することに
よって、前記画素ブロックのそれぞれが前記対象物ブロ
ック群と前記非対象物ブロック群とのうちのいずれに属
するかを判定する工程と、(B) 前記符号化された画像デ
ータの復号化を、工程(A) によって前記対象物ブロック
群に属すると判定された画素ブロックについては前記第
１の符号化処理に対応する第１の復号化処理で、工程
(A) によって前記非対象物ブロック群に属すると判定さ
れた画素ブロックについては前記第２の符号化処理に対
応する第２の復号化処理で、それぞれ実行することによ
り、復号化された画像データを得る工程と、(C) 前記
工程(B) によって復号化された各画素ブロックを合成し
て、前記画像に対応する復元画像を得る工程と、を備え
ることを特徴とする画像復号化処理方法。