JPH06315143A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、２次元的な図形の画像を高能率、高
解像度に画像処理を行う画像処理装置を提供することを
目的とする。 【構成】本発明は、フレーム画像内またはフィールド画
像内を所定画素毎にブロック分割し、符号化すべき注目
ブロックに対してブロック符号化処理を行うものであ
り、入力する原画像に最適かつ高能率な符号化が行うた
めの前処理を施すフィルタ部１と、前処理フィルタ部１
から出力される前記画像を高能率に符号化する符号化部
３と、符号化された符号語を復号する局部復号化部４
と、原画像とフィルタ処理後の画像と局部復号された信
号により、符号語に対し補足する情報を作成する付加情
報作成部２と、付加情報作成部２から出力される信号に
ついて符号化を行う符号化部６と、前記各符号化部から
出力される符号語に対し多重化する混合部５とにより構
成される画像処理装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イラスト画像、アニメ
ーション画像あるいはコンピュータグラフィックス画像
（以下、ＣＧ画像と略記）等の２次元的な図形画像に好
適する画像情報の処理装置に関する。

【０００２】

【従来の技術】一般に、画像情報を符号化する場合に、
文書画像を白及び黒の２値画像化した画像データに変換
した後、ゼロランレングス符号化やハフマン符号化等の
方式により、画像情報を圧縮する技術が利用されてい
る。例えば、ファクシミリ装置による画像の符号化およ
び復号化においては、ＬＳＩ技術の発展のみならず、フ
ァクシミリ画像に関する符号化技術を国際標準化し、装
置間の通信を円滑に行うために、“ＣＣＩＴＴ ＢＬＵ
Ｅ ＢＯＯＫ ＶＯ＋ＵＭＥ ＶII ＦＡＳＣＩＣＬＥ
ＶII−３、勧告Ｔ−４、勧告Ｔ−６”に記載されてい
るＧ３（グループ３）、Ｇ４（グループ４）と称される
標準化を採用したことも、高効率や高解像度に寄与して
いる。

【０００３】また、風景画像や人物画像に代表される自
然画像においても、効率よく画像情報を符号化するため
の技術検討も行われてきた。例えば、ＣＣＤに代表され
る固体撮像装置等により撮像された画像信号をメモリカ
ード、磁気ディスクあるいは、磁気テープ等の記憶装置
にディジタルデータとして記録する場合、そのデータ量
は膨大なものとなり、多くのフレーム画像を限られた記
録容量の範囲で記録するためには、得られた画像信号の
データに何らかの圧縮を施すことが必要となる。

【０００４】さらにディジタル電子スチルカメラにおい
ては、撮影した画像を銀塩フィルムの代わりに、メモリ
カードや磁気ディスク等のデータ記録媒体にディジタル
データとして保存するため、１枚のメモリカードあるい
は磁気ディスク装置に記録できる画像の枚数は、保証さ
れなければならない。

【０００５】同様に、ディジタルＶＴＲ（ビデオテープ
レコーダ）等の場合もフレーム当たりの画像のデータ量
に影響されることなく、所定量のフレームを記録できな
ければならない。すなわち、静止画像、動画像を問わず
要求されるコマ数分を確実に記録できる必要がある。

【０００６】このような条件に対処するための画像デー
タの符号化方法として、直交変換符号化方式が広く知ら
れている。その代表的な例として、国際標準化方式にお
いて、静止画像符号化についてはＪＰＥＧ方式、また、
動画像符号化においては、ＭＰＥＧ方式があげられる。

【０００７】このように従来の符号，復号化の画像処理
技術において、文書画像ではＧ３，Ｇ４等の符号化方
式、自然画像ではＪＰＥＧ，ＭＰＥＧ等の符号化方式が
採用されている。

【０００８】

【発明が解決しようとする課題】しかし、符号化処理を
要求される画像としては、前述した種類の画像だけでな
く、イラスト画像、アニメーション画像あるいはコンピ
ュータグラフィックス画像（以下、ＣＧ画像と略記）等
の２次元的な図形の画像（以下、図形画像と称する）も
あげられる。もし、これらの図形画像をＧ３，Ｇ４方式
により符号化すると、いずれも２値画像符号化方式であ
るために、画像の輝度に関する階調情報が著しく失わ
れ、且つ、色情報についても白もしくは黒のいずれかの
色に変換されることになり、好適する符号化方式ではな
い。

【０００９】同様に、直交変換の一種類である離散コサ
イン変換（以下、ＤＣＴを略記する）を採用しているＪ
ＰＥＧ，ＭＰＥＧ方式により図形画像について符号化を
行うと、図形画像が自然画像と比較するとエッジ成分が
多いことから、モスキートノイズが発生しやすくなり、
高画質を保とうとすると圧縮率の低下をもたらすことに
なる。

【００１０】すなわち、ＤＣＴ係数が高周波成分にまで
非ゼロの値が存在してしまい、これらの係数値を符号化
時に失うとエッジ情報が劣化し、自然画像と同一の圧縮
率では画像品質の著しい低下をもたらすこととなる。そ
こで本発明は、２次元的な図形の画像を高能率、高解像
度に画像処理を行う画像処理装置を提供することを目的
とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するために、フレーム画像内またはフィールド画像内を
所定画素毎にブロック分割し、符号化すべき注目ブロッ
クに対してブロック符号化処理を行う画像符号化装置に
おいて、入力される原画像に対し最適かつ高効率な符号
化が行うための前処理を施すフィルタ手段と、前記前処
理フィルタ手段から出力される前記画像に対し高効率な
符号化を行う符号化手段と、前記符号化された符号語に
対し復号する局部復号化手段と、前記原画像と前記フィ
ルタ処理後の画像と前記局部復号された信号により前記
符号語に対し補足する情報と作成する付加情報作成手段
と、前記付加情報作成手段から出力される信号について
符号化を行う符号化手段と、前記各符号化手段から出力
される符号語に対し多重化する混合手段とで構成された
画像処理装置を提供する。

【００１２】

【作用】以上のような構成の画像処理装置は、入力され
た原画像に高能率な符号化を施し、また符号化された符
号語を局部的に復号化し、原画像と局部復号された信号
により符号語に対して補足すべき情報を作成する。さら
に、その情報信号を符号化し多重化した画像処理が行わ
れる。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図１には、本発明による画像処理装置の概
略的な構成を示し説明する。この画像処理装置は、フレ
ーム画像内またはフィールド画像内を所定画素毎にブロ
ック分割し、符号化すべき注目ブロックに対してブロッ
ク符号化処理を行うものである。この構成は、入力され
る原画像に対し最適かつ高能率な符号化が行えるように
前処理を施すフィルタ部１と、この前処理フィルタ部１
から出力される前記画像に対して高能率な符号化を行う
符号化部３と、符号化された符号語に対し復号する局部
復号化部４と、前記原画像とフィルタ処理後の画像と前
記局部復号された信号により符号語に対し補足する情報
を作成する付加情報作成部２と、付加情報作成部２から
出力される信号について符号化を行う符号化部６と、前
記各符号化部から出力される符号語に対し多重化する混
合部５とにより構成される。

【００１４】次に図２には、本発明による第１実施例と
しての画像処理装置の構成を示し説明する。まず、原画
像がベクトル量子化部１１へ入力されると、原画像との
ひずみが最小限となるように最適な量子化が行われる。
例えば、原画像の情報がＲＧＢ成分で構成され、各成分
が１画素あたり８ビットのデータ量を持つとすると、２
４ビット／画素ものデータ量を有することになり、原画
像が５１２×５１２画素サイズならば、そのデータ量は
膨大なものとなる。そこで、ベクトル量子化部１１によ
りＮ次元の代表ベクトルを用いて、各画素のデータすな
わちベクトルを代表ベクトルに対応させることにより、
一種のフィルタ処理がなされ、かつ、データ量を減少さ
せることができる。

【００１５】ここで具体的な処理の一例として、図３の
フローチャートに示すようなＬＢＧアルゴリズムがあ
る。このアルゴリズムは、適当な初期コードブックから
出発し、学習系列に分割条件と代表点条件を繰り返し適
用することにより、良好なコードブックに収束させる設
計アルゴリズムである。あるいは、他の例として図４に
示すようなスプリッテイングアルゴリズムによる処理の
一例がある。

【００１６】このアルゴリズムは、Ｎレベルの量子化代
表ベクトルを微小なベクトルεを用いて近接した２つの
ベクトルに分割することにより、２Ｎレベルの初期コー
ドブックを生成するものである。そして、コードブック
の良否に関し、該アルゴリズムはＬＢＧアルゴリズムの
コードブックが初期コードブックＡ０と学習系列ｘｊの
選び方に強く依存するのに対し、初期コードブックを想
定される入力ベクトルの分布範囲を被覆するように設定
することができるという利点がある。

【００１７】このスプリッティングアルゴリズムをＬＢ
Ｇアルゴリズムと組み合わせることにより、１レベルの
コードブックから出発して順次２，４，８…Ｎレベルの
コードブックを設計することができる。ただし、１レベ
ルのコードブックとは、全学習ベクトルの重心ベクトル
を量子化代表ベクトルとするコードブックを示す。この
ようなアルゴリズムにより、原画像はベクトル量子化部
１１において処理され、量子化代表ベクトルのカラーマ
ップ（ＲＧＢ成分の各値）と各画素それぞれのインデッ
クスが出力される。

【００１８】このインデックスは、フォーマット変換部
１２において、符号化部１３の符号化に好適するように
画像信号の入力フォーマットを整合し、符号化部１３で
符号化する。前記符号化部１３は、直交変換の一種であ
る離散コサイン変換が行われるＤＣＴ部１３ａ、ＤＣＴ
係数に対し量子化処理が行われる量子化部１３ｂ、該量
子化値に対しハフマン符号化あるいは算術符号化を施す
エントロピーコーダ部１３ｃにより構成される。このよ
うな符号化部１３の一例としてＪＰＥＧ方式などがあげ
られる。

【００１９】例えば、符号化部１３がＪＰＥＧ準拠の符
号化部として、モノクロ画像用では、輝度信号Ｙ、カラ
ー画像用では輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ（例
えば、４：２：２）なるフォーマットが必要とされる。
仮に、モノクロ画像用の符号化部であるのならば、ベク
トル量子化１１から出力されるインデックス値をそのま
まモノクロ画像の画素値に対応させることにより等価的
にカラー画像の信号を入力することができる。あるい
は、カラー画像用の符号化部であるならば、Ｙ成分につ
いてはモノクロ画像時と同様にインデックス値をモノク
ロ画像の画素値とみなし、ＣｒおよびＣｂ成分にダミー
データとして１２８をセットする。Ｃｒ＝１２８，Ｃｂ
＝１２８により画像として表示されるときには、モノク
ロ画像と等価となるので都合がよい。

【００２０】次に前記符号化部１３の出力側には局部復
号化部１４が接続され、この局部復号化部１４は、前記
符号化部１３により符号化された符号語を復号するエン
トロピーデコーダ部１４ａ、デコードにより得られた量
子化値に対し逆量子化をかけＤＣＴ係数値を得る逆量子
化部１４ｂ，ＤＣＴ係数に対し逆ＤＣＴをかけインデッ
クス値を得るＩＤＣＴ部１４ｃにより構成される。

【００２１】前記局部復号化部１４は、符号化部１３で
例えば、ＪＰＥＧ符号器を用いたのならば、ＪＰＥＧ復
号器を用いることになることは言うまでもない。前記ベ
クトル量子化部１１からの出力を画像復元部１５では、
復号されたインデックス値と、前記ベクトル量子化部１
１から出力された前記カラーマップにより復号画像が得
られる。この復号画像および原画像が比較判定部１６に
入力されると、復号画像と原画像との間で差分がとられ
評価関数Ｅ(x) なる差分絶対値和が求められる。Ｅ(x)
がしきい値Ｔｈと比較され、 Ｅ(x) ≦Ｔｈ ならば、復号画像が原画像との間の誤差が少なく符号化
による劣化が許容範囲であると判定され、切り換えスイ
ッチ１９がＢ側に切り換わるように制御信号を送り出
す。同時に、カラーマップ作成部１８では、同制御信号
により前記ベクトル量子化部１１から出力されるカラー
マップをそのまま出力するような動作がなされる。従っ
て、エントロピーコーダ部２０へはベクトル量子化のカ
ラーマップがそのまま入力されることになる。一方、 Ｅ(x) ＞Ｔｈ ならば、復号画像の劣化が激しく視覚上好ましくないと
判定され、同比較判定部１６から総計量算出部１７へ信
号が送られ、復号画像のインデックスおよびその原画像
のＲＧＢ各コンポーネントの総計量が求められる。その
様子を図５、図６に示す。

【００２２】まず、局部復号化部１４から出力されたイ
ンデックス値に関し、復号画像中のインデックスｉをと
るインデックスの合計値を求めcount [i] へ代入する。
（count [i] ：一次元配列） 次に、復号画像でのインデックスｉのとき、同一画素位
置に対応する原画像での各ＲＧＢ値を各成分ごとに和を
とり、total[i][j] へ代入する。

【００２３】（total[i][j] ：２次元配列、ｉ：インデ
ックス、ｊ：ＲＧＢ成分ｉ，ｅ、ｉ｜０≦２５５、ｊ｜
０≦ｉ≦２） これらcount [i] 、total[i][j] なる総計量がカラーマ
ップ作成部１８へ入力されると、インデックスｉにおけ
る各ＲＧＢ成分の平均値が算出され、その結果をcolorm
ap[i][j]へ代入して、これらを新たなカラーマップとし
て扱う。

【００２４】colormap[i][j]＝total[i][j]a／count[i] このカラーマップがカラーマップ作成部１８から出力さ
れて切り換えスイッチ１９を経由し、画像復元部１５へ
入力されると、再び復号インデックス値を用い、画像が
復元される。このようなループ処理はＥ(x) ≦Ｔｈなる
条件式が真となるまで続けられることになり、そのとき
のカラーマップが切り換えスイッチ１９（スイッチはＢ
側）を経由し、エントロピーコーダ部２０へ入力される
ことになる。前記エントロピーコーダ部２０ではカラー
マップ情報をハフマン符号あるいは算術符号を用い符号
化する。そしてマルチプレクサ２１では前記符号化部１
３から出力されるインデックスに関する符号語および前
記エントロピーコーダ部２０から出力されるカラーマッ
プに関する符号語をタイミングよく切り換え、伝送路あ
るいは蓄積メディア等へ出力する。

【００２５】このように第１実施例の画像処理装置によ
れば、同一画像内に数多く、類似性の高い画像領域を有
するイラスト画像、アニメーション画像、ＣＧ画像（例
えば背景などのべた画領域）について、自然画像に比べ
色の種類が比較的少ないことからベクトル量子化処理を
施しても原画像からの情報歪みが極めて少なくデータ量
を減少させることができ、かつ、ベクトル量子化後のイ
ンデックスび関するアクティビティが小さい総計量に対
し直交変換符号化処理をするため、極めて高能率的な符
号化を高品質な画像の状態で行うことができる。

【００２６】次に図７には、本発明による第２実施例と
しての画像処理装置の構成を示し説明する。この画像処
理装置において、ＲＧＢ成分（例えば、各成分８ビッ
ト）により構成される原画像が入力されると、切り換え
スイッチ３１（スイッチはＡ側）を経由し階調限定処理
部３２へ入力される。符号化すべき対照画像は、アニメ
ーション画像等に代表されるような、べた画領域を多く
有する特徴を持つ。この画像の同領域に存在するごくわ
ずかな振動は、視覚上特に重要な情報でないばかりでな
く、符号化効率を悪化させる原因ともなりうる。このよ
うな理由から、階調限定処理部３２では、各ＲＧＢ成分
の下位ビットの丸めにより階調数の限定処理を行う。

【００２７】従って、原画像で２ ^{8 3} 階調を有してい
たものが、例えばビットシフトによりＲＧＢの各成分に
ついて下位２ビットの丸め処理をすると、２ ^{6 3} 階調
に限定することができる。ローパスフィルタ部３３で
は、階調数の限定処理された画像に対し、通過域がナイ
キスト周波数の１／２以下となるように限定されてお
り、同特性によりエイリアジングが発生しなくなる処理
が行われる。その後、サブサンプリング部３４におい
て、図８（ａ），（ｂ）に示すようなサブサンプリング
方法によりダウンサンプリングされる。符号化部３５
は、直交変換の一種である離散コサイン変換が行われる
ＤＣＴ部３５ａ，ＤＣＴ係数に対し量子化処理が行われ
る量子化部３５ｂ、同量子化値に対しハフマン符号化あ
るいは算術符号化を施すエントロピーコーダ部３５ｃに
より構成される。このような符号化部３５の一例として
ＪＰＥＧ方式などがあげられる。

【００２８】そして局部復号化部３６は、符号化３５に
おいて符号化された符号語を復号するエントロピーデコ
ーダ部３６ａ、デコードにより得られた量子化値に対し
逆量子化をかけＤＣＴ係数値を得る逆量子化部３６ｂ、
ＤＣＴ係数に対し逆ＤＣＴをかけインデックス値を得る
ＩＤＣＴ部３６ｃにより構成される。

【００２９】この復号化部３６は、符号化部３５で例え
ばＪＰＥＧ符号器を用いたのならば、ＪＰＥＧ復号器を
用いることになることは言うまでもない。比較判定部３
７では、原画像とＩＤＣＴ部３６ｃから出力される復号
画像が入力されると、両画像間で差分がとられ、評価周
波数Ｅ(x) なる差分絶対値和が求められる。Ｅ(x) がし
きい値Ｔｈと比較され、 Ｅ(x) ≦Ｔｈ ならば、復号画像が原画像との間の誤差が少なく符号化
による劣化が許容範囲であると判定され、その結果をフ
ラグ信号ｆｇ＝１として制御部３８へ伝える。あるい
は、 Ｅ(x) ＞Ｔｈ ならば、復号画像の劣化が激しく視覚上好ましくないと
判定され、その結果をフラブ信号ｆｇ＝０として制御部
３８へ伝える。

【００３０】前記制御部３８では、フラグ信号ｆｇ＝１
のとき、階調限定処理部３２において下位ビットの丸め
を行ったときのビットシフト量ｂｓを出力する。あるい
はフラグ信号ｆｇ＝０のとき、以前に行われたビットシ
フト量ｂｓより小さい値となるように階調限定処理部３
２へ制御信号を送る。階調限定処理部３２では、同制御
信号に基づき再び階調数の限定処理を行い前述した符号
化処理がフラグ信号ｆｇ＝１が出力されるまでなされ
る。仮に、原画像のべた画領域が少なく階調限定処理が
好ましくないと判定されたとき、前記処理を行わないよ
うに切り換えスイッチ３１に対し、Ｂ側へ回路が接続さ
れるように制御信号を送る。

【００３１】そしてエントロピーコーダ部３９では、ビ
ットシフト量ｂｓをハフマン符号あるいは算術符号を用
い符号化する。またマルチプレクサ４０では、前記符号
化部３５から出力される符号語および前記エントロピー
コーダ部３９から出力される符号語をタイミングよく切
り換え、伝送路あるいは蓄積メディア等へ出力する。

【００３２】このように、第２実施例に示された画像処
理装置によれば、同一画像内に数多く類似性の高い画像
領域を有するイラスト画像、アニメーション画像、ＣＧ
画像（例えば、背景等のべた画領域）について、階調数
の限定およびサブサンプリング処理を行っても、原画像
からの情報歪みが極めて少なく、かつデータ量を減少さ
せることができるため、極めて高能率な符号化を高品質
な画像の状態で行うことができる。

【００３３】以上説明したように、本発明の実施例の画
像処理装置は、同一画像内に数多く類似性の高い画像領
域を有するイラスト画像、アニメーション画像、ＣＧ画
像等に関し、極めて高能率な符号化を高品質な画像の状
態で行うことができる。また本発明は、前述した実施例
に限定されるものではなく、他にも発明の要旨を逸脱し
ない範囲で種々の変形や応用が可能であることは勿論で
ある。

【００３４】

【発明の効果】以上詳述したように本発明によれば、２
次元的な図形の画像を高能率、高解像度に画像処理を行
う画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の概略的な構成を示
す図である。

【図２】本発明による第１実施例としての画像処理装置
の構成を示す図である。

【図３】ＬＢＧアルゴリズムを示すフローチャートであ
る。

【図４】スプリッティングアルゴリズムを示すフローチ
ャートである。

【図５】復号画像のインデックスおよびその原画像のＲ
ＧＢ各コンポーネントの信号量を示す図である。

【図６】図５に示した画像位置に対応する復号画像のイ
ンデックスおよびその原画像のＲＧＢ各コンポーネント
の総計量を示す図である。

【図７】本発明による第２実施例としての画像処理装置
の構成を示す図である。

【図８】本実施例で用いたサブサンプリング方法の一例
を示す図である。

【符号の説明】

１…フィルタ部、２…付加情報作成部、３，６，１３…
符号化部、４，１４…局部復号化部、５…混合部、１１
…ベクトル量子化部、１２…フォーマット変換部、１３
ａ…ＤＣＴ部、１３ｂ…量子化部、１３ｃ，１４ａ，２
０…エントロピーコーダ部、１４ｂ…逆量子化部、１４
ｃ…ＩＤＣＴ部、１５…画像復元部、１６…比較判定
部、１７…総計量算出部、１８…カラーマップ作成部、
１９…切り換えスイッチ、２１…マルチプレクサ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 フレーム画像内またはフィールド画像内
   を所定画素毎にブロック分割し、符号化すべき注目ブロ
   ックに対してブロック符号化処理を行う画像符号化装置
   において、 入力される原画像に対して高効率な符号化を行う符号化
   手段と、 前記符号化された符号語に対し復号する局部復号化手段
   と、 前記原画像と前記局部復号された信号により前記符号語
   に対し補足する情報と作成する付加情報作成手段と、 前記付加情報作成手段から出力される信号について符号
   化を行う符号化手段と、 前記各符号化手段から出力される符号語に対し多重化す
   る混合手段とを具備することを特徴とする画像処理装
   置。