JP2798168B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報を符号化する
装置に関するものである。

【０００２】

【従来の技術】例えば、画像編集装置においては、編集
の対象となる画像データあるいは編集後の画像データを
半導体メモリなどの一次記憶装置に一時記憶する。ま
た、一時記憶した画像データを磁気ディスク装置などの
二次記憶装置に記憶する。逆に、二次記憶装置に記憶し
た画像データを再生し、これを一次記憶装置に一時記憶
する。これら一次記憶装置および二次記憶装置に必要な
記憶容量は、画像サイズが大きくなるにつれ、また、解
像度が高くなるにつれ、また、１画素当たりの階調数が
多くなるにつれて増大する。例えば、ＪＩＳ Ａ３サイ
ズの１６７７万色／画素のフルカラー画像を、１６画素
／ｍｍの解像度で記憶する場合、記憶容量は９６Ｍバイ
トになる。このように記憶容量が増大すると、記憶装置
の価格が高くなると共に、画像データの記憶、および、
あるいは再生時間が長くなるという問題を生じる。

【０００３】このような問題のうち、一次記憶装置に関
する問題の解決策として、編集可能な形で画像データを
高能率符号化し、記憶容量を削減することが検討されて
いる。このような符号化には、以下の３点が要求され
る。

【０００４】 所定の画像単位ごとに一定な圧縮率が
得られること。

【０００５】 所定の画像単位ごとに局所的な符号化
／復号が可能であること。

【０００６】 一様な符号化／復号処理が行われるこ
と。

【０００７】すなわち、第一に、一次記憶装置の記憶容
量が有限であるため、画像データの内容に依存せず予め
設定された圧縮率で所定の画像単位ごとに符号化できる
ことが必要である（要求点）。この場合の所定の画像
単位は、少なくともページ単位であることが必要であ
る。また、次に示すような画像編集のためには、所定の
画像単位は、ページをいくつかの画像領域に分割した単
位であることが必要である。例えば、８画素×８ライン
のブロック単位などである。

【０００８】第二に、画像編集を可能にするため、所定
の画像単位ごとに独立して符号化／復号可能なことが必
要である（要求点）。

【０００９】第三に、半導体メモリなど記憶／再生速度
が比較的速い一次記憶装置上で符号化／復号するため、
高速、かつ、一定の速度で処理できることが望ましい
（要求点）。

【００１０】しかしながら、従来の蓄積・伝送用の画像
符号化装置では、可能な限り画像データの視覚的な冗長
度、および、統計的な冗長度を抑圧する必要から、画像
データごとの冗長度の変動により圧縮率が変動するとい
う問題があった。また、ある画像領域を符号化するため
に周辺の画像領域を参照するなど、高度な符号化処理を
導入する傾向にあり、所定の画像分割単位ごとに独立に
符号化／復号を行うことが困難である。さらに、適応処
理の導入により、符号化／復号処理に要する演算量が画
像データごとの冗長度の変動に従い大幅に変動するなど
の理由から、〜の要求を満足することは困難であっ
た。

【００１１】一方、要求点〜を満足する従来技術と
して、本出願人により特願平４−３２８２６５号として
出願された画像符号化装置がある。同出願の明細書に記
載の画像符号化装置は、図１４に示すように、画像を標
本化し複数の画素からなるｍ×ｎ画素（ｍ、ｎは正整
数）のブロックに分割するブロック化手段２０１と、ブ
ロック内の画素の解像度と階調の特徴量を分析する分析
手段２０２と、ブロック内の画素を解像度の階層と階調
の階層に分割した場合の各階層の順位付を分析結果に基
づき行う重要順位決定手段２０３と、決定された解像度
の階層と階調の階層の順位に従ってブロック内の画素を
解像度の階層と階調の階層に分割して出力する階調／解
像度情報階層化手段２０４と、重要順位決定手段２０３
の出力と階調／解像度情報階層化手段２０４の出力を情
報源符号化し符号データを出力し予め設定された符号量
に達した時点で符号化処理を終了させる情報源符号化手
段２０５と、符号データの量を加算し予め設定された符
号量に達したことを情報源符号化手段２０５に出力する
符号量計数手段２０６とを有するものである。

【００１２】図１４に示す画像符号化装置の動作につい
て説明する。入力画像データ２０７は、標本化され、ブ
ロック化手段２０１により複数の画素から成るｍ×ｎ画
素の入力ブロック２０８に分割される。次に、分析手段
２０２によりブロックの解像度と階調の特徴量が分析さ
れる。分析手段２０２からの階調／解像度特徴量２０９
は重要順位決定手段２０３に供給される。重要順位決定
手段２０３において、ブロック内の画素を解像度の階層
と階調の階層に分割した場合の各階層の順位付が、分析
手段２０２からの分析結果（階調／解像度特徴量２０
９）に基づき行われる。この場合、所定の解像度の階層
および階調の階層を第一の順位とし、入力ブロックを予
め設定された符号化誤差以下で復号可能な解像度の階層
の候補と階調の階層の候補を、解像度の特徴量と階調の
特徴量に基づき求め、第一の順位の解像度の階層および
階調の階層から出発して、解像度の階層の候補および階
調の階層の候補に向かって順位付が行われる。階調／解
像度情報階層化手段２０４においては、重要順位決定手
段２０３からの順位２１０に従ってブロック内の画素が
解像度の階層と階調の階層に分割されて出力される。順
位２１０と階調／解像度情報階層化手段２０４の出力２
１１は、情報源符号化手段２０５により符号化され符号
データ２１２として出力される。また、符号量計数手段
２０６において、符号データ２１２の量が加算される。
このとき、情報源符号化手段２０５において、符号量計
数手段２０６からの目標符号量到達信号２１３に基づい
て予め設定された目標符号量に達した時点で符号化処理
が打ち切られ、目標符号量以下のデータ量の符号データ
２１２が出力される。

【００１３】図１４に示される符号化方式においては、
ブロックごとに、その解像度および階調の特徴を分析
し、それとは独立にブロック内の画素を解像度の階層お
よび階調の階層に分割し、符号化誤差を少なくする意味
で重要な階層の順位を分析結果から決定し、順位に基づ
き各階層のデータを情報源符号化し、総符号量が予め設
定された値に達した時点で、符号化を終了する方式であ
る。この方式によれば、符号化打切りによる符号化誤差
が小さいと同時にブロックごとに常に一定の符号量で符
号化される。

【００１４】したがって、入力ブロックの視覚的冗長
度、および、あるいは統計的冗長度の大小によって、符
号化誤差または、復号ブロックの画質が揺らいでいる。
すなわち、最も復号画質が低いブロックにおいても十分
な画質になるような符号量が予め設定されており、その
外のブロックにおいては画質再現上過剰な符号量が割当
てられている。このため、全体としての符号化効率が必
ずしも高くならないという問題がある。

【００１５】また、他の従来技術として例えば、１９８
９年信学春季全大Ｄ−１５９に記載の画像符号化装置が
知られている。以下、図１５を用いて同文献に記載の画
像符号化装置の構成を説明する。ただし、説明を簡潔に
するため、輝度／色差成分のうち輝度成分のみについ
て、また、変換係数のうち交流成分に関してのみ説明す
る。

【００１６】図１５に示す画像符号化装置は、画像を標
本化し複数の画素からなる８×８画素のブロックに分割
するブロック化手段３０１と、ブロック内の画素値を離
散コサイン変換する手段（図中ＤＣＴ手段で示す）３０
２と、各ブロックのアクティビティを算出する手段３０
５と、ｎブロックの平均アクティビティに基づいて予め
設定された符号量となる量子化ステップをｎブロックご
とに推定する手段３０６と、推定した量子化ステップで
変換係数を量子化する手段３０３と、ｎブロックの全ア
クティビティに対する各ブロックのアクティビティの比
によって各ブロックの割当て符号量を決定する手段３０
７と、量子化した変換係数を可変長符号化する手段３０
４と、符号量を計数する手段３０８とから構成される。

【００１７】次に図１５に示す画像符号化装置の動作を
説明する。入力画像データ３１０は、標本化され、ブロ
ック化手段３０１により複数の画素から成る８×８画素
の入力ブロック３１１に分割される。分割された入力ブ
ロック３１１内の画素値は、離散コサイン変換手段３０
２により離散コサイン変換される。上記変換は、ｎブロ
ックに対して行われる。それと独立に、アクティビティ
算出手段３０５により各ブロックのアクティビティが算
出された後、量子化ステップ推定手段３０６により、ｎ
ブロックの平均アクティビティに基づいて、予め設定さ
れた符号量となる量子化ステップがｎブロックごとに推
定される。また、符号量割当て手段３０７により、ｎブ
ロックの全アクティビティに対する各ブロックのアクテ
ィビティの比によって各ブロックの割当て符号量３１７
が決定される。一方、離散コサイン変換手段３０２で得
られた変換係数３１２は、量子化手段３０３において推
定された量子化ステップで量子化され量子化インデック
ス３１３とされた後、可変長符号化手段３０４により可
変長符号化される。このとき、符号量計数手段３０８に
おいて、ブロックごとに総符号量が求められ、割当てら
れた符号量に達した時点で割当て符号量到達信号３１８
を可変長符号化手段３０４に対して出力しで、そのブロ
ックの符号化を終了する。

【００１８】この方式は、ＪＰＥＧベースライン方式を
基に、符号量を左右するパラメータである変換係数の量
子化ステップと、符号量との関係を予め調べておき、こ
れを用いてｎブロックごとに符号量を制御する方式であ
る。

【００１９】したがって、この方式では、ｎブロックご
とに一定の符号量で符号化されているため、先に示した
従来技術と同様に、最も復号画質が低い画像領域（ｎブ
ロック）においても十分な画質になるような符号量が予
め設定されており、その外の画像領域においては画質再
現上過剰な符号量が割当てられている。したがって、符
号化効率を十分高くすることができない。

【００２０】一方、二次記憶装置に関する問題を解決す
るためには、画像データを一次記憶装置に一時記憶する
という前提条件のもとで、できる限り少ない符号量で十
分な復号画質が得られるという要求点を満足する符号
化方式が有効である。

【００２１】図１６に示すように、先に説明した一次記
憶装置に適用する従来技術を、そのまま二次記憶装置に
適用した場合、すなわち、一次記憶装置に一時記憶され
た符号データをそのまま二次記憶装置に記憶する場合、
画質再現上過剰な符号量が割当てられている画像領域が
あるため、前記要求点を満足することができない。

【００２２】

【発明が解決しようとする課題】図１６に示す従来技術
は、一次記憶装置へ適用する符号化装置として前記要求
点〜を満足しているが、二次記憶装置へ適用するに
は、画質再現上過剰な符号量が割当てられている画像領
域があるため、十分な復号画質かつできる限り少ない符
号量を達成できず、前記要求点を満足することができ
ないという問題があった。

【００２３】そこで本発明は、十分な復号画質を得つつ
できる限り少ない符号量で画像の符号化を行うことがで
きる画像符号化装置を提供することを目的とする。

【００２４】

【課題を解決するための手段】本発明は、前記目的を達
成するため、画像を標本化し複数の画素からなるｍ×ｎ
画素（ｍ、ｎは正整数）の入力ブロックに分割するブロ
ック化手段と、前記入力ブロックを符号化する符号化手
段と、該符号化手段における符号化の際の符号量を制御
する符号量制御手段とから成る画像符号化装置におい
て、前記入力ブロックを符号化し復号した場合の画質を
推定する画質推定手段を設け、前記符号化手段におい
て、所定の画像領域ごとに、前記画質推定手段により推
定された画質を参照しながら低い復号画質から徐々に高
い復号画質となるように符号化し、所定の復号画質に到
達した時点で識別符号を符号データに挿入し、所定の符
号量となるように符号化することを特徴とする。

【００２５】また本発明は、前記目的を達成するため、
画像を標本化し複数の画素からなるｍ×ｎ画素（ｍ、ｎ
は正整数）の入力ブロックに分割するブロック化手段
と、前記入力ブロックを符号化する符号化手段と、該符
号化手段における符号化の際の符号量を制御する符号量
制御手段とから成る画像符号化装置において、前記入力
ブロックを符号化し復号した場合の画質を推定する画質
推定手段を設け、前記符号化手段において、所定の画像
領域ごとに、所定の符号量以下で、かつ、所定の復号画
質以下となるように符号化し、符号化が終了したことを
示す識別符号を符号データに付加することを特徴とす
る。

【００２６】

【作用】以下、本発明の作用を具体的に例を挙げて説明
する。

【００２７】図１は、本発明の画像符号化装置の原理的
な構成を示すブロック図である。本発明の画像符号化装
置は、画像データ８を標本化し複数の画素からなるｍ×
ｎ画素（ｍ、ｎは正整数）の入力ブロック９に分割する
ブロック化手段１と、入力ブロック９を符号化／復号し
たブロックの画質を推定し、推定結果１１を出力する復
号画質推定手段３と、ひとつ、または複数ブロックごと
に所定の符号量以下、あるいは、所定の符号量以下で、
しかも所定の復号画質以下になるように符号化パラメー
タ１２を出力する符号量制御手段４と、入力ブロック９
を符号化パラメータ１２に従って固定長（最大符号量制
限）符号化し、所定の復号画質に達した時点で識別符号
を符号データ１０に挿入する可変長符号化手段２と、固
定長（最大符号量制限）符号化された符号データ１０を
一時記憶する一次記憶手段５と、一時記憶された符号デ
ータ１３から、画質再現上過剰な符号量が割当てられて
いる画像領域の符号データを削減することで可変長符号
化を行う可変長変換手段６と、可変長符号化された符号
データ１４を記憶する二次記憶装置７を有するものであ
る。

【００２８】画像データ８は標本化され、ブロック化手
段１により複数の画素から成るｍ×ｎ画素の入力ブロッ
ク９に分割される。次に、復号画質推定手段３により、
入力ブロック９が符号化／復号された画質が推定され、
画質推定結果１１が出力される。符号量制御手段４によ
り、入力ブロック９、符号データ１０、および画質推定
結果１１が参照され、ひとつ、あるいは複数ブロックご
とに所定の符号量以下となるような、あるいは、所定の
符号量以下で、しかも所定の復号画質以下となるように
符号化パラメータ１２が出力される。符号量制御手段４
の出力する符号化パラメータ１２に従って、入力ブロッ
ク９は、ひとつ、あるいは複数ブロックごとに所定の符
号量以下となるように、あるいは、所定の符号量以下
で、しかも所定の復号画質以下となるように可変長符号
化手段２により固定長（最大符号量制限）符号化され
る。このとき、可変長符号化手段２により、所定の復号
画質に達した時点で識別符号が符号データ１０に挿入さ
れる。その後、所定の符号量まで引き続き符号化される
か、あるいは、画質再現上必要十分な符号量に達した時
点で符号化処理が終了する。一次記憶手段５により、固
定長（最大符号量制限）符号化された符号データ１０が
一時記憶される。一時記憶された固定長（最大符号量制
限）符号データ１３は、識別符号の位置までの符号デー
タのみが選択されることで、可変長変換手段６により可
変長符号化される。二次記憶手段７により、可変長符号
化された符号データ１４が記憶される。

【００２９】

【実施例】以下、図面を参照しながら実施例に基づいて
本発明の特徴を具体的に説明する。

【００３０】この発明の実施例は、図２に示すように、
画像データ８を標本化し複数の画素からなるｍ×ｎ画素
（ｍ、ｎは正整数）のブロック８に分割するブロック化
器１と、ブロック内の画素の解像度と階調の特徴量を分
析する階調／解像度分析器２１と、分析結果２７から所
定の復号画質となる階調／解像度の階層を推定する階調
／解像度候補推定器２２と、ブロック内の画素を解像度
の階層と階調の階層に分割した場合の各階層の順位付
を、階調／解像度候補１１に基づき行う重要順位決定器
２３と、決定された解像度の階層と階調の階層の順位２
８に従ってブロック内の画素を解像度の階層と階調の階
層に分割して出力する階調／解像度情報階層化器２４
と、符号データ１０を加算し所定の符号量に達したこと
を示す目標符号量到達信号２９を出力する符号量計数器
２５と、重要順位２８と階層化された階調／解像度情報
３０とを情報源符号化して符号データ１０を出力し、階
調／解像度候補１１で示される階層に達した時点で識別
符号を符号データに挿入し、目標符号量到達信号２９が
入力された時点で符号化処理を終了するか、あるいは、
識別符号を符号データに挿入した後、速やかに符号化を
終了する情報源符号化器２６と、符号データ１０を一時
記憶する一次記憶回路５ａと、一時記憶された符号デー
タ１０から識別符号を検出し、先頭から識別符号までの
符号データのみを一次記憶回路５ａに対してアドレスす
るためのアドレス制御信号１９を出力する識別符号検出
器１８と、アドレスされた符号データ１３を記憶する二
次記憶回路７ａとから構成される。

【００３１】図２に示すブロック図において、階調／解
像度分析器２１と階調／解像度候補推定器２２とから復
号画質推定手段３が構成され、重要順位決定器２３と符
号量計数器２５とから符号量制御手段４が構成され、階
調／解像度情報階層化器２４と情報源符号化器２６とか
ら可変長符号化手段２が構成されている。また、識別符
号検出器１８は可変長変換手段６に対応している。

【００３２】図２に示す実施例の動作を以下に説明す
る。

【００３３】画像データ８は、標本化され、ブロック化
器１により複数の画素から成るｍ×ｎ画素の入力ブロッ
ク９に分割される。階調／解像度分析器２１により入力
ブロック９の解像度と階調の特徴量２７が分析される。
階調／解像度候補推定器２２により、入力ブロック９を
予め設定された符号化誤差以下で復号可能な解像度の階
層の候補と階調の階層の候補が、解像度の特徴量と階調
の特徴量に基づき求められ、所定の復号画質となる階調
／解像度の候補１１が推定される。重要順位決定器２３
において、ブロック内の画素を解像度の階層と階調の階
層に分割した場合の各階層の順位付が、階調／解像度の
候補１１に基づき行われる。この場合、所定の解像度の
階層および階調の階層を第一の順位とし、第一の順位の
解像度の階層および階調の階層から出発して、解像度の
階層の候補および階調の階層の候補に向かって順位付が
行われる。なお、順位付の詳細については後述する。階
調／解像度情報階層化器２４において、順位２８に従っ
てブロック内の画素が解像度の階層と階調の階層に分割
されて出力される。符号量計数器２５において、符号デ
ータ１０が加算され、所定の符号量に達すると、目標符
号量到達信号２９が出力される。情報源符号化器２６に
おいて、重要順位２８と階層化された階調／解像度情報
３０とが符号化され、符号データ１０が出力され、階調
／解像度候補１１で示される階層に達した時点で識別符
号が符号データに挿入され、所定の符号量に達した時点
で符号化処理を終了するか、あるいは、識別符号を符号
データに挿入した後速やかに符号化を終了する。符号デ
ータ１０は、一次記憶回路５ａに一時記憶される。識別
検出器１８において、一時記憶された符号データ１０か
ら識別符号が検出され、先頭から識別符号までの符号デ
ータのみが一次記憶回路５ａに対してアドレス制御信号
１９によりアドレスされる。アドレスされた符号データ
１３は、二次記憶回路７ａに記憶される。以上で、ひと
つの入力ブロック９に対する符号化処理がすべて終了
し、次の入力ブロック９の処理に移る。これを画像デー
タ８のすべてのデータに対して行う。

【００３４】図３は、階調／解像度分析器２１の詳細な
構成図である。階調／解像度分析器２１は、入力ブロッ
ク９の階調の特徴量を分析する階調分析器３１と、入力
ブロック９の解像度の特徴量を分析する解像度分析器３
２と、階調分析器３１の出力する階調分析結果３４およ
び解像度分析器３２の出力する解像度分析結果３５を多
重化して分析結果２７を出力する多重化器３３から構成
される。

【００３５】階調分析器３１は、例えば、入力ブロック
９内の画素値の分散をもとめて、これを階調分析結果３
４とする。あるいは、入力ブロック９内の画素値の最大
画素値と最小画素値の差を求めて、分散と合わせてこれ
らを階調分析結果３４としてもよい。

【００３６】解像度分析器３２は、以下に説明するよう
な画像信号分析方式を用いる。なお、この画像信号分析
方式の詳細については、本出願人により出願された特願
平３−２０２１２９号明細書に記述されているが、以下
に簡単に説明する。

【００３７】図４に示すように、解像度分析器３２は、
入力ブロック９を正整数比ｊで分割するブロック分割器
４１と、分割されたブロック５２内の画素の平均値を求
め、ブロック５２内の各画素からこの平均値を減算して
出力する平均値分離器４２と、平均値分離ブロック５３
と第１ベクトルセット４４に格納された代表形状ブロッ
ク５４との内積を計算し、内積の正負の符号を出力する
第１内積計算器４３と、予め求められた代表形状ブロッ
クを格納する第１ベクトルセット４４と、内積の正負の
符号５５をインデックスとして保持する第１インデック
ス保持器４５と、平均値分離ブロック５３と第２ベクト
ルセット４７に格納されている代表形状ブロックの内、
インデックス５６により示される代表形状ブロック５７
との内積を計算し、内積の正負の符号５８を出力する第
２内積計算器４６と、予め求められた代表形状ブロック
の組を格納する第２ベクトルセット４７と、内積の正負
の符号５８およびインデックス５６を新たなインデック
スとして保持する第２インデックス保持器４８と、平均
値分離ブロック５３と第３ベクトルセット５０に格納さ
れている代表形状ブロックの内、インデックス５９によ
り示される代表形状ブロック６０との内積を計算し、内
積の正負の符号６１を出力する第３内積計算器４９と、
予め求められた代表形状ブロックの組を格納する第３ベ
クトルセット５０と、内積の正負の符号６１およびイン
デックス５９を新たなインデックスとして保持し、これ
を解像度分析結果３５として出力する第３インデックス
保持器５１から構成される。

【００３８】図４を用いて以下に、解像度分析器３２の
動作を説明する。

【００３９】解像度分析器３２において解像度の特徴量
が分析される場合、まず、複数の代表形状ブロックを複
数段（この実施例では３段）の２進木の各枝に配置す
る。このとき、代表形状ブロックは、ブロックの濃度勾
配方向が、垂直方向、水平方向、斜め方向であるブロッ
ク等、代表的な形状をしたブロックである。次に、各枝
に配置された代表形状ブロックをベクトルデータとして
扱い、対となる枝に配置された二つの代表形状ブロック
のベクトル差分を計算し、その結果を差分代表ベクトル
として２進木の対となる枝が分かれる節に配置する。最
後に、各段の節に配置した差分代表ベクトルの組をまと
めて各ベクトルセット４４，４７，５０にそれぞれ格納
する。

【００４０】入力ブロック９は、ブロック分割器４１に
より正整数比ｊで分割される。平均値分離器４２によ
り、分割されたブロック５２内の画素の平均値が求めら
れ、分割されたブロック５２内の各画素からこの平均値
が減算された平均値分離ブロック５３が出力される。先
ず、第１内積計算器４３により、平均値分離ブロック５
３と第１ベクトルセット４４に格納された代表形状ブロ
ック５４との内積が計算され、内積の正負の符号５５が
出力される。内積の正負の符号５５は、インデックスと
して第１インデックス保持器４５により保持される。次
に、第２内積計算器４６により、平均値分離ブロック５
３と第２ベクトルセット４７に格納されている代表形状
ブロックの内、インデックス５６により示される代表形
状ブロック５７との内積が計算され、内積の正負の符号
５８が出力される。内積の正負の符号５８およびインデ
ックス５６は、新たなインデックスとして第２インデッ
クス保持器４８により保持される。最後に、第３内積計
算器４９により、平均値分離ブロック５３と第３ベクト
ルセット５０に格納されている代表形状ブロックの内、
インデックス５９により示される代表形状ブロック６０
との内積が計算され、内積の正負の符号６１が出力され
る。内積の正負の符号６１およびインデックス５９は、
新たなインデックスとして第３インデックス保持器５１
により保持される。

【００４１】このように、入力ブロック９の分割比ｊに
より分割された分割ブロック５２の各々に対して同様の
処理が施され、最終的にそれぞれの分割ブロック５２に
対するインデックスの組が第３インデックス保持器５１
により保持され、保持されたインデックスの組が解像度
分析結果３５として出力される。このとき、第３インデ
ックス保持器５１に保持されたインデックス３５は、入
力ブロック９を画像の２次元波形としてとらえた場合の
波形の形状を表している。

【００４２】図５は、階調／解像度候補推定器２２の詳
細な構成図である。階調／解像度候補推定器２２は、階
調／解像度分析器２１からの分析結果２７を階調分析結
果６６と解像度分析結果６８に分けて出力する分配器６
２と、予め設定された符号化誤差以下で復号するのに必
要な階調の階層を階調分析結果６６に基づき求め、これ
を階調候補６７として出力する階調候補推定器６３と、
予め設定された符号化誤差以下で復号するのに必要な解
像度の階層を解像度分析結果６８に基づき求め、これを
解像度候補６９として出力する解像度候補推定器６４
と、階調候補６７と解像度候６９を多重化し、階調／解
像度候補１１として出力する多重化器６５から構成され
る。

【００４３】階調候補推定器６３において階調分析結果
６６に基づき階調候補６７を求める場合、例えば、階調
分析結果６６が入力ブロック９内の分散であるときに
は、分散が大きいほど階調の階層を多くし、少ないほど
階調の階層を少なくする。また、階調分析結果６６に入
力ブロック９内のダイナミックレンジ（最大画素値と最
小画素値の差）が含まれるときには、分散が大きいほど
階調の階層を多くし、少ないほど階調の階層を少なく
し、分散が小さくてもダイナミックレンジが大きい場合
には、階調の階層を多くする。

【００４４】解像度候補推定器６４において解像度分析
結果６８に基づき解像度候補６９を求める場合、解像度
分析結果６８すなわち入力ブロック９の波形の形状に応
じて、その波形を再現しうる標本化周期に相当する解像
度の階層を割当て、これを解像度候補６９とする。例え
ば、入力ブロック９の波形の形状の階調変化の周期が長
い、すなわち高い空間周波数成分が含まれていない場
合、その波形を再現するために、標本化周期を長く、す
なわち低い解像度の階層を割当てる。また、入力ブロッ
ク９にステップ状の階調変化（エッジ）がある、すなわ
ち高い空間周波数成分まで含まれている場合、その波形
を再現するために、標本化周期を短く、すなわち高い解
像度の階層を割当てる。

【００４５】図２で、復号画質推定手段３からの階調／
解像度候補１１は、順位決定器２３により参照され、順
位決定器２３により順位情報２８が出力される。このと
き、所定の階調数と解像度から出発して、階調候補６７
および解像度候補６９に向かって順番に階調数と解像度
を増加させるような順位を決め、これを順位情報２８と
する。

【００４６】順位決定の一例を図６（ａ），（ｂ）を使
って説明する。グラフの横軸は画素の間引き率で、これ
は解像度に相当する。縦軸は画素当たりのビット数で、
これは、階調数のＬｏｇ₂ をとった値である。グラフの
候補と記した点が階調候補６７と解像度候補６９を表し
ている。先ず、予め設定された第１近似と記した点を出
発点とする。次に、出発点から候補点に向かって、第２
近似、第３近似から第５近似を経て、候補点まで、逐
次、順位を決定する。ここで、候補点に達した時点で、
そのことを示す情報が順位情報２８に付加される。候補
点に到達した後は、グラフに原画像と記された点に向か
って、同様に逐次、順位を決定する。なお、図６の例で
は第１近似点を最も画像情報の少ない点としている。図
６（ａ）は第１近似点と候補点を結ぶ直線の傾斜が１よ
り大きな場合の順位決定工程を示し、同図（ｂ）は第１
近似点と候補点を結ぶ直線の傾斜が１より小さな場合の
順位決定工程を示している。

【００４７】図７は、階調／解像度情報階層化器２４の
詳細な構成図である。階調／解像度情報階層化器２４
は、重要順位決定器２３（図２参照）からの順位２８に
基づき画素を間引くパタン７５を決め、これを出力する
画素間引きパタン発生器７１と、間引くパタン７５に従
って入力ブロック９内の画素を間引いて出力する画素間
引き器７２と、順位２８に基づき入力ブロック９内の画
素をビット平面に分割した場合のビット平面を選択する
階調選択信号７７を決め、これを出力する階調選択信号
発生器７３と、階調選択信号７７に従ってビット平面を
選択して階調解像度階層化データ３０を出力する階調間
引き器７４とから構成される。

【００４８】図７を用いて以下に、階調／解像度情報階
層化器２４の動作を説明する。順位情報２８は、画素間
引きパタン発生器７１により逐次、画素間引きパタン７
５に変換される。例えば、順位情報２８のうち解像度に
相当する画素の間引き率に従って、図８に示すような画
素間引きパタン７５を発生する。図８は、入力ブロック
７のサイズが８×８画素の場合の画素の間引き率と画素
間引きパタン７５の対応を示している。また、図８に示
した画素間引きパタンは、画像データの２次元的な方向
に対して等方的であるが、例えば、図９（ａ），（ｂ）
に示すように縦方向と横方向の解像度を変えて非等方的
な画素間引きパタンにしてもよい。この場合、解像度分
析結果６８すなわち入力ブロック９の波形形状に応じて
適応的に画素間引きパタンを変える。例えば、縦方向に
エッジがある入力ブロック９では、横方向に高い空間周
波数成分まで含まれており、縦方向には高い空間周波数
成分が含まれていないので、もとの波形形状を再現する
ためには同図（ａ）に示すように、横方向の解像度を高
く、縦方向の解像度を低くとればよい。逆に横方向にエ
ッジがある入力ブロック９では、同図（ｂ）に示すよう
な画素間引きパタンを使用すればよい。

【００４９】入力ブロック９は、画素間引き器７２によ
り、画素間引きパタン７５に従って逐次間引かれ、間引
かれた画素７６として出力される。

【００５０】また、順位情報２８は、階調選択信号発生
器７３により逐次、階調選択信号７７に変換される。例
えば、順位情報２８のうち階調数に相当する画素当たり
のビット数に従って、図１０に示すようなビット平面を
選択する階調選択号７７を発生する。図１０は、画像デ
ータ６が８ビット／画素の階調である場合の、画素当た
りのビット数と選択されるビット平面の対応を示してい
る。

【００５１】画素が間引かれた画素７６は、階調間引き
器７４により階調選択信号７７に従って逐次階調が間引
かれ出力される。このように、階調／解像度情報階層化
手段２４により、図６に示す例のように第１近似から候
補点を経由し、原画像点に向って、階調情報すなわちビ
ット平面と、解像度すなわち画素パタンが逐次、追加出
力される。

【００５２】図１１は、情報源符号化器２６の詳細な構
成図である。情報源符号化器２６は、重要順位決定器２
３（図２参照）からの順位２８と、階調／解像度情報階
層化器２４からの階調／解像度階層化データ３０を多重
化する多重化器７８と、多重化されたデータ８０を算術
符号化し、符号量計数器２５（図２参照）からの目標符
号量到達信号２９が出力されていなければ符号データ１
０を出力し、信号２９が出力されると符号化処理を打ち
切る算術符号化器７９から構成される。

【００５３】図１１を用いて以下、情報源符号化器２６
の動作を説明する。重要順位決定器２３（図２参照）か
らの順位情報２８と階調／解像度情報階層化器２４から
の階調／解像度階層化データ３０は、図６に示す例のよ
うに第１近似から候補点を経由し原画像点に向って逐次
階層が進むごとに、多重化器７８により多重化され出力
される。多重化器７８により多重化された情報８０は、
算術符号化器７９により符号化され、符号データ１０が
出力される。この実施例では、多重化された情報８０を
情報源符号化するために算術符号化方式を用いたが、他
の方式、例えばハフマン符号化方式であってもよい。

【００５４】このとき、順位情報２８には、候補点（順
位）であることを示す情報が含まれている。したがっ
て、算術符号化器７９による符号化の際に、符号化した
階層が階調／解像度候補推定器２２により推定された階
層であった場合、多重化された順位情報２８を符号化す
る時点において、候補点であることを示す符号が生成さ
れ挿入される。

【００５５】また、図２の符号量計数器２５により、符
号データ１０のデータ量の総計が加算され、この総デー
タ量が所定の符号量に達した時点、あるいは総データ量
が所定の符号量に達する直前に符号化を強制的に終了さ
せる目標符号量到達信号２９が情報源符号化２６の算術
符号化器７９に対して出力される。

【００５６】算術符号化器７９は、目標符号量到達信号
２９が入力されると符号化を終了し、それ以降符号デー
タの出力を停止する。あるいは、識別符号を挿入した
後、速やかに符号化を終了してもよい。

【００５７】次に、図２に示される階調／解像度情報階
層化器２４の他の構成例を図１２に示す。図１２に示す
階調／解像度情報階層化器２４は、ＪＰＥＧ方式（”マ
ルチメディア符号化の国際標準“、安田編著、丸善、ｐ
ｐ２４−ｐｐ２８参照）におけるプログレッシブ符号化
のスペクトラルセレクション（ｓ−ｓ）方式とサクセッ
シブアプロキシメーション（ｓ−ａ）方式の階層分割方
法を用いたものである。

【００５８】このスペクトラルセレクション（ｓ−ｓ）
方式とサクセッシブアプロキシメーション（ｓ−ａ）方
式について、図１３を参照して簡単に説明する。

【００５９】同図（ａ）は、離散コサイン変換係数を３
次元的に表したものであり、図に示す例においてはＸ軸
方向に変換係数を８ビットで表現したデータ、Ｙ軸方向
に離散コサイン変換係数の次元、Ｚ方向にブロックをと
っている。

【００６０】スペクトラルセレクション（ｓ−ｓ）方式
においては、同図（ｂ）に示すように、変換係数の低次
元側からスキャンを開始し、第１スキャンで離散コサイ
ン変換係数次元の０次と１次の階層を選択し、ブロック
方向に順次符号化する。続いて、第２スキャンで２次と
３次の階層を選択し、ブロック方向に順次符号化する。
以下同様な処理を繰り返して全ての変換係数の符号化を
行う。すなわち、スペクトラルセレクション（ｓ−ｓ）
方式においては、解像度の高い画像から低い画像に向け
て符号化が行われる。

【００６１】また、サクセッシブアプロキシメーション
（ｓ−ａ）方式においては、同図（ｃ）に示すように、
変換係数のＭＳＢ側からスキャンを開始し、第１スキャ
ンで変換係数の７ビット目と６ビット目の階層を選択
し、ブロック方向に順次符号化する。続いて、第２スキ
ャンで５ビット目と４ビット目の階層を選択し、ブロッ
ク方向に順次符号化する。以下同様な処理を繰り返して
全ての変換係数の符号化を行う。すなわち、サクセッシ
ブアプロキシメーション（ｓ−ａ）方式においては、階
調変化の激しい画像から緩やかな画像に向けて符号化が
行われる。

【００６２】図１２に示す階調／解像度情報階層化器２
４は、入力ブロック９を離散コサイン変換し、変換係数
８６を出力する離散コサイン変換器８１と、順位決定器
２３（図２参照）からの順位２８に基づき選択する変換
係数選択信号８７を出力する変換係数選択信号発生器８
２と、変換係数選択信号８７に従って変換係数８６から
選択する変換係数選択器８３と、順位２８に基づき変換
係数のビット平面を選択する階調選択信号８９を出力す
る階調選択信号発生器８４と、階調選択信号８９に従っ
て選択された変換係数８８のビット平面を選択して階調
／解像度階層化データ３０を出力する階調選択器８５か
ら構成される。

【００６３】図１２を用いて以下に、第２実施例におけ
る階調／解像度情報階層化器２４の動作を説明する。

【００６４】順位情報２８は、変換係数選択信号発生器
８２により逐次、変換係数選択信号８７に変換され、こ
れにしたがって変換係数選択器８３により変換係数８６
から選択される。例えば、図１３（ｂ）に示すスペクト
ラルセレクション（ｓ−ｓ）方式のように、第１スキャ
ンから第ｎスキャンというように変換係数の低次元側か
ら高次元側に向けて選択される。

【００６５】また、順位情報２８は、階調選択信号発生
器８４により逐次、階調選択信号８９に変換され、階調
選択器８５によりビット平面が選択され出力される。例
えば、図１３（ｃ）に示すサクセッシブアプロキシメー
ション（ｓ−ａ）方式のように、第１スキャンから第ｎ
スキャンというように変換係数のＭＳＢ側からＬＳＢ側
に向けて選択される。

【００６６】このように、離散コサイン変換の変換係数
を順位情報２８に基づいて選択するようにした場合に
は、復号された画質の劣化の少ない画像符号化を少ない
符号量で行うことができると共に、ＩＳＯとＣＣＩＴＴ
で標準化作業が進められているＪＰＥＧ方式に準拠した
符号化および復号が可能となる。

【００６７】なお、図１に示す原理的構成図において
は、一次記憶手段５と二次記憶手段７を別に設けたが、
例えば、固定長符号化した符号データを、磁気ディスク
などの二次記憶手段に一時記憶し、一時記憶した固定長
符号データを可変長符号データに変換してから、同じ二
次記憶手段に記憶してもよい。逆に、同一の一次記憶手
段に固定長符号データと可変長符号データを記憶しても
よい。

【００６８】上述した本発明を要約すると以下の通りで
ある。

【００６９】本発明においては、画像を標本化し、ブロ
ック化し、入力ブロックが符号化／復号された画質を推
定し、入力ブロック、符号データ、および画質推定結果
を参照し、ひとつ、あるいは複数ブロックごとに所定の
符号量以下となるような、あるいは、所定の符号量以下
で、しかも所定の復号画質以下となるように符号化パラ
メータを決め、符号化パラメータに従って、入力ブロッ
クを、ひとつ、あるいは複数ブロックごとに所定の符号
量以下となるように、あるいは、所定の符号量以下で、
しかも所定の復号画質以下となるように固定長（最大符
号量制限）符号化し、このとき、所定の復号画質に達し
た時点で識別符号が符号データに挿入し、その後、所定
の符号量まで引き続き符号化するか、あるいは、画質再
現上必要十分な符号量に達した時点で符号化処理を終了
し、一定の符号量以下で符号化した符号データを一次記
憶手段に一時記憶するようにしたので、ブロックごとに
常に一定の圧縮率が得られ、ブロックごとに局所的に符
号化／復号が可能であり、また、複雑な分岐処理のない
一様な符号化処理が行われる。更に、一時記憶された符
号データから識別符号を検出し、ブロックの符号データ
の先頭から識別符号までの符号データのみを二次記憶手
段に記憶するようにしたので、十分な復号画質をできる
限り少ない符号量で得ることができる。

【００７０】

【発明の効果】以上述べたように、この発明によれば、
画像の符号化に際して復号画質を推定する手段を設け、
推定された画質に応じて符号量を制御するようにしたの
で、少ない符号量で十分な復号画質が得られるような画
像の符号化を行うことができる。

【図面の簡単な説明】

【図１】 本発明の画像符号化装置の原理的な構成を示
すブロック図である。

【図２】 この発明の画像符号化装置の構成例を示すブ
ロック図である。

【図３】 図２に示す画像符号化装置において使用され
る階調／解像度分析器の構成例を示すブロック図であ
る。

【図４】 図３に示す階調／解像度分析器において使用
される解像度分析器の構成例を示すブロック図である。

【図５】 図２に示す画像符号化装置において使用され
る階調／解像度候補推定器の構成例を示すブロック図で
ある。

【図６】 順位決定器における階調候補および解像度候
補の順位決定の手順を説明するための図である。

【図７】 図２に示す画像符号化装置において使用され
る階調／解像度情報階層化器の構成例を示すブロック図
である。

【図８】 画素間引きにおける画素間引きパタンの一例
を示す説明図である。

【図９】 画素間引きパタンの他の例を示す説明図であ
る。

【図１０】 階調間引きにおけるビット平面の選択動作
を説明するための模式図である。

【図１１】 図２に示す画像符号化装置において使用さ
れる情報源符号化器の構成例を示すブロック図である。

【図１２】 階調／解像度情報階層化器の他の構成例を
示すブロック図である。

【図１３】 この発明の第２実施例の動作説明図であ
る。

【図１４】 従来の画像符号化装置の構成例を示すブロ
ック図である。

【図１５】 従来の画像符号化装置の他の構成例を示す
ブロック図である。

【図１６】 従来の画像符号化装置の更に他の構成例を
示すブロック図である。

【符号の説明】

１…ブロック化手段、２…可変長符号化手段、３…復号
画質推定手段、４…符号量制御手段、５…一次記憶手
段、６…可変長変換手段、７…二次記憶手段、８…画像
データ、９…入力ブロック、１０…固定長符号データ、
１１…復号画質推定結果、１２…符号化パラメータ、１
３…一時記憶された固定長符号データ、１４…可変長符
号データ、１８…識別符号検出器、１９…アドレス制御
信号、２１…階調／解像度分析器、２２…階調／解像度
候補推定器、２３…重要順位決定器、２４…階調／解像
度情報階層化器、２５…符号量計数器、２６…情報源符
号化器、２７…階調／解像度の特徴、２８…順位、２９
…目標符号量到達信号、３０…階調／解像度階層化デー
タ、３１…階調分析器、３２…解像度分析器、３３…多
重器、３４…階調分析結果、３５…解像度分析結果、４
１…ブロック分割器、４２…平均値分離器、４３…第１
内積計算器、４４…第１ベクトルセット、４５…第１イ
ンデックス保持器、４６…第２内積計算器、４７…第２
ベクトルセット、４８…第２インデックス保持器、４９
…第３内積計算器、５０…第３ベクトルセット、５１…
第３インデックス保持器、５２…分割ブロック、５３…
平均値分離ブロック、５４…第１代表ベクトル、５５…
第１内積結果の符号、５６…第１インデックス、５７…
第２代表ベクトル、５８…第２内積結果の符号、５９…
第２インデックス、６０…第３代表ベクトル、６１…第
３内積結果の符号、６２…分配器、６３…階調候補推定
器、６４…解像度候補推定器、６５…多重器、６６…階
調特徴、６７…階調候補、６８…解像度特徴、６９…解
像度候補、７１…画素間引きパタン発生器、７２…画素
間引き器、７３…階調選択信号発生器、７４…階調間引
き器、７５…画素間引きパタン、７６…画素間引き後ブ
ロック、７７…階調選択信号、７８…多重化器、７９…
算術符号化器、８０…符号化対象データ、８１…離散コ
サイン変換器、８２…変換係数選択信号発生器、８３…
変換係数選択器、８４…階調選択信号発生器、８５…階
調選択器、８６…変換係数、８７…変換係数選択信号、
８８…選択された変換係数、８９…階調選択信号

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 1/41 - 1/419 H04N 7/24 - 7/68

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】画像を標本化し複数の画素からなるｍ×ｎ
   画素（ｍ、ｎは正整数）の入力ブロックに分割するブロ
   ック化手段と、前記入力ブロックを符号化する符号化手
   段と、該符号化手段における符号化の際の符号量を制御
   する符号量制御手段とから成る画像符号化装置におい
   て、前記入力ブロックの画素の解像度と階調の特徴量を分析
   する分析手段を有しており、該分析手段による分析結果
   に基づき、前記入力ブロックを予め設定された符号化誤
   差以下で復号して所定の復号画質を得るのに必要な階調
   及び解像度の階層 を推定する画質推定手段を設け、 前記符号化手段において、所定の画像領域ごとに、前記
   画質推定手段により推定された前記階層に到達するよう
   に低い復号画質から徐々に高い復号画質となるように符
   号化し、 前記符号量制御手段において、前記所定の復
   号画質に到達した時点で識別符号を符号データに挿入し
   て符号化を終了させるか、あるいは、所定の符号量に到
   達するまで符号化を継続させることを特徴とする画像符
   号化装置。
2. 【請求項２】画像を標本化し複数の画素からなるｍ×ｎ
   画素（ｍ、ｎは正整数）の入力ブロックに分割するブロ
   ック化手段と、前記入力ブロックを符号化する符号化手
   段と、該符号化手段における符号化の際の符号量を制御
   する符号量制御手段とから成る画像符号化装置におい
   て、前記入力ブロックの画素の解像度と階調の特徴量を分析
   する分析手段を有しており、該分析手段による分析結果
   に基づき、前記入力ブロックを予め設定された符号化誤
   差以下で復号して所定の復号画質を得るのに必要な階調
   及び解像度の階層 を推定する画質推定手段を設け、 前記符号化手段において、所定の画像領域ごとに、所定
   の階調数及び解像度から出発して前記階層に到達するよ
   うに符号化することにより、所定の符号量以下で、か
   つ、前記所定の復号画質以下となるように符号化を行
   い、前記階層に到達した時点で前記符号量制御手段が目標符
   号到達信号を出力することにより、前記所定の符号量ま
   での 符号化が終了したことを示す識別符号が符号データ
   に付加されることを特徴とする画像符号化装置。
3. 【請求項３】前記解像度の特徴量を分析する分析手段
   が、予め求めたｍ×ｎ画素（ｍ、ｎは正整数）、あるい
   は、その正整数比ｊ（ｊは正整数）で分割した画素から
   なる複数の代表形状ブロックの組の各々と、前記入力ブ
   ロック内の各画素から前記入力ブロック内の平均値を減
   算して得た平均値分離ブロックとの近似度を求め、最も
   近似度の高い代表形状ブロックのインデックス、あるい
   は、ｊ個に分割されたブロックごとの最も近似度の高い
   代表形状ブロックのインデックスの組を前記入力ブロッ
   クの解像度の特徴量とするものである請求項１又は請求
   項２記載の画像符号化装置。
4. 【請求項４】前記符号量制御手段が重要順位決定手段を
   有しており、該重要順位決定手段は、所定の解像度の階
   層および階調の階層を第一の順位とし、前記復号画質推
   定手段により推定した解像度の階層および階調の階層を
   候補とし、前記第一の順位の解像度の階層および階調の
   階層から出発して、前記解像度の階層の候補および前記
   階調の階層の候補に向かって順位付けを行い、前記符号化手段が前記順位に従って符号化を行うもので
   ある 請求項１又は請求項２記載の画像符号化装置。
5. 【請求項５】前記符号化手段が前記入力ブロックを階調
   と解像度の階層に分割する階層分割手段を有しており、
   該階層分割手段により所定の画像領域ごとに各階層を前
   記符号量制御手段により決められた順位に従って順次、
   符号化するものである請求項４記載の画像符号化装置。
6. 【請求項６】請求項１又は請求項２記載の画像符号化装
   置により符号化された符号データを変換する画像符号化
   装置であって、前記識別符号を識別する手段を有してお
   り、該識別符号を識別する手段は、所定の画像領域ごと
   に、符号データの先頭から識別符号までの符号データの
   みを選択することによって、符号データを変換するもの
   である画像符号化装置。