JPH07129759A

JPH07129759A - 画像処理方法及び装置

Info

Publication number: JPH07129759A
Application number: JP5272708A
Authority: JP
Inventors: Nobutaka Miyake; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-10-29
Filing date: 1993-10-29
Publication date: 1995-05-19
Anticipated expiration: 2016-08-06
Also published as: JP3195142B2; US5911007A

Abstract

(57)【要約】【目的】本発明は直交変換を用いた解像度変換時に、
ブロックのサイズアップに伴う画質の劣化や、量子化の
際に生じる画質の劣化を防ぐことができる画像処理方法
及び装置を提供する。【構成】入力端子１００より逆量子化したブロック情
報が特徴量判定部１０１に入力され、ブロック情報の特
徴量が判定され、解像度変換部１０２にてＮ×Ｎのブロ
ック内の入力情報を低周波域に配置し、新たにサイズア
ップした高周波域に相当する成分に“０”をそれぞれ代
入することにより、Ｎ×ＮからＭ×Ｍ画素（Ｎ＜Ｍ）に
ブロックサイズが変換される。そして、マトリクス演算
部１０４にて基底ＬＵＴ（ルックアップテーブル）１０
３に格納されている幾つかの種類の基底ベクトルから画
像の特性に合わせて選択された、最適な基底ベクトルに
よるマトリクス行列により、マトリクス演算が施され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、特に入力した画像情報
を、拡大変倍して出力するプリンタ等の画像出力装置
や、解像度の異なる機種間通信で、低解像情報から高解
像情報に解像度変換する画像処理方法及び装置に関す
る。

【０００２】

【従来の技術】従来より、入力した低解像情報を高解像
情報に解像度変換する方法として、様々な方法が提案さ
れている。提案されている従来方法は、対象となる画像
の種類（例えば、各画素毎に階調情報の持つ多値画像、
ディザ法や誤差拡散法等の疑似中間調処理により２値化
された２値画像、固定閾値により２値化された２値画
像、文字画像等）によって、その変換処理方法が異なっ
ている。本発明で対象としている画像は各画素毎に階調
情報の持つ自然画像等の多値画像であるが、従来の内挿
方法は、図１９に示すような、内挿点に最も近い画素値
を配列する最近接内挿方法や、図２０に示すような内挿
点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）
の距離により、以下の演算によって画素値Ｅを決定する
共１時内挿法等が一般的に用いられている。

【０００３】E=(1-i)(1-j)A+i・(1-j)B+j・(1-i)C+ijD 但し、画素間距離を１としてた場合に、Ａから横方向に
ｉ、縦方向にｊの距離があるとする（ｉ≦１、ｊ≦
１）。また、カラーファクシミリ装置（ＦＡＸ）等の画
像伝送を考えた場合、伝送路上は圧縮情報に変換して送
信することが必要不可欠である。近年、カラー静止画符
号化の国際標準化方式として、ＪＰＥＧ（Joint Photog
raphic Experts Group）方式が定められている。ＪＰＥ
Ｇ方式はＤＣＴ（Discrete Cosine Tranceform）による
変換係数の量子化と、量子化後の変換係数のエントロピ
ー符号化により画像情報を圧縮する方式である。

【０００４】昨今、解像度の異なる機種間通信への応用
で、この圧縮情報から直接に伸張と解像度変換を同時に
施す研究が盛んである。前述したＤＣＴ変換と解像度変
換とを組み合わせた方法として、ＤＣＴ変換後に、拡大
の際には、新たな高周波成分に“０”を代入し、縮小の
際には、今までの高周波成分を落としてブロックサイズ
を変更し、その後にＩＤＣＴする方法がいくつか提案さ
れている（村山：“文書画像の高解像度化変換技術”、
画像電子学会誌、第22巻、第 2号pp129-132,1993）（ま
た、特公平4-229382,特公平4-333989等）（Ｎ×Ｎ）画素の二次元ＤＣＴの変換係数は、

【０００５】

【数１】

【０００６】で求められ、ＩＤＣＴは、

【０００７】

【数２】

【０００８】ともに、Ｃ（ｐ）＝１／√２（ｐ＝０），Ｃ（ｐ）＝１（ｐ≠０）で求められる。Ｎ×Ｎ個のＦ（ｕ，ｖ）の行列を［Ｆ
（ｕ，ｖ）］とし、高周波成分に“０”を代入した拡張
行列を[[Ｆ（ｕ，ｖ）]]とした場合には、

【０００９】

【数３】

【００１０】になる（直流成分が左上になる）。上述の
方法により、伸張と同時に画質の良い解像度変換が可能
になる。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来例では、以下に述べるような欠点があった。即ち、図
１９の方法は構成が簡単であるという利点はあるが、対
象画像が縦線、横線の多い幾何学的な画像には良いが、
自然画像等に用いた場合には拡大するブロック毎に画素
値が決定されるため、視覚的にブロックが目立ってしま
い画質的に劣悪になってしまう。

【００１２】図２０の方法は自然画像の拡大には一般的
に良く用いられている方法である。この方法では、平均
化され、スムージングのかかった画質になるが、エッジ
部や、シャープな画質が要求される部分では、ぼけた画
質になってしまう。更に地図等をスキャンした画像や、
文字部を含む自然画像のような場合には、補間によるぼ
けのために、大切な情報が受け手に伝わらないこともあ
る。

【００１３】また、前述した直交変換の圧縮方式と組み
合わせた解像度変換（ここでは拡大の場合のみ考える）
では、容易に圧縮情報から解像度変換された実空間情報
へと復元することが可能な画期的な方法であるが、画質
は、いかなる画像に対しても良好であるとは言い難い。
この方式で、画質が劣化する原因を詳細に説明する。

【００１４】いま、説明を簡単にするために、４×４の
ブロックサイズでＤＣＴした画像情報の高周波域に
“０”を代入し、８×８のブロックサイズに変換してＩ
ＤＣＴを施す処理を例にする。二次元ＤＣＴは、一次元
ＤＣＴの基底ベクトルに相当する基底画像で成分分解を
行うことに相当し、画像の水平方向と垂直方向に独立に
一次元ＤＣＴを施していることになるため、簡単に一次
元変換に限定して説明する。

【００１５】図２１に示す（ａ）は、４次のＤＣＴの基
底ベクトルを、同（ｂ）は、８次のＤＣＴのシーケンス
番号０から３までの基底ベクトルを示している。シーケ
ンス番号０は、ともにＤＣ成分を示し、その他のシーケ
ンスはＡＣ成分を示している。いま、４次のＤＣＴを施
した場合、ＤＣＴ後に出力される変換係数は、図２１の
（ａ）に示した各々の基底ベクトルに対する電力を表し
ている。４次から８次への置き換えによる解像度変換で
は、この４次にて求めた変換係数の値を、そのまま８次
の基底により算出されたかのように扱うわけである（Ｄ
Ｃ成分は、そのブロックサイズの違いにより比率計算に
よる補正が必要）。

【００１６】図２２は、図２１に示したシーケンス番号
１の４次と８次のＤＣＴ基底の差異を表したものであ
る。破線が４次の基底、実線が８次の基底を示している
（４次ＤＣＴと８次ＤＣＴでは、基底に用いる画素数が
異なるため、４次の基底を８次の基底に合わせて示して
いる）。図中、矢印で示した部分が、４次の基底と８次
の基底との差異になる。

【００１７】図２３は、同様にシーケンス番号３の４次
と８次のＤＣＴ基底の差異を表したものである。図２２
と同様に点線が４次の基底、実線が８次の基底を示し、
その差異を矢印で示している。図２２と図２３とを比較
してもわかるように、シーケンス番号が大きくなると、
その差異が広がっている。４次ＤＣＴの基底を８次ＤＣ
Ｔの基底に置き換えるため、当然、隣り合う画素間の細
かい部分が表現され、その結果、画質の良くなる部分が
出てくる。しかし、逆に、この４次ＤＣＴと８次ＤＣＴ
のそれぞれのシーケンスの基底の差異により、情報の存
在しないところに、勝手に細かい情報を作成しているこ
とに相当し、画質劣化の生じる部分も出てくる。

【００１８】図２４は、画像中のエッジ部に対し、前述
した従来例による処理を施した例である。図中、図２４
に示す（ａ）は、実空間における入力画像情報の１ブロ
ック分の情報を示している。実際、本技術をプリンタ等
のホストコンピュータと接続する機器等に応用した場
合、このような急峻なエッジは文字、線画像や、ＣＧ
（コンピュータグラフィック）等に多く発生する。

【００１９】図２４に示す（ｂ）は、同（ａ）の情報を
４×４でＤＣＴをした結果を示し、また（ｃ）は（ｂ）
の変換係数を基に、高周波域に“０”を代入した結果を
示し、更に（ｄ）は（ｃ）の変換係数を基に、８×８の
ＩＤＣＴを施した結果を示すものである。尚、通常、Ｄ
ＣＴによる圧縮方法では、変換係数を量子化、もしくは
高周波域のカットにより符号量を減少させる操作を施す
が、本説明では、詳細は省略する。

【００２０】図２４に示すＩＤＣＴの結果から分かるよ
うに、４次から８次への基底の置き換えにより、エッジ
部以外にもリンギング状のノイズが発生してしまう。こ
れは基底の置き換えにより８次の基底のシーケンス番号
０から３までは、電力を置き換えて埋めることができた
のだが、それよりも高周波域、即ちシーケンス番号４か
ら７までの基底ベクトルに対する電力は“０”であると
いう、アンバランスの結果、発生してきたものである。
言い換えると、８次の基底にしたことで、前述した基底
の差異にあたる部分が付加されたにも関わらず、それが
高周波域では全く対応されていないため、丁度、量子化
時による高周波域カットと同様に、いわゆるモスキート
ノイズとなってしまう。

【００２１】本発明は、上記課題を解決するために成さ
れたもので、ブロックのサイズアップに伴う画質の劣化
や、量子化の際に生じる画質の劣化を防ぐことができる
画像処理方法及び装置を提供することを目的とする。

【００２２】

【解決するための手段】上記目的を達成するために、本
発明の画像処理装置は以下の構成を備える。Ｎ×Ｎ画素
からなるブロックの画像情報を直交変換し、直交変換情
報を基にＭ×Ｍ画素（Ｎ≠Ｍ）のブロック情報を作成
し、該ブロック情報からＭ×Ｍ画素の実空間情報へ逆変
換する画像処理装置であって、Ｍ×Ｍ画素の直交変換行
列［Ｇ_M ］の転置行列［Ｇ_M ］^t 以外の基底ベクトルを
用いて逆変換する逆変換手段を備える。

【００２３】また、上記目的を達成するために、本発明
による画像処理方法は、Ｎ×Ｎ画素からなるブロックの
画像情報を直交変換し、直交変換情報を基にＭ×Ｍ画素
（Ｎ≠Ｍ）のブロック情報を作成し、該ブロック情報か
らＭ×Ｍ画素の実空間情報へ逆変換する画像処理方法で
あって、Ｍ×Ｍ画素の直交変換行列［Ｇ_M ］の転置行列
［Ｇ_M ］^t 以外の基底ベクトルを用いて逆変換する逆変
換工程を有する。

【００２４】

【作用】かかる構成によれば、Ｎ×Ｎ画素からなるブロ
ックの画像情報を直交変換し、直交変換情報を基にＭ×
Ｍ画素（Ｎ≠Ｍ）のブロック情報を作成し、該ブロック
情報からＭ×Ｍ画素の実空間情報へ逆変換する際に、Ｍ
×Ｍ画素の直交変換行列［Ｇ_M ］の転置行列［Ｇ_M ］^t
以外の基底ベクトルを用いて逆変換することにより、ブ
ロックのサイズアップに伴う画質の劣化や、量子化の際
に生じる画質の劣化を防ぐことができる。

【００２５】

【実施例】以下、図面を参照して本発明に係る好適な実
施例を詳細に説明する。尚、実施例における画像処理装
置は、主としてプリンタ等の画像出力装置内部や、ファ
クシミリ等、主に解像度の異なる機種のネットワークの
各デバイス内部に具備されることが効率的であるが、画
像出力装置以外の画像処理装置、ホストコンピュータ内
のアプリケーションソフトとして内蔵することも可能で
ある。

【００２６】＜第１の実施例＞図１、図２は第１の実施
例を表す要部ブロック図である。以下、図１、図２のブ
ロック図に沿って第１の実施例の動作手順を説明してい
く。図２は、符号化を施す送信側と、復号化を施す受信
側を示した図である。この送信側にホストコンピュータ
を、受信側にプリンタを想定しても良いし、また、前述
したように、ネットワークにおいて解像度の異なる機種
間通信を想定しても良い。更に、送信、受信共にプリン
タ等の画像出力装置内部に持ち、送受信の伝送路上に画
像情報を格納するメモリが存在する場合を想定しても良
い。何れの場合においても、本実施例では送信側の解像
度をｘ、受信側の解像度をｙとすると、ｘ＜ｙの関係が
成立するか、もしくは同じ解像度であれば、画像サイズ
を拡大したい場合についてであることが前提になる。

【００２７】図中、２００は入力端子を示し、送信側に
おいて、対象画像の画像情報を入力する。これは、例え
ば、イメージスキャナ等の画像入力装置でも良いし、ホ
ストコンピュータ上のアプリケーションソフトで作成し
た画像情報等、様々な場合が考えられる。２０１はブロ
ック化部を示し、入力した画像情報をＮ×Ｎ画素毎にブ
ロック化していく。

【００２８】２０２は、ＤＣＴ変換部を示し、ブロック
毎にＤＣＴ変換を施す。この変換により、実空間の画像
情報を各成分無相関のＤＣＴ空間に変換し、自然画像で
は、特に低周波域に電力が集中する。このＤＣＴ変換
は、従来例の式（１）に示した演算を施すのであるが、
実際には、従来例で説明したコサイン項を計算した基底
ベクトルによる変換行列とのマトリクス演算により実現
することが多い。

【００２９】２０３は量子化部を示し、ＤＣＴ変換係数
を、量子化テーブル２０４から供給される量子化ステッ
プ情報に基づいて量子化する。図３は量子化テーブル２
０４の一例を示す図である。図３に示す値が量子化ステ
ップに相当し、この値を基に線形のスカラー量子化が施
される。量子化された情報は出力端子２０５により、伝
送路上に出力される。この出力情報は、ＪＰＥＧ方式の
ように量子化後の変換係数をエントロピー符号化したも
の等、いかなる符号化の施したものでも良いが、送信側
と受信側とで伝送方式が規定されていなくてはならない
のは当然である。

【００３０】一方、受信側においては、入力端子２０６
により、伝送路上の量子化後の変換係数が入力される。
２０７は逆量子化部を示し、量子化テーブル２０４の量
子化ステップ情報を基に逆量子化を行う。この量子化テ
ーブル２０４の値は送信側と受信側とで定まっている場
合には良いが、そうでない場合には量子化テーブルの情
報を伝送路上に乗せて送信（ダウンロード）する構成に
すれば良い。２０８は伸張制御部を示し、詳細は後述す
る伸張と解像度変換とを同時に実行する。

【００３１】ここで、第１の実施例における伸張制御部
２０８の詳細を図１に示すブロック図を参照して以下に
説明する。図１において、破線で囲んだ部分が伸張制御
部２０８に相当する部分である。図中、１００は入力端
子を示し、前述したように、逆量子化したブロック情報
が入力される。１０１は特徴量判定部を示し、入力した
ブロック情報を基に、ある評価手段により、分類わけを
施す。この評価手段は、様々考えられるが、一例を後で
述べる。

【００３２】１０２は解像度変換部を示し、ブロックサ
イズの大きさを変化させる（第１の実施例では拡大のみ
を考える）。例えば、入力したブロックサイズがＮ×Ｎ
画素のブロックサイズであったならばＭ×Ｍ画素（Ｎ＜
Ｍ）にブロックサイズを変更する。このブロックサイズ
の拡大の方法は、従来例の（３）式で述べたように、入
力端子１００からのＮ×Ｎ画素のブロック内の入力情報
（逆量子化後の情報）を低周波域に配置し、新たにサイ
ズアップした高周波域に相当する成分に“０”をそれぞ
れ代入する。

【００３３】１０３は基底ＬＵＴ（ルックアップテーブ
ル）を示し、幾つかの種類の基底ベクトルが格納されて
いるＲＯＭ（リードオンリーメモリ）を示している。本
来であれば、ＤＣＴ変換係数の逆変換であるため、ＩＤ
ＣＴの基底ベクトル（ＤＣＴの基底の転置行列に相当す
る）を用いて逆変換するのが当然であり、それでなくて
は正しい復元が実現できない。しかし、この実施例で
は、逆変換基底ベクトルを、ＩＤＣＴの基底ベクトルに
こだわらずに、予め作成した幾つかの変換行列を保持し
ておいて、この中から画像の特性に合わせて、最適な基
底ベクトルを選択することが最大の特徴である。

【００３４】即ち、前述した従来例で説明したように、
Ｎ×ＮのＤＣＴの基底ベクトルと、Ｍ×ＭのＩＤＣＴの
同じシーケンス番号の基底ベクトルの各々は同一ではな
く、誤差が生じるために、図２４に示す（ａ）〜（ｄ）
のようなリンギング状の画質劣化が生じてしまう。この
劣化は、元々Ｎ×ＮのＤＣＴの基底を、異なる基底で置
き換えているために発生するものである。そうであるな
ら、逆変換にＩＤＣＴの演算のみにこだわる必要はな
い。そこで、この実施例では、“ＤＣＴしたものはＩＤ
ＣＴする”という思想から逸脱し、実空間への復元をＩ
ＤＣＴに限らないため、あえて逆変換と称している。

【００３５】さて、図１の１０４はマトリクス演算部を
示し、基底ＬＵＴ１０３にロードされた基底ベクトルに
よるマトリクス行列により、マトリクス演算を施す。通
常、正方行列のＤＣＴの変換行列を［Ｄ］とし、［Ｄ］
の転置行列を［Ｄ］^t とすると、入力行列［ｆ］の２次
元のＤＣＴ変換［Ｆ］は、［Ｆ］＝［Ｄ］［ｆ］［Ｄ］^t …（４）ＩＤＣＴ変換は、［ｆ］＝［Ｄ］^t ［Ｆ］［Ｄ］ …（５）で表現することができる。

【００３６】いま、逆変換の基底ベクトルを［Ｄ］の転
置行列に限定しないため、基底ＬＵＴ１０３からロード
された基底ベクトルによる変換行列を［Ｇ］とし、量子
化、サイズ変更、逆量子化後の変換行列を［Ｆ′］とす
ると、逆変換後の出力行列［ｆ′］は、［ｆ′］＝［Ｇ］［Ｆ′］［Ｇ］^t …（６）において求めることになる。

【００３７】この場合、変換行列［Ｇ］の直交性は制限
しない。即ち、情報の圧縮では、成分同士の相関性をな
くするため、直交行列による変換は効果的であることは
言うまでもない。しかし、直交変換の施されたブロック
サイズを変更して逆変換するような場合には、逆変換の
行列は直交行列に限ることはない。逆変換後の画質の良
くなる基底ベクトルを実験的に作成すれば良い。

【００３８】図４は、逆変換を施す基底ベクトルの一例
を示す図である。これは、Ｎ＝４、Ｍ＝８の場合であ
り、即ち、送信側のＤＣＴのブロックサイズが４×４、
受信側のブロックサイズが８×８に相当する。図４に示
した基底ベクトルは、４×４の画素ブロックでのＤＣＴ
の基底ベクトルに適合させて作成したものである。尚、
今、説明を簡単にするため、図４に示したテーブルの値
は０から１までの正規化した少数点４桁までの値を挙げ
ているが、実際のテーブルでは、全て整数化して格納さ
れる。

【００３９】図５は、ＤＣＴの基底ベクトル（図５に示
す（ａ））と、図４に示した逆変換行列の転置した基底
ベクトル（図５に示す（ｂ））との比較を示した図であ
る。図５より明らかなように、画素数が変化しても、各
シーケンス番号の基底が同じになるように図４の基底を
作成してある。即ち、図２２、図２３で示したような誤
差成分は発生しない。

【００４０】図６に示す（ａ）〜（ｄ）は、画像中のエ
ッジ部に対し、図４の基底ベクトルを用いて逆変換した
例を示す図である。説明を簡単にするため、全て少数点
計算にしているし、量子化の影響は考慮していない。図
６に示す（ａ）は、実空間における入力画像情報の１ブ
ロック分の情報を示している。図６に示す（ｂ）は、
（ａ）の情報を４×４でＤＣＴをした結果を示し、また
（ｃ）は、（ｂ）の変換係数を基に、高周波域に“０”
を代入した結果を示し、更に（ｄ）は、（ｃ）の変換係
数を基に、図４の基底ベクトルを用いて８×８の逆変換
を施した結果を示すものである。

【００４１】この例からも明らかなように、図４の基底
ベクトルによる逆変換は、０次補間と等価になる。即
ち、圧縮状態から直接解像度変換する方式においても、
容易に０次補間が可能になることがわかる。図７は、８
×８のＩＤＣＴの基底ベクトルを示している。図４と同
様に、説明を簡単にするため、コサイン成分の演算結果
の小数点以下４桁までの値を示している。例えば、図４
と図７の基底ベクトルの２種を図１の基底ＬＵＴ１０３
に格納しておくと、動的にブロック毎最適な基底ベクト
ルを選択することが可能になる。

【００４２】図８は、図１の特徴量判定部１０１の一例
を示した図である。図中、８０１はウインドウ手段を示
し、入力した逆量子化後のブロック情報の成分の高周波
域に特徴量検出のためのウインドウをかける手段であ
る。いま、例えば、図９に示すようなＦ（ｉ、３）成
分、Ｆ（３、ｊ）成分にウインドウをかけたとする（斜
線部）（０≦ｉ≦３，０≦ｊ≦３）。

【００４３】図８に示す８０２の比較器にて、ウインド
ウ内の各成分のうち、予め設定した閾値ＴＨよりも大き
い電力（簡易的に絶対値でも可）があるか否かを比較す
る。比較結果は、図１の基底ＬＵＴ１０３に送信され、
高周波域に大きな電力の存在したブロックはエッジ部と
仮定し、ＩＤＣＴの基底を用いると誤差が大きく出てし
まうために、図４の基底を用い、それ以外のブロックで
は、低周波域に電力が集中している平坦部と仮定してＩ
ＤＣＴの基底を用いる。

【００４４】このように、動的に基底を切り換えること
によって、画質の良い解像度変換が可能になる。本説明
では、基底ＬＵＴに２種登録している例を挙げたが、登
録数はこれ以上であっても良い。以上、伸張制御部２０
８の詳細を説明したが、画素数が（Ｍ／Ｎ）² 倍に増加
されたブロック情報は、図２に示すラスター化２０９に
おいてラスター化され、プリンタエンジン２１０に送信
される。

【００４５】また、従来例でも述べたように、解像度変
換によるＤＣ成分の値の補正（不図示）が必要であるこ
とは勿論である。＜第２の実施例＞図１０は、第２の実施例を表す要部ブ
ロック図であり、図１に示す特徴量判定部１０１の一例
を示した図である。この実施例においても、基底ベクト
ルを２種（例えば図４と図７のテーブル）保持し、特徴
量に応じて切り換える例について述べる。

【００４６】図１０において、図８と同様に、逆量子化
後のブロック情報が入力され、今、ブロックサイズを４
×４の場合を仮定する。１０００はＡＣ電力加算手段を
示し、入力した成分のＡＣ成分、１５成分の電力値を加
算する手段である（簡易的に絶対値和でも可）。ＡＣ１
５成分の電力総和と、予め設定されている閾値ＴＨとを
比較し、ＴＨ以上の場合には、ブロック全体の電力が大
きいとしてエッジ部に相当すると判定して図４のテーブ
ルを選択する。また、ＴＨよりも小さい場合には、平坦
部に相当すると判定して図７のテーブルを選択する。

【００４７】このように、動的に基底を切り換えること
により、良好な画像を出力することができる。＜第３の実施例＞図１１は、第３の実施例を表す要部ブ
ロック図であり、図２の受信側の構成と同一部には同一
番号を付して説明する。尚、図１１では、伸張制御部
（一点鎖線に囲んだ部分）に相当する部分も合わせて示
してある。

【００４８】図１１中、２０６は入力端子を示し、第１
の実施例と同様に、符号化したブロック情報が入力さ
れ、逆量子化部２０７にて逆量子化、解像度変換部１０
２にて解像度変換が実行される。一方、１１００の入力
端子からは、基底ＬＵＴ１０３中の、どのテーブルを使
用するかを指定する情報が入力される。即ち、特徴量に
よるブロック毎の動的な切り換えではなく、このテーブ
ル指定が第３の実施例の特徴である。

【００４９】前述の実施例と同様に、入力ブロックサイ
ズが４×４、出力ブロックサイズが８×８の場合を考え
る。いま、基底ＬＵＴ１０３の中に、図７に示すテーブ
ルと図１２に示すテーブルが格納されているとする。図
１２に示すテーブルは図７に示したテーブル（８×８の
ＩＤＣＴの基底ベクトル）を基本にして作成したもので
あり、図７のテーブルのＦ（ｉ、１）（０≦ｉ≦７）を
変化させているものである。この実施例では、高周波域
には変換係数に“０”を代入されているため、基底ベク
トルの対応している部分には依存しない。

【００５０】図１２に示すテーブルと、図７に示すテー
ブルとを図１３において比較する。図１３中、実線部が
図７のテーブルにおける転置行列のシーケンス番号１、
破線部が図１２のテーブルにおける転置行列のシーケン
ス番号１を示している。破線部の方が上下に広げられて
カーブが急峻になっている。図１４は図７のテーブルと
図１２のテーブルの逆変換の結果を示す図である。図１
４に示す（ａ）は、実空間上の４×４のブロック情報
を、また（ｂ）は、（ａ）のブロックを４×４でＤＣＴ
をした結果を、更に（ｃ）は、（ｂ）の情報の高周波域
に“０”を付加した結果をそれぞれ示している。そし
て、図１４に示す（ｄ）は図７に示した基底ベクトルに
て、また（ｅ）は図１２に示した基底ベクトルにて、
（ｃ）の８×８の逆変換を施したものである。

【００５１】図１４に示す（ｄ）と（ｅ）を比較して明
らかなように、（ｅ）の方が実空間上の情報でもエッジ
が急峻になりやすい。つまり、解像度変換に伴う拡大ボ
ケを軽減し、良好なエッジを作成することが可能にな
る。図１５、図１６は、この基底の変化と量子化との比
較を示す図である。図１５は、図１３をわかりやすく概
念的に描いた図である。図中、ａがＩＤＣＴの転置した
基底ベクトル（ＤＣＴの基底ベクトル）、ｂが図１２に
示した行列の転置による基底ベクトルを示している。波
形は異なるが、端部の位置は一緒である。

【００５２】一方、図１６は変換係数の量子化による変
化を概念的に描いた図である。量子化による変換係数の
変化は、その成分の電力、即ち、振幅が変化することに
相当する。図１６に示すａが、振幅が大きくなったり
（ｂの場合）、小さくなったり（ｃの場合）する。この
振幅の大小により、ブロック間の連続性が乱され、ブロ
ック歪みとして検知される。

【００５３】通常、ＤＣＴ空間内で画質を変化させる場
合には、変換係数を変化させるしか手段は有していなか
った。しかし、図１５のように基底の波形を変化させる
ことによって、ブロック歪みを発生させずに画質を制御
することが可能になる。図１１において、基底ベクトル
のテーブルの指定は、例えば受信側、もしくは送信側が
解像度変換による拡大ボケを嫌ってエッジを急峻に出力
したい場合には図１２の基底ベクトルを指定し、そうで
ない場合には図７の基底ベクトルを指定する構成が可能
になる。また、例えば図４の基底ベクトルを格納してお
き、ＧＣ（コンピュータグラフィック）の出力には、図
４の基底を用いる等、画像の種類により選択する構成も
考えられる。

【００５４】＜第４の実施例＞図１７は、第４の実施例
を表す要部ブロック図であり、図１１に示した第３の実
施例と同一部には同一番号を付して説明する。第３の実
施例では、基底の切り換えを使用者の指定によって選択
する例を説明したが、この実施例では、量子化テーブル
に応じて基底ベクトルを変化させる例について述べる。
量子化テーブルの例は図３にて示したが、量子化部は圧
縮率に直接影響がある。即ち、圧縮率と量子化の粗さに
は深い相関があり、画質とは背反条件になる。

【００５５】例えば、ここで、ＪＰＥＧ方式のような量
子化係数をエントロピー符号化する場合を考える。その
場合、圧縮率を、ある一定値以内に抑えるためには、量
子化テーブルを動的に切り換えたり、或いは量子化係数
に乗ずる係数（スケーリングファクタ）を切り換えたり
する制御が必要になる。切り換える量子化テーブルは画
像情報と多重化され、送信側からダウンロードされた
り、予め用いるテーブルの種類が送受信側とも決まって
いれば、そのテーブルのインデックス（テーブルナンバ
ー）を送信することも可能である。また、スケーリング
ファクタを用いる場合にはその乗じる係数を、逐次、送
信してもらう構成でも良い。

【００５６】図１７の構成において、受信側の入力端子
２０６からは、符号化された画像情報と共に、量子化テ
ーブルに関する情報（上述したように予めダウンロード
する量子化係数でも、テーブルのインデックスナンバー
でも良い）が送信される。この情報により、量子化テー
ブル２０４から供給された量子化係数により逆量子化が
施され、前述の実施例と同様に解像度変換が実行され
る。

【００５７】第４の実施例では、この量子化テーブルの
切り換えに連動して基底ベクトルの切り換えも実行する
点に特徴がある。量子化による画質劣化を、基底の切り
換えにより打ち消すことは極めて困難であるが、量子化
特性に応じて視覚的に劣化を目立ちづらくする基底ベク
トルを実験的に作成することは可能である。例えば、図
４に示した基底ベクトルによる逆変換は０次補間と等価
になるが、劣化の激しくなる粗い量子化テーブルの場合
は、０次補間により劣化までも同じ画素値を繰り返する
ことになり目立ってしまう。即ち、細かい量子化テーブ
ルの場合には、図４に示した量子化テーブルを用い、粗
い量子化テーブルの場合には、別の基底ベクトル、例え
ば、図７のテーブルを用いる等の連動が可能になる。こ
の連動により、良好な画質の解像度変換が可能になる。

【００５８】実施例では、線形量子化の場合について説
明したが、非線形量子化においても同様の切り換えを実
行することが可能である。また、例えば、カラー画像の
場合には、輝度信号、色差信号に分解して符号化するこ
とがあるが、この場合の量子化には異なる量子化テーブ
ルを用いることが多い。このようなカラー画像の出力で
も、各色成分の量子化特定に適応した基底ベクトルを色
毎に作成し、量子化テーブルと連動して切り換える構成
にしても有効である。

【００５９】＜第５の実施例＞図１８は、第５の実施例
を表す要部ブロック図である。この実施例では、解像度
変換時に、ブロックのサイズアップした高周波域に
“０”以外を代入する場合について述べる。図１に示し
た第１の実施例と同一部には同一番号を付して説明す
る。図１８の破線部は前述の実施例と同様に、受信側の
伸張制御部を示し、図中、１００からは、送信側から符
号化された画像情報の逆量子化の施されたブロック情報
が入力される。１８００は高周波域推定部を示し、Ｎ×
Ｎのブロック情報からそれよりも高周波域の情報を推測
する。推測方式は、ここでは限定しない。特公平3-2042
68に記述してあるような自己回帰モデルを利用するもの
でも良い。解像度変換部１８０１では、Ｎ×Ｎ画素のブ
ロックをＭ×Ｍ画素のブロックにサイズアップする。前
述の実施例では、高周波域に“０”を代入させていた
が、この実施例では、高周波域推測部１８００にて推測
された情報を高周波域に付加する。

【００６０】一方、高周波域推測部１８００では、画像
の特徴的なものを判断し、高周波域に情報を付加するわ
けであるが、それに応じて基底ＬＵＴ１０３から、どの
基底ベクトルによって逆変換を施すのかを選択する。例
えば、図４に示した基底ベクトルでは、解像度変換後の
ブロックの高周波域に“０”が代入されるという前提に
より、Ｆ（ｉ、ｊ）（０≦ｉ≦７、４≦ｊ≦７）の値を
“０”にしているが、高周波域に“０”以外を代入する
のであれば、基底ベクトルのＦ（ｉ、ｊ）（０≦ｉ≦
７、４≦ｊ≦７）の値も、マトリクス演算に必要な係数
を実験的に作成することになる。

【００６１】従来では、高周波域にある係数を推測して
代入したとしても、基底がＭ×ＭのＩＤＣＴの基底を用
いるしか方法がなかったが、第５の実施例によれば、基
底ベクトルを実験的に決定しているので、高周波域とい
う考え方ではなく、周波数の高低を除外して、余ってい
る成分を利用して画質を向上させる工夫が容易にでき
る。言い換えれば、いままで“０”を付加していた成分
をＤＣＴ空間の高周波成分と考えるのではなく、任意の
成分と想定し、基底を決定し、画質を良くする係数を代
入すれば良いことになり、画質制御に自由度が増す。

【００６２】以上、基底ベクトルを任意に決定、登録
し、それに基づいて解像度変換を施す方式について述べ
たが、いままで述べた基底ベクトルは一例であり、これ
に限るものではない。またブロックサイズも４×４のＤ
ＣＴ、８×８の逆変換について述べたが、これに限るも
のではない。更に、特徴量の判定の一例を示したが、判
定方法もこれに限るものではない。また、直交変換にＤ
ＣＴを例に説明したが、他の直交変換であっても良いこ
とは勿論である。また、拡大を例にして説明したが、縮
小においても本特許の思想は用いることができる。

【００６３】また、正方行列を例に説明したが、正方行
列に限ることではない。尚、本発明は、複数の機器から
構成されるシステムに適用しても１つの機器から成る装
置に適用しても良い。また、本発明は、システム或は装
置にプログラムを供給することによって達成される場合
にも適用できることはいうまでもない。

【００６４】

【発明の効果】以上説明したように、本発明によれば、
直交変換による圧縮と解像度変換とを組み合わせた構成
において、逆変換時に、直交変換時の基底ベクトルとは
異なる基底を用いることにより、従来方式ではブロック
のサイズアップに伴う画質劣化を防ぐことが可能にな
る。

【００６５】また、量子化条件に適応した基底を用いる
ことにより、量子化の際に生じた画質劣化を防ぐことが
可能になる。また、基底をＲＯＭ等に格納してＬＵＴと
して使用しているため、極めて簡単な構成で実現でき
る。また、基底を実験的に作成しているため、システム
に適合した画質設計が容易に行える。

【００６６】本発明により、低解像度の画像情報を高解
像度情報へ容易に変換できるため、解像度の異なる機種
間通信や、拡大変倍して高画質な画像を出力するプリン
タや、複写機、ファクシミリ装置等が提供できる。

【図面の簡単な説明】

【図１】第１の実施例による伸張制御部の構成を示すブ
ロック図である。

【図２】第１の実施例による送信側、受信側の構成を示
すブロック図である。

【図３】量子化テーブルの一例を示す図である。

【図４】基底ベクトルの一例を示す図である。

【図５】ＤＣＴの基底ベクトルと逆変換の基底ベクトル
を比較する図である。

【図６】画像情報のＤＣＴ、サイズアップ、逆変換の一
例を示す図である。

【図７】ＩＤＣＴの基底ベクトルを示す図である。

【図８】図１の特徴量判定部の構成を示す図である。

【図９】図８におけるウインドウを示す図である。

【図１０】第２の実施例による特徴量判定部の構成を示
す図である。

【図１１】第３の実施例による受信側の構成を示すブロ
ック図である。

【図１２】第３の実施例による基底ベクトルの一例を示
す図である。

【図１３】第３の実施例による基底ベクトルの比較を示
す図である。

【図１４】画像情報のＤＣＴ、サイズアップ、及び、基
底ベクトルの違いによる逆変換の一例を示す図である。

【図１５】基底の違いを概念的に示す図である。

【図１６】量子化の違いを概念的に示す図である。

【図１７】第４の実施例による受信側の構成を示すブロ
ック図である。

【図１８】第５の実施例による伸張制御部の構成を示す
図である。

【図１９】従来例である最近接内挿法を説明する図であ
る。

【図２０】従来例である共１次内挿法を説明する図であ
る。

【図２１】４次ＤＣＴと８次ＤＣＴの同一シーケンスに
よる基底を比較する図である。

【図２２】４次ＤＣＴと８次ＤＣＴのシーケンス番号１
の基底を比較する図である。

【図２３】４次ＤＣＴと８次ＤＣＴのシーケンス番号３
の基底を比較する図である。

【図２４】従来例による画像情報のＤＣＴ、サイズアッ
プ、及び、ＩＤＣＴの一例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 1/387 １０１

Claims

【特許請求の範囲】

【請求項１】Ｎ×Ｎ画素からなるブロックの画像情報
を直交変換し、直交変換情報を基にＭ×Ｍ画素（Ｎ≠
Ｍ）のブロック情報を作成し、該ブロック情報からＭ×
Ｍ画素の実空間情報へ逆変換する画像処理装置であっ
て、Ｍ×Ｍ画素の直交変換行列［Ｇ_M ］の転置行列［Ｇ_M ］
^t 以外の基底ベクトルを用いて逆変換する逆変換手段を
備えることを特徴とする画像処理装置。
【請求項２】更に、少なくとも２種の基底ベクトルを
格納する格納手段と、ブロック内の直交変換情報の特徴
量を判定する判定手段とを備え、前記逆変換手段は、該
判定手段での判定結果に応じて前記格納手段に格納され
た所望の基底ベクトルを用いて逆変換することを特徴と
する請求項１記載の画像処理装置。
【請求項３】前記特徴量は、ブロック内の直交変換情
報の高周波域の電力値であることを特徴とする請求項２
記載の画像処理装置。
【請求項４】前記特徴量は、ブロック内の直交変換情
報の電力値の総和であることを特徴とする請求項２記載
の画像処理装置。
【請求項５】更に、少なくとも２種の基底ベクトルを
格納する格納手段を備え、前記逆変換手段は、使用者に
指定された基底ベクトルを用いて逆変換することを特徴
とする請求項１記載の画像処理装置。
【請求項６】更に、少なくとも２種の基底ベクトルを
格納する格納手段を備え、前記逆変換手段は、量子化条
件に応じた基底ベクトルを用いて逆変換することを特徴
とする請求項１記載の画像処理装置。
【請求項７】前記格納手段は、前記転置行列［Ｇ_M ］
^t を基底ベクトルとして格納することを特徴とする請求
項２記載の画像処理装置。
【請求項８】前記直交変換情報からブロック情報の作
成は、直交変換情報を低周波域に配置し、高周波域には
“０”を代入して作成することを特徴とする請求項１記
載の画像処理装置。
【請求項９】前記直交変換は、離散コサイン変換であ
ることを特徴とする請求項１記載の画像処理装置。
【請求項１０】Ｎ×Ｎ画素からなるブロックの画像情
報を直交変換し、直交変換情報を基にＭ×Ｍ画素（Ｎ≠
Ｍ）のブロック情報を作成し、該ブロック情報からＭ×
Ｍ画素の実空間情報へ逆変換する画像処理方法であっ
て、Ｍ×Ｍ画素の直交変換行列［Ｇ_M ］の転置行列［Ｇ_M ］
^t 以外の基底ベクトルを用いて逆変換する逆変換工程を
有することを特徴とする画像処理方法。