JP2916607B2

JP2916607B2 - 画像拡大装置

Info

Publication number: JP2916607B2
Application number: JP3105869A
Authority: JP
Inventors: 修司外田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1991-05-10
Filing date: 1991-05-10
Publication date: 1999-07-05
Anticipated expiration: 2014-07-05
Also published as: JPH04333989A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像拡大装置に関す
る。

【０００２】

【従来の技術】ビデオムービーの自動手振れ補正あるい
はテレビ会議システムなどの分野では、画像拡大処理が
必要とされており、より高画質の画像拡大処理方法の要
求が高まっている。

【０００３】従来の画像拡大装置として、例えば特開平
2-250471号公報においてビデオカメラ装置の一部として
開示されているものがある。以下、この特開平2-250471
号公報に開示されている技術に従って従来の画像拡大装
置における拡大処理について図９を参照して説明する。

【０００４】図９において、丸印（○）は原画像の画素
を、三角印（△）は拡大画像の画素をそれぞれ示す。拡
大画像の画素の値は、その周辺の原画像の画素の値を線
形補間することにより求められる。図９に示されている
例では、拡大画像の画素ｚの値Ｚは、その周辺の原画像
の４点の画素ａ，ｂ，ｃ，ｄの値Ａ，Ｂ，Ｃ，Ｄより求
められる。

【０００５】なお、図９中、ｓ及びｔは拡大画像の画素
ｚと周辺の原画像の４点の画素ａ，ｂ，ｃ，ｄとの位置
関係を表す数値である。拡大画像の画素ｚの値Ｚは下記
式(1) により求められる。

【０００６】Ｚ＝（１−ｓ）（１−ｔ）・Ａ＋（１−ｓ）ｔ・Ｂ＋ｓ（１−ｔ）・Ｃ＋ｓｔ・Ｄ …(1)

【０００７】図10は、式(1) の演算を行うための補間演
算回路の構成を示すブロック図である。図10において、
参照符号101, 102, 103, 104, 107, 108はいずれも乗算
器を、参照符号105, 106, 109 はいずれも加算器を示し
ている。

【０００８】各乗算器101, 102, 103, 104にはそれぞれ
原画像の４点の画素ａ，ｂ，ｃ，ｄの値Ａ，Ｂ，Ｃ，Ｄ
が入力され、乗算器101 は画素ａの値Ａと(1−t)とを、
乗算器102 は画素ｂの値Ｂとｔとを、乗算器103 は画素
ｃの値Ｃと(1−t)とを、乗算器104 は画素ｄの値Ｄとｔ
とをそれぞれ乗算する。乗算器101 と102 との乗算結果
は加算器105 で加算され、乗算器103 と104 との乗算結
果は加算器106 で加算され、加算器105 の加算結果は乗
算器107 により(1−s)と乗算され、加算器106の加算結
果は乗算器108 によりｓと乗算される。最後に、乗算器
107 と乗算器108 との乗算結果が加算器109 で加算され
て拡大画像の画素ｚの値Ｚが算出される。

【０００９】

【発明が解決しようとする課題】従来の画像拡大装置は
式(1) の演算を行うために図10に示されているような補
間演算回路を使用している。しかし、この補間演算回路
は一種のローパスフィルタのような働きを持っているた
め、値Ｚとして出力される拡大画像の画質が劣化し、エ
ッジ等がぼけるという問題がある。

【００１０】本発明は、このような問題点の解消を目的
としてなされたものであり、拡大された画像の画質の劣
化がきわめて少なく、エッジ等も鮮明な拡大画像が得ら
れる画像拡大装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の画像拡大装置
は、所定サイズのブロックに分割された原画像のデータ
を周波数成分に相当するデータに変換する直交変換手段
と、該直交変換手段の出力に”0 ”データを付加するこ
とで、原画像のデータのサイズより大きいサイズのブロ
ックを形成する”0 ”データ付加手段と、前記直交変換
手段が処理するデータのブロックサイズと前記”0 ”デ
ータ付加手段による０データ付加後のデータのブロック
サイズとの比を用いて、前記”0 ”データ付加手段の出
力データを乗算する乗算器と、前記乗算器の出力に逆直
交変換を施すことで、拡大画像生成用のデータを得る逆
直交変換手段とを備えたことを特徴とする。

【００１２】

【００１３】

【００１４】

【作用】本発明では、原画像のデータが直交変換手段に
より変換されることにより得られる周波数成分に相当す
るデータが、前記直交変換手段に比して処理するデータ
サイズが大きい直交変換の逆変換手段により逆変換され
るが、この過程で乗算器により直交変換手段の出力を定
数倍することで原画像と拡大画像との信号レベルが合わ
せられ、直交変換により生成される原画像の周波数成分
の係数を調整することにより、原画像と同じコントラス
ト (信号レベル) の拡大画像が得られる。

【００１５】

【００１６】

【００１７】

【実施例】以下、本発明をその実施例を示す図面に基づ
いて詳述する。

【００１８】図１は、本発明の画像拡大装置の一実施例
の構成を示すブロック図である。図１に示すように、本
発明の画像拡大装置は、ブロック分割回路１,Ｍ×Ｍ点D
CT(離散コサイン変換) 回路２,”０” データ付加回路
３, 乗算器４, Ｎ×Ｎ点IDCT (逆離散コサイン変換) 回
路５, 画像再構成回路６をこの順に直列に接続して構成
されている。

【００１９】なお、本実施例では、線分比でＮ／Ｍ倍の
拡大を行う実施例を示している。ここで、Ｍ及びＮは整
数であり、ＮはＭより大きいものとする。また、原画像
のデータとしてはモノクロ画像の輝度レベルをディジタ
ル信号に変換したものとして説明する。但し、原画像が
カラー画像である場合には、原画像データは各色成分、
例えば、赤(R), 緑(G), 青(B) 成分それぞれの明るさ
を示す３種のディジタルデータにて構成されるので、図
１に示されている回路は各色成分毎に処理することにな
る。

【００２０】原画像データはまずブロック分割回路１に
入力され、Ｍ×Ｍ画素からなるブロック毎のデータに分
割される。この原画像ブロックデータに順次以下に示す
処理が行われることにより、各ブロック毎の画像拡大処
理が行われる。以下、Ｍ×Ｍ画素の原画像ブロックデー
タを｛ｘ（ｍ，ｎ）；ｍ，ｎ＝０，１，…，M-1 ｝とし
て説明する。

【００２１】ブロック分割回路１において分割された原
画像ブロックデータｘ（ｍ，ｎ）は次にＭ×Ｍ点DCT 回
路２に入力される。Ｍ×Ｍ点DCT 回路２は、原画像ブロ
ックデータに対してサイズがＭ×Ｍの２次元DCT(離散コ
サイン変換) を施し、原画像シーケンシ成分｛ｙ（ｋ，
ｌ）；ｋ，１＝０，１，…，M-1 ｝を生成する。なおこ
こで、 DCT及びIDCTは以下のような式でそれぞれ表され
るものとしている。

【００２２】

【数１】

【００２３】Ｍ×Ｍ点DCT 回路２により生成された原画
像シーケンシ成分ｙ（ｋ，ｌ）は”０”データ付加回路
３に入力される。”０”データ付加回路３は、サイズが
Ｍ×Ｍのデータであるｙ（ｋ，ｌ）に”０”データを付
加することによりＮ×Ｎのデータを発生する。次に、”
０”データ付加回路３の出力は乗算器４により定数Ｎ／
Ｍと乗算されることによりＮ／Ｍ倍されて拡大画像シー
ケンシ成分｛ｙ′（ｋ，ｌ）；ｋ，ｌ＝０，１，…，N-
1 ｝が生成される。図２は原画像シーケンシ成分ｙ
（ｋ，ｌ）から拡大画像シーケンシ成分ｙ′（ｋ，ｌ）
が生成される上述の手順を示す模式図である。

【００２４】なお、拡大画像のシーケンシ成分ｙ′
（ｋ，ｌ）を原画像シーケンシ成分ｙ（ｋ，ｌ）で表す
と下記式(2) のようになる。

【００２５】ｙ′（ｋ，ｌ）＝Ｎ／Ｍ・ｙ（ｋ，ｌ）（０≦ｋ，ｌ≦M-1 ）ｙ′（ｋ，ｌ）＝０（その他） …(2)

【００２６】なお、高次のシーケンシ成分に”０”デー
タ付加回路３により”０”のデータを付加する理由は以
下の如くである。

【００２７】サイズがＭ×Ｍの原画像シーケンシ成分か
らサイズがＮ×Ｎの拡大画像シーケンシ成分を生成する
場合、原画像は拡大画像の高次のシーケンシ成分の情報
を有していないので、それに対応するなんらかの値を付
加して補う必要がある。ここで、自然画像のデータのよ
うな相関の強いデータをDCT により変換した場合には、
低次のシーケンシ成分へのエネルギー集中度が大きいと
いうDCT の特性から、高次のシーケンシ成分は平均が”
０”で分散が非常に小さくなるという性質がある。従っ
て、高次のシーケンシ成分として全てのブロックに同じ
値を与える場合は、”０”という値を与えれば拡大画像
を原画像に最も近い状態にすることになり、高次シーケ
ンシ成分の欠落による劣化も少なくなる。また、この手
法を用いれば、拡大画像の高周波成分を”０”としてい
るために、滑らかで自然な違和感のない拡大画像が得ら
れる。

【００２８】また、乗算器４によってシーケンシ成分を
Ｎ／Ｍ倍する理由は、上述の DCTとこの後にＮ×Ｎ点ID
CT回路５により行われる IDCT(逆離散コサイン変換) と
では処理対象にしている画像サイズが異なるためであ
り、Ｎ／Ｍ倍することにより原画像と同じ信号レベルの
拡大画像を得ることが出来るからである。

【００２９】以上のようにして得られた拡大画像シーケ
ンシ成分ｙ′（ｋ，ｌ）はＮ×Ｎ点IDCT回路５に入力さ
れる。

【００３０】Ｎ×Ｎ点IDCT回路５は、拡大画像シーケン
シ成分ｙ′（ｋ，ｌ）に対してサイズがＮ×Ｎの２次元
IDCTを施すことにより拡大画像ブロックデータ｛ｚ
（ｍ，ｎ）；ｍ，ｎ＝０，１，…，N-1 ｝を生成する。

【００３１】Ｎ×Ｎ点IDCT回路５により生成された拡大
画像ブロックデータｚ（ｍ，ｎ）は画像再構成回路６に
入力される。画像再構成回路６はブロック分割回路１と
は逆の処理を行うことにより、拡大画像ブロックデータ
をまとめた拡大画像を生成する。

【００３２】次に、上述のような本発明の画像拡大装置
の具体的な動作について説明する。なお、説明の便宜
上、ここではサイズが18×12画素の原画像に対してＭ＝
３，Ｎ＝４である場合の線分比４／３倍の拡大を行う具
体例について説明する。

【００３３】図３はこの拡大率４／３倍で拡大処理を行
う場合のブロック分割回路１による画像データのブロッ
ク分割の状態を示す模式図である。原画像データ20はま
ずブロック分割回路１に入力され、図３に示されている
ように、計24個のサイズが３×３画素の原画像ブロック
データ｛ｘ（０，０），ｘ（０，１），…，ｘ（２，
２）｝に分割される。なお、図３の参照符号21は原画像
ブロックデータの内の１個を示している。

【００３４】それぞれの原画像ブロックデータ21は、Ｍ
×Ｍ点DCT 回路２により原画像シーケンシ成分｛ｙ
（０，０），ｙ（０，１），…，ｙ（２，２）｝に変換
される。但し、この場合はＭ＝３であるので、Ｍ×Ｍ点
DCT 回路２は３×３点DCT 回路となる。

【００３５】図４は、上述のように拡大率４／３倍で拡
大処理を行う場合に原画像シーケンシ成分から拡大画像
シーケンシ成分が生成される状態の一例を示す模式図で
ある。即ち、図 4(a) に示されている原画像シーケンシ
成分は”０”データ付加回路３に入力されて図４(b) に
示されているような”０”のデータが付加された４×４
のデータになる。更に、乗算器により図４(c) に示され
ているようにＮ／Ｍ倍（この場合は４／３倍）され、最
後に図４(d) に示されているように拡大画像シーケンシ
成分｛ｙ′（０，０），ｙ′（０，１），…，Ｙ′
（３，３）｝が生成される。

【００３６】このようにして得られた拡大画像シーケン
シ成分はＮ×Ｎ点IDCT回路５により拡大画像ブロックデ
ータ｛ｚ（０，０），ｚ（０，１），…，ｚ（３，
３）｝に変換される。なお、ここではＮ×Ｎ点IDCT回路
５は４×４点IDCT回路になる。

【００３７】Ｎ×Ｎ点IDCT回路５により変換された拡大
画像ブロックデータは次に画像再構成回路６に入力さ
れ、サイズが24×16画素の拡大画像データが生成され
る。図５は拡大率４／３倍で拡大処理を行う場合に、
拡大画像ブロックデータ30から拡大画像データ31が生成
されて画像データが再構成される状態を示す模式図であ
る。以上の処理により、18×12画素の原画像から24×16
画素の拡大画像が得られる。

【００３８】次に、本発明の実施例により実際に画像拡
大した結果について図６, 図７及び図８を参照して説明
する。

【００３９】図６は、原画像として用いた画像データか
ら２次元スペクトルを求めて等高線表示した一例を示す
模式図である。図７は、従来の技術として示した双線形
補間法により原画像を線分比４／３倍に拡大して得られ
た拡大画像から２次元スペクトルを求めて等高線表示し
た一例を示す模式図である。図８は、本発明の実施例で
示した方法においてＭ＝３、Ｎ＝４として原画像を線分
比４／３倍に拡大して得られた拡大画像から２次元スペ
クトルを求めて等高線表示した一例を示す模式図であ
る。

【００４０】図７からは、従来例の画像拡大装置による
拡大画像は高周波の成分が脱落していることが判る。こ
れは前述の如く、従来例の画像拡大装置に一種のローパ
スフィルタの効果があるためである。これに対して図８
からは、本発明の実施例により得られる拡大画像のスペ
クトルは、図７に比して図６に示した原画像のスペクト
ルに非常に近いことが判る。即ち、本発明の実施例によ
り得られる拡大画像は、周波数領域において原画像の情
報をほとんど失っていないということである。なお、ス
ペクトルが小さくなっているのは、画像を拡大したため
である。

【００４１】このように本発明の画像拡大装置によれ
ば、原画像の情報をほとんど失うことなく画像を拡大す
ることが可能になり、画質の劣化が極めて少ない拡大画
像を得ることができる。

【００４２】なお、本発明は上述した実施例に限定され
ることはなく種々の変形が可能である。例えば、上記実
施例では２次元DCT と２次元IDCTとを用いているが、そ
れらに代えて１次元DCT と１次元IDCTとを用いることも
可能である。この場合、乗算器において（Ｎ／Ｍ）^0.5
倍する必要があり、出力される結果は縦または横の１方
向だけの拡大になる。従って、縦方向と横方向それぞれ
について拡大処理を行うことにより上記実施例と同等の
拡大画像が得られる。

【００４３】また、直交変換としてはコサイン変換に限
定されることはなく、サイン変換等のような直交変換を
使用しても同様の効果を得ることが出来る。コサイン変
換以外の直交変換を用いる場合は、用いられる直交変換
に応じて乗算器の係数も変化させる。

【００４４】更に、上記実施例ではブロック分割を行っ
た上で拡大処理を行っているが、ブロック分割をせずに
画像全体を一括して直交変換することも可能である。

【００４５】

【発明の効果】以上に詳述したように本発明によれば、
原画像のデータが直交変換手段により変換されることに
より得られる周波数成分に相当するデータが、これに”
0 ”データを付加することで前記直交変換手段に比して
処理するデータサイズが大きい直交変換の逆変換手段に
より逆変換されるが、この過程で乗算器により直交変換
手段の出力を定数倍することで原画像と拡大画像との信
号レベルが合わせられ、原画像と同じコントラスト（信
号レベル）の拡大画像が得られ、回路構成も簡略化出来
る。

【図面の簡単な説明】

【図１】この発明の一実施例による画像拡大装置のブロ
ック図である。

【図２】原画像シーケンシ成分から拡大画像シーケンシ
成分を生成する様子の一例を示す図である。

【図３】拡大率４／３倍で拡大処理を行う場合の画像デ
ータのブロック分割の状態を示す模式図である。

【図４】拡大率４／３倍で拡大処理を行う場合に原画像
シーケンシ成分から拡大画像シーケンシ成分が生成され
る状態の一例を示す模式図である。

【図５】拡大率４／３倍で拡大処理を行う場合に、拡大
画像ブロックデータから拡大画像データが生成されて画
像データが再構成される状態を示す模式図である。

【図６】原画像として用いた画像データから２次元スペ
クトルを求めて等高線表示した一例を示す模式図であ
る。

【図７】従来の技術として示した双線形補間法により原
画像を線分比４／３倍に拡大して得られた拡大画像から
２次元スペクトルを求めて等高線表示した一例を示す模
式図である。

【図８】実施例で示した方法においてＭ＝３、Ｎ＝４と
して原画像を線分比４／３倍に拡大して得られた拡大画
像から２次元スペクトルを求めて等高線表示した一例を
示す模式図である。

【図９】従来における双線形補間法の処理を示す図であ
る。

【図１０】従来例における双線形補間法の補間演算回路
の主要構成を示す図である。

【符号の説明】

１ブロック分割回路２Ｍ×Ｍ点DCT 回路３ ”０”データ付加回路４乗算器５Ｎ×Ｎ点IDCT回路６画像再構成回路 20 原画像データ 21 原画像ブロックデータ 30 拡大画像ブロックデータ 31 拡大画像データ

Claims

(57)【特許請求の範囲】

【請求項１】所定サイズのブロックに分割された原画
像のデータを周波数成分に相当するデータに変換する直
交変換手段と、該直交変換手段の出力に”0 ”データを付加すること
で、原画像のデータのサイズより大きいサイズのブロッ
クを形成する”0 ”データ付加手段と、前記直交変換手段が処理するデータのブロックサイズと
前記”0 ”データ付加手段による０データ付加後のデー
タのブロックサイズとの比を用いて、前記”0”データ
付加手段の出力データを乗算する乗算器と、前記乗算器の出力に逆直交変換を施すことで、拡大画像
生成用のデータを得る逆直交変換手段とを備えたことを
特徴とする画像拡大装置。