JPH0844863A - 画像拡大方法 - Google Patents

Abstract

(57)【要約】 【目的】 効率良く、解像度の高い拡大画像を得る。 【構成】 画素値の上限と下限を制限する拘束条件を用
い、処理中の画像の画素値が事前に分かっている画素値
の範囲を越えないようにする処理を付加することによ
り、処理過程における異常値の発生を防ぎ高画質な拡大
画像を得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像拡大方法、特に鮮
明な高画質の拡大画像を得ることができる画像拡大方法
に関する。

【０００２】

【従来の技術】画像処理システムや画像データベースシ
ステム、高精細カラー印刷等の分野では種々の高品質な
画像処理機能が求められているが、その１つに画像拡大
がある。この画像拡大は、画像処理システムの１機能と
しての重要性の他に、解像度の異なるメディア（例え
ば、ＨＤＴＶ（高解像度テレビ）、ＮＴＳＣ方式のテレ
ビ、電子スティルカメラ、医用画像システム、印刷用画
像システム等）を結ぶために必要な解像度変換としても
利用できる極めて重要な機能である。

【０００３】従来の画像拡大方法としては、単純に画素
を補間する補間方法が採用されてきた。代表的な補間方
法としては、ニアレストネイバー（nearest neighbo
r）、バイリニア（bilinear）、キュービックコンボリ
ューション（cubic convolution）が知られている。こ
れら補間法は、サンプリング定理に基づいたsinc関数
｛sinc（x ）＝sin （x ）／x ｝による補間を基本概念
とした方法であり、演算上の負荷を軽減するためにsinc
関数を近似した補間関数を原画像のサンプル点に対して
畳み込むことによって、原画像のサンプル点の間を補間
し、画素数を増やすものである。

【０００４】上記ニアレストネイバーは補間関数として
矩形関数を用い、最も近いサンプルの値を補間値とする
方法であり、バイリニアは補間関数としてトライアング
ル関数を用い、１次元の場合であれば近傍の２点から線
形内挿される値を補間値とする方法であり、キュービッ
クコンボリューションは補間関数として３次関数を用
い、１次元の場合であれば近傍の４点から内挿される値
を補間値とする方法である。

【０００５】上記各補間法による拡大の考え方は、拡大
対象である原画像が観測される（スキャニングによりサ
ンプリングされる）前の理想的な原画像がＮyquist周波
数の半分以下の周波数（低周波成分）のみで構成されて
いる場合には正しい。しかし、一般に理想的な原画像は
無限に高い周波数成分までもっているが、サンプリング
された観測画像に折り返し歪み（aliasing：モアレやビ
ートのような現象）が発生することを防ぐために、ロー
パスフィルタ（ＬＰＦ）をかけて必要以上の高周波成分
を取り除いており、そのため、拡大対象の原画像はサン
プリングされた時点で既に画像の鮮明さや細部の表現に
関与している空間的高周波成分が失われている。

【０００６】このように、観測（サンプリング）時に取
り除かれた高周波成分は拡大しない原画像には不要であ
るが、高精細な拡大画像を作成するためには不可欠な要
素である。

【０００７】

【発明が解決しようとする課題】しかしながら、前記補
間法によっては、サンプリング時に失われた空間的高周
波成分を復元することはできないため、上記原画像を補
間法によって拡大した場合には、本来必要である空間的
高周波成分が欠除していることになる。

【０００８】従って、前記従来の補間方法によって原画
像を拡大する場合には、空間的高周波成分が欠除してい
るために、ボケやスムージング又はエッジのがたつきと
いった画質の劣化や、細部の表現が不十分な画像をもた
らしてしまうという問題があった。

【０００９】これに対し、本発明者は、特開平６−５４
１７２において、通過周波数域の情報が正しく、且つ、
画像の拡がりが限られているという２つの拘束条件を用
いて、サンプリング時に失われた空間的高周波成分を復
元する画像拡大方法を提案しているが、この反復法で
は、反復演算中に処理中の画像の画素値が、事前にわか
っている画素値の上限と下限を越えてしまった場合に、
修正する機能がなかった。

【００１０】本発明は、前記従来の問題点を解決するべ
くなされたもので、拡大画像の高画質化を図り、ボケや
ジャギーが発生しない画像拡大法を提供することを目的
とする。

【００１１】

【課題を解決するための手段】本発明は、サンプリング
した原画像に含まれる画像情報に基づいて画像を拡大す
る画像拡大方法において、画素値の上限と下限を制限す
る拘束条件を用い、処理中の画像の画素値が、事前に分
かっている画素値の範囲を越えないようにして、処理過
程における異常値の発生を防ぎ解像度の高い拡大画像を
得ることにより、前記目的を達成したものである。

【００１２】本発明は又、サンプリングした原画像に含
まれる画像情報に基づいて処理対象画像を拡大する画像
拡大方法において、サンプリング時に失われた情報を、
反復演算により漸近的に復元する際、画素値の上限と下
限を制限する拘束条件を用い、処理中の画像の画素値が
事前に分かっている画素値の範囲を越えないようにする
処理を、前記反復演算中に行うことにより、解像度の高
い拡大画像を得ることにより同様に前記目的を達成した
ものである。

【００１３】本発明は更に、前記画像拡大方法におい
て、前記反復演算を、直交変換によって正変換と逆変換
を繰り返す過程の中で、通過周波数域の情報が正しく、
且つ、画像の拡がりが限られているという２つの拘束条
件を用いて、サンプリング時に失われた情報を復元す
る、反復演算としたことにより同様に前記目的を達成し
たものである。

【００１４】

【作用】本発明によれば、サンプリングした原画像に含
まれる画像情報に基づいて処理対象画像を拡大すると
き、失われた情報（サンプリング時に失われた空間的高
周波成分）を復元し、画像のディテール情報、エッジ情
報を推定、復元する際、画素値の上限と下限を制限する
拘束条件を用い、処理中の画像の画素値が事前に分かっ
ている画素値の範囲（例えば８ビットなら０〜２５５）
を越えないように処理を行うことにより、誤差を抑え、
解像度の高い安定した画質を得ることができる。

【００１５】又、サンプリング時に失われた情報を、反
復演算により、漸近的に復元する場合には、画素値の上
限と下限を制限する拘束条件を用い、処理中の画像の画
素値が事前に分かっている画素値の範囲を越えないよう
にする処理を反復演算中に行うことにより、誤っている
のが明確な誤差が伝搬することを防ぐことができ、解の
収束が安定し、解像度の高い安定した高画質の拡大画像
を得ることができる。

【００１６】又、前記反復演算として、例えば直交変換
によって正変換と逆変換を繰り返す過程の中で、通過周
波数域の情報が正しく、且つ、画像の拡がりが限られて
いるという２つの拘束条件を用いて、反復演算により漸
近的に情報を復元していく、ゲルヒベルク−パポリス
（Ｇerchberg- Ｐapoulis ）の反復法（以下Ｇ・Ｐ反復
法と略記する）を周波数域拡張の基本原理として適用
し、処理対象画像の画像拡大を行う場合には、サンプリ
ング時に失われた空間的高周波成分を復元し、画像のデ
ィテール情報、エッジ情報を推定し、復元することによ
り、拡大画像の一層の高画質化を図ることができる。

【００１７】以下、Ｇ・Ｐ反復法を図１を用いて説明す
る。

【００１８】図１で左側の（Ａ）、（Ｃ）、（Ｅ）、
（Ｇ）は周波数領域に、右側の（Ｂ）、（Ｄ）、
（Ｆ）、（Ｈ）は実空間領域に対応しており、同図
（Ｂ）は原信号f（x ）であり、空間｜x ｜≦ x₀ に領
域制限されている（物体が一定の大きさに限定されてい
ることに対応する）。図１（Ａ）は、上記原信号f （x
）のフーリエ変換Ｆ（u ）であり、このＦ（u ）は原
信号f （x ）が領域制限されているので無限に高い周波
数成分まで含むことになる。

【００１９】図１（Ｃ）は、上記Ｆ（u ）の区間｜u ｜
≦ u₀ の部分Ｇ（u ）だけが観測されることを表わして
いる。即ち、次の（１）式及び（２）式によって定義さ
れる窓関数を用いた次の（３）式が成立している。

【００２０】 Ｗ（u ）＝１ （｜u ｜≦ u₀ ） …（１） Ｗ（u ）＝０ （｜u ｜＞ u₀ ） …（２） Ｇ（u ）＝Ｗ（u ）Ｆ（u ） …（３）

【００２１】Ｇ（u ）を逆フーリエ変換したものが図１
（Ｄ）のg （x ）である。ここで上記Ｇ（u ）あるいは
g （x ）から、Ｆ（u ）あるいはf （x ）を求めること
が問題となる。

【００２２】Ｇ・Ｐ反復法の第１段階は、以下のように
なる。Ｇ（u ）は、｜u ｜≦ u₀ に帯域制限されている
ので、g （x ）は無限に広がってしまう。しかし、原信
号f（x ）は区間｜x ｜≦ x₀ に領域制限されているこ
とが分かっているので、g （x ）に対しても同じ領域制
限を行う。即ち、g （x ）の区間｜x ｜≦ x₀ の部分だ
け取り出して f₁ （x ）とする。この f₁ （x ）を次の
（４）式及び（５）式で表わされる空間領域における窓
関数w （x ）を使った式で表わすと、下記（６）式とな
る。これが図１（Ｆ）に示した f₁ （x ）である。

【００２３】 w （x ）＝１ （｜x ｜≦ x₀ ） …（４） w （x ）＝０ （｜x ｜＞ x₀ ） …（５） f₁ （x ）＝w （x ）g （x ） …（６）

【００２４】上記 f₁ （x ）をフーリエ変換すれば、図
１（Ｅ）のＦ₁ （u ）になる。 f₁（x ）が領域制限さ
れているのでＦ₁ （u ）は無限に広がっている。ところ
が、区間｜u ｜≦ u₀ に対しては、正しい値Ｇ（u ）＝
Ｆ（u ）は既に分かっているので、Ｆ₁ （u ）の中の｜
u ｜≦ u₀ の部分をＧ（u ）で置き換える。このように
してできた波形が図１（Ｇ）のＧ₁ （u ）である。この
関係を式で表わすと次の（７）〜（９）式となる。そし
て、上記Ｇ₁ （u ）を逆フーリエ変換したものが図１
（Ｈ）の g₁ （x ）である。

【００２５】 Ｇ₁ （u ）＝Ｇ（u ）＋（１−Ｗ（u ））Ｆ₁ （u ） …（７） Ｇ₁ （u ）＝Ｇ（u ） （｜u ｜≦ u₀ ） …（８） Ｇ₁ （u ）＝Ｆ₁ （u ） （｜u ｜＞ u₀ ） …（９）

【００２６】以上の説明で、図１の（Ｃ）、（Ｄ）から
（Ｇ）、（Ｈ）までがＧ・Ｐ反復法の第１段階である。
その後、図１（Ｈ）の g₁ （x ）から区間｜x ｜≦ x₀
の部分だけ取り出して図１（Ｆ）の f₁ （x ）に相当す
る f₂ （x ）（図示せず）を求め、この f₂ （x ）をフ
ーリエ変換して同図（Ｅ）に相当するＦ₂ （u ）（図示
せず）を算出するという同様の操作を無限回繰り返すこ
とにより、原信号を完全に復元することができる。

【００２７】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００２８】図２は、本発明に係る第１実施例である画
像拡大方法において実行される処理の流れを模式的に示
した説明図であり、図３は、図２の処理の流れを示した
フローチャートである。

【００２９】本実施例は、モノクロ画像を、Ｇ・Ｐ反復
法にＤＣＴを適用して拡大する場合であり、図４に示す
基本構成からなる装置を用い、原画像格納部１０から原
画像を拡大処理部１２に読み込み、該拡大処理部１２で
以下に詳述する処理を行って拡大画像を作成し、その拡
大画像を拡大画像格納部１４に格納する操作を行う。

【００３０】上記原画像格納部１０としては、例えば磁
気ディスクを、又拡大処理部１２としてはエンジニアリ
ングワークステーション（ＥＷＳ）を、拡大画像格納部
１４としては同じく磁気ディスクを挙げることができ
る。又、拡大処理部１２で作成した拡大画像は、ディス
プレイやプリンタ等の出力装置に出力される構成とする
こともできる。

【００３１】前記図２、図３に示した一連の処理は、上
記拡大処理部１２において実行される。以下、この処理
のプロセスを詳細に説明する。なお、図２においては、
左側が画像領域を、右側がＤＣＴ領域を、それぞれ表わ
している。

【００３２】今、図２（Ａ）に示すようなＮ×Ｎ画素の
原画像をm 倍に拡大してm Ｎ×m Ｎ画素の画像を作るこ
とを想定する。なお、図２に付した括弧付きの番号は、
図３のフローチャートにおけるステップ番号に対応して
いる。

【００３３】まず、ステップ１でＧ・Ｐ反復法により演
算を反復する回数と拡大率とを設定し、次にステップ２
で上記図２（Ａ）に示した拡大対象の原画像を読み込
む。

【００３４】次に、ステップ３において画像の空間的な
拡がりを限定するために、Ｎ×Ｎ画素の原画像の周りに
グレイレベル（gray level）をl （エルの小文字）とし
た画像を付加し、図２（Ｂ）に示したn Ｎ×n Ｎ画素の
画像に拡張する。ここで、グレイレベルl は、実数であ
ればどのような値を用いてもよく、l （エル）を０に設
定したときには、ＤＣＴ演算の負荷を減らすことができ
る。又、n は１より大きな実数であって、n Ｎが整数に
なる値であればよい。更に、nmＮが２の巾乗（累乗）に
なるようにn を設定すると、ＤＣＴの高速演算アルゴリ
ズムを用いることができる。

【００３５】次に、ステップ４において上記図２（Ｂ）
の画像を２次元ＤＣＴにより、同図（Ｃ）に示した周波
数成分a に変換する。この周波数成分a がＤＣＴ領域に
おける既知情報であり、空間的低周波成分に相当する。
この周波数成分a は反復演算中に使用するため、メモリ
上に保存する（ステップ５）。

【００３６】次いで、上記周波数成分a について、図２
（Ｄ）に示すように、拡大率に応じた高周波帯まで周波
数領域を拡張する（ステップ６）。このとき、高周波成
分の初期値を０とし、拡張されたサイズがnmＮ×nmＮ画
素分になるようにする。この図２（Ｄ）のように、周波
数拡張されたＤＣＴシーケンス（sequence）を２次元逆
ＤＣＴ（ＩＤＣＴ）し、画像領域に戻す（ステップ
７）。このとき得られる画像はnmＮ×nmＮ画素の画像で
あり、その中心部のm Ｎ×m Ｎ画素分αが拡大画像であ
る。

【００３７】次いで、現在の反復数を更新し（ステップ
８）、上記ステップ７で得られた図２（Ｅ）の画像中心
部のm Ｎ×m Ｎ画素分αの外側に拡張された×印を付し
た領域は、上記ＩＤＣＴによりレベルが不明となってい
るが、この領域では既にそのレベルが図２（Ｂ）の画像
からl （エル）であることが分かっているので、そのレ
ベルを正しい値、即ちl （エル）に修正し、同図（Ｆ）
の状態にする（ステップ９）。この操作が空間的領域制
限である。

【００３８】更に、拡張領域を修正した上記図２（Ｆ）
の画像をＤＣＴすることにより、同図（Ｇ）に示す周波
数成分b を得る（ステップ１０）。この周波数成分b で
は、低周波側は既知情報として前記図２（Ｃ）に示した
周波数成分a であることが分かっているので、その低周
波成分を該周波数成分a で置き換えて同図（Ｈ）に示し
たＤＣＴシーケンスとし（ステップ１１）、周波数成分
a 及びb からなる該ＤＣＴシーケンスを更にＩＤＣＴし
て、同図（Ｉ）の画像とする（ステップ１２）。こうし
て得られた図２（Ｉ）の画像の中心部分βが拡大画像で
あり、この画像は前記同図（Ｅ）の拡大画像αより更に
解像度が向上している。

【００３９】次に、ステップ１３において、画像部βの
画像値が上限又は下限を越えていないかを判定し、画像
を修正して、修正画像γを得る。

【００４０】画像の画素値は８ビット（場合によっては
１２ビット、１６ビット）で表現されている。従って、
画素値には上限と下限が存在することが事前に分かって
いる（例えば８ビットの場合には０〜２５５）。しか
し、Ｇ・Ｐ反復法のみでは、反復演算中に処理中の画像
の画素値が、事前に分かっている画素値の上限と下限を
越えてしまった場合に、修正する機能がなく、真の解へ
の収束を阻害する場合がある。

【００４１】そこで、本発明では、画素値の上限と下限
を越えてしまった場合に、事前に分かっている画素値の
範囲内に画素値を修正する機能を加えることにより、誤
っているのが明確な誤差が伝搬することを防ぐことがで
き、解の収束が安定し、解像度の高い安定した高画質を
得ることができる。

【００４２】この処理は次の（１０）式に示される射影
作用素で実現される。

【００４３】

【数１】

【００４４】但し、ここでαは画素値の下限を、βは上
限を表す。

【００４５】例えば画素値が８ビットの場合にはα＝
０、β＝２５５である。反復演算中に、この値を越えて
しまった場合に画像の修正を行う。

【００４６】次にステップ１４で、現在の反復数が設定
された反復数に達しているかどうか判定する。判定の結
果、Ｎo の場合にはステップ８へ戻り、Ｙesの場合には
ステップ１５へ進み、拡大画像を出力し、全ての処理を
終了する。

【００４７】通常のＧ・Ｐ反復法では、フーリエ変換を
使用しているが、本実施例では実際に処理される画像が
非負の整数で表現されていることを考慮して、フーリエ
変換の代わりに離散的コサイン変換（ＤＣＴ）を用いる
ことにより、記憶容量や演算量の点で負荷を低減するこ
とを可能とした。

【００４８】なお、前述したＧ・Ｐ反復法の反復回数と
しては適切な回数を設定すればよいが、通常１０回以下
で十分である。

【００４９】次に、本実施例で採用した２次元ＤＣＴ
と、その逆変換であるＩＤＣＴについて説明する。離散
関数i （x ，y ）、０≦u ，v ≦Ｎ−１のＮ×Ｎ点の２
次元ＤＣＴは、以下の（１１）、（１２）式で定義され
る。

【００５０】 Ｉ（u ，v ）＝ＤＣＴ｛i （x ，y ）｝ ０≦u ，v ≦Ｎ−１ …（１１）

【００５１】

【数２】 ここで、０≦u ，v ≦Ｎ−１である。

【００５２】又、c （u ）は次の（１３）式、（１４）
式で定義される。なお、c （v ）も上記c （u ）と同様
に定義される。これら関数c （u ）、c （v ）は、逆変
換でも使用される。

【００５３】 c （u ）＝１／√２ （u ＝０） …（１３） c （u ）＝１ （u ＝１，２，・・・，Ｎ−１） …（１４）

【００５４】２次元ＤＣＴの逆変換ＩＤＣＴは、次の
（１５）式、（１６）式で定義される。

【００５５】 i （x ，y ）＝ＩＤＣＴ｛Ｉ（u ，v ）｝ ０≦x ，y ≦Ｎ−１ …（１５）

【００５６】

【数３】 ここで、０≦x ，y ≦Ｎ−１である。

【００５７】本実施例においては、ＤＣＴを上記定義の
まま用いることもできるが、前述した如く、前記図２に
示した画素数nmＮを２の巾乗とする場合に、ＤＣＴには
高速演算アルゴリズムが存在するので、この高速演算ア
ルゴリズムのＤＣＴを実際に演算で用いることが好まし
い。

【００５８】図５は、本発明に係る第２実施例に適用さ
れる装置構成の概略を示すブロック図である。

【００５９】本実施例は、カラー画像を拡大する場合の
例で、この場合は原画像格納部１０からＲ（赤）、Ｇ
（緑）、Ｂ（青）の各信号について、拡大処理部１２で
それぞれ前記第１実施例の場合と同様のＧ・Ｐ反復法を
実行することにより拡大画像を作成することができるよ
うにしたものである。

【００６０】本実施例によれば、カラー画像について
も、各色成分をそれぞれモノクロ画像とみなして前記第
１実施例と同様の処理を行うことができるので従来の補
間法に比べて効率良く極めて高画質で、ボケやジャギー
の発生のない拡大画像を作成することが可能となる。

【００６１】図６は、本発明に係る第３実施例に適用さ
れる装置の基本構成を示したブロック図である。

【００６２】本実施例は、印刷用カラー画像を拡大する
場合の例で、原画像格納部１０からＣ（シアン）、Ｍ
（マゼンタ）、Ｙ（イエロー）及びＫ（ブラック）の各
色の原信号に対して、拡大処理部１２で前記第１実施例
の場合と同様のＧ・Ｐ反復法を実行することにより、拡
大画像が作成されるようになっている。

【００６３】本実施例によれば、前記第２実施例と同様
に各色成分について前記第１実施例と同様に処理するこ
とができるので、同様に解像度の高い極めて高画質の拡
大された印刷用カラー画像を効率よく作成することがで
きる。

【００６４】以上、本発明について具体的に説明した
が、本発明は、前記実施例に示したものに限られるもの
でなく、その要旨を逸脱しない範囲で種々変更可能であ
る。

【００６５】例えば、Ｇ・Ｐ反復法にて採用する直交変
換としてはＤＣＴを用いる場合についてのみ説明した
が、これに限られるものでなく、拡大した画像と原画像
との間にエネルギーのマッチングが取れるような直交変
換であれば、フーリエ変換等の他の直交変換をも採用す
ることができる。

【００６６】又、色空間が、ＲＧＢ及びＣＭＹＫの場合
について説明したが、特定の色空間に限定されるもので
なく、いかなる色空間に対しても適用することができ
る。

【００６７】又、画像拡大法がＧ・Ｐ反復法による場合
について説明したが、ディジタルフィタを用いた画像拡
大法にも、画素値の上限と下限を制限する処理を適用す
ることができる。

【００６８】

【発明の効果】以上説明した通り、本発明によれば、画
素値の上限と下限を制限する処理を行っているため、処
理過程における異常値の発生を防ぎ解像度の高い、高画
質の拡大画像を得ることができるという効果を有する。

【００６９】又、サンプリング時に失われた情報を反復
演算により漸近的に復元する際、画素値の上限と下限を
制限する処理を反復演算中に行うようにした場合には、
収束が速く、安定した高画質を得ることができる。

【００７０】又、反復演算としてＧ・Ｐ反復法を用いた
場合には、より一層収束が速く、鮮鋭感の向上した、ボ
ケやジャギーの発生のない高画質の拡大画像を得ること
ができる。

【図面の簡単な説明】

【図１】Ｇ・Ｐ反復法の原理を示す説明図

【図２】本発明に係る第１実施例の処理の工程を模式的
に示す説明図

【図３】上記実施例の処理の流れを示すフローチャート

【図４】上記実施例に適用される装置の基本構成を示す
ブロック図

【図５】本発明に係る第２実施例に適用される装置の基
本構成を示すブロック図

【図６】本発明に係る第３実施例に適用される装置の基
本構成を示すブロック図

【符号の説明】

１０…原画像格納部 １２…拡大処理部 １４…拡大画像格納部

Claims (3)

【特許請求の範囲】
1. 【請求項１】サンプリングした原画像に含まれる画像情
   報に基づいて画像を拡大する画像拡大方法において、 画素値の上限と下限を制限する拘束条件を用い、処理中
   の画像の画素値が、事前に分かっている画素値の範囲を
   越えないようにして、処理過程における異常値の発生を
   防ぎ解像度の高い拡大画像を得ることを特徴とする画像
   拡大方法。
2. 【請求項２】サンプリングした原画像に含まれる画像情
   報に基づいて処理対象画像を拡大する画像拡大方法にお
   いて、 サンプリング時に失われた情報を、反復演算により漸近
   的に復元する際、 画素値の上限と下限を制限する拘束条件を用い、処理中
   の画像の画素値が事前に分かっている画素値の範囲を越
   えないようにする処理を、前記反復演算中に行うことに
   より、解像度の高い拡大画像を得ることを特徴とする画
   像拡大方法。
3. 【請求項３】請求項２において、前記反復演算を、直交
   変換によって正変換と逆変換を繰り返す過程の中で、通
   過周波数域の情報が正しく、且つ、画像の拡がりが限ら
   れているという２つの拘束条件を用いて、サンプリング
   時に失われた情報を復元する、反復演算としたことを特
   徴とする画像拡大方法。