JPH0844863A - 画像拡大方法 - Google Patents
画像拡大方法Info
- Publication number
- JPH0844863A JPH0844863A JP6175637A JP17563794A JPH0844863A JP H0844863 A JPH0844863 A JP H0844863A JP 6175637 A JP6175637 A JP 6175637A JP 17563794 A JP17563794 A JP 17563794A JP H0844863 A JPH0844863 A JP H0844863A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- enlarged
- enlarging
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000010365 information processing Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 効率良く、解像度の高い拡大画像を得る。
【構成】 画素値の上限と下限を制限する拘束条件を用
い、処理中の画像の画素値が事前に分かっている画素値
の範囲を越えないようにする処理を付加することによ
り、処理過程における異常値の発生を防ぎ高画質な拡大
画像を得る。
い、処理中の画像の画素値が事前に分かっている画素値
の範囲を越えないようにする処理を付加することによ
り、処理過程における異常値の発生を防ぎ高画質な拡大
画像を得る。
Description
【0001】
【産業上の利用分野】本発明は、画像拡大方法、特に鮮
明な高画質の拡大画像を得ることができる画像拡大方法
に関する。
明な高画質の拡大画像を得ることができる画像拡大方法
に関する。
【0002】
【従来の技術】画像処理システムや画像データベースシ
ステム、高精細カラー印刷等の分野では種々の高品質な
画像処理機能が求められているが、その1つに画像拡大
がある。この画像拡大は、画像処理システムの1機能と
しての重要性の他に、解像度の異なるメディア(例え
ば、HDTV(高解像度テレビ)、NTSC方式のテレ
ビ、電子スティルカメラ、医用画像システム、印刷用画
像システム等)を結ぶために必要な解像度変換としても
利用できる極めて重要な機能である。
ステム、高精細カラー印刷等の分野では種々の高品質な
画像処理機能が求められているが、その1つに画像拡大
がある。この画像拡大は、画像処理システムの1機能と
しての重要性の他に、解像度の異なるメディア(例え
ば、HDTV(高解像度テレビ)、NTSC方式のテレ
ビ、電子スティルカメラ、医用画像システム、印刷用画
像システム等)を結ぶために必要な解像度変換としても
利用できる極めて重要な機能である。
【0003】従来の画像拡大方法としては、単純に画素
を補間する補間方法が採用されてきた。代表的な補間方
法としては、ニアレストネイバー(nearest neighbo
r)、バイリニア(bilinear)、キュービックコンボリ
ューション(cubic convolution)が知られている。こ
れら補間法は、サンプリング定理に基づいたsinc関数
{sinc(x )=sin (x )/x }による補間を基本概念
とした方法であり、演算上の負荷を軽減するためにsinc
関数を近似した補間関数を原画像のサンプル点に対して
畳み込むことによって、原画像のサンプル点の間を補間
し、画素数を増やすものである。
を補間する補間方法が採用されてきた。代表的な補間方
法としては、ニアレストネイバー(nearest neighbo
r)、バイリニア(bilinear)、キュービックコンボリ
ューション(cubic convolution)が知られている。こ
れら補間法は、サンプリング定理に基づいたsinc関数
{sinc(x )=sin (x )/x }による補間を基本概念
とした方法であり、演算上の負荷を軽減するためにsinc
関数を近似した補間関数を原画像のサンプル点に対して
畳み込むことによって、原画像のサンプル点の間を補間
し、画素数を増やすものである。
【0004】上記ニアレストネイバーは補間関数として
矩形関数を用い、最も近いサンプルの値を補間値とする
方法であり、バイリニアは補間関数としてトライアング
ル関数を用い、1次元の場合であれば近傍の2点から線
形内挿される値を補間値とする方法であり、キュービッ
クコンボリューションは補間関数として3次関数を用
い、1次元の場合であれば近傍の4点から内挿される値
を補間値とする方法である。
矩形関数を用い、最も近いサンプルの値を補間値とする
方法であり、バイリニアは補間関数としてトライアング
ル関数を用い、1次元の場合であれば近傍の2点から線
形内挿される値を補間値とする方法であり、キュービッ
クコンボリューションは補間関数として3次関数を用
い、1次元の場合であれば近傍の4点から内挿される値
を補間値とする方法である。
【0005】上記各補間法による拡大の考え方は、拡大
対象である原画像が観測される(スキャニングによりサ
ンプリングされる)前の理想的な原画像がNyquist周波
数の半分以下の周波数(低周波成分)のみで構成されて
いる場合には正しい。しかし、一般に理想的な原画像は
無限に高い周波数成分までもっているが、サンプリング
された観測画像に折り返し歪み(aliasing:モアレやビ
ートのような現象)が発生することを防ぐために、ロー
パスフィルタ(LPF)をかけて必要以上の高周波成分
を取り除いており、そのため、拡大対象の原画像はサン
プリングされた時点で既に画像の鮮明さや細部の表現に
関与している空間的高周波成分が失われている。
対象である原画像が観測される(スキャニングによりサ
ンプリングされる)前の理想的な原画像がNyquist周波
数の半分以下の周波数(低周波成分)のみで構成されて
いる場合には正しい。しかし、一般に理想的な原画像は
無限に高い周波数成分までもっているが、サンプリング
された観測画像に折り返し歪み(aliasing:モアレやビ
ートのような現象)が発生することを防ぐために、ロー
パスフィルタ(LPF)をかけて必要以上の高周波成分
を取り除いており、そのため、拡大対象の原画像はサン
プリングされた時点で既に画像の鮮明さや細部の表現に
関与している空間的高周波成分が失われている。
【0006】このように、観測(サンプリング)時に取
り除かれた高周波成分は拡大しない原画像には不要であ
るが、高精細な拡大画像を作成するためには不可欠な要
素である。
り除かれた高周波成分は拡大しない原画像には不要であ
るが、高精細な拡大画像を作成するためには不可欠な要
素である。
【0007】
【発明が解決しようとする課題】しかしながら、前記補
間法によっては、サンプリング時に失われた空間的高周
波成分を復元することはできないため、上記原画像を補
間法によって拡大した場合には、本来必要である空間的
高周波成分が欠除していることになる。
間法によっては、サンプリング時に失われた空間的高周
波成分を復元することはできないため、上記原画像を補
間法によって拡大した場合には、本来必要である空間的
高周波成分が欠除していることになる。
【0008】従って、前記従来の補間方法によって原画
像を拡大する場合には、空間的高周波成分が欠除してい
るために、ボケやスムージング又はエッジのがたつきと
いった画質の劣化や、細部の表現が不十分な画像をもた
らしてしまうという問題があった。
像を拡大する場合には、空間的高周波成分が欠除してい
るために、ボケやスムージング又はエッジのがたつきと
いった画質の劣化や、細部の表現が不十分な画像をもた
らしてしまうという問題があった。
【0009】これに対し、本発明者は、特開平6−54
172において、通過周波数域の情報が正しく、且つ、
画像の拡がりが限られているという2つの拘束条件を用
いて、サンプリング時に失われた空間的高周波成分を復
元する画像拡大方法を提案しているが、この反復法で
は、反復演算中に処理中の画像の画素値が、事前にわか
っている画素値の上限と下限を越えてしまった場合に、
修正する機能がなかった。
172において、通過周波数域の情報が正しく、且つ、
画像の拡がりが限られているという2つの拘束条件を用
いて、サンプリング時に失われた空間的高周波成分を復
元する画像拡大方法を提案しているが、この反復法で
は、反復演算中に処理中の画像の画素値が、事前にわか
っている画素値の上限と下限を越えてしまった場合に、
修正する機能がなかった。
【0010】本発明は、前記従来の問題点を解決するべ
くなされたもので、拡大画像の高画質化を図り、ボケや
ジャギーが発生しない画像拡大法を提供することを目的
とする。
くなされたもので、拡大画像の高画質化を図り、ボケや
ジャギーが発生しない画像拡大法を提供することを目的
とする。
【0011】
【課題を解決するための手段】本発明は、サンプリング
した原画像に含まれる画像情報に基づいて画像を拡大す
る画像拡大方法において、画素値の上限と下限を制限す
る拘束条件を用い、処理中の画像の画素値が、事前に分
かっている画素値の範囲を越えないようにして、処理過
程における異常値の発生を防ぎ解像度の高い拡大画像を
得ることにより、前記目的を達成したものである。
した原画像に含まれる画像情報に基づいて画像を拡大す
る画像拡大方法において、画素値の上限と下限を制限す
る拘束条件を用い、処理中の画像の画素値が、事前に分
かっている画素値の範囲を越えないようにして、処理過
程における異常値の発生を防ぎ解像度の高い拡大画像を
得ることにより、前記目的を達成したものである。
【0012】本発明は又、サンプリングした原画像に含
まれる画像情報に基づいて処理対象画像を拡大する画像
拡大方法において、サンプリング時に失われた情報を、
反復演算により漸近的に復元する際、画素値の上限と下
限を制限する拘束条件を用い、処理中の画像の画素値が
事前に分かっている画素値の範囲を越えないようにする
処理を、前記反復演算中に行うことにより、解像度の高
い拡大画像を得ることにより同様に前記目的を達成した
ものである。
まれる画像情報に基づいて処理対象画像を拡大する画像
拡大方法において、サンプリング時に失われた情報を、
反復演算により漸近的に復元する際、画素値の上限と下
限を制限する拘束条件を用い、処理中の画像の画素値が
事前に分かっている画素値の範囲を越えないようにする
処理を、前記反復演算中に行うことにより、解像度の高
い拡大画像を得ることにより同様に前記目的を達成した
ものである。
【0013】本発明は更に、前記画像拡大方法におい
て、前記反復演算を、直交変換によって正変換と逆変換
を繰り返す過程の中で、通過周波数域の情報が正しく、
且つ、画像の拡がりが限られているという2つの拘束条
件を用いて、サンプリング時に失われた情報を復元す
る、反復演算としたことにより同様に前記目的を達成し
たものである。
て、前記反復演算を、直交変換によって正変換と逆変換
を繰り返す過程の中で、通過周波数域の情報が正しく、
且つ、画像の拡がりが限られているという2つの拘束条
件を用いて、サンプリング時に失われた情報を復元す
る、反復演算としたことにより同様に前記目的を達成し
たものである。
【0014】
【作用】本発明によれば、サンプリングした原画像に含
まれる画像情報に基づいて処理対象画像を拡大すると
き、失われた情報(サンプリング時に失われた空間的高
周波成分)を復元し、画像のディテール情報、エッジ情
報を推定、復元する際、画素値の上限と下限を制限する
拘束条件を用い、処理中の画像の画素値が事前に分かっ
ている画素値の範囲(例えば8ビットなら0〜255)
を越えないように処理を行うことにより、誤差を抑え、
解像度の高い安定した画質を得ることができる。
まれる画像情報に基づいて処理対象画像を拡大すると
き、失われた情報(サンプリング時に失われた空間的高
周波成分)を復元し、画像のディテール情報、エッジ情
報を推定、復元する際、画素値の上限と下限を制限する
拘束条件を用い、処理中の画像の画素値が事前に分かっ
ている画素値の範囲(例えば8ビットなら0〜255)
を越えないように処理を行うことにより、誤差を抑え、
解像度の高い安定した画質を得ることができる。
【0015】又、サンプリング時に失われた情報を、反
復演算により、漸近的に復元する場合には、画素値の上
限と下限を制限する拘束条件を用い、処理中の画像の画
素値が事前に分かっている画素値の範囲を越えないよう
にする処理を反復演算中に行うことにより、誤っている
のが明確な誤差が伝搬することを防ぐことができ、解の
収束が安定し、解像度の高い安定した高画質の拡大画像
を得ることができる。
復演算により、漸近的に復元する場合には、画素値の上
限と下限を制限する拘束条件を用い、処理中の画像の画
素値が事前に分かっている画素値の範囲を越えないよう
にする処理を反復演算中に行うことにより、誤っている
のが明確な誤差が伝搬することを防ぐことができ、解の
収束が安定し、解像度の高い安定した高画質の拡大画像
を得ることができる。
【0016】又、前記反復演算として、例えば直交変換
によって正変換と逆変換を繰り返す過程の中で、通過周
波数域の情報が正しく、且つ、画像の拡がりが限られて
いるという2つの拘束条件を用いて、反復演算により漸
近的に情報を復元していく、ゲルヒベルク−パポリス
(Gerchberg- Papoulis )の反復法(以下G・P反復
法と略記する)を周波数域拡張の基本原理として適用
し、処理対象画像の画像拡大を行う場合には、サンプリ
ング時に失われた空間的高周波成分を復元し、画像のデ
ィテール情報、エッジ情報を推定し、復元することによ
り、拡大画像の一層の高画質化を図ることができる。
によって正変換と逆変換を繰り返す過程の中で、通過周
波数域の情報が正しく、且つ、画像の拡がりが限られて
いるという2つの拘束条件を用いて、反復演算により漸
近的に情報を復元していく、ゲルヒベルク−パポリス
(Gerchberg- Papoulis )の反復法(以下G・P反復
法と略記する)を周波数域拡張の基本原理として適用
し、処理対象画像の画像拡大を行う場合には、サンプリ
ング時に失われた空間的高周波成分を復元し、画像のデ
ィテール情報、エッジ情報を推定し、復元することによ
り、拡大画像の一層の高画質化を図ることができる。
【0017】以下、G・P反復法を図1を用いて説明す
る。
る。
【0018】図1で左側の(A)、(C)、(E)、
(G)は周波数領域に、右側の(B)、(D)、
(F)、(H)は実空間領域に対応しており、同図
(B)は原信号f(x )であり、空間|x |≦ x0 に領
域制限されている(物体が一定の大きさに限定されてい
ることに対応する)。図1(A)は、上記原信号f (x
)のフーリエ変換F(u )であり、このF(u )は原
信号f (x )が領域制限されているので無限に高い周波
数成分まで含むことになる。
(G)は周波数領域に、右側の(B)、(D)、
(F)、(H)は実空間領域に対応しており、同図
(B)は原信号f(x )であり、空間|x |≦ x0 に領
域制限されている(物体が一定の大きさに限定されてい
ることに対応する)。図1(A)は、上記原信号f (x
)のフーリエ変換F(u )であり、このF(u )は原
信号f (x )が領域制限されているので無限に高い周波
数成分まで含むことになる。
【0019】図1(C)は、上記F(u )の区間|u |
≦ u0 の部分G(u )だけが観測されることを表わして
いる。即ち、次の(1)式及び(2)式によって定義さ
れる窓関数を用いた次の(3)式が成立している。
≦ u0 の部分G(u )だけが観測されることを表わして
いる。即ち、次の(1)式及び(2)式によって定義さ
れる窓関数を用いた次の(3)式が成立している。
【0020】 W(u )=1 (|u |≦ u0 ) …(1) W(u )=0 (|u |> u0 ) …(2) G(u )=W(u )F(u ) …(3)
【0021】G(u )を逆フーリエ変換したものが図1
(D)のg (x )である。ここで上記G(u )あるいは
g (x )から、F(u )あるいはf (x )を求めること
が問題となる。
(D)のg (x )である。ここで上記G(u )あるいは
g (x )から、F(u )あるいはf (x )を求めること
が問題となる。
【0022】G・P反復法の第1段階は、以下のように
なる。G(u )は、|u |≦ u0 に帯域制限されている
ので、g (x )は無限に広がってしまう。しかし、原信
号f(x )は区間|x |≦ x0 に領域制限されているこ
とが分かっているので、g (x )に対しても同じ領域制
限を行う。即ち、g (x )の区間|x |≦ x0 の部分だ
け取り出して f1 (x )とする。この f1 (x )を次の
(4)式及び(5)式で表わされる空間領域における窓
関数w (x )を使った式で表わすと、下記(6)式とな
る。これが図1(F)に示した f1 (x )である。
なる。G(u )は、|u |≦ u0 に帯域制限されている
ので、g (x )は無限に広がってしまう。しかし、原信
号f(x )は区間|x |≦ x0 に領域制限されているこ
とが分かっているので、g (x )に対しても同じ領域制
限を行う。即ち、g (x )の区間|x |≦ x0 の部分だ
け取り出して f1 (x )とする。この f1 (x )を次の
(4)式及び(5)式で表わされる空間領域における窓
関数w (x )を使った式で表わすと、下記(6)式とな
る。これが図1(F)に示した f1 (x )である。
【0023】 w (x )=1 (|x |≦ x0 ) …(4) w (x )=0 (|x |> x0 ) …(5) f1 (x )=w (x )g (x ) …(6)
【0024】上記 f1 (x )をフーリエ変換すれば、図
1(E)のF1 (u )になる。 f1(x )が領域制限さ
れているのでF1 (u )は無限に広がっている。ところ
が、区間|u |≦ u0 に対しては、正しい値G(u )=
F(u )は既に分かっているので、F1 (u )の中の|
u |≦ u0 の部分をG(u )で置き換える。このように
してできた波形が図1(G)のG1 (u )である。この
関係を式で表わすと次の(7)〜(9)式となる。そし
て、上記G1 (u )を逆フーリエ変換したものが図1
(H)の g1 (x )である。
1(E)のF1 (u )になる。 f1(x )が領域制限さ
れているのでF1 (u )は無限に広がっている。ところ
が、区間|u |≦ u0 に対しては、正しい値G(u )=
F(u )は既に分かっているので、F1 (u )の中の|
u |≦ u0 の部分をG(u )で置き換える。このように
してできた波形が図1(G)のG1 (u )である。この
関係を式で表わすと次の(7)〜(9)式となる。そし
て、上記G1 (u )を逆フーリエ変換したものが図1
(H)の g1 (x )である。
【0025】 G1 (u )=G(u )+(1−W(u ))F1 (u ) …(7) G1 (u )=G(u ) (|u |≦ u0 ) …(8) G1 (u )=F1 (u ) (|u |> u0 ) …(9)
【0026】以上の説明で、図1の(C)、(D)から
(G)、(H)までがG・P反復法の第1段階である。
その後、図1(H)の g1 (x )から区間|x |≦ x0
の部分だけ取り出して図1(F)の f1 (x )に相当す
る f2 (x )(図示せず)を求め、この f2 (x )をフ
ーリエ変換して同図(E)に相当するF2 (u )(図示
せず)を算出するという同様の操作を無限回繰り返すこ
とにより、原信号を完全に復元することができる。
(G)、(H)までがG・P反復法の第1段階である。
その後、図1(H)の g1 (x )から区間|x |≦ x0
の部分だけ取り出して図1(F)の f1 (x )に相当す
る f2 (x )(図示せず)を求め、この f2 (x )をフ
ーリエ変換して同図(E)に相当するF2 (u )(図示
せず)を算出するという同様の操作を無限回繰り返すこ
とにより、原信号を完全に復元することができる。
【0027】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【0028】図2は、本発明に係る第1実施例である画
像拡大方法において実行される処理の流れを模式的に示
した説明図であり、図3は、図2の処理の流れを示した
フローチャートである。
像拡大方法において実行される処理の流れを模式的に示
した説明図であり、図3は、図2の処理の流れを示した
フローチャートである。
【0029】本実施例は、モノクロ画像を、G・P反復
法にDCTを適用して拡大する場合であり、図4に示す
基本構成からなる装置を用い、原画像格納部10から原
画像を拡大処理部12に読み込み、該拡大処理部12で
以下に詳述する処理を行って拡大画像を作成し、その拡
大画像を拡大画像格納部14に格納する操作を行う。
法にDCTを適用して拡大する場合であり、図4に示す
基本構成からなる装置を用い、原画像格納部10から原
画像を拡大処理部12に読み込み、該拡大処理部12で
以下に詳述する処理を行って拡大画像を作成し、その拡
大画像を拡大画像格納部14に格納する操作を行う。
【0030】上記原画像格納部10としては、例えば磁
気ディスクを、又拡大処理部12としてはエンジニアリ
ングワークステーション(EWS)を、拡大画像格納部
14としては同じく磁気ディスクを挙げることができ
る。又、拡大処理部12で作成した拡大画像は、ディス
プレイやプリンタ等の出力装置に出力される構成とする
こともできる。
気ディスクを、又拡大処理部12としてはエンジニアリ
ングワークステーション(EWS)を、拡大画像格納部
14としては同じく磁気ディスクを挙げることができ
る。又、拡大処理部12で作成した拡大画像は、ディス
プレイやプリンタ等の出力装置に出力される構成とする
こともできる。
【0031】前記図2、図3に示した一連の処理は、上
記拡大処理部12において実行される。以下、この処理
のプロセスを詳細に説明する。なお、図2においては、
左側が画像領域を、右側がDCT領域を、それぞれ表わ
している。
記拡大処理部12において実行される。以下、この処理
のプロセスを詳細に説明する。なお、図2においては、
左側が画像領域を、右側がDCT領域を、それぞれ表わ
している。
【0032】今、図2(A)に示すようなN×N画素の
原画像をm 倍に拡大してm N×m N画素の画像を作るこ
とを想定する。なお、図2に付した括弧付きの番号は、
図3のフローチャートにおけるステップ番号に対応して
いる。
原画像をm 倍に拡大してm N×m N画素の画像を作るこ
とを想定する。なお、図2に付した括弧付きの番号は、
図3のフローチャートにおけるステップ番号に対応して
いる。
【0033】まず、ステップ1でG・P反復法により演
算を反復する回数と拡大率とを設定し、次にステップ2
で上記図2(A)に示した拡大対象の原画像を読み込
む。
算を反復する回数と拡大率とを設定し、次にステップ2
で上記図2(A)に示した拡大対象の原画像を読み込
む。
【0034】次に、ステップ3において画像の空間的な
拡がりを限定するために、N×N画素の原画像の周りに
グレイレベル(gray level)をl (エルの小文字)とし
た画像を付加し、図2(B)に示したn N×n N画素の
画像に拡張する。ここで、グレイレベルl は、実数であ
ればどのような値を用いてもよく、l (エル)を0に設
定したときには、DCT演算の負荷を減らすことができ
る。又、n は1より大きな実数であって、n Nが整数に
なる値であればよい。更に、nmNが2の巾乗(累乗)に
なるようにn を設定すると、DCTの高速演算アルゴリ
ズムを用いることができる。
拡がりを限定するために、N×N画素の原画像の周りに
グレイレベル(gray level)をl (エルの小文字)とし
た画像を付加し、図2(B)に示したn N×n N画素の
画像に拡張する。ここで、グレイレベルl は、実数であ
ればどのような値を用いてもよく、l (エル)を0に設
定したときには、DCT演算の負荷を減らすことができ
る。又、n は1より大きな実数であって、n Nが整数に
なる値であればよい。更に、nmNが2の巾乗(累乗)に
なるようにn を設定すると、DCTの高速演算アルゴリ
ズムを用いることができる。
【0035】次に、ステップ4において上記図2(B)
の画像を2次元DCTにより、同図(C)に示した周波
数成分a に変換する。この周波数成分a がDCT領域に
おける既知情報であり、空間的低周波成分に相当する。
この周波数成分a は反復演算中に使用するため、メモリ
上に保存する(ステップ5)。
の画像を2次元DCTにより、同図(C)に示した周波
数成分a に変換する。この周波数成分a がDCT領域に
おける既知情報であり、空間的低周波成分に相当する。
この周波数成分a は反復演算中に使用するため、メモリ
上に保存する(ステップ5)。
【0036】次いで、上記周波数成分a について、図2
(D)に示すように、拡大率に応じた高周波帯まで周波
数領域を拡張する(ステップ6)。このとき、高周波成
分の初期値を0とし、拡張されたサイズがnmN×nmN画
素分になるようにする。この図2(D)のように、周波
数拡張されたDCTシーケンス(sequence)を2次元逆
DCT(IDCT)し、画像領域に戻す(ステップ
7)。このとき得られる画像はnmN×nmN画素の画像で
あり、その中心部のm N×m N画素分αが拡大画像であ
る。
(D)に示すように、拡大率に応じた高周波帯まで周波
数領域を拡張する(ステップ6)。このとき、高周波成
分の初期値を0とし、拡張されたサイズがnmN×nmN画
素分になるようにする。この図2(D)のように、周波
数拡張されたDCTシーケンス(sequence)を2次元逆
DCT(IDCT)し、画像領域に戻す(ステップ
7)。このとき得られる画像はnmN×nmN画素の画像で
あり、その中心部のm N×m N画素分αが拡大画像であ
る。
【0037】次いで、現在の反復数を更新し(ステップ
8)、上記ステップ7で得られた図2(E)の画像中心
部のm N×m N画素分αの外側に拡張された×印を付し
た領域は、上記IDCTによりレベルが不明となってい
るが、この領域では既にそのレベルが図2(B)の画像
からl (エル)であることが分かっているので、そのレ
ベルを正しい値、即ちl (エル)に修正し、同図(F)
の状態にする(ステップ9)。この操作が空間的領域制
限である。
8)、上記ステップ7で得られた図2(E)の画像中心
部のm N×m N画素分αの外側に拡張された×印を付し
た領域は、上記IDCTによりレベルが不明となってい
るが、この領域では既にそのレベルが図2(B)の画像
からl (エル)であることが分かっているので、そのレ
ベルを正しい値、即ちl (エル)に修正し、同図(F)
の状態にする(ステップ9)。この操作が空間的領域制
限である。
【0038】更に、拡張領域を修正した上記図2(F)
の画像をDCTすることにより、同図(G)に示す周波
数成分b を得る(ステップ10)。この周波数成分b で
は、低周波側は既知情報として前記図2(C)に示した
周波数成分a であることが分かっているので、その低周
波成分を該周波数成分a で置き換えて同図(H)に示し
たDCTシーケンスとし(ステップ11)、周波数成分
a 及びb からなる該DCTシーケンスを更にIDCTし
て、同図(I)の画像とする(ステップ12)。こうし
て得られた図2(I)の画像の中心部分βが拡大画像で
あり、この画像は前記同図(E)の拡大画像αより更に
解像度が向上している。
の画像をDCTすることにより、同図(G)に示す周波
数成分b を得る(ステップ10)。この周波数成分b で
は、低周波側は既知情報として前記図2(C)に示した
周波数成分a であることが分かっているので、その低周
波成分を該周波数成分a で置き換えて同図(H)に示し
たDCTシーケンスとし(ステップ11)、周波数成分
a 及びb からなる該DCTシーケンスを更にIDCTし
て、同図(I)の画像とする(ステップ12)。こうし
て得られた図2(I)の画像の中心部分βが拡大画像で
あり、この画像は前記同図(E)の拡大画像αより更に
解像度が向上している。
【0039】次に、ステップ13において、画像部βの
画像値が上限又は下限を越えていないかを判定し、画像
を修正して、修正画像γを得る。
画像値が上限又は下限を越えていないかを判定し、画像
を修正して、修正画像γを得る。
【0040】画像の画素値は8ビット(場合によっては
12ビット、16ビット)で表現されている。従って、
画素値には上限と下限が存在することが事前に分かって
いる(例えば8ビットの場合には0〜255)。しか
し、G・P反復法のみでは、反復演算中に処理中の画像
の画素値が、事前に分かっている画素値の上限と下限を
越えてしまった場合に、修正する機能がなく、真の解へ
の収束を阻害する場合がある。
12ビット、16ビット)で表現されている。従って、
画素値には上限と下限が存在することが事前に分かって
いる(例えば8ビットの場合には0〜255)。しか
し、G・P反復法のみでは、反復演算中に処理中の画像
の画素値が、事前に分かっている画素値の上限と下限を
越えてしまった場合に、修正する機能がなく、真の解へ
の収束を阻害する場合がある。
【0041】そこで、本発明では、画素値の上限と下限
を越えてしまった場合に、事前に分かっている画素値の
範囲内に画素値を修正する機能を加えることにより、誤
っているのが明確な誤差が伝搬することを防ぐことがで
き、解の収束が安定し、解像度の高い安定した高画質を
得ることができる。
を越えてしまった場合に、事前に分かっている画素値の
範囲内に画素値を修正する機能を加えることにより、誤
っているのが明確な誤差が伝搬することを防ぐことがで
き、解の収束が安定し、解像度の高い安定した高画質を
得ることができる。
【0042】この処理は次の(10)式に示される射影
作用素で実現される。
作用素で実現される。
【0043】
【数1】
【0044】但し、ここでαは画素値の下限を、βは上
限を表す。
限を表す。
【0045】例えば画素値が8ビットの場合にはα=
0、β=255である。反復演算中に、この値を越えて
しまった場合に画像の修正を行う。
0、β=255である。反復演算中に、この値を越えて
しまった場合に画像の修正を行う。
【0046】次にステップ14で、現在の反復数が設定
された反復数に達しているかどうか判定する。判定の結
果、No の場合にはステップ8へ戻り、Yesの場合には
ステップ15へ進み、拡大画像を出力し、全ての処理を
終了する。
された反復数に達しているかどうか判定する。判定の結
果、No の場合にはステップ8へ戻り、Yesの場合には
ステップ15へ進み、拡大画像を出力し、全ての処理を
終了する。
【0047】通常のG・P反復法では、フーリエ変換を
使用しているが、本実施例では実際に処理される画像が
非負の整数で表現されていることを考慮して、フーリエ
変換の代わりに離散的コサイン変換(DCT)を用いる
ことにより、記憶容量や演算量の点で負荷を低減するこ
とを可能とした。
使用しているが、本実施例では実際に処理される画像が
非負の整数で表現されていることを考慮して、フーリエ
変換の代わりに離散的コサイン変換(DCT)を用いる
ことにより、記憶容量や演算量の点で負荷を低減するこ
とを可能とした。
【0048】なお、前述したG・P反復法の反復回数と
しては適切な回数を設定すればよいが、通常10回以下
で十分である。
しては適切な回数を設定すればよいが、通常10回以下
で十分である。
【0049】次に、本実施例で採用した2次元DCT
と、その逆変換であるIDCTについて説明する。離散
関数i (x ,y )、0≦u ,v ≦N−1のN×N点の2
次元DCTは、以下の(11)、(12)式で定義され
る。
と、その逆変換であるIDCTについて説明する。離散
関数i (x ,y )、0≦u ,v ≦N−1のN×N点の2
次元DCTは、以下の(11)、(12)式で定義され
る。
【0050】 I(u ,v )=DCT{i (x ,y )} 0≦u ,v ≦N−1 …(11)
【0051】
【数2】 ここで、0≦u ,v ≦N−1である。
【0052】又、c (u )は次の(13)式、(14)
式で定義される。なお、c (v )も上記c (u )と同様
に定義される。これら関数c (u )、c (v )は、逆変
換でも使用される。
式で定義される。なお、c (v )も上記c (u )と同様
に定義される。これら関数c (u )、c (v )は、逆変
換でも使用される。
【0053】 c (u )=1/√2 (u =0) …(13) c (u )=1 (u =1,2,・・・,N−1) …(14)
【0054】2次元DCTの逆変換IDCTは、次の
(15)式、(16)式で定義される。
(15)式、(16)式で定義される。
【0055】 i (x ,y )=IDCT{I(u ,v )} 0≦x ,y ≦N−1 …(15)
【0056】
【数3】 ここで、0≦x ,y ≦N−1である。
【0057】本実施例においては、DCTを上記定義の
まま用いることもできるが、前述した如く、前記図2に
示した画素数nmNを2の巾乗とする場合に、DCTには
高速演算アルゴリズムが存在するので、この高速演算ア
ルゴリズムのDCTを実際に演算で用いることが好まし
い。
まま用いることもできるが、前述した如く、前記図2に
示した画素数nmNを2の巾乗とする場合に、DCTには
高速演算アルゴリズムが存在するので、この高速演算ア
ルゴリズムのDCTを実際に演算で用いることが好まし
い。
【0058】図5は、本発明に係る第2実施例に適用さ
れる装置構成の概略を示すブロック図である。
れる装置構成の概略を示すブロック図である。
【0059】本実施例は、カラー画像を拡大する場合の
例で、この場合は原画像格納部10からR(赤)、G
(緑)、B(青)の各信号について、拡大処理部12で
それぞれ前記第1実施例の場合と同様のG・P反復法を
実行することにより拡大画像を作成することができるよ
うにしたものである。
例で、この場合は原画像格納部10からR(赤)、G
(緑)、B(青)の各信号について、拡大処理部12で
それぞれ前記第1実施例の場合と同様のG・P反復法を
実行することにより拡大画像を作成することができるよ
うにしたものである。
【0060】本実施例によれば、カラー画像について
も、各色成分をそれぞれモノクロ画像とみなして前記第
1実施例と同様の処理を行うことができるので従来の補
間法に比べて効率良く極めて高画質で、ボケやジャギー
の発生のない拡大画像を作成することが可能となる。
も、各色成分をそれぞれモノクロ画像とみなして前記第
1実施例と同様の処理を行うことができるので従来の補
間法に比べて効率良く極めて高画質で、ボケやジャギー
の発生のない拡大画像を作成することが可能となる。
【0061】図6は、本発明に係る第3実施例に適用さ
れる装置の基本構成を示したブロック図である。
れる装置の基本構成を示したブロック図である。
【0062】本実施例は、印刷用カラー画像を拡大する
場合の例で、原画像格納部10からC(シアン)、M
(マゼンタ)、Y(イエロー)及びK(ブラック)の各
色の原信号に対して、拡大処理部12で前記第1実施例
の場合と同様のG・P反復法を実行することにより、拡
大画像が作成されるようになっている。
場合の例で、原画像格納部10からC(シアン)、M
(マゼンタ)、Y(イエロー)及びK(ブラック)の各
色の原信号に対して、拡大処理部12で前記第1実施例
の場合と同様のG・P反復法を実行することにより、拡
大画像が作成されるようになっている。
【0063】本実施例によれば、前記第2実施例と同様
に各色成分について前記第1実施例と同様に処理するこ
とができるので、同様に解像度の高い極めて高画質の拡
大された印刷用カラー画像を効率よく作成することがで
きる。
に各色成分について前記第1実施例と同様に処理するこ
とができるので、同様に解像度の高い極めて高画質の拡
大された印刷用カラー画像を効率よく作成することがで
きる。
【0064】以上、本発明について具体的に説明した
が、本発明は、前記実施例に示したものに限られるもの
でなく、その要旨を逸脱しない範囲で種々変更可能であ
る。
が、本発明は、前記実施例に示したものに限られるもの
でなく、その要旨を逸脱しない範囲で種々変更可能であ
る。
【0065】例えば、G・P反復法にて採用する直交変
換としてはDCTを用いる場合についてのみ説明した
が、これに限られるものでなく、拡大した画像と原画像
との間にエネルギーのマッチングが取れるような直交変
換であれば、フーリエ変換等の他の直交変換をも採用す
ることができる。
換としてはDCTを用いる場合についてのみ説明した
が、これに限られるものでなく、拡大した画像と原画像
との間にエネルギーのマッチングが取れるような直交変
換であれば、フーリエ変換等の他の直交変換をも採用す
ることができる。
【0066】又、色空間が、RGB及びCMYKの場合
について説明したが、特定の色空間に限定されるもので
なく、いかなる色空間に対しても適用することができ
る。
について説明したが、特定の色空間に限定されるもので
なく、いかなる色空間に対しても適用することができ
る。
【0067】又、画像拡大法がG・P反復法による場合
について説明したが、ディジタルフィタを用いた画像拡
大法にも、画素値の上限と下限を制限する処理を適用す
ることができる。
について説明したが、ディジタルフィタを用いた画像拡
大法にも、画素値の上限と下限を制限する処理を適用す
ることができる。
【0068】
【発明の効果】以上説明した通り、本発明によれば、画
素値の上限と下限を制限する処理を行っているため、処
理過程における異常値の発生を防ぎ解像度の高い、高画
質の拡大画像を得ることができるという効果を有する。
素値の上限と下限を制限する処理を行っているため、処
理過程における異常値の発生を防ぎ解像度の高い、高画
質の拡大画像を得ることができるという効果を有する。
【0069】又、サンプリング時に失われた情報を反復
演算により漸近的に復元する際、画素値の上限と下限を
制限する処理を反復演算中に行うようにした場合には、
収束が速く、安定した高画質を得ることができる。
演算により漸近的に復元する際、画素値の上限と下限を
制限する処理を反復演算中に行うようにした場合には、
収束が速く、安定した高画質を得ることができる。
【0070】又、反復演算としてG・P反復法を用いた
場合には、より一層収束が速く、鮮鋭感の向上した、ボ
ケやジャギーの発生のない高画質の拡大画像を得ること
ができる。
場合には、より一層収束が速く、鮮鋭感の向上した、ボ
ケやジャギーの発生のない高画質の拡大画像を得ること
ができる。
【図1】G・P反復法の原理を示す説明図
【図2】本発明に係る第1実施例の処理の工程を模式的
に示す説明図
に示す説明図
【図3】上記実施例の処理の流れを示すフローチャート
【図4】上記実施例に適用される装置の基本構成を示す
ブロック図
ブロック図
【図5】本発明に係る第2実施例に適用される装置の基
本構成を示すブロック図
本構成を示すブロック図
【図6】本発明に係る第3実施例に適用される装置の基
本構成を示すブロック図
本構成を示すブロック図
10…原画像格納部 12…拡大処理部 14…拡大画像格納部
Claims (3)
- 【請求項1】サンプリングした原画像に含まれる画像情
報に基づいて画像を拡大する画像拡大方法において、 画素値の上限と下限を制限する拘束条件を用い、処理中
の画像の画素値が、事前に分かっている画素値の範囲を
越えないようにして、処理過程における異常値の発生を
防ぎ解像度の高い拡大画像を得ることを特徴とする画像
拡大方法。 - 【請求項2】サンプリングした原画像に含まれる画像情
報に基づいて処理対象画像を拡大する画像拡大方法にお
いて、 サンプリング時に失われた情報を、反復演算により漸近
的に復元する際、 画素値の上限と下限を制限する拘束条件を用い、処理中
の画像の画素値が事前に分かっている画素値の範囲を越
えないようにする処理を、前記反復演算中に行うことに
より、解像度の高い拡大画像を得ることを特徴とする画
像拡大方法。 - 【請求項3】請求項2において、前記反復演算を、直交
変換によって正変換と逆変換を繰り返す過程の中で、通
過周波数域の情報が正しく、且つ、画像の拡がりが限ら
れているという2つの拘束条件を用いて、サンプリング
時に失われた情報を復元する、反復演算としたことを特
徴とする画像拡大方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6175637A JPH0844863A (ja) | 1994-07-27 | 1994-07-27 | 画像拡大方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6175637A JPH0844863A (ja) | 1994-07-27 | 1994-07-27 | 画像拡大方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0844863A true JPH0844863A (ja) | 1996-02-16 |
Family
ID=15999574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6175637A Pending JPH0844863A (ja) | 1994-07-27 | 1994-07-27 | 画像拡大方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0844863A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017077680A1 (ja) * | 2015-11-05 | 2017-05-11 | 日本電気株式会社 | 画像処理システム、画像処理方法、および画像処理プログラム記録媒体 |
JP2021156701A (ja) * | 2020-03-26 | 2021-10-07 | 日本製鉄株式会社 | ガス分析方法及びガス分析装置 |
-
1994
- 1994-07-27 JP JP6175637A patent/JPH0844863A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017077680A1 (ja) * | 2015-11-05 | 2017-05-11 | 日本電気株式会社 | 画像処理システム、画像処理方法、および画像処理プログラム記録媒体 |
JPWO2017077680A1 (ja) * | 2015-11-05 | 2018-08-23 | 日本電気株式会社 | 画像処理システム、画像処理方法、および画像処理プログラム |
US10699455B2 (en) | 2015-11-05 | 2020-06-30 | Nec Corporation | Image processing system, image processing method, and image processing program recording medium |
JP2021156701A (ja) * | 2020-03-26 | 2021-10-07 | 日本製鉄株式会社 | ガス分析方法及びガス分析装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3882651B2 (ja) | 画像処理装置およびプログラム | |
EP2239705B1 (en) | Resizing images of an image sequence | |
US7221806B2 (en) | Method of and system for image processing and recording medium for carrying out the method | |
US7149369B2 (en) | Method and system for image scaling | |
JP4351394B2 (ja) | 拡大あるいは縮小画像解像度変換の非線形および線形方法 | |
EP1310911B1 (en) | Image processing apparatus and program | |
JP3276886B2 (ja) | 拡大宛先画像のピクセル値の生成方法 | |
US20060033936A1 (en) | Resolution-converting apparatus and method | |
US8041152B2 (en) | Image resolution increasing method and apparatus | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
JP2006222493A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
JP3302731B2 (ja) | 画像拡大方法 | |
JP3404138B2 (ja) | 画像拡大方法 | |
WO2008086037A2 (en) | Color filter array interpolation | |
JP3378167B2 (ja) | 画像処理方法 | |
KR101556625B1 (ko) | 영상 확대 보간 방법 | |
JPH0844863A (ja) | 画像拡大方法 | |
Chung et al. | New joint demosaicing and arbitrary-ratio resizing algorithm for color filter array based on DCT approach | |
JP3544566B2 (ja) | 画像拡大方法 | |
KR20070119482A (ko) | 이미지 리샘플링 방법 | |
JP2006203716A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
JPH08305843A (ja) | デジタル画像の画素密度変換方法 | |
JP4006908B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
JP3461613B2 (ja) | 画像処理装置 |