JP5014514B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5014514B2 JP5014514B2 JP2011522629A JP2011522629A JP5014514B2 JP 5014514 B2 JP5014514 B2 JP 5014514B2 JP 2011522629 A JP2011522629 A JP 2011522629A JP 2011522629 A JP2011522629 A JP 2011522629A JP 5014514 B2 JP5014514 B2 JP 5014514B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance gradient
- luminance
- histogram
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000000034 method Methods 0.000 claims description 67
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 description 29
- 238000003702 image correction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
この発明は、画像の拡大処理を行う画像処理装置に関するものである。
従来では、元画像の画素と画素の間に中間画素を与えて補間することで画像を拡大する手法が一般的である。補間の方法には、バイキュービック補間が広く用いられている(例えば、非特許文献1参照)。しかしながら、この補間方法は、画素間を滑らかに繋ぐことを目的としているために、補間した画像内でエッジがぼやけてしまい、元画像と比較して精細さが失われるという不具合がある。
この不具合を解消するための従来の技術としては、例えば特許文献1に開示される画像処理装置がある。この装置は、画像を一定の大きさの領域に分割し、分割した領域ごとに算出したエッジ強度を所定の基準値と比較して、エッジ強度が基準値以上の領域と基準値未満の領域とで異なる拡大処理を施している。これにより、補間した画像におけるエッジのボケ発生が抑制され、高画質な拡大画像を得ることができる。
なお、特許文献1では、エッジ強度が基準値以上の領域に対しては、この領域から算出された特徴量に基づいて拡大パラメータを算出し、この拡大パラメータと元画像の画素値とを用いて拡大画素値を生成する。また、エッジ強度が基準値未満である領域では、この領域から算出した特徴量を用いず、既定の補間式(最近傍法など)を適用して拡大画素値を生成する。このように、画像領域の特徴量を用いない一定の手順で拡大画素値を求める処理が含まれるために、拡大画像が元画像の印象を保持しているとは限らない。例えば、規定の補間式を用いた部分と強調した部分に元の画像にない不連続性や、部分ごとに異なったパラメータによって強調され、拡大画像が不自然な画像になる可能性があるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、拡大画像のエッジのボケ発生を抑制でき、拡大画像で必要以上にエッジ強調されて不自然な画像になることを防止することができる画像処理装置を得ることを目的とする。
今里悠一、大橋昭南共著、「医用画像処理」、株式会社昭晃堂、1993年10月30日発行、p.122〜126
この発明にかかる画像処理装置は、元画像に拡大処理を施して拡大画像を生成する拡大処理部と、拡大処理部で生成された拡大画像の輝度勾配を変化させる変化処理部と、元画像上の隣接する画素間の輝度差分の度数を計数してなる輝度勾配ヒストグラムから、拡大画像の目標となる輝度勾配ヒストグラムを算出し、当該目標となる輝度勾配ヒストグラムと変化処理部で輝度勾配を変化させた拡大画像の輝度勾配ヒストグラムとの一致度合を評価しながら、変化処理部による拡大画像の輝度勾配の変化処理の実行を制御して、目標となる輝度勾配ヒストグラムと所定の一致度合になった拡大画像を、拡大処理の最終結果とする評価部とを備えるものである。
この発明によれば、元画像の輝度勾配ヒストグラムの度数比率から拡大画像の目標となる輝度勾配ヒストグラムを算出し、当該目標となる輝度勾配ヒストグラムと輝度勾配を変化させた拡大画像の輝度勾配ヒストグラムとの一致度合を評価しながら、拡大画像の輝度勾配の変化処理の実行を制御して、目標となる輝度勾配ヒストグラムと所定の一致度合になった拡大画像を、拡大処理の最終結果とする。このようにすることで、拡大画像のエッジのボケ発生を抑制し、拡大した画像で必要以上にエッジ強調されて不自然な画像になることを防止することができるという効果がある。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による画像処理装置の構成を示すブロック図である。図1において、実施の形態1による画像処理装置100は、元画像データ記憶部101、画像評価部(評価部)102、パラメータ保持部103、画像拡大処理部(拡大処理部)104、画像修正処理部(変化処理部)105及び拡大画像データ記憶部106を備える。なお、画像評価部102、パラメータ保持部103、画像拡大処理部104及び画像修正処理部105は、この発明の趣旨に従う画像処理用プログラムをコンピュータに読み込ませて、そのCPUに実行させることにより、ハードウエアとソフトウエアが協働した具体的な手段として、当該コンピュータ上で実現することができる。
実施の形態1.
図1は、この発明の実施の形態1による画像処理装置の構成を示すブロック図である。図1において、実施の形態1による画像処理装置100は、元画像データ記憶部101、画像評価部(評価部)102、パラメータ保持部103、画像拡大処理部(拡大処理部)104、画像修正処理部(変化処理部)105及び拡大画像データ記憶部106を備える。なお、画像評価部102、パラメータ保持部103、画像拡大処理部104及び画像修正処理部105は、この発明の趣旨に従う画像処理用プログラムをコンピュータに読み込ませて、そのCPUに実行させることにより、ハードウエアとソフトウエアが協働した具体的な手段として、当該コンピュータ上で実現することができる。
元画像データ記憶部101は、拡大処理の対象となる画像データ(元画像)を記憶する記憶部である。画像評価部102は、元画像の輝度勾配ヒストグラムから、当該元画像の拡大画像の最終結果の目標となる輝度勾配ヒストグラムを想定し、この目標となる輝度勾配ヒストグラムと輝度勾配の変化処理を施した拡大画像の輝度勾配ヒストグラムとの一致度合を評価することにより、当該拡大画像の最終結果の輝度勾配に最も近付いた拡大画像を求める構成部である。なお、輝度勾配ヒストグラムとは、画像上で隣接する画素間の輝度差分の度数を計数してなるヒストグラムである。
パラメータ保持部103は、画像の拡大率等の拡大処理に必要なパラメータ(拡大パラメータ)を保持する記憶部である。画像拡大処理部104は、元画像の画素と画素の間に中間画素を与える補間によって元画像を拡大処理する構成部である。画像修正処理部105は、画像評価部102による評価に従い、画像拡大処理部104で得られた拡大画像に対して輝度勾配の変化処理を施し、画像を修正する構成部である。拡大画像データ記憶部106は、画像修正処理部105によって最終的に得られた拡大画像を格納する記憶部である。
次に動作について説明する。
図2は、実施の形態1による画像処理装置の動作の流れを示すフローチャートである。
先ず、画像評価部102は、記憶部101から元画像データを取り出して、当該元画像の輝度勾配ヒストグラムを算出する(ステップST1)。ここで、図3から図7までを用いて、輝度勾配ヒストグラムの一例を説明する。
図2は、実施の形態1による画像処理装置の動作の流れを示すフローチャートである。
先ず、画像評価部102は、記憶部101から元画像データを取り出して、当該元画像の輝度勾配ヒストグラムを算出する(ステップST1)。ここで、図3から図7までを用いて、輝度勾配ヒストグラムの一例を説明する。
図3は、輝度が0から255までの値をとる画像の一部分(画像301)を示す図である。また、図4は、図3の画像301の横方向に沿った輝度勾配(輝度勾配302)を示している。例えば、画像301の左上の輝度値“1”から右隣(右横)の輝度値“10”を引くことで、輝度勾配302の左上の値が“−9”となる。同様にして、画像301において、上記の“10”から右隣の“9”を引くことにより、輝度勾配302の右上の値が“1”となる。画像301における中段の行の輝度値“5”“20”“35”、下段の行の輝度値“10”“24”“40”についても、上記手順で輝度勾配を求めることで、図4の輝度勾配302が得られる。
図5は、図3の画像301の縦方向に沿った輝度勾配(輝度勾配303)を示している。輝度勾配303においては、例えば、画像301の左上の輝度値“1”から直下(縦隣)の輝度値“5”を引くことで、輝度勾配303の左上の値が“−4”となる。同様にして、画像301において、上記の“5”から直下の“10”を引くことで、輝度勾配303の左下の値が“−5”となる。画像301における中央の列の輝度値“10”“20”“24”、右側の列の輝度値“9”“35”“40”についても、上記手順で輝度勾配を求めることにより、図5の輝度勾配303が得られる。
図6は、図4及び図5の輝度勾配から求めた輝度勾配ヒストグラムデータ(データ304)を示す図である。輝度勾配ヒストグラムデータ304は、横方向の輝度勾配302と縦方向の輝度勾配303にある輝度勾配値の度数を計算することで求めることができる。画像301において、“−255”から“−27”までの輝度勾配値は、輝度勾配302及び輝度勾配303の双方に含まれていないので度数は“0”となる。
また、輝度勾配値“−26”は縦方向の輝度勾配303に1つだけあるので度数“1”となる。同様に、輝度勾配値“−25”から“−17”までは度数“0”であり、輝度勾配値“−16”は度数“1”、輝度勾配値“−15”は横方向の輝度勾配302に2つ、縦方向の輝度勾配303に1つあるので度数“3”となる。以下同様に輝度勾配値の度数を数える。
また、輝度勾配値“−26”は縦方向の輝度勾配303に1つだけあるので度数“1”となる。同様に、輝度勾配値“−25”から“−17”までは度数“0”であり、輝度勾配値“−16”は度数“1”、輝度勾配値“−15”は横方向の輝度勾配302に2つ、縦方向の輝度勾配303に1つあるので度数“3”となる。以下同様に輝度勾配値の度数を数える。
図7は、図6のデータ304を含む画像全体の輝度勾配ヒストグラムのグラフ(グラフ305)を示している。なお、グラフ305の横軸は輝度勾配の値であり、縦軸は輝度勾配に対応する度数の対数値である。一般に自然画像の輝度勾配ヒストグラムは、図7に示すグラフ305からもわかるように、中央の“0”の度数が大きく、周辺にいくに従って度数が下がっていく形状であることが知られている(例えば、参考文献1参照)。
(参考文献1)
Y.Weiss, W.Freeman, “ What makes a good model of natural images? ”,CVPR 2007.
(参考文献1)
Y.Weiss, W.Freeman, “ What makes a good model of natural images? ”,CVPR 2007.
図2の説明に戻る。画像評価部102は、元画像の輝度勾配ヒストグラムの算出が完了すると、今度はパラメータ保持部103の拡大パラメータにより、拡大画像の目標となる輝度勾配ヒストグラム(以下目標ヒストグラムと呼ぶ)を算出する(ステップST2)。
なお、この発明では、目標ヒストグラムの算出手法を限定するものではないが、画像を拡大した後も、輝度勾配ヒストグラムの度数比率が変化しないものと仮定すれば、拡大パラメータとして元画像を縦横2倍の計4倍にする拡大率が規定されている場合、拡大画像は、元画像の画素数の4倍となる。従って、輝度勾配ヒストグラムの度数も4倍になると仮定して目標ヒストグラムを求める。
図8は、図3の画像301を4倍に拡大した拡大画像の目標ヒストグラムを示す図である。図8に示す目標ヒストグラムデータ401は、図6に示した画像301の輝度勾配ヒストグラムデータ304の度数値をそれぞれ4倍にしたものである。
また、画像のエッジに着目すれば、長さ1のエッジは縦横2倍拡大で長さ2になり、面積ではなく長さの増加分だけ増えると考えられるので、拡大パラメータとして元画像を縦横2倍の拡大率が規定されている場合には、目標画像の輝度勾配ヒストグラムも元画像度数の2倍と設定する。
図8は、図3の画像301を4倍に拡大した拡大画像の目標ヒストグラムを示す図である。図8に示す目標ヒストグラムデータ401は、図6に示した画像301の輝度勾配ヒストグラムデータ304の度数値をそれぞれ4倍にしたものである。
また、画像のエッジに着目すれば、長さ1のエッジは縦横2倍拡大で長さ2になり、面積ではなく長さの増加分だけ増えると考えられるので、拡大パラメータとして元画像を縦横2倍の拡大率が規定されている場合には、目標画像の輝度勾配ヒストグラムも元画像度数の2倍と設定する。
次に、画像拡大処理部104が、パラメータ保持部103の拡大パラメータに従って、元画像を拡大処理する(ステップST3)。なお、ここで利用される拡大パラメータは、画像評価部102が目標ヒストグラムの作成に利用したパラメータである。また、拡大処理される元画像は、ステップST1及びステップST2において、画像評価部102が、輝度勾配ヒストグラム及び目標ヒストグラムを作成した画像である。
画像拡大処理部104による拡大処理には補間手法を用いる。補間手法には、近隣4画素の線形補間で中間の輝度値を求めるバイリニア法や、近隣16画素の3次補間によるバイキュービック法などがある。この発明では、拡大処理の手法を限定しないが、高画質の拡大が可能なバイキュービック法を用いる。
続いて、画像修正処理部105は、画像拡大処理部104で拡大された画像の輝度勾配ヒストグラムを目標ヒストグラムに近付けるよう、当該拡大画像に輝度勾配の変化処理を施して修正を行い、新たな拡大画像を生成する(ステップST4)。
図9は、補間手法を利用した拡大処理による輝度勾配ヒストグラムの変化の一例を示す図である。図9において、グラフ501が目標ヒストグラムのグラフである。また、グラフ502は、画像拡大処理部104で拡大された画像の輝度勾配ヒストグラムのグラフである。図9に示すように、拡大画像から得たグラフ502は、目標ヒストグラムのグラフ501よりも輝度差分が小さいヒストグラムになる。これは、補間処理が、複数の画素を滑らかに繋げる処理であるため、隣接する画素の中間に挿入される画素の輝度値は、その両端の画素の輝度値の中間の値になり、輝度勾配が小さくなるからである。
図10は、3次補間を利用した拡大処理による輝度勾配の変化を示す図である。図10において、点601a〜601dが元画像の輝度を示す点であり、曲線602が補間に用いる3次曲線を示す曲線である。また、輝度勾配603は、点601a,601dの中間の2点601b,601c間の元画像の輝度勾配(輝度差分)である。点604は、曲線602で求められた新たに挿入された補間点である。輝度勾配605aは、点601bと補間点604との輝度勾配であり、輝度勾配605bは、補間点604と点601cとの輝度勾配である。このように、元画像の輝度勾配603が、補間点604により分割されて輝度勾配605a,605bになるため、全体としての輝度勾配が小さくなる。
そこで、画像修正処理部105は、パラメータ保持部103の拡大パラメータにより、画像拡大処理部104で拡大された画像の輝度勾配ヒストグラムを、目標ヒストグラムに近付ける修正処理を実行する。実施の形態1では、例えば、アンシャープマスクと呼ばれるエッジ強調処理を行う。なお、この発明は、画像修正処理部105による修正処理を、上記のエッジ強調処理に限定するものではない。
図11は、アンシャープマスクの一例を示す図である。図11に示すアンシャープマスク701と補間手法により拡大された拡大画像とを畳み込み演算することにより、エッジが強調された新たな拡大画像が得られる。エッジ強調により輝度差分は拡大されるため、新たな拡大画像の輝度勾配ヒストグラムは、図9に示すグラフ502よりもグラフ501に近いヒストグラムになる。なお、アンシャープマスクを用いる場合、変換精度の向上を図るため、処理前に画像の輝度値を整数値から浮動小数点値へ変換することが望ましい。
画像修正処理部105により修正処理で新たな拡大画像が得られると、画像評価部102は、当該修正処理を終了するか否かを判定する(ステップST5)。ここでは、画像評価部102が、パラメータ保持部103に予め設定した最大繰り返し回数分だけ、ステップST4の修正処理を実行する間に、修正処理後の画像の輝度勾配ヒストグラムと、目標ヒストグラムとの一致の度合を評価する。この度合から両者が一致したと評価されるか、もしくは、最大繰り返し回数に達すると、画像評価部102が、修正処理を終了すると判定する。
終了判定した場合(ステップST5;YES)、画像評価部102は、その旨を画像修正処理部105へ通知する。画像修正処理部105は、終了通知を受けると、修正処理後の拡大画像を記憶部106へ出力する(ステップST6)。これにより、拡大画像の生成処理が終了する。
一方、終了しないと判定すると(ステップST5;NO)、画像評価部102は、その旨を画像修正処理部105へ通知する。この通知を受けると、画像修正処理部105は、ステップST4へ戻って修正処理を繰り返す。
一方、終了しないと判定すると(ステップST5;NO)、画像評価部102は、その旨を画像修正処理部105へ通知する。この通知を受けると、画像修正処理部105は、ステップST4へ戻って修正処理を繰り返す。
ここで、修正処理後の画像の輝度勾配ヒストグラムと目標ヒストグラムとの一致度合の評価について説明する。別個の画像における輝度勾配ヒストグラムが完全に一致することはヒストグラムの合計が同じ場合であっても希である。さらに、縦横それぞれ2倍拡大時の目標ヒストグラムをエッジに着目して2倍とした場合、ヒストグラムの合計数が異なるので完全に一致することはない。そこで、この発明では、ある範囲で目標ヒストグラムと修正処理後の画像の輝度勾配ヒストグラムとの各輝度勾配値の度数の差分を計算し、その差分の合計が“0”に最も近くなったときに一致したと判定する。
図12は、目標ヒストグラムと修正処理後の画像の輝度勾配ヒストグラムとの一致度合の判定処理を説明するための図である。図12において、範囲801は、度数の差分計算を実行する範囲であり、“−255”から“−10”まで、及び“10”から“255”までとした。
差分802は、目標ヒストグラム(グラフ501)から、ステップST3で元画像を拡大した拡大画像の輝度勾配ヒストグラム(グラフ502)を引いた度数差分である。ステップST3の直後は、グラフ502の取り得る度数の値がグラフ501より小さいため、上記の度数差分は正の値になる。
グラフ803は、ステップST4における修正処理後の拡大画像の輝度勾配ヒストグラムのグラフである。また、差分804は、目標ヒストグラム(グラフ501)から、上記の輝度勾配ヒストグラムのグラフ803を引いた度数差分である。
差分802は、目標ヒストグラム(グラフ501)から、ステップST3で元画像を拡大した拡大画像の輝度勾配ヒストグラム(グラフ502)を引いた度数差分である。ステップST3の直後は、グラフ502の取り得る度数の値がグラフ501より小さいため、上記の度数差分は正の値になる。
グラフ803は、ステップST4における修正処理後の拡大画像の輝度勾配ヒストグラムのグラフである。また、差分804は、目標ヒストグラム(グラフ501)から、上記の輝度勾配ヒストグラムのグラフ803を引いた度数差分である。
ステップST4の修正処理を繰り返すと、グラフ502の幅は、徐々に広がっていく。この繰り返し処理の結果として、グラフ502からグラフ803になったものとする。また、ある範囲では、グラフ803の取り得る度数の値はグラフ501よりも小さく、別の範囲では、グラフ803の取り得る度数の値はグラフ501よりも大きい。
上述のように修正処理後の画像のグラフの幅は、徐々に広がっていくため、差分804は、ある状態を境に正の値から負の値に変化する。そこで、負の値に変わったときを目標ヒストグラムと修正処理後の画像の輝度勾配ヒストグラムとが一致したと判定する。
上述のように修正処理後の画像のグラフの幅は、徐々に広がっていくため、差分804は、ある状態を境に正の値から負の値に変化する。そこで、負の値に変わったときを目標ヒストグラムと修正処理後の画像の輝度勾配ヒストグラムとが一致したと判定する。
以上のように、この実施の形態1によれば、元画像の輝度勾配ヒストグラムから拡大画像の目標ヒストグラムを算出し、当該目標ヒストグラムと、アンシャープマスクを用いて輝度勾配を変化させた拡大画像の輝度勾配ヒストグラムとの一致度合を評価しながら、拡大画像に対する輝度勾配の変化処理の実行を制御して、目標ヒストグラムと所定の一致度合になった拡大画像を、拡大処理の最終結果とする。
このようにすることで、元画像の輝度勾配ヒストグラムに近い画像を最終結果の拡大画像とすることができ、拡大画像のエッジのぼけを改善した画像を生成することができる。
また、元画像の輝度勾配ヒストグラムと所定の一致度合になった時点で、エッジ強調処理を終了するので、自然な画像が得られるという特徴がある。これにより、不要にエッジ強調が続行されてエッジが必要以上に強調された不自然な画像となったり、ノイズが強調されアーチフェクトが発生してしまうことを防ぐことができる。
このようにすることで、元画像の輝度勾配ヒストグラムに近い画像を最終結果の拡大画像とすることができ、拡大画像のエッジのぼけを改善した画像を生成することができる。
また、元画像の輝度勾配ヒストグラムと所定の一致度合になった時点で、エッジ強調処理を終了するので、自然な画像が得られるという特徴がある。これにより、不要にエッジ強調が続行されてエッジが必要以上に強調された不自然な画像となったり、ノイズが強調されアーチフェクトが発生してしまうことを防ぐことができる。
実施の形態2.
この実施の形態2では、当初拡大画像から元画像の輝度勾配に近い拡大画像へ修正するための修正処理を、輝度差分の最大値と最小値で規定される終了条件で実施する。なお、実施の形態2による画像処理装置の基本的な構成は、上記実施の形態1で図1を用いて説明したものと同一であるが、画像評価部102による終了判定の内容が異なる。従って、以降の説明において、画像処理装置の構成については図1を参照する。
この実施の形態2では、当初拡大画像から元画像の輝度勾配に近い拡大画像へ修正するための修正処理を、輝度差分の最大値と最小値で規定される終了条件で実施する。なお、実施の形態2による画像処理装置の基本的な構成は、上記実施の形態1で図1を用いて説明したものと同一であるが、画像評価部102による終了判定の内容が異なる。従って、以降の説明において、画像処理装置の構成については図1を参照する。
次に動作について説明する。
図13は、この発明の実施の形態2による修正処理の終了判定を説明するための図である。なお、修正処理の終了判定以外は上記実施の形態1と同様であるため、説明を省略する。図13において、最小値901は、目標ヒストグラム(グラフ501)で1以上の度数を持つ輝度差分の最小値である。最大値902が、目標ヒストグラム(グラフ501)で1以上の度数を持つ輝度差分の最大値である。
また、最小値903は、図2のフローチャートのステップST4にて修正された拡大画像の輝度勾配ヒストグラム(グラフ803)で1以上の度数を持つ輝度差分の最小値である。最大値904が、上記修正された拡大画像の輝度勾配ヒストグラム(グラフ803)で1以上の度数を持つ輝度差分の最大値である。
図13は、この発明の実施の形態2による修正処理の終了判定を説明するための図である。なお、修正処理の終了判定以外は上記実施の形態1と同様であるため、説明を省略する。図13において、最小値901は、目標ヒストグラム(グラフ501)で1以上の度数を持つ輝度差分の最小値である。最大値902が、目標ヒストグラム(グラフ501)で1以上の度数を持つ輝度差分の最大値である。
また、最小値903は、図2のフローチャートのステップST4にて修正された拡大画像の輝度勾配ヒストグラム(グラフ803)で1以上の度数を持つ輝度差分の最小値である。最大値904が、上記修正された拡大画像の輝度勾配ヒストグラム(グラフ803)で1以上の度数を持つ輝度差分の最大値である。
図13の左側グラフに示すように、目標ヒストグラムの最大値902は、図2のフローチャートのステップST3で元画像を拡大した当初の拡大画像の輝度勾配ヒストグラム(グラフ502)の最大値902aよりも大きい。また、目標ヒストグラムの最小値902は、当初の拡大画像の輝度勾配ヒストグラム(グラフ502)の最小値901aよりも小さい。
この後、ステップST4の修正処理を実行することで、輝度差分の絶対値は大きくなるため、輝度勾配ヒストグラムの最大値はより大きく、最小値はより小さくなる。目標ヒストグラムの最小値901よりも、上記の修正処理後の画像の輝度勾配ヒストグラムの最小値903が小さくなることを修正処理の終了条件とした場合が、図13の右側グラフである。
画像評価部102は、上記実施の形態1と同様にして元画像の輝度差分を求め、その最大値と最小値を特定し、さらにパラメータ保持部103に保持された拡大パラメータから目標ヒストグラムにおける輝度差分の最大値と最小値を求める。
次に、画像評価部102は、目標ヒストグラムと、ステップST4で修正処理された画像とにおける輝度差分の最大値及び最小値の少なくとも一方の大小関係を評価しながら、画像修正処理部105による修正処理の実行を制御する。
このとき、上記の大小関係の評価から、修正処理された拡大画像の輝度差分の範囲が目標ヒストグラムの輝度差分の範囲を含む場合、画像評価部102は、画像修正処理部105による修正処理の実行を終了させて、当該修正処理された拡大画像を最終結果とする。
次に、画像評価部102は、目標ヒストグラムと、ステップST4で修正処理された画像とにおける輝度差分の最大値及び最小値の少なくとも一方の大小関係を評価しながら、画像修正処理部105による修正処理の実行を制御する。
このとき、上記の大小関係の評価から、修正処理された拡大画像の輝度差分の範囲が目標ヒストグラムの輝度差分の範囲を含む場合、画像評価部102は、画像修正処理部105による修正処理の実行を終了させて、当該修正処理された拡大画像を最終結果とする。
以上のように、この実施の形態2によれば、目標ヒストグラムと輝度勾配を変化させた拡大画像との輝度差分の最大値同士及び最小値同士の少なくとも一方の大小関係を評価しながら、拡大画像に対する輝度勾配の変化処理の実行を制御して、目標ヒストグラムの輝度差分の範囲を含む拡大画像を、拡大処理の最終結果とする。
このようにすることで、上記実施の形態1と同様に、元画像の輝度勾配ヒストグラムに近い画像を最終結果の拡大画像とすることができ、拡大画像のエッジのぼけを改善した画像を生成することができる。また、計算負荷が大きい輝度勾配ヒストグラムの一致度合の評価を行う必要がないため、高速に終了条件を判断できる。
このようにすることで、上記実施の形態1と同様に、元画像の輝度勾配ヒストグラムに近い画像を最終結果の拡大画像とすることができ、拡大画像のエッジのぼけを改善した画像を生成することができる。また、計算負荷が大きい輝度勾配ヒストグラムの一致度合の評価を行う必要がないため、高速に終了条件を判断できる。
なお、上記実施の形態2において、最大値904が最大値902より大きくなったときを終了条件とする場合や、最小値903が最小値901より小さくなり、かつ最大値904が最大値902より大きくなったときを終了条件とした場合であっても同等の効果が得られる。
また、上記実施の形態1及び上記実施の形態2では、ステップST4の修正処理でアンシャープマスク701を用いる場合を示したが、上記実施の形態1及び上記実施の形態2において、デコンボリューションによる修正処理を行ってもよい。
デコンボリューションでは、エッジのボケを表現する関数をFとし、求める拡大画像をLとし、画像拡大処理部104が、ステップST3で生成した当初の拡大画像をIとし、畳み込み演算を“×”で表現した場合に、下記式(1)が成り立つと仮定して、上記のLを求めるものである。
I=F×L ・・・(1)
デコンボリューションでは、エッジのボケを表現する関数をFとし、求める拡大画像をLとし、画像拡大処理部104が、ステップST3で生成した当初の拡大画像をIとし、畳み込み演算を“×”で表現した場合に、下記式(1)が成り立つと仮定して、上記のLを求めるものである。
I=F×L ・・・(1)
例えば、Fをガウシアンと仮定し、“F×L−I”を最小化するLを勾配法で求める。具体的には、V=F×L−IのLに関する偏微分値をLの差分dLとして、L=L+dLの更新を繰り返すことにより、拡大画像Lを求める。このとき、一回のL=L+dLの更新をステップST4の修正処理とみなし、繰り返し演算の途中で得られるLに対して、ステップST5の終了判定を適用する。
このようにデコンボリューションでは、アンシャープマスクを用いた一方的な輝度差分の拡大処理と異なり、元画像の輝度勾配との相違を最小化する処理を実行している。このため、Fを適切に与えれば、より元画像の輝度勾配に近い最適な拡大画像を得ることができる。
この発明に係る画像処理装置は、元画像を拡大した画像におけるエッジのボケ発生を抑制でき、また拡大した画像で必要以上にエッジ強調されて不自然な画像になることを防止することができることから、画像の拡大処理を行う画像処理装置に有用である。
Claims (8)
- 元画像に拡大処理を施して拡大画像を生成する拡大処理部と、
前記拡大処理部で生成された拡大画像の輝度勾配を変化させる変化処理部と、
前記元画像上の隣接する画素間の輝度差分の度数を計数してなる輝度勾配ヒストグラムから、拡大画像の目標となる輝度勾配ヒストグラムを算出し、当該目標となる輝度勾配ヒストグラムと前記変化処理部で輝度勾配を変化させた拡大画像の輝度勾配ヒストグラムとの一致度合を評価しながら、前記変化処理部による拡大画像の輝度勾配の変化処理の実行を制御して、前記目標となる輝度勾配ヒストグラムと所定の一致度合になった拡大画像を、拡大処理の最終結果とする評価部とを備えた画像処理装置。 - 目標輝度勾配ヒストグラムは、元画像の輝度勾配ヒストグラムの度数比率を維持するように設定することを特徴とする請求項1記載の画像処理装置。
- 目標輝度勾配ヒストグラムは、元画像の長さ倍率を元画像の輝度勾配ヒストグラムに乗じた値を設定することを特徴とする請求項1記載の画像処理装置。
- 変化処理部は、アンシャープマスクを用いて、拡大画像の輝度勾配を変化させることを特徴とする請求項1記載の画像処理装置。
- 変化処理部は、デコンボリューションにより、拡大画像の輝度勾配を変化させることを特徴とする請求項1記載の画像処理装置。
- 元画像に拡大処理を施して拡大画像を生成する拡大処理部と、
前記拡大処理部で生成された拡大画像の輝度勾配を変化させる変化処理部と、
前記元画像上の隣接する画素間の輝度差分の度数を計数してなる輝度勾配ヒストグラムから、拡大画像の目標となる輝度勾配最大最小値を算出し、当該目標となる輝度勾配最大最小値と前記変化処理部で輝度勾配を変化させた拡大画像との輝度勾配の最大値同士及び最小値同士の少なくとも一方の大小関係を評価しながら、前記変化処理部による輝度勾配の変化処理の実行を制御して、前記目標となる輝度勾配ヒストグラムの輝度差分の範囲を含む拡大画像を、拡大処理の最終結果とする評価部とを備えた画像処理装置。 - 変化処理部は、アンシャープマスクを用いて、拡大画像の輝度勾配を変化させることを特徴とする請求項6記載の画像処理装置。
- 変化処理部は、デコンボリューションにより、拡大画像の輝度勾配を変化させることを特徴とする請求項6記載の画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/003374 WO2011007395A1 (ja) | 2009-07-17 | 2009-07-17 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5014514B2 true JP5014514B2 (ja) | 2012-08-29 |
JPWO2011007395A1 JPWO2011007395A1 (ja) | 2012-12-20 |
Family
ID=43449017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011522629A Expired - Fee Related JP5014514B2 (ja) | 2009-07-17 | 2009-07-17 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5014514B2 (ja) |
WO (1) | WO2011007395A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191861A (ja) * | 1997-12-25 | 1999-07-13 | Canon Inc | 画像処理装置及び画像処理システム |
JPH11298721A (ja) * | 1998-04-06 | 1999-10-29 | Seiko Epson Corp | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 |
JPH11298718A (ja) * | 1998-04-06 | 1999-10-29 | Seiko Epson Corp | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 |
JP2002369071A (ja) * | 2001-06-08 | 2002-12-20 | Olympus Optical Co Ltd | 画像処理方法および、それを実装したデジタルカメラおよび、プログラム |
JP2006024097A (ja) * | 2004-07-09 | 2006-01-26 | Fuji Xerox Co Ltd | シャープネス計測装置、シャープネス計測方法、画像処理装置、画像処理方法、シャープネス計測プログラム、画像処理プログラム、及び記憶媒体 |
-
2009
- 2009-07-17 WO PCT/JP2009/003374 patent/WO2011007395A1/ja active Application Filing
- 2009-07-17 JP JP2011522629A patent/JP5014514B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191861A (ja) * | 1997-12-25 | 1999-07-13 | Canon Inc | 画像処理装置及び画像処理システム |
JPH11298721A (ja) * | 1998-04-06 | 1999-10-29 | Seiko Epson Corp | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 |
JPH11298718A (ja) * | 1998-04-06 | 1999-10-29 | Seiko Epson Corp | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 |
JP2002369071A (ja) * | 2001-06-08 | 2002-12-20 | Olympus Optical Co Ltd | 画像処理方法および、それを実装したデジタルカメラおよび、プログラム |
JP2006024097A (ja) * | 2004-07-09 | 2006-01-26 | Fuji Xerox Co Ltd | シャープネス計測装置、シャープネス計測方法、画像処理装置、画像処理方法、シャープネス計測プログラム、画像処理プログラム、及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2011007395A1 (ja) | 2011-01-20 |
JPWO2011007395A1 (ja) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4534594B2 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
Dai et al. | Bilateral back-projection for single image super resolution | |
US20110150353A1 (en) | Information processing apparatus, information processing method, and program | |
JP2008146643A (ja) | 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
US8730268B2 (en) | Image processing systems and methods | |
US20110170803A1 (en) | Apparatus and method for image processing | |
WO2009107197A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6287100B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP6485068B2 (ja) | 画像処理方法および画像処理装置 | |
JP5105286B2 (ja) | 画像復元装置、画像復元方法及び画像復元プログラム | |
JP5152203B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置 | |
Ede | Deep learning supersampled scanning transmission electron microscopy | |
JP5014514B2 (ja) | 画像処理装置 | |
JP6444049B2 (ja) | 画像処理装置、方法およびプログラム | |
JP6135937B2 (ja) | 画像処理方法および画像処理装置 | |
JP4635652B2 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
Xu et al. | An image sharpening algorithm for high magnification image zooming | |
JP2004282593A (ja) | 輪郭補正装置 | |
KR20070119482A (ko) | 이미지 리샘플링 방법 | |
JP5712387B2 (ja) | 画像表示処理方法及び画像表示処理装置 | |
JP2015106318A (ja) | 画像処理装置および画像処理方法 | |
TW201933278A (zh) | 影像處理方法及影像處理裝置 | |
JP4265362B2 (ja) | 画像処理装置 | |
JP5447614B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4235217B2 (ja) | フィルタリング型画像補正装置およびフィルタリング型画像補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |