JP3837575B2 - 超解像処理の高速化方法 - Google Patents
超解像処理の高速化方法 Download PDFInfo
- Publication number
- JP3837575B2 JP3837575B2 JP2004316154A JP2004316154A JP3837575B2 JP 3837575 B2 JP3837575 B2 JP 3837575B2 JP 2004316154 A JP2004316154 A JP 2004316154A JP 2004316154 A JP2004316154 A JP 2004316154A JP 3837575 B2 JP3837575 B2 JP 3837575B2
- Authority
- JP
- Japan
- Prior art keywords
- super
- resolution
- resolution processing
- small area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 74
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000003672 processing method Methods 0.000 description 61
- 230000006870 function Effects 0.000 description 47
- 238000004364 calculation method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 10
- 230000001788 irregular Effects 0.000 description 6
- 238000007476 Maximum Likelihood Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本発明は、複数の低解像度画像から一つの高解像度画像を推定する超解像処理を高速化する超解像処理の高速化方法に関し、特に、再構成型超解像処理において、推定回数を低減することによって、超解像処理の高速化を実現させる超解像処理の高速化方法に関する。
位置ずれのある複数の低解像度画像より一つの高解像度画像を推定する超解像処理に関しては、近年数多くの研究で報告されている(非特許文献1参照)。例えば、非特許文献2に開示されているML(Maximum-likelihood)法、非特許文献3に開示されているMAP(Maximum A Posterior)法や、非特許文献4に開示されているPOCS(Projection Onto Convex Sets)法など様々な超解像処理方法が提案されている。
ML法とは、高解像度画像から推定された低解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高解像度画像を推定画像とする方法で、つまり、最尤推定の原理に基づく超解像処理方法である。
また、MAP法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法で、つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。
そして、POCS法とは、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
上述したいずれの超解像処理方法では、まず、高解像度画像を仮定し、そして仮定した高解像度画像からカメラモデルから得られる点広がり関数(PSF関数)に基づき、全ての低解像度画像の画素毎に、その画素値を推定し、その推定値と観測された画素値(観測値)の差が小さくなるような高解像度画像を探索するという共通の特徴を有しており、これらの超解像処理方法は、再構成型超解像処理方法と呼ばれている。
サング シー.ピー.(Sung C.P.)・ミン ケイ.ピー.(Min K.P.)共著、「スーパーレゾルーション イメージ リコンストラクション:アー テクニカル オーバービュー(Super-ResolutionImage Reconstruction: A Technical Overview)」,IEEE シグナル プロク. マガジン(IEEE SignalProc. Magazine),第26巻,第3号, p.21-36,2003年 ビー.シー.トム(B.C.Tom)・エイ.ケイ.カトサゲロス(A.K.Katsaggelos)共著、「リコンストラクション オフ アー ハイレゾルーション イメージ バイ シマルテイニアス レジストレイション レストレイション アンド インターポレイション オフ ローレゾルーション イメージズ(Reconstruction of a high-resolution image by simultaneousregistration, restoration, and interpolation of low-resolution images)」,プロク. IEEE イント. コンフ. イメージ プロセシング(Proc.IEEE Int. Conf. Image Processing),第2巻,p.539-542,1995年 アール.アール.シュルツ(R.R.Schulz)・アール.エル.スティブンスン(R.L.Stevenson)共著、「エクストラクション オフ ハイレゾルーション フレームズ フロム ビデオ シーケンス(Extractionof high-resolution frames from video sequences)」,IEEE トランス. イメージ プロセシング(IEEETrans. Image Processing),第5巻,p.996-1011,1996年 エイチ.スターク(H.Stark)・ピー.オスコウイ(P.Oskoui)共著、「ハイ レゾルーション イメージ リカバリー フロム イメージプレーン アレーズ ユーシング コンベックス プロジェクションズ(Highresolution image recovery from image-plane arrays, using convex projections)」,ジェー. オプト. ソク. エム. エイ(J.Opt. Soc. Am. A),第6巻,p.1715-1726,1989年 ビー.ジトーバ(B.Zitova)・ジェー.フルッサル(J.Flusser)共著、「イメージ レジストレーション メソッドズ: ア サーベイ(Imageregistration methods: a survey)」,イメージ アンド ビジョン コンピューティング(Image and VisionComputing),第21巻,第11号,p.977-1000,2003年 ディー.ケープル(D.Capel)著、「イメージ モザイキング アンド スーパーレゾリューション(ImageMosaicing and Super-resolution)」,スプリンガー(Springer),2003年 ダブリュ.エイチ.プレス(W.H.Press)・エス.エイ.テウコルスカイ(S.A.Teukolsky)他共著、「ニューメリカル レシピズ イン C++(Numerical Recipes inC++)」, ケンブリッジ ユニバーシティー プレス(Cambridge University Press),2002年 清水・奥富共著、「領域ベースマッチングのための2次元同時サブピクセル推定法」、信学論(D-II),第J87-D-II巻,第2号,p.554-564,2004年 清水・矢野・奥富共著、「2次元サブピクセル同時推定を拡張した画像変形Nパラメータ同時推定」、情報処理学会研究報告,2004-CVIM-143,第2004巻,第26号,p.81-88,2004年
サング シー.ピー.(Sung C.P.)・ミン ケイ.ピー.(Min K.P.)共著、「スーパーレゾルーション イメージ リコンストラクション:アー テクニカル オーバービュー(Super-ResolutionImage Reconstruction: A Technical Overview)」,IEEE シグナル プロク. マガジン(IEEE SignalProc. Magazine),第26巻,第3号, p.21-36,2003年 ビー.シー.トム(B.C.Tom)・エイ.ケイ.カトサゲロス(A.K.Katsaggelos)共著、「リコンストラクション オフ アー ハイレゾルーション イメージ バイ シマルテイニアス レジストレイション レストレイション アンド インターポレイション オフ ローレゾルーション イメージズ(Reconstruction of a high-resolution image by simultaneousregistration, restoration, and interpolation of low-resolution images)」,プロク. IEEE イント. コンフ. イメージ プロセシング(Proc.IEEE Int. Conf. Image Processing),第2巻,p.539-542,1995年 アール.アール.シュルツ(R.R.Schulz)・アール.エル.スティブンスン(R.L.Stevenson)共著、「エクストラクション オフ ハイレゾルーション フレームズ フロム ビデオ シーケンス(Extractionof high-resolution frames from video sequences)」,IEEE トランス. イメージ プロセシング(IEEETrans. Image Processing),第5巻,p.996-1011,1996年 エイチ.スターク(H.Stark)・ピー.オスコウイ(P.Oskoui)共著、「ハイ レゾルーション イメージ リカバリー フロム イメージプレーン アレーズ ユーシング コンベックス プロジェクションズ(Highresolution image recovery from image-plane arrays, using convex projections)」,ジェー. オプト. ソク. エム. エイ(J.Opt. Soc. Am. A),第6巻,p.1715-1726,1989年 ビー.ジトーバ(B.Zitova)・ジェー.フルッサル(J.Flusser)共著、「イメージ レジストレーション メソッドズ: ア サーベイ(Imageregistration methods: a survey)」,イメージ アンド ビジョン コンピューティング(Image and VisionComputing),第21巻,第11号,p.977-1000,2003年 ディー.ケープル(D.Capel)著、「イメージ モザイキング アンド スーパーレゾリューション(ImageMosaicing and Super-resolution)」,スプリンガー(Springer),2003年 ダブリュ.エイチ.プレス(W.H.Press)・エス.エイ.テウコルスカイ(S.A.Teukolsky)他共著、「ニューメリカル レシピズ イン C++(Numerical Recipes inC++)」, ケンブリッジ ユニバーシティー プレス(Cambridge University Press),2002年 清水・奥富共著、「領域ベースマッチングのための2次元同時サブピクセル推定法」、信学論(D-II),第J87-D-II巻,第2号,p.554-564,2004年 清水・矢野・奥富共著、「2次元サブピクセル同時推定を拡張した画像変形Nパラメータ同時推定」、情報処理学会研究報告,2004-CVIM-143,第2004巻,第26号,p.81-88,2004年
再構成型超解像処理方法の共通の性質として、まず、高解像度画像の画素数の未知数があり非常に高次元の問題であり、そして、複数の低解像度画像の全ての画素について高解像度画像から低解像度画像を推定する必要がある、ということが挙げられる。
再構成型超解像処理方法においては、高解像度画像の画素数の未知数の次元が非常に大きいため、解析的に高解像度画像を求めることは現実的ではなく、繰返し計算により高解像度画像が推定されている。また、繰返し計算では一度の繰返しに対して、全ての低解像度画像の画素に対して推定を行う必要があり、その計算コストが大きいという問題がよく知られている。つまり、再構成型超解像処理では、計算コストが大きいので、計算コストの低減が既存の超解像処理方法の主な課題であった。
また、超解像処理では、推定値と観測値の二乗誤差を推定誤差の評価関数として、その最適化計算の結果として高解像度画像を推定するようにしている。よって、その最適化計算のために、二乗誤差の評価関数や評価関数の微分値を計算する必要がある。
上述したように、既存の超解像処理方法では、二乗誤差の評価関数やその微分値を計算するために、複数の低解像度画像の全ての画素の観測値に対応する推定値を算出する必要がある。従って、複数の低解像度画像の総画素数回の推定を行う必要がある。推定計算は、カメラモデルから得られる伝達関数に相当する点広がり関数(PSF関数)との畳み込み演算として定式化されているが、その畳み込み演算を複数の低解像度画像の全ての画素に対して行う必要があり、一般的に、超解像処理に用いられる複数の低解像度画像の総画素数は8000〜80万にもなり、推定に必要な計算コストが非常に大きいという問題が有った。
本発明は、上述のような事情よりなされたものであり、本発明の目的は、推定回数である畳み込み演算の回数を減少させることによって超解像処理の高速化を実現した超解像処理の高速化方法を提供することにある。
本発明は、位置ずれを含む複数の低解像度画像から一つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法に関し、本発明の上記目的は、高解像度画像空間に前記複数の低解像度画像の位置合わせを行い、位置合わせされた前記複数の低解像度画像の全ての画素を、前記高解像度画像空間において不等間隔にサンプリングされた画素とする第1のステップと、前記高解像度画像空間を所定の大きさを有する複数の小領域に分割する第2のステップと、第2のステップで分割された各小領域に対して、当該小領域内の所定の代表位置での推定値を当該小領域に存在する全ての画素の推定値とする第3のステップとを有することにより、或いは、前記小領域は正方形の形状を有することにより、或いは、前記正方形の一辺の大きさは、前記高解像度画像のピクセルの大きさの整数分の1であることにより、或いは、第3のステップにおける前記推定値は、カメラモデルから得られる点広がり関数と前記高解像度画像の畳み込みとして推定して得られた値であることによって効果的に達成される。
また、本発明の上記目的は、前記超解像処理に必要な評価関数は次の式で表され、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表すことにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ここで、下記数式が成立し、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域内に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、
は前記小領域内の画素の観測値の平均を表すことにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、w(xi−xc,yi−yc)は重み関数で、前記小領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が前記代表位置(xc,yc)から離れるに従って小さくなるようにすることにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ここで、下記数式が成立し、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域内に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、w(xi−xc,yi−yc)は重み関数で、前記小領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が前記代表位置(xc,yc)から離れるに従って小さくなるようになっており、Wは前記小領域内の各画素に対応する重みの合計であり、
は前記小領域の重み付け平均を表すことによって一層効果的に達成される。
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表すことにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ここで、下記数式が成立し、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域内に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、
は前記小領域内の画素の観測値の平均を表すことにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、w(xi−xc,yi−yc)は重み関数で、前記小領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が前記代表位置(xc,yc)から離れるに従って小さくなるようにすることにより、或いは、前記超解像処理に必要な評価関数は次の式で表され、
ここで、下記数式が成立し、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域内に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、w(xi−xc,yi−yc)は重み関数で、前記小領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が前記代表位置(xc,yc)から離れるに従って小さくなるようになっており、Wは前記小領域内の各画素に対応する重みの合計であり、
は前記小領域の重み付け平均を表すことによって一層効果的に達成される。
本発明に係る超解像処理の高速化方法を用いれば、まず、高解像度画像空間に位置ずれを含む複数の低解像度画像の位置合わせを行い、位置合わせ後の観測された複数の低解像度画像を、高解像度画像空間において不等間隔にサンプリングされた画素として扱い、そして、高解像度画像空間を複数の小領域に分割し、分割された各小領域内において高解像度画像から推定される値は一定であると近似することにより、超解像処理の高速化を実現できたという優れた効果を奏する。
また、合成画像及び2種類の実画像に対して、本発明に係る超解像処理の高速化方法を適用することによって、超解像処理の高速化が実現されたことを確認した。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
先ず、本発明の詳細を説明する前に、従来の超解像処理の概要について説明する。
超解像処理とは、観測画像である位置ずれを含む複数の低解像度画像から、一つの高解像度画像を推定する処理である。
なお、ここでは、『復元したい高解像度画像の空間』を『高解像度画像空間』と称する。
位置ずれを含む複数の低解像度画像の位置合わせを高解像度画像空間に行った後に、全ての観測画像のデータ(つまり、全ての観測画像の画素)は、図1(C)に示されるように、高解像度画像空間における不規則間隔でサンプリングされたデータとして扱うことができる。つまり、高解像度画像空間に位置合わせされた複数の低解像度画像は、不等間隔にサンプリングされた画素と考えることができる。
ここで、複数の観測画像(つまり、複数の低解像度画像)の位置合わせ後のi番目のデータ(つまり、位置合わせ後のi番目の画素)の位置を座標(xi,yi)とし、その画素値をfiとする。つまり、位置合わせ後のi番目の画素(以下、単にi番目の画素と称する)の高解像度画像空間における観測された画素値(以下、単に観測値と称する)はfiである。
複数の観測画像の位置合わせ後のデータの個数は、高解像度画像空間における不規則間隔でサンプリングされたデータの個数となり、つまり、全ての観測画像のピクセル数(画素数)に一致する。
一方、高解像度画像をh(x,y)と仮定した場合に、位置座標(xi,yi)を有するi番目の画素の画素値は、カメラモデルから得られる点広がり関数(PSF関数)と高解像度画像h(x,y)の畳み込みとして推定することができる。この畳み込み演算によって得られるi番目の画素の推定画素値(以下、単に推定値と称する)を
とする。
とする。
従って、再構成型超解像処理方法とは、複数の観測画像の位置合わせ後の全ての画素(総画素数はNである)に対して、画素毎の観測値とその推定値の二乗誤差の合計が小さくなるように、高解像度画像h(x,y)を調整する方法である。
複数の観測画像の位置合わせ後の全ての画素の観測値とその推定値の二乗誤差の合計を数式で表せば、下記数1のようになる。
は、位置座標(xi,yi)を有するi番目の画素の推定値である。
上記数1から分かるように、従来の超解像処理方法では、観測値(観測データ)と推定値を比較するためには、複数の観測画像の位置合わせ後の全ての画素毎に対し、つまり、高解像度画像空間における不規則間隔でサンプリングされたデータの個数N回だけ、高解像度画像h(x,y)から
を推定する必要がある。
を推定する必要がある。
要するに、上記数1に表される評価関数を用いる従来の超解像処理方法では、例えば、図2(A)に示されたように、高解像度画像空間に複数の低解像度画像の位置合わせを行った後に、高解像度画像空間に観測された不規則間隔でサンプリングされたデータがあった場合に、前述の通り、観測データの個数回(つまり、位置合わせされた全ての低解像度画像の総画素数回)の推定計算(つまり、畳み込み演算)が必要となり、図2(A)の場合では、高解像度画像空間に8個の観測データがあるので、評価関数を算出するために、計8回の畳み込み演算が必要である。
そこで、本発明では、推定回数である畳み込み演算の回数を減少させることにより、推定に必要な計算コストの減少を実現し、よって超解像処理の高速化を可能にした。
次に、本発明に係る超解像処理の高速化方法について詳細に説明する。
本発明に係る超解像処理の高速化方法では、高解像度画像空間に位置ずれを含む複数の低解像度画像の位置合わせを行った後の全ての画素を、高解像度画像空間における不規則間隔で分布される画素とし、その高解像度画像空間を所定の大きさを有する複数の小領域に分割し、分割される各小領域毎に、その小領域内に属する全ての画素の推定値を、その小領域内の所定の位置を有する代表点(以下、単に代表位置とも称する)の代表推定値(以下、単に代表値とも称する)で近似することにより、超解像処理に必要な推定回数を低減させることを最大の特徴としている。
ここで、例えば、図2(A)に示されたように、高解像度画像空間に8個の観測データがある場合に、本発明に係る超解像処理の高速化方法を適用すると、例えば、図2(B)に示されるように、高解像度画像空間を4分割することができる。つまり、高解像度画像空間を所定の大きさの小領域に分割する。
高解像度画像空間に属する画素が異なれば、つまり、画素の座標(x,y)が異なれば、当然、画素の推定値も異なるが、本発明では、分割された各小領域の中ではその小領域内に属する全ての画素の推定値が変化しないと仮定し、つまり、その小領域内に属する全ての画素の推定値をその小領域内の代表点の代表値で近似する。
このようにすることにより、各小領域に存在する複数の観測データに対しては、つまり、各小領域に属する複数の画素に対しては、1回の推定演算を行うだけで、観測データと(近似)推定値との比較を行うことができる。要するに、一回の畳み込み演算による推定により、ある小領域内に存在する複数個の観測データの誤差計算、すなわち評価関数計算が可能となる。
分割されたある小領域、例えば、図2(B)の網掛けの小領域を注目領域とすれば、注目領域内に3点の観測データがあるが、本発明に係る超解像処理の高速化方法を適用すれば、1回の推定演算により、この3点の観測データの比較が行える。つまり、1回の畳み込み演算により3点の観測データ分の推定を行ったことになる。
一方、従来の超解像処理方法では、この3点の観測データとの比較を行うためには、観測データ数と同じ3回の推定演算が必要である。つまり、この注目領域に関しては、本発明に係る超解像処理の高速化方法を適用することにより、従来の超解像処理方法と比べて、3倍の高速化を期待することができる。
注目領域に関する二乗誤差の合計、つまり、注目領域に対する評価関数を数式で表すと、従来の超解像処理方法が下記数2、本発明に係る超解像処理の高速化方法が下記数3となる。
は、注目領域内の位置座標(xi,yi)を有するi番目の画素の推定値を表す。また、(xc,yc)は、注目領域の代表位置を表す。
は、その代表位置の推定値を表す。
数3からも分かるように、本発明では、注目領域内に観測データの個数Mが変化しても、注目領域の代表位置の推定値は、一定値であるため、推定演算は1回で済む。一方、数2からも分かるように、従来の超解像処理方法では、注目領域内に観測データの個数回の推定演算、(例えば、図2(B)の網掛けの注目領域の場合には、3回の推定演算)を行わなければならない。
本発明に係る超解像処理の高速化方法では、超解像処理に必要な評価関数Iを算出する際の手順(後述するステップ1〜ステップ5)が以下のようになっている。なお、本発明では、超解像処理に必要な評価関数の微分値も、評価関数の算出手順と同じような手順で算出される。
ステップ1:
高解像度画像空間を複数の所定の大きさを有する小領域に分割する。
ステップ2:
評価関数Iの初期値を設定する。つまり、I=0とする。
ステップ3:
ある小領域に関して、その小領域に属する画素がある場合に、つまり、その小領域内に観測データがある場合に、その小領域の代表点(代表位置)だけに対して畳み込み演算による推定を行う。そして、小領域に属する全ての画素に対して、その画素の観測値(観測データ)と得られた代表点の推定値との差の二乗を評価関数Iに加えるようにする。一方、その小領域内に観測データがない場合に、評価関数Iに対して何もしないことにする。
ステップ4:
次の小領域に移動する。
ステップ5:
分割された全ての小領域に対して、ステップ3とステップ4を繰り返す。
ステップ1:
高解像度画像空間を複数の所定の大きさを有する小領域に分割する。
ステップ2:
評価関数Iの初期値を設定する。つまり、I=0とする。
ステップ3:
ある小領域に関して、その小領域に属する画素がある場合に、つまり、その小領域内に観測データがある場合に、その小領域の代表点(代表位置)だけに対して畳み込み演算による推定を行う。そして、小領域に属する全ての画素に対して、その画素の観測値(観測データ)と得られた代表点の推定値との差の二乗を評価関数Iに加えるようにする。一方、その小領域内に観測データがない場合に、評価関数Iに対して何もしないことにする。
ステップ4:
次の小領域に移動する。
ステップ5:
分割された全ての小領域に対して、ステップ3とステップ4を繰り返す。
次に、本発明において、小領域の分割方法について説明する。
本発明に係る超解像処理の高速化方法では、高解像度画像空間を所定の形状を有する小領域に複数分割するようにしている。例えば、その一例として、高解像度画像空間を複数の正方形の小領域に分割することができる。
超解像処理における推定計算は、カメラモデルから得られるPSF(Point Spread Function:点広がり関数)との畳み込み演算として表現される。例えば、分割される小領域が正方形の形状を有する場合に、小領域(正方形)の一辺の大きさが、高解像度画像のピクセルの大きさの整数分の1(つまり、1/L、ここでLは整数である)であれば、PSFカーネルの種類は、ピクセル単位での位置合わせを考慮することにより、L2であることが分かる。
従って、本発明では、正方形の形状を有する小領域を、高解像度画像のピクセルの大きさの整数分の1とすることが好ましい。
以上は、正方形の形状を有する小領域について説明したが、本発明では、小領域が正方形という形状に限定されることがなく、例えば、高解像度画像空間を長方形などの他の幾何的な形状を有する小領域に分割することも可能である。
また、本発明では、下記数4で表す評価関数Iを用いることも可能である。
はその代表位置の推定値を表す。
は注目領域内の画素の観測値の平均を表す。
ところで、本発明では、注目領域内(つまり、所定のある小領域内)で、その注目領域に属する全ての画素の推定値は一定であると近似しているが、その注目領域に属する画素が注目領域の代表位置から離れるに従い、その代表推定値の信頼性は小さくなる。このことを考慮して、本発明では、注目領域内の各画素の観測値とその推定値との二乗誤差に重みを付加することによって、下記数6で表す評価関数Iを用いることができる。
は、その代表位置の推定値を表す。w(xi−xc,yi−yc)は、重み関数で、注目領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が代表位置(xc,yc)から離れるに従って小さくなる。
また、本発明では、注目領域内の各画素の二乗誤差を変形させると、つまり、上記数6の定数成分を除いて下記数7を得ることができる。つまり、本発明では、下記数7で表す評価関数Iを用いることも可能である。
は、その代表位置の推定値を表す。w(xi−xc,yi−yc)は、重み関数で、注目領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が代表位置(xc,yc)から離れるに従って小さくなる。Wは注目領域内の各画素に対応する重みの合計である。
は注目領域の重み付け平均を表す。
また、観測画像が与えられて、そして分割される小領域を設定した場合に、Wおよび
は一意に決まるので、超解像処理の間は変化しない。そして、数6と数7を比較した場合に、明らかに数7の計算量が小さいことが分かる。
は一意に決まるので、超解像処理の間は変化しない。そして、数6と数7を比較した場合に、明らかに数7の計算量が小さいことが分かる。
上述したように、本発明に係る超解像処理の高速化方法では、繰返しごとに必要になる計算の効率化を目指していることが特徴である。
要するに、本発明に係る超解像処理の高速化方法では、まず、高解像度画像空間に位置ずれを含む複数の低解像度画像の位置合わせを行い、位置合わせ後の観測された複数の低解像度画像を、高解像度画像空間において不等間隔にサンプリングされた画素として扱い、次に、高解像度画像空間を複数の小領域に分割し、分割された各小領域内において高解像度画像から推定される値は一定であると近似することにより、超解像処理の高速化を図るようにしている。
なお、本発明に係る超解像処理の高速化方法においては、位置ずれを含む複数の低解像度画像の位置合わせのためのマッチングに関して、例えば非特許文献5に開示されている多くの方法があるので、これら既存のマッチング方法を利用することができる。
次に、本発明による超解像処理の顕著な高速化効果を確認するために、まず、合成画像に対して、本発明に係る超解像処理の高速化方法を適用した超解像処理の結果と、従来の超解像処理方法による超解像処理の結果について説明する。
従来の超解像処理方法による超解像処理の結果と、本発明に係る超解像処理の高速化方法を適用した超解像処理の結果とを比較するために、ISO/DIS12640(ISO400)の基準画像の一部を真の高解像度画像と仮定し、ガウシアンPSF(σ=0.3)を仮定して64枚の合成画像(80×60)を低解像度画像とした。
図3(A)に真値とした高解像度画像を、図3(B)に低解像度画像の一つを高解像度画像の大きさに拡大した図を、それぞれ示す。高解像度画像の倍率は3.2とし、256×192の大きさの高解像度画像をMAP法により高解像度画像を再構成した。MAP法の拘束項には4近傍のMRFを仮定し(非特許文献6参照)、拘束パラメータαは0.05とした。また、最適化計算にはフレッチャー・リーベス(Fletcher-Reevess)の共役勾配法を利用し(非特許文献7参照)、初期画像は基準となる低解像度画像をバイキュービック補間により拡大した画像を利用している。主な計算の条件は表1にまとめる。
まず、主観評価として、図3(C)、図3(D)ともに、図3(B)と比較して解像感が上がっていることが確認される。また、図3(C)と図3(D)における違いは見られない。
次に、十分なメモリが利用できる従来の超解像処理方法による超解像処理(以下、単に従来の超解像処理方法(a)とも称する)、十分なメモリが利用できない従来の超解像処理方法による超解像処理(以下、単に従来の超解像処理方法(b)とも称する)、及び本発明に係る超解像処理の高速化方法を適用した超解像処理(以下、単に本発明の超解像処理方法(c)とも称する)の3種類超解像処理方法に関して、PSFカーネルの個数、畳み込み演算の回数、計算時間を比較するために、PSFカーネルの生成に要する前処理時間、繰返し最適化に要する時間、および高解像度画像の画質を定量的に評価するための真値とのRMS誤差を、表2にそれぞれ示す。
表2から計算時間の比較を行うと、従来の超解像処理方法(a)と比較して44.1倍の高速化、また、従来の超解像処理方法(b)と比較して2.8倍の高速化が図られていることが分かる。また、出力画像(再構成された高解像度画像)に関しても、本発明に係る超解像処理の高速化方法と従来の超解像処理方法との比較では、RMS誤差が若干大きくなっているものの、その差は僅か0.16であり、ほぼ変化していないことが確認された。
次に、本発明に係る超解像処理の高速化方法で近似を行う小領域の大きさ(つまり、1/L、ここでLは整数である)と、再構成された高解像度画像の精度・高解像度画像の算出に必要な計算時間との比較を行うため、小領域の大きさ(1/L)をパラメータとして、同様の超解像処理を行った。そのときの出力画像(再構成された高解像度画像)の真値とのRMS誤差・高解像度画像の算出に必要な計算時間と分割される小領域の大きさとの関係を図4に示す。
図4から分かるように、RMS誤差と計算時間には小領域の大きさをパラメータとしてトレードオフの関係があることが確認された。また、計算時間がL=6(要するに、分割される小領域の大きさ1/L=1/6)あたりで収束しているのは、本発明に係る超解像処理の高速化方法での畳み込み演算回数が必ず従来の超解像処理方法での畳み込み演算回数以下であるため、畳み込み演算回数の上限に達しているためである。そして、RMS誤差に関しても、L=6以降での変化は小さいことも分かる。
次に、実画像を用いて、本発明に係る超解像処理の高速化方法を適用した超解像処理の結果と、従来の超解像処理方法による超解像処理の結果について説明する。
Sony(登録商標)VX2000という撮像装置(カメラ)を利用して動画像を撮影し、カラー画像を8ビット階調のグレースケールに変換した後に、表1の条件によって超解像処理を行った。なお、画像間の位置ずれが平行移動となるようにカメラを固定し、撮影対象を平行に移動させた。また、位置合わせには、非特許文献8に開示されている二次元同時マッチングを利用した。
図5(A)に低解像度画像を高解像度画像の大きさに拡大した図を、図5(B)に従来の超解像処理方法によって推定された高解像度画像を、図5(C)に本発明の超解像処理方法によって推定された高解像度画像を、それぞれ示す。図5(A)、図5(B)及び図5(C)では、それぞれ左側に全体図を、右側に一部を拡大した拡大図を示してある。
図5(A)、図5(B)及び図5(C)を比較すると、図5(B)、図5(C)ともに、図5(A)の低解像度画像に比べて解像感が上がっている。主観評価としては、図5(B)と図5(C)では、拡大図で比較しても同程度である。真値との比較はできないが、従来の超解像処理方法による出力画像と本発明の超解像処理方法による出力画像との違いを表す画像全体のRMS誤差は2.5であった。
また、合成画像を用いて従来の超解像処理方法及び本発明の超解像処理方法による超解像処理の比較と同様に、実画像(1)を用いて従来の超解像処理方法及び本発明の超解像処理方法による超解像処理に必要な計算時間の比較を表3にまとめる。
次に、手持ちのカメラで撮影した動画像に対して、同様に超解像処理を行った。観測画像(低解像度画像)を撮影した撮像装置は手持ちカメラであるので、観測画像間の位置合わせは、射影変形を仮定して位置合わせを行った。
位置合わせの推定には、非特許文献9に開示されている同時推定法を利用した。射影的な変形を考えた場合に、高解像度画像から観測画像への伝達関数であるPSFも、射影変形に合わせて厳密には変形させる必要がある(非特許文献6参照)。しかしながら、PSFの変形を無視できる程度に、射影的な変形は小さいと仮定して、本発明の超解像処理方法により超解像処理を行った。
図6(A)に低解像度画像を高解像度画像の大きさに拡大した図を、図6(B)に従来の超解像処理方法によって推定された高解像度画像を、図6(C)に本発明の超解像処理方法によって推定された高解像度画像を、それぞれ示す。また、図6(D)にPSFの変形を考慮しながら、従来の超解像処理方法によって推定された高解像度画像を示す。なお、図6(A)、図6(B)、図6(C)及び図6(D)では、それぞれ左側に全体図を、右側に一部を拡大した拡大図を示してある。
実画像(2)の場合も同様に、図6(A)と比較して、図6(B)、図6(C)及び図6(D)は解像感が上がっている。また、図6(B)、図6(C)及び図6(D)のそれぞれの拡大図で比較しても、その違いは殆どない。
PSFの変形を無視した場合に、実画像(2)を用いて従来の超解像処理方法及び本発明の超解像処理方法による超解像処理に必要な計算時間の比較を表4にまとめる。
上述したように、本発明では、複数の低解像度画像の全ての画素に対して推定を行うのではなく、高解像度画像空間を複数の小領域に分割し、分割された各小領域内で推定値が一定であるという近似を行うことで、つまり、その小領域内に含まれている画素座標位置に対しては、その小領域の代表点の推定値を近似的に小領域内に存在する全ての画素に対する推定値とみなすことで、推定回数を減少させ、よって計算コストを減少させることを最大の特徴としている。
要するに、本発明では、一つの小領域に対して一回の推定さえ行えば(その小領域の代表点の推定)、小領域内のピクセルの画素値と推定値を比較することが可能である。よって、推定回数の減少分が直接に超解像処理の高速化につながる。また、上記のように、合成画像及び2種類の実画像に対して、本発明に係る超解像処理の高速化方法を適用することによって、超解像処理の高速化が実現されたことを確認した。
なお、本発明に係る超解像処理の高速化方法を適用して、MAP法に関しての高解像度画像からの低解像度画像の画素の推定の回数を減少させることが好ましいが、本発明に係る超解像処理の高速化方法は、MAP法への適用に限らず、他の超解像処理方法、例えばML法、POCS法に関しても適用可能である。
Claims (8)
- 位置ずれを含む複数の低解像度画像から一つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、
高解像度画像空間に前記複数の低解像度画像の位置合わせを行い、位置合わせされた前記複数の低解像度画像の全ての画素を、前記高解像度画像空間において不等間隔にサンプリングされた画素とする第1のステップと、
前記高解像度画像空間を所定の大きさを有する複数の小領域に分割する第2のステップと、
第2のステップで分割された各小領域に対して、当該小領域内の所定の代表位置での推定値を当該小領域に存在する全ての画素の推定値とする第3のステップと、
を有することを特徴とする超解像処理の高速化方法。 - 前記小領域は正方形の形状を有する請求項1に記載の超解像処理の高速化方法。
- 前記正方形の一辺の大きさは、前記高解像度画像のピクセルの大きさの整数分の1である請求項2に記載の超解像処理の高速化方法。
- 第3のステップにおける前記推定値は、カメラモデルから得られる点広がり関数と前記高解像度画像の畳み込みとして推定して得られた値である請求項1乃至請求項3のいずれかに記載の超解像処理の高速化方法。
- 前記超解像処理に必要な評価関数は次の式で表され、
ここで、下記数式が成立し、
ただし、Iは前記小領域に対する評価関数であり、また、Mは前記小領域内に属する全ての画素の数であり、fiは前記小領域内の位置座標(xi,yi)を有するi番目の画素の観測値を表し、(xc,yc)は前記小領域の代表位置を表し、
は前記代表位置の推定値を表し、w(xi−xc,yi−yc)は重み関数で、前記小領域内の位置座標(xi,yi)を有するi番目の画素に対応する重みを表し、その値は位置座標(xi,yi)を有するi番目の画素が前記代表位置(xc,yc)から離れるに従って小さくなるようになっており、Wは前記小領域内の各画素に対応する重みの合計であり、
は前記小領域の重み付け平均を表す請求項1乃至請求項4のいずれかに記載の超解像処理の高速化方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004316154A JP3837575B2 (ja) | 2004-10-29 | 2004-10-29 | 超解像処理の高速化方法 |
PCT/JP2005/019437 WO2006046493A1 (ja) | 2004-10-29 | 2005-10-17 | 超解像処理の高速化方法 |
US11/666,605 US8009933B2 (en) | 2004-10-29 | 2005-10-17 | Fast method of super-resolution processing |
EP05795779A EP1811453A4 (en) | 2004-10-29 | 2005-10-17 | METHOD FOR ACCELERATING SUPER-RESOLUTION PROCESSING |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004316154A JP3837575B2 (ja) | 2004-10-29 | 2004-10-29 | 超解像処理の高速化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006127241A JP2006127241A (ja) | 2006-05-18 |
JP3837575B2 true JP3837575B2 (ja) | 2006-10-25 |
Family
ID=36227732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004316154A Active JP3837575B2 (ja) | 2004-10-29 | 2004-10-29 | 超解像処理の高速化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8009933B2 (ja) |
EP (1) | EP1811453A4 (ja) |
JP (1) | JP3837575B2 (ja) |
WO (1) | WO2006046493A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4126378B2 (ja) * | 2005-05-02 | 2008-07-30 | 国立大学法人東京工業大学 | 超解像処理の高速化方法 |
KR100655040B1 (ko) * | 2005-11-24 | 2006-12-06 | 주식회사 휴맥스 | 디지털 영상신호 스케일링 방법 |
KR20070119879A (ko) * | 2006-06-16 | 2007-12-21 | 삼성전자주식회사 | 영상의 해상도 변환 방법 및 그 장치 |
JP2008067230A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP4670058B2 (ja) * | 2006-10-25 | 2011-04-13 | 国立大学法人東京工業大学 | 高解像度画像生成方法 |
JP2008109477A (ja) * | 2006-10-26 | 2008-05-08 | Fuji Electric Holdings Co Ltd | 画像生成装置および画像生成方法 |
JP4646146B2 (ja) * | 2006-11-30 | 2011-03-09 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2008268725A (ja) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | 情報処理装置および画像データの高解像度化方法 |
GB0708676D0 (en) * | 2007-05-04 | 2007-06-13 | Imec Inter Uni Micro Electr | A Method for real-time/on-line performing of multi view multimedia applications |
US8126291B2 (en) * | 2007-07-16 | 2012-02-28 | Ecole Centrale De Paris | System and method for dense image registration using Markov Random Fields and efficient linear programming |
JP2009037460A (ja) * | 2007-08-02 | 2009-02-19 | Sanyo Electric Co Ltd | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 |
JP5238220B2 (ja) * | 2007-10-29 | 2013-07-17 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
WO2009149601A1 (en) * | 2008-06-13 | 2009-12-17 | Shanghai Hewlett-Packard Co., Ltd | Processing a super-resolution target image |
US8326069B2 (en) * | 2008-06-30 | 2012-12-04 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
KR101634562B1 (ko) | 2009-09-22 | 2016-06-30 | 삼성전자주식회사 | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 |
JP5198500B2 (ja) * | 2010-03-18 | 2013-05-15 | 日本放送協会 | 信号処理装置及びプログラム |
JP5644626B2 (ja) * | 2011-03-28 | 2014-12-24 | 株式会社Jvcケンウッド | 信号処理装置、信号処理方法、および信号処理プログラム |
JP5696560B2 (ja) * | 2011-03-28 | 2015-04-08 | 株式会社Jvcケンウッド | 信号処理装置、信号処理方法、および信号処理プログラム |
JP5909865B2 (ja) * | 2011-04-18 | 2016-04-27 | 株式会社ニコン | 画像処理プログラム、画像処理方法、画像処理装置、撮像装置 |
JP2013142775A (ja) * | 2012-01-11 | 2013-07-22 | Sony Corp | 表示装置、電子機器、表示方法、並びにプログラム |
US9014492B2 (en) | 2012-10-23 | 2015-04-21 | The Boeing Company | Real-time image reconstruction |
CN103049885B (zh) * | 2012-12-08 | 2015-04-01 | 中通服公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
JP5847228B2 (ja) | 2014-04-16 | 2016-01-20 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6545013B2 (ja) | 2015-06-17 | 2019-07-17 | キヤノン株式会社 | 画像形成方法、画像形成装置、および画像形成プログラム |
CN105072373B (zh) * | 2015-08-28 | 2018-03-27 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
CN110211042B (zh) * | 2019-05-10 | 2021-03-12 | 北京航空航天大学 | 增强光谱图像空间分辨率的亚像元定位方法及装置 |
US11720999B2 (en) * | 2019-10-11 | 2023-08-08 | Kayrros | Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2828138B2 (ja) * | 1996-08-28 | 1998-11-25 | 日本電気株式会社 | 画像合成方法及び画像合成装置 |
US6694064B1 (en) * | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
US7110012B2 (en) * | 2000-06-12 | 2006-09-19 | Sharp Laboratories Of America, Inc. | System for improving display resolution |
US7106914B2 (en) * | 2003-02-27 | 2006-09-12 | Microsoft Corporation | Bayesian image super resolution |
-
2004
- 2004-10-29 JP JP2004316154A patent/JP3837575B2/ja active Active
-
2005
- 2005-10-17 WO PCT/JP2005/019437 patent/WO2006046493A1/ja active Application Filing
- 2005-10-17 EP EP05795779A patent/EP1811453A4/en not_active Withdrawn
- 2005-10-17 US US11/666,605 patent/US8009933B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20090080805A1 (en) | 2009-03-26 |
EP1811453A1 (en) | 2007-07-25 |
EP1811453A4 (en) | 2009-09-16 |
WO2006046493A1 (ja) | 2006-05-04 |
JP2006127241A (ja) | 2006-05-18 |
US8009933B2 (en) | 2011-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3837575B2 (ja) | 超解像処理の高速化方法 | |
WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
US8731337B2 (en) | Denoising and artifact removal in image upscaling | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
JP4126378B2 (ja) | 超解像処理の高速化方法 | |
JP4209938B2 (ja) | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ | |
JP7112595B2 (ja) | 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム | |
US20140354886A1 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
CN107633482A (zh) | 一种基于序列图像的超分辨率重建方法 | |
JP4714038B2 (ja) | 画像の高解像度化方法及び装置 | |
CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6645442B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US8472756B2 (en) | Method for producing high resolution image | |
JP2008053875A (ja) | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 | |
CN106570911B (zh) | 一种基于daisy描述子的脸部卡通画合成方法 | |
Cho et al. | Depth map up-sampling using cost-volume filtering | |
JP2013069012A (ja) | 多眼撮像装置 | |
JP2018010359A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Li et al. | Resolution enhancement from document images for text extraction | |
CN104394300B (zh) | 一种视频缩放方法及其系统 | |
JP2010134582A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |