JP4126378B2 - 超解像処理の高速化方法 - Google Patents
超解像処理の高速化方法 Download PDFInfo
- Publication number
- JP4126378B2 JP4126378B2 JP2005134068A JP2005134068A JP4126378B2 JP 4126378 B2 JP4126378 B2 JP 4126378B2 JP 2005134068 A JP2005134068 A JP 2005134068A JP 2005134068 A JP2005134068 A JP 2005134068A JP 4126378 B2 JP4126378 B2 JP 4126378B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- resolution image
- super
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 138
- 238000011156 evaluation Methods 0.000 claims description 100
- 230000004069 differentiation Effects 0.000 claims description 26
- 230000010354 integration Effects 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 59
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000003672 processing method Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 7
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の低解像度画像から一つの高解像度画像を推定する超解像処理を高速化する超解像処理の高速化方法に関し、特に、再構成型超解像処理において、超解像処理の計算コストを大幅に削減することにより、超解像処理の高速化を実現させる超解像処理の高速化方法に関する。
位置ずれのある複数の低解像度画像より一つの高解像度画像を推定する超解像処理に関しては、近年数多くの研究で報告されている（非特許文献１参照）。例えば、非特許文献２に開示されているＭＬ(Maximum-likelihood)法、非特許文献３に開示されているＭＡＰ(Maximum A Posterior)法や、非特許文献４に開示されているＰＯＣＳ(Projection Onto Convex Sets)法など様々な超解像処理方法が提案されている。
ＭＬ法とは、仮定されている高解像度画像からの推定画素値と実際に観測された画素値の二乗誤差を評価関数とし、その評価関数を最小化するような高解像度画像を推定画像とする方法で、つまり、最尤推定の原理に基づく超解像処理方法である。
また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法で、つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。
そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
上述したいずれの超解像処理方法では、まず、高解像度画像を仮定し、そして仮定した高解像度画像からカメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素毎に、その画素値を推定し、その推定値と観測された画素値（観測値）の差が小さくなるような高解像度画像を探索するという共通の特徴を有しており、これらの超解像処理方法は、再構成型超解像処理方法と呼ばれている。
サング シー．ピー．（Sung C.P.）・ミン ケイ．ピー．（Min K.P.）共著、「スーパーレゾルーション イメージ リコンストラクション:アー テクニカル オーバービュー（Super-ResolutionImage Reconstruction: A Technical Overview）」,ＩＥＥＥ シグナル プロク． マガジン（IEEE SignalProc. Magazine）,第26巻,第3号, p.21-36，2003年 ビー．シー．トム（B.C.Tom）・エイ．ケイ．カトサゲロス（A.K.Katsaggelos）共著、「リコンストラクション オフ アー ハイレゾルーション イメージ バイ シマルテイニアス レジストレイション レストレイション アンド インターポレイション オフ ローレゾルーション イメージズ（Reconstructionof a high-resolution image by simultaneous registration, restoration, andinterpolation of low-resolution images）」,プロク． ＩＥＥＥ イント． コンフ． イメージ プロセシング（Proc.IEEE Int. Conf. Image Processing）,第2巻,p.539-542,1995年 アール.アール.シュルツ（R.R.Schulz）・アール.エル.スティブンスン（R.L.Stevenson）共著、「エクストラクション オフ ハイレゾルーション フレームズ フロム ビデオ シーケンス（Extractionof high-resolution frames from video sequences）」,ＩＥＥＥ トランス. イメージ プロセシング（IEEETrans. Image Processing）,第5巻,p.996-1011,1996年 エイチ.スターク（H.Stark）・ピー.オスコウイ（P.Oskoui）共著、「ハイ レゾルーション イメージ リカバリー フロム イメージプレーン アレーズ ユーシング コンベックス プロジェクションズ（Highresolution image recovery from image-plane arrays, using convex projections）」,ジェー. オプト. ソク. エム. エイ（J.Opt. Soc. Am. A）,第6巻,p.1715-1726,1989年 エス.ベイカ（S.Baker）・アイ.マシューズ（I.Matthews）共著、「ルーカスーカナデ ２０イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade 20 Years On: AUnifying Framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of ComputerVision）,第56巻,第3号,p.221-255,2004年
サング シー．ピー．（Sung C.P.）・ミン ケイ．ピー．（Min K.P.）共著、「スーパーレゾルーション イメージ リコンストラクション:アー テクニカル オーバービュー（Super-ResolutionImage Reconstruction: A Technical Overview）」,ＩＥＥＥ シグナル プロク． マガジン（IEEE SignalProc. Magazine）,第26巻,第3号, p.21-36，2003年 ビー．シー．トム（B.C.Tom）・エイ．ケイ．カトサゲロス（A.K.Katsaggelos）共著、「リコンストラクション オフ アー ハイレゾルーション イメージ バイ シマルテイニアス レジストレイション レストレイション アンド インターポレイション オフ ローレゾルーション イメージズ（Reconstructionof a high-resolution image by simultaneous registration, restoration, andinterpolation of low-resolution images）」,プロク． ＩＥＥＥ イント． コンフ． イメージ プロセシング（Proc.IEEE Int. Conf. Image Processing）,第2巻,p.539-542,1995年 アール.アール.シュルツ（R.R.Schulz）・アール.エル.スティブンスン（R.L.Stevenson）共著、「エクストラクション オフ ハイレゾルーション フレームズ フロム ビデオ シーケンス（Extractionof high-resolution frames from video sequences）」,ＩＥＥＥ トランス. イメージ プロセシング（IEEETrans. Image Processing）,第5巻,p.996-1011,1996年 エイチ.スターク（H.Stark）・ピー.オスコウイ（P.Oskoui）共著、「ハイ レゾルーション イメージ リカバリー フロム イメージプレーン アレーズ ユーシング コンベックス プロジェクションズ（Highresolution image recovery from image-plane arrays, using convex projections）」,ジェー. オプト. ソク. エム. エイ（J.Opt. Soc. Am. A）,第6巻,p.1715-1726,1989年 エス.ベイカ（S.Baker）・アイ.マシューズ（I.Matthews）共著、「ルーカスーカナデ ２０イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade 20 Years On: AUnifying Framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of ComputerVision）,第56巻,第3号,p.221-255,2004年
上述のように、再構成型超解像処理は、高解像度画像に対して定義される評価関数の最適化問題として定式化される。つまり、再構成型超解像処理は、推定された低解像度画像と観測された観測画像の二乗誤差に基づく評価関数の最適化問題に帰着される。
再構成型超解像処理では、未知数の非常に大きな最適化計算であるため、その評価関数の最適化には、例えば最急降下法などの繰返し計算法がよく利用される。このとき、繰返しごとに、評価関数と評価関数の高解像度画像に対する微分を計算する必要がある。しかし、この繰返し計算のコストが非常に大きい。また、繰返し計算では一度の繰返しに対して、全ての低解像度画像の画素に対して推定を行う必要があり、その計算コストも非常に大きい。
つまり、再構成型超解像処理では、計算コストが大きいので、計算コストの低減が大きな課題となっている。
この課題を解決するために、本発明の発明者らは、評価関数を計算するための画素値推定計算回数を低減させるという観点から、特願２００４−３１６１５４に開示されている『超解像処理の高速化方法』を提案している。つまり、複数の低解像度画像を位置合わせし、高解像度画像空間に離散化点を設定し、離散化点近傍に対応する画素の平均画素値を利用することを特徴としている。このとき、離散化点近傍に対応する画素の個数を重みとして考慮することにより、推定精度を落とさず高速に計算可能であることを示した。
つまり、本発明の発明者らは、特願２００４−３１６１５４において、少ない低解像度画素の画素値推定計算で、精度を落とさずに高解像度画像を再構成できる評価関数を利用した超解像処理の高速化手法を提案した。
より詳細に説明すると、特願２００４−３１６１５４に開示されている『超解像処理の高速化方法』では、レジストレーション後（位置合わせ後）の複数の低解像度画像の画素が高解像度画像空間において不等間隔にサンプリングされた画素と考えられ、高解像度画像空間を小領域に分割し、その小領域に含まれる画素の平均画素値を利用することを特徴としている。この小領域に対する評価関数は、下記数１のように表される。
そして、本発明の発明者らは、さらに、特願２００４−３１６１５４に提案されている評価関数を利用し、その評価関数と評価関数の高解像度画像に対する微分の計算を高速化させるという観点から、本発明に係る超解像処理の高速化方法を提案する。
要するに、本発明は、上述のような事情よりなされたものであり、本発明の目的は、再構成型超解像処理において、評価関数と評価関数の高解像度画像に対する微分の計算を高速化することによって超解像処理の高速化を実現した超解像処理の高速化方法を提供することにある。
本発明は、位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法に関し、本発明の上記目的は、位置合わせにより高解像度画像空間内で不等間隔にサンプリングされた前記低解像度画像の画素（以下、「観測画素」とする）の位置を、前記高解像度画像の画素位置で近似し、各高解像度画素位置に近似された観測画素の平均画素値を画素値とし、前記高解像度画像の画素数と同じ画素数を有する画像を、平均観測画像とし、各高解像度画素位置に近似された観測画素の個数を画素値とし、前記高解像度画像の画素数と同じ画素数を有する画像を、重み画像とし、前記高解像度画像の画素数と同じ画素数を有し、各画素位置に対応するカメラモデルから得られる点広がり関数（ＰＳＦ）の値を画素値とする画像を、ＰＳＦ画像とし、前記高解像度画像と前記ＰＳＦ画像の畳み込み積分の結果と、前記平均観測画像との差の重み付き二乗和に、前記高解像度画像の事前情報をもとにした拘束項を加えて得られた評価関数と、前記評価関数の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、前記重み付き二乗和は、前記重み画像に基づき、計算されることによって効果的に達成される。
また、本発明の上記目的は、位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、評価関数と前記評価関数の空間領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、前記評価関数は、空間領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の空間領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は空間領域の前記高解像度画像のベクトル表現を、
はＰＳＦ画像のベクトル表現を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、αは拘束の強さを表す拘束パラメータを、＊は畳込み積分を、
は要素毎の乗算を、それぞれ表すことによって一層効果的に達成される。
ここで、二つのノルム
は、下記のように定義され、
ただし、￣は複素共役を、Ｔは転置を、それぞれ表す。
また、
は、下記のように定義され、
ただし、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表す。
また、本発明の上記目的は、位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、評価関数と前記評価関数の空間領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、前記評価関数は、空間領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の空間領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は空間領域の前記高解像度画像のベクトル表現を、
はＰＳＦ画像のベクトル表現を、
のフーリエ変換を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、
のフーリエ変換を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、αは拘束の強さを表す拘束パラメータを、
は要素毎の乗算を、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表すことによって一層効果的に達成される。
また、本発明の上記目的は、位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、評価関数と前記評価関数の周波数領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、前記評価関数は、周波数領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の周波数領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は周波数領域の前記高解像度画像のベクトル表現で、
はＰＳＦ画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、αは拘束の強さを表す拘束パラメータを、ρはフーリエ変換による定数倍の違いを規格化する定数を、
は要素毎の乗算を、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表すことによって一層効果的に達成される。
本発明に係る超解像処理の高速化方法を用いれば、評価関数と評価関数の高解像画像に対する微分の計算を、基本的な画像の演算の組合せにより計算することにより、超解像処理に必要な計算コストを大幅に削減し、よって超解像処理の高速化を実現することができたという優れた効果を奏する。
また、実画像に対して、本発明に係る超解像処理の高速化方法を適用することによって、超解像処理の高速化が実現されたことを確認した。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
本発明では、特願２００４−３１６１５４に開示されている評価関数を利用し、その評価関数と評価関数の高解像度画像に対する微分の計算を基本的な画像演算の組合せにより計算することにより、また、更にフーリエ変換を応用することにより、超解像処理の高速化を実現するようにしている。
ところで、超解像処理において、位置ずれのある複数枚の観測画像（低解像度画像）の各画素は、レジストレーション（位置合わせ）により、高解像度画像空間のある位置に対応付けられる。つまり、レジストレーションの後では、複数枚の観測画像は、高解像度空間内で不等間隔にサンプリングされた画素であると考えることができる。
この不等間隔にサンプリングされた画素位置（以下、単に観測画素位置とも称する）を高解像度画像の画素位置（以下、単に、高解像度画素位置とも称する）で近似することを考える。このとき、ある高解像度画素位置に近似される観測画素（観測画素位置）は、複数ある場合が考えられる。逆に、近似される観測画素（観測画素位置）が存在しない高解像度画素位置も存在する。
ここで、各高解像度画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成することができる。この画像を平均観測画像と呼ぶことにする。平均観測画像は、その画素間隔（画素数）が高解像度画像と等しく、高解像度画像をカメラモデルから得られる点広がり関数（ＰＳＦ関数）でぼかした画像に相当する。ただし、近似される観測画素が存在しない画素位置に対しては、その画素値は定義されない。各高解像度画素位置に近似された観測画素の個数も、同様に１つの画像となる。その画像を重み画像と呼ぶことにする。
また、ＰＳＦも１つの画像と考えることにする。そうすると、評価関数と評価関数の高解像度画像に対する微分を計算するに際して、考慮しなければならない画像は、高解像度画像ｈ[ｉ,ｊ]、ＰＳＦ画像ｂ[ｉ,ｊ]、平均観測画像ｆ[ｉ,ｊ]、重み画像ｗ[ｉ,ｊ]の四つである。本発明では、この４種類の画像間の画像演算の組合せにより、評価関数と評価関数の高解像度画像に対する微分の計算を行うようにしている。
具体的には、本発明では、特願２００４−３１６１５４に開示されている評価関数において、小領域の大きさを高解像度画像の画素と等しく設定し、小領域の代表位置を画素中心とすることを前提とする。
このとき、超解像処理全体の評価関数は、下記数３で表すように、誤差項（数３の右辺の第１項）と拘束項（数３の右辺の第２項）とからなる。なお、下記数３で表す評価関数を『平均画素値による評価関数』とも称する。
なお、上述したように、小領域として高解像度画像の画素の大きさを設定しているため、小領域の数Ｎは、高解像度画像の画素の数と等しく、小領域の代表位置は高解像度画像の画素中心と等しい。また、拘束パラメータαが０の場合（α＝０）も考えられ、このとき、超解像処理全体の評価関数は、誤差項（数３の右辺の第１項）のみからなるものとする。
本発明に係る超解像処理の高速化方法は、数３に示すような、誤差項と拘束項とからなる評価関数に基づく再構成型超解像処理に適用される。
本発明では、上述した４種類の画像、即ち、高解像度画像、ＰＳＦ画像、平均観測画像、重み画像を用いて、数３で表す『平均画素値による評価関数』を再定義して得られたものを超解像処理全体の評価関数とし、再定義された評価関数及びその微分の計算方法（詳細は実施例で説明する）によって、評価関数及びその微分の計算を行えば、超解像処理の高速化を実現することができる。また、本発明では、４種類の画像で再定義された評価関数は、共通して誤差項と拘束項とから成る。
実施例１の超解像処理の高速化方法（以下、単に、方法１とも称する）では、上述した４種類の画像を利用し、高解像度画像の空間表現（以下、単に、空間領域の高解像度画像
、又は、高解像度画像
とも称する）に対して、数３で表す『平均画素値による評価関数』を再定義する。また、再定義された評価関数と評価関数の高解像度画像に対する微分の計算も、全て空間領域においてなされる。
まず、実施例１の超解像処理の高速化方法では、上述した４種類の画像を用いて、超解像処理全体の評価関数が下記数４で、また、評価関数の高解像度画像に対する微分が下記数５で、それぞれ定式化される。
なお、数４の右辺の第１項を方法１の誤差項と、数４の右辺の第２項を方法１の拘束項と、数５の右辺の第１項を方法１の誤差項の高解像度画像に対する微分と、数５の右辺の第２項を方法１の拘束項の高解像度画像に対する微分と、それぞれ称する。
さらに、二つのノルム
は、下記数６、数７のように定義される。
また、
は、下記数８、数９のように定義される。
次に、方法１の誤差項及びその誤差項の高解像度画像に対する微分の計算手順をブロック図の図１に示す。また、方法１の拘束項及びその拘束項の高解像度画像に対する微分の計算手順をブロック図の図２に示す。
なお、図１及び図２において、＊は畳込み積分演算で、＋は要素毎の加算で、
は要素毎の乗算で、Σは要素の総和を計算する演算である。
図１のブロック図に示されるように、方法１の誤差項及びその誤差項の高解像度画像に対する微分の計算手順は次のようになっている。
ステップ１Ａ：
高解像度画像
とＰＳＦ画像
との畳込み積分演算を行う。
ステップ１Ｂ：
ステップ１Ａでの畳込み積分演算結果から平均観測画像
を引くように演算する。
ステップ１Ｃ：
ステップ１Ｂでの演算結果と重み画像
との乗算を行う。
ステップ１Ｄ：
ステップ１Ｃでの乗算結果とＰＳＦ画像
との畳込み積分演算を行うことにより、方法１の評価関数の誤差項の微分が得られる。
ステップ１Ｅ：
ステップ１Ｂでの演算結果とステップ１Ｃでの乗算結果との乗算を行う。
ステップ１Ｆ：
ステップ１Ｅでの乗算結果に基づいて要素の総和を計算する演算により、方法１の評価関数の誤差項の値が得られる。
ステップ１Ａ：
高解像度画像
ステップ１Ｂ：
ステップ１Ａでの畳込み積分演算結果から平均観測画像
ステップ１Ｃ：
ステップ１Ｂでの演算結果と重み画像
ステップ１Ｄ：
ステップ１Ｃでの乗算結果とＰＳＦ画像
ステップ１Ｅ：
ステップ１Ｂでの演算結果とステップ１Ｃでの乗算結果との乗算を行う。
ステップ１Ｆ：
ステップ１Ｅでの乗算結果に基づいて要素の総和を計算する演算により、方法１の評価関数の誤差項の値が得られる。
また、図２のブロック図に示されるように、方法１の拘束項及びその拘束項の高解像度画像に対する微分の計算手順は次のようになっている。
ステップ１ａ：
高解像度画像
と高解像度画像の事前情報を表すカーネル画像
との畳込み積分演算を行う。
ステップ１ｂ：
ステップ１ａでの畳込み積分演算結果とカーネル画像
との畳込み積分演算を行うことにより、方法１の評価関数の拘束項の微分が得られる。
ステップ１ｃ：
ステップ１ａでの畳込み積分演算結果とステップ１ａでの畳込み積分演算結果との乗算を行う。
ステップ１ｄ：
ステップ１ｃでの乗算結果に基づいて要素の総和を計算する演算により、方法１の評価関数の拘束項の値が得られる。
ステップ１ａ：
高解像度画像
ステップ１ｂ：
ステップ１ａでの畳込み積分演算結果とカーネル画像
ステップ１ｃ：
ステップ１ａでの畳込み積分演算結果とステップ１ａでの畳込み積分演算結果との乗算を行う。
ステップ１ｄ：
ステップ１ｃでの乗算結果に基づいて要素の総和を計算する演算により、方法１の評価関数の拘束項の値が得られる。
実施例２の超解像処理の高速化方法（以下、単に、方法２とも称する）では、上述した４種類の画像を利用し、高解像度画像の空間表現に対して、数３で表す『平均画素値による評価関数』を再定義する。方法１との違いとして、方法２は、畳込み演算の計算をフーリエ変換を利用して計算する点である。
実施例２の超解像処理の高速化方法では、上述した４種類の画像を用いて、超解像処理全体の評価関数が下記数１０で、また、評価関数の高解像度画像に対する微分が下記数１１で、それぞれ定式化される。
なお、数１０の右辺の第１項を方法２の誤差項と、数１０の右辺の第２項を方法２の拘束項と、数１１の右辺の第１項を方法２の誤差項の高解像度画像に対する微分と、数１１の右辺の第２項を方法２の拘束項の高解像度画像に対する微分と、それぞれ称する。
次に、方法２の誤差項及びその誤差項の高解像度画像に対する微分の計算手順をブロック図の図３に示す。また、方法２の拘束項及びその拘束項の高解像度画像に対する微分の計算手順をブロック図の図４に示す。
なお、図３及び図４において、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換をそれぞれ表す。また、＋は要素毎の加算で、
は要素毎の乗算で、Σは要素の総和を計算する演算である。
図３のブロック図に示されるように、方法２の誤差項及びその誤差項の高解像度画像に対する微分の計算手順は次のようになっている。
ステップ２Ａ：
高解像度画像
のフーリエ変換を行う。
ステップ２Ｂ：
ステップ２Ａでのフーリエ変換結果とＰＳＦ画像
との乗算を行う。
ステップ２Ｃ：
ステップ２Ｂでの乗算結果の逆フーリエ変換を行う。
ステップ２Ｄ：
ステップ２Ｃでの逆フーリエ変換結果から平均観測画像
を引くように演算する。
ステップ２Ｅ：
ステップ２Ｄでの演算結果と重み画像
との乗算を行う。
ステップ２Ｆ：
ステップ２Ｅでの乗算結果のフーリエ変換を行う。
ステップ２Ｇ：
ステップ２Ｆでのフーリエ変換結果とＰＳＦ画像
との乗算を行う。
ステップ２Ｈ：
ステップ２Ｇでの乗算結果の逆フーリエ変換を行うことにより、方法２の評価関数の誤差項の微分が得られる。
ステップ２Ｉ：
ステップ２Ｄでの演算結果とステップ２Ｅでの乗算結果との乗算を行う。
ステップ２Ｊ：
ステップ２Ｉでの乗算結果に基づいて要素の総和を計算する演算により、方法２の評価関数の誤差項の値が得られる。
ステップ２Ａ：
高解像度画像
ステップ２Ｂ：
ステップ２Ａでのフーリエ変換結果とＰＳＦ画像
ステップ２Ｃ：
ステップ２Ｂでの乗算結果の逆フーリエ変換を行う。
ステップ２Ｄ：
ステップ２Ｃでの逆フーリエ変換結果から平均観測画像
ステップ２Ｅ：
ステップ２Ｄでの演算結果と重み画像
ステップ２Ｆ：
ステップ２Ｅでの乗算結果のフーリエ変換を行う。
ステップ２Ｇ：
ステップ２Ｆでのフーリエ変換結果とＰＳＦ画像
ステップ２Ｈ：
ステップ２Ｇでの乗算結果の逆フーリエ変換を行うことにより、方法２の評価関数の誤差項の微分が得られる。
ステップ２Ｉ：
ステップ２Ｄでの演算結果とステップ２Ｅでの乗算結果との乗算を行う。
ステップ２Ｊ：
ステップ２Ｉでの乗算結果に基づいて要素の総和を計算する演算により、方法２の評価関数の誤差項の値が得られる。
また、図４のブロック図に示されるように、方法２の拘束項及びその拘束項の高解像度画像に対する微分の計算手順は次のようになっている。
ステップ２ａ：
高解像度画像
のフーリエ変換を行う。
ステップ２ｂ：
ステップ２ａでのフーリエ変換結果とカーネル画像
との乗算を行う。
ステップ２ｃ：
ステップ２ｂでの乗算結果の逆フーリエ変換を行う。
ステップ２ｄ：
ステップ２ｃでの逆フーリエ変換結果に対して、フーリエ変換を行う。
ステップ２ｅ：
ステップ２ｄでのフーリエ変換結果とカーネル画像
との乗算を行う。
ステップ２ｆ：
ステップ２ｅでの乗算結果の逆フーリエ変換を行うことにより、方法２の評価関数の拘束項の微分が得られる。
ステップ２ｇ：
ステップ２ｃでの逆フーリエ変換結果とステップ２ｃでの逆フーリエ変換結果との乗算を行う。
ステップ２ｈ：
ステップ２ｇでの乗算結果に基づいて要素の総和を計算する演算により、方法２の評価関数の拘束項の値が得られる。
ステップ２ａ：
高解像度画像
ステップ２ｂ：
ステップ２ａでのフーリエ変換結果とカーネル画像
ステップ２ｃ：
ステップ２ｂでの乗算結果の逆フーリエ変換を行う。
ステップ２ｄ：
ステップ２ｃでの逆フーリエ変換結果に対して、フーリエ変換を行う。
ステップ２ｅ：
ステップ２ｄでのフーリエ変換結果とカーネル画像
ステップ２ｆ：
ステップ２ｅでの乗算結果の逆フーリエ変換を行うことにより、方法２の評価関数の拘束項の微分が得られる。
ステップ２ｇ：
ステップ２ｃでの逆フーリエ変換結果とステップ２ｃでの逆フーリエ変換結果との乗算を行う。
ステップ２ｈ：
ステップ２ｇでの乗算結果に基づいて要素の総和を計算する演算により、方法２の評価関数の拘束項の値が得られる。
実施例１及び実施例２では、空間領域の高解像度画像
に対して、数３で表す『平均画素値による評価関数』が再定義され、空間領域の高解像度画像に対する最適化を行う方法を述べた。
ところで、よく知られているように、空間領域の高解像度画像
とそのフーリエ変換に対応する周波数領域の高解像度画像
（以下、単に、周波数領域の高解像度画像
とも称する）には、一対一の関係がある。よって、周波数領域での高解像度画像を最適化することと、空間領域での高解像度画像を最適化することは、等価な処理であると言える。
そのため、空間領域の高解像度画像
に対してではなく、周波数領域の高解像度画像
に対して最適化計算を行い、高解像度画像を再構成することも可能である。このように、周波数領域での高解像度画像
に対して最適化を行うことを考えると、その評価関数
は下記数１２のように表される。
つまり、実施例３の超解像処理の高速化方法（以下、単に、方法３とも称する）では、数３で表す『平均画素値による評価関数』が、高解像度画像の周波数表現、即ち、周波数領域での高解像度画像
に対して再定義される。方法１や方法２と比べて、方法３は評価関数が高解像度画像の周波数表現に対して再定義されていることが大きな特徴である。
実施例３の超解像処理の高速化方法では、超解像処理全体の評価関数が下記数１２で、また、評価関数の周波数領域での高解像度画像
に対する微分
が下記数１３で、それぞれ定式化される。
なお、数１２の右辺の第１項を方法３の誤差項と、数１２の右辺の第２項を方法３の拘束項と、数１３の右辺の第１項を方法３の誤差項の周波数領域での高解像度画像
に対する微分と、数１３の右辺の第２項を方法３の拘束項の周波数領域での高解像度画像
に対する微分と、それぞれ称する。
次に、方法３の誤差項及びその誤差項の周波数領域での高解像度画像に対する微分の計算手順をブロック図の図５に示す。また、方法３の拘束項及びその拘束項の周波数領域での高解像度画像に対する微分の計算手順をブロック図の図６に示す。
なお、図５及び図６において、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換をそれぞれ表す。また、＋は要素毎の加算で、
は要素毎の乗算で、Σは要素の総和を計算する演算で、Conj.は各要素の複素共役をとる演算である。
図５のブロック図に示されるように、方法３の誤差項及びその誤差項の周波数領域での高解像度画像
に対する微分の計算手順は次のようになっている。
ステップ３Ａ：
周波数領域での高解像度画像
とＰＳＦ画像
との乗算を行う。
ステップ３Ｂ：
ステップ３Ａでの乗算結果の逆フーリエ変換を行う。
ステップ３Ｃ：
ステップ３Ｂでの逆フーリエ変換結果から平均観測画像
を引くように演算する。
ステップ３Ｄ：
ステップ３Ｃでの演算結果と重み画像
との乗算を行う。
ステップ３Ｅ：
ステップ３Ｄでの乗算結果のフーリエ変換を行う。
ステップ３Ｆ：
ステップ３Ｅでのフーリエ変換結果とＰＳＦ画像
との乗算を行うことにより、方法３の評価関数の誤差項の周波数領域での高解像度画像
に対する微分が得られる。
ステップ３Ｇ：
ステップ３Ｃでの演算結果とステップ３Ｄでの乗算結果との乗算を行う。
ステップ３Ｈ：
ステップ３Ｇでの乗算結果に基づいて要素の総和を計算する演算により、方法３の評価関数の誤差項の値が得られる。
ステップ３Ａ：
周波数領域での高解像度画像
ステップ３Ｂ：
ステップ３Ａでの乗算結果の逆フーリエ変換を行う。
ステップ３Ｃ：
ステップ３Ｂでの逆フーリエ変換結果から平均観測画像
ステップ３Ｄ：
ステップ３Ｃでの演算結果と重み画像
ステップ３Ｅ：
ステップ３Ｄでの乗算結果のフーリエ変換を行う。
ステップ３Ｆ：
ステップ３Ｅでのフーリエ変換結果とＰＳＦ画像
ステップ３Ｇ：
ステップ３Ｃでの演算結果とステップ３Ｄでの乗算結果との乗算を行う。
ステップ３Ｈ：
ステップ３Ｇでの乗算結果に基づいて要素の総和を計算する演算により、方法３の評価関数の誤差項の値が得られる。
また、図６のブロック図に示されるように、方法３の拘束項及びその拘束項の周波数領域での高解像度画像
に対する微分の計算手順は次のようになっている。
ステップ３ａ：
周波数領域での高解像度画像
とカーネル画像
との乗算を行う。
ステップ３ｂ：
ステップ３ａでの乗算結果とカーネル画像
との乗算を行うことにより、方法３の評価関数の拘束項の周波数領域での高解像度画像
に対する微分が得られる。
ステップ３ｃ：
ステップ３ａでの乗算結果に対して、各要素の複素共役をとる演算を行う。
ステップ３ｄ：
ステップ３ｃでの演算結果とステップ３ａでの乗算結果との乗算を行う。
ステップ３ｅ：
ステップ３ｄでの乗算結果に基づいて要素の総和を計算する演算により、方法３の評価関数の拘束項の値が得られる。
ステップ３ａ：
周波数領域での高解像度画像
ステップ３ｂ：
ステップ３ａでの乗算結果とカーネル画像
ステップ３ｃ：
ステップ３ａでの乗算結果に対して、各要素の複素共役をとる演算を行う。
ステップ３ｄ：
ステップ３ｃでの演算結果とステップ３ａでの乗算結果との乗算を行う。
ステップ３ｅ：
ステップ３ｄでの乗算結果に基づいて要素の総和を計算する演算により、方法３の評価関数の拘束項の値が得られる。
以上のように、本発明の具体的な実施例について説明したが、次に、手持ちカメラにより撮影された実画像に対して、本発明に係る超解像処理の高速化方法を適用し、本発明の有効性を確認する。超解像処理には、１６枚（ベイヤー配列）の観測画像を低解像度画像として利用した。低解像度画像の６０×６０の領域を、倍率４×４に超解像処理し、２４０×２４０の高解像度画像を再構成した。ＰＳＦはガウシアンＰＳＦを利用した。拘束カーネルとして、ラプラシアン拘束カーネルを利用した。最適化計算は最急降下法を利用し、繰返し計算回数は２０回とした。レジストレーションは、手持ちカメラであることを考慮し、非特許文献５に開示されている「射影変換を仮定した勾配法」を利用した。なお、計算には、２.８[ＧＨｚ]（Pentium４）（登録商標）のＣＰＵを使用した。
図７には、本発明の発明者らが提案した特願２００４−３１６１５４に開示されている『超解像処理の高速化方法』を適用した超解像処理の結果と、本発明に係る超解像処理の高速化方法を適用した超解像処理の結果を示している。
具体的に、図７（Ａ）は、数３で表す『平均画素値による評価関数』に基づく超解像処理の結果を、図７（Ｂ）は、本発明実施例１の超解像処理の高速化方法を適用した超解像処理の結果を、図７（Ｃ）は、本発明実施例２の超解像処理の高速化方法を適用した超解像処理の結果を、図７（Ｄ）は、本発明実施例３の超解像処理の高速化方法を適用した超解像処理の結果を、それぞれ示している。
図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示す４種類の超解像処理結果は、主観評価としてほぼ同一である。次に、超解像処理の計算時間を見てみる。図７（Ａ）の超解像処理結果を得るための計算時間は９.６２[sec]で、図７（Ｂ）の超解像処理結果を得るための計算時間は１.３８[sec]で、図７（Ｃ）の超解像処理結果を得るための計算時間は１.０１[sec]で、
図７（Ｄ）の超解像処理結果を得るための計算時間は０.５９[sec]である。
図７（Ｄ）の超解像処理結果を得るための計算時間は０.５９[sec]である。
ところで、特願２００４−３１６１５４に開示されているように、特願２００４−３１６１５４に係る超解像処理の高速化方法を適用した超解像処理、つまり、数３で表す『平均画素値による評価関数』に基づく超解像処理は、従来の超解像処理より、高速になっていることが明らかである。上記の超解像処理の計算時間を比較すると、特願２００４−３１６１５４に開示されている方法による超解像処理より、本発明に係る超解像処理の高速化方法による超解像処理は、更なる高速化を実現したことが良く分かる。
つまり、『平均画素値による評価関数』に基づく超解像処理と比較して、本発明の方法１は計算時間で６.９７倍、方法２は計算時間で９.５２倍、方法３は計算時間で１６.３倍、計算が高速になっていることが確認された。
Claims (4)
- 位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、
位置合わせにより高解像度画像空間内で不等間隔にサンプリングされた前記低解像度画像の画素（以下、「観測画素」とする）の位置を、前記高解像度画像の画素位置で近似し、
各高解像度画素位置に近似された観測画素の平均画素値を画素値とし、前記高解像度画像の画素数と同じ画素数を有する画像を、平均観測画像とし、
各高解像度画素位置に近似された観測画素の個数を画素値とし、前記高解像度画像の画素数と同じ画素数を有する画像を、重み画像とし、
前記高解像度画像の画素数と同じ画素数を有し、各画素位置に対応するカメラモデルから得られる点広がり関数（ＰＳＦ）の値を画素値とする画像を、ＰＳＦ画像とし、
前記高解像度画像と前記ＰＳＦ画像の畳み込み積分の結果と、前記平均観測画像との差の重み付き二乗和に、前記高解像度画像の事前情報をもとにした拘束項を加えて得られた評価関数と、前記評価関数の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、
前記重み付き二乗和は、前記重み画像に基づき、計算されることを特徴とする超解像処理の高速化方法。 - 位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、
評価関数と前記評価関数の空間領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、
前記評価関数は、空間領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の空間領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は空間領域の前記高解像度画像のベクトル表現を、
はＰＳＦ画像のベクトル表現を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、αは拘束の強さを表す拘束パラメータを、＊は畳込み積分を、
は要素毎の乗算を、それぞれ表し、
二つのノルム
は、下記のように定義され、
ただし、
は複素共役を、Ｔは転置を、それぞれ表し、
また、
は、下記のように定義され、
ただし、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表すことを特徴とする超解像処理の高速化方法。 - 位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、
評価関数と前記評価関数の空間領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、
前記評価関数は、空間領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の空間領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は空間領域の前記高解像度画像のベクトル表現を、
はＰＳＦ画像のベクトル表現を、
のフーリエ変換を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、
のフーリエ変換を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、αは拘束の強さを表す拘束パラメータを、
は要素毎の乗算を、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表し、
二つのノルム
は、下記のように定義され、
ただし、
は複素共役を、Ｔは転置を、それぞれ表し、
また、
は、下記のように定義され、
ただし、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表すことを特徴とする超解像処理の高速化方法。 - 位置ずれを含む複数の低解像度画像から１つの高解像度画像を推定する超解像処理を高速化するための超解像処理の高速化方法であって、
評価関数と前記評価関数の周波数領域の前記高解像度画像に対する微分を利用して、前記高解像度画像を推定し、
前記評価関数は、周波数領域の前記高解像度画像に対して、次のように定式化され、
前記評価関数の周波数領域の前記高解像度画像に対する微分は、次のように定式化され、
ただし、
は周波数領域の前記高解像度画像のベクトル表現で、
はＰＳＦ画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、
は平均観測画像のベクトル表現を、
は重み画像のベクトル表現を、
は前記高解像度画像の事前情報を表すカーネル画像のベクトル表現を、
のフーリエ変換を、
のフーリエ変換を、αは拘束の強さを表す拘束パラメータを、ρはフーリエ変換による定数倍の違いを規格化する定数を、
は要素毎の乗算を、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表し、
二つのノルム
は、下記のように定義され、
ただし、
は複素共役を、Ｔは転置を、それぞれ表し、
また、
は、下記のように定義され、
ただし、Ｆはフーリエ変換を、Ｆ−１は逆フーリエ変換を、それぞれ表すことを特徴とする超解像処理の高速化方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005134068A JP4126378B2 (ja) | 2005-05-02 | 2005-05-02 | 超解像処理の高速化方法 |
| US11/913,324 US8041151B2 (en) | 2005-05-02 | 2006-05-01 | Fast method of super-resolution processing |
| PCT/JP2006/309437 WO2006118352A1 (ja) | 2005-05-02 | 2006-05-01 | 超解像処理の高速化方法 |
| CN2006800138852A CN101164082B (zh) | 2005-05-02 | 2006-05-01 | 超分辨处理的高速化方法 |
| EP06746247A EP1879146A1 (en) | 2005-05-02 | 2006-05-01 | Method for speeding up super-resolution processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005134068A JP4126378B2 (ja) | 2005-05-02 | 2005-05-02 | 超解像処理の高速化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006309649A JP2006309649A (ja) | 2006-11-09 |
| JP4126378B2 true JP4126378B2 (ja) | 2008-07-30 |
Family
ID=37308127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005134068A Active JP4126378B2 (ja) | 2005-05-02 | 2005-05-02 | 超解像処理の高速化方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8041151B2 (ja) |
| EP (1) | EP1879146A1 (ja) |
| JP (1) | JP4126378B2 (ja) |
| CN (1) | CN101164082B (ja) |
| WO (1) | WO2006118352A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8654205B2 (en) | 2009-12-17 | 2014-02-18 | Nikon Corporation | Medium storing image processing program and imaging apparatus |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885208B2 (en) * | 2006-07-21 | 2014-11-11 | Adobe Systems Incorporated | Progressive refinement of an edited image using secondary high resolution image processing |
| JP4670058B2 (ja) | 2006-10-25 | 2011-04-13 | 国立大学法人東京工業大学 | 高解像度画像生成方法 |
| US8306121B2 (en) * | 2008-03-17 | 2012-11-06 | Ati Technologies Ulc | Method and apparatus for super-resolution of images |
| JP5181345B2 (ja) * | 2008-12-03 | 2013-04-10 | 国立大学法人東京工業大学 | 画像処理装置及び画像処理方法 |
| JP5448981B2 (ja) | 2009-04-08 | 2014-03-19 | 株式会社半導体エネルギー研究所 | 液晶表示装置の駆動方法 |
| JP5645051B2 (ja) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | 画像処理装置 |
| JP5645052B2 (ja) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | 画像処理装置 |
| JP2011180798A (ja) * | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| KR101961968B1 (ko) * | 2011-05-11 | 2019-03-25 | 아이큐브드 연구소 주식회사 | 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 |
| JP6000773B2 (ja) * | 2012-09-13 | 2016-10-05 | キヤノン株式会社 | 収差推定方法、プログラムおよび撮像装置 |
| KR102195407B1 (ko) | 2015-03-16 | 2020-12-29 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
| CN109584164B (zh) * | 2018-12-18 | 2023-05-26 | 华中科技大学 | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7515747B2 (en) * | 2003-01-31 | 2009-04-07 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
| JP4083063B2 (ja) | 2003-04-14 | 2008-04-30 | Ａｇｃ硝子建材エンジニアリング株式会社 | 合わせガラス支持構造 |
| KR100504594B1 (ko) * | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
| CN1555097A (zh) * | 2003-12-24 | 2004-12-15 | 中国人民解放军国防科学技术大学 | 面阵电荷耦合器件超分辨率成象技术中的快速算法 |
| JP3837575B2 (ja) * | 2004-10-29 | 2006-10-25 | 国立大学法人東京工業大学 | 超解像処理の高速化方法 |
| JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
-
2005
- 2005-05-02 JP JP2005134068A patent/JP4126378B2/ja active Active
-
2006
- 2006-05-01 US US11/913,324 patent/US8041151B2/en not_active Expired - Fee Related
- 2006-05-01 EP EP06746247A patent/EP1879146A1/en not_active Withdrawn
- 2006-05-01 WO PCT/JP2006/309437 patent/WO2006118352A1/ja active Application Filing
- 2006-05-01 CN CN2006800138852A patent/CN101164082B/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8654205B2 (en) | 2009-12-17 | 2014-02-18 | Nikon Corporation | Medium storing image processing program and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101164082B (zh) | 2010-05-26 |
| EP1879146A1 (en) | 2008-01-16 |
| WO2006118352A1 (ja) | 2006-11-09 |
| US8041151B2 (en) | 2011-10-18 |
| JP2006309649A (ja) | 2006-11-09 |
| US20090080806A1 (en) | 2009-03-26 |
| CN101164082A (zh) | 2008-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126378B2 (ja) | 超解像処理の高速化方法 | |
| JP3837575B2 (ja) | 超解像処理の高速化方法 | |
| US8731337B2 (en) | Denoising and artifact removal in image upscaling | |
| Farsiu et al. | Fast and robust multiframe super resolution | |
| JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
| EP2266095B1 (en) | Method and apparatus for super-resolution of images | |
| Rav-Acha et al. | Two motion-blurred images are better than one | |
| WO2008050589A1 (fr) | Procédé de génération d'image haute résolution | |
| Joshi et al. | Super-resolution imaging: use of zoom as a cue | |
| CN105844630A (zh) | 一种双目视觉的图像超分辨率融合去噪方法 | |
| CN106169173B (zh) | 一种图像插值方法 | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| Shen et al. | A MAP algorithm to super-resolution image reconstruction | |
| Tanaka et al. | A fast MAP-based super-resolution algorithm for general motion | |
| JP4724826B2 (ja) | 超解像処理のパラメータ設計方法 | |
| JP5181345B2 (ja) | 画像処理装置及び画像処理方法 | |
| Panagiotopoulou | Iterative multi-frame super-resolution image reconstruction via variance-based fidelity to the data | |
| JP2013069012A (ja) | 多眼撮像装置 | |
| Joshi et al. | Simultaneous estimation of super-resolved depth map and intensity field using photometric cue | |
| Patanavijit et al. | An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration | |
| Ousguine et al. | Motion estimation of aliased images using the phase correlation | |
| Su et al. | MPMAP super-resolution image restoration algorithm based on multiframes or multisensors | |
| JP5076757B2 (ja) | 画像処理方法およびプログラム | |
| Kwon et al. | Super-resolution image reconstruction with edge adaptive weight in video sequence | |
| Xie et al. | Motion-Based Blind Super-Resolution Approach to Overcome Spatial Limitation of Camera Sensor Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4126378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |