JP4670058B2

JP4670058B2 - 高解像度画像生成方法

Info

Publication number: JP4670058B2
Application number: JP2006290008A
Authority: JP
Inventors: 正行田中; 正敏奥富
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2006-10-25
Filing date: 2006-10-25
Publication date: 2011-04-13
Anticipated expiration: 2026-10-25
Also published as: WO2008050589A1; US9294654B2; JP2008109375A; US20100002949A1

Description

本発明は、複数の低解像度画像から高解像度画像を生成する、高解像度画像生成方法に関する。

複数の低解像度画像から高解像度画像を再構成する画像処理技術は、超解像処理と呼ばれており、従来から多くの技術が開発されてきた。

例えば、非特許文献１に記載されたように、ＭＬ（Maximum-likelihood）法やＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection On to Convex Sets）法などの代表的な超解像処理方法が提案されている。

ＭＬ法とは、仮定されている高解像度画像からの推定画素値と実際に観測された画素値の二乗誤差を評価関数とし、その評価関数を最小化するような高解像度画像を推定画像とする方法で、つまり、最尤推定の原理に基づく超解像処理方法である。

また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法で、つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。

そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。

上述したいずれの超解像処理方法では、まず、高解像度画像（初期高解像度画像）を仮定し、そして仮定した高解像度画像からカメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素毎に、その画素値を推定し、その推定値と観測された画素値（観測値）の差が小さくなるような高解像度画像を探索するという共通の特徴を有しており、これらの超解像処理方法は、再構成型超解像処理方法と呼ばれている。
特許第３８３７５７５号エス. シー. パーク（S.C. Park）、エム. ケイ. パーク（M.K. Park）、エム. ジィー.カン（M.G. Kang）共著,「スーパーレゾルーションイメージリコンストラクション：アテクニカルオーバービュー（Super-Resolution Image Reconstruction: A Technical Overview）」,ＩＥＥＥシグナルプロセシングマガジン（IEEE Signal Processing Magazine）, 2003年,第20巻,第3号,p.21-36 エム. シー. チャン（M．-C． Chiang）、ティー. イー. ボルート（T．E． T．E Boult）共著,「イフィシェントスーパーレゾルーションバイアイメージワーピング（Efficient super-resolution via imagewarping）」,イメージアンドビジョンコンピューティング（Image and Vision Computing）,2000年,第18巻,第10号,p.761-771

上述した既存の再構成型超解像処理方法では、いずれも初期高解像度画像を必要とする繰り返し計算により、高解像度画像を再構成するようにしているので、計算コストが非常に大きい。計算コストの低減は、既存の超解像処理方法の主な課題であった。

この課題を解決するために、特許文献１に開示されたように、本発明の発明者らは、計算コストを削減することにより、超解像処理（繰り返し再構成処理）の高速化を実現させた「超解像処理の高速化方法」を開発した。

一方、繰り返し計算を必要としない、複数の低解像度画像から高解像度画像を再構成する高解像度画像生成方法として、例えば、非特許文献２に開示された方法がある。非特許文献２に開示された方法では、繰り返し計算を行わないものの、低解像度画像を高解像度画像の大きさに補間しているため、補間の影響により、生成される高解像度画像は、ぼけた画像になってしまうという問題が生じてしまう。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、繰り返し計算を用いずに、位置ずれのある複数の低解像度画像から高解像度画像を生成できる、高解像度画像生成方法を提供することにある。

また、本発明のもう一つの目的は、低解像度画像が取得されるごとに、高解像度画像を逐次的に生成するようにした、高解像度画像生成方法を提供することにある。

本発明は、位置ずれを含む複数の低解像度画像から一つの高解像度画像を生成する高解像度画像生成方法に関し、本発明の上記目的は、前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像を生成する第２のステップと、前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップとを有し、前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、前記第２のステップにおいて、各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、前記第３のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定することにより、或いは、前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにすることにより、或いは、前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定することによって効果的に達成される。また、本発明の上記目的は、前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像、及び重み画像を生成する第２のステップと、前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップとを有し、前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、前記第２のステップにおいて、各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、各高解像度画素位置に近似された複数の低解像度画像画素の個数を画素値とすることにより前記重み画像を生成するステップを含み、前記重み画像を生成する際に、前記平均画像の前記未定義画素の画素位置と同じ位置にある画素の画素値をゼロとし、前記第３のステップでは、前記重み画像の画素値も使用して前記未定義画素の周辺に存在する定義画素の画素値を補間することにより、前記未定義画素の画素値を推定することにより、或いは、前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像、及び重み画像を生成する第２のステップと、前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップとを有し、前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、前記第２のステップにおいて、各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、各高解像度画素位置に近似された複数の低解像度画像画素の個数を画素値とすることにより前記重み画像を生成するステップを含み、前記重み画像を生成する際に、前記平均画像の前記未定義画素の画素位置と同じ位置にある画素の画素値をゼロとし、前記重み画像の画素値も使用して未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、前記第３のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定することによって効果的に達成される。

また、本発明の上記目的は、上記の高解像度画像生成方法により生成された高解像度画像を、繰り返し処理を必要とする超解像処理（繰り返し再構成処理）の初期画像として、前記繰り返し再構成処理を行うことにより、より高精細な高解像度画像を再構成することによってより効果的に達成される。

更に、本発明の上記目的は、低解像度画像が取得されるごとに、上記の高解像度画像生成方法を適用することにより、未定義画素を含む平均画像及び重み画像を更新し、その更新された平均画像に含まれている未定義画素の画素値を推定することにより、逐次的に高解像度画像を生成することによってより効果的に達成される。

本発明に係る高解像度画像生成方法によれば、位置ずれのある複数の低解像度画像（観測画像）から迅速かつ簡便に高解像度画像を生成することができる。

従来の再構成型超解像処理方法は、繰り返し計算が必要で計算コストが非常に大きいのに対して、本発明の高解像度画像生成方法は、繰り返し計算が不要なため、計算コストが小さい。

また、低解像度画像である観測画像が取得（入力）されるごとに、本発明を適用することにより、逐次的に高解像度画像を生成することができる。従来の再構成型超解像処理方法では、本発明のように逐次的に高解像度画像を生成することはできない。

さらに、本発明により生成された高解像度画像を、従来の超解像処理方法における繰り返し計算の初期画像（初期高解像度画像）として用いることができる。一方、従来の超解像処理方法では、低解像度画像である観測画像を単純拡大した画像を、初期画像（初期高解像度画像）として用いることは一般的である。

従って、本発明により生成された高解像度画像を、従来の超解像処理における初期画像とすることにより、従来の超解像処理でも少ない繰り返し回数で計算が収束ことになり、超解像画像が得られることができる。

以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。

本発明に係る高解像度画像生成方法は、繰り返し計算を用いずに、位置ずれのある複数の低解像度画像（以下、「低解像度画像」を単に「観測画像」とも言う）から高解像度画像を生成（再構成）できるようにした、高解像度画像生成方法である。

本発明では、位置ずれのある複数枚の低解像度画像から高解像度画像を生成（再構成）するためには、まず、これら複数枚の低解像度画像の位置合わせ処理を行う必要がある。

位置合わせ処理において、位置ずれのある複数枚の観測画像（低解像度画像）の各画素は、レジストレーション（位置合わせ）により、高解像度画像空間のある位置に対応付けられる。つまり、レジストレーションの後では、複数枚の観測画像は、高解像度空間内で不等間隔にサンプリングされた画素であると考えることができる。

この不等間隔にサンプリングされた画素位置（以下、単に観測画素位置とも称する）を高解像度画像の画素位置（以下、単に、高解像度画素位置とも称する）で近似することを考える。このとき、ある高解像度画素位置に近似される観測画素（観測画素位置）は、複数ある場合が考えられる。逆に、近似される観測画素（観測画素位置）が存在しない高解像度画素位置も存在する。

ここで、各高解像度画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成することができる。本発明では、この画像を「平均レジストレーション画像」と呼ぶことにする。なお、以下、この平均レジストレーション画像を単に「平均画像」とも称する。

平均レジストレーション画像は、その画素間隔（画素数）が高解像度画像と等しい。ただし、近似される観測画素が存在しない画素位置に対しては、その画素値は定義されない。ここで、平均レジストレーション画像において、画素値が定義されていない画素を「未定義画素」と称する。換言すれば、平均画像に未定義画素が含まれているため、平均画像は完全な高解像度画像ではないと言える。また、平均画像において、未定義画素を除いて残りの全ての画素は、その画素値が定義されているので、以下、単に「定義画素」とも称する。

また、各高解像度画素位置に近似された観測画素の個数も、同様に１つの画像となる。本発明では、この画像を「重み画像」と呼ぶことにする。

即ち、重み画像は、その画素数が平均画像の画素数と同じであり、また、平均画像の未定義画素の画素位置と同じ位置にある画素の画素値はゼロになり、平均画像の定義画像の画素位置と同じ位置にある画素がゼロより大きい画素値を有する。

上述したように、複数の低解像度画像とその位置ずれ情報から、未定義画素を含む平均画像、及び重み画像を生成することができる。この平均画像の解像度は、再構成される高解像度画像と同じである。

本発明では、平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成（再構成）できることを着眼点としている。つまり、平均画像における未定義画素の画素値を何らかの方法により推定することができれば、高解像度画像を生成することができる訳である。

未定義画素の画素値の推定方法としては、未定義画素の周辺に存在する定義画素（以下、単に、周辺画素とも称する）の画素値から補間する方法や、未定義画素の画素値を任意の参照画素の画素値で置き換える方法、および上記２つの方法で得られた結果をアルファブレンド（alpha blend）する方法などが考えられる。

具体的に、本発明の高解像度画像生成方法では、取得された複数の低解像度画像（低解像度の観測画像）と、レジストレーション（位置合わせ）により得られた低解像度画像の位置ずれ情報から、平均画像及び重み画像を生成し、そして、生成された平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成するようにしている。

また、本発明では、低解像度画像が取得されるごとに、即ち、観測画像が観測されるごとに、未定義画素を含む平均画像及び重み画像を更新し、その更新された平均画像に含まれている未定義画素の画素値を推定することにより、逐次的に高解像度画像を生成するようにもしている。

具体的に、まず、最初に取得された低解像度画像、即ち、最初に観測された観測画像に対し、本発明に係る高解像度画像生成方法を適用し、つまり、最初に観測された観測画像に基づき、その観測画像の位置合わせ処理を行う。位置合わせ処理により得られた位置ずれ情報と、観測画像とに基づき、未定義画素を含む平均画像及び重み画像を生成する。平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成する。ここで、生成された高解像度画像を観測画像と見做す。以下、このように見做された観測画像を「見做し観測画像」と呼ぶ。なお、最初に取得された観測画像は、１枚でも複数枚でも良い。

次に、観測画像が取得されるごとに（ここでも、取得された観測画像は、１枚でも複数枚でも良い。）、その際に取得された観測画像と、見做し観測画像とをまとめて、複数の観測画像として、本発明に係る高解像度画像生成方法を適用し、高解像度画像を生成する。生成された高解像度画像をまた、見做し観測画像とする。

このようにして、観測画像が取得されるごとに、本発明に係る高解像度画像生成方法を適用することにより、逐次的に高解像度画像を生成することができる。

勿論、上記の処理において、生成された高解像度画像を観測画像と見做さないで、観測画像が取得されるごとに、その際に取得された観測画像と、それまでに取得された観測画像をまとめて、複数の観測画像として、本発明に係る高解像度画像生成方法を適用し、高解像度画像を逐次的に生成することも可能である。

次に、本発明において、平均画像に含まれている未定義画素の画素値の推定方法（以下、単に、未定義画素値推定方法とも称する）の実施形態について説明する。

＜１＞未定義画素値推定方法その１
「未定義画素値推定方法その１」とは、未定義画素の周辺に存在する定義画素の画素値（周辺画素の画素値）を補間することにより、未定義画素の画素値を推定する方法である。

具体例として、例えば、
（ａ１）ＲＧＢ各チャネルを独立に補間する方法、
（ａ２）Ｇチャネルの未定義画素を補間した後に、色差(Ｒ−ＧおよびＢ−Ｇ)について補間する方法、
（ａ３）一度、未定義画素のＲＧＢ各チャネルの画素値を補間した後に、輝度(Ｙ)を求め、Ｒ−Ｙ、Ｇ−ＹおよびＢ−Ｙについて、未定義画素を補間し直す方法、
によって、未定義画素の画素値を推定するようにして良い。

＜２＞未定義画素値推定方法その２
「未定義画素値推定方法その２」とは、平均画像と同じ画素数を有する、任意の参照画像を用意し、未定義画素の画素位置に対応する参照画像の画素値を当該未定義画素の画素値とする方法である。

具体例として、例えば、
（ｂ１）１枚の観測画像（低解像度画像）を拡大した画像、
（ｂ２）これまで観測された観測画像、即ち、取得された全ての低解像度画像を拡大し、これら画像の位置ずれを考慮して平均した画像、
（ｂ３）単色の画像、
といった画像を参照画像とすることができる。

＜３＞未定義画素値推定方法その３
「未定義画素値推定方法その３」とは、「未定義画素値推定方法その１」により推定された未定義画素値（以下、単に、未定義画素の第１画素値と呼ぶ）と、「未定義画素値推定方法その２」により推定された未定義画素値（以下、単に、未定義画素の第２画素値と呼ぶ）をアルファブレンド（alpha blend）することにより、未定義画素値を推定する方法である。

具体例として、例えば、アルファブレンド（alpha blend）を行う際に、必要なアルファ値（α）下記のような方法で推定することができる。
（ｃ１）アルファブレンドのアルファ値（α）を、未定義画素の画素位置により変化させる方法
（ｃ２）未定義画素の周辺に存在する定義画素の数、即ち、周辺画素の数に基づき、アルファブレンドのアルファ値（α）を推定する方法

さらに、上記のように、本発明に係る高解像度画像生成方法により生成された高解像度画像を、繰り返し処理を必要とする超解像処理（即ち、従来の再構成型超解像処理）の初期高解像度画像として用いることができる。

次に、本発明に係る高解像度画像生成方法の実施例を説明する。

上述したように、本発明の高解像度画像生成方法は、複数枚の観測画像（低解像度画像）から、高解像度画像を生成する方法であり、具体的に、図１に示す流れに沿って高解像度画像を生成するようにしている。

なお、説明を簡単にするために、グレイ画像に対する処理のみを示すが、カラー画像においても、同様に処理することができることは言うまでも無い。

図１に示されるように、まず、取得された複数枚の観測画像のうち、基準画像として、１枚の観測画像を選択し、そして、基準画像として選択された観測画像（以下、単に基準画像を言う）に対する位置ずれを、既存の手法により推定する。つまり、観測画像に対し、位置合わせ処理（レジストレーション）を行う。例えば、位置ずれの推定に濃度勾配法を利用することができる。

具体的に、観測画像から輝度を推定し、推定された輝度に基づき、輝度画像を生成する。生成された輝度画像に対して、射影変換をモーションモデルとする濃度勾配法により、各観測画像間の位置ずれ情報を推定することができる。

次に、推定された位置ずれ情報と観測画像から、平均画像（平均レジストレーション画像）、及び重み画像を生成する（図１参照）。既述したように、重み画像の画素値がゼロであれば、対応する平均画像には画素値が定義されていないことになる。即ち、画素値がゼロである重み画像の画素は、対応する平均画像の画素は、未定義画素である。

ここでは、平均画像における未定義画素の画素値推定方法（未定義画素値推定方法）の具体実施例を詳細に述べる。

（１）周辺画素を利用した未定義画素推定
ここで、（ｘ,ｙ）を画像の座標とし、Ｉ（ｘ,ｙ）を平均画像（平均レジストレーション画像）とする。このとき、位置（ｘ,ｙ）に対応する未定義画素の画素値

を、下記数１により推定する。

ただし、（ｘ,ｙ）の画素が未定義の場合に、Ｕ（ｘ,ｙ）＝０が成立し、一方、（ｘ,ｙ）の画素が定義されている場合に、Ｕ（ｘ,ｙ）＝１が成立する。

また、ｗ（ｘ,ｙ）は重み関数を表し、Ｒは近傍の領域を表すパラメータである。重み関数としては、例えば、ガウシアン関数が利用できる。

従って、「周辺画素を利用した未定義画素推定方法」により生成される高解像度画像ｈ_Ｉ（ｘ,ｙ）は、下記数２のように表すことができる。

（２）参照画像を利用した未定義画素推定
ここで、任意の参照画像をＴ（ｘ,ｙ）とする。参照画像の例としては、基準画像を拡大した画像や、単色の画像が考えられる。

「参照画像を利用した未定義画素推定方法」とは、未定義画素をＴ（ｘ,ｙ）で置き換える方法である。

従って、「参照画像を利用した未定義画素推定方法」により生成される高解像度画像ｈ_Ｔ（ｘ,ｙ）は、下記数３のように表すことができる。

（３）アルファブレンドを応用した方法
ここで言う「アルファブレンドを応用した方法」とは、図２に示すように、上述した「周辺画素を利用した未定義画素推定」と、「参照画像を利用した未定義画素推定」をアルファブレンドすることにより、未定義画素の画素値を推定する方法である。

従って、「アルファブレンドを応用した方法」により、生成される高解像度画像ｈ_α（ｘ,ｙ）は、下記数４のように表すことができる。

ここで、αはアルファブレンドのアルファ値である。

上述した未定義画素推定方法により、平均画像における未定義画素の画素値を推定することができる。これで、平均画像の全ての画素は定義されることになり、本発明では、全ての画素が定義されている平均画像を高解像度画像とすることにより、高解像度画像を生成するようにしている。

更に、上記のように生成された高解像度画像、即ち、本発明の高解像度画像生成方法により生成された高解像度画像を、繰り返し処理を必要とする超解像処理（繰り返し再構成処理）の初期高解像度画像として、繰り返し処理を行うことにより、より高精細な高解像度画像を再構成することができる。一連の処理の流れを図３に示す。

即ち、本発明のもう一つの実施形態として、図３に示されるように、まず、取得された低解像度画像に対して、位置ずれ推定を行い、得られた位置ずれ情報と、低解像度画像とに基づき、平均画像を生成する。生成された平均画像における未定義画素について、その画素値を上述した「未定義画素値推定方法」で推定することにより、高解像度画像を生成する。より高精細な高解像度画像（以下、単に「出力画像」と呼ぶ）が必要の場合に、生成された高解像度画像を、繰り返し処理を必要とする超解像処理の初期高解像度画像として、繰り返し再構成処理を行うことにより、その出力画像が得られる。

以上のように、本発明の具体的な実施形態について説明したが、次に、実際に取得された観測画像（低解像度画像）に対して、本発明を適用し、本発明の有効性を確認する。

まず、本発明により生成された高解像度画像の効果を確認した。３０枚の観測画像を既存手法により位置合わせ（レジストレーション）を行った。図４は観測画像の拡大図である。これら３０枚の観測画像と、位置合わせにより得られた位置ずれ情報とに基づき、本発明を適用し、縦横４倍の画素数の高解像度画像を生成した。その結果として、図６に周辺画素値を利用した未定義画素推定による高解像度画像を、図７は基準画像を利用した未定義画素推定による高解像度画像を、それぞれ示す。

繰り返し計算を必要としない、複数の低解像度画像から高解像度画像を再構成する高解像度画像生成方法として、既に非特許文献２に開示されたチャン（Chiang）らの方法があるが、図５に、非特許文献２に開示されたチャン（Chiang）らの方法により生成された高解像度画像を示す。

図４、図５、図６及び図６を観察すれば分かるように、図６と図７の本発明による生成された高解像度画像は、図４の観測画像や図５の従来方法による生成された高解像度画像と比べて、明らかに解像感が向上していることが確認できた。

次に、本発明により逐次的な高解像度画像生成の効果を確認した。逐次的に観測画像を増やしながら、本発明を適用し、逐次的に高解像度画像を生成したときの結果を図８と図９に示す。

図８に周辺画素値を利用した未定義画素推定を利用した結果を、図９に基準画像を利用した未定義画素推定を利用した結果を、それぞれ示す。図８（Ａ）及び図９（Ａ）は、１枚の観測画像から生成された画像を示す。図８（Ｂ）及び図９（Ｂ）は、２枚の観測画像から生成された画像を示す。図８（Ｃ）及び図９（Ｃ）は、５枚の観測画像から生成された画像を示す。図８（Ｄ）及び図９（Ｄ）は、１０枚の観測画像から生成された画像を示す。図８（Ｅ）及び図９（Ｅ）は、２０枚の観測画像から生成された画像を示す。図８（Ｆ）及び図９（Ｆ）は、３０枚の観測画像から生成された画像を示す。

図８及び図９から、観測画像を増やすにつれて逐次的に高解像度画像が生成されていく様子が確認された。

最後に、本発明により生成された高解像度画像を、繰り返し再構成処理（従来の再構成型超解像処理）の初期画像（初期高解像度画像）としての効果を確認した。

繰り返し計算を必要とする従来の再構成型超解像処理に対して、異なる初期画像（初期高解像度画像）を利用したときの収束性の違いを図１０に示す。

繰り返し計算による再構成法には、本発明の発明者らが開発した、超解像処理（繰り返し再構成処理）の高速化を実現させた「超解像処理の高速化方法」（特願２００５−１３４０６８参照）を利用した。初期画像（初期高解像度画像）としては、ランダムノイズ画像、全ての画素値が一定値である一定値画像、本発明を適用し周辺画素値を利用した未定義画素推定による高解像度画像、及び本発明を適用し基準画像を利用した未定義画素推定による高解像度画像を利用した。

図１０から明らかなように、本発明により生成された高解像度画像（即ち、周辺画素値を利用した未定義画素推定による高解像度画像、及び基準画像を利用した未定義画素推定による高解像度画像）を初期画像として利用することにより、繰り返し計算の効率が向上することが確認された。

本発明に係る高解像度画像生成方法の概要を説明するためのブロック図である。本発明において、アルファブレンドを応用した未定義画素値推定方法を説明するためのブロック図である。本発明のもう一つの実施形態を説明するためのブロック図である。観測画像（低解像度画像）の拡大図である。非特許文献２に開示されたチャン（Chiang）らの方法により生成された高解像度画像を示す図である。本発明を適用し、周辺画素値を利用した未定義画素推定による高解像度画像を示す図である。本発明を適用し、基準画像を利用した未定義画素推定による高解像度画像を示す図である。本発明を適用し、周辺画素値を利用した未定義画素推定による逐次的な高解像度画像生成の効果を示す図である。本発明を適用し、基準画像を利用した未定義画素推定による逐次的な高解像度画像生成の効果を示す図である。繰り返し計算を必要とする従来の再構成型超解像処理に対して、異なる初期画像を利用したときの収束性の違いを示す図である。

Claims

位置ずれを含む複数の低解像度画像から一つの高解像度画像を生成する高解像度画像生成方法であって、
前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、
前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像を生成する第２のステップと、
前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップと、
を有し、
前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、
前記第２のステップにおいて、各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、
未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、
平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、
前記第３のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定することを特徴とする高解像度画像生成方法。
前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにする請求項１に記載の高解像度画像生成方法。
前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定する請求項１に記載の高解像度画像生成方法。
位置ずれを含む複数の低解像度画像から一つの高解像度画像を生成する高解像度画像生成方法であって、
前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、
前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像、及び重み画像を生成する第２のステップと、
前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップと、
を有し、
前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、
前記第２のステップにおいて、
各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、
各高解像度画素位置に近似された複数の低解像度画像画素の個数を画素値とすることにより前記重み画像を生成するステップを含み、前記重み画像を生成する際に、前記平均画像の前記未定義画素の画素位置と同じ位置にある画素の画素値をゼロとし、
前記第３のステップでは、前記重み画像の画素値も使用して前記未定義画素の周辺に存在する定義画素の画素値を補間することにより、前記未定義画素の画素値を推定することを特徴とする高解像度画像生成方法。
位置ずれを含む複数の低解像度画像から一つの高解像度画像を生成する高解像度画像生成方法であって、
前記複数の低解像度画像の位置合わせ処理を行う第１のステップと、
前記位置合わせ処理により得られた位置ずれ情報と、前記複数の低解像度画像とに基づき、未定義画素を含む平均画像、及び重み画像を生成する第２のステップと、
前記平均画像に含まれている未定義画素の画素値を推定することにより、前記高解像度画像を生成する第３のステップと、
を有し、
前記第１のステップにおいて、前記複数の低解像度画像の各画素は、前記位置合わせ処理により、高解像度画像空間のある位置に対応付けられ、
前記第２のステップにおいて、
各高解像度画素位置に近似された複数の低解像度画像画素の平均画素値をそれぞれ計算することにより前記平均画像を生成するステップを含み、前記未定義画素は、前記平均画像を生成する際に、近似される低解像度画像画素が存在しない高解像度画素位置にある画素とし、
各高解像度画素位置に近似された複数の低解像度画像画素の個数を画素値とすることにより前記重み画像を生成するステップを含み、前記重み画像を生成する際に、前記平均画像の前記未定義画素の画素位置と同じ位置にある画素の画素値をゼロとし、
前記重み画像の画素値も使用して未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、
平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、
前記第３のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定することを特徴とする高解像度画像生成方法。
前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにする請求項５に記載の高解像度画像生成方法。
前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定する請求項５に記載の高解像度画像生成方法。
請求項４乃至７の何れかに記載の高解像度画像生成方法により生成された高解像度画像を、繰り返し処理を必要とする超解像処理（繰り返し再構成処理）の初期画像として、前記繰り返し再構成処理を行うことにより、より高精細な高解像度画像を再構成することを特徴とする高解像度画像生成方法。
低解像度画像が取得されるごとに、請求項４乃至７の何れかに記載の高解像度画像生成方法を適用することにより、未定義画素を含む平均画像及び重み画像を更新し、その更新された平均画像に含まれている未定義画素の画素値を推定することにより、逐次的に高解像度画像を生成することを特徴とする高解像度画像生成方法。