WO2007122838A1

WO2007122838A1 - 階層ベイズ法に基づく超解像法および超解像プログラム

Info

Publication number: WO2007122838A1
Application number: PCT/JP2007/051936
Authority: WO
Inventors: Atsunori Kanemura; Shinichi Maeda; Shin Ishii
Original assignee: National University Corporation NARA Institute of Science and Technology
Priority date: 2006-04-25
Filing date: 2007-02-05
Publication date: 2007-11-01
Also published as: JPWO2007122838A1

Abstract

　同一の対象を撮影した複数枚の観測画像をもとに、より高い解像度の画像を生成する超解像問題において、隠れマルコフ確率場事前分布とその周辺化をとりこんだアルゴリズムにより高解像度画像を推定する方法およびプログラムを提供する。劣化された複数の観測画像から原画像を復元する解像において、複数の観測画像についてベイズ推定の手法を用い、特に、画像の生成過程に、局所的な滑らかさと大域的な滑らかさの２つからなる階層的な事前分布を仮定する手法により、ボケた画像を推定してしまうという問題を回避し、またパラメータの推定精度を向上する。また、エッジ保存性を持つ隠れマルコフ確率場を事前分布とし、かつ周辺化をおこなうことで高精度の劣化過程の同定と高解像度の画像推定の両方を実現する。さらに、適切な近似により多項式オーダとして計算コストを小さくする。

Description

明細書

階層ベイズ法に基づく超解像法および超解像プログラム

技術分野

[0001] 本発明は、画像処理に関し、特に複数の低解像度の画像を使用して劣化画像から原画像を高精度に復元する超解像の方法およびプログラムに関するものである。背景技術

[0002] 超解像とは，カメラ、ビデオなどレンズや CCD (Charge Coupled Devices)で構成される結像系に内在する物理的限界を超えて，画像の解像度を高めることをいう。カメラ、ビデオなど撮像装置では、レンズや CCDなどの構成部品の品質が撮影される画像の解像度を決定する。また、レンズの収差に起因するボケや CCDの密度に依存するサブサンプリング，さらに CCDのショットノイズなど観測に混入するノイズにより，撮影された画像は、真の撮影対象の画像 (原画像)よりも劣化したものになる.

[0003] レンズや CCDなどの構成部品のハードウェアの工夫では超えようのない物理的な限界を突破した高解像度の画像を得るために、ソフトウェア的な超解像処理を行い、カメラ、ビデオなどの撮像装置の能力を超える高解像度の画像を得る方法が研究されている。また、撮像対象の物体を僅かずつ異なる位置'角度から撮影した画像を複数枚用意できる場合、それら複数の観測画像の情報を統計的に情報処理することで、より高、解像度の画像を生成できることが知られて、る。

[0004] 低解像度の画像を使用して劣化画像から原画像を高精度に復元する超解像手法のうち統計的な解法に関する従来の研究は、最尤法， MAP (maximum a posteriori) 法，ベイズ統計法の 3つに大別される。

超解像のァリゴリズムは数多くあるが、ほとんどは位置ズレ推定と高解像度画像推定は別のモデルにもとづいている。同一の確率モデルによる超解像法では、 MAP 法を用いた Hardieらゃ (非特許文献 1)、ベイズ統計法を採用した Tipping&Bishopの方法が知られている（非特許文献 2)。非特許文献 2では、高解像度画像の周辺化を用いたベイズ統計法により、モデルパラメタの推定精度が著しく上昇することが示されている。 Tipping&Bishopは、高解像度画像の事前分布に単純なガウス確率場を採用し、原画像の局所なめらかさ制約を事前分布として加え、事後確率最大化推定を行い、一般には困難な周辺化演算を解析的に実行可能にしている。

[0005] 非特許文献 1 : R. C. Hardie, K. J. Barnard, and E. E. Armstrong, "Joint MAP registr ation and nighresolution image estimation using a sequence of undersampled images,

IEEE Transactions on Image Processing, vol. 6, no. 12, pp. 16211633, 1997. 非特許文献 2 : M. E. Tipping and C. M. Bishop, "Bayesian image super-resolution, in Advances in Neural Processing Systems 15 (S. Becker, S. Thrun, and K. Obermay er, eds.), pp. 12791286, MIT Press, 2003.

発明の開示

発明が解決しょうとする課題

[0006] Tipping&Bishopは、高解像度画像の周辺化を用いたベイズ統計法を超解像度に最初に適用し、周辺化によりモデルパラメタの推定精度が飛躍的に向上することを示した。 Tipping&Bishopは、ガウス確率場と呼ばれる確率過程を原画像に仮定した (高解像度画像の事前分布に用いた単純なガウス確率場を用いた)ものであり、これは局所的な滑らかさ制約を加えたことに相当する。しかし、この滑らかさに対する強い制約のため、高解像度画像の推定の際にはボケた画像を推定してしまうという問題があつた。

また、原画像の真の事前分布から離れた単純なガウス確率場の事前分布を用いてモデルパラメタの推定を行うため、モデルパラメタの推定精度が悪くなるという問題があつた o

[0007] 現実の画像は物体の境界にエッジが存在しており、局所的な滑らかさば力りでなく、近傍の画素とは相関のない大域的な滑らかさもあるので、両者を制御する隠れ変数を持ち、両者の特性を併せ持つ階層的な事前分布がより適切と考えられるが、こうした階層的な事前分布を用いると推定 (画像復元）に多大な計算量が必要となる問題点があった。

[0008] 上記問題点に鑑み、本発明は、現実の画像の性質に関する事前分布として、局所的な滑らかさと大域的な滑らかさの 2つ力もなる階層的な事前分布を用いて、また、原画像の劣化過程におけるパラメータ推定にベイズ推定を用いることで、高精度の超解像を実現することを目的とする。

課題を解決するための手段

[0009] 上記目的を達成するため、本発明の超解像法は、原画像に関連する複数の低解像度の画像力高解像度の画像を生成するための方法であって、

(1)前記複数の低解像度の画像を入力するステップと、

(2)前記高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と相関をもたな、)とを組み合わせた階層化分布と定義するステップと、

(3)前記高解像度の画像の事後分布をベイズ推定の手法を用いて推定するステップと、

(4)原画像の劣化過程のパラメータをベイズ推定の手法を用いて推定するステップと

(5)ステップ（3)で推定した高解像度の画像の事後分布に基づ!、て、ステップ (4)で収束したパラメータを用い、高解像度の画像を生成するステップと、を含むことを特徴とするちのである。

[0010] 原画像に対して、位置ずれ、回転、ボケ、低解像化、ノイズなどが加わることで、観測画像が得られると、うのは一般的な状況である。このように劣化された観測画像から原画像を復元する解像は、劣化が不可逆過程であるため、たとえ劣化過程が既知であったとしても不可能であるが、観測画像が複数あり劣化過程が観測画像ごとに独立に近、場合は、それら複数の観測画像にっ、て一種の多数決を用いることで推定可能となる。

[0011] 本発明の超解像法は、この多数決に統計的推定法の一種であるベイズ推定の手法を用いることで、高精度の解像が可能となる超解像を実現する。特に、画像の生成過程に、局所的な滑らかさと大域的な滑らかさの 2つからなる階層的な事前分布を仮定する手法により、高解像度画像の推定の際にはボケた画像を推定してしまうという問題を回避する。

また、真の事前分布に近い、局所的な滑らかさと大域的な滑らかさの 2つ力もなる階層的な事前分布を仮定することで、パラメータの推定精度を向上する。本発明の超解像法では、原画像の劣化過程のパラメータ (位置ズレなどのパラメ一タ）については陽に推定し、位置ズレなどのパラメータを推定する際に、高解像度画像に関しては陽に定めず確率分布を推定し、それらの期待値をとるような周辺化によつてオーバーフィッティングを防いでいる力位置ズレなどのパラメータに関しても陽に定めず、確率分布を推定するようなベイズ統計法を用いることも可能である。

[0012] ここで、局所的な滑らかさと大域的な滑らかさの 2つ力もなる階層的な事前分布とは、原画像の境界を表現し得る混合分布のことで、各画素は近傍の画素と相関を有する力、或いは、全く違う値をとつてもよいとする原画像の性質に関する知識である。

[0013] また、本発明の超解像法は、原画像に関連する複数の低解像度の画像力ゝら高解像度の画像を生成するための方法であって、

(1)前記複数の低解像度の画像を入力するステップと、

(5)前記パラメータの値が収束するまで、ステップ（3)〜 (4)を反復するステップと、

(6)ステップ（3)で推定した高解像度の画像の事後分布に基づ!、て、ステップ (4)で収束したパラメータを用い、高解像度の画像を生成するステップと、を含むことを特徴とするちのである。

[0014] 本発明におヽては、高解像度画像を隠れ変数とし、その確率分布 (のパラメータ)と、位置ズレなどのパラメータと交互に最適化する方法 (EMアルゴリズム)を用いて、る 1S これら 2種類のパラメータは同時に推定することも、交互に最適化することも可能である。どちらの場合でもこれら 2種類のパラメータに関しての自由エネルギの最小化となるようにパラメータを収束させるのである。

[0015] また、本発明の超解像法は、上記のステップ（2)における高解像度の画像の事前分布を、エッジ保存性を有する隠れマルコフ確率場と定義することを特徴とする。エッジ保存性を持つ隠れマルコフ確率場を事前分布とし、かつ周辺化をおこなうことで高精度の劣化過程の同定と高解像度の画像推定の両方を実現するのである。

[0016] また、本発明の超解像法は、上記のベイズ推定の手法を用いて推定するステップ（ 3)およびステップ (4)において、推定演算が多項式オーダとなるように所定の近似を行うことを特徴とする。

階層的な事前分布を仮定することで、推定が指数オーダとなり推定に多大な計算量が必要となるが、適切な近似により多項式オーダとして計算コストを小さくするのである。

ここで、適切な近似とは、事後分布を画素ごとに完全に独立な mixture of Gaussians で置き換えるという近似手法である（詳細については後述する）。なお、画素ごとに完全に独立な mixture of Gaussiansで置き換えなくとも、近傍画素間だけに相関を許す t 、つた近似計算も可能である。

[0017] 次に、本発明の超解像プログラムは、コンピュータに、原画像に関連する複数の低解像度の画像力も高解像度の画像を生成させるためのプログラムであって、

(1)原画像の複数の低解像度の画像を入力させる手順と、

(2)高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布と定義させる手順と、

(3)高解像度の画像の事後分布をベイズ推定アルゴリズムにより推定させる手順と、

(4)原画像の劣化過程のパラメータをベイズ推定アルゴリズムにより推定させる手順と、

(5)手順 (3)で推定した高解像度の画像の事後分布に基づヽて、手順 (4)で収束したパラメータを用い、高解像度の画像を生成させる手順を、を実行させることを特徴とする。

[0018] また、本発明の超解像プログラムは、コンピュータに、原画像に関連する複数の低解像度の画像力も高解像度の画像を生成させるためのプログラムであって、

(1)原画像の複数の低解像度の画像を入力させる手順と、 (2)高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布として判断させる手順と、

(5)前記パラメータの値が収束するまで、手順 (3)〜 (4)を反復させる手順と、

(6)手順 (3)で推定した高解像度の画像の事後分布に基づヽて、手順 (4)で収束したパラメータを用い、高解像度の画像を生成させる手順と、を実行させることを特徴とする。

[0019] また、上記の超解像プログラムの手順 (2)における高解像度の画像の事前分布を、エッジ保存性を有する隠れマルコフ確率場と定義することが好ましヽ。エッジ保存性を持つ隠れマルコフ確率場を事前分布とし、かつ周辺化をおこなうことで高精度の劣化過程の同定と高解像度の画像推定の両方を実現するためである。

[0020] さらに、上記の超解像プログラムのベイズ推定アルゴリズムにより推定する手順（3) および手順 (4)において、推定演算が多項式オーダとなるように所定の近似演算を行う手順を実行させることが好ましヽ。ベイズ推定アルゴリズムによる推定が指数ォーダとなり推定に多大な計算量が必要となるところを、適切な近似により多項式オーダとして計算コストを小さくすることができるためである。

発明の効果

[0021] 本発明の超解像法および超解像プログラムによれば、輪郭がはっきりとした高解像度画像を得ることができる。

また、本発明の超解像法および超解像プログラムによれば、全ての計算を多項式オーダに収める近似手法を用いることで、計算コストを減少することができる。

発明を実施するための最良の形態

[0022] 以下、図面を参照しつつ、本発明の超解像法および超解像プログラムの実施例を説明する。図 1に、本発明の超解像法のフローチャートを示す。

[0023] (1)先ず、 2個以上の低解像度の画像を入力する (ステップ S 10)。ここで、低解像度の画像とは、原画像に対して、位置ずれ、回転、ボケ、ノイズなどが印加されたり、レンズの収差に起因するボケや CCDの密度に依存するサブサンプリング，さらに CCD のショットノイズなど観測に混入するノイズによって、劣化された画像を指して!/、る。

[0024] (2)次に、高解像度の画像の事前分布について、局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布と定義する (ステップ S20)。

具体的には、画像の事前分布を、下式で示されるエッジ保存性を有する隠れマルコフ確率場と定義する。

[0025] [数 1] ( X )

'}

[0026] ここで、∑ ηはすべての 7} iに関する和∑ η 1 · · ·∑ η Ρθを表わすものである。また、隠れ変数 r? iは、画素 iのコネクテイビティを表現するもので、 r? i = 1のときは近傍の画素値と近い値を、 7? i = 0のときは近傍に関係ない値をとりやすくするものである。 ηの導入により、画素値の断裂を表現することが可能になり、エッジを保持した推定が期待できることになる。また、本事前分布はエッジを意識した分布であるため、遮蔽などによってエッジの生じる実際の画像の分布に適合しており、位置ズレの推定にお V、ても高精度を示すことが期待できるのである。

[0027] ここで、 7?の導入の利点について、経済性と平滑ィ匕の 2つの側面を説明する。

経済性の側面では、画素間に隠れ変数を付与するのではなく，画素ごとに付与する ηの導入は必要とされる近似の削減につながり、周辺化の計算を多項式時間で実行するために利便性が高ヽと、つた利点がある。

また、平滑化の側面では、 1つの 7? iは画素 iの近傍の画素全てに影響を及ぶため、 r? iを導入する方がより滑らかな画像になりやすぐ真の分布の性質に適合するといつた利点がある。

[0028] ある 7?の実現が与えられたときの高解像度画像 Xの分布は、下式で示されるギプス分布をとる。

[0029] [数 2] ， JJ

[0030] ここで、 Zpriは正規化項で、 (>0)は逆温度で、 Eは下式のように定義されるェネルギ関数である。

[0031] [数 3]

[0032] 但し、 S (χ、 η)と G (χ、 η )は、下式で示されるものである。

[0033] [数 4]

5 f , //；

[0034] [数 5]

[0035] c(>0)により、 S(x、 r?)と G(x、 r?)のバランスが調節されることになる。この第 1項

S (X、 7? )は、ある画素の値が近傍の画素値と近、ほど確率が高、ことを要請して!/ヽる局所的な滑らかさ制約である。一方、第 2項 G(x、 η )は、近傍の画素値に関係無く、 Vに近いほど確率が高いという条件を課す大域的な平滑ィ匕項である。この 2つのどちらをとるかを r?で制御する。すなわち、 r? i=lのとき、画素 iは第 1項 Sを小さくしょうと近傍の画素と近い値をとろうとし、 r?i =0のとき画素 iは第 2項を小さくしょうと近傍の画素値によらず Vに近い値をとろうとする。 ηが与えられたとき、エネルギ関数 Εは、常に非負、かつ、 Xの 2次関数であるから、正定値対称行列 Αを用いて下式で表される。

[0036] 園

E = (\ ιΐϊ:^_1Αι X in

[0037] 上式のエネルギ関数 Eにお、て、各項の行列、変数を下式に示す。 [0038] [数 7]

[0039] 上記から、ある 7?の実現が与えられたときの高解像度画像の事前分布 Ρ (Χ I 7? )は、結局のところ、ガウス分布であり下式で表される。

[0040] [数 8] = Gauss(x| oi, )^{_ 1} A^{- 1} )

[0041] ここで、隠れ変数 ηの事前分布 Ρ ( r? )は、各変数毎に独立に、確率 aで 7? i= 1 ,確率 1— aで 7? i = 0をとる分布、すなわち下式で表されるベルヌィ分布に設定する。

[0042] [数 9] p i tf) = Bernoulli -

[0043] 以上より、エッジ保存性を有する隠れマルコフ確率場と定義した画像の事前分布は

、混合ガウス分布となり、混合数は 2^P°,混合比は上式の Bernoulli ( r? | a)、成分は下式で示される。

[0044] [数 10]

Gauss 1

[ X \μ _}} , f厂 A_f}

[0045] (3)次に、高解像度の画像の事後分布および原画像の劣化過程のパラメータを推定する。この推定は、 2^P°個の項力もなる和を含むため、現実的な時間で計算するのは不可能である。

本発明は、現実的な時間で算出すベぐ試験分布を計算の容易な形にとった EM ( expectation― maximization) ノレコリズムを用ヽて、る。

EMアルゴリズムは、隠れ変数をもつ確率モデルにお、て最尤解を求めるための計算手順であり、自由エネルギの Eステップと Mステップによる交代最適化を反復するアルゴリズムである。隠れ変数は、直接観測できない高解像度画像 Xと離散変数 7?であると仮定する。 EMアルゴリズムを用いると、直接に尤度を計算するのが困難な場合にでも、より計算の容易な自由エネルギを計算することで効率的に最尤解を求めることができるのである。

[0046] EMアルゴリズムは、自由エネルギ F[q, Θ ]の交代最小化として定式ィ匕される。自由エネルギ F[q, Θ ]は，確率密度関数 qの汎関数かつモデルパラメタ Θの関数であり、下式のように定義される。

[0047] [数 11] x ( ( η. \ ) log

ト x;、

[0048] EMアルゴリズムの実行に際しては、まず適当なモデルパラメタの初期値 Θ を用意する。 EMアルゴリズムの第 1 ( > 1)反復における計算は、下式で表される Eステップと Mステップの 2ステップからなる。収束に至るまで反復して Eステップと Mステップの計算をくりかえし、収束したときの Θ ¹をモデルパラメタの推定値とする。

[0049] [数 12]

Η ス / q^l = i'g niin f" [^ —]],

Μ スツブ Θ¹ = i'g ΙΙΉ fi Θ]

[0050] 図 1におけるフローでは、高解像度の画像の事後分布をベイズ推定の手法を用いて推定するステップ S 30と、原画像の劣化過程のパラメータをベイズ推定の手法を用いて推定するステップ S40と、パラメータの値が収束するまで、ステップ S30〜ステツプ S40を反復するステップ S50となる。

[0051] ステップ S30における高解像度の画像の事後分布の推定は、指数オーダの項からなる和を含むことから、現実的な時間で計算するのは困難である。そこで、本発明では、試験分布 qを任意の確率分布にとるのではなぐ自由エネルギの計算が可能であるような簡単な形に限定することで EMアルゴリズムを実行可能とするのである。すなわち、試験分布 q ( r? , X)を次元ごとに独立に因子分解された下式で表される混合ガウス分布にとるのである。 [0052] [数 13]

= ]^[_¾Gauss(¾|^,¾)

[0053] 上式により定義される試験分布は、各次元が独立であり、画素 iに対し， 7? i力^か 0 かに対応してガウス分布が 2つ存在し、それぞれの成分の混合比は κ ,平均は φ ,分散は ξ である。

[0054] また、自由エネルギは、因子化試験分布 q (τ?, X I τ)のもとではもはや汎関数ではなぐ試験分布のパラメータてとモデルパラメタ Θの関数 F( τ, Θ)となる。これにともない Εステップと Μステップは下式と表すことが可能となる。

[0055] [数 14]

Ηスラ-ッブ： r' = rc in in Fi r. θ¹— ¹ ,

r

Mスツフ ^: : § = ars mill F( r Θ)

^ θ

[0056] この自由エネルギ F (τ, 0 )は，結合分布を連鎖律にしたカ^、展開して、下式の如く分解されること〖こなる。

[0057] [数 15]

V' d Ϊ/. χ|τ:' Ι ΰ

,

[0058] ここで、各項の F ( τ )、 F ( τ )、 F ( τ , 0 )、 F ( τ )は、下式力算出される。

c s ο Η

[0059] [数 16] F_c'(r) = く log/? ( ）

= い " \ (l ） log(l a}],

F%{T) = (log pi\))

i .::b^TA—】! i ::x^TAx) 2;b^Tx;],

つ "~ - ^J ^ _ J

= ∑∑ ^{K 1} :■ ¾Λ ~ ^{10 2 )} -

[0060] (6)図 1に示されるフローで、最後に、ステップ（3)で推定した高解像度の画像の事後分布に基づいて、ステップ (4)で収束したパラメータを用い、高解像度の画像を生成する（ステップ S 60)。

これにより、輪郭が明瞭な高精度の高解像度の画像を復元することができる。

[0061] 以下、実施例 1で、人工的に生成した同じ観測画像データに対して本発明の超解像法を適用して、位置ズレの推定や高解像度画像の推定を行い、その性能を Tippin g&Bishopのガウス確率場を事前分布とした方法と比較する。

実施例 1

[0062] 先ず、高解像度画像を用意し、これに平行移動，回転，ボケ，ダウンサンプリングを加えて 16枚の低解像度画像を人工的に作り、さらにガウスノイズをカ卩えて観測画像データを生成した。平行移動量と回転角度は、それぞれ区間 [ 2, 2], [-4π/180 , 4 πΖΐ80] (ラジアン）の一様分布にしたがってサンプリングした。 PSF (Point sprea d lunction)には、ガウス PSFを適用し、パラメータ γ は 2に設定した。また、縮小率は縦横 1Z4倍とした。ノイズ条件のみを変えて⁴つのデータを作成した。ノイズ条件の基準は、下式に示される BSNR (Blurred Signal to Noise Ratio)としている。

[0063] [数 17] BSNR = 10 l g_H)

[0064] ここで、 μはノイズを加える前の低解像度劣化画像の画素値の平均値であり、下式で表される。

[0065] [数 18] μ

岡

[0066] また、 σ Ίまガウスノイズの分散である。 3つのデータセットのノイズ条件は、ノイズ無し， BSNR力 30db, 20dbである。

[0067] アルゴリズムの実行に際してのパラメータの初期化は次のようにした。モデルパラメタ Θ = [{St, ΐ}ΐ, γ ]については、 Stと φ 1:はすべてゼロに設定し、 y は 4と設定した試験分布のパラメータ τ = [ κ , φ , ξ ]については、 κはすべて 0. 5とし、 φは 16枚の観測画像を高解像度に線型補完した画像の平均値とし、 6は区間 [0.05— 0.003, 0.05 - 0.003]の一様分布から生成した。

[0068] ここで、勾配ベースの数値最適化法には、 scaled conjugate gradient法を用いた。

実験に用ヽた原画像を図 2に示す。これより人工的に生成された 16枚の観測画像を図 3に示す。観測画像のうちの 1枚を拡大した画像を図 4に示す。

人工的に生成した同じ観測画像（図 3に示したもの）に対し、本発明の超解像法を用いて、位置ズレの推定や高解像度画像の推定を行ったノイズ無しのデータからの超解像度画像を図 5 (a)に示す。比較のために、 Tipping & Bishopのガウス確率場を事前分布とした方法を用いて推定を行った超解像度画像を図 5 (b)に示す。

また、本発明の超解像法を用いて推定を行った、ノイズ条件が 30db BSNRのデータからの超解像度画像を図 6 (a)に示す。比較のために、 Tipping & Bishopのガウス確率場を事前分布とした方法を用いて推定を行った超解像度画像を図 6 (b)に示す。

[0069] 本発明の超解像法を用いた推定結果の超解像度画像も、 Tipping&Bishopのガウス確率場を事前分布とした方法を用いた推定結果の超解像度画像も、双方とも観察画像では読めな力つた文字が充分判別できる程度までの解像度の復元が見られた。図 5および図 6から、本発明の超解像法を用いた推定結果の超解像度画像の方が、 Tipping&Bishopのガウス確率場を事前分布とした方法をよりシャープな画像を推定していることが理解できる。

[0070] モデルパラメタと高解像度画像の推定の平均 2乗誤差を、 3つのデータ (ノイズ条件が無し， 30db BSNR, 20db BSNR)それぞれについて下表 1及び図 7に示す。本発明の超解像法を用いた推定結果の超解像度画像の方力 Tipping&Bishopのガウス確率場を事前分布とした方法を用いた推定結果の超解像度画像よりも、精度が高く、平行移動量は、ずれもサブピクセル精度での推定が実現できて、ることが観察される。

[0071] [表 1]

実施例 2

[0072] 上述した実施例 1では、事後分布の期待値 (下式を参照）を高解像度画像の推定値としていた。

[0073] [数 19]

[0074] 厳密な期待値計算には現実的な時間では実行不可能な積分計算がともなうため、計算コストをおさえるために適当な近似を行う必要がある。実施例 1では近似に、事後分布を画素ごとに完全に独立な mixture of Gaussiansで置き換えると!/、うものである

。この近似により現実的な時間で推定値が計算可能になるが、近似による誤差のために、ノイズに引っ張られたざらついた高解像度画像を推定するという欠点が生じている。

実施例 2では、事後分布の最大値 (MAP値)を推定画像と仮定し計算を行うものである。

[0075] 本実施例 2では、 7?について和をとらず、 r?も Xと同時に最適化を行っている。確率的な最適化手法であるシミュレ一ティッド 'アニーリングを用いることで、モデルに近似を導入することなぐ短時間での計算が可能となる。

図 8が実施例 2の実験に用いた原画像で、図 9が 16枚の観測画像集合である。図 10の (a)はノイズ無しの観測画像をもとに期待値推定を行った結果の高解像度画像で、（b)はノイズ無しの観測画像をもとに MAP推定を行った結果の高解像度画像である。

図 11の（a)は SN比が 20dBの観測画像をもとに期待値推定を行った結果の高解像度画像で、 (b)は 20dBの観測画像をもとに MAP推定を行った結果の高解像度画像である。

図 10と図 11を観察すると、 MAP推定は、期待値推定に比べて非常にはっきりした高解像度画像が得られて、ることが理解できる。

産業上の利用可能性

[0076] カメラ、ビデオなどは、その性能に応じて低解像度の画像を得るものであるが、そこ力も元の高解像度画像を復元することには大きなニーズがある。特に、同じ原画像から複数の劣化画像が得られることが仮定できる場合が多い。例えば手振れしながら撮像したビデオ画像の場合、時間局所的には同じ対象を撮ったものとみなすことができ、そうした連続した画像力元の対象を高精度で復元することができれば多大な応用になることは明らかである。他の例で言うならば、顕微鏡画像は、顕微鏡の物理的制約 (例えば対物レンズのボケ過程、光の回折限界など）に応じて劣化が起こるが、多くの顕微鏡では、サンプリング周波数に応じて複数の撮影ができるため、それを用いて高精度で対象を復元できれば物理系の限界性能を超えた精度が実現でき得ること〖こなる。本発明の超解像法および超解像プログラムは、こうした各種画像の復元に関するものであるため、多くの産業分野での応用が見込まれる。図面の簡単な説明

[図 1]本発明の超解像法のフローチャートを示した図

[図 2]実施例 1の実験に用いた原画像を示す。

[図 3]実施例 1の実験用に人工的に生成された 16枚の観測画像示す。

[図 4]観測画像のうちの 1枚を拡大した画像示す。

[図 5]観測画像 (図 3に示したもの）に対し、本発明の超解像法を用いて推定を行ったノイズ無しのデータからの超解像度画像を（a)に、 Tipping & Bishopのガウス確率場を事前分布とした方法を用いて推定を行った超解像度画像を (b)に示す。

[図 6]観測画像 (図 3に示したもの）に対し、本発明の超解像法を用いて推定を行ったノイズ条件が 30db BSNRのデータからの超解像度画像を（a)に、 Tipping & Bishop のガウス確率場を事前分布とした方法を用いて推定を行った超解像度画像を (b)に示す。

[図 7]実施例 1のデータ精度グラフ

[図 8]実施例 2の実験に用いた原画像を示す。

[図 9]実施例 2の実験用に 16枚の観測画像集合を示す。

[図 10] (a)はノイズ無しの観測画像をもとに期待値推定を行った結果の高解像度画像で、（b)はノイズ無しの観測画像をもとに MAP推定を行った結果の高解像度画像を示している。

[図 11] (a)は SN比が 20dBの観測画像をもとに期待値推定を行った結果の高解像度画像で、（b)は 20dBの観測画像をもとに MAP推定を行った結果の高解像度画像を示している。

Claims

請求の範囲 [1] 原画像に関連する複数の低解像度の画像から高解像度の画像を生成するための方法であって、 (1)前記複数の低解像度の画像を入力するステップと、 (2)前記高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布と定義するステップと、 (3)前記高解像度の画像の事後分布をベイズ推定の手法を用いて推定するステップと、 (4)原画像の劣化過程のパラメータをベイズ推定の手法を用いて推定するステップと (5)ステップ（3)で推定した高解像度の画像の事後分布に基づ!、て、ステップ (4)で収束したパラメータを用い、高解像度の画像を生成するステップとを含むことを特徴とする超解像法。 [2] 原画像に関連する複数の低解像度の画像から高解像度の画像を生成するための方法であって、 (1)前記複数の低解像度の画像を入力するステップと、 (2)前記高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布と定義するステップと、 (3)前記高解像度の画像の事後分布をベイズ推定の手法を用いて推定するステップと、 (4)原画像の劣化過程のパラメータをベイズ推定の手法を用いて推定するステップと (5)前記パラメータの値が収束するまで、ステップ（3)〜 (4)を反復するステップと、(6)ステップ（3)で推定した高解像度の画像の事後分布に基づ!、て、ステップ (4)で収束したパラメータを用い、高解像度の画像を生成するステップとを含むことを特徴とする超解像法。 [3] ステップ（2)における高解像度の画像の事前分布を、エッジ保存性を有する隠れマルコフ確率場と定義することを特徴とする請求項 1又は 2に記載の超解像法。 [4] 前記ベイズ推定の手法を用いて推定するステップ（3)およびステップ (4)におヽて、推定演算が多項式オーダとなるように所定の近似を行うことを特徴とする請求項 3 に記載の超解像法。 [5] コンピュータに、原画像に関連する複数の低解像度の画像から高解像度の画像を生成させるためのプログラムであって、 (1)原画像の複数の低解像度の画像を入力させる手順と、 (2)高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布と定義させる手順と、 (3)高解像度の画像の事後分布をベイズ推定アルゴリズムにより推定させる手順と、(4)原画像の劣化過程のパラメータをベイズ推定アルゴリズムにより推定させる手順と、 (5)手順 (3)で推定した高解像度の画像の事後分布に基づヽて、手順 (4)で収束したパラメータを用い、高解像度の画像を生成させる手順を、を実行させるための超解像プログラム。 [6] コンピュータに、原画像に関連する複数の低解像度の画像から高解像度の画像を生成させるためのプログラムであって、

(1)原画像の複数の低解像度の画像を入力させる手順と、

(2)高解像度の画像の事前分布を局所的な滑らかさ情報 (各画素は近傍の画素と相関を有する）および大域的な平滑化情報 (各画素は近傍の画素と全く相関が無、）とを組み合わせた階層化分布として判断させる手順と、

(6)手順 (3)で推定した高解像度の画像の事後分布に基づヽて、手順 (4)で収束したパラメータを用い、高解像度の画像を生成させる手順と、

を実行させるための超解像プログラム。

[7] 手順 (2)における高解像度の画像の事前分布を、エッジ保存性を有する隠れマルコフ確率場と定義させることを特徴とする請求項 5又は 6に記載の超解像プログラム。

[8] 前記ベイズ推定アルゴリズムにより推定する手順 (3)および手順 (4)にお、て、推定演算が多項式オーダとなるように所定の近似演算を行わせる手順を実行させるための請求項 7に記載の超解像プログラム。