JPWO2018225133A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

一実施形態に係る画像処理装置は取得部、生成部、算出部、および推定部を備える。取得部は入力画像を取得する。生成部は、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する。算出部は、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する。推定部は、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する。

Description

本発明の一側面は画像処理装置、画像処理方法、および画像処理プログラムに関する。

ぼけを含む画像を処理するためには予めそのぼけ度を推定する必要がある。特許文献１に記載の画像処理装置は、入力画像群のうちの一つの入力画像を基準画像とし基準画像以外の入力画像を参照画像としてテンプレートマッチングを行なうことで、参照画像のぼけ度合いを推定する。

特開２０１４−１６４５７４号公報

しかし、処理しようとする入力画像が１枚しか存在しない場合には、テンプレートマッチングによりぼけ度を推定することができない。そこで、入力画像が１枚しか存在しない場合にも該入力画像のぼけ度を推定する仕組みが望まれている。

本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定部とを備える。

本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定ステップとを含む。

本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定ステップとをコンピュータに実行させる。

このような側面においては、入力画像を複数の比率で圧縮および拡大することで複数の比較画像が得られる。これらの比較画像は入力画像の解像度を意図的に下げた画像といえる。入力画像のぼけも解像度の低下と見なすことができるので、入力画像をこれらの比較画像と比べることで入力画像のぼけ度を推定できる。入力画像のぼけ度を推定するための比較画像が該入力画像から生成されるので、入力画像が１枚しか存在しない場合にも該入力画像のぼけ度を推定することができる。

本発明の一側面によれば、入力画像が１枚しか存在しない場合にも該入力画像のぼけ度を推定することができる。

実施形態におけるぼけ度の推定の概念を示す図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る画像処理装置の機能構成を示す図である。 実施形態に係る画像処理装置の処理を示すフローチャートである。 比較画像を生成する処理の一例を示す図である。 比較画像を生成する処理の別の例を示す図である。 ぼけ度の推定の例について説明するための図である。 ぼけ度の推定の例について説明するための図である。 ぼけ度の推定の例について説明するための図である。 ぼけ度の推定の例について説明するための図である。 ぼけ度の推定の例について説明するための図である。 超解像の手法の例を示す図である。 実施形態に係る画像処理プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［概要］
実施形態に係る画像処理装置１０は、画像のぼけ度を客観的に推定するコンピュータまたはコンピュータシステムである。

「画像」とは、人の視覚で捉えることができるように対象物を何らかの媒体に定着させた像である。画像は、コンピュータでの処理が可能な、画像を示すデータ（画像データ）を処理することで視認可能となる。具体的には、画像は、メモリなどの記憶装置に記録され、プロセッサの処理によりモニタなどの出力装置に出力されることで、視認可能となる。画像は静止画でもよいし、動画を構成する個々のフレームでもよい。

「ぼけ度」とは、画像がどのくらいぼけているかを示す指標であり、言い換えると、解像度がどれくらい低下しているかを示す指標である。「ぼける」とは、本来は明瞭に映るべき被写体の輪郭が画像ではっきりと映っていない現象のことをいう。「解像度」とは、画像における画素の密度を示す数値である。本実施形態では、画像の輪郭が不明瞭であるほど、ぼけ度が高いものとする。

図１は、本実施形態におけるぼけ度の推定の概念を示す図である。この例では、画像処理装置１０が、実際のぼけ度が３である入力画像２１のぼけ度を推定するものとする。まず、画像処理装置１０はその入力画像２１を複数の比率のそれぞれで圧縮し、圧縮された画像をそのまま元の寸法まで拡大することで複数の比較画像を生成する。図１の例では、画像処理装置１０は入力画像２１を１／２に圧縮することで圧縮画像２２ａを生成し（したがって、圧縮率は１／２。以下ではこれを「１／２圧縮」ともいう。）、その圧縮画像２２ａをそのまま２倍に拡大することで比較画像２２ｂを生成する。また、画像処理装置１０は圧縮率を１／３に変えた上で入力画像２１から圧縮画像２３ａを生成し、その圧縮画像２３ａをそのまま３倍に拡大することで比較画像２３ｂを生成する。さらに、画像処理装置１０は圧縮率を１／４に変えた上で入力画像２１から圧縮画像２４ａを生成し、その圧縮画像２４ａをそのまま４倍に拡大することで比較画像２４ｂを生成する。画像処理装置１０は圧縮率をさらに１／５，１／６…と変えながら比較画像を生成する。

「圧縮」とは、画像の少なくとも一部の情報（例えば色情報）が損失することを許容しつつ画像の寸法を縮小する処理である。「圧縮画像をそのまま拡大する」とは、圧縮により失われた情報を復元することなく圧縮画像の寸法を大きくすることをいう。したがって、一般には、比較画像の解像度は原画像の解像度より低くなる。

鮮明であるべき画像がぼけている場合、その画像の解像度は当初から低下している。比較画像を生成する際の解像度の低下の度合いが、原画像が元々抱えている解像度の低下の度合い以下であれば、圧縮および拡大によっても、解像度は実質的には低下しない（厳密には、圧縮により、無視することができる若干の解像度の低下が生じ得る）。すなわち、この場合には比較画像の画質は原画像と同じか、または略同じといえる。一方、圧縮の程度が、原画像が元々抱えているぼけ度（解像度の低下の度合い）より大きいと、比較画像の解像度は原画像よりも低下する。

図１の例では、入力画像２１のぼけ度が、１／３圧縮に相当する３であるとする。すなわち、仮に、ぼけていない画像（鮮明な画像）を１／３に圧縮すると入力画像２１が得られるものとする。この場合、１／２圧縮により得られる比較画像２２ｂのぼけ度も３である。また、１／３圧縮により得られる比較画像２３ｂのぼけ度も３である。しかし、１／４という圧縮率は、入力画像２１が元々有するぼけ度に対応する圧縮率（１／３）よりも高いので、１／４圧縮により得られる比較画像２４ｂのぼけ度は、３より大きくなる。圧縮率を１／５，１／６…とさらに高くした場合にも、比較画像のぼけ度は３よりも大きい。したがって、入力画像２１のぼけ度は３か、または３から４の間であると推定できる。

このように、画像処理装置１０は、原画像に対して複数の比率で圧縮および拡大を実行して複数の比較画像を生成し、これらの比較画像の解像度の低下の度合いを判定することで、原画像のぼけ度を推定する。

本実施形態では、画像処理装置１０はさらに、推定したぼけ度に基づく超解像を実行することで、その画像の解像度を高くする。「超解像」とは、解像度の低い画像から高解像度の画像を生成する（すなわち、画像の解像度を高くする）技術である。なお、超解像を実行した結果、解像度がほとんど変わらないかまたは全く変わらない可能性がある。

［装置の構成］
図２は画像処理装置１０の一般的なハードウェア構成を示す。画像処理装置１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードまたは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、モニタなどの出力装置１０６とを備える。

画像処理装置１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（例えば、後述する画像処理プログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って、通信制御部１０４、入力装置１０５、または出力装置１０６を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

画像処理装置１０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つの画像処理装置１０が構築される。

図３は画像処理装置１０の機能構成を示す。本実施形態では、画像処理装置１０は機能的構成要素として取得部１１、生成部１２、算出部１３、推定部１４、および超解像部１５を備える。

取得部１１は、入力画像を取得する機能要素である。入力画像とは、ぼけ度を推定する対象として処理される画像である。入力画像は原画像と言い換えることもできる。本実施形態では、入力画像は超解像の対象でもある。

生成部１２は、取得された入力画像のぼけ度を推定するために用いる複数の比較画像を生成する機能要素である。生成部１２は入力画像の少なくとも一部を対象領域として設定し、その対象領域の解像度を低下させるための処理を実行することで、比較画像を得る。比較画像は、入力画像の画質を意図的に劣化させることで得られる画像であるといえる。ただし、図１を参照しながら説明したように、比較画像の解像度が入力画像と同じかまたは略同じこともあり得る。「対象領域」とは、連続して並ぶ画素から成る範囲である。対象領域は入力画像の一部のみであってもよいし入力画像の全体であってもよい。生成部１２は複数の比較画像を算出部１３に出力する。

算出部１３は、生成部１２により得られた複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する機能要素である。したがって、算出部１３は一つの入力画像に対して複数の劣化度を得る。「劣化度」とは、比較画像の解像度が入力画像の解像度よりどれくらい低いかを示す指標である。算出部１３は、算出した複数の劣化度を推定部１４に出力する。

推定部１４は、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する機能要素である。本実施形態では、推定部１４はそのぼけ度を超解像部１５に出力する。

超解像部１５は、取得された入力画像に対して、機械学習（より具体的には、深層学習）による超解像を実行する機能要素である。「機械学習」とは、与えられた情報に基づいて反復的に学習することで、法則またはルールを自律的に見つけ出す手法である。機械学習は、コンピュータに学習能力を持たせることにより問題を解決しようとするアプローチであるといえる。「深層学習」とは多層構造のニューラルネットワーク（深層ニューラルネットワーク）を用いた機械学習である。「ニューラルネットワーク」とは、人間の脳神経系の仕組みを模した情報処理のモデル（学習モデル）である。

［装置の動作］
次に、図４〜図１２を参照しながら、画像処理装置１０の動作を説明するとともに本実施形態に係る画像処理方法について説明する。

図４は、画像処理装置１０の処理を示すフローチャートである。まず、取得部１１が一つの入力画像を取得する（ステップＳ１１、取得ステップ）。入力画像の取得方法は限定されない。例えば、取得部１１は任意の画像を記憶する画像データベースにアクセスして入力画像を読み出してもよい。なお、画像データベースは画像処理装置１０とは別の装置であってもよいし、画像処理装置１０の一部であってもよい。あるいは、取得部１１は画像処理装置１０のユーザにより入力または指定された入力画像を取得してもよい。あるいは、取得部１１は他のコンピュータから入力画像を受信してもよい。

続いて、生成部１２が入力画像から複数の比較画像を生成する（ステップＳ１２、生成ステップ）。生成部１２は一つの比較画像を次のように生成する。生成部１２は入力画像を複製することで、比較画像を生成するための入力画像（以下ではこれも単に「入力画像」という。）を得る。続いて、生成部１２はその入力画像の少なくとも一部を対象領域として設定し、その対象領域の解像度を低下させることで比較画像を得る。生成部１２は、対象領域を圧縮し、次いで、その圧縮した対象領域をそのまま元の寸法まで拡大することで、比較画像を得る。

圧縮処理では、生成部１２は対象領域内で所定の寸法のオペレータを動かしながら該オペレータ内の色情報を一つの代表値に変換することで、対象領域を圧縮する。代表値の決定方法は限定されない。例えば、生成部１２はオペレータ内の色情報の平均値を代表色として設定してもよいし、オペレータ内で最も多く現れる色情報を代表色として設定してもよい。オペレータ内に複数の色情報が存在する場合にはこの圧縮により１以上の色情報が失われ、この失われた色情報は、圧縮した対象領域をそのまま元の寸法まで拡大しても回復しない。したがって、対象領域を圧縮および拡大することで、該対象領域の解像度が低下する。

対象領域の圧縮率は、オペレータの寸法および移動幅で決まる。例えば、オペレータの寸法が２（ピクセル）×２（ピクセル）であり、オペレータの移動幅が２（ピクセル）であれば、圧縮率は１／２である。オペレータの寸法が２×２であり、オペレータの移動幅が１であれば、圧縮率は１／１．５である。オペレータの寸法が３×３であり、オペレータの移動幅が３であれば、圧縮率は１／３である。

図５は比較画像を生成する処理の一例を示す図である。この例では、生成部１２は６（ピクセル）×６（ピクセル）の対象領域３１に対して１／２圧縮を実行することで、９（＝３×３）個の代表値から成る圧縮画像３２ａを生成する。そして、生成部１２はその圧縮画像３２ａを２倍して元の寸法に戻すことで対象領域３２ｂを生成する。対象領域３２ｂは比較画像の少なくとも一部である。この一連の処理により、対象領域３１のいくつかの色情報が丸められ、対象領域３２ｂの解像度は対象領域３１よりも低下している。例えば、オペレータｗで囲まれた部分内にある色情報「４」のピクセルは圧縮および拡大により失われ、対象領域３２ｂではその部分の色情報は「１」に丸められる。

図６は比較画像を生成する処理の別の例を示す図である。６（ピクセル）×６（ピクセル）の対象領域４１は二つの例（ａ），（ｂ）で共通であり、この対象領域４１は、図５における対象領域３２ｂと同じである。したがって、この対象領域４１は、上記の対象領域３１をぼかしたものに相当する。

図６の例（ａ）では、生成部１２は、対象領域４１に対して１／２圧縮を実行して３×３の圧縮画像４２ａを生成し、この圧縮画像４２ａを２倍して元の寸法に戻すことで対象領域４２ｂを生成する。対象領域４２ｂは比較画像の少なくとも一部である。この対象領域４２ｂは対象領域４１と同じであるが、この理由は、対象領域４１が元々、１／２圧縮に相当するぼけを有するからである。

一方、図６の例（ｂ）では、生成部１２は、対象領域４１に対して１／３圧縮を実行して２×２の圧縮画像４３ａを生成し、この圧縮画像４３ａを３倍して元の寸法に戻すことで対象領域４３ｂを生成する。対象領域４３ｂは比較画像の少なくとも一部である。この一連の処理により対象領域４１のいくつかの色情報が丸められ、対象領域４３ｂの解像度は対象領域４１よりも低下している。

生成部１２は圧縮率を変えながら複数の比較画像を生成する。これは、解像度の低下の度合いが互いに異なる複数の比較画像が生成されることを意味する。圧縮率の設定および比較画像の個数は限定されない。例えば、生成部１２は圧縮率を１／２、１／３、１／４…と変えながら複数の比較画像を生成してもよいし、圧縮率を１／１．５、１／２．５、１／３．５…と変えながら複数の比較画像を生成してもよい。あるいは、生成部１２は圧縮率を１／１．５、１／２、１／２．５、１／３、１／３．５…と変えながら複数の比較画像を生成してもよい。

続いて、算出部１３が、入力画像に対する各比較画像の劣化度を算出する（ステップＳ１３、算出ステップ）。本実施形態では、算出部１３はピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ）を劣化度として用いる。ＰＳＮＲとは、基準画像と評価画像との平均自乗誤差に基づいて算出される画質の指標であり、単位はデシベル（ｄＢ）である。ＰＳＮＲは、例えば、圧縮により画像がどれくらい劣化したかを客観的に評価するために用いられる。一般には、ＰＳＮＲが高いほど画質が良いと評価される。画像のぼけとの関係では、画像がぼけているほどＰＳＮＲが低くなるということができる。算出部１３は入力画像（基準画像）と比較画像（評価画像）との平均自乗誤差に基づいてＰＳＮＲを求める。図１の例では、算出部１３は少なくとも、入力画像２１および比較画像２２ｂから得られるＰＳＮＲ_１、入力画像２１および比較画像２３ｂから得られるＰＳＮＲ_２、入力画像２１および比較画像２４ｂから得られるＰＳＮＲ_３などを求める。

続いて、推定部１４が複数の劣化度（本実施形態ではＰＳＮＲ）に基づいて入力画像のぼけ度を推定する（ステップＳ１４、推定ステップ）。より具体的には、推定部１４は圧縮度と劣化度との関係を求め、その関係に基づいてぼけ度を推定する。「圧縮度」とは、入力画像から比較画像を生成する際の入力画像の圧縮の程度を示す指標である。本実施形態では圧縮率の逆数を圧縮度とするが、圧縮度の表現方法は限定されない。例えば、圧縮率をそのまま圧縮度として用いてもよいし、さらに別の方法により圧縮度を表現してもよい。ぼけ度の推定手法は限定されない。以下では、図７〜図１１を参照しながら、いくつかの推定手法を説明する。

推定部１４は複数のＰＳＮＲを閾値と比較することでぼけ度を推定してもよい。具体的には、推定部１４は圧縮度とＰＳＮＲとの関係を求め、ＰＳＮＲが閾値であるときの圧縮度をぼけ度として推定してもよい。

図７は、圧縮度とＰＳＮＲとの関係の例を示すグラフであり、横軸が圧縮度、縦軸がＰＳＮＲである。このグラフは、圧縮度を２，３，４…と変えながら（圧縮率を１／２，１／３，１／４…と変えながら）算出された複数のＰＳＮＲをプロットして点間を線形補間したものである。この例において閾値を３０ｄＢとすると、推定部１４はＰＳＮＲがその閾値であるときの圧縮度（約３．３）をぼけ度として推定してもよい。ここで、閾値の例として３０ｄＢを示す理由は、画像または映像の不可逆圧縮における標準なＰＳＮＲが３０〜５０ｄＢであり、画像の劣化が気にならないＰＳＮＲの最小値の一例が３０ｄＢであることに基づく。もちろん、ＰＳＮＲの閾値は３０ｄＢに限定されない。閾値は入力画像に応じて変更されてもよい。

あるいは、推定部１４は圧縮度とＰＳＮＲとの関係を非線形関数で近似し、その非線形関数の最高次係数（より具体的には、非線形関数を定義する多項式の最高次係数）に基づいてぼけ度を推定してもよい。非線形関数は限定されず、例えば２次関数または３次関数でもよいし、より高次の関数であってもよい。非線形関数による近似の方法も限定されないが、例えば最小二乗法が用いられてもよい。

図８は、図７における圧縮度とＰＳＮＲとの関係を２次関数で近似したグラフである。破線５１は図７でのプロットおよび線形補間と同じであり、実線５２は非線形関数を示す。この例では、推定部１４はその非線形関数を生成して該関数の最高次係数（０．１５２８）を求め、この値に基づいてぼけ度を推定する。

被写体が相異なる複数の画像の間でぼけ度が同じかまたは近似する場合に、各画像の圧縮度とＰＳＮＲとの関係をグラフで示すと、個々のグラフの曲がり具合（曲率）は概ね似た値を示す。一方、画像が同じであってもぼけ度が異なると、圧縮度とＰＳＮＲとの関係を示すグラフの曲がり具合が変化する。

図９は、ある一つの画像に対して４種類のぼけ度（１．５、２．５、３．５、および４．５）を適用した上で、それぞれのぼけ度について圧縮度とＰＳＮＲとの関係をプロットすることで得られたグラフである。このように、画像が同じであってもぼけ度が異なると、グラフの曲がり具合が変化する。グラフの曲がり具合は、非線形関数の最高次係数に大きく依存するので、その最高次係数を用いることで、様々な画像のぼけ度を統一された基準で推定することができる。

図１０は、５種類の画像（ｂａｂｙ、ｂｉｒｄ、ｂｕｔｔｅｒｆｌｙ、ｂａｂｏｏｎ、ｌｅｎａ）についての、ぼけ度と２次関数（圧縮度とＰＳＮＲとの関係を示す非線形関数）の最高次係数との対応の例を示す表である。これら５種類の画像はいずれも一般に入手可能であり、例えば下記の参考文献で紹介されている、Ｓｅｔ５およびＳｅｔ１４というデータセットから入手できる。より具体的には、各画像は、“ｈｔｔｐ：／／ｃｖ．ｓｎｕ．ａｃ．ｋｒ／ｒｅｓｅａｒｃｈ／ＶＤＳＲ／”というＵＲＬで特定されるウェブサイトから入手できる。それぞれの２次関数は、圧縮度を２，３，４，…，１９と変えながらＰＳＮＲを算出することで得られた、圧縮度とＰＳＮＲとの関係を近似するものである。
（参考文献）
J. Kim, J. K. Lee, and K. M. Lee. "Accurate Image Super-Resolution Using Very Deep Convolutional Networks". CoRR, abs/1511.04587, 2015.

図１１は、図１０に示す表をグラフ化したものであり、縦軸は２次関数の最高次係数を示す。このグラフから分かるように、最高次係数は画像の種類にかかわらずぼけ度に応じて一定の範囲を取る。したがって、最高次係数とぼけ度との対応関係を予め設定した上で、得られた最高次係数がどのぼけ度に対応するかを判定することで、画像のぼけ度を決定することができる。ここで、対応関係の表現方法は限定されず、例えば表（対応表）で表現されてもよい。画像処理装置１０（例えば推定部１４）はその対応関係を予め保持している。図１１の例では、ぼけ度が０（すなわち、ぼけが無い）である範囲を０以上Ｔａ未満とし、ぼけ度が１．５である範囲をＴａ以上Ｔｂ未満とし、ぼけ度が２．５である範囲をＴｂ以上Ｔｃ未満とし、ぼけ度が３．５である範囲をＴｃ以上Ｔｄ未満と設定することができる。例えば、Ｔａ＝０．１、Ｔｂ＝０．１８、Ｔｃ＝０．２５、Ｔｄ＝０．３４とすると、図９に示すグラフの最高次係数は０．１５２８なので、推定部１４はぼけ度が１．５であると推定する。

続いて、超解像部１５が、推定されたぼけ度に基づいて入力画像に対する超解像を実行する（ステップＳ１５）。超解像部１５は複数のぼけ度に対応する複数の超解像用の学習モデル（超解像用のニューラルネットワーク）を予め保持している。超解像部１５は推定されたぼけ度に対応する学習モデルをその中から選択し、選択した学習モデルを用いて入力画像に対して超解像を実行し、その実行結果を高解像度画像として出力する。

一般に、一つの学習モデルは特定の比率の超解像しか実行できず、したがって特定のぼけ度の画像にしか適用することができない。したがって、画像のぼけ度に合った学習モデルを用いる必要がある。もし、ぼけ度に合わない学習モデルを用いると、却って画質が悪くなってしまう。そこで、超解像部１５は予め用意された複数の学習モデルの中からぼけ度に合った学習モデルを選択し、選択した学習モデルを用いて超解像を実行する。

図１２は超解像部１５の構造および処理の例を説明する図である。この例では、超解像部１５は、ぼけ度が２である入力画像のための学習モデル７１と、ぼけ度が３である入力画像のための学習モデル７２と、ぼけ度が４である入力画像のための学習モデル７３とを予め保持している。超解像部１５は、ぼけ度が０と推定された入力画像６１に対して超解像を実行することなく、その入力画像６１をそのまま高解像度画像６２として出力する。すなわち、高解像度画像６２は入力画像６１と同じである。ぼけ度が２である入力画像６３については、超解像部１５は学習モデル７１を用いて超解像を実行することで高解像度画像６４を生成する。ぼけ度が３である入力画像６５については、超解像部１５は学習モデル７２を用いて超解像を実行することで高解像度画像６６を生成する。ぼけ度が４である入力画像６７については、超解像部１５は学習モデル７３を用いて超解像を実行することで高解像度画像６８を生成する。

高解像度画像の出力方法は限定されない。例えば、超解像部１５は高解像度画像を、所定のデータベースに格納してもよいし、他のコンピュータに送信してもよいし、モニタ上に描画してもよい。超解像部１５は高解像度画像を入力画像と関連付けて、これら２画像のセットを出力してもよい。ぼけ度が０である場合には、超解像部１５は超解像を実行することなく入力画像をそのまま出力してもよい。ぼけていないと推定された画像に対する超解像は意味がないので、その超解像を省略することで、画像処理装置１０のハードウェア資源（例えば、プロセッサおよびメモリ）に掛かる処理負荷を下げることができる。

画像処理装置１０が複数の入力画像を処理する場合には、ステップＳ１１〜Ｓ１５の処理が繰り返し実行される。

［プログラム］
次に、図１３を参照しながら、コンピュータを画像処理装置１０として機能させるための画像処理プログラムＰ１を説明する。図１３は画像処理プログラムＰ１の構成を示す図である。

画像処理プログラムＰ１はメインモジュールＰ１０、取得モジュールＰ１１、生成モジュールＰ１２、算出モジュールＰ１３、推定モジュールＰ１４、および超解像モジュールＰ１５を含む。メインモジュールＰ１０は、ぼけ度の推定と超解像とを統括的に管理する部分である。取得モジュールＰ１１、生成モジュールＰ１２、算出モジュールＰ１３、推定モジュールＰ１４、および超解像モジュールＰ１５を実行することで、取得部１１、生成部１２、算出部１３、推定部１４、および超解像部１５が実現する。

画像処理プログラムＰ１は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、画像処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

［効果］
以上説明したように、本発明の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成部と、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出部と、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定部とを備える。

本発明の一側面に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定ステップとを含む。

本発明の一側面に係る画像処理プログラムは、入力画像を取得する取得ステップと、入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、複数の比較画像のそれぞれについて、入力画像に対する該比較画像の劣化度を算出する算出ステップと、算出された複数の劣化度に基づいて入力画像のぼけ度を推定する推定ステップとをコンピュータに実行させる。

このような側面においては、入力画像を複数の比率で圧縮および拡大することで複数の比較画像が得られる。これらの比較画像は入力画像の解像度を意図的に下げた画像といえる。入力画像のぼけも解像度の低下と見なすことができるので、入力画像をこれらの比較画像と比べることで入力画像のぼけ度を推定できる。入力画像のぼけ度を推定するための比較画像が該入力画像から生成されるので、入力画像が１枚しか存在しない場合にも該入力画像の絶対的な（または本質的な）ぼけ度を推定することができる。対象領域が入力画像の全体である場合には、画像の局所的なぼけ度ではなく、画像全体にわたるぼけ度を求めることができる。

他の側面に係る画像処理装置では、劣化度がピーク信号対雑音比であってもよい。ＰＳＮＲは、圧縮により画像がどれくらい劣化したかを客観的に示すから、入力画像を圧縮および拡大して得られる比較画像を用いたぼけ度の推定に適した指標であるといえる。したがって、ＰＳＮＲを用いることで入力画像のぼけ度を正確に推定することができる。

他の側面に係る画像処理装置では、推定部が、複数の劣化度を閾値と比較することでぼけ度を推定してもよい。閾値を用いることで、ぼけ度を簡単な処理でかつ高速に推定することができる。

他の側面に係る画像処理装置では、推定部が、圧縮度と劣化度との関係を示す非線形関数の最高次係数に基づいてぼけ度を推定してもよい。その非線形関数を示すグラフの曲がり具合は、画像の被写体に関係なくぼけ度に応じて変わる傾向があり、その曲がり具合は、非線形関数の最高次係数に大きく依存する。したがって、その最高次係数に基づいてぼけ度を正確に判定することができる。

他の側面に係る画像処理装置では、推定部が、最高次係数とぼけ度との対応関係が予め設定されており、推定部が、複数の圧縮度および複数の劣化度から非線形関数の最高次係数を算出し、対応関係を参照することで、算出した最高次係数に対応するぼけ度を決定してもよい。予め用意された対応関係を用いることで、最高次係数からぼけ度を簡単に得ることができる。

他の側面に係る画像処理装置では、複数のぼけ度に対応する複数の超解像用の学習モデルから、推定部により推定されたぼけ度に対応する学習モデルを選択し、該選択した学習モデルを用いて入力画像に対して超解像を実行する超解像部をさらに備えてもよい。この場合には、入力画像のぼけ度に合わせて超解像が実行されるので、入力画像の画質を適切に高めることができる。

［変形例］
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では、推定されたぼけ度を超解像に利用するが、そのぼけ度は他の目的で利用されてもよい。したがって、画像処理装置は超解像部を備えなくてもよい。画像処理装置は、推定したぼけ度を、所定のデータベースに格納してもよいし、他のコンピュータに送信してもよいし、モニタ上に表示してもよい。この場合には、画像処理装置のユーザは入力画像のぼけ度を知ることができる。

上記実施形態では劣化度としてＰＳＮＲを用いるが、劣化度の算出方法はこれに限定されない。例えば、算出部は構造的類似性（ＳＳＩＭ：ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ）を劣化度として求めてもよい。ＳＳＩＭは、輝度平均の差と、画素値の標準偏差の差と、画素間の共分散との積により画質を評価する手法である。

上記実施形態では圧縮度をそのままぼけ度として設定するが、ぼけ度の設定方法はこれに限定されない。推定部は、予め定められた演算により圧縮度からぼけ度を求めてもよい。

少なくとも一つのプロセッサにより実行される画像処理方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

１０…画像処理装置、１１…取得部、１２…生成部、１３…算出部、１４…推定部、１５…超解像部、Ｐ１…画像処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…取得モジュール、Ｐ１２…生成モジュール、Ｐ１３…算出モジュール、Ｐ１４…推定モジュール、Ｐ１５…超解像モジュール。

Claims (8)

1. 入力画像を取得する取得部と、
   入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成部と、
   前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出部と、
   算出された複数の劣化度に基づいて前記入力画像のぼけ度を推定する推定部と
   を備える画像処理装置。
2. 前記劣化度がピーク信号対雑音比である、
   請求項１に記載の画像処理装置。
3. 前記推定部が、前記複数の劣化度を閾値と比較することで前記ぼけ度を推定する、
   請求項１または２に記載の画像処理装置。
4. 前記推定部が、前記圧縮度と前記劣化度との関係を示す非線形関数の最高次係数に基づいてぼけ度を推定する、
   請求項１または２に記載の画像処理装置。
5. 前記最高次係数と前記ぼけ度との対応関係が予め設定されており、
   前記推定部が、前記複数の圧縮度および前記複数の劣化度から前記非線形関数の最高次係数を算出し、前記対応関係を参照することで、前記算出した最高次係数に対応する前記ぼけ度を決定する、
   請求項４に記載の画像処理装置。
6. 複数の前記ぼけ度に対応する複数の超解像用の学習モデルから、前記推定部により推定されたぼけ度に対応する学習モデルを選択し、該選択した学習モデルを用いて前記入力画像に対して超解像を実行する超解像部
   をさらに備える請求項１〜５のいずれか一項に記載の画像処理装置。
7. プロセッサを備える画像処理装置により実行される画像処理方法であって、
   入力画像を取得する取得ステップと、
   入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、
   前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
   算出された複数の劣化度に基づいて前記入力画像のぼけ度を推定する推定ステップと
   を含む画像処理方法。
8. 入力画像を取得する取得ステップと、
   入力画像の少なくとも一部である対象領域を複数の圧縮度のそれぞれで圧縮し、圧縮された該対象領域を元の寸法まで拡大することで、複数の比較画像を生成する生成ステップと、
   前記複数の比較画像のそれぞれについて、前記入力画像に対する該比較画像の劣化度を算出する算出ステップと、
   算出された複数の劣化度に基づいて前記入力画像のぼけ度を推定する推定ステップと
   をコンピュータに実行させる画像処理プログラム。