JP6849576B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

実世界の被写体が撮影された画像における微小変化には、重要なメッセージが込められている場合がある。例えば、被写体であるスポーツ選手の筋や関節の使い方の違い等は、被写体が撮影された画像における微小変化であり、スポーツ選手の運動パフォーマンスを決定する一つの要因である。また、心臓の鼓動、呼吸による胸の動き、体表面の色の明るさの変化、クレーンやエンジンの振動の微小変化は、画像に基づいて異常状態を検知するための判断材料となる場合がある。しかしながら、人の視覚は画像における微小変化を捉えることが難しい。

ビデオ・マグニフィケーション（Video Magnification）は、画像における微小変化を検出及び強調することによって、画像における微小変化を可視化する技術である。画像処理装置は、オプティカルフロー、オイラー法又は位相変化等を用いて、画像における被写体の色や運動の変化を検出し、時系列フィルタを適用することによって、画像における被写体の微小変化を検出する（非特許文献１、２及び３参照）。

しかしながら、画像処理装置は、画像において被写体が大きく又は素早く動いた場合、被写体の微小変化のみを検出することが困難である。被写体の微小変化以外の変化が検出及び強調された場合、画像にはブラーノイズが発生する場合がある。

近年、画像において被写体が大きく動く場合でも被写体の微小変化のみを検出することが可能である二つの手法が提案された。第１の手法は、画像における被写体を指定し、大きな動きをスタビライズしてから被写体の微小変化を検出する手法である（非特許文献４参照）。第２の手法は、画像における大きな動きをモデル化することで、微小変化のみを検出することが可能な時系列フィルタを設計する手法である（非特許文献５参照）。

Ce Liu, Antonio Torralba, William T. Freeman, Fredo Durand, Edward H. Adelson. "Motion Magnification". ACM Transactions on Graphics. Vol.24. (2005) Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William Freeman. "Eulerian Video Magnification for Revealing Subtle Changes in the World". SIGGRAPH. (2012) Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. "Phase-based video motion processing". ACM Transactions on Graphics. Vol. 32. (2013) Mohamed A. Elgharib, Mohamed Hefeeda, Fredo Durand, and William T. Freeman. "Video Magnification in Presence of Large Motions". IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Vol. 7. pp. 4119-4127. (2015) Yichao Zhang, Silvia L. Pintea, and Jan C. van Gemert. "Video Acceleration Magnification". IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). (2017)

ビデオ・マグニフィケーションを様々な画像に対して簡易に適用できるようにするには、非特許文献３のような人手による操作を用いずに、画像における被写体の微小変化のみを検出する必要がある。そのためには、非特許文献４のように運動のモデル化に基づいた時系列フィルタを設計することが有用である。

しかしながら、非特許文献３では、ブラーノイズの原因となるゆっくりと大きく変化する運動のみがモデル化された時系列フィルタが設計されている。このような時系列フィルタは、短時間で急激に大きく変化する非線形な動きが画像に存在する場合、大きなブラーノイズを画像に発生させしてしまう。このように、従来の画像処理装置は、ブラーノイズを低減して、微小変化が強調された画像を生成することができない場合があった。

上記事情に鑑み、本発明は、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。

本発明の一態様は、各解像度の画像を元画像から生成する生成部と、各解像度の画像における微小変化を検出する検出部と、前記微小変化の信頼度を取得する信頼部と、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す強調部と、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する再構成部とを備える画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記生成部は、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成し、前記検出部は、各解像度の輝度画像における輝度の微小変化を検出し、前記信頼部は、前記輝度の微小変化の信頼度を取得し、前記強調部は、前記輝度の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記輝度の微小変化に強調処理が施された画像を生成する。

本発明の一態様は、上記の画像処理装置であって、前記生成部は、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成し、前記検出部は、各解像度の位相画像における位相の微小変化を検出し、前記信頼部は、前記位相の微小変化の信頼度を取得し、前記強調部は、前記位相の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記位相の微小変化に強調処理が施された画像を生成する。

本発明の一態様は、上記の画像処理装置であって、複数の解像度の位相画像における前記信頼度を方向ごとに統合する統合部を更に備え、前記強調部は、前記位相の微小変化を表す値と統合された前記信頼度との乗算結果に強調処理を施す。

本発明の一態様は、画像処理装置が実行する画像処理方法であって、各解像度の画像を元画像から生成するステップと、各解像度の画像における微小変化を検出するステップと、前記微小変化の信頼度を取得するステップと、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施すステップと、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成するステップとを含む画像処理方法である。

本発明の一態様は、コンピュータに、各解像度の画像を元画像から生成する手順と、各解像度の画像における微小変化を検出する手順と、前記微小変化の信頼度を取得する手順と、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す手順と、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する手順とを実行させるための画像処理プログラムである。

本発明により、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。

第１実施形態における、画像処理装置の構成の例を示す図である。 第１実施形態における、画像処理装置の動作の例を示すフローチャートである。 第２実施形態における、画像処理装置の構成の例を示す図である。 第２実施形態における、画像処理装置の動作の例を示すフローチャートである。 第３実施形態における、画像処理装置の構成の例を示す図である。 第３実施形態における、画像処理装置の動作の例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、画像処理装置１ａの構成の例を示す図である。画像処理装置１ａは、画像処理を実行する装置である。画像処理装置１ａは、画像における被写体の輝度の微小変化を検出及び強調する。画像処理装置１ａは、生成部１０ａと、検出部１１ａと、信頼部１２ａと、乗算部１３ａと、強調部１４ａと、再構成部１５ａとを備える。画像処理装置１ａは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。

各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

記憶部は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。記憶部は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。記憶部は、例えば画像データ、数式等の各種データを記憶する。

元画像は、複数のフレームから構成される動画像である。元画像は、輝度情報及び色情報を画素ごとに含む。生成部１０ａは、元画像の輝度情報を表す画像である輝度画像を取得する。生成部１０ａは、元画像の輝度画像から、各解像度の輝度画像を生成する。例えば、生成部１０ａは、ガウシアンフィルタ又はラプラシアンフィルタを畳み込んでからダウンサンプリング処理を輝度画像の各フレームに対して複数回施すことによって、各解像度の輝度画像をフレームごとに生成する。ダウンサンプリング処理とは、２分の１等のダウンサンプル量に基づいて、解像度を低くする画像処理である。時刻ｔにおける画像の輝度変化は、式（１）のように表される。

ここで、ｌは解像度を表す。ｘは輝度画像のフレームにおけるｘ座標を表す。ｙは輝度画像のフレームにおけるｙ座標を表す。

検出部１１ａは、生成部１０ａによって生成された各解像度の輝度画像における輝度の微小変化を検出する。検出部１１ａは、各解像度の輝度画像における輝度変化を表す値Ｉ^ｌ（ｘ，ｙ，ｔ）に時系列フィルタＨ（ｔ）を畳み込むことで、各解像度の輝度画像における輝度の微小変化を検出する。時系列フィルタＨ（ｔ）は、強調される微小変化の周波数応答を有する時系列フィルタである。輝度の微小変化を表す値Ｂ^ｌ（ｘ，ｙ，ｔ）は、式（２）のように表される。

なお、検出部１１ａは、時系列フィルタＨ（ｔ）を用いる方法以外の方法で、輝度の微小変化を検出してもよい。

信頼部１２ａは、生成部１０ａによって生成された各解像度の輝度画像における輝度の微小変化の信頼度を、乗算部１３ａに出力する。輝度の微小変化の信頼度は、画像における所定の空間領域及び時間領域に輝度の微小変化のみが発生していることの確からしさの度合いである。信頼部１２ａは、各解像度の輝度画像における輝度変化を表す値Ｉ^ｌ（ｘ，ｙ，ｔ）について、輝度の微小変化の信頼度を算出する。

信頼部１２ａは、輝度の微小変化の信頼度を、躍度を用いて算出する。躍度とは、加速度の微分値であり、変位の３回微分に相当する値である。信頼部１２ａは、各解像度の輝度画像における輝度変化を表す値Ｉ^ｌ（ｘ，ｙ，ｔ）のうちで強調される微小変化の周波数帯について、時系列フィルタＧ（ｔ）及び３回微分を用いて躍度を算出する。信頼部１２ａは、躍度Ｊｅｒｋ^ｌ（ｘ，ｙ，ｔ）を式（３）のように算出する。

なお、信頼部１２ａは、時系列フィルタＧ（ｔ）を用いる方法以外の方法で、躍度を算出してもよい。

信頼部１２ａは、式（４）のように躍度の絶対値を算出する。

信頼部１２ａは、空間及び時間方向に躍度を正規化し、式（５）のように躍度の値を反転させる。

信頼部１２ａは、微小変化の信頼度Ｃ^ｌ（ｘ，ｙ，ｔ）を、式（６）のように算出する。

信頼部１２ａは、微小変化のみを高い精度で検出するための時系列フィルタを、算出された信頼度Ｃ^ｌ（ｘ，ｙ，ｔ）を基づいて設計する。信頼部１２ａは、各解像度の輝度画像における輝度の微小変化の信頼度を補正する。信頼部１２ａは、各解像度の輝度画像が生成される際のダウンサンプリング処理におけるダウンサンプル量λとハイパーパラメーターβとに基づいて、輝度の微小変化の信頼度を式（７）のように補正する。

輝度画像において躍度の大きい空間領域及び時間領域の信頼度は、式（７）のような補正によって、０に近い値が割り当てられて小さくなる。輝度画像において躍度の小さい空間領域及び時間領域の信頼度は、式（７）のような補正によって、１に近い値が割り当てられて大きくなる。すなわち、輝度の微小変化の信頼度は、補正によって１に近い値が割り当てられて大きくなる。

乗算部１３ａは、検出部１１ａの出力と信頼部１２ａの出力とを乗算する。すなわち、乗算部１３ａは、式（２）のような輝度の微小変化を表す値Ｂ^ｌ（ｘ，ｙ，ｔ）に、式（８）のように信頼度を乗算する。これによって、乗算部１３ａは、輝度の微小変化のみを高い精度で検出することができる。

強調部１４ａは、検出部１１ａの出力と信頼部１２ａの出力との乗算結果を、乗算部１３ａから取得する。強調部１４ａは、乗算結果である各解像度の輝度画像における輝度の微小変化に強調処理を施す。強調部１４ａは、式（８）のように高い精度で検出された微小変化を表す値に、任意の強調率αを乗算する。強調率αは、各解像度の輝度画像において共通でもよいし異なっていてもよい。強調部１４ａは、強調率αの乗算結果と元画像の輝度変化を表す値Ｉ^ｌ（ｘ，ｙ，ｔ）とを、式（９）のように加算することによって、微小変化のみが強調された輝度変化を表す値＾Ｉ^ｌ（ｘ，ｙ，ｔ）を生成する。

再構成部１５ａは、強調部１４ａによって各解像度の輝度画像における強調処理が施された輝度の微小変化に基づいて、元画像における輝度の微小変化に強調処理が施された画像を生成する。すなわち、再構成部１５ａは、式（９）に示された輝度変化を表す値＾Ｉ^ｌ（ｘ，ｙ，ｔ）を、式（１０）のように１からＬ（Ｌは、生成された輝度画像の解像度の種類の個数）個まで解像度方向に足し合わせることによって、元画像の輝度画像において輝度の微小変化のみが強調された輝度画像を生成する。

再構成部１５ａは、元画像の色情報を表す画像である色画像を取得する。再構成部１５ａは、輝度の微小変化のみが強調された輝度画像と元画像の色画像とを合成することによって、元画像において輝度の微小変化のみが強調された画像を生成する。

次に、画像処理装置１ａの動作の例を説明する。
図２は、画像処理装置１ａの動作の例を示すフローチャートである。生成部１０ａは、元画像の輝度画像から、各解像度の輝度画像を生成する（ステップＳ１０１）。検出部１１ａは、生成された各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ１０２）。信頼部１２ａは、生成部１０ａによって生成された各解像度の輝度画像における、輝度の微小変化の信頼度を算出する（ステップＳ１０３）。乗算部１３ａは、検出部１１ａの出力と信頼部１２ａの出力とを乗算する（ステップＳ１０４）。

強調部１４ａは、検出部１１ａの出力と信頼部１２ａの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ａは、各解像度の輝度画像における輝度の微小変化を表す値に、強調率αを乗算する。強調部１４ａは、強調率の乗算結果を、元画像の輝度画像における輝度変化を表す値に加算する（ステップＳ１０５）。再構成部１５ａは、輝度変化を表す値の加算結果と元画像の色画像とを合成することによって、元画像において微小変化が強調された画像を生成する（ステップＳ１０６）。

以上のように、第１実施形態の画像処理装置１ａは、各解像度の画像を元画像から生成する生成部１０ａと、各解像度の画像における微小変化を検出する検出部１１ａと、微小変化の信頼度を取得する信頼部１２ａと、微小変化を表す値と信頼度との乗算結果に強調処理を施す強調部１４ａと、強調処理が施された乗算結果と元画像とに基づいて、元画像における微小変化に強調処理が施された画像を生成する再構成部１５ａとを備える。

生成部１０ａは、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成する。検出部１１ａは、各解像度の輝度画像における輝度の微小変化を検出する。信頼部１２ａは、輝度の微小変化の信頼度を取得する。強調部１４ａは、輝度の微小変化を表す値と信頼度との乗算結果に強調処理を施す。再構成部１５ａは、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における輝度の微小変化に強調処理が施された画像を生成する。これによって、第１実施形態の画像処理装置１ａは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。

（第２実施形態）
第２実施形態では、各解像度の輝度画像における輝度変化が運動情報（振幅情報及び位相情報）に変換される点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点についてのみ説明する。

図３は、画像処理装置１ｂの構成の例を示す図である。画像処理装置１ｂは、画像処理を実行する装置である。画像処理装置１ｂは、画像における被写体の運動の微小変化を検出及び強調する。画像処理装置１ｂは、生成部１０ｂと、検出部１１ｂと、信頼部１２ｂと、乗算部１３ｂと、強調部１４ｂと、再構成部１５ｂとを備える。画像処理装置１ｂは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。

生成部１０ｂは、元画像の輝度画像を取得する。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。以下では、位相情報を含む画像を「位相画像」という。生成部１０ｂは、元画像の振幅情報及び位相情報を含む輝度画像から、各解像度の位相画像を生成する。

生成部１０ｂが輝度変化を振幅情報及び位相情報に変換し各解像度の位相画像を生成する方法は、特定の方法に限定されない。生成部１０ｂは、例えばＣＳＦ（Complex Steerable Filter）等のフィルタを用いて、輝度変化を振幅情報及び位相情報に変換する。

生成部１０ｂは、位相画像のフレームの座標（ｘ，ｙ）と時刻ｔとにおける輝度画像の輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）に、式（１１）のようにＣＳＦを施す。生成部１０ｂは、輝度画像の輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）にＣＳＦを施すことによって、輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）を、解像度ｌにおいて方向性θを持つ振幅変化を表す値Ａ_θ ^ｌ（ｘ，ｙ，ｔ）と位相変化を表す値φ_θ ^ｌ（ｘ，ｙ，ｔ）とに変換する。ここで、ψ_θ ^ｌは、解像度ｌ及び方向θにおけるＣＳＦを表す。

検出部１１ｂは、生成部１０ｂによって生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する。検出部１１ｂは、各解像度の位相画像における方向ごとの位相変化を表す値φ_θ ^ｌ（ｘ，ｙ，ｔ）に、時系列フィルタＨ（ｔ）を式（１２）のように畳み込むことで、各解像度の位相画像における位相の微小変化を検出する。位相の微小変化を表す値Ｂ^ｌ（ｘ，ｙ，ｔ）は、式（１２）のように表される。

なお、検出部１１ｂは、時系列フィルタＨ（ｔ）を用いる方法以外の方法で、位相の微小変化を検出してもよい。

信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における位相の微小変化の信頼度を、位相画像における方向ごとに乗算部１３ｂに出力する。式（４）から式（７）までと比較して、式（１１）及び式（１２）では、方向を表すパラメータθが追加されている。各解像度の位相画像における方向ごと位相変化の信頼度は、式（１３）のように表される。

信頼部１２ｂは、各解像度の位相画像が生成される際のダウンサンプリング処理におけるダウンサンプル量λとハイパーパラメーターβとを用いて、位相の微小変化の信頼度を式（１３）のように補正する。

乗算部１３ｂは、検出部１１ｂの出力と信頼部１２ｂの出力とを乗算する。すなわち、乗算部１３ｂは、位相の微小変化を表す値Ｂ^ｌ（ｘ，ｙ，ｔ）に、式（１４）のように信頼度を乗算する。これによって、乗算部１３ｂは、位相の微小変化のみを高い精度で検出することができる。

強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果を取得する。強調部１４ｂは、乗算結果である各解像度の位相画像における方向ごとの位相の微小変化に強調処理を施す。強調部１４ｂは、式（１４）のように高い精度で検出された微小変化を表す値に、任意の強調率αを乗算する。強調部１４ｂは、強調率αの乗算結果と元画像の位相変化を表す値φ_θ ^ｌ（ｘ，ｙ，ｔ）とを、式（１５）のように加算することによって、微小変化のみが強調された位相変化を表す値＾φ_θ ^ｌ（ｘ，ｙ，ｔ）を生成する。

再構成部１５ｂは、強調部１４ｂによって各解像度の位相画像における方向ごとの強調処理が施された位相の微小変化に基づいて、元画像における位相の微小変化に強調処理が施された画像を生成する。すなわち、再構成部１５ａは、式（１５）に示された位相変化を表す値＾φ_θ ^ｌ（ｘ，ｙ，ｔ）を、１からＬ個まで解像度方向に、位相画像における方向ごとに足し合わせることによって、元画像の位相画像において位相の微小変化のみが強調された位相画像を生成する。

再構成部１５ｂは、位相の微小変化が強調された位相画像にＣＳＦの逆フィルタを施すことによって、位相の微小変化が強調された位相画像を、輝度の微小変化が強調された元画像の輝度画像に変換する。

再構成部１５ｂは、元画像の色画像を取得する。再構成部１５ｂは、輝度の微小変化のみが強調された輝度画像と元画像の色画像とを合成することによって、元画像において運動の微小変化のみが強調された画像を生成する。

次に、画像処理装置１ｂの動作の例を説明する。
図４は、画像処理装置１ｂの動作の例を示すフローチャートである。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。生成部１０ｂは、元画像の輝度画像から、各解像度の位相画像を生成する（ステップＳ２０１）。検出部１１ｂは、生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する（ステップＳ２０２）。信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における、位相の微小変化の信頼度を算出する（ステップＳ２０３）。乗算部１３ｂは、検出部１１ｂの出力と信頼部１２ｂの出力とを乗算する（ステップＳ２０４）。

強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ｂは、各解像度の位相画像における位相の微小変化を表す値に、強調率αを乗算する。強調部１４ｂは、強調率の乗算結果を、元画像の位相画像における位相変化を表す値に加算する（ステップＳ２０５）。再構成部１５ｂは、位相変化情報の加算結果と元画像の色画像とを合成することによって、元画像における微小変化が強調された画像を生成する（ステップＳ２０６）。

以上のように、第２実施形態の画像処理装置１ｂは、各解像度の画像を元画像から生成する生成部１０ｂと、各解像度の画像における微小変化を検出する検出部１１ｂと、微小変化の信頼度を取得する信頼部１２ｂと、微小変化を表す値と信頼度との乗算結果に強調処理を施す強調部１４ｂと、強調処理が施された乗算結果と元画像とに基づいて、元画像における微小変化に強調処理が施された画像を生成する再構成部１５ｂとを備える。

生成部１０ｂは、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成する。検出部１１ｂは、各解像度の位相画像における位相の微小変化を検出する。信頼部１２ｂは、位相の微小変化の信頼度を取得する。強調部１４ｂは、位相の微小変化を表す値と信頼度との乗算結果に強調処理を施す。再構成部１５ｂは、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における位相の微小変化に強調処理が施された画像を生成する。これによって、第２実施形態の画像処理装置１ｂは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。

（第３実施形態）
第３実施形態では、各解像度の位相画像における位相の微小変化の信頼度が統合される点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点についてのみ説明する。

図５は、画像処理装置１ｃの構成の例を示す図である。画像処理装置１ｃは、画像処理を実行する装置である。画像処理装置１ｃは、画像における被写体の運動の微小変化を検出及び強調する。画像処理装置１ｃは、生成部１０ｂと、検出部１１ｂと、信頼部１２ｂと、乗算部１３ｂと、強調部１４ｂと、再構成部１５ｂと、統合部１６ｃとを備える。画像処理装置１ｃは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。

統合部１６ｃは、各解像度の位相画像における信頼度を、信頼部１２ｂから取得する。統合部１６ｃは、複数の解像度の位相画像における信頼度を、位相画像における方向ごとに統合する。以下では、元画像の解像度は１と表記される。また、最低解像度はＬと表記される。

統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１６）のように実行する。すなわち、統合部１６ｃは、生成された全ての位相画像について、全ての解像度の位相画像における信頼度を方向ごとに乗算することによって、全ての解像度に共通する信頼度＾Ｃ_θ（ｘ，ｙ，ｔ）^β／λを方向θごとに算出する。

統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１７）のように実行してもよい。すなわち、統合部１６ｃは、生成された全ての位相画像について、全ての解像度の位相画像における信頼度の重み付き和を方向ごとに算出することによって、全ての解像度に共通する信頼度＾Ｃ_θ（ｘ，ｙ，ｔ）^β／λを方向θごとに算出してもよい。

統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１８）のように実行してもよい。すなわち、統合部１６ｃは、解像度ｌから低解像度（ｌ＋Ｎ）までの各解像度の位相画像について信頼度を方向ごとに乗算することによって、この乗算結果を、解像度ｌの位相画像における方向θごとの信頼度＾Ｃ_θ ^ｌ（ｘ，ｙ，ｔ）^β／λとしてもよい。

統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１９）のように実行してもよい。すなわち、統合部１６ｃは、解像度ｌから低解像度（ｌ＋Ｎ）までの各解像度の位相画像について信頼度の重み付き和を方向ごとに算出することによって、解像度ｌの位相画像における方向θごとの信頼度＾Ｃ_θ ^ｌ（ｘ，ｙ，ｔ）^β／λとしてもよい。

統合部１６ｃは、式（１６）から式（１９）までのいずれかの信頼度に基づいて、式（１４）を算出することによって、位相の微小変化を精度よく検出することが可能である。

図６は、画像処理装置１ｃの動作の例を示すフローチャートである。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。生成部１０ｂは、元画像の輝度画像から、各解像度の位相画像を生成する（ステップＳ３０１）。検出部１１ｂは、生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する（ステップＳ３０２）。信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における、位相の微小変化の信頼度を算出する（ステップＳ３０３）。統合部１６ｃは、複数の解像度の位相画像における信頼度を、位相画像における方向ごとに統合する（ステップＳ３０４）。乗算部１３ｂは、検出部１１ｂの出力と統合部１６ｃの出力とを乗算する（ステップＳ３０５）。

強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ｂは、各解像度の位相画像における位相の微小変化を表す値に、強調率αを乗算する。強調部１４ｂは、強調率の乗算結果を、元画像の位相画像における位相変化を表す値に加算する（ステップＳ３０６）。再構成部１５ｂは、位相変化情報の加算結果と元画像の色画像とを合成することによって、元画像における微小変化が強調された画像を生成する（ステップＳ３０７）。

以上のように、第３実施形態の画像処理装置１ｃは、第２実施形態の画像処理装置１ｂと比較して、統合部１６ｃを更に備える。統合部１６ｃは、複数の解像度の位相画像における信頼度を統合する。強調部１４ｂは、位相の微小変化を表す値と統合された信頼度との乗算結果に強調処理を施す。これによって、第３実施形態の画像処理装置１ｃは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。第３実施形態の画像処理装置１ｃは、第２実施形態における検出結果と比較して、位相の微小変化を精度よく検出することが可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ａ，１ｂ，１ｃ…画像処理装置、１０ａ，１０ｂ…生成部、１１ａ，１１ｂ…検出部、１２ａ，１２ｂ…信頼部、１３ａ，１３ｂ…乗算部、１４ａ，１４ｂ…強調部、１５ａ，１５ｂ…再構成部、１６ｃ…統合部

Claims (6)

1. 各解像度の画像を元画像から生成する生成部と、
   各解像度の画像における微小変化を検出する検出部と、
   前記微小変化の信頼度を取得する信頼部と、
   前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す強調部と、
   強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する再構成部と
   を備える画像処理装置。
2. 前記生成部は、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成し、
   前記検出部は、各解像度の輝度画像における輝度の微小変化を検出し、
   前記信頼部は、前記輝度の微小変化の信頼度を取得し、
   前記強調部は、前記輝度の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、
   前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記輝度の微小変化に強調処理が施された画像を生成する、請求項１に記載の画像処理装置。
3. 前記生成部は、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成し、
   前記検出部は、各解像度の位相画像における位相の微小変化を検出し、
   前記信頼部は、前記位相の微小変化の信頼度を取得し、
   前記強調部は、前記位相の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、
   前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記位相の微小変化に強調処理が施された画像を生成する、請求項１に記載の画像処理装置。
4. 複数の解像度の位相画像における前記信頼度を方向ごとに統合する統合部を更に備え、
   前記強調部は、前記位相の微小変化を表す値と統合された前記信頼度との乗算結果に強調処理を施す、請求項３に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   各解像度の画像を元画像から生成するステップと、
   各解像度の画像における微小変化を検出するステップと、
   前記微小変化の信頼度を取得するステップと、
   前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施すステップと、
   強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成するステップと
   を含む画像処理方法。
6. コンピュータに、
   各解像度の画像を元画像から生成する手順と、
   各解像度の画像における微小変化を検出する手順と、
   前記微小変化の信頼度を取得する手順と、
   前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す手順と、
   強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する手順と
   を実行させるための画像処理プログラム。

Images