JP7206526B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成３１年２月２６日 ｈｔｔｐｓ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝１９４７４９＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８にて公開

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

画像処理装置において動画像のフレームにおける画像の微小な色又は輝度変化を検出し、検出した微小な色又は輝度変化を強調又は減弱することができる技術が存在する。画像の微小な色又は輝度変化の変化量を強調又は減弱によって調整する技術は、「ビデオ・マグニフィケーション（Video Magnification）」と呼ばれている。画像処理装置は、動画像のフレームにおいて人の視覚では捉えきれなかった物理現象を、ビデオ・マグニフィケーションにおける強調によって可視化することができる。また、画像処理装置は、動画像のフレームに混入された不必要な画像の揺らぎ（例えば、手振れ、地面の振動等）を、ビデオ・マグニフィケーションにおける減弱によってフレームから除去することができる。

画像処理装置は、動画像中の微小な色又は輝度変化を検出する場合、フレームに時系列フィルタを適用する。これによって、画像処理装置は、被写体の画像の微小な色又は輝度変化を検出することができる（非特許文献１及び２参照）。

Hao-YuWu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William Freeman. "Eulerian Video Magnification for Revealing Subtle Changes in the World". SIGGRAPH. (2012) Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata. "Jerk-Aware Video Acceleration Magnification". IEEE International Conference on Computer Vision and Pattern Recognition (2018).

しかしながら、非特許文献１及び２に記載の技術では、意味のある微小な色又は輝度変化の変化量だけでなく、撮像素子の熱雑音等に起因して画像に混入したランダムノイズ（意味のない微小な色又は輝度変化）の変化量も、画像処理装置が調整してしまうという問題がある。ランダムノイズの変化量が調整された場合には画像の品質が低下してしまうので、動画像に混入したランダムノイズが画像処理装置によって調整されることを低減する必要がある。

上記事情に鑑み、本発明は、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である画像処理装置、画像処理方法及びプログラムを提供することを目的としている。

本発明の一態様は、色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を互いに異なる解像度毎に検出する変化検出部と、前記色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された前記色又は輝度変化の信頼度を推定する信頼度推定部と、を備える画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記信頼度推定部は、前記色又は輝度画像内における時系列の色又は輝度変化の拡散結果に基づいて、前記信頼度を推定する。

本発明の一態様は、上記の画像処理装置であって、前記信頼度は、前記拡散結果が異方性を示すほど高い値となる。

本発明の一態様は、上記の画像処理装置であって、検出された色又は輝度の変化と前記信頼度とを乗算する乗算部と、前記信頼度が乗算された色又は輝度の変化の変化量を調整する変化量調整部とを更に備える。

本発明の一態様は、画像処理装置が実行する画像処理方法であって、色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を互いに異なる解像度毎に検出する変化検出ステップと、前記色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された前記色又は輝度変化の信頼度を推定する信頼度推定ステップと、を含む画像処理方法である。

本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるためのプログラムである。

本発明により、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第１実施形態における、画像処理装置の構成例を示す図である。 第１実施形態における、動画像のフレーム内の画素の例を示す図である。 第１実施形態における、微小な色又は輝度変化の分散の第１例（等方性拡散）を示す図である。 第１実施形態における、微小な色又は輝度変化の分散の第２例（異方性拡散）を示す図である。 第１実施形態における、画像処理装置の動作例を示すフローチャートである。 第２実施形態における画像処理装置の構成例を示す図である。 第２実施形態における、被写体の特定の微小な運動変化を強調又は減弱する各機能部の構成例を示す図である。 第２実施形態における、画像処理装置の動作例を示すフローチャートである。 第２実施形態における、画像処理装置の構成例を示す図である。 第３実施形態における、画像処理装置の構成例を示す図である。 第３実施形態における、被写体の特定の微小な運動変化を強調又は減弱する各機能部の構成例を示す図である。 第３実施形態における、動画像のフレーム内の画素の例を示す図である。 第３実施形態における、微小な位相変化の等方性拡散を示す図である。 第３実施形態における、微小な位相変化の異方性拡散を示す図である。 第３実施形態における、画像処理装置の動作例を示すフローチャートである。 第３実施形態における、動画像のフレームの例を示す図である。 第３実施形態における、位相変化の拡散結果に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第３実施形態における、運動変化の変化量が調整されていない元画像の画素のピクセル値と、運動変化の変化量が調整された各画像の画素のピクセル値との例を示す図である。 第３実施形態における、画像処理装置の構成例を示す図である。 第４実施形態における、画像処理装置の構成例を示す図である。 第４実施形態における、画像処理装置の構成例を示す図である。 第５実施形態における、画像処理装置の構成例を示す図である。 第５実施形態における、画像処理装置の構成例を示す図である。 第５実施形態における、差分画像の生成の例を示す図である。 第５実施形態における、画像処理装置の動作例を示すフローチャートである。 第５実施形態における、動画像のフレームの例を示す図である。 第５実施形態における、元画像の画素群のピクセル値の変化の例を示す図である。 第５実施形態における、加速度法に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第５実施形態における、躍度法に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第５実施形態における、単位時間当たりの変化方向変化の分散値に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第５実施形態における、画像処理装置の構成例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における画像処理装置１の構成例を示す図である。画像処理装置１は、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの画像処理である。画像処理装置１は、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。画像処理装置１は、動画像内の選択された画素値を強調又は減弱することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。ここで、選択された画素値とは、予め処理対象として選択される色又は輝度の画素値であって、例えばＲの画素値、Ｇの画素値、Ｂの画素値、Ｙの画素値、Ｅの画素値、Ｑの画素値のいずれかの画素値である。Ｙ、Ｅ、Ｑの画素値は、ＲＧＢから変換された明度を表す値である。

画像処理装置１は、画像入力部２と、画像分解部３と、変化検出部４と、信頼度推定部５と、変化量調整部７と、画像再構成部８とを備える。各機能部は、組み合わされて単体の機能部として設けられてもよいし、分割されて複数の機能部として設けられてもよい。

画像処理装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。画像処理装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

以下、動画像のフレームの輝度情報を表す画像を「輝度画像」という。以下、動画像のフレームの色情報を表す画像を「色画像」という。

画像入力部２は、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報を入力とする。又は、画像入力部２は、動画像のフレームを任意の輝度空間もしくは色空間に変換した後の色画像又は輝度画像を入力とする。画像入力部２は、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３に出力する。以下の説明では、原解像度の色画像が入力された場合を例に説明する。なお、色画像の代わりに輝度画像が入力された場合も処理は、色画像が入力された場合と同様である。

画像分解部３は、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力とする。画像分解部３は、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する。具体的には、画像分解部３は、入力した原解像度の色画像のうち、選択された色の情報の色画像に対してガウシアンフィルタを畳み込んでからダウンサンプリングする処理を複数回繰り返すことで、入力された原解像度の色画像を複数の解像度に分解する。ダウンサンプリングとは、ダウンサンプル量に基づいて解像度を縮小する処理である。ダウンサンプル量は、１より小さい（例:１/２）値である。画像分解部３は、互いに異なる解像度の色画像を、変化検出部４に出力する。

図２は、動画像のフレーム内の画素の例を示す図である。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。図２に示されたフレームには、３つの電球が点灯されている様子が撮像されている。図２に示されたフレームは、画素４１０と、画素４１１と、電球画像４１２とを含む。画素４１０は、フレームの第１部分領域に撮像された背景の画像に含まれている画素である。画素４１１は、フレームの第２部分領域に撮像された電球画像４１２に含まれている画素である。

図３は、微小な色又は輝度変化の等方性拡散を示す図である。図３において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図３に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のない微小な色又は輝度の変化は、図３に示された例のように、等方性拡散となる。

図４は、微小な色又は輝度変化の異方性拡散を示す図である。図４において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図４に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のある微小な色又は輝度の変化は異方性拡散となる。意味のある微小な色又は輝度変化の変化量は、特定の方向に時間分布が偏るように変化する。

以下の説明では、数式において文字の上に付されている記号は、その文字の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「＾」は、「＾Ｃ」のように文字「Ｃ」の直前に記載される。例えば、数式において文字「ｔ」の上に付されている記号「－」は、「（－）ｔ」のように文字「ｔ」の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「～」は、「（～）Ｃ」のように文字「Ｃ」の直前に記載される。

図１に戻り、画像処理装置１の構成例の説明を続ける。変化検出部４は、画像分解部３から出力された各解像度の色画像を入力とする。変化検出部４は、入力した各解像度の色画像に基づいて、各解像度の色画像における色の微小変化を検出する。変化検出部４は、検出した色画像又は輝度画像における色又は輝度の微小な変化を表す情報（以下「色又は輝度変化情報」という。）を解像度毎に信頼度推定部５及び乗算部６に出力する。

信頼度推定部５は、色又は輝度変化情報を入力とする。信頼度推定部５は、入力した色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。微小な色又は輝度変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化であることの信頼度である。信頼度推定部５は、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な色又は輝度変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５は、推定した信頼度を、乗算部６に出力する。信頼度推定部５は、推定した信頼度を、乗算部６に出力する。本実施形態における信頼度推定部５が推定する信頼度は、微小な色又は輝度変化の時間分布が異方性を示すほど高い値となる。言い換えると、信頼度は、拡散結果が異方性を示すほど高い値となる。

乗算部６は、色又は輝度変化情報と、信頼度とを入力とする。乗算部６は、入力した色又は輝度変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７に出力する。乗算部６が色又は輝度変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ，θ）」が、高精度に検出される。

変化量調整部７は、乗算部６が出力した乗算結果（信頼度が乗算された色又は輝度変化）を入力とする。変化量調整部７は、入力した乗算部６による乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７は、信頼度が乗算された微小な色又は輝度変化の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７は、微小な色又は輝度変化の変化量が調整された画像（以下「調整画像」という。）を解像度毎に生成する。変化量調整部７は、互いに異なる解像度の複数の調整画像を、画像再構成部８に出力する。

画像再構成部８（画像合成部）は、互いに異なる解像度の複数の調整画像を入力とする。画像再構成部８（画像合成部）は、入力した調整画像に基づいて画像を再構成する。具体的には、画像再構成部８は、互いに異なる解像度の複数の調整画像のサイズを同様のサイズに調整し、足し合わせることで微小な色又は輝度変化が強調された画像を再構成する。なお、画像再構成部８は、色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得る。画像再構成部８は、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識を実行する装置（以下「画像認識装置」という。）、又は、表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

次に、画像処理装置１の詳細を説明する。画像入力部２は、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報とを取得する。画像入力部２は、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３に出力する。

画像分解部３は、画像分解部３は、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する。画像分解部３は、互いに異なる解像度の色画像を変化検出部４に出力する。

変化検出部４は、各解像度の色画像における色画像における色の微小変化を検出する。なお、変化検出部４は、各解像度の輝度画像が入力された場合には、各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４は、画像分解部３において求められる各解像度の映像における色又は輝度変化「Ｉ^ｎ（ｘ,ｙ,ｔ））」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を以下の式（１）のように検出する。なお、変化検出部４は、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４は、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

式（１）において、演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子を表しており，演算子「〇」は、乗算（要素積）を表す。なお、Ｈ（ｔ）はバンドパスフィルタを表し、「Ｊ（ｘ,ｙ,ｔ）」は急峻な変化のみを除去することを目的とした躍度フィルタといったものが代表的な例として挙げられる。変化検出部４が用いるフィルタは、これらに限定されない。

変化検出部４によって求められた微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」は自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化が以下の式（２）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

式（２）の、「＾Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のある」微小な色又は輝度変化を表し、「～Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のない」微小な色又は輝度変化を表している。

信頼度推定部５は、変化検出部４によって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を利用して、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。具体的には、信頼度推定部５は、変化検出部４によって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の時間的な振る舞い（時間分布）を評価することで微小な色又は輝度変化の信頼度を推定する。変化検出部４から出力される微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」に対して、ある場所（ｘ,ｙ）を中心とした映像領域（－）ｘ∈Ｒ^{（ｈ×ｗ）}＝Ｒ^ｄとある時間ｔを中心とした時間幅「（－）ｔ」を考えると、微小な色又は輝度変化「Ｂ^ｎ（（－）ｘ,（－）ｔ）」に関する拡散方程式は以下の式（３）のように定式化することができる。

式（３）において「ｆ（Ｂ^ｎ（（－）ｘ,（－）ｔ））」は微小な色又は輝度変化の時間分布を表しており、「Ｄ」は時間幅「（－）ｔ」における拡散テンソル行列を表す。上記式（３）から、拡散テンソル行列は以下の式（４）のように得ることができる。

式（４）において、「ｃｏｖ（Ｘ）」はＸ行列の分散共分散行列を計算することを意味する。その後、信頼度推定部５は、「Ｄ」に対して固有値分解を行い、微小な色又は輝度変化の時間分布に関する特徴量であるFractional Anisotropy（以下「ＦＡ」という。）を以下の式（５）から得る。

式５において、（λ_１,…,λ_ｄ）は「Ｄ」の固有値であり、「（－）λ」はその平均であり、「ｄ」は処理対象となる画素の数を表す。ここで、処理対象となる画素の数「ｄ」は、調整を行いたい画素の数である。「ＦＡ」は、時間分布が異方性を示す際には「１」を、時間分布が等方性を示す場合に「０」を取る特徴量である。自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化はある特定の方向に時間分布が偏っており、異方性が高い。そのため、「意味のある」微小な色又は輝度変化はＦＡ値が「１」に近い値を示す。一方で、撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化はランダムな方向に時間分布が拡散しており異方性が低く、等方性が高い。そのため、「意味のない」微小な色又は輝度変化はＦＡ値が「０」に近い値を示す。したがって、信頼度推定部５は、ＦＡを用いて、微小な色又は輝度変化の信頼度を以下の式（６）に基づいて推定する。

式（６）において、「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は微小な色又は輝度変化の信頼度を表す時空間フィルタであり、「Ｇ_σ」は「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は、座標（ｘ，ｙ）を含む領域における微小な色又は輝度変化の信頼度を、０から１までの範囲で表す。微小な色又は輝度変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６は、色又は輝度変化情報と、信頼度推定部５によって推定された信頼度とを、画素ごと又は領域ごとに乗算する。より具体的には、乗算部６は、式（６）に示された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」と、式（１）に示された「Ｂ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（７）のように乗算する。

式（７）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７は、式（７）によって求められた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７は、式（７）のように高い精度で導出された微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（８）のようにを乗算する。変化量調整部７は、元の色又は輝度の変化元の色又は輝度の変化「Ｉ^ｎ（ｘ,ｙ,ｔ）」と乗算結果とを加算することによって、緩やかで微小な色又は輝度の変化の変化量が調整（例えば、強調又は減弱）された色又は輝度の変化「＾Ｉ^ｎ（ｘ,ｙ,ｔ）」を式（８）のように導出する。

このようにして、変化量調整部７は、検出された微小な色又は輝度の変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な色又は輝度が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な色又は輝度が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な色又は輝度が減弱される場合、元の微小な色又は輝度変化「Ｉ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な色又は輝度変化は調整されない。

画像再構成部８（画像合成部）は、画像を再構成する。画像再構成部８は、解像度毎に式（８）を求め、アップサンプリングを行いながら解像度方向に足し合わせることによって「意味のある」微小な色又は輝度変化のみが強調された色又は輝度情報に変換して原解像度の画像を再構成する。画像再構成部８は、もし色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得ることができる。

次に、画像処理装置１の動作例を説明する。
図５は、第１実施形態における画像処理装置１の動作例を示すフローチャートである。なお、図５では、画像入力部２に画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する場合を例に説明する。画像入力部２に画像処理の対象となる原解像度の輝度画像と、選択された輝度の情報とを入力する場合には、図５における処理において、原解像度の色画像を原解像度の輝度画像、色の情報を輝度の情報と読み替えればよい。
画像入力部２は、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する（ステップＳ１０１）。画像入力部２は、原解像度の色画像と、選択された色の情報とを画像分解部３に出力する。画像分解部３は、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する（ステップＳ１０２）。画像分解部３は、各解像度の色画像を変化検出部４に出力する。

変化検出部４は、画像分解部３から出力された色画像に基づいて、各解像度の色画像における色の微小変化を検出する（ステップＳ１０３）。変化検出部４は、各解像度の検出した色の微小変化を色又は輝度変化情報として信頼度推定部５及び乗算部６に出力する。
信頼度推定部５は、変化検出部４から出力された色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する（ステップＳ１０４）。信頼度推定部５は、推定した信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を乗算部６に出力する。

乗算部６は、変化検出部４から出力された色又は輝度変化情報と、信頼度推定部５から出力された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」とを乗算する（ステップＳ１０５）。乗算部６は、乗算結果を変化量調整部７に出力する。変化量調整部７は、乗算部６から出力された乗算結果を用いて、信頼度が乗算された微小な色又は輝度の変化の変化量を強調又は減弱によって調整する（ステップＳ１０６）。変化量調整部７は、微小な色又は輝度の変化の変化量の情報を画像再構成部８に出力する。画像再構成部８は、互いに異なる解像度の複数の調整画像に基づいて、原解像度の色画像を再構成する（ステップＳ１０７）。

画像分解部３は、画像処理装置１が処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ１０８）。画像処理装置１が処理を続ける場合（ステップＳ１０８：ＮＯ）、画像処理装置１の各機能部は、ステップＳ１０２に処理を戻す。画像処理装置１が処理を終了する場合（ステップＳ１０８：ＹＥＳ）、画像処理装置１の各機能部は、処理を終了する。

以上のように、第１実施形態の画像処理装置１は、変化検出部４と、信頼度推定部５とを備える。変化検出部４は、複数の解像度の色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を検出する。信頼度推定部５は、色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された色又は輝度変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。
これによって、画像処理装置１は、検出した映像内の微小変化のうち「意味のある」微小な色又は輝度変化をより精度よく検出することができる。したがって、「意味のある」微小な色又は輝度変化の変化量を調整することができる。そのため、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

（第２実施形態）
第２実施形態では、画像処理装置が、被写体の特定の微小な色又は輝度変化に加えて、微小な運動変化を強調又は減弱する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

図６は、第２実施形態における画像処理装置１ａの構成例を示す図である。画像処理装置１ａは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ａは、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化及び被写体の特定の微小な運動変化を強調又は減弱する。

画像処理装置１ａは、画像入力部２ａと、分解変換部３０ａと、変化検出部４ａと、信頼度推定部５ａと、乗算部６ａと、変化量調整部７ａと、画像再構成部８ａとを備える。分解変換部３０ａは、画像分解部３を備える。

第２実施形態では、画像処理装置１ａは、第１画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ａは、動画像に対して第１画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ａの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ａは、動画像に対して第１の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。

画像処理装置１ａは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な運動変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。

次に、被写体の特定の微小な運動変化を強調又は減弱する処理について説明する。
図７は、第２実施形態における被写体の特定の微小な運動変化を強調又は減弱する各機能部の構成例を示す図である。画像処理装置１ａは、画像入力部２ａと、分解変換部３０ａと、変化検出部４ａと、信頼度推定部５ａと、乗算部６ａと、変化量調整部７ａと、画像再構成部８ａとを、第２実施形態における被写体の特定の微小な運動変化を強調又は減弱する各機能部として備える。

画像入力部２ａは、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２ａは、入力した動画像の複数のフレームから、輝度画像と色画像とをフレーム毎に生成する。画像入力部２ａは、画像処理の対象となる原解像度の輝度画像を、分解変換部３０ａに出力する。画像入力部２ａは、画像処理の対象となる原解像度の色画像を、画像再構成部８ａに出力する。

分解変換部３０ａは、原解像度の輝度画像を入力とする。分解変換部３０ａは、入力した動画像の時刻ｔの原解像度の輝度画像における座標（ｘ，ｙ）の画素の輝度変化を、事前に定められた複数の方向における各輝度情報の位相変化及び振幅変化に変換するとともに、互いに異なる解像度に分解する。事前に定められた複数の方向とは、例えば、フレーム内の座標（ｘ，ｙ）の画素から放射状に広がる複数の方向である。放射状に広がる複数の空間方向は、例えば、フレーム内の画素の周囲における３６０度を、２２．５度ごとに等分する。分解変換部３０ａは、事前に定められた複数の方向にそれぞれ沿った各輝度情報の位相変化を表す情報を位相変化情報として変化検出部４ａに、事前に定められた複数の方向にそれぞれ沿った各輝度情報の振幅変化を表す情報を振幅変化情報として信頼度推定部５ａに、それぞれ出力する。

変化検出部４ａは、位相変化情報を入力とする。変化検出部４ａは、入力した位相変化情報に基づいて各解像度の輝度画像における微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する。変化検出部４ａは、検出した輝度画像における微小な位相変化を表す情報（以下「微小位相変化情報」という。）を解像度毎に乗算部６ａに出力する。

信頼度推定部５ａは、振幅変化情報を入力とする。信頼度推定部５ａは、入力した振幅変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。微小な位相変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化であることの信頼度である。信頼度推定部５ａは、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５ａは、推定した信頼度を、乗算部６ａに出力する。本実施形態における信頼度推定部５ａが推定する信頼度は、振幅変化が大きくなるほど高い値となる。

乗算部６ａは、微小位相変化情報と、信頼度とを入力とする。乗算部６ａは、入力した微小位相変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７ａに出力する。乗算部６ａが微小位相変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化が、高精度に検出される。

変化量調整部７ａは、乗算部６ａが出力した乗算結果（信頼度が乗算された位相変化）を入力とする。変化量調整部７ａは、入力した乗算部６ａによる乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７ａは、信頼度が乗算された微小な位相変化（運動変化）の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７ａは、微小な運動変化の変化量が調整された輝度画像（以下「調整輝度画像」という。）を解像度毎に生成する。変化量調整部７ａは、互いに異なる解像度の複数の調整輝度画像を、画像再構成部８ａに出力する。

画像再構成部８ａ（画像合成部）は、互いに異なる解像度の複数の調整輝度画像と、原解像度の色画像とを入力とする。画像再構成部８ａ（画像合成部）は、入力した調整輝度画像に基づいて画像を再構成する。

画像再構成部８ａは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ａは、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

次に、画像処理装置１ａの詳細を説明する。画像入力部２ａは、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２ａは、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２ａは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を分解変換部３ａに出力する。画像入力部２ａは、原解像度の色画像を画像再構成部８ａへ出力する。

分解変換部３ａは、入力した原解像度の輝度画像のある場所（ｘ,ｙ）、ある時間ｔにおける映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」に対してＣＳＦ（Complex Steerable Filter）を用いることで、映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」を、ある解像度「ｎ」と、ある方向「θ」における振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」と、位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に以下の式（９）のように変換及び分解する。パラメータ「ｎ」は解像度を表す。なお、本実施形態では、ＣＳＦを用いる構成を示したが、フィルタはこれに限定されない。ただし、以下の実施形態では、ＣＳＦを用いた場合について述べていく。

式（９）に示す演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子を表しており、「ψ_θ ^ｎ」はある解像度「ｎ」、ある方向「θ」におけるＣＳＦを表している。

変化検出部４ａは、生成された各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４ａは、分解変換部３ａにおいて求められる各解像度の映像における方向毎の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を以下の式（１０）のように検出する。なお、変化検出部４ａは、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４ａは、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

式（１０）における演算子「〇」は、乗算（要素積）を表す。なお、「Ｈ（ｔ）」はバンドパスフィルタを表し、「Ｊ（ｘ,ｙ,ｔ）」は急峻な変化のみを除去することを目的とした躍度フィルタといったものが代表的な例として挙げられる。変化検出部４ａが用いるフィルタは、これらに限定されない。

変化検出部４ａによって求められた微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は自然現象や物理現象によって生じる「意味のある」微小な位相変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な位相変化が以下の式（１１）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

式（１１）の、「＾Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は「意味のある」微小な位相変化を表し、「～Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は「意味のない」微小な位相変化を表している。

信頼度推定部５ａは、変化検出部４ａによって求められる振幅変化を利用して、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。まず、振幅変化の解像度の違いを考慮するために、ある解像度ｎ、ある方向θにおける振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」を以下の式（１２）のように複数解像度に渡り統合する。

式（１２）において、「Ｎ_ｎ」はこの統合にいくつの解像度を使用するか決定するものである。また、「Ｚ（Ａ）」はパラメータ「Ａ」をｚスコアに変換するｚ変換を表した関数であり、この関数を用いることによって複数解像度間のスケールの異なる振幅変化を規格化し、比較することが可能になる。「ｒｅｓ（Ａ^{（ｎ＋ｉ）},ｎ）」は、解像度「ｎ＋ｉ」（ｉは１以上の整数）における振幅変化を解像度「ｎ」にリサイズする関数である。なお、Ｚ（Ａ）で用いられている規格化や「ｒｅｓ（Ａ^{（ｎ＋ｉ）},ｎ）」で用いられるリサイズに関する手法はこれらに限定されない。

そして、信頼度推定部５ａは、複数解像度の振幅変化を統合した式（１２）の結果を用いて、振幅変化が大きくなるほど高い値となる微小な位相変化の信頼度を以下の式（１３）のように推定する。

式（１３）において、「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」は微小な位相変化の信頼度を表し、「Ｇ_σ」は「＾Ａ^ｎ（ｘ,ｙ,ｔ,θ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」は、座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度を、０から１までの範囲で表す。微小な位相変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６ａは、微小位相変化情報と、信頼度推定部５ａによって推定された信頼度とを、画素ごとに乗算する。より具体的には、乗算部６ａは、式（１３）に示された信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」と、式（１０）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（１４）のように乗算する。

式（１４）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７ａは、式（１４）によって求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７ａは、式（１４）によって高い精度で求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（１５）のように乗算する。変化量調整部７ａは、元の位相変化元の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整（例えば、強調又は減弱）された位相変化「＾φ^ｎ（ｘ,ｙ,ｔ,θ）」を式（１５）のように導出する。

このようにして、変化量調整部７ａは、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な位相変化が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「φ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な位相変化は調整されない。

画像再構成部８ａは、各解像度・方向毎に式（１５）を求める。画像再構成部８ａは、各解像度・方向毎に求めた調整された位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ＣＳＦの逆フィルタを掛けることで、微小な運動変化が強調された輝度情報に変換する。その後、色映像と足し合わせることで最終的な映像出力を得ることができる。

画像再構成部８ａ（画像合成部）は、画像を再構成する。画像再構成部８ａは、互いに異なる解像度の複数の調整輝度画像を、変化量調整部７ａから取得する。画像再構成部８ａは、互いに異なる解像度の複数の調整輝度画像を合成することによって、原解像度の輝度画像を再構成する。具体的には、画像再構成部８ａは、互いに異なる解像度の複数の調整輝度画像及び方向毎にＣＳＦの逆フィルタを掛けることで微小な運動変化が強調された輝度情報に変換して合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８ａは、原解像度の色画像を、画像入力部２ａから取得する。画像再構成部８ａは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ａは、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

画像再構成部８ａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

次に、画像処理装置１ａの動作例を説明する。
図８は、第２実施形態における画像処理装置１ａの動作例を示すフローチャートである。画像入力部２ａは、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ２０１）。画像入力部２ａは、原解像度の輝度画像を分解変換部３ａに出力する。画像入力部２ａは、原解像度の色画像を画像再構成部８ａに出力する。分解変換部３ａは、画像入力部２ａから出力された原解像度の輝度画像に基づいて、輝度変化を位相変換及び振幅変化に変換するとともに、複数の解像度に分解する（ステップＳ２０２）。分解変換部３ａは、各解像度の位相変化情報を変化検出部４ａに出力する。分解変換部３ａは、各解像度の振幅変化情報を信頼度推定部５ａに出力する。

変化検出部４ａは、分解変換部３ａから出力された位相変化情報に基づいて、各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ２０３）。変化検出部４ａは、各解像度の微小位相変化情報を乗算部６ａに出力する。
信頼度推定部５ａは、分解変換部３ａから出力された振幅変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を推定する（ステップＳ２０４）。信頼度推定部５ａは、推定した信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を乗算部６ａに出力する。

乗算部６ａは、変化検出部４ａから出力された微小位相変化情報と、信頼度推定部５ａから出力された信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」とを乗算する（ステップＳ２０５）。乗算部６ａは、乗算結果を変化量調整部７ａに出力する。変化量調整部７ａは、乗算部６ａから出力された乗算結果を用いて、信頼度が乗算された微小な運動変化の変化量を強調又は減弱によって調整する（ステップＳ２０６）。変化量調整部７ａは、運動変化の変化量の情報を画像再構成部８ａに出力する。画像再構成部８ａは、互いに異なる解像度の複数の調整輝度画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ２０７）。画像再構成部８ａは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ２０８）。

分解変換部３ａは、画像処理装置１ａが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ２０９）。画像処理装置１ａが処理を続ける場合（ステップＳ２０９：ＮＯ）、画像処理装置１ａの各機能部は、ステップＳ２０２に処理を戻す。画像処理装置１ａが処理を終了する場合（ステップＳ２０９：ＹＥＳ）、画像処理装置１ａの各機能部は、処理を終了する。

以上のように、第２実施形態の画像処理装置１ａは、変化検出部４ａと、信頼度推定部５ａとを備える。変化検出部４ａは、複数の解像度の輝度画像における位相変化のうち、所定の変化量の位相変化を検出する。信頼度推定部５ａは、検出された位相変化の信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を推定する。
これによって、画像処理装置１ａは、検出した映像内の微小変化のうち「意味のある」微小な位相変化をより精度よく検出することができる。したがって、「意味のある」微小な位相変化の変化量を調整することができる。そのため、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第２実施形態における画像処理装置は、第１実施形態の画像処理装置１が実行する色又は輝度の微小変化の変化量を調整する処理と、本実施形態で説明した被写体の特定の微小な運動変化を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図９に示す。図９は、第２実施形態における画像処理装置１ａａの構成例を示す図である。画像処理装置１ａａは、画像入力部２ａａと、分解変換部３０ａａと、変化検出部４ａａと、信頼度推定部５ａａと、乗算部６ａａと、変化量調整部７ａａと、画像再構成部８ａａと、画像分解部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７とを備える。

画像処理装置１ａａは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ａａは、動画像に対して第１の画像処理を実行することによって、被写体の色又は輝度の微小変化を強調又は減弱する。画像処理装置１ａａが実行する第１の画像処理では、画像入力部２ａａと画像分解部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ａａとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ａａは、動画像に対して第２の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ａａが実行する第２の画像処理では、画像入力部２ａａと分解変換部３０ａａと変化検出部４ａａと信頼度推定部５ａａと乗算部６ａａと変化量調整部７ａａと画像再構成部８ａａとは、図７に示す同名の機能部と同様の処理を実行する。

画像再構成部８ａａは、互いに異なる解像度の複数の画像を、変化量調整部７ａａから取得する。画像再構成部８ａａは、互いに異なる解像度の複数の画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ａａは、原解像度の色画像を、画像入力部２ａａから取得してもよい。画像再構成部８ａａは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ａａは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７から取得する。画像再構成部８ａａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ａａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

（第３実施形態）
第３実施形態では、画像処理装置が、被写体の特定の微小な色又は輝度変化に加えて、微小な位相変化の時間的な振る舞いに基づいて得られる信頼度に基づいて微小な運動変化を強調又は減弱する点が、第１実施形態及び第２実施形態と相違する。第３実施形態では、第１実施形態及び第２実施形態との相違点を説明する。

図１０は、第３実施形態における画像処理装置１ｂの構成例を示す図である。画像処理装置１ｂは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ｂは、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化及び被写体の特定の微小な運動変化を強調又は減弱する。

画像処理装置１ｂは、画像入力部２ｂと、分解変換部３０ｂと、変化検出部４ｂと、信頼度推定部５ｂと、乗算部６ｂと、変化量調整部７ｂと、画像再構成部８ｂとを備える。分解変換部３０ｂは、画像分解部３を備える。

第３実施形態では、画像処理装置１ｂは、第１の画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ｂは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ｂの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ｂは、動画像に対して第１の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。

画像処理装置１ｂは、動画像に対して第２の画像処理を実行することによって、微小な位相変化の時間的な振る舞いに基づいて得られる信頼度に基づいて被写体の特定の微小な運動変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。

次に、微小な位相変化の時間的な振る舞いに基づいて得られる信頼度に基づいて被写体の特定の微小な運動変化を強調又は減弱する処理について説明する。
図１１は、第３実施形態における被写体の特定の微小な運動変化を強調又は減弱する各機能部の構成例を示す図である。画像処理装置１ｂは、画像入力部２ｂと、分解変換部３０ｂと、変化検出部４ｂと、信頼度推定部５ｂと、乗算部６ｂと、変化量調整部７ｂと、画像再構成部８ｂとを、第３実施形態における被写体の特定の微小な運動変化を強調又は減弱する各機能部として備える。

画像入力部２ｂは、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２ｂは、入力した動画像の複数のフレームから、輝度画像と色画像とをフレーム毎に生成する。画像入力部２ｂは、画像処理の対象となる原解像度の輝度画像を、分解変換部３０ｂに出力する。画像入力部２ｂは、画像処理の対象となる原解像度の色画像を、画像再構成部８ｂに出力する。

分解変換部３０ｂは、原解像度の輝度画像を入力とする。分解変換部３０ｂは、入力した動画像の時刻ｔの原解像度の輝度画像における座標（ｘ，ｙ）の画素の輝度変化を、事前に定められた複数の方向における各輝度情報の位相変化及び振幅変化に変換するとともに、互いに異なる解像度に分解する。分解変換部３０ｂは、事前に定められた複数の方向にそれぞれ沿った各輝度情報の位相変化を表す情報を位相変化情報として変化検出部４ｂに出力する。

図１２は、動画像のフレーム内の画素の例を示す図である。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。図１２に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。図１２に示されたフレームは、画素２１０と、画素２１１と、切り株画像２１２と、斧画像２１３とを含む。画素２１０は、フレームの第１部分領域に撮像された壁の画像に含まれている画素である。画素２１１は、フレームの第２部分領域に撮像された切り株画像２１２に含まれている画素である。

図１３は、微小な位相変化の等方性拡散を示す図である。図１３に示された微小な位相変化は、画素２１０の輝度情報における微小な位相変化である。図１３に示されたグラフの原点からの距離は、画素２１０の輝度情報の位相変化の変化量を表す。図１３では、予め定められた空間方向「θ」は、一例として、２２．５°ごとの角度（０．０°、２２．５°、４５．０°、６７．５°、９０．０°、…）である。

意味のない微小な位相変化は、図１３に示された例のように、等方性拡散となる。位相変化の変化量は、例えば、時刻ｔ１では「θ＝９０度」の方向に「０．２」と、時刻ｔ２では「θ＝６７．５度」の方向に「０．２」とのように変化する。

図１４は、微小な位相変化の異方性拡散を示す図である。図１４に示された微小な位相変化は、画素２１１の輝度情報における微小な位相変化である。図１４に示されたグラフの原点からの距離は、画素２１１の輝度情報の位相変化の変化量を表す。図１４では、予め定められた空間方向「θ」は、一例として、２２．５°ごとの角度（０．０°、２２．５°、４５．０°、６７．５°、９０．０°、…）である。

時刻tを含む時間帯「（－）ｔ」において、意味のある微小な位相変化は、複数の空間方向の軸のうちの少ない本数の軸の空間方向に生じる。図１４では、各空間方向「θ」のうちの例えば「θ＝９０°」の軸（ｙ軸）に対して、分散が大きい。図１４に示された例のように、意味のある微小な位相変化は異方性拡散となる。意味のある微小な位相変化の変化量は、特定の方向に時間分布が偏るように変化する。

意味がある動きでは、単位時間内の特定時刻において、位相変化の空間方向θが互いに近い方向になる。例えば、斧に衝突された切り株の垂直方向の振動では、振動周期に応じた特定の各時刻（ｔ１、ｔ２、…）において、位相変化の空間方向θが、それぞれ例えば９０度になる。

図１１に戻り、画像処理装置１ｂの構成例の説明を続ける。変化検出部４ｂは、位相変化情報を入力とする。変化検出部４ｂは、入力した位相変化情報に基づいて各解像度の輝度画像における微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する。変化検出部４ｂは、検出した輝度画像における微小な位相変化を表す情報である微小位相変化情報を解像度毎に信頼度推定部５ｂ及び乗算部６ｂに出力する。

信頼度推定部５ｂは、微小位相変化情報を入力とする。信頼度推定部５ｂは、入力した微小位相変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。信頼度推定部５ｂは、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５ｂは、推定した信頼度を、乗算部６ｂに出力する。

本実施形態における信頼度推定部５ｂが推定する信頼度は、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の時間的な振る舞いが近傍領域間で高い相関を示すほど高い値となる。すなわち、本実施形態における信頼度推定部５ｂが推定する信頼度は、微小な位相変化の時間分布が異方性を示すほど高い値となる。言い換えると、本実施形態における信頼度推定部５ｂが推定する信頼度は、拡散結果が異方性を示すほど高い値となる。

乗算部６ｂは、微小位相変化情報と、信頼度とを入力とする。乗算部６ｂは、入力した微小位相変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７ｂに出力する。乗算部６ｂが微小位相変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ，θ）」が、高精度に検出される。

変化量調整部７ｂは、乗算部６ｂが出力した乗算結果（信頼度が乗算された位相変化）を入力とする。変化量調整部７ｂは、入力した乗算部６ｂによる乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７ｂは、信頼度が乗算された微小な位相変化（運動変化）の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７ｂは、微小な運動変化の変化量が調整された輝度画像（以下「調整輝度画像」という。）を解像度毎に生成する。変化量調整部７ｂは、互いに異なる解像度の複数の調整輝度画像を、画像再構成部８ｂに出力する。

画像再構成部８ｂ（画像合成部）は、互いに異なる解像度の複数の調整輝度画像と、原解像度の色画像とを入力とする。画像再構成部８ｂ（画像合成部）は、入力した調整輝度画像に基づいて画像を再構成する。具体的には、画像再構成部８ｂは、互いに異なる解像度の複数の調整輝度画像及び方向毎にＣＳＦの逆フィルタを掛けることで微小な運動変化が強調された輝度情報に変換して合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８ｂは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ｂは、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

次に、画像処理装置１ｂの詳細を説明する。画像入力部２ｂは、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２ｂは、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。画像入力部２ｂは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を分解変換部３ｂに出力する。画像入力部２ｂは、原解像度の色画像を画像再構成部８ｂへ出力する。

分解変換部３ｂは、入力した原解像度の輝度画像のある場所（ｘ,ｙ）、ある時間ｔにおける映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」に対してＣＳＦを用いることで、映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」を、ある解像度「ｎ」と、ある方向「θ」における振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」と、位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に上式（９）のように変換及び分解する。

変化検出部４ｂは、生成された各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４ｂは、分解変換部３ｂにおいて求められる各解像度の映像における方向毎の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を上式（１０）のように検出する。なお、変化検出部４ｂは、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４ｂは、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

変化検出部４ｂによって求められた微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は自然現象や物理現象によって生じる「意味のある」微小な位相変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な位相変化が上式（３）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

信頼度推定部５ｂは、分解変換部３０ｂによって求められる微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を利用して、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。具体的には、信頼度推定部５ｂは、変化検出部４ｂによって求められる微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の時間的な振る舞い（時間分布）を評価することで微小な位相変化の信頼度を推定する。変化検出部４ｂから出力される微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ある場所（ｘ,ｙ）を中心とした映像領域（－）ｘ∈Ｒ^{（ｈ×ｗ）}＝Ｒ^ｄとある時間ｔを中心とした時間幅「（－）ｔ」を考えると、位相の変化が方向θに依存していることに注意して微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」に関する拡散方程式は以下の式（１６）のように定式化することができる。

式（１６）において、「ｆ（Ｃ^ｎ（（－）ｘ,（－）ｔ,θ））」は微小な位相変化の時間分布を表しており、「Ｄ」は時間幅「（－）ｔ」における拡散テンソル行列を表す。映像領域「（－）ｘ」において、時間幅「（－）ｔ」内で同じような位相変化が生じていると仮定し、それらの変化を時空間データサンプル「ｓ」としてまとめると、式（１６）は以下の式（１７）のように変形できる。

上記の式（１７）から拡散テンソル行列は、以下の式（１８）のように得ることができる。

式（１８）において、「ｃｏｖ（Ｘ）」はＸ行列の分散共分散行列を計算することを意味する。その後、信頼度推定部５ｂは、「Ｄ」に対して固有値分解を行うことによって、微小な位相変化の時間分布に関する特徴量であるFractional Anisotropy（以下「ＦＡ」という。）を以下の式（１９）から得る。

式（１９）において、（λ_１,…, λ_ｄ）は「Ｄ」の固有値であり、「（－）λ」はその平均である。「ＦＡ」は、時間分布が異方性を示す際には「１」を、時間分布が等方性を示す場合に「０」を取る特徴量である。自然現象や物理現象によって生じる「意味のある」微小な位相変化はある特定の方向に時間分布が偏っており、異方性が高い。そのため、「意味のある」微小な位相変化はＦＡ値が「１」に近い値を示す。一方で、撮像過程で混入するノイズ由来の「意味のない」微小な位相変化はランダムな方向に時間分布が拡散しており異方性が低く、等方性が高い。そのため、「意味のない」微小な位相変化はＦＡ値が「０」に近い値を示す。したがって、信頼度推定部５ｂは、ＦＡを用いて、微小な位相変化の信頼度を以下の式（２０）に基づいて推定する。

式（２０）において、「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は微小な位相変化の信頼度を表す時空間フィルタであり、「Ｇ_σ」は「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は、座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度を、０から１までの範囲で表す。微小な位相変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６ｂは、微小位相変化情報と、信頼度推定部５ｂによって推定された信頼度とを、画素ごとに乗算する。より具体的には、乗算部６ｂは、式（２０）に示された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」と、式（１０）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（２１）のように乗算する。

式（２１）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７ｂは、式（２１）によって求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７ｂは、式（２１）のように高い精度で導出された微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（２２）のように乗算する。変化量調整部７ｂは、元の位相変化元の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整（例えば、強調又は減弱）された位相変化「＾φ^ｎ（ｘ,ｙ,ｔ,θ）」を式（２２）のように導出する。

このようにして、変化量調整部７ｂは、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

画像再構成部８ｂは、各解像度・方向毎に式（２２）を求める。画像再構成部８ｂは、各解像度・方向毎に求めた調整された位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ＣＳＦの逆フィルタを掛けることで、微小な運動変化が強調された輝度情報に変換する。その後、色映像と足し合わせることで最終的な映像出力を得ることができる。

画像再構成部８ｂ（画像合成部）は、画像を再構成する。画像再構成部８ｂは、互いに異なる解像度の複数の調整輝度画像を、変化量調整部７ｂから取得する。画像再構成部８ｂは、互いに異なる解像度の複数の調整輝度画像を合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８ｂは、原解像度の色画像を、画像入力部２から取得する。画像再構成部８ｂは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ｂは、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

次に、画像処理装置１ｂの動作例を説明する。
図１５は、第３実施形態における画像処理装置１ｂの動作例を示すフローチャートである。画像入力部２ｂは、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ３０１）。画像入力部２ｂは、原解像度の輝度画像を分解変換部３ｂに出力する。画像入力部２ｂは、原解像度の色画像を画像再構成部８ｂに出力する。分解変換部３ｂは、画像入力部２ｂから出力された原解像度の輝度画像に基づいて、輝度変化を位相変換及び振幅変化に変換するとともに、複数の解像度に分解する（ステップＳ３０２）。分解変換部３ｂは、各解像度の位相変化情報を変化検出部４ｂに出力する。

変化検出部４ｂは、分解変換部３ｂから出力された位相変化情報に基づいて、各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ３０３）。変化検出部４ｂは、各解像度の微小位相変化情報を乗算部６ｂに出力する。
信頼度推定部５ｂは、分解変換部３ｂから出力された位相変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する（ステップＳ３０４）。信頼度推定部５ｂは、推定した信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を乗算部６ｂに出力する。

乗算部６ｂは、変化検出部４ｂから出力された微小位相変化情報と、信頼度推定部５ｂから出力された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」とを乗算する（ステップＳ３０５）。乗算部６ｂは、乗算結果を変化量調整部７ｂに出力する。変化量調整部７ｂは、乗算部６ｂから出力された乗算結果を用いて、信頼度が乗算された微小な運動変化の変化量を強調又は減弱によって調整する（ステップＳ３０６）。変化量調整部７ｂは、運動変化の変化量の情報を画像再構成部８ｂに出力する。画像再構成部８ｂは、互いに異なる解像度の複数の調整輝度画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ３０７）。画像再構成部８ｂは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ３０８）。

分解変換部３ｂは、画像処理装置１ｂが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ３０９）。画像処理装置１ｂが処理を続ける場合（ステップＳ３０９：ＮＯ）、画像処理装置１ｂの各機能部は、ステップＳ３０２に処理を戻す。画像処理装置１ｂが処理を終了する場合（ステップＳ３０９：ＹＥＳ）、画像処理装置１ｂの各機能部は、処理を終了する。

次に、画像の運動変化（位相変化）の変化量が調整された結果の例を説明する。
図１６は、動画像のフレームの例を示す図である。図１６に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。切り株に斧が衝突した時刻以降の時系列のフレームでは、ｙ軸方向に切り株が微小振動する。

図１６に示されたフレームは、画素群２２０と、画素２２１とを含む。画素群２２０は、フレーム内の第１部分領域に撮像された切り株画像２１２において垂直方向（ｙ軸方向）に並ぶ画素である。画素２２１は、フレーム内の第２部分領域に撮像された壁の画像に含まれている画素である。

動画像のフレームでは、壁の画像の画素２２１のピクセル値には、ランダムな空間方向の微小な位相変化が、ランダムノイズによって定常的に生じている。切り株に向けてｙ軸方向に斧が降り下ろされた場合、切り株と斧との衝突に起因して、切り株画像２１２の画素群２２０のピクセル値には、主にｙ軸方向の微小な位相変化が、切り株画像２１２の振動によって生じる。

図１７は、位相変化の拡散結果に基づいて運動変化の変化量が調整された画素群２２０のピクセル値の例を示す図である。図１７では、位相変化の拡散結果に基づいて運動変化の変化量が調整されることによって、強調すべき部分は強調できており、ノイズが抑えられている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、強調すべき部分のピクセル値（運動変化）の変化量が大きい。

図１８は、運動変化の変化量が調整されていない元画像の画素２２１のピクセル値と、運動変化の変化量が調整された各画像の画素２２１のピクセル値との例を示す図である。横軸は、フレーム番号（時刻）を表す。縦軸は、各手法に基づいて求められたピクセル値の時間的な変動を表す。ここで、各手法として、加速度法、躍度法及び本手法が挙げられる。なお、これらの各手法との比較対象として、運動変化の変化量が調整されていない元画像のピクセル値の時間的な変動も示している。

加速度法又は躍度法に基づいて調整された画像の画素２２１と、元画像の画素２２１のピクセル値との差は、本手法、すなわち位相変化の拡散結果に基づいて調整された画像の画素２２１と、元画像の画素２２１のピクセル値との差よりも大きい。このように、位相変化の拡散結果に基づいて調整された画像では、微小な位相変化の変化量が調整されても、ランダムノイズが調整されることが低減されている。このように、動画像に混入したランダムノイズが調整されることを、位相変化の拡散結果に基づいて低減することが可能である。

以上のように、第３実施形態の画像処理装置１ｂは、変化検出部４ｂと、信頼度推定部５ｂとを備える。変化検出部４ｂは、複数の解像度の輝度画像における位相変化のうちから、予め定められた位相変化を検出する。信頼度推定部５ｂは、検出された位相変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。
これによって、画像処理装置１ｂは、検出した映像内の微小変化のうち「意味のある」微小な位相変化をより精度よく検出することができる。したがって、「意味のある」微小な位相変化の変化量を調整することができる。そのため、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第３実施形態における画像処理装置は、第１実施形態の画像処理装置１が実行する色又は輝度の微小変化の変化量を調整する処理と、本実施形態で説明した被写体の特定の微小な運動変化を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図１９に示す。図１９は、第３実施形態における画像処理装置１ｂｂの構成例を示す図である。画像処理装置１ｂｂは、画像入力部２ｂｂと、分解変換部３０ｂｂと、変化検出部４ｂｂと、信頼度推定部５ｂｂと、乗算部６ｂｂと、変化量調整部７ｂｂと、画像再構成部８ｂｂと、画像分解部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７とを備える。

画像処理装置１ｂｂは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｂｂは、動画像に対して第１の画像処理を実行することによって、被写体の色又は輝度の微小変化を強調又は減弱する。画像処理装置１ｂｂが実行する第１の画像処理では、画像入力部２ｂｂと画像分解部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ｂｂとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ｂｂは、動画像に対して第２の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ｂｂが実行する第２の画像処理では、画像入力部２ｂｂと分解変換部３０ｂｂと変化検出部４ｂｂと信頼度推定部５ｂｂと乗算部６ｂｂと変化量調整部７ｂｂと画像再構成部８ｂｂとは、図１１に示す同名の機能部と同様の処理を実行する。

画像再構成部８ｂｂは、互いに異なる解像度の複数の画像を、変化量調整部７ｂｂから取得する。画像再構成部８ｂｂは、互いに異なる解像度の複数の画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ｂｂは、原解像度の色画像を、画像入力部２ｂｂから取得してもよい。画像再構成部８ｂｂは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ｂｂは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７から取得する。画像再構成部８ｂｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｂｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

（第４実施形態）
第４実施形態では、画像処理装置が、第１実施形態の画像処理装置１が実行する被写体の特定の微小な色又は輝度変化を調整する処理と、第２実施形態の画像処理装置１ａが実行する被写体の微小な運動変化を強調又は減弱する処理と、第３実施形態の画像処理装置１ｂが実行する被写体の微小な運動変化を強調又は減弱する処理とを逐次処理する点が、第１実施形態から第３実施形態と相違する。第４実施形態では、第１実施形態から第３実施形態との相違点を説明する。

図２０は、第４実施形態における画像処理装置１ｃの構成例を示す図である。画像処理装置１ｃは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ｃは、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化及び被写体の特定の微小な運動変化を強調又は減弱する。

画像処理装置１ｃは、画像入力部２ｃと、分解変換部３０ｃと、変化検出部４ｃと、信頼度推定部５ｃと、乗算部６ｃと、変化量調整部７ｃと、画像再構成部８ｃと、信頼度推定部５１ｃとを備える。分解変換部３０ｃは、画像分解部３を備える。

第４実施形態では、画像処理装置１ｃは、第１の画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ｃは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ｃの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ｃは、動画像に対して第１の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。

画像処理装置１ｃは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な運動変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。

次に、第４実施形態における被写体の特定の微小な運動変化を強調又は減弱する処理について説明する。
第４実施形態では、画像処理装置１ｃは、第１の信頼度推定処理及び第２の信頼度推定処理を実行する。すなわち、画像処理装置１ａは、動画像に対して第１の信頼度推定処理を実行し、更に、動画像に対して第２の信頼度推定処理を実行する。第１の信頼度推定処理と第２の信頼度推定処理との実行順は、逆でもよい。第１の信頼度推定処理は、信頼度推定部５ｃにより実行される。一方、第２の信頼度推定処理は、信頼度推定部５１ｃにより実行される。

第１の信頼度推定処理では、信頼度推定部５ｃは、第２実施形態と同様の手法により微小な位相変化の信頼度を推定する。以下、信頼度推定部５ｃにより推定される信頼度を第１の信頼度と記載する。
第２の信頼度推定処理では、信頼度推定部５１ｃは、第３実施形態と同様の手法により微小な位相変化の信頼度を推定する。以下、信頼度推定部５１ｃにより推定される信頼度を第２の信頼度と記載する。

乗算部６ｃは、変化検出部４ｃから出力された微小位相変化情報と、信頼度推定部５ｃから出力された第１の信頼度と、信頼度推定部５１ｃから出力された第２の信頼度とを乗算し、乗算結果を変化量調整部７ｃに出力する。なお、乗算部６ｃは、入力した第１の信頼度及び第２の信頼度を、重み付け乗算又は重み付け加算してもよい。例えば、乗算部６ｃは、第１の信頼度及び第２の信頼度のうち処理において重要となる信頼度の重みを、他方の信頼度の重みより大きくして、第１の信頼度及び第２の信頼度の値に重み付けして重み付け乗算又は重み付け加算する。以降の処理は、第１実施形態から第３実施形態と同様であるため説明を省略する。

また、第４実施形態における画像処理装置１ｃは、色又は輝度の微小変化の変化量を調整する処理と、被写体の特定の微小な運動変化を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図２１に示す。図２１は、第４実施形態における画像処理装置１ｃｃの構成例を示す図である。画像処理装置１ｃｃは、画像入力部２ｃｃと、分解変換部３０ｃｃと、変化検出部４ｃｃと、信頼度推定部５ｃｃと、乗算部６ｃｃと、変化量調整部７ｃｃと、画像再構成部８ｃｃと、画像分解部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７と、信頼度推定部５１ｃｃとを備える。

画像処理装置１ｃｃは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｃｃは、動画像に対して第１の画像処理を実行することによって、被写体の色又は輝度の微小変化を強調又は減弱する。画像処理装置１ｃｃが実行する第１の画像処理では、画像入力部２ｃｃと画像分解部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ｃｃとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ｃｃは、動画像に対して第２の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ｃｃが実行する第２の画像処理では、信頼度推定部５ｃｃが第１の信頼度推定処理により第１の信頼度を推定し、信頼度推定部５１ｃｃが第２の信頼度推定処理により第２の信頼度を推定する。そして、画像入力部２ｃｃと分解変換部３０ｃｃと変化検出部４ｃｃと信頼度推定部５ｃｃと乗算部６ｃｃと変化量調整部７ｃｃと画像再構成部８ｃｃとは、図２０に示す同名の機能部と同様の処理を実行する。

画像再構成部８ｃｃは、互いに異なる解像度の複数の画像を、変化量調整部７ｃｃから取得する。画像再構成部８ｃｃは、互いに異なる解像度の複数の画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ｃｃは、原解像度の色画像を、画像入力部２ｃｃから取得してもよい。画像再構成部８ｃｃは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ｃｃは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７から取得する。画像再構成部８ｃｃは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｃｃは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

（第５実施形態）
第５実施形態では、画像処理装置が、第１実施形態から第４実施形態における方法と異なる手法で、微小な運動変化を強調又は減弱する点が、第１実施形態から第４実施形態と相違する。第５実施形態では、第１実施形態から第４実施形態との相違点を説明する。

図２２は、第５実施形態における画像処理装置１ｄの構成例を示す図である。画像処理装置１ｄは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ｄは、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化及び被写体の特定の微小な運動変化を強調又は減弱する。

画像処理装置１ｄは、画像入力部２ｄと、分解変換部３０ｄと、変化検出部４ｄと、信頼度推定部５ｄと、乗算部６ｄと、変化量調整部７ｄと、画像再構成部８ｄとを備える。分解変換部３０ｄは、画像分解部３と、画像分解部３ｄと、画像変換部３１ｄとを備える。

第５実施形態では、画像処理装置１ｄは、第１の画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ｄは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ｄの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ｄは、動画像に対して第１の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。

画像処理装置１ｄは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な運動変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。

次に、被写体の特定の微小な運動変化を強調又は減弱する処理について説明する。
図２３は、被写体の特定の微小な運動変化を強調又は減弱する各機能部の構成例を示す図である。画像処理装置１ｄは、画像入力部２ｄと、分解変換部３０ｄと、変化検出部４ｄと、信頼度推定部５ｄと、乗算部６ｄと、変化量調整部７ｄと、画像再構成部８ｄとを備える。各機能部は、組み合わされて単体の機能部として設けられてもよいし、分割されて複数の機能部として設けられてもよい。

画像入力部２ｄは、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２ｄは、動画像の複数のフレームから、輝度画像と色画像とを生成する。画像入力部２ｄは、画像処理の対象となる原解像度の輝度画像を、分解変換部３０ｄに出力する。画像入力部２ｄは、画像処理の対象となる原解像度の色画像を、画像再構成部８ｄに出力する。

分解変換部３０ｄ（エッジ画像生成部）は、原解像度の輝度画像を入力とする。分解変換部３０ｄは、互いに異なる解像度のエッジ画像を、原解像度の輝度画像から生成する。エッジ画像は、画像処理対象の画像内における一定周波数以上の空間周波成分（高周波成分）を表す画像である。例えば、エッジ画像では、被写体画像の輪郭（エッジ）が抽出される。分解変換部３０ｄは、画像分解部３ｄと、画像変換部３１ｄとを備える。

画像分解部３ｄは、原解像度の輝度画像を入力とする。画像分解部３ｄは、互いに異なる解像度の輝度画像（以下「多重解像度の輝度画像」という。）を、入力された原解像度の輝度画像から生成する。画像分解部３ｄは、互いに異なる解像度のエッジ画像（以下「多重解像度のエッジ画像」という。）を、多重解像度の輝度画像から生成する。例えば、画像分解部３ｄは、互いに異なる解像度のうちの所定解像度の輝度画像同士の差分画像を、多重解像度のエッジ画像として生成する。画像分解部３ｄは、多重解像度のエッジ画像（解像度方向のエッジ画像）を、解像度ごとに画像変換部３１ｄに出力する。

以下、画素においてエッジに直交している尤もらしい方向の時間的変動を「方向変化」という。方向変化「θ（ｘ，ｙ，ｔ）」は、時刻「ｔ」のエッジ画像内の座標（ｘ，ｙ）の画素ごとに定まる。エッジに直交している尤もらしい方向は、一定量以上の輝度成分によって表現されるエッジが存在するエッジ画像に対するリース変換等の出力として導出される。したがって、方向変化「θ（ｘ，ｙ，ｔ）」は、リース変換の出力である尤もらしい方向θ（ｘ，ｙ）が時刻「ｔ」の動画像のフレームに関して保持された時系列データである。画素にエッジが存在していない場合でも、尤もらしい方向はリース変換等の出力として導出される。以下、方向変化に沿った高周波成分の位相の時系列変化を「位相変化」という。

画像変換部３１ｄは、多重解像度のエッジ画像（解像度方向のエッジ画像）を入力とする。画像変換部３１ｄは、エッジ画像ごとに、時刻「ｔ」のエッジ画像内の座標（ｘ，ｙ）の画素ごとに、方向変化「θ（ｘ，ｙ，ｔ）」に沿って生じている輝度変化を、同じ方向変化「θ（ｘ，ｙ，ｔ）」に沿った輝度情報の位相変化「Φ（ｘ，ｙ，ｔ）」及び振幅変化「Ａ（ｘ，ｙ，ｔ）」に変換する。すなわち、動画像において、方向変化「θ（ｘ，ｙ，ｔ）」と、位相の時系列変化「φ（ｘ，ｙ，ｔ）」と、振幅変化「Ａ（ｘ，ｙ，ｔ）」とが導出される。

例えば、画像変換部３１ｄは、３０枚のエッジ画像の時間幅「（－）ｔ」内の時刻ｔ（＝１５）について、エッジ画像内の座標（１０，２０）の画素における方向変化「θ（１０，２０，１５）＝１８．３°」に沿って生じている輝度変化を、同じ方向変化「θ（１０，２０，１５）＝１８．３°」に沿った輝度情報の位相変化「Φ（１０，２０，１５）＝０．４」に変換する。

なお、時系列のエッジ画像における輝度情報の位相変化は、時系列のエッジ画像における画像の運動変化を表す。

画像変換部３１ｄは、多重解像度のエッジ画像における、方向変化に沿った位相変化を表す情報と、方向変化を表す情報（以下「方向変化情報」という。）とを、動画像の時刻「ｔ」のエッジ画像内の画素ごとに、変化検出部４に出力する。第５の実施形態では、方向変化に沿った位相変化を表す情報を位相変化情報とする。

変化検出部４ｄは、多重解像度のエッジ画像の位相変化情報と方向変化情報とを入力とする。時刻「ｔ」を中心とした時間幅「（－）ｔ」（例えば、単位時間当たり）の各エッジ画像について、変化検出部４ｄは、方向変化情報「θ^ｎ（ｘ，ｙ，ｔ)」を、信頼度推定部５ｄに出力する。

時刻「ｔ」を中心とした時間幅「（－）ｔ」の各エッジ画像について、変化検出部４ｄは、多重解像度のエッジ画像内の画素における、方向変化に沿った微小な位相変化を検出する。変化検出部４ｄは、多重解像度のエッジ画像内の画素における、方向変化に沿った微小な位相変化を表す情報を、乗算部６ｄに出力する。第５の実施形態では、方向変化に沿った微小な位相変化を表す情報を微小位相変化情報とする。

信頼度推定部５ｄは、時間幅「（－）ｔ」の方向変化情報を入力とする。信頼度推定部５ｄは、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ｍａｓｋＳ^ｎ」を、方向変化情報に基づいて推定する。ここで「ｎ」は、ｎ番目の解像度を表す。「ｎ＝０」番目の解像度は、最も高い解像度を表す。撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度推定部５ｄは信頼度を推定する。信頼度推定部５ｄは、推定された信頼度「ｍａｓｋＳ^ｎ」を、乗算部６ｄに出力する。

乗算部６ｄは、微小位相変化情報と、信頼度とを入力とする。乗算部６ｄは、微小位相変化情報（微小な位相変化を表す値）と、信頼度推定部５ｄによって推定された信頼度とを、エッジ画像内の画素ごとに乗算し、乗算された結果を変化量調整部７ｄに出力する。微小位相変化情報と信頼度とが乗算されることによって、微小位相変化情報と信頼度とが対応付けられる。そのため、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７ｄは、乗算部６ｄが出力した乗算結果（信頼度が乗算された位相変化）を入力とし、乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７ｄは、信頼度が乗算された微小な位相変化（運動変化）の変化量を、強調又は減弱によって調整する。調整によって、変化量調整部７ｄは、微小な運動変化の変化量が調整された輝度画像のエッジ画像（以下「調整エッジ画像」という。）を生成する。変化量調整部７ｄは、互いに異なる解像度の複数の調整エッジ画像を、画像再構成部８ｄに出力する。

画像再構成部８ｄ（画像合成部）は、互いに異なる解像度の複数の調整エッジ画像を入力とし、画像を再構成する。画像再構成部８ｄは、互いに異なる解像度の複数の調整エッジ画像を、変化量調整部７ｄから取得する。画像再構成部８ｄは、互いに異なる解像度の複数の調整エッジ画像を合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８ｄは、原解像度の色画像を、画像入力部２ｄから取得する。画像再構成部８ｄは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ｄは、合成後の画像を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

次に、被写体の特定の微小な運動変化を強調又は減弱する処理を行う画像処理装置１ｄの詳細を説明する。
画像入力部２ｄは、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２ｄは、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。画像入力部２ｄは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、画像分解部３ｄに出力する。画像入力部２ｄは、原解像度の色画像を、画像再構成部８ｄに出力する。

画像分解部３ｄは、動画像の複数のフレームの輝度画像を入力とする。画像分解部３ｄは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、式（２３）のように０番目の解像度（最も高い解像度）の輝度画像「Ｉ^０（ｘ，ｙ，ｔ）」とする。

画像分解部３ｄは、複数の解像度の輝度画像に対して、空間周波数の帯域を分割する処理（帯域分割処理）を実行する。すなわち、画像分解部３ｄは、複数の解像度の輝度画像に対して、エッジ検出処理を実行する。エッジ検出処理によって、画像分解部３ｄは、複数の解像度の輝度画像のエッジ画像（帯域分割画像）を生成する。

エッジ画像を生成する方法は、特定の方法に限定されない。例えば、画像分解部３ｄは、微分フィルタ又はハイパスフィルタ等の帯域分割フィルタ（エッジフィルタ）を輝度画像に対して用いて、エッジ画像を生成する。例えば、画像分解部３ｄは、輝度画像に対してウェーブレット変換（オクターブ分割）を実行することによって、エッジ画像を生成してもよい。以下では、画像分解部３ｄは、エッジ画像の一例として差分画像を生成する。画像分解部３ｄは、以下のようにダウンサンプリングとガウシアンフィルタとを用いて、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。

図２４は、差分画像の生成の例を示す図である。輝度画像３０１は、０番目の解像度（最も高い解像度）の輝度画像である。画像分解部３ｄは、輝度画像３０１に対してダウンサンプリングを実行することによって、輝度画像３０２を生成する。画像分解部３ｄは、輝度画像３０２に対してアップサンプリングを実行することによって、輝度画像３０３を生成する。画像分解部３ｄは、０番目の解像度の輝度画像３０１及び輝度画像３０３の差分を導出することによって、０番目の解像度の差分画像３０４を生成する。

画像分解部３ｄは、輝度画像３０２に対してダウンサンプリングを実行することによって、輝度画像３０５を生成する。画像分解部３ｄは、輝度画像３０５に対してアップサンプリングを実行することによって、輝度画像３０６を生成する。画像分解部３ｄは、０番目の解像度の輝度画像３０２及び輝度画像３０６の差分を導出することによって、１番目の解像度の差分画像３０７を生成する。このようにして、画像分解部３ｄは、多重解像度の輝度画像に基づいて、多重解像度のエッジ画像を生成する。

すなわち、画像分解部３ｄは、（ｎ－１）番目の予め定められた解像度の輝度画像「Ｉ^ｎ－１（ｘ，ｙ，ｔ）」に対して、ダウンサンプリングを実行する。解像度の段階数は、３段階以上であり、例えば８段階である。画像分解部３ｄは、解像度の段階数が８段階と定められている場合、原解像度の輝度画像に対して７回のダウンサンプリングを実行する。

画像分解部３ｄは、ダウンサンプリングの結果に対して、ガウシアンフィルタ「Ｇ_σ（ｘ，ｙ）」を畳み込む。輝度画像の解像度の段階数は、ガウシアンフィルタのフィルタサイズに応じて定められる。すなわち、輝度画像に定められるブロックの最小サイズは、ガウシアンフィルタのフィルタサイズに応じて定められる。画像分解部３ｄは、式（２４）に示された演算を１番目からｎ番目までの解像度の輝度画像に対して繰り返すことによって、多重解像度の輝度画像（「Ｉ^０（ｘ，ｙ，ｔ）」，…，「Ｉ^ｎ（ｘ，ｙ，ｔ）」）を生成する。以下では、数式に示された演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子である。

式（２４）の右辺は、「Ｇ_σ（ｘ，ｙ）」と「ｄｏｗｎｓａｍｐｌｅ（Ｉ^ｎ－１（ｘ，ｙ，ｚ））」との畳み込み演算を表す。「Ｇ_σ（ｘ，ｙ）」は、分散「σ^２」の２次元のガウシアンフィルタを表す。「ｄｏｗｎｓａｍｐｌｅ（Ｚ）」は、解像度「Ｚ」の画像をダウンサンプル量に基づいて縮小する処理（ダウンサンプリング）を表す。ダウンサンプル量は、分数であり、例えば２分の１である。以下、「ｎ」は、０以上Ｎ以下の整数である。「Ｎ」は、予め定められた２以上の整数である。このように、画像分解部３ｄは、縮小する処理が実行された輝度画像に対して、所定の補間処理を実行してもよい。

画像分解部３ｄは、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」に対してアップサンプリングを実行する。これによって、画像分解部３ｄは、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」の解像度を、ｎ番目の予め定められた解像度に揃える。すなわち、画像分解部３ｄは、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」を、「ｎ（＝ｎ＋１－１）」番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」にする。「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像をｎ番目の解像度に合わせるように拡大する処理（アップサンプリング）を表す。

式（２４）に示されたｎ番目の解像度の輝度画像「Ｉ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」との差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」（解像度方向の差分画像）は、式（２５）のように表される。

画像処理装置１ｄの各機能部は、ｎ番目（０≦ｎ＜Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の画像処理を実行する。

画像変換部３１ｄは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を入力とする。画像変換部３１ｄは、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた処理領域（ｘ，ｙ）における方向変化に沿って生じている輝度変化を、同じ方向変化における輝度情報の位相変化及び振幅変化に変換する。

画像変換部３１ｄは、例えば、低い（粗い）解像度から高い（細かい）解像度の順に、差分画像における時間方向の位相変化を検出する。すなわち、画像変換部３１ｄは、低い解像度の差分画像において時間方向の位相変化を検出する処理を、高い解像度の差分画像において位相変化を検出する処理をよりも先に実行する。

方向変化に沿って生じている輝度変化を画像変換部３１ｄが位相変化及び振幅変化に変換する方法は、特定の方法に限定されない。以下では、画像変換部３１ｄは、一例としてリース変換によって、方向変化に沿って生じている輝度変化を、同じ方向変化に沿って生じている位相変化及び振幅変化に変換する。

画像変換部３１ｄは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、例えば、フーリエ変換「ｆｆｔ」と逆フーリエ変換「ｉｆｆｔ」とを実行する。すなわち、画像変換部３１ｄは、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して式（２６）から式（３１）までのようにリース変換を実行する。

式（２６）から式（２８）までにおいて、式（２９）から式（３１）までの関係式が成立している。

ここで、「θ^ｎ（ｘ，ｙ，ｔ）」は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」内の座標（ｘ，ｙ）の画素における方向変化を表す。「Φ^ｎ（ｘ，ｙ，ｔ）」は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化を表す。「Ａ^ｎ（ｘ，ｙ，ｔ）」は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている振幅変化を表す。方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」は、式（３２）のように表される。画像変換部３１ｄは、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の情報を、変化検出部４ｄに出力する。

変化検出部４ｄは、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の情報を、入力とする。変化検出部４ｄは、位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」に、時系列フィルタ「Ｈ（ｔ）」を畳み込む。これによって、変化検出部４ｄは、位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の微小変化（subtle changes）を検出する。時系列フィルタ「Ｈ（ｔ）」は、調整対象（強調又は減弱の対象）とされた方向変化に沿った位相変化（例えば、微小な位相変化）に対して周波数応答を持つ時系列フィルタであれば、特定のフィルタに限定されない。時系列フィルタ「Ｈ（ｔ）」は、例えば、バンドパスフィルタ（非特許文献１参照）である。

変化検出部４ｄは、方向変化に沿った位相変化（例えば、微小な位相変化）に対して、時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」を乗算してもよい。乗算によって、変化検出部４ｄは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における時間及び空間について急峻な位相変化（緩やかでない位相変化）を除去することができる。

時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」は、急峻な位相変化を除去する時空間フィルタであれば、特定のフィルタに限定されない。時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」は、例えば、躍度フィルタ（非特許文献２参照）である。例えば、変化検出部４ｄは、微小な変化を三次微分して、微小ではない急峻な変化を検出及び正規化する。検出及び正規化の結果は、微小な変化が現れるときには０であり、急峻な変化が現れるときには１である。したがって、検出及び正規化の結果の逆は、微小な変化が現れるときには１であり、急峻な変化が現れるときには０である。変化検出部４ｄは、検出及び正規化の結果の逆を、躍度フィルタとする。

変化検出部４ｄは、三次微分と正規化と反転との順で、位相変化に対して演算を実行する。これによって、変化検出部４ｄは、微小ではない急峻な位相変化のみを除去する躍度フィルタを生成することができる。変化検出部４ｄは、元の位相変化に躍度フィルタを乗算する。

換言すれば、変化検出部４ｄは、位相変化に対して、三次微分と正規化の演算とを実行する。これによって、変化検出部４ｄは、微小な位相変化が差分画像に現れるときには、０の値を持つ演算結果を得る。変化検出部４ｄは、急峻な位相変化が差分画像に現れるときには、１の値を持つ演算結果を得る。

変化検出部４ｄは、演算結果を反転することによって、躍度フィルタを生成する。躍度フィルタは、微小な位相変化が差分画像に現れるときには、１の値のフィルタ応答を持つ。躍度フィルタは、急峻な位相変化が差分画像に現れるときには、０の値のフィルタ応答を持つ。変化検出部４ｄは、元の位相変化に躍度フィルタ「Ｊ」を乗算する。微小な位相変化が差分画像に現れる場合、元の位相変化に１の値が乗算されるので、変化検出部４ｄは、微小な位相変化のみを検出することができる。急峻な位相変化が差分画像に現れる場合、元の位相変化に０の値が乗算されるので、変化検出部４ｄは、急峻な位相変化を抑制することができる。

緩やかで微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」は、式（３３）のように表される。式（３３）に示された演算子「〇」は、乗算（要素積）を表す。

ここで、式（３３）に示された微小な位相変化「Ｃ^ｎ （ｘ，ｙ，ｔ）」は、意味のある位相の微小変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」と、意味のない微小な位相変化「～Ｃ^ｎ （ｘ，ｙ，ｔ）」とを、式（３４）のように含む。ここで、意味のない微小な位相変化（運動変化）とは、撮像素子の熱雑音、手振れ、地面の振動等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた位相変化である。意味のある微小な位相変化（運動変化）とは、ランダムノイズ以外の物理現象（例えば、撮像素子への光の入射）によって画像のピクセル値に生じた位相変化である。

信頼度推定部５ｄは、方向変化情報を入力とする。信頼度推定部５ｄは、方向変化「θ^ｎ（ｘ，ｙ，ｔ)」に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度を推定する。これによって、信頼度推定部５ｄは、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」における、意味のある位相の微小変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」と、意味のない微小な位相変化「～Ｃ^ｎ（ｘ，ｙ，ｔ）」とを切り分けることができる。

時刻tを含む時間幅「（－）ｔ」において、意味のある微小な位相変化は、意味のない微小な位相変化と比較して、エッジ画像において限定された空間方向に生じる。このため、座標（ｘ，ｙ）の画素における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ)」の分散値は小さい。

そこで、信頼度推定部５ｄは、時間幅「（－）ｔ」における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ)」の分散値に基づいて、微小な位相変化の信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」を、式（３５）のように推定する。微小な位相変化の信頼度は、時系列の方向変化の分散値が小さいほど高い。

式（３５）において「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。正規化の方法は、特定の方法に限定されない。「Ｖａｒ（Ｘ）」は、時間幅「（－）ｔ」における引数「Ｘ」の分散値を表す。「Ｇ_σ」は、Ｖａｒ（θ^ｎ（ｘ，ｙ，（－）ｔ））を空間的に平滑化する関数を表す。パラメータ「σ」は、空間的な平滑化の強さを表す。パラメータ「γ」は、信頼度を表す。

信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」では、領域でない座標（ｘ，ｙ）における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ）」の分散値のみが考慮されている。このため、座標（ｘ，ｙ）の画素のピクセル値に瞬間的なノイズが混入した場合、分散値の推定精度が低下する可能性がある。そこで、信頼度推定部５は、座標（ｘ,ｙ）の画素を含む領域について、式（３６）及び式（３７）のように分散共分散行列を推定する。すなわち、信頼度推定部５ｄは、座標（ｘ,ｙ）の画素を含む領域における方向変化「θ（ｘ，ｙ，ｔ）」の振る舞いに基づいて、信頼度を推定する。

式（３６）及び式（３７）において「（－）ｘ」は、座標（ｘ,ｙ）の画素を含む領域を表す。「ｃｏｖ（Ｘ）」は、行列「Ｘ」の分散共分散行列「Ｄ」を生成する関数（次元を拡張する関数）を表す。「ｄ」は、領域内の画素数（サンプル数）を表す。「ｗ」は、領域の水平方向（ｘ軸方向）の長さを表す。「ｈ」は、領域の垂直方向（ｙ軸方向）の長さを表す。

信頼度推定部５ｄは、分散共分散行列「Ｄ」に対して、固有値分解を実行する。信頼度推定部５ｄは、分散共分散行列「Ｄ」の固有値「λ_１，…，λ_ｄ」の平均「（－）λ」に基づいて、式（３７）に示されたような座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」を、式（３８）のように推定する。信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」は、座標（ｘ，ｙ）を含む領域「Ｓ」における微小な位相変化の信頼度を、０から１までの範囲で表す。

乗算部６ｄは、式（３８）に示された信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」と、式（３３）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを、式（３９）のように乗算する。

なお、乗算部６ｄは、画素の座標（ｘ，ｙ）における微小な位相変化の信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」と、式（３３）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを、乗算してもよい。

乗算によって、ランダムノイズ以外の物理現象によって画像内の画素のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。乗算部６ｄは、分散値が揃った微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」を検出することができる。

変化量調整部７ｄは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における緩やかで微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」の情報を、意味のある位相変化として、乗算部６ｄから取得する。変化量調整部７ｄは、緩やかで微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７ｄは、式（３９）のように高い精度で導出された微小な位相変化に、所定の調整率（強調率）αを、式（４０）のように乗算する。変化量調整部７ｄは、元の位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」と乗算結果とを加算することによって、時系列のエッジ画像内の画素ごとに定まる方向変化において緩やかで微小な位相変化の変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」を、式（４０）のように導出する。

このようにして、変化量調整部７ｄは、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

画像再構成部８ｄは、変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」に基づいて、緩やかで微小な運動変化の変化量が調整されたｎ番目の解像度の差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、式（４１）のように生成する。すなわち、画像再構成部８は、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」と、振幅変化「Ａ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、式（４１）のように生成する。

画像再構成部８ｄは、色画像を画像入力部２ｄから取得する。画像再構成部８ｄは、式（２５）及び式（４１）に基づいて、式（４２）に示された処理を解像度番号「ｎ」に関して逐次的に実行する。画像再構成部８ｄは、「ｎ－１」番目の解像度の調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「＾Ｉ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、「ｎ－１」番目の解像度の輝度画像「＾Ｉ^ｎ－１（ｘ，ｙ，ｔ）」を、式（４２）のように再構成する。

式（４２）において、「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像をｎ番目の解像度に合わせるように拡大する処理（アップサンプリング）を表す。画像再構成部８ｄは、式（４２）に示された処理を「ｎ」に関して逐次的に実行することによって、原解像度（０番目の解像度）の輝度画像を再構成する。画像再構成部８ｄは、再構成された原解像度の輝度画像「＾Ｉ^０（ｘ，ｙ，ｔ）」と、原解像度の色画像とを合成する。画像再構成部８ｄは、合成結果を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

画像再構成部８ｄは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｄは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

次に、画像処理装置１ｄの動作例を説明する。
図２５は、第５の実施形態における画像処理装置１ｄの動作例を示すフローチャートである。画像入力部２ｄは、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ４０１）。画像入力部２ｄは、原解像度の輝度画像を、分解変換部３０ｄに出力する（ステップＳ４０２）。画像入力部２ｄは、原解像度の色画像を、画像再構成部８ｄに出力する（ステップＳ４０３）。

画像分解部３ｄは、多重解像度の輝度画像を、原解像度の輝度画像から生成する（ステップＳ４０４）。画像分解部３ｄは、多重解像度のエッジ画像を、多重解像度の輝度画像から生成する（ステップＳ４０５）。

画像変換部３１ｄは、時刻ｔを含む時間幅のエッジ画像内の画素において方向変化に沿って生じている輝度変化を、同じ方向変化に沿って生じている位相変化及び振幅変化に変換する（ステップＳ４０６）。画像変換部３１ｄは、多重解像度のエッジ画像の位相変化情報と方向変化情報とを、エッジ画像内の画素ごとに変化検出部４ｄに出力する（ステップＳ４０７）。

変化検出部４ｄは、エッジ画像内の画素において方向変化に沿って生じている微小な位相変化を検出する（ステップＳ４０８）。変化検出部４ｄは、微小位相変化情報を、乗算部６ｄに出力する（ステップＳ４０９）。変化検出部４ｄは、方向変化情報を信頼度推定部５ｄに出力する（ステップＳ４１０）。

信頼度推定部５ｄは、方向変化に沿って生じている微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ｍａｓｋＳ^ｎ」を、時系列の方向変化の分散値に基づいて推定する（ステップＳ４１１）。乗算部６ｄは、微小位相変化情報と、推定された信頼度とを乗算する（ステップＳ４１２）。変化量調整部７ｄは、式（３９）のように信頼度が乗算された微小な運動変化の変化量を、式（４０）のように強調又は減弱によって調整する（ステップＳ４１３）。

画像再構成部８ｄは、互いに異なる解像度の複数の調整エッジ画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ４１４）。画像再構成部８ｄは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ４１５）。

画像変換部３１ｄは、画像処理装置１ｄが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ４１６）。画像処理装置１ｄが処理を続ける場合（ステップＳ４１６：ＮＯ）、画像処理装置１ｄの各機能部は、ステップＳ４０６に処理を戻す。画像処理装置１ｄが処理を終了する場合（ステップＳ４１６：ＹＥＳ）、画像処理装置１ｄの各機能部は、処理を終了する。

次に、画像の運動変化（位相変化）の変化量が調整された結果の例を説明する。
図２６は、動画像のフレームの例を示す図である。図２６に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。切り株に斧が衝突した時刻以降の時系列のフレームでは、ｙ軸方向に切り株が微小振動する。

図２６に示されたフレームは、画素群３２０と、画素３２１とを含む。画素群３２０は、フレーム内の第３部分領域に撮像された切り株画像３１２において垂直方向（ｙ軸方向）に並ぶ画素である。画素３２１は、フレーム内の第４部分領域に撮像された壁の画像に含まれている画素である。

動画像のフレームでは、壁の画像の画素３２１のピクセル値には、ランダムな空間方向の微小な位相変化が、ランダムノイズによって定常的に生じている。切り株に向けてｙ軸方向に斧が降り下ろされた場合、切り株と斧との衝突に起因して、切り株画像３１２の画素群３２０のピクセル値には、主にｙ軸方向の微小な位相変化が、切り株画像３１２の振動によって生じる。

図２７、図２８及び図２９は、図３０との比較用の画像である。横軸は時間を表す。縦軸は、図２６に示された動画像のフレームにおける画素群３２０の各ピクセル値を表す。

図２７は、元画像の画素群３２０のピクセル値の変化の例を示す図である。図２７では、微小な運動変化の変化量が調整されていない。このため、切り株と斧とが衝突した時刻「ｔ１」の前後において、画素群３２０の各ピクセル値（運動変化）の変化量が小さい。

図２８は、加速度法に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図２８では、加速度法に基づいて運動変化の変化量が調整され、加速度に基づいてランダムノイズが拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降（破線に囲まれた領域）において、ピクセル値（運動変化）の変化量が大きい。この場合、拡大（強調）されたランダムノイズによって、動画像の品質が低下する。

図２９は、躍度法に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図２９では、躍度法に基づいて運動変化の変化量が拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、ピクセル値（運動変化）の変化量が大きい。

図３０は、単位時間当たりの方向変化の分散値に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図３０では、分散値に基づいて運動変化の変化量が拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、ピクセル値（運動変化）の変化量が大きい。

以上のように、第５実施形態の画像処理装置１ｄは、変化検出部４ｄと、信頼度推定部５ｄとを備える。変化検出部４ｄは、分解変換部３０ｄが実行する処理を、分解変換部３０ｄの代わりに実行してもよい。変化検出部４ｄは、画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、方向変化（尤もらしい方向）に沿った高周波成分の位相の時間的変動である位相変化とを検出する。変化検出部４ｄは、予め定められた変化量の微小な位相変化を検出してもよい。信頼度推定部５ｄは、検出された位相変化がノイズに起因する変化ではないことを表す信頼度「ｍａｓｋＳ^ｎ」を、単位時間当たりの方向変化の分散値に基づいて推定する。信頼度推定部５ｄは、信頼度「ｍａｓｋ^ｎ」を、単位時間当たりの方向変化の分散値に基づいて推定してもよい。

これによって、動画像の微小な運動変化の変化量を画像処理装置が調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第５実施形態の信頼度推定部５ｄは、検出された位相変化を示す画素における、方向変化の分散値に基づいて、検出された位相変化の信頼度を推定してもよい。信頼度は、方向変化の分散値が小さいほど高い値となる。信頼度推定部５ｄは、エッジ画像の画素を含む領域における位相変化に基づいて、画素ごとに信頼度を推定してもよい。

第５実施形態における画像処理装置は、第１実施形態の画像処理装置１が実行する色又は輝度の微小変化の変化量を調整する処理と、本実施形態で説明した被写体の特定の微小な運動変化を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図３１に示す。図３１は、第５実施形態における画像処理装置１ｄｄの構成例を示す図である。画像処理装置１ｄｄは、画像入力部２ｄｄと、分解変換部３０ｄｄと、変化検出部４ｄｄと、信頼度推定部５ｄｄと、乗算部６ｄｄと、変化量調整部７ｄｄと、画像再構成部８ｄｄと、画像分解部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７とを備える。

画像処理装置１ｄｄは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｄｄは、動画像に対して第１の画像処理を実行することによって、被写体の色又は輝度の微小変化を強調又は減弱する。画像処理装置１ｄｄが実行する第１の画像処理では、画像入力部２ｄｄと画像分解部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ｄｄとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ｄｄは、動画像に対して第２の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ｄｄが実行する第２の画像処理では、画像入力部２ｄｄと分解変換部３０ｄｄと変化検出部４ｄｄと信頼度推定部５ｄｄと乗算部６ｄｄと変化量調整部７ｄｄと画像再構成部８ｄｄとは、図２３に示す同名の機能部と同様の処理を実行する。

画像再構成部８ｄｄは、互いに異なる解像度の複数の画像を、変化量調整部７ｄｄから取得する。画像再構成部８ｄｄは、互いに異なる解像度の複数の画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ｄｄは、原解像度の色画像を、画像入力部２ｄｄから取得してもよい。画像再構成部８ｄｄは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ｄｄは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７から取得する。画像再構成部８ｄｄは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｄｄは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

上記の各実施形態は、互いに組み合わされてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像処理装置に適用可能である。

１，１ａ，１ａａ，１ｂ，１ｂｂ，１ｃ，１ｃｃ，１ｄ，１ｄｄ…画像処理装置、２，２ａ，２ａａ，２ｂ，２ｂｂ，２ｃ，２ｃｃ，２ｄ，２ｄｄ…画像入力部、３…画像分解部、４，４ａ，４ａａ，４ｂ，４ｂｂ，４ｃ，４ｃｃ，４ｄ，４ｄｄ…変化検出部、５，５ａ，５ａａ，５ｂ，５ｂｂ，５ｃ，５１ｃ，５ｃｃ，５１ｃｃ，５ｄ，５ｄｄ…信頼度推定部、６，６ａ，６ａａ，６ｂ，６ｂｂ，６ｃ，６ｃｃ，６ｄ，６ｄｄ…乗算部、７，７ａ，７ａａ，７ｂ，７ｂｂ，７ｃ，７ｃｃ，７ｄ，７ｄｄ…変化量調整部、８，８ａ，８ａａ，８ｂ，８ｂｂ，８ｃ，８ｃｃ，８ｄ，８ｄｄ…画像再構成部、３０ａ，３０ａａ，３０ｂ，３０ｂｂ，３０ｃ，３０ｃｃ，３０ｄ，３０ｄｄ…分解変換部、３１ｄ…画像変換部

Claims (6)

1. 色又は輝度画像における色又は輝度の変化のうち、色又は輝度変化を互いに異なる解像度毎に検出する変化検出部と、
   前記色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された前記色又は輝度変化の信頼度を推定する信頼度推定部と、
   を備える画像処理装置。
2. 前記信頼度推定部は、前記色又は輝度画像内における時系列の色又は輝度変化の拡散結果に基づいて、前記信頼度を推定する、請求項１に記載の画像処理装置。
3. 前記信頼度は、前記拡散結果が異方性を示すほど高い値となる、請求項２に記載の画像処理装置。
4. 検出された色又は輝度の変化と前記信頼度とを乗算する乗算部と、
   前記信頼度が乗算された色又は輝度の変化の変化量を調整する変化量調整部と
   を更に備える、請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   色又は輝度画像における色又は輝度の変化のうち、色又は輝度変化を互いに異なる解像度毎に検出する変化検出ステップと、
   前記色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された前記色又は輝度変化の信頼度を推定する信頼度推定ステップと、
   を含む画像処理方法。
6. 請求項１から請求項４のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。

Images