JP7206525B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成３１年２月２６日 ｈｔｔｐｓ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝１９４７４９＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８にて公開

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

動画像のフレームにおける画像の微小な運動変化の変化量を、画像処理装置が強調又は減弱する場合がある。画像の微小な運動変化の変化量を強調又は減弱によって調整する技術は、「ビデオ・マグニフィケーション（Video Magnification）」と呼ばれている。画像処理装置は、動画像のフレームにおいて人の視覚では捉えきれなかった物理現象を、ビデオ・マグニフィケーションにおける強調によって可視化することができる。また、画像処理装置は、動画像のフレームに混入された不必要な画像の揺らぎ（例えば、手振れ、地面の振動等）を、ビデオ・マグニフィケーションにおける減弱によってフレームから除去することができる。

画像処理装置は、動画像のフレームにおける局所的な画像の位相変化に基づいて画像の微小な運動変化を検出する場合、フレームに時系列フィルタを適用する。これによって、画像処理装置は、被写体の画像の微小な運動変化を検出することができる（非特許文献１及び２参照）。

Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman, "Phase-based video motion processing", ACM Transactions on Graphics. Vol. 32. (2013). Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata, "Jerk-Aware Video Acceleration Magnification", IEEE International Conference on Computer Vision and Pattern Recognition (2018).

しかしながら、意味のある微小な運動変化の変化量だけでなく、撮像素子の熱雑音等に起因して画像に混入したランダムノイズ（意味のない微小な運動変化）の変化量も、画像処理装置が調整してしまうという問題がある。ランダムノイズの変化量が調整された場合には画像の品質が低下してしまうので、動画像に混入したランダムノイズが画像処理装置によって調整されることを低減する必要がある。

上記事情に鑑み、本発明は、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である画像処理装置、画像処理方法及びプログラムを提供することを目的としている。

本発明の一態様は、輝度画像における位相変化のうちから、予め定められた複数の方向における位相変化を互いに異なる解像度毎に検出する変化検出部と、前記輝度画像内に定められた複数の方向における時系列の振幅変化情報に基づいて、検出された前記位相変化の信頼度を推定する信頼度推定部と、を備える画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記信頼度推定部は、複数の解像度の振幅変化のうち、所定の閾値以上の振幅変化の値を用いて前記信頼度を推定する。

本発明の一態様は、上記の画像処理装置であって、前記信頼度は、前記振幅変化が大きくなるほど高い値となる。

本発明の一態様は、上記の画像処理装置であって、検出された位相変化と前記信頼度とを乗算する乗算部と、前記信頼度が乗算された位相変化の変化量を調整する変化量調整部とを更に備える。

本発明の一態様は、画像処理装置が実行する画像処理方法であって、輝度画像における位相変化のうちから、予め定められた複数の方向における位相変化を互いに異なる解像度毎に検出する変化検出ステップと、前記輝度画像内に定められた複数の方向における時系列の振幅変化情報に基づいて、検出された前記位相変化の信頼度を推定する信頼度推定ステップと、を含む画像処理方法である。

本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるためのプログラムである。

本発明により、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第１実施形態における、画像処理装置の構成例を示す図である。 第１実施形態における、画像処理装置の動作例を示すフローチャートである。 第２実施形態における、画像処理装置の構成例を示す図である。 第２実施形態における、動画像のフレーム内の画素の例を示す図である。 第２実施形態における、微小な位相変化の等方性拡散を示す図である。 第２実施形態における、微小な位相変化の異方性拡散を示す図である。 第２実施形態における、画像処理装置の動作例を示すフローチャートである。 第２実施形態における、動画像のフレームの例を示す図である。 第２実施形態における、位相変化の拡散結果に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第２実施形態における、運動変化の変化量が調整されていない元画像の画素のピクセル値と、運動変化の変化量が調整された各画像の画素のピクセル値との例を示す図である。 本発明における手法を適用した場合の効果を説明するための図である。 第３実施形態における、画像処理装置の構成例（第１の組み合わせ）を示す図である。 第３実施形態における、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部の構成例を示す図である。 第３実施形態における、動画像のフレーム内の画素の例を示す図である。 第３実施形態における、微小な色又は輝度変化の等方性拡散を示す図である。 第３実施形態における、微小な色又は輝度変化の異方性拡散を示す図である。 第３実施形態における、画像処理装置の動作例を示すフローチャートである。 第３実施形態における、画像処理装置の構成例（第２の組み合わせ）を示す図である。 第３実施形態における、画像処理装置の構成例（第３の組み合わせ）を示す図である。 第３実施形態における、画像処理装置の構成例（第４の組み合わせ）を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における画像処理装置１の構成例を示す図である。画像処理装置１は、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの画像処理である。画像処理装置１は、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な運動変化を強調又は減弱する。

画像処理装置１は、画像入力部２と、分解変換部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７と、画像再構成部８とを備える。各機能部は、組み合わされて単体の機能部として設けられてもよいし、分割されて複数の機能部として設けられてもよい。

画像処理装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。画像処理装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

以下、動画像のフレームの輝度情報を表す画像を「輝度画像」という。以下、動画像のフレームの色情報を表す画像を「色画像」という。

画像入力部２は、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２は、入力した動画像の複数のフレームから、輝度画像と色画像とをフレーム毎に生成する。画像入力部２は、画像処理の対象となる原解像度の輝度画像を、分解変換部３に出力する。画像入力部２は、画像処理の対象となる原解像度の色画像を、画像再構成部８に出力する。

分解変換部３は、原解像度の輝度画像を入力とする。分解変換部３は、入力した動画像の時刻ｔの原解像度の輝度画像における座標（ｘ，ｙ）の画素の輝度変化を、事前に定められた複数の方向における各輝度情報の位相変化及び振幅変化に変換するとともに、互いに異なる解像度に分解する。事前に定められた複数の方向とは、例えば、フレーム内の座標（ｘ，ｙ）の画素から放射状に広がる複数の方向である。放射状に広がる複数の空間方向は、例えば、フレーム内の画素の周囲における３６０度を、２２．５度ごとに等分する。分解変換部３は、事前に定められた複数の方向にそれぞれ沿った各輝度情報の位相変化を表す情報を位相変化情報として変化検出部４に、事前に定められた複数の方向にそれぞれ沿った各輝度情報の振幅変化を表す情報を振幅変化情報として信頼度推定部５に、それぞれ出力する。

変化検出部４は、位相変化情報を入力とする。変化検出部４は、入力した位相変化情報に基づいて各解像度の輝度画像における微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する。変化検出部４は、検出した輝度画像における微小な位相変化を表す情報（以下「微小位相変化情報」という。）を解像度毎に乗算部６に出力する。

信頼度推定部５は、振幅変化情報を入力とする。信頼度推定部５は、入力した振幅変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。微小な位相変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化であることの信頼度である。信頼度推定部５は、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５は、推定した信頼度を、乗算部６に出力する。本実施形態における信頼度推定部５が推定する信頼度は、振幅変化が大きくなるほど高い値となる。

乗算部６は、微小位相変化情報と、信頼度とを入力とする。乗算部６は、入力した微小位相変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７に出力する。乗算部６が微小位相変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化が、高精度に検出される。

変化量調整部７は、乗算部６が出力した乗算結果（信頼度が乗算された位相変化）を入力とする。変化量調整部７は、入力した乗算部６による乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７は、信頼度が乗算された微小な位相変化（運動変化）の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７は、微小な運動変化の変化量が調整された輝度画像（以下「調整輝度画像」という。）を解像度毎に生成する。変化量調整部７は、互いに異なる解像度の複数の調整輝度画像を、画像再構成部８に出力する。

画像再構成部８（画像合成部）は、互いに異なる解像度の複数の調整輝度画像と、原解像度の色画像とを入力とする。画像再構成部８（画像合成部）は、入力した調整輝度画像に基づいて画像を再構成する。

画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８は、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識を実行する装置（以下「画像認識装置」という。）、又は、表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

次に、画像処理装置１の詳細を説明する。なお、以下の説明では、数式において文字の上に付されている記号は、その文字の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「＾」は、「＾Ｃ」のように文字「Ｃ」の直前に記載される。例えば、数式において文字「ｔ」の上に付されている記号「－」は、「（－）ｔ」のように文字「ｔ」の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「～」は、「（～）Ｃ」のように文字「Ｃ」の直前に記載される。

画像入力部２は、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２は、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を分解変換部３に出力する。画像入力部２は、原解像度の色画像を画像再構成部８へ出力する。

分解変換部３は、入力した原解像度の輝度画像のある場所（ｘ,ｙ）、ある時間ｔにおける映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」に対してＣＳＦを用いることで、映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」を、ある解像度「ｎ」と、ある方向「θ」における振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」と、位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に以下の式（１）のように変換及び分解する。パラメータ「ｎ」は解像度を表す。なお、本実施形態では、ＣＳＦを用いる構成を示したが、フィルタはこれに限定されない。ただし、以下の実施形態では、ＣＳＦを用いた場合について述べていく。

式（１）に示す演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子を表しており、「ψ_θ ^ｎ」はある解像度「ｎ」、ある方向「θ」におけるＣＳＦを表している。

変化検出部４は、生成された各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４は、分解変換部３において求められる各解像度の映像における方向毎の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を以下の式（２）のように検出する。なお、変化検出部４は、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４は、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

式（２）における演算子「〇」は、乗算（要素積）を表す。なお、「Ｈ（ｔ）」はバンドパスフィルタを表し、「Ｊ（ｘ,ｙ,ｔ）」は急峻な変化のみを除去することを目的とした躍度フィルタといったものが代表的な例として挙げられる。変化検出部４が用いるフィルタは、これらに限定されない。

変化検出部４によって求められた微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は自然現象や物理現象によって生じる「意味のある」微小な位相変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な位相変化が以下の式（３）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

式（３）の、「＾Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は「意味のある」微小な位相変化を表し、「～Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は「意味のない」微小な位相変化を表している。

信頼度推定部５は、分解変換部３によって求められる振幅変化を利用して、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度を推定する。まず、振幅変化の解像度の違いを考慮するために、ある解像度ｎ、ある方向θにおける振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」を以下の式（４）のように複数解像度に渡り統合する。

式（４）において、「Ｎ_ｎ」はこの統合にいくつの解像度を使用するか決定するものである。また、「Ｚ（Ａ）」はパラメータ「Ａ」をｚスコアに変換するｚ変換を表した関数であり、この関数を用いることによって複数解像度間のスケールの異なる振幅変化を規格化し、比較することが可能になる。「ｒｅｓ（Ａ^{（ｎ＋ｉ）},ｎ）」は、解像度「ｎ＋ｉ」（ｉは１以上の整数）における振幅変化を解像度「ｎ」にリサイズする関数である。なお、Ｚ（Ａ）で用いられている規格化や「ｒｅｓ（Ａ^{（ｎ＋ｉ）},ｎ）」で用いられるリサイズに関する手法はこれらに限定されない。

そして、信頼度推定部５は、複数解像度の振幅変化を統合した式（４）の結果を用いて、振幅変化が大きくなるほど高い値となる微小な位相変化の信頼度を以下の式（５）のように推定する。

式（５）において、「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」は微小な位相変化の信頼度を表し、「Ｇ_σ」は「＾Ａ^ｎ（ｘ,ｙ,ｔ,θ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」は、座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度を、０から１までの範囲で表す。微小な位相変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６は、微小位相変化情報と、信頼度推定部５によって推定された信頼度とを、画素又は領域ごとに乗算する。より具体的には、乗算部６は、式（５）に示された信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」と、式２に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（６）のように乗算する。

式（６）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７は、式（６）によって求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７は、式（６）によって高い精度で求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（７）のように乗算する。変化量調整部７は、元の位相変化元の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整（例えば、強調又は減弱）された位相変化「＾φ^ｎ（ｘ,ｙ,ｔ,θ）」を式（７）のように導出する。

このようにして、変化量調整部７は、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な位相変化が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「φ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な位相変化は調整されない。

画像再構成部８は、各解像度・方向毎に式（７）を求める。画像再構成部８は、各解像度・方向毎に求めた調整された位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ＣＳＦの逆フィルタを掛けることで、微小な運動変化が強調された輝度情報に変換する。その後、色映像と足し合わせることで最終的な映像出力を得ることができる。

画像再構成部８（画像合成部）は、画像を再構成する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像を、変化量調整部７から取得する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像を合成することによって、原解像度の輝度画像を再構成する。具体的には、画像再構成部８は、互いに異なる解像度の複数の調整輝度画像及び方向毎にＣＳＦ（Complex Steerable Filter）の逆フィルタを掛けることで微小な運動変化が強調された輝度情報に変換して合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８は、原解像度の色画像を、画像入力部２から取得する。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８は、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

次に、画像処理装置１の動作例を説明する。
図２は、第１実施形態における画像処理装置１の動作例を示すフローチャートである。画像入力部２は、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ１０１）。画像入力部２は、原解像度の輝度画像を分解変換部３に出力する。画像入力部２は、原解像度の色画像を画像再構成部８に出力する。分解変換部３は、画像入力部２から出力された原解像度の輝度画像に基づいて、輝度変化を位相変換及び振幅変化に変換するとともに、複数の解像度に分解する（ステップＳ１０２）。分解変換部３は、各解像度の位相変化情報を変化検出部４に出力する。分解変換部３は、各解像度の振幅変化情報を信頼度推定部５に出力する。

変化検出部４は、分解変換部３から出力された位相変化情報に基づいて、各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ１０３）。変化検出部４は、各解像度の微小位相変化情報を乗算部６に出力する。
信頼度推定部５は、分解変換部３から出力された振幅変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を推定する（ステップＳ１０４）。信頼度推定部５は、推定した信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を乗算部６に出力する。

乗算部６は、変化検出部４から出力された微小位相変化情報と、信頼度推定部５から出力された信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」とを乗算する（ステップＳ１０５）。乗算部６は、乗算結果を変化量調整部７に出力する。変化量調整部７は、乗算部６から出力された乗算結果を用いて、信頼度が乗算された微小な運動変化の変化量を強調又は減弱によって調整する（ステップＳ１０６）。変化量調整部７は、運動変化の変化量の情報を画像再構成部８に出力する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ１０７）。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ１０８）。

分解変換部３は、画像処理装置１が処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ１０９）。画像処理装置１が処理を続ける場合（ステップＳ１０９：ＮＯ）、画像処理装置１の各機能部は、ステップＳ１０２に処理を戻す。画像処理装置１が処理を終了する場合（ステップＳ１０９：ＹＥＳ）、画像処理装置１の各機能部は、処理を終了する。

以上のように、第１実施形態の画像処理装置１は、変化検出部４と、信頼度推定部５とを備える。変化検出部４は、複数の解像度の輝度画像における位相変化のうち、所定の変化量の位相変化を検出する。信頼度推定部５は、検出された位相変化の信頼度「ＨＥＡＲ_σ ^ｎ（ｘ,ｙ,ｔ,θ）」を推定する。
これによって、画像処理装置１は、検出した映像内の微小変化のうち「意味のある」微小な位相変化をより精度よく検出することができる。したがって、「意味のある」微小な位相変化の変化量を調整することができる。そのため、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

（第２実施形態）
第２実施形態では、画像処理装置が、第１実施形態において得られる信頼度と、微小な位相変化の時間的な振る舞いに基づいて得られる信頼度とを用いて動画像に混入したランダムノイズが調整されることを低減する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

図３は、第２実施形態における画像処理装置１ａの構成例を示す図である。画像処理装置１ａは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ａは、画像入力部２と、分解変換部３と、変化検出部４ａと、信頼度推定部５と、乗算部６ａと、変化量調整部７と、画像再構成部８と、信頼度推定部５１ａとを備える。各機能部は、組み合わされて単体の機能部として設けられてもよいし、分割されて複数の機能部として設けられてもよい。

第２実施形態では、画像処理装置１ａは、第１の信頼度推定処理及び第２の信頼度推定処理を実行する。すなわち、画像処理装置１ａは、動画像に対して第１の信頼度推定処理を実行し、更に、動画像に対して第２の信頼度推定処理を実行する。第１の信頼度推定処理と第２の信頼度推定処理との実行順は、逆でもよい。第１の信頼度推定処理は、信頼度推定部５により実行される。一方、第１の信頼度推定処理は、信頼度推定部５１ａにより実行される。

第１の信頼度推定処理では、画像処理装置１ａの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ａは、信頼度推定部５により第１の信頼度推定処理を実行する。第１の信頼度推定処理における信頼度の推定方法は、第１実施形態と同様である。以下、信頼度推定部５により推定される信頼度を第１の信頼度と記載する。
第２の信頼度推定処理については後述する。以下、信頼度推定部５１ａにより推定される信頼度を第２の信頼度と記載する。

図４は、動画像のフレーム内の画素の例を示す図である。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。図４に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。図４に示されたフレームは、画素２１０と、画素２１１と、切り株画像２１２と、斧画像２１３とを含む。画素２１０は、フレームの第１部分領域に撮像された壁の画像に含まれている画素である。画素２１１は、フレームの第２部分領域に撮像された切り株画像２１２に含まれている画素である。

図５は、微小な位相変化の等方性拡散を示す図である。図５に示された微小な位相変化は、画素２１０の輝度情報における微小な位相変化である。図５に示されたグラフの原点からの距離は、画素２１０の輝度情報の位相変化の変化量を表す。図５では、予め定められた空間方向「θ」は、一例として、２２．５°ごとの角度（０．０°、２２．５°、４５．０°、６７．５°、９０．０°、…）である。

意味のない微小な位相変化は、図５に示された例のように、等方性拡散となる。位相変化の変化量は、例えば、時刻ｔ１では「θ＝９０度」の方向に「０．２」と、時刻ｔ２では「θ＝６７．５度」の方向に「０．２」とのように変化する。

図６は、微小な位相変化の異方性拡散を示す図である。図６に示された微小な位相変化は、画素２１１の輝度情報における微小な位相変化である。図６に示されたグラフの原点からの距離は、画素２１１の輝度情報の位相変化の変化量を表す。図６では、予め定められた空間方向「θ」は、一例として、２２．５°ごとの角度（０．０°、２２．５°、４５．０°、６７．５°、９０．０°、…）である。

時刻tを含む時間帯「（－）ｔ」において、意味のある微小な位相変化は、複数の空間方向の軸のうちの少ない本数の軸の空間方向に生じる。図６では、各空間方向「θ」のうちの例えば「θ＝９０°」の軸（ｙ軸）に対して、分散が大きい。図６に示された例のように、意味のある微小な位相変化は異方性拡散となる。意味のある微小な位相変化の変化量は、特定の方向に時間分布が偏るように変化する。

意味がある動きでは、単位時間内の特定時刻において、位相変化の空間方向θが互いに近い方向になる。例えば、斧に衝突された切り株の垂直方向の振動では、振動周期に応じた特定の各時刻（ｔ１、ｔ２、…）において、位相変化の空間方向θが、それぞれ例えば９０度になる。

図３に戻り、以下では第２の信頼度推定処理を実行する構成について説明する。変化検出部４ａは、位相変化情報を入力とする。変化検出部４ａは、入力した位相変化情報に基づいて各解像度の輝度画像における微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する。変化検出部４ａは、検出した輝度画像における微小な位相変化を表す情報である微小位相変化情報を解像度毎に信頼度推定部５１ａ及び乗算部６ａに出力する。

信頼度推定部５１ａは、微小位相変化情報を入力とする。信頼度推定部５１ａは、入力した微小位相変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度（第２の信頼度）を推定する。信頼度推定部５１ａは、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、第２の信頼度を推定する。信頼度推定部５１ａは、推定した第２の信頼度を、乗算部６ａに出力する。第２の信頼度は、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の時間的な振る舞いが近傍領域間で高い相関を示すほど高い値となる。すなわち、第２の信頼度は、微小な位相変化の時間分布が異方性を示すほど高い値となる。言い換えると、第２の信頼度は、拡散結果が異方性を示すほど高い値となる。

乗算部６ａは、微小位相変化情報と、第１の信頼度及び第２の信頼度とを入力とする。乗算部６ａは、入力した微小位相変化情報と、第１の信頼度及び第２の信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７に出力する。なお、乗算部６ａは、入力した第１の信頼度及び第２の信頼度を、重み付け乗算又は重み付け加算してもよい。例えば、乗算部６ａは、第１の信頼度及び第２の信頼度のうち処理において重要となる信頼度の重みを、他方の信頼度の重みより大きくして、第１の信頼度及び第２の信頼度の値に重み付けして重み付け乗算又は重み付け加算する。乗算部６ａが微小位相変化情報と、第１の信頼度及び第２の信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ，θ）」が、高精度に検出される。

次に、画像処理装置１ａの詳細（第２の信頼度を推定する構成の詳細）を説明する。画像入力部２は、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２は、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を分解変換部３に出力する。画像入力部２は、原解像度の色画像を画像再構成部８へ出力する。

分解変換部３は、入力した原解像度の輝度画像のある場所（ｘ,ｙ）、ある時間ｔにおける映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」に対してＣＳＦを用いることで、映像の輝度変化「Ｉ（ｘ,ｙ,ｔ）」を、ある解像度「ｎ」と、ある方向「θ」における振幅変化「Ａ^ｎ（ｘ,ｙ,ｔ,θ）」と、位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に上式（１）のように変換及び分解する。パラメータ「ｎ」は解像度を表す。なお、本実施形態では、ＣＳＦを用いる構成を示したが、フィルタはこれに限定されない。ただし、以下の実施形態では、ＣＳＦを用いた場合について述べていく。

変化検出部４ａは、生成された各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４ａは、分解変換部３において求められる各解像度の映像における方向毎の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を上式（２）のように検出する。なお、変化検出部４ａは、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４ａは、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

変化検出部４ａによって求められた微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」は自然現象や物理現象によって生じる「意味のある」微小な位相変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な位相変化が上式（３）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

信頼度推定部５１ａは、変化検出部４ａによって求められる微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」を利用して、微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の信頼度（第２の信頼度）を推定する。具体的には、信頼度推定部５１ａは、変化検出部４ａによって求められる微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」の時間的な振る舞い（時間分布）を評価することで微小な位相変化の信頼度を推定する。変化検出部４から出力される微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ある場所（ｘ,ｙ）を中心とした映像領域（－）ｘ∈Ｒ^{（ｈ×ｗ）}＝Ｒ^ｄとある時間ｔを中心とした時間幅「（－）ｔ」を考えると、位相の変化が方向θに依存していることに注意して微小な位相変化「Ｃ^ｎ（ｘ,ｙ,ｔ,θ）」に関する拡散方程式は以下の式（８）のように定式化することができる。

式（８）において、「ｆ（Ｃ^ｎ（（－）ｘ,（－）ｔ,θ））」は微小な位相変化の時間分布を表しており、「Ｄ」は時間幅「（－）ｔ」における拡散テンソル行列を表す。映像領域「（－）ｘ」において、時間幅「（－）ｔ」内で同じような位相変化が生じていると仮定し、それらの変化を時空間データサンプル「ｓ」としてまとめると、式（８）は以下の式（９）のように変形できる。

上記の式（９）から拡散テンソル行列は、以下の式（１０）のように得ることができる。

式（１０）において、「ｃｏｖ（Ｘ）」はＸ行列の分散共分散行列を計算することを意味する。その後、信頼度推定部５１ａは、「Ｄ」に対して固有値分解を行うことによって、微小な位相変化の時間分布に関する特徴量であるFractional Anisotropy（以下「ＦＡ」という。）を以下の式（１１）から得る。

式（１１）において、（λ_１,…, λ_ｄ）は「Ｄ」の固有値であり、「（－）λ」はその平均である。「ＦＡ」は、時間分布が異方性を示す際には「１」を、時間分布が等方性を示す場合に「０」を取る特徴量である。自然現象や物理現象によって生じる「意味のある」微小な位相変化はある特定の方向に時間分布が偏っており、異方性が高い。そのため、「意味のある」微小な位相変化はＦＡ値が「１」に近い値を示す。一方で、撮像過程で混入するノイズ由来の「意味のない」微小な位相変化はランダムな方向に時間分布が拡散しており異方性が低く、等方性が高い。そのため、「意味のない」微小な位相変化はＦＡ値が「０」に近い値を示す。したがって、信頼度推定部５１ａは、ＦＡを用いて、微小な位相変化の信頼度を以下の式（１２）に基づいて推定する。

式（１２）において、「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は微小な位相変化の信頼度を表す時空間フィルタであり、「Ｇ_σ」は「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は、座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度を、０から１までの範囲で表す。微小な位相変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６ａは、微小位相変化情報と、信頼度推定部５によって推定された第１の信頼度と、信頼度推定部５１ａによって推定された第２の信頼度とを、画素ごとに乗算する。より具体的には、乗算部６ａは、式（１２）に示された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」と、式（２）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（１３）のように乗算する。

式（１３）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７は、式（１３）によって求められた微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７は、式（１３）のように高い精度で導出された微小な位相変化「＾Ｃｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（１４）のように乗算する。変化量調整部７は、元の位相変化元の位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整（例えば、強調又は減弱）された位相変化「＾φ^ｎ（ｘ,ｙ,ｔ,θ）」を式（１４）のように導出する。

このようにして、変化量調整部７は、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な位相変化が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「φ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な位相変化は調整されない。

画像再構成部８は、各解像度・方向毎に式（１３）を求める。画像再構成部８は、各解像度・方向毎に求めた調整された位相変化「φ^ｎ（ｘ,ｙ,ｔ,θ）」に対して、ＣＳＦの逆フィルタを掛けることで、微小な運動変化が強調された輝度情報に変換する。その後、色映像と足し合わせることで最終的な映像出力を得ることができる。

画像再構成部８（画像合成部）は、画像を再構成する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像を、変化量調整部７から取得する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像を合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８は、原解像度の色画像を、画像入力部２から取得する。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８は、ビデオ・マグニフィケーションを用いて最終的に調整された画像を、合成結果として、所定の外部装置に出力する。

次に、画像処理装置１ａの動作例を説明する。
図７は、第２実施形態における画像処理装置１ａの動作例を示すフローチャートである。なお、図７の処理では、第１の信頼度の推定処理については説明を省略する。画像入力部２は、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ２０１）。画像入力部２は、原解像度の輝度画像を分解変換部３に出力する。画像入力部２は、原解像度の色画像を画像再構成部８に出力する。分解変換部３は、画像入力部２から出力された原解像度の輝度画像に基づいて、輝度変化を位相変換及び振幅変化に変換するとともに、複数の解像度に分解する（ステップＳ２０２）。分解変換部３は、各解像度の位相変化情報を変化検出部４ａに出力する。

変化検出部４ａは、分解変換部３から出力された位相変化情報に基づいて、各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ２０３）。変化検出部４ａは、各解像度の微小位相変化情報を乗算部６に出力する。
信頼度推定部５１ａは、変化検出部４ａから出力された位相変化情報に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」（第２の信頼度）を推定する（ステップＳ２０４）。信頼度推定部５１ａは、推定した信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を乗算部６ａに出力する。

乗算部６ａは、変化検出部４ａから出力された微小位相変化情報と、信頼度推定部５から出力された第１の信頼度と、信頼度推定部５１ａから出力された第２の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」とを乗算する（ステップＳ２０５）。乗算部６ａは、乗算結果を変化量調整部７に出力する。変化量調整部７は、乗算部６ａから出力された乗算結果を用いて、信頼度が乗算された微小な運動変化の変化量を強調又は減弱によって調整する（ステップＳ２０６）。変化量調整部７は、運動変化の変化量の情報を画像再構成部８に出力する。画像再構成部８は、互いに異なる解像度の複数の調整輝度画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ２０７）。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ２０８）。

分解変換部３は、画像処理装置１ａが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ２０９）。画像処理装置１ａが処理を続ける場合（ステップＳ２１０：ＮＯ）、画像処理装置１ａの各機能部は、ステップＳ２０２に処理を戻す。画像処理装置１ａが処理を終了する場合（ステップＳ２０９：ＹＥＳ）、画像処理装置１ａの各機能部は、処理を終了する。

次に、画像の運動変化（位相変化）の変化量が調整された結果の例を説明する。
図８は、動画像のフレームの例を示す図である。図８に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。切り株に斧が衝突した時刻以降の時系列のフレームでは、ｙ軸方向に切り株が微小振動する。

図８に示されたフレームは、画素群２２０と、画素２２１とを含む。画素群２２０は、フレーム内の第１部分領域に撮像された切り株画像２１２において垂直方向（ｙ軸方向）に並ぶ画素である。画素２２１は、フレーム内の第２部分領域に撮像された壁の画像に含まれている画素である。

動画像のフレームでは、壁の画像の画素２２１のピクセル値には、ランダムな空間方向の微小な位相変化が、ランダムノイズによって定常的に生じている。切り株に向けてｙ軸方向に斧が降り下ろされた場合、切り株と斧との衝突に起因して、切り株画像２１２の画素群２２０のピクセル値には、主にｙ軸方向の微小な位相変化が、切り株画像２１２の振動によって生じる。

図９は、位相変化の拡散結果に基づいて運動変化の変化量が調整された画素群２２０のピクセル値の例を示す図である。図９では、位相変化の拡散結果に基づいて運動変化の変化量が調整されることによって、強調すべき部分は強調できており、ノイズが抑えられている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、強調すべき部分のピクセル値（運動変化）の変化量が大きい。

図１０は、運動変化の変化量が調整されていない元画像の画素２２１のピクセル値と、運動変化の変化量が調整された各画像の画素２２１のピクセル値との例を示す図である。横軸は、フレーム番号（時刻）を表す。縦軸は、各手法に基づいて求められたピクセル値の時間的な変動を表す。ここで、各手法として、加速度法、躍度法及び本手法が挙げられる。なお、これらの各手法との比較対象として、運動変化の変化量が調整されていない元画像のピクセル値の時間的な変動も示している。

加速度法又は躍度法に基づいて調整された画像の画素２２１と、元画像の画素２２１のピクセル値との差は、本手法、すなわち位相変化の拡散結果に基づいて調整された画像の画素２２１と、元画像の画素２２１のピクセル値との差よりも大きい。このように、位相変化の拡散結果に基づいて調整された画像では、微小な位相変化の変化量が調整されても、ランダムノイズが調整されることが低減されている。このように、動画像に混入したランダムノイズが調整されることを、位相変化の拡散結果に基づいて低減することが可能である。

図１１は、本発明における手法を適用した場合の効果を説明するための図である。
入力画像として、ウクレレを弾いている場面が撮像されたフレーム（Input video）を例に説明する。図１１（ａ）は従来の加速度法を用いた場合の処理結果を示す図である。図１１（ｂ）は従来の躍度法を用いた場合の処理結果を示す図である。図１１（ｃ）は第２実施形態の手法を用いた場合の処理結果を示す図である。図１１（ｄ）は第１実施形態及び第２実施形態の手法を組み合わせて用いた場合の処理結果を示す図である。図１１（※）は第１実施形態の手法を用いた場合の処理結果を示す図である。

図１１に示すように、図１１（ａ）に示す手法及び図１１（ｂ）に示す手法では、ウクレレの弦の意味のある微小な位相変化を検出することができてはいるが、ランダムノイズも検出してしまっているのがわかる。また、図１１（ｃ）に示す手法（第２実施形態の手法）及び図１１（※）に示す手法（第１実施形態の手法）においても、図１１（ａ）に示す手法及び図１１（ｂ）に示す手法に比べてノイズが低減されているが、少なからず誤検出している。それに対し、図１１（ｄ）に示すように、第１実施形態及び第２実施形態の手法を組み合わせて用いた場合には、ウクレレの弦の意味のある微小な位相変化を精度よく検出できているのがわかる。

以上のように、第２実施形態の画像処理装置１ａは、変化検出部４ａと、信頼度推定部５１ａとを備える。変化検出部４ａは、複数の解像度の輝度画像における位相変化のうちから、予め定められた位相変化を検出する。信頼度推定部５１ａは、検出された位相変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。
これによって、画像処理装置１ａは、検出した映像内の微小変化のうち「意味のある」微小な位相変化をより精度よく検出することができる。したがって、「意味のある」微小な位相変化の変化量を調整することができる。そのため、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

（第３実施形態）
第３実施形態では、色又は輝度の微小変化の変化量を画像処理装置が調整する場合に、動画像に混入したランダムノイズが調整されることを低減する点が、第１実施形態及び第２実施形態と相違する。第３実施形態では、第１実施形態及び第２実施形態との相違点を説明する。

図１２は、第３実施形態における画像処理装置１ｂの構成例（第１の組み合わせ）を示す図である。画像処理装置１ｂは、動画像に対して所定の画像処理を実行する装置である。画像処理装置１ｂは、動画像に対して所定の画像処理を実行することによって、被写体の特定の微小な運動変化及び被写体の特定の微小な色又は輝度変化を強調又は減弱する。

画像処理装置１ｂは、画像入力部２ｂと、分解変換部３ｂと、変化検出部４ｂと、信頼度推定部５ｂと、乗算部６ｂと、変化量調整部７ｂと、画像再構成部８ｂとを備える。

第３実施形態では、画像処理装置１ｂは、第１の画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ｂは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ｂの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ｂは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。

画像処理装置１ｂは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。例えば、画像処理装置１ｂは、動画像内の選択された画素値を強調又は減弱することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。ここで、選択された画素値とは、予め処理対象として選択される色又は輝度の画素値であって、例えばＲの画素値、Ｇの画素値、Ｂの画素値、Ｙの画素値、Ｅの画素値、Ｑの画素値のいずれかの画素値である。Ｙ、Ｅ、Ｑの画素値は、ＲＧＢから変換された明度を表す値である。

次に、色もしくは輝度の微小変化を強調又は減弱する処理について説明する。
図１３は、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部の構成例を示す図である。図１２に示された分解変換部３ｂは、画像分解部３０ｂを備える。画像処理装置１ｂは、画像入力部２ｂと、画像分解部３０ｂと、変化検出部４ｂと、信頼度推定部５ｂと、乗算部６ｂと、変化量調整部７ｂと、画像再構成部８ｂとを、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部として備える。

画像入力部２ｂは、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報を入力とする。又は、画像入力部２ｂは、動画像のフレームを任意の輝度空間もしくは色空間に変換した後の色画像又は輝度画像を入力とする。画像入力部２ｂは、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３０ｂに出力する。以下の説明では、原解像度の色画像が入力された場合を例に説明する。なお、色画像の代わりに輝度画像が入力された場合も処理は、色画像が入力された場合と同様である。

画像分解部３０ｂは、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力とする。画像分解部３０ｂは、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する。具体的には、画像分解部３０ｂは、入力した原解像度の色画像のうち、選択された色の情報の色画像に対してガウシアンフィルタを畳み込んでからダウンサンプリングする処理を複数回繰り返すことで、入力された原解像度の色画像を複数の解像度に分解する。ダウンサンプリングとは、ダウンサンプル量に基づいて解像度を縮小する処理である。ダウンサンプル量は、１より小さい（例:１/２）値である。画像分解部３０ｂは、互いに異なる解像度の色画像を変化検出部４に出力する。

図１４は、動画像のフレーム内の画素の例を示す図である。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。図１４に示されたフレームには、３つの電球が点灯されている様子が撮像されている。図１４に示されたフレームは、画素４１０と、画素４１１と、電球画像４１２とを含む。画素４１０は、フレームの第３部分領域に撮像された背景の画像に含まれている画素である。画素４１１は、フレームの第４部分領域に撮像された電球画像４１２に含まれている画素である。

図１５は、微小な色又は輝度変化の等方性拡散を示す図である。図１５において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図１５に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のない微小な色又は輝度の変化は、図１５に示された例のように、等方性拡散となる。

図１６は、微小な色又は輝度変化の異方性拡散を示す図である。図１６において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図１６に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のある微小な色又は輝度の変化は異方性拡散となる。意味のある微小な色又は輝度変化の変化量は、特定の方向に時間分布が偏るように変化する。

図１３に戻り、画像処理装置１ｂの構成例の説明を続ける。変化検出部４ｂは、画像分解部３０ｂから出力された各解像度の色画像を入力とする。変化検出部４ｂは、入力した各解像度の色画像に基づいて、各解像度の色画像における色の微小変化を検出する。変化検出部４ｂは、検出した色画像又は輝度画像における色又は輝度の微小な変化を表す情報（以下「色又は輝度変化情報」という。）を解像度毎に信頼度推定部５ｂ及び乗算部６ｂに出力する。

信頼度推定部５ｂは、色又は輝度変化情報を入力とする。信頼度推定部５ｂは、入力した色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。微小な色又は輝度変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化であることの信頼度である。信頼度推定部５ｂは、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な色又は輝度変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５ｂは、推定した信頼度を、乗算部６ｂに出力する。信頼度推定部５ｂは、推定した信頼度を、乗算部６ｂに出力する。本実施形態における信頼度推定部５ｂが推定する信頼度は、微小な色又は輝度変化の時間分布が異方性を示すほど高い値となる。言い換えると、信頼度は、拡散結果が異方性を示すほど高い値となる。

乗算部６ｂは、色又は輝度変化情報と、信頼度とを入力とする。乗算部６ｂは、入力した色又は輝度変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７ｂに出力する。乗算部６ｂが色又は輝度変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ，θ）」が、高精度に検出される。

変化量調整部７ｂは、乗算部６ｂが出力した乗算結果（信頼度が乗算された色又は輝度変化）を入力とする。変化量調整部７ｂは、入力した乗算部６ｂによる乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７ｂは、信頼度が乗算された微小な色又は輝度変化の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７ｂは、微小な色又は輝度変化の変化量が調整された画像（以下「調整画像」という。）を解像度毎に生成する。変化量調整部７ｂは、互いに異なる解像度の複数の調整画像を、画像再構成部８ｂに出力する。

画像再構成部８ｂ（画像合成部）は、互いに異なる解像度の複数の調整画像を入力とする。画像再構成部８ｂ（画像合成部）は、入力した調整画像に基づいて画像を再構成する。具体的には、画像再構成部８ｂは、互いに異なる解像度の複数の調整画像のサイズを同様のサイズに調整し、足し合わせることで微小な色又は輝度変化が強調された画像を再構成する。なお、画像再構成部８ｂは、色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得る。画像再構成部８ｂは、合成後の画像を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

次に、画像処理装置１ｂの詳細を説明する。画像入力部２ｂは、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報とを取得する。画像入力部２ｂは、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３０ｂに出力する。

画像分解部３０ｂは、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する。画像分解部３０ｂは、互いに異なる解像度の色画像を変化検出部４ｂに出力する。

変化検出部４ｂは、各解像度の色画像における色画像における色の微小変化を検出する。なお、変化検出部４ｂは、各解像度の輝度画像が入力された場合には、各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４ｂは、画像分解部３０ｂにおいて求められる各解像度の映像における色又は輝度変化「Ｉ^ｎ（ｘ,ｙ,ｔ））」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を以下の式（１５）のように検出する。なお、変化検出部４ｂは、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４ｂは、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

式（１５）において、演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子を表しており，演算子「〇」は、乗算（要素積）を表す。なお、Ｈ（ｔ）はバンドパスフィルタを表し、「Ｊ（ｘ,ｙ,ｔ）」は急峻な変化のみを除去することを目的とした躍度フィルタといったものが代表的な例として挙げられる。変化検出部４ｂが用いるフィルタは、これらに限定されない。

変化検出部４ｂによって求められた微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」は自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化が以下の式（１６）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

式（１６）の、「＾Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のある」微小な色又は輝度変化を表し、「～Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のない」微小な色又は輝度変化を表している。

信頼度推定部５ｂは、変化検出部４ｂによって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を利用して、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。具体的には、信頼度推定部５ｂは、変化検出部４ｂによって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の時間的な振る舞い（時間分布）を評価することで微小な色又は輝度変化の信頼度を推定する。変化検出部４ｂから出力される微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」に対して、ある場所（ｘ,ｙ）を中心とした映像領域（－）ｘ∈Ｒ^{（ｈ×ｗ）}＝Ｒ^ｄとある時間ｔを中心とした時間幅「（－）ｔ」を考えると、微小な色又は輝度変化「Ｂ^ｎ（（－）ｘ,（－）ｔ）」に関する拡散方程式は以下の式（１７）のように定式化することができる。

式（１７）において「ｆ（Ｂ^ｎ（（－）ｘ,（－）ｔ））」は微小な色又は輝度変化の時間分布を表しており、「Ｄ」は時間幅「（－）ｔ」における拡散テンソル行列を表す。上記式（１７）から、拡散テンソル行列は以下の式（１８）のように得ることができる。

式（１８）において、「ｃｏｖ（Ｘ）」はＸ行列の分散共分散行列を計算することを意味する。その後、信頼度推定部５ｂは、「Ｄ」に対して固有値分解を行い、微小な色又は輝度変化の時間分布に関する特徴量であるFractional Anisotropy（以下「ＦＡ」という。）を以下の式（１９）から得る。

式（１９）において、（λ_１,…,λ_ｄ）は「Ｄ」の固有値であり、「（－）λ」はその平均であり、「ｄ」は処理対象となる画素の数を表す。ここで、処理対象となる画素の数「ｄ」は、調整を行いたい画素の数である。「ＦＡ」は、時間分布が異方性を示す際には「１」を、時間分布が等方性を示す場合に「０」を取る特徴量である。自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化はある特定の方向に時間分布が偏っており、異方性が高い。そのため、「意味のある」微小な色又は輝度変化はＦＡ値が「１」に近い値を示す。一方で、撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化はランダムな方向に時間分布が拡散しており異方性が低く、等方性が高い。そのため、「意味のない」微小な色又は輝度変化はＦＡ値が「０」に近い値を示す。したがって、信頼度推定部５は、ＦＡを用いて、微小な色又は輝度変化の信頼度を以下の式（２０）に基づいて推定する。

式（２０）において、「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は微小な色又は輝度変化の信頼度を表す時空間フィルタであり、「Ｇ_σ」は「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は、座標（ｘ，ｙ）を含む領域における微小な色又は輝度変化の信頼度を、０から１までの範囲で表す。微小な色又は輝度変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６ｂは、色又は輝度変化情報と、信頼度推定部５ｂによって推定された信頼度とを、画素ごとに乗算する。より具体的には、乗算部６ｂは、式（２０）に示された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」と、式（１５）に示された「Ｂ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（２１）のように乗算する。

式（２１）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７ｂは、式（２１）によって求められた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７ｂは、式（２１）のように高い精度で導出された微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に、所定の調整率（強調率）「α」を、以下の式（２２）のようにを乗算する。変化量調整部７ｂは、元の色又は輝度の変化元の色又は輝度の変化「Ｉ^ｎ（ｘ,ｙ,ｔ）」と乗算結果とを加算することによって、緩やかで微小な色又は輝度の変化の変化量が調整（例えば、強調又は減弱）された色又は輝度の変化「＾Ｉ^ｎ（ｘ,ｙ,ｔ）」を式（２２）のように導出する。

このようにして、変化量調整部７ｂは、検出された微小な色又は輝度の変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な色又は輝度が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な色又は輝度が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な色又は輝度が減弱される場合、元の微小な色又は輝度変化「Ｉ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な色又は輝度変化は調整されない。

画像再構成部８ｂ（画像合成部）は、画像を再構成する。画像再構成部８ｂは、解像度毎に式（２２）を求め、アップサンプリングを行いながら解像度方向に足し合わせることによって「意味のある」微小な色又は輝度変化のみが強調された色又は輝度情報に変換して原解像度の画像を再構成する。画像再構成部８ｂは、もし色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得ることができる。

画像再構成部８ｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

次に、画像処理装置１ｂの動作例を説明する。
図１７は、第３実施形態における画像処理装置１ｂの動作例を示すフローチャートである。なお、図１７では、画像入力部２ｂに画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する場合を例に説明する。画像入力部２ｂに画像処理の対象となる原解像度の輝度画像と、選択された輝度の情報とを入力する場合には、図１７における処理において、原解像度の色画像を原解像度の輝度画像、色の情報を輝度の情報と読み替えればよい。
画像入力部２ｂは、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する（ステップＳ３０１）。画像入力部２ｂは、原解像度の色画像と、選択された色の情報とを画像分解部３０ｂに出力する。画像分解部３０ｂは、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された色の情報の色画像を、互いに異なる解像度に分解する（ステップＳ３０２）。画像分解部３０ｂは、各解像度の色画像を変化検出部４ｂに出力する。

変化検出部４ｂは、画像分解部３０ｂから出力された色画像に基づいて、各解像度の色画像における色の微小変化を検出する（ステップＳ３０３）。変化検出部４ｂは、各解像度の検出した色の微小変化を色又は輝度変化情報として信頼度推定部５ｂ及び乗算部６ｂに出力する。
信頼度推定部５ｂは、変化検出部４ｂから出力された色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する（ステップＳ３０４）。信頼度推定部５ｂは、推定した信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を乗算部６ｂに出力する。

乗算部６ｂは、変化検出部４ｂから出力された色又は輝度変化情報と、信頼度推定部５ｂから出力された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」とを乗算する（ステップ３０５）。乗算部６ｂは、乗算結果を変化量調整部７ｂに出力する。変化量調整部７ｂは、乗算部６ｂから出力された乗算結果を用いて、信頼度が乗算された微小な色又は輝度の変化の変化量を強調又は減弱によって調整する（ステップＳ３０６）。変化量調整部７ｂは、微小な色又は輝度の変化の変化量の情報を画像再構成部８ｂに出力する。画像再構成部８ｂは、互いに異なる解像度の複数の調整画像に基づいて、原解像度の色画像を再構成する（ステップＳ３０７）。

画像分解部３０ｂは、画像処理装置１ｂが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ３０８）。画像処理装置１ｂが処理を続ける場合（ステップＳ３０８：ＮＯ）、画像処理装置１ｂの各機能部は、ステップＳ３０２に処理を戻す。画像処理装置１ｂが処理を終了する場合（ステップＳ３０８：ＹＥＳ）、画像処理装置１ｂの各機能部は、処理を終了する。

以上のように、第３実施形態の画像処理装置１ｂは、変化検出部４ｂと、信頼度推定部５ｂとを備える。変化検出部４ｂは、複数の解像度の色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を検出する。信頼度推定部５ｂは、色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された色又は輝度変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。

これによって、画像処理装置１ｂは、検出した映像内の微小変化のうち「意味のある」微小な色又は輝度変化をより精度よく検出することができる。したがって、「意味のある」微小な色又は輝度変化の変化量を調整することができる。そのため、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

次に、第３実施形態の変形例について説明する。
第３実施形態における画像処理装置は、第２実施形態の画像処理装置１ａが実行する位相変化（運動変化）の変化量を調整する処理と、図１３に示す被写体の特定の微小な色又は輝度変化を強調又は減弱する処理とを逐次処理するように構成されてもよい。このように構成される場合の構成を図１８に示す。図１８は、第３実施形態における画像処理装置１ｂｂの構成例（第２の組み合わせ）を示す図である。画像処理装置１ｂｂは、画像入力部２ｂｂと、分解変換部３ｂｂと、変化検出部４ｂｂと、信頼度推定部５ｂｂと、乗算部６ｂｂと、変化量調整部７ｂｂと、画像再構成部８ｂｂと、信頼度推定部５１ｂとを備える。分解変換部３ｂｂは、図１３に示す画像分解部３０ｂを備える。

画像処理装置１ｂｂは、第１の画像処理及び第２の画像処理を逐次実行する。例えば、画像処理装置１ｂｂは、第２実施形態の画像処理装置１ａと同様の処理を第１の画像処理として実行する。すなわち、画像処理装置１ｂｂは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。
画像処理装置１ｂｂは、第３実施形態の画像処理装置１ｂのうち図１３に示す機能部と同様の処理を第２の画像処理として実行する。

第３実施形態における画像処理装置は、第１実施形態の画像処理装置１が実行する被写体の特定の微小な運動変化を調整する処理と、本実施形態で説明した色又は輝度の微小変化の変化量を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図１９に示す。図１９は、第３実施形態における画像処理装置１ｃの構成例（第３の組み合わせ）を示す図である。画像処理装置１ｃは、画像入力部２ｃと、分解変換部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７と、画像再構成部８ｃと、画像分解部３０ｃと、変化検出部４ｃと、信頼度推定部５１ｃと、乗算部６ｃと、変化量調整部７ｃとを備える。

画像処理装置１ｃは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｃは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ｃが実行する第１の画像処理では、画像入力部２ｂと分解変換部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ｃとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ｃは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。画像処理装置１ｃが実行する第２の画像処理では、画像入力部２ｃと画像分解部３０ｃと変化検出部４ｃと信頼度推定部５１ｃと乗算部６ｃと変化量調整部７ｃと画像再構成部８ｃとは、図１３に示す同名の機能部と同様の処理を実行する。

画像再構成部８ｃは、互いに異なる解像度の複数の画像を、変化量調整部７から取得する。画像再構成部８ｃは、互いに異なる解像度の複数の画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ｃは、原解像度の色画像を、画像入力部２ｃから取得してもよい。画像再構成部８ｃは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ｃは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７ｃから取得する。画像再構成部８ｃは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｃは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

第３実施形態における画像処理装置は、第２実施形態の画像処理装置１ａが実行する位相変化（運動変化）の変化量を調整する処理と、図１３に示す被写体の特定の微小な色又は輝度変化を強調又は減弱する処理と、被写体の特定の微小な運動変化を調整する処理とを並列に実行するように構成されてもよい。このように構成される場合の構成を図２０に示す。図２０は、第３実施形態における画像処理装置１ｃｃの構成例（第４の組み合わせ）を示す図である。画像処理装置１ｃｃは、画像入力部２ｃｃと、分解変換部３ｃｃと、変化検出部４ｃｃと、信頼度推定部５ｃｃと、乗算部６ｃｃと、変化量調整部７ｃｃと、画像再構成部８ｃｃと、画像分解部３０ｃと、変化検出部４ｃと、信頼度推定部５１ｃと、乗算部６ｃと、変化量調整部７ｃとを備える。

画像処理装置１ｃｃは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｃｃは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。画像処理装置１ｃｃが実行する第１の画像処理では、画像入力部２ｃｃと、分解変換部３ｃｃと、変化検出部４ｃｃと、信頼度推定部５ｃｃと、乗算部６ｃｃと、変化量調整部７ｃｃと、画像再構成部８ｃｃとは、第２実施形態の画像処理装置１ａの各機能部と同様の処理を実行する。

画像処理装置１ｃｃは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。画像処理装置１ｃｃが実行する第２の画像処理では、画像入力部２ｃｃと、画像分解部３０ｃと、変化検出部４ｃと、信頼度推定部５１ｃと、乗算部６ｃと、変化量調整部７ｃと、画像再構成部８ｃｃとは、図１９に示す同名の機能部と同様の処理を実行する。

上記の各実施形態は、互いに組み合わされてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像処理装置に適用可能である。

１，１ａ，１ｂ，１ｂｂ，１ｃ，１ｃｃ…画像処理装置、２，２ｂ，２ｂｂ，２ｃ，２ｃｃ…画像入力部、３，３ｂ，３ｂｂ，３ｃｃ…分解変換部、４，４ａ，４ｂ，４ｂｂ，４ｃｃ…変化検出部、５，５ｂ，５ｂｂ，５ｃｃ，５１ａ，５１ｃ，５１ｃｃ…信頼度推定部、６，６ａ，６ｂ，６ｂｂ，６ｃ，６ｃｃ…乗算部、７，７ｂ，７ｂｂ，７ｃ，７ｃｃ…変化量調整部、８，８ｂ，８ｂｂ，８ｃ，８ｃｃ…画像再構成部、３０ｂ，３０ｃ…画像分解部

Claims (6)

1. 輝度画像における位相変化のうちから、予め定められた複数の方向における位相変化を互いに異なる解像度毎に検出する変化検出部と、
   前記輝度画像内に定められた複数の方向における時系列の振幅変化情報に基づいて、検出された前記位相変化の信頼度を推定する信頼度推定部と、
   を備える画像処理装置。
2. 前記信頼度推定部は、複数の解像度の振幅変化のうち、所定の閾値以上の振幅変化の値を用いて前記信頼度を推定する、請求項１に記載の画像処理装置。
3. 前記信頼度は、前記振幅変化が大きくなるほど高い値となる、請求項２に記載の画像処理装置。
4. 検出された位相変化と前記信頼度とを乗算する乗算部と、
   前記信頼度が乗算された位相変化の変化量を調整する変化量調整部と
   を更に備える、請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   輝度画像における位相変化のうちから、予め定められた複数の方向における位相変化を互いに異なる解像度毎に検出する変化検出ステップと、
   前記輝度画像内に定められた複数の方向における時系列の振幅変化情報に基づいて、検出された前記位相変化の信頼度を推定する信頼度推定ステップと、
   を含む画像処理方法。
6. 請求項１から請求項４のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。

Images