JP7157360B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成３１年２月２６日 ｈｔｔｐｓ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝１９４７４９＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８にて公開

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

動画像のフレームにおける画像の微小な運動変化の変化量を、画像処理装置が強調又は減弱する場合がある。画像の微小な運動変化の変化量を強調又は減弱によって調整する技術は、「ビデオ・マグニフィケーション（Video Magnification）」と呼ばれている。画像処理装置は、動画像のフレームにおいて人の視覚では捉えきれなかった物理現象を、ビデオ・マグニフィケーションにおける強調によって可視化することができる。また、画像処理装置は、動画像のフレームに混入された不必要な画像の揺らぎ（例えば、手振れ、地面の振動等）を、ビデオ・マグニフィケーションにおける減弱によってフレームから除去することができる。

画像処理装置は、動画像のフレームにおける局所的な画像の位相変化に基づいて画像の微小な運動変化を検出する場合、フレームに時系列フィルタを適用する。これによって、画像処理装置は、被写体の画像の微小な運動変化を検出することができる（非特許文献１及び２参照）。

Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. "Riesz Pyramids for Fast Phase-Based Video Magnification". IEEE International Conference on Computational Photography (2014). Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata. "Jerk-Aware Video Acceleration Magnification". IEEE International Conference on Computer Vision and Pattern Recognition (2018).

しかしながら、意味のある微小な運動変化の変化量だけでなく、撮像素子の熱雑音等に起因して画像に混入したランダムノイズ（意味のない微小な運動変化）の変化量も、画像処理装置が調整してしまうという問題がある。ランダムノイズの変化量が調整された場合には画像の品質が低下してしまうので、動画像に混入したランダムノイズが画像処理装置によって調整されることを低減する必要がある。

上記事情に鑑み、本発明は、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である画像処理装置、画像処理方法及びプログラムを提供することを目的としている。

本発明の一態様は、画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、前記方向変化に沿った高周波成分の位相の時間的変動である位相変化とを検出する変化検出部と、検出された前記位相変化がノイズに起因する変化ではないことを表す信頼度を、単位時間当たりの前記方向変化の分散値に基づいて推定する信頼度推定部とを備える画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記信頼度推定部は、検出された前記位相変化を示す前記画素における前記方向変化の分散値に基づいて、前記信頼度を推定する。

本発明の一態様は、上記の画像処理装置であって、前記信頼度は、前記分散値が小さいほど高い値となる。

本発明の一態様は、上記の画像処理装置であって、前記信頼度推定部は、時系列の前記エッジ画像内の画素を含む領域における前記位相変化に基づいて、前記信頼度を推定する。

本発明の一態様は、上記の画像処理装置であって、検出された前記位相変化と前記信頼度とを、時系列の前記エッジ画像内の画素ごとに乗算する乗算部と、前記信頼度が乗算された前記位相変化の変化量を調整する変化量調整部とを更に備える。

本発明の一態様は、上記の画像処理装置が実行する画像処理方法であって、画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、前記方向変化に沿った高周波成分の位相の時系列変化である位相変化とを検出するステップと、検出された前記位相変化がノイズに起因する変化ではないことを表す信頼度を、単位時間当たりの前記方向変化の分散値に基づいて推定するステップとを含む画像処理方法である。

本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるためのプログラムである。

本発明により、動画像の微小な運動変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第１実施形態における、画像処理装置の構成例を示す図である。 第１実施形態における、差分画像の生成の例を示す図である。 第１実施形態における、画像処理装置の動作例を示すフローチャートである。 第１実施形態における、動画像のフレームの例を示す図である。 第１実施形態における、元画像の画素群のピクセル値の変化の例を示す図である。 第１実施形態における、加速度法に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第１実施形態における、躍度法に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第１実施形態における、単位時間当たりの方向変化の分散値に基づいて運動変化の変化量が調整された画素群のピクセル値の例を示す図である。 第１実施形態における、運動変化の変化量が調整されていない元画像の画素のピクセル値と、運動変化の変化量が調整された各画像の画素のピクセル値との例を示す図である。 第２実施形態における、画像処理装置の構成例（第１の組み合わせ）を示す図である。 第２実施形態における、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部の構成例を示す図である。 第２実施形態における、動画像のフレーム内の画素の例を示す図である。 第２実施形態における、微小な色又は輝度変化の分散の第１例（等方性拡散）を示す図である。 第２実施形態における、微小な色又は輝度変化の分散の第２例（異方性拡散）を示す図である。 第２実施形態における、画像処理装置の動作例を示すフローチャートである。 第３実施形態における、画像処理装置の構成例（第２の組み合わせ）を示す図である。 第４実施形態における、画像処理装置の構成例（第１の組み合わせ）を示す図である。 第４実施形態における、画像処理装置の動作例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、画像処理装置１の構成例を示す図である。画像処理装置１は、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの画像処理である。画像処理装置１は、動画像に対してビデオ・マグニフィケーションの画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。

画像処理装置１は、画像入力部２と、分解変換部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７と、画像再構成部８とを備える。各機能部は、組み合わされて単体の機能部として設けられてもよいし、分割されて複数の機能部として設けられてもよい。

画像処理装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。画像処理装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

以下、動画像のフレームの輝度情報を表す画像を「輝度画像」という。以下、動画像のフレームの色情報を表す画像を「色画像」という。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。

画像入力部２は、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２は、動画像の複数のフレームから、輝度画像と色画像とを生成する。画像入力部２は、画像処理の対象となる原解像度の輝度画像を、分解変換部３に出力する。画像入力部２は、画像処理の対象となる原解像度の色画像を、画像再構成部８に出力する。

分解変換部３（エッジ画像生成部）は、原解像度の輝度画像を入力とする。分解変換部３は、互いに異なる解像度のエッジ画像を、原解像度の輝度画像から生成する。エッジ画像は、画像処理対象の画像内における一定周波数以上の空間周波成分（高周波成分）を表す画像である。例えば、エッジ画像では、被写体画像の輪郭（エッジ）が抽出される。分解変換部３は、画像分解部３０と、画像変換部３１とを備える。

画像分解部３０は、原解像度の輝度画像を入力とする。画像分解部３０は、互いに異なる解像度の輝度画像（以下「多重解像度の輝度画像」という。）を、入力された原解像度の輝度画像から生成する。画像分解部３０は、互いに異なる解像度のエッジ画像（以下「多重解像度のエッジ画像」という。）を、多重解像度の輝度画像から生成する。例えば、画像分解部３０は、互いに異なる解像度のうちの所定解像度の輝度画像同士の差分画像を、多重解像度のエッジ画像として生成する。画像分解部３０は、多重解像度のエッジ画像（解像度方向のエッジ画像）を、解像度ごとに画像変換部３１に出力する。

以下では、数式において文字の上に付されている記号は、その文字の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「＾」は、「＾Ｃ」のように文字「Ｃ」の直前に記載される。例えば、数式において文字「ｔ」の上に付されている記号「－」は、「（－）ｔ」のように文字「ｔ」の直前に記載される。例えば、数式において文字「Ｃ」の上に付されている記号「～」は、「～Ｃ」のように文字「Ｃ」の直前に記載される。

以下、画素においてエッジに直交している尤もらしい方向の時間的変動を「方向変化」という。方向変化「θ（ｘ，ｙ，ｔ）」は、時刻「ｔ」のエッジ画像内の座標（ｘ，ｙ）の画素ごとに定まる。エッジに直交している尤もらしい方向は、一定量以上の輝度成分によって表現されるエッジが存在するエッジ画像に対するリース変換等の出力として導出される。したがって、方向変化「θ（ｘ，ｙ，ｔ）」は、リース変換の出力である尤もらしい方向θ（ｘ，ｙ）が時刻「ｔ」の動画像のフレームに関して保持された時系列データである。画素にエッジが存在していない場合でも、尤もらしい方向はリース変換等の出力として導出される。以下、方向変化に沿った高周波成分の位相の時系列変化を「位相変化」という。

画像変換部３１は、多重解像度のエッジ画像（解像度方向のエッジ画像）を入力とする。画像変換部３１は、エッジ画像ごとに、時刻「ｔ」のエッジ画像内の座標（ｘ，ｙ）の画素ごとに、方向変化「θ（ｘ，ｙ，ｔ）」に沿って生じている輝度変化を、同じ方向変化「θ（ｘ，ｙ，ｔ）」に沿った輝度情報の位相変化「Φ（ｘ，ｙ，ｔ）」及び振幅変化「Ａ（ｘ，ｙ，ｔ）」に変換する。すなわち、動画像において、方向変化「θ（ｘ，ｙ，ｔ）」と、位相の時系列変化「φ（ｘ，ｙ，ｔ）」と、振幅変化「Ａ（ｘ，ｙ，ｔ）」とが導出される。

例えば、画像変換部３１は、３０枚のエッジ画像の時間幅「（－）ｔ」内の時刻ｔ（＝１５）について、エッジ画像内の座標（１０，２０）の画素における方向変化「θ（１０，２０，１５）＝１８．３°」に沿って生じている輝度変化を、同じ方向変化「θ（１０，２０，１５）＝１８．３°」に沿った輝度情報の位相変化「Φ（１０，２０，１５）＝０．４」に変換する。

なお、時系列のエッジ画像における輝度情報の位相変化は、時系列のエッジ画像における画像の運動変化を表す。

画像変換部３１は、多重解像度のエッジ画像における、方向変化に沿った位相変化を表す情報（以下「位相変化情報」という。）と、方向変化を表す情報（以下「方向変化情報」という。）とを、動画像の時刻「ｔ」のエッジ画像内の画素ごとに、変化検出部４に出力する。

変化検出部４は、多重解像度のエッジ画像の位相変化情報と方向変化情報とを入力とする。時刻「ｔ」を中心とした時間幅「（－）ｔ」（例えば、単位時間当たり）の各エッジ画像について、変化検出部４は、方向変化情報「θ^ｎ（ｘ，ｙ，ｔ)」を、信頼度推定部５に出力する。

時刻「ｔ」を中心とした時間幅「（－）ｔ」の各エッジ画像について、変化検出部４は、多重解像度のエッジ画像内の画素における、方向変化に沿った微小な位相変化を検出する。変化検出部４は、多重解像度のエッジ画像内の画素における、方向変化に沿った微小な位相変化を表す情報（以下「微小位相変化情報」という。）を、乗算部６に出力する。

信頼度推定部５は、時間幅「（－）ｔ」の方向変化情報を入力とする。信頼度推定部５は、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ｍａｓｋＳ^ｎ」を、方向変化情報に基づいて推定する。ここで「ｎ」は、ｎ番目の解像度を表す。「ｎ＝０」番目の解像度は、最も高い解像度を表す。微小な位相変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化であることの信頼度である。撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度推定部５は信頼度を推定する。信頼度推定部５は、推定された信頼度「ｍａｓｋＳ^ｎ」を、乗算部６に出力する。

乗算部６は、微小位相変化情報と、信頼度とを入力とする。乗算部６は、微小位相変化情報（微小な位相変化を表す値）と、信頼度推定部５によって推定された信頼度とを、エッジ画像内の画素ごとに乗算し、乗算された結果を変化量調整部７に出力する。微小位相変化情報と信頼度とが乗算されることによって、微小位相変化情報と信頼度とが対応付けられるので、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７は、乗算部６が出力した乗算結果（信頼度が乗算された位相変化）を入力とし、乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７は、信頼度が乗算された微小な位相変化（運動変化）の変化量を、強調又は減弱によって調整する。調整によって、変化量調整部７は、微小な運動変化の変化量が調整された輝度画像のエッジ画像（以下「調整エッジ画像」という。）を生成する。変化量調整部７は、互いに異なる解像度の複数の調整エッジ画像を、画像再構成部８に出力する。

画像再構成部８（画像合成部）は、互いに異なる解像度の複数の調整エッジ画像を入力とし、画像を再構成する。画像再構成部８は、互いに異なる解像度の複数の調整エッジ画像を、変化量調整部７から取得する。画像再構成部８は、互いに異なる解像度の複数の調整エッジ画像を合成することによって、原解像度の輝度画像を再構成する。

画像再構成部８は、原解像度の色画像を、画像入力部２から取得する。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８は、合成後の画像を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

次に、画像処理装置１の詳細を説明する。
画像入力部２は、画像処理の対象となる動画像の複数のフレームを入力とする。画像入力部２は、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、画像分解部３０に出力する。画像入力部２は、原解像度の色画像を、画像再構成部８に出力する。

画像分解部３０は、動画像の複数のフレームの輝度画像を入力とする。画像分解部３０は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、式（１）のように０番目の解像度（最も高い解像度）の輝度画像「Ｉ^０（ｘ，ｙ，ｔ）」とする。

画像分解部３０は、複数の解像度の輝度画像に対して、空間周波数の帯域を分割する処理（帯域分割処理）を実行する。すなわち、画像分解部３０は、複数の解像度の輝度画像に対して、エッジ検出処理を実行する。エッジ検出処理によって、画像分解部３０は、複数の解像度の輝度画像のエッジ画像（帯域分割画像）を生成する。

エッジ画像を生成する方法は、特定の方法に限定されない。例えば、画像分解部３０は、微分フィルタ又はハイパスフィルタ等の帯域分割フィルタ（エッジフィルタ）を輝度画像に対して用いて、エッジ画像を生成する。例えば、画像分解部３０は、輝度画像に対してウェーブレット変換（オクターブ分割）を実行することによって、エッジ画像を生成してもよい。以下では、画像分解部３０は、エッジ画像の一例として差分画像を生成する。画像分解部３０は、以下のようにダウンサンプリングとガウシアンフィルタとを用いて、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。

図２は、差分画像の生成の例を示す図である。輝度画像３０１は、０番目の解像度（最も高い解像度）の輝度画像である。画像分解部３０は、輝度画像３０１に対してダウンサンプリングを実行することによって、輝度画像３０２を生成する。画像分解部３０は、輝度画像３０２に対してアップサンプリングを実行することによって、輝度画像３０３を生成する。画像分解部３０は、０番目の解像度の輝度画像３０１及び輝度画像３０３の差分を導出することによって、０番目の解像度の差分画像３０４を生成する。

画像分解部３０は、輝度画像３０２に対してダウンサンプリングを実行することによって、輝度画像３０５を生成する。画像分解部３０は、輝度画像３０５に対してアップサンプリングを実行することによって、輝度画像３０６を生成する。画像分解部３０は、０番目の解像度の輝度画像３０２及び輝度画像３０６の差分を導出することによって、１番目の解像度の差分画像３０７を生成する。このようにして、画像分解部３０は、多重解像度の輝度画像に基づいて、多重解像度のエッジ画像を生成する。

すなわち、画像分解部３０は、（ｎ－１）番目の予め定められた解像度の輝度画像「Ｉ^ｎ－１（ｘ，ｙ，ｔ）」に対して、ダウンサンプリングを実行する。解像度の段階数は、３段階以上であり、例えば８段階である。画像分解部３０は、解像度の段階数が８段階と定められている場合、原解像度の輝度画像に対して７回のダウンサンプリングを実行する。

画像分解部３０は、ダウンサンプリングの結果に対して、ガウシアンフィルタ「Ｇ_σ（ｘ，ｙ）」を畳み込む。輝度画像の解像度の段階数は、ガウシアンフィルタのフィルタサイズに応じて定められる。すなわち、輝度画像に定められるブロックの最小サイズは、ガウシアンフィルタのフィルタサイズに応じて定められる。画像分解部３０は、式（２）に示された演算を１番目からｎ番目までの解像度の輝度画像に対して繰り返すことによって、多重解像度の輝度画像（「Ｉ^０（ｘ，ｙ，ｔ）」，…，「Ｉ^ｎ（ｘ，ｙ，ｔ）」）を生成する。以下では、数式に示された演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子である。

式（２）の右辺は、「Ｇ_σ（ｘ，ｙ）」と「ｄｏｗｎｓａｍｐｌｅ（Ｉ^ｎ－１（ｘ，ｙ，ｚ））」との畳み込み演算を表す。「Ｇ_σ（ｘ，ｙ）」は、分散「σ^２」の２次元のガウシアンフィルタを表す。「ｄｏｗｎｓａｍｐｌｅ（Ｚ）」は、解像度「Ｚ」の画像をダウンサンプル量に基づいて縮小する処理（ダウンサンプリング）を表す。ダウンサンプル量は、分数であり、例えば２分の１である。以下、「ｎ」は、０以上Ｎ以下の整数である。「Ｎ」は、予め定められた２以上の整数である。このように、画像分解部３０は、縮小する処理が実行された輝度画像に対して、所定の補間処理を実行してもよい。

画像分解部３０は、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」に対してアップサンプリングを実行する。これによって、画像分解部３０は、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」の解像度を、ｎ番目の予め定められた解像度に揃える。すなわち、画像分解部３０は、「ｎ＋１」番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」を、「ｎ（＝ｎ＋１－１）」番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」にする。「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像をｎ番目の解像度に合わせるように拡大する処理（アップサンプリング）を表す。

式（２）に示されたｎ番目の解像度の輝度画像「Ｉ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」との差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」（解像度方向の差分画像）は、式（３）のように表される。

画像処理装置１の各機能部は、ｎ番目（０≦ｎ＜Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の画像処理を実行する。

画像変換部３１は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を入力とする。画像変換部３１は、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた処理領域（ｘ，ｙ）における方向変化に沿って生じている輝度変化を、同じ方向変化における輝度情報の位相変化及び振幅変化に変換する。

画像変換部３１は、例えば、低い（粗い）解像度から高い（細かい）解像度の順に、差分画像における時間方向の位相変化を検出する。すなわち、画像変換部３１は、低い解像度の差分画像において時間方向の位相変化を検出する処理を、高い解像度の差分画像において位相変化を検出する処理をよりも先に実行する。

方向変化に沿って生じている輝度変化を画像変換部３１が位相変化及び振幅変化に変換する方法は、特定の方法に限定されない。以下では、画像変換部３１は、一例としてリース変換によって、方向変化に沿って生じている輝度変化を、同じ方向変化に沿って生じている位相変化及び振幅変化に変換する。

画像変換部３１は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、例えば、フーリエ変換「ｆｆｔ」と逆フーリエ変換「ｉｆｆｔ」とを実行する。すなわち、画像変換部３１は、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して式（４）から式（９）までのようにリース変換を実行する。

式（４）から式（６）までにおいて、式（７）から式（９）までの関係式が成立している。

ここで、「θ^ｎ（ｘ，ｙ，ｔ）」は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」内の座標（ｘ，ｙ）の画素における方向変化を表す。「Φ^ｎ（ｘ，ｙ，ｔ）」は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化を表す。「Ａ^ｎ（ｘ，ｙ，ｔ）」は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている振幅変化を表す。方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」は、式（１０）のように表される。画像変換部３１は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の情報を、変化検出部４に出力する。

変化検出部４は、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の情報を、入力とする。変化検出部４は、位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」に、時系列フィルタ「Ｈ（ｔ）」を畳み込む。これによって、変化検出部４は、位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の微小変化（subtle changes）を検出する。時系列フィルタ「Ｈ（ｔ）」は、調整対象（強調又は減弱の対象）とされた方向変化に沿った位相変化（例えば、微小な位相変化）に対して周波数応答を持つ時系列フィルタであれば、特定のフィルタに限定されない。時系列フィルタ「Ｈ（ｔ）」は、例えば、バンドパスフィルタ（非特許文献１参照）である。

変化検出部４は、方向変化に沿った位相変化（例えば、微小な位相変化）に対して、時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」を乗算してもよい。乗算によって、変化検出部４は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における時間及び空間について急峻な位相変化（緩やかでない位相変化）を除去することができる。

時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」は、急峻な位相変化を除去する時空間フィルタであれば、特定のフィルタに限定されない。時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」は、例えば、躍度フィルタ（非特許文献２参照）である。例えば、変化検出部４は、微小な変化を三次微分して、微小ではない急峻な変化を検出及び正規化する。検出及び正規化の結果は、微小な変化が現れるときには０であり、急峻な変化が現れるときには１である。したがって、検出及び正規化の結果の逆は、微小な変化が現れるときには１であり、急峻な変化が現れるときには０である。変化検出部４は、検出及び正規化の結果の逆を、躍度フィルタとする。

変化検出部４は、三次微分と正規化と反転との順で、位相変化に対して演算を実行する。これによって、変化検出部４は、微小ではない急峻な位相変化のみを除去する躍度フィルタを生成することができる。変化検出部４は、元の位相変化に躍度フィルタを乗算する。

換言すれば、変化検出部４は、位相変化に対して、三次微分と正規化の演算とを実行する。これによって、変化検出部４は、微小な位相変化が差分画像に現れるときには、０の値を持つ演算結果を得る。変化検出部４は、急峻な位相変化が差分画像に現れるときには、１の値を持つ演算結果を得る。

変化検出部４は、演算結果を反転することによって、躍度フィルタを生成する。躍度フィルタは、微小な位相変化が差分画像に現れるときには、１の値のフィルタ応答を持つ。躍度フィルタは、急峻な位相変化が差分画像に現れるときには、０の値のフィルタ応答を持つ。変化検出部４は、元の位相変化に躍度フィルタ「Ｊ」を乗算する。微小な位相変化が差分画像に現れる場合、元の位相変化に１の値が乗算されるので、変化検出部４は、微小な位相変化のみを検出することができる。急峻な位相変化が差分画像に現れる場合、元の位相変化に０の値が乗算されるので、変化検出部４は、急峻な位相変化を抑制することができる。

緩やかで微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」は、式（１１）のように表される。式（１１）に示された演算子「〇」は、乗算（要素積）を表す。

ここで、式（１１）に示された微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」は、意味のある位相の微小変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」と、意味のない微小な位相変化「～Ｃ^ｎ （ｘ，ｙ，ｔ）」とを、式（１２）のように含む。ここで、意味のない微小な位相変化（運動変化）とは、撮像素子の熱雑音、手振れ、地面の振動等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた位相変化である。意味のある微小な位相変化（運動変化）とは、ランダムノイズ以外の物理現象（例えば、撮像素子への光の入射）によって画像のピクセル値に生じた位相変化である。

信頼度推定部５は、方向変化情報を入力とする。信頼度推定部５は、方向変化「θ^ｎ（ｘ，ｙ，ｔ)」に基づいて、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度を推定する。これによって、信頼度推定部５は、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」における、意味のある位相の微小変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」と、意味のない微小な位相変化「～Ｃ^ｎ（ｘ，ｙ，ｔ）」とを切り分けることができる。

時刻tを含む時間幅「（－）ｔ」において、意味のある微小な位相変化は、意味のない微小な位相変化と比較して、エッジ画像において限定された空間方向に生じる。このため、座標（ｘ，ｙ）の画素における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ)」の分散値は小さい。

そこで、信頼度推定部５は、時間幅「（－）ｔ」における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ)」の分散値に基づいて、微小な位相変化の信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」を、式（１３）のように推定する。微小な位相変化の信頼度は、時系列の方向変化の分散値が小さいほど高い。

ここで、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。正規化の方法は、特定の方法に限定されない。「Ｖａｒ（Ｘ）」は、時間幅「（－）ｔ」における引数「Ｘ」の分散値を表す。「Ｇ_σ」は、Ｖａｒ（θ^ｎ（ｘ，ｙ，（－）ｔ））を空間的に平滑化する関数を表す。パラメータ「σ」は、空間的な平滑化の強さを表す。パラメータ「γ」は、信頼度を表す。

信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」では、領域でない座標（ｘ，ｙ）における時系列の方向変化「θ^ｎ（ｘ，ｙ，（－）ｔ）」の分散値のみが考慮されている。このため、座標（ｘ，ｙ）の画素のピクセル値に瞬間的なノイズが混入した場合、分散値の推定精度が低下する可能性がある。そこで、信頼度推定部５は、座標（ｘ,ｙ）の画素を含む領域について、式（１４）及び式（１５）のように分散共分散行列を推定する。すなわち、信頼度推定部５は、座標（ｘ,ｙ）の画素を含む領域における方向変化「θ（ｘ，ｙ，ｔ）」の振る舞いに基づいて、信頼度を推定する。

ここで、「（－）ｘ」は、座標（ｘ,ｙ）の画素を含む領域を表す。「ｃｏｖ（Ｘ）」は、行列「Ｘ」の分散共分散行列「Ｄ」を生成する関数（次元を拡張する関数）を表す。「ｄ」は、領域内の画素数（サンプル数）を表す。「ｗ」は、領域の水平方向（ｘ軸方向）の長さを表す。「ｈ」は、領域の垂直方向（ｙ軸方向）の長さを表す。

信頼度推定部５は、分散共分散行列「Ｄ」に対して、固有値分解を実行する。信頼度推定部５は、分散共分散行列「Ｄ」の固有値「λ_１，…，λ_ｄ」の平均「（－）λ」に基づいて、式（１５）に示されたような座標（ｘ，ｙ）を含む領域における微小な位相変化の信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」を、式（１６）のように推定する。信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」は、座標（ｘ，ｙ）を含む領域「Ｓ」における微小な位相変化の信頼度を、０から１までの範囲で表す。

乗算部６は、式（１６）に示された信頼度「ｍａｓｋＳ^ｎ（ｘ，ｙ，ｔ）」と、式（１１）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを、式（１７）のように乗算する。

なお、乗算部６は、画素の座標（ｘ，ｙ）における微小な位相変化の信頼度「ｍａｓｋ^ｎ（ｘ，ｙ，ｔ）」と、式（１１）に示された「Ｃ^ｎ（ｘ，ｙ，ｔ）」とを、乗算してもよい。

乗算によって、ランダムノイズ以外の物理現象によって画像内の画素のピクセル値に生じた微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。乗算部６は、分散値が揃った微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」を検出することができる。

変化量調整部７は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における緩やかで微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」の情報を、意味のある位相変化として、乗算部６から取得する。変化量調整部７は、緩やかで微小な位相変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７は，式（１７）のように高い精度で導出された微小な位相変化に、所定の調整率（強調率）αを、式（１８）のように乗算する。変化量調整部７は、元の位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」と乗算結果とを加算することによって、時系列のエッジ画像内の画素ごとに定まる方向変化において緩やかで微小な位相変化の変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」を、式（１８）のように導出する。

このようにして、変化量調整部７は、検出された微小な位相変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な位相変化が強調される場合、所定の調整率「α」は正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「Φ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、位相変化は調整されない。

画像再構成部８は、変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」に基づいて、緩やかで微小な運動変化の変化量が調整されたｎ番目の解像度の差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、式（１９）のように生成する。すなわち、画像再構成部８は、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、変化量が調整された位相変化「＾Φ^ｎ（ｘ，ｙ，ｔ）」と、振幅変化「Ａ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、式（１９）のように生成する。

画像再構成部８は、色画像を画像入力部２から取得する。画像再構成部８は、式（３）及び式（１９）に基づいて、式（２０）に示された処理を解像度番号「ｎ」に関して逐次的に実行する。画像再構成部８は、「ｎ－１」番目の解像度の調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「＾Ｉ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、「ｎ－１」番目の解像度の輝度画像「＾Ｉ^ｎ－１（ｘ，ｙ，ｔ）」を、式（２０）のように再構成する。

ここで、「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像をｎ番目の解像度に合わせるように拡大する処理（アップサンプリング）を表す。画像再構成部８は、式（２０）に示された処理を「ｎ」に関して逐次的に実行することによって、原解像度（０番目の解像度）の輝度画像を再構成する。画像再構成部８は、再構成された原解像度の輝度画像「＾Ｉ^０（ｘ，ｙ，ｔ）」と、原解像度の色画像とを合成する。画像再構成部８は、合成結果を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識を実行する装置（以下「画像認識装置」という。）、又は、表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

次に、画像処理装置１の動作例を説明する。
図３は、画像処理装置１の動作例を示すフローチャートである。画像入力部２は、動画像の複数のフレームから、輝度画像と色画像とを生成する（ステップＳ１０１）。画像入力部２は、原解像度の輝度画像を、分解変換部３に出力する（ステップＳ１０２）。画像入力部２は、原解像度の色画像を、画像再構成部８に出力する（ステップＳ１０３）。

画像分解部３０は、多重解像度の輝度画像を、原解像度の輝度画像から生成する（ステップＳ１０４）。画像分解部３０は、多重解像度のエッジ画像を、多重解像度の輝度画像から生成する（ステップＳ１０５）。

画像変換部３１は、時刻ｔを含む時間幅のエッジ画像内の画素において方向変化に沿って生じている輝度変化を、同じ方向変化に沿って生じている位相変化及び振幅変化に変換する（ステップＳ１０６）。画像変換部３１は、多重解像度のエッジ画像の位相変化情報と方向変化情報とを、エッジ画像内の画素ごとに変化検出部４に出力する（ステップＳ１０７）。

変化検出部４は、エッジ画像内の画素において方向変化に沿って生じている微小な位相変化を検出する（ステップＳ１０８）。変化検出部４は、微小位相変化情報を、乗算部６に出力する（ステップＳ１０９）。変化検出部４は、方向変化情報を信頼度推定部５に出力する（ステップＳ１１０）。

信頼度推定部５は、方向変化に沿って生じている微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ｍａｓｋＳ^ｎ」を、時系列の方向変化の分散値に基づいて推定する（ステップＳ１１１）。乗算部６は、微小位相変化情報と、推定された信頼度とを乗算する（ステップＳ１１２）。変化量調整部７は、式（１７）のように信頼度が乗算された微小な運動変化の変化量を、式（１８）のように強調又は減弱によって調整する（ステップＳ１１３）。

画像再構成部８は、互いに異なる解像度の複数の調整エッジ画像に基づいて、原解像度の輝度画像を再構成する（ステップＳ１１４）。画像再構成部８は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する（ステップＳ１１５）。

画像変換部３１は、画像処理装置１が処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ１１６）。画像処理装置１が処理を続ける場合（ステップＳ１１６：ＮＯ）、画像処理装置１の各機能部は、ステップＳ１０６に処理を戻す。画像処理装置１が処理を終了する場合（ステップＳ１１６：ＹＥＳ）、画像処理装置１の各機能部は、処理を終了する。

次に、画像の運動変化（位相変化）の変化量が調整された結果の例を説明する。
図４は、動画像のフレームの例を示す図である。図４に示されたフレームには、切り株に斧が降り下ろされた動作（薪割りの動作）が撮像されている。切り株に斧が衝突した時刻以降の時系列のフレームでは、ｙ軸方向に切り株が微小振動する。

図４に示されたフレームは、画素群３２０と、画素３２１とを含む。画素群３２０は、フレーム内の第１部分領域に撮像された切り株画像３１２において垂直方向（ｙ軸方向）に並ぶ画素である。画素３２１は、フレーム内の第２部分領域に撮像された壁の画像に含まれている画素である。

動画像のフレームでは、壁の画像の画素３２１のピクセル値には、ランダムな空間方向の微小な位相変化が、ランダムノイズによって定常的に生じている。切り株に向けてｙ軸方向に斧が降り下ろされた場合、切り株と斧との衝突に起因して、切り株画像３１２の画素群３２０のピクセル値には、主にｙ軸方向の微小な位相変化が、切り株画像３１２の振動によって生じる。

図５、図６及び図７は、図８との比較用の画像である。横軸は時間を表す。縦軸は、図４に示された動画像のフレームにおける画素群３２０の各ピクセル値を表す。

図５は、元画像の画素群３２０のピクセル値の変化の例を示す図である。図５では、微小な運動変化の変化量が調整されていない。このため、切り株と斧とが衝突した時刻「ｔ１」の前後において、画素群３２０の各ピクセル値（運動変化）の変化量が小さい。

図６は、加速度法に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図６では、加速度法に基づいて運動変化の変化量が調整され、加速度に基づいてランダムノイズが拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降（破線に囲まれた領域）において、ピクセル値（運動変化）の変化量が大きい。この場合、拡大（強調）されたランダムノイズによって、動画像の品質が低下する。

図７は、躍度法に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図７では、躍度法に基づいて運動変化の変化量が拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、ピクセル値（運動変化）の変化量が大きい。

図８は、単位時間当たりの方向変化の分散値に基づいて運動変化の変化量が調整された画素群３２０のピクセル値の例を示す図である。図８では、分散値に基づいて運動変化の変化量が拡大されている。このため、切り株と斧とが衝突した時刻「ｔ１」以降において、ピクセル値（運動変化）の変化量が大きい。

図９は、運動変化の変化量が調整されていない元画像の画素３２１のピクセル値と、運動変化の変化量が調整された各画像の画素３２１のピクセル値との例を示す図である。横軸は、フレーム番号（時刻）を表す。縦軸は、ピクセル値を表す。

加速度又は躍度に基づいて調整された画像の画素３２１と、元画像の画素３２１のピクセル値との差は、分散値に基づいて調整された画像の画素３２１と、元画像の画素３２１のピクセル値との差よりも大きい。このように、分散値に基づいて調整された画像では、微小な位相変化の変化量が調整されても、ランダムノイズが拡大又は減弱されることが低減されている。このように、動画像に混入したランダムノイズが拡大又は減弱されることを、分散値に基づいて低減することが可能である。

以上のように、第１実施形態の画像処理装置１は、変化検出部４と、信頼度推定部５とを備える。変化検出部４は、分解変換部３が実行する処理を、分解変換部３の代わりに実行してもよい。変化検出部４は、画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、方向変化（尤もらしい方向）に沿った高周波成分の位相の時間的変動である位相変化とを検出する。変化検出部４は、予め定められた変化量の微小な位相変化を検出してもよい。信頼度推定部５は、検出された位相変化がノイズに起因する変化ではないことを表す信頼度「ｍａｓｋＳ^ｎ」を、単位時間当たりの方向変化の分散値に基づいて推定する。信頼度推定部５は、信頼度「ｍａｓｋ^ｎ」を、単位時間当たりの方向変化の分散値に基づいて推定してもよい。

これによって、動画像の微小な運動変化の変化量を画像処理装置が調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

第１実施形態の信頼度推定部５は、検出された位相変化を示す画素における、方向変化の分散値に基づいて、検出された位相変化の信頼度を推定してもよい。信頼度は、方向変化の分散値が小さいほど高い値となる。信頼度推定部５は、エッジ画像の画素を含む領域における位相変化に基づいて、画素ごとに信頼度を推定してもよい。

（第２実施形態）
第２実施形態では、色又は輝度の微小変化の変化量を画像処理装置が調整する場合に、動画像に混入したランダムノイズが調整されることを低減する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

図１０は、画像処理装置１ａの構成例（第１の組み合わせ）を示す図である。画像処理装置１ａは、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの画像処理である。

画像処理装置１ａは、画像入力部２ａと、分解変換部３ａと、変化検出部４ａと、信頼度推定部５ａと、乗算部６ａと、変化量調整部７ａと、画像再構成部８ａとを備える。

第２実施形態では、画像処理装置１ａは、第１の画像処理及び第２の画像処理を逐次実行する。すなわち、画像処理装置１ａは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行する。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

第１の画像処理では、画像処理装置１ａの各機能部は、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。すなわち、画像処理装置１ａは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。

画像処理装置１ａは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。第２の画像処理では、位相変化の調整率「α」は０である。例えば、画像処理装置１ａは、動画像内の選択された画素値を強調又は減弱することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。ここで、選択された画素値とは、予め処理対象として選択される色又は輝度の画素値であって、例えばＲの画素値、Ｇの画素値、Ｂの画素値、Ｙの画素値、Ｅの画素値、Ｑの画素値のいずれかの画素値である。Ｙ、Ｅ、Ｑの画素値は、ＲＧＢから変換された明度を表す値である。

次に、色もしくは輝度の微小変化を強調又は減弱する処理について説明する。
図１１は、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部の構成例を示す図である。図１０に示された分解変換部３ａは、画像分解部３０ａを備える。画像処理装置１ａは、画像入力部２ａと、画像分解部３０ａと、変化検出部４ａと、信頼度推定部５ａと、乗算部６ａと、変化量調整部７ａと、画像再構成部８ａとを、被写体の特定の微小な色又は輝度変化を強調又は減弱する各機能部として備える。

画像入力部２ａは、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報を入力とする。又は、画像入力部２ａは、動画像のフレームを任意の輝度空間もしくは色空間に変換した後の色画像又は輝度画像を入力とする。画像入力部２ａは、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３０ａに出力する。以下の説明では、原解像度の色画像が入力された場合を例に説明する。なお、色画像の代わりに輝度画像が入力された場合も処理は、色画像が入力された場合と同様である。

画像分解部３０ａは、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力とする。画像分解部３０ａは、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された選択された色の情報を、互いに異なる解像度に分解する。具体的には、画像分解部３０ａは、入力した原解像度の色画像のうち、選択された選択された色の情報に対してガウシアンフィルタを畳み込んでからダウンサンプリングする処理を複数回繰り返すことで、入力された原解像度の色画像を複数の解像度に分解する。ダウンサンプリングとは、ダウンサンプル量に基づいて解像度を縮小する処理である。ダウンサンプリング量は、１より小さい（例１／２）値である。画像分解部３０ａは、互いに異なる解像度の色画像を、変化検出部４に出力する。

図１２は、動画像のフレーム内の画素の例を示す図である。以下では、動画像のフレームには、水平方向のｘ座標と、垂直方向のｙ座標とが定められている。図１２に示されたフレームには、３個の電球が点灯されている様子が撮像されている。図１２に示されたフレームは、画素４１０と、画素４１１と、電球画像４１２とを含む。画素４１０は、フレームの第３部分領域に撮像された背景の画像に含まれている画素である。画素４１１は、フレームの第４部分領域に撮像された電球画像４１２に含まれている画素である。

図１３は、微小な色又は輝度変化の等方性拡散を示す図である。図１３において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図１３に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のない微小な色又は輝度の変化は、図１３に示された例のように、等方性拡散となる。

図１４は、微小な色又は輝度変化の異方性拡散を示す図である。図１４において、縦軸はフレーム内のある画素ｘ１の色又は輝度の変化を表し、横軸はフレーム内のある画素ｘ２の色又は輝度の変化を表す。図１４に示された微小な色又は輝度の変化は、色画像又は輝度画像の時系列の微小な色又は輝度の変化である。意味のある微小な色又は輝度の変化は異方性拡散となる。意味のある微小な色又は輝度変化の変化量は、特定の方向に時間分布が偏るように変化する。

図１１に戻り、画像処理装置１ａの構成例の説明を続ける。変化検出部４ａは、画像分解部３０ａから出力された各解像度の色画像を入力とする。変化検出部４ａは、入力した各解像度の色画像に基づいて、各解像度の色画像における色の微小変化を検出する。変化検出部４ａは、検出した色画像又は輝度画像における色又は輝度の微小な変化を表す情報（以下「色又は輝度変化情報」という。）を、解像度毎に信頼度推定部５ａ及び乗算部６ａに出力する。

信頼度推定部５ａは、色又は輝度変化情報を入力とする。信頼度推定部５ａは、入力した色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。微小な色又は輝度変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化であることの信頼度である。信頼度推定部５ａは、撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な色又は輝度変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化の信頼度よりも低くなるように、信頼度を推定する。信頼度推定部５ａは、推定した信頼度を、乗算部６ａに出力する。信頼度推定部５ａは、推定した信頼度を、乗算部６ａに出力する。信頼度推定部５ａが推定する信頼度は、微小な色又は輝度変化の時間分布が異方性を示すほど高い値となる。言い換えると、信頼度は、拡散結果が異方性を示すほど高い値となる。

乗算部６ａは、色又は輝度変化情報と、信頼度とを入力とする。乗算部６ａは、入力した色又は輝度変化情報と、信頼度とを、画素ごとに乗算し、乗算した結果（乗算結果）を変化量調整部７ａに出力する。乗算部６ａが色又は輝度変化情報と、信頼度とを乗算することによって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｃ^ｎ（ｘ，ｙ，ｔ，θ）」が、高精度に検出される。

変化量調整部７ａは、乗算部６ａが出力した乗算結果（信頼度が乗算された色又は輝度変化）を入力とする。変化量調整部７ａは、入力した乗算部６ａによる乗算結果に対して、ビデオ・マグニフィケーションを実行する。すなわち、変化量調整部７ａは、信頼度が乗算された微小な色又は輝度変化の変化量を、強調又は減弱によって調整する。これによって、変化量調整部７ａは、微小な色又は輝度変化の変化量が調整された画像（以下「調整画像」という。）を解像度毎に生成する。変化量調整部７ａは、互いに異なる解像度の複数の調整画像を、画像再構成部８に出力する。

画像再構成部８ａ（画像合成部）は、互いに異なる解像度の複数の調整画像を入力とする。画像再構成部８ａ（画像合成部）は、入力した調整画像に基づいて画像を再構成する。具体的には、画像再構成部８ａは、互いに異なる解像度の複数の調整画像のサイズを同様のサイズに調整し、足し合わせることで微小な色又は輝度変化が強調された画像を再構成する。なお、画像再構成部８ａは、色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得る。画像再構成部８ａは、合成後の画像を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識装置、又は、表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

次に、画像処理装置１ａの詳細を説明する。画像入力部２ａは、画像処理の対象となる動画像の複数のフレームと、処理対象として選択された色又は輝度の情報とを取得する。画像入力部２ａは、画像処理の対象となる原解像度の色画像又は輝度画像と、選択された色又は輝度の情報とを画像分解部３０ａに出力する。

画像分解部３０ａは、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された選択された色の情報の色画像を、互いに異なる解像度に分解する。画像分解部３０ａは、互いに異なる解像度の色画像を変化検出部４ａに出力する。

変化検出部４ａは、各解像度の色画像における色画像における色の微小変化を検出する。なお、変化検出部４ａは、各解像度の輝度画像が入力された場合には、各解像度の輝度画像における輝度の微小変化を検出する。変化検出部４ａは、画像分解部３０ａにおいて求められる各解像度の映像における色又は輝度変化「Ｉ^ｎ（ｘ,ｙ,ｔ））」に対して、強調したい微小変化の周波数応答を持つ時系列フィルタ「Ｈ（ｔ）」を畳み込んだり、大きい変化を除去するための時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算することで、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を以下の式（２１）のように検出する。なお、変化検出部４ａは、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を乗算しなくてもよい。すなわち、変化検出部４ａは、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を検出する際に、時空間フィルタ「Ｊ（ｘ,ｙ,ｔ）」を用いなくてもよい。

式（２１）において、演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子を表しており，演算子「〇」は、乗算（要素積）を表す。なお、Ｈ（ｔ）はバンドパスフィルタを表し、「Ｊ（ｘ,ｙ,ｔ）」は急峻な変化のみを除去することを目的とした躍度フィルタといったものが代表的な例として挙げられる。変化検出部４ａが用いるフィルタは、これらに限定されない。

変化検出部４ａによって求められた微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」は自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化と、撮像素子の熱雑音等に起因して画像に混入したランダムノイズのように撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化が以下の式（２２）のように共存している。撮像過程で混入するノイズは、例えば熱雑音、手振れ、地面の振動等である。

式（２２）の、「＾Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のある」微小な色又は輝度変化を表し、「～Ｂ^ｎ（ｘ,ｙ,ｔ）」は「意味のない」微小な色又は輝度変化を表している。

信頼度推定部５ａは、変化検出部ａ４によって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」を利用して、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度を推定する。具体的には、信頼度推定部５ａは、変化検出部４によって求められる微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の時間的な振る舞い（時間分布）を評価することで微小な色又は輝度変化の信頼度を推定する。変化検出部４ａから出力される微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」に対して、ある場所（ｘ,ｙ）を中心とした映像領域（－）ｘ∈Ｒ^{（ｈ×ｗ）}＝Ｒ^ｄとある時間ｔを中心とした時間幅「（－）ｔ」を考えると、微小な色又は輝度変化「Ｂ^ｎ（（－）ｘ,（－）ｔ）」に関する拡散方程式は以下の式（２３）のように定式化することができる。

式（２３）において「ｆ（Ｂ^ｎ（（－）ｘ,（－）ｔ））」は微小な色又は輝度変化の時間分布を表しており、「Ｄ」は時間幅「（－）ｔ」における拡散テンソル行列を表す。上記式（２３）から、拡散テンソル行列は以下の式（２４）のように得ることができる。

式（２４）において、「ｃｏｖ（Ｘ）」はＸ行列の分散共分散行列を計算することを意味する。その後、信頼度推定部５ａは、「Ｄ」に対して固有値分解を行い、微小な色又は輝度変化の時間分布に関する特徴量であるFractional Anisotropy（以下「ＦＡ」という。）を以下の式（２５）から得る。

式５において、（λ_１,…,λ_ｄ）は「Ｄ」の固有値であり、「（－）λ」はその平均であり、「ｄ」は処理対象となる画素の数を表す。ここで、処理対象となる画素の数「ｄ」は、調整を行いたい画素の数である。「ＦＡ」は、時間分布が異方性を示す際には「１」を、時間分布が等方性を示す場合に「０」を取る特徴量である。自然現象や物理現象によって生じる「意味のある」微小な色又は輝度変化はある特定の方向に時間分布が偏っており、異方性が高い。そのため、「意味のある」微小な色又は輝度変化はＦＡ値が「１」に近い値を示す。一方で、撮像過程で混入するノイズ由来の「意味のない」微小な色又は輝度変化はランダムな方向に時間分布が拡散しており異方性が低く、等方性が高い。そのため、「意味のない」微小な色又は輝度変化はＦＡ値が「０」に近い値を示す。したがって、信頼度推定部５ａは、ＦＡを用いて、微小な色又は輝度変化の信頼度を以下の式（２６）に基づいて推定する。

式（２６）において、「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は微小な色又は輝度変化の信頼度を表す時空間フィルタであり、「Ｇ_σ」は「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を空間的に平滑化する関数であり、パラメータ「σ」は平滑化の強さを表すパラメータである。また、「Ｎｏｒｍ（Ｘ）」は、引数「Ｘ」の値を０から１までの範囲に正規化することを表す。なお、パラメータ「Ｇ_σ」の空間平滑化の方法や、正規化の方法は、特定の方法に限定されない。信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」は、座標（ｘ，ｙ）を含む領域における微小な色又は輝度変化の信頼度を、０から１までの範囲で表す。微小な色又は輝度変化の信頼度は、値が大きくなるほど信頼度は高い。

乗算部６ａは、色又は輝度変化情報と、信頼度推定部５ａによって推定された信頼度とを、画素ごとに乗算する。より具体的には、乗算部６ａは、式（２６）に示された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」と、式（２１）に示された「Ｂ^ｎ（ｘ，ｙ，ｔ）」とを以下の式（２７）のように乗算する。

式（２７）によって、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」が、高精度に検出される。

変化量調整部７ａは、式（２７）によって求められた微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に対して、色又は輝度の調整率（強調率）「α」を乗算する。すなわち、変化量調整部７ａは、式（２７）のように高い精度で導出された微小な色又は輝度変化「＾Ｂ^ｎ（ｘ，ｙ，ｔ）」に、色又は輝度の調整率（強調率）「α」を、以下の式（２８）のように乗算する。変化量調整部７ａは、元の色又は輝度の変化元の色又は輝度の変化「Ｉ^ｎ（ｘ,ｙ,ｔ）」と乗算結果とを加算することによって、緩やかで微小な色又は輝度の変化の変化量が調整（例えば、強調又は減弱）された色又は輝度の変化「＾Ｉ^ｎ（ｘ,ｙ,ｔ）」を式（２８）のように導出する。

このようにして、変化量調整部７ａは、検出された微小な色又は輝度の変化の変化量を調整する。なお、調整率は、解像度、方向、時刻又は位置ごとに同じでもよいし、異なっていてもよい。

微小な色又は輝度が強調される場合、所定の調整率「α」は、０より大きい正の値とされる。微小な色又は輝度が減弱される場合、所定の調整率「α」は、０より小さい負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な色又は輝度が減弱される場合、元の微小な色又は輝度変化「Ｉ^ｎ（ｘ，ｙ，ｔ）」の値が０となる場合における所定の調整率「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な色又は輝度変化は調整されない。

画像再構成部８ａ（画像合成部）は、画像を再構成する。画像再構成部８ａは、解像度毎に式（２８）を求め、アップサンプリングを行いながら解像度方向に足し合わせることによって、「意味のある」微小な色又は輝度変化のみが強調された色又は輝度情報に変換して、原解像度の画像を再構成する。画像再構成部８ａは、もし色空間や輝度空間への変換を行っていた場合、それらの逆変換を行うことで最終的な映像出力を得ることができる。

画像再構成部８ａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ａは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

次に、画像処理装置１ａの動作例を説明する。
図１５は、画像処理装置１ａの動作例を示すフローチャートである。なお、図１５では、画像入力部２ａに画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する場合を例に説明する。画像入力部２ａに画像処理の対象となる原解像度の輝度画像と、選択された輝度の情報とを入力する場合には、図１５における処理において、原解像度の色画像を原解像度の輝度画像、色の情報を輝度の情報と読み替えればよい。

画像入力部２ａは、画像処理の対象となる原解像度の色画像と、選択された色の情報とを入力する（ステップＳ２０１）。画像入力部２ａは、原解像度の色画像と、選択された色の情報とを画像分解部３０ａに出力する。分解変換部３は、入力した動画像の時刻ｔの原解像度の色画像のうち、選択された選択された色の情報の色画像を、互いに異なる解像度に分解する（ステップＳ２０２）。画像分解部３０ａは、各解像度の色画像を変化検出部４ａに出力する。

変化検出部４ａは、画像分解部３０ａから出力された色画像に基づいて、各解像度の色画像における色の微小変化を検出する（ステップＳ２０３）。変化検出部４ａは、各解像度の検出した色の微小変化を色又は輝度変化情報として信頼度推定部５ａ及び乗算部６ａに出力する。

信頼度推定部５ａは、変化検出部４から出力された色又は輝度変化情報に基づいて、微小な色又は輝度変化「Ｂ^ｎ（ｘ,ｙ,ｔ）」の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する（ステップＳ２０４）。信頼度推定部５ａは、推定した信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を乗算部６ａに出力する。

乗算部６ａは、変化検出部４ａから出力された色又は輝度変化情報と、信頼度推定部５ａから出力された信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」とを乗算する（ステップＳ２０５）。乗算部６ａは、乗算結果を変化量調整部７に出力する。変化量調整部７ａは、乗算部６ａから出力された乗算結果を用いて、信頼度が乗算された微小な色又は輝度の変化の変化量を強調又は減弱によって調整する（ステップＳ２０６）。変化量調整部７ａは、微小な色又は輝度の変化の変化量の情報を画像再構成部８ａに出力する。画像再構成部８は、互いに異なる解像度の複数の調整画像に基づいて、原解像度の色画像を再構成する（ステップＳ２０７）。

画像分解部３０ａは、画像処理装置１ａが処理を終了するか否かを、例えばユーザから得られた命令に基づいて判定する（ステップＳ２０８）。画像処理装置１ａが処理を続ける場合（ステップＳ２０８：ＮＯ）、画像処理装置１ａの各機能部は、ステップＳ２０２に処理を戻す。画像処理装置１ａが処理を終了する場合（ステップＳ２０８：ＹＥＳ）、画像処理装置１ａの各機能部は、処理を終了する。

以上のように、第２実施形態の画像処理装置１ａは、変化検出部４ａと、信頼度推定部５ａとを備える。変化検出部４ａは、複数の解像度の色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を検出する。信頼度推定部５ａは、色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された色又は輝度変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。

これによって、画像処理装置１ａは、検出した映像内の微小変化のうち「意味のある」微小な色又は輝度変化をより精度よく検出することができる。したがって、「意味のある」微小な色又は輝度変化の変化量を調整することができる。そのため、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

（第３実施形態）
第３実施形態では、位相変化（運動変化）の変化量を画像処理装置が調整する処理と、色又は輝度の微小変化の変化量を画像処理装置が調整する処理とが並列に実行される点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点を説明する。

図１６は、画像処理装置１ｂの構成例（第２の組み合わせ）を示す図である。画像処理装置１ｂは、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの画像処理である。

画像処理装置１ｂは、画像入力部２ｂと、分解変換部３と、変化検出部４と、信頼度推定部５と、乗算部６と、変化量調整部７と、画像再構成部８ｂとを備える。画像処理装置１ｂは、画像分解部３０ｂと、変化検出部４ｂと、信頼度推定部５ｂと、乗算部６ｂと、変化量調整部７ｂとを、更に備える。

第３実施形態では、画像処理装置１ｂは、第１の画像処理及び第２の画像処理を並列に実行する。画像処理装置１ｂは、動画像に対して第１の画像処理を実行することによって、被写体の微小な運動変化を強調又は減弱する。第１の画像処理では、画像入力部２ｂと分解変換部３と変化検出部４と信頼度推定部５と乗算部６と変化量調整部７と画像再構成部８ｂとは、第１実施形態の画像処理装置１の各機能部と同様の処理を実行する。

画像処理装置１ｂは、動画像に対して第２の画像処理を実行することによって、被写体の特定の微小な色又は輝度変化を強調又は減弱する。第２の画像処理では、画像入力部２ｂと画像分解部３０ｂと変化検出部４ｂと信頼度推定部５ｂと乗算部６ｂと変化量調整部７ｂと画像再構成部８ｂとは、第２実施形態の画像入力部２ａと画像分解部３０ａと変化検出部４ａと信頼度推定部５ａと乗算部６ａと変化量調整部７ａと画像再構成部８ａと同様の処理を実行する。

画像再構成部８ｂは、互いに異なる解像度の複数の調整エッジ画像を、変化量調整部７から取得する。画像再構成部８は、互いに異なる解像度の複数の調整エッジ画像を合成することによって、原解像度の輝度画像を再構成する。画像再構成部８ｂは、原解像度の色画像を、画像入力部２から取得してもよい。画像再構成部８ｂは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成してもよい。

画像再構成部８ｂは、色又は輝度変化が強調された原解像度の画像を、変化量調整部７ｂから取得する。画像再構成部８ｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像とを合成する。例えば、画像再構成部８ｂは、色又は輝度変化が強調された原解像度の画像と、再構成された原解像度の輝度画像との平均画像を生成する。

なお、第３実施形態の画像処理装置１ｂは、第２実施形態のように、第１の画像処理及び第２の画像処理を逐次実行してもよい。すなわち、画像処理装置１ｂは、動画像に対して第１の画像処理を実行し、更に、動画像に対して第２の画像処理を実行してもよい。第１の画像処理と第２の画像処理との実行順は、逆でもよい。

以上のように、第３実施形態の画像処理装置１ｂは、変化検出部４ｂと、信頼度推定部５ｂとを備える。変化検出部４ｂは、複数の解像度の色又は輝度画像における色又は輝度の変化のうち、予め定められた色又は輝度変化を検出する。信頼度推定部５ｂは、色又は輝度画像内における時系列の色又は輝度変化に基づいて、検出された色又は輝度変化の信頼度「ＦＡＦ_σ,γ ^ｎ（ｘ,ｙ,ｔ）」を推定する。

これによって、画像処理装置１ｂは、検出した映像内の微小変化のうち「意味のある」微小な色又は輝度変化をより精度よく検出することができる。したがって、「意味のある」微小な色又は輝度変化の変化量を調整することができる。そのため、動画像の微小な色又は輝度変化の変化量を調整する場合に、動画像に混入したランダムノイズが調整されることを低減することが可能である。

（第４実施形態）
第４実施形態では、位相変化の変化量を調整する処理を、エッジ画像の部分領域に対して画像処理装置が実行する点が、第１実施形態から第３実施形態までと相違する。第４実施形態では、第１実施形態から第３実施形態までとの相違点を説明する。

図１７は、画像処理装置１ｃの構成例を示す図である。画像処理装置１ｃは、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの処理である。

画像処理装置１ｃは、画像入力部２ｃと、分解変換部３ｃと、画像調整部１００と、画像再構成部８ｃとを備える。分解変換部３ｃは、画像分解部３０ｃと、画像変換部３１ｃとを備える。分解変換部３ｃが画像変換部３１ｃを備える代わりに、画像調整部１００が分解変換部３ｃを備えてもよい。これらの機能部は、単体の装置、例えば制御装置として設けられてもよい。

画像入力部２ｃは、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２ｃは、動画像の複数のフレームから、輝度画像と色画像とを生成する。画像入力部２ｃは、原解像度の輝度画像を、画像分解部３０ｃに出力する。画像入力部２ｃは、原解像度の色画像を、画像再構成部８ｃに出力する。

画像分解部３０ｃは、互いに異なる解像度のエッジ画像を生成する。例えば、画像分解部３０ｃ（差分画像生成部）は、互いに異なる解像度のうちの所定の解像度の輝度画像同士の差分に基づく画像（以下「多重解像度の差分画像」という。）を、互いに異なる解像度のエッジ画像として生成する。画像分解部３０ｃは、原解像度の輝度画像を、画像入力部２ｃから取得する。画像分解部３０ｃは、互いに異なる解像度の輝度画像（多重解像度の輝度画像）を、原解像度の輝度画像から生成する。画像分解部３０ｃは、多重解像度の差分画像を生成する。画像分解部３０ｃは、多重解像度の差分画像（解像度方向の差分画像）を、解像度ごとに画像調整部１００に出力する。

画像調整部１００は、画像処理の対象となる動画像の微小な運動変化等の変化量を強調又は減弱によって調整する。画像調整部１００は、多重解像度の差分画像を、画像分解部３０ｃから取得する。画像調整部１００は、多重解像度の差分画像に対して、ビデオ・マグニフィケーションを実行する。画像調整部１００は、ビデオ・マグニフィケーションを実行することによって、動画像のフレームにおける微小な運動変化の変化量が強調又は減弱によって調整された輝度画像同士の差分画像（以下「調整差分画像」という。）を生成する。画像調整部１００は、互いに異なる解像度の複数の調整差分画像を、画像再構成部８ｃに出力する。

画像調整部１００は、変化検出部４ｃと、信頼度推定部５ｃと、乗算部６ｃと、変化量調整部７ｃと、調整画像生成部９ｃと、領域決定部１０ｃとを備える。画像調整部１００は、画像変換部３１ｃを備えてもよい。

画像再構成部８ｃ（画像合成部）は、画像を再構成する。画像再構成部８ｃは、互いに異なる解像度の複数の調整差分画像を、画像調整部１００から取得する。画像再構成部８ｃは、互いに異なる解像度の複数の調整差分画像に基づいて、原解像度の輝度画像を再構成する。画像再構成部８ｃは、原解像度の色画像を、画像入力部２ｃから取得する。画像再構成部８ｃは、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部８ｃは、合成結果を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

次に、画像処理装置１ｃの詳細を説明する。
画像入力部２ｃは、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２ｃは、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２ｃは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、画像分解部３０ｃに出力する。画像入力部２ｃは、原解像度の色画像を、画像再構成部８ｃに出力する。

画像分解部３０ｃは、動画像の複数のフレームの輝度画像を、画像入力部２ｃから取得する。画像分解部３０ｃは、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、式（１）のように０番目の解像度（最も高い解像度）の輝度画像「Ｉ^０（ｘ，ｙ，ｔ）」とする。

画像分解部３０ｃは、複数の解像度の輝度画像に対して、空間周波数の帯域を分割する処理（帯域分割処理）を実行する。すなわち、画像分解部３０ｃは、複数の解像度の輝度画像に対して、エッジ検出処理を実行する。これによって、画像分解部３０ｃは、複数の解像度の輝度画像のエッジ画像（帯域分割画像）を生成する。エッジ画像を生成する方法は、特定の方法に限定されない。例えば、画像分解部３０ｃは、微分フィルタ又はハイパスフィルタ等の帯域分割フィルタ（エッジフィルタ）を輝度画像に対して用いて、エッジ画像を生成する。例えば、画像分解部３０ｃは、輝度画像に対してウェーブレット変換（オクターブ分割）を実行することによって、エッジ画像を生成してもよい。以下では、画像分解部３０ｃは、エッジ画像の一例として差分画像を生成する。画像分解部３０ｃは、以下のようにダウンサンプリングとガウシアンフィルタとを用いて、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。

画像分解部３０ｃは、（ｎ－１）番目の予め定められた解像度の輝度画像「Ｉ^ｎ－１（ｘ，ｙ，ｔ）」に対して、ダウンサンプリングを実行する。解像度の段階数は、３段階以上であり、例えば８段階である。画像分解部３０ｃは、解像度の段階数が８段階と定められている場合、原解像度の輝度画像に対して７回のダウンサンプリングを実行する。

画像分解部３０ｃは、ダウンサンプリングの結果に対して、ガウシアンフィルタ「Ｇ_σ（ｘ，ｙ）」を畳み込む。輝度画像の解像度の段階数は、ガウシアンフィルタのフィルタサイズに応じて定められる。すなわち、輝度画像に定められるブロックの最小サイズは、ガウシアンフィルタのフィルタサイズに応じて定められる。画像分解部３０ｃは、式（２）に示された演算を１番目からｎ番目までの解像度の輝度画像に対して繰り返すことによって、多重解像度の輝度画像（「Ｉ^０（ｘ，ｙ，ｔ）」，…，「Ｉ^ｎ（ｘ，ｙ，ｔ）」）を生成する。

式（２）の右辺は、「Ｇ_σ（ｘ，ｙ）」と「ｄｏｗｎｓａｍｐｌｅ（Ｉ^ｎ－１（ｘ，ｙ，ｚ））」との畳み込み演算を表す。画像分解部３０ｃは、縮小する処理が実行された輝度画像に対して、所定の補間処理を実行してもよい。「Ｇ_σ（ｘ，ｙ）」は、分散「σ^２」の２次元のガウシアンフィルタを表す。「ｄｏｗｎｓａｍｐｌｅ（Ｚ）」は、解像度「Ｚ」の画像をダウンサンプル量に基づいて縮小する処理（ダウンサンプリング）を表す。ダウンサンプル量は、分数であり、例えば２分の１である。以下、「ｎ」は、０以上Ｎ以下の整数である。「Ｎ」は、予め定められた２以上の整数である。

画像分解部３０ｃは、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」に対してアップサンプリングを実行する。これによって、画像分解部３０ｃは、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」の解像度を、ｎ番目の予め定められた解像度に揃える。すなわち、画像分解部３０ｃは、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」を、（ｎ（＝ｎ＋１－１））番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」にする。「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像を拡大する処理（アップサンプリング）を表す。

式（２）に示されたｎ番目の解像度の輝度画像「Ｉ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」との差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」（解像度方向の差分画像）は、式（３）のように表される。

画像調整部１００の各機能部は、ｎ番目（０≦ｎ＜Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の画像処理を実行する。

画像変換部３１ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を、画像分解部３０ｃから取得する。画像変換部３１ｃは、ｎ番目の解像度の差分画像の部分領域（Ｘ，Ｙ）の情報（領域情報）を、領域決定部１０ｃから取得する。低い解像度から高い解像度の順に差分画像が処理対象とされるので、「ｎ＝Ｎ（ｎ＞０）」において、部分領域（Ｘ，Ｙ）の情報（領域情報）の初期値が必要とされる。部分領域の手掛かりが画像変換部３１ｃに与えられていないので、「ｎ＝Ｎ（ｎ＞０）」番目の解像度の差分画像の部分領域（Ｘ，Ｙ）の情報の初期値は、差分画像の全領域（ｘ,ｙ）を表す値である。画像変換部３１ｃは、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた処理領域（Ｘ，Ｙ）における輝度変化を、特定の空間方向における輝度情報の位相変化及び振幅変化に変換する。

画像変換部３１ｃは、例えば、低い（粗い）解像度から高い（細かい）解像度の順に、差分画像における時間方向の位相変化を検出する。すなわち、画像変換部３１ｃは、低い解像度の差分画像において時間方向の位相変化を検出する処理を、高い解像度の差分画像において位相変化を検出する処理をよりも先に実行する。

画像変換部３１ｃが輝度変化を位相変化及び振幅変化に変換する方法は、特定の方法に限定されない。以下では、画像変換部３１ｃは、一例としてリース変換によって、輝度変化を位相変化及び振幅変化に変換する。

画像変換部３１ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた領域「Ｌ^ｎ（Ｘ，Ｙ，ｔ）」に対して、例えば、フーリエ変換「ｆｆｔ」と逆フーリエ変換「ｉｆｆｔ」とを実行する。すなわち、画像変換部３１ｃは、領域「Ｌ^ｎ（Ｘ，Ｙ，ｔ）」に対して式（２９）から式（３４）までのようにリース変換を実行する。

式（２９）から式（３１）までにおいて、式（３２）から式（３４）までの関係式が成立している。

ここで、「Φ^ｎ（Ｘ，Ｙ，ｔ）」は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における、方向変化「θ^ｎ（ｘ，ｙ，ｔ）」に沿って生じている位相変化を表す。「θ^ｎ（Ｘ，Ｙ，ｔ）」は、位相変化が生じている方向変化を表す。「Ａ^ｎ（Ｘ，Ｙ，ｔ）」は、振幅変化を表す。ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」は、式（３５）のように表される。

画像変換部３１ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化検出部４ｃに出力する。

変化検出部４ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、画像変換部３１ｃから取得する。変化検出部４ｃは、位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」に、時系列フィルタ「Ｈ（ｔ）」を畳み込む。これによって、変化検出部４ｃは、位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の微小変化を検出する。時系列フィルタ「Ｈ（ｔ）」は、調整対象（強調又は減弱の対象）とされた所定の変化量の位相変化（例えば、微小な位相変化）に対して周波数応答を持つ時系列フィルタであれば、特定のフィルタに限定されない。時系列フィルタ「Ｈ（ｔ）」は、例えば、バンドパスフィルタ（非特許文献１参照）である。

変化検出部４ｃは、所定の変化量の位相変化（例えば、微小な位相変化）に対して、時空間フィルタ「Ｊ（ｘ，ｙ，ｔ）」を乗算する。これによって、変化検出部４ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における時間及び空間について急峻な位相変化（緩やかでない位相変化）を除去することができる。

時空間フィルタ「Ｊ（Ｘ、Ｙ、ｔ）」は、急峻な位相変化を除去する時空間フィルタであれば、特定のフィルタに限定されない。時空間フィルタ「Ｊ（Ｘ、Ｙ、ｔ）」は、例えば、躍度フィルタ（非特許文献２参照）である。例えば、変化検出部４ｃは、微小な変化を三次微分して、微小ではない急峻な変化を検出及び正規化する。検出及び正規化の結果は、微小な変化が現れるときには０であり、急峻な変化が現れるときには１である。したがって、検出及び正規化の結果の逆は、微小な変化が現れるときには１であり、急峻な変化が現れるときには０である。変化検出部４ｃは、検出及び正規化の結果の逆を、躍度フィルタとする。

すなわち、変化検出部４ｃは、三次微分と正規化と反転との順で、位相変化に対して演算を実行する。これによって、変化検出部４ｃは、微小ではない急峻な位相変化のみを除去する躍度フィルタを生成することができる。変化検出部４ｃは、元の位相変化に躍度フィルタを乗算する。

換言すれば、変化検出部４ｃは、位相変化に対して、三次微分と正規化の演算とを実行する。これによって、変化検出部４ｃは、微小な位相変化が差分画像に現れるときには、０の値を持つ演算結果を得る。変化検出部４ｃは、急峻な位相変化が差分画像に現れるときには、１の値を持つ演算結果を得る。

変化検出部４ｃは、演算結果を反転することによって、躍度フィルタを生成する。躍度フィルタは、微小な位相変化が差分画像に現れるときには、１の値のフィルタ応答を持つ。躍度フィルタは、急峻な位相変化が差分画像に現れるときには、０の値のフィルタ応答を持つ。変化検出部４ｃは、元の位相変化に躍度フィルタを乗算する。微小な位相変化が差分画像に現れる場合、元の位相変化に１の値が乗算されるので、変化検出部４ｃは、微小な位相変化のみを検出することができる。急峻な位相変化が差分画像に現れる場合、元の位相変化に０の値が乗算されるので、変化検出部４ｃは、急峻な位相変化を抑制することができる。

変化検出部４ｃは、多重解像度のエッジ画像の位相変化情報と方向変化情報とを入力としてもよい。時刻「ｔ」を中心とした時間幅「（－）ｔ」（例えば、単位時間当たり）の各エッジ画像について、変化検出部４ｃは、方向変化情報「θ^ｎ（ｘ，ｙ，ｔ)」を、信頼度推定部５ｃに出力する。

時刻「ｔ」を中心とした時間幅「（－）ｔ」の各エッジ画像について、変化検出部４は、多重解像度のエッジ画像内の画素における、方向変化に沿った微小な位相変化を検出する。変化検出部４ｃは、多重解像度のエッジ画像内の画素における微小位相変化情報を、乗算部６ｃに出力する。

信頼度推定部５ｃは、時間幅「（－）ｔ」の方向変化情報を入力とする。信頼度推定部５ｃは、微小な位相変化「Ｃ^ｎ（ｘ，ｙ，ｔ）」の信頼度「ｍａｓｋＳ^ｎ」を、方向変化情報に基づいて推定する。微小な位相変化の信頼度とは、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化であることの信頼度である。撮像素子の熱雑音等に起因して画像に混入したランダムノイズによって画像のピクセル値に生じた微小な位相変化の信頼度が、ランダムノイズ以外の物理現象によって画像のピクセル値に生じた微小な位相変化の信頼度よりも低くなるように、信頼度推定部５ｃは信頼度を推定する。信頼度推定部５は、例えば、推定された信頼度「ｍａｓｋＳ^ｎ」を、乗算部６ｃに出力する。

乗算部６ｃは、微小位相変化情報と、信頼度とを入力とする。乗算部ｃ６は、微小位相変化情報（微小な位相変化を表す値）と、信頼度推定部５ｃによって推定された信頼度とを、エッジ画像内の画素ごとに乗算し、乗算された結果を変化量調整部７ｃに出力する。

緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」は、式（３６）のように表される。式（３６）に示された演算子「〇」は、乗算（要素積）を表す。

変化量調整部７ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化検出部４ｃから取得する。変化量調整部７ｃは、緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。

微小な位相変化が強調される場合、所定の調整率「α」は、正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は、負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の値が０となる場合における「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な位相変化は調整されない。

以下では、例えば、式（３７）において文字「Φ」の上に付されている記号「＾」は、文字「Φ」の直前に記載される。変化量調整部７ｃは、元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」を式（３７）のように導出する。このようにして、変化量調整部７ｃは、検出された微小な位相変化の変化量を調整する。

ここで、部分領域（Ｘ，Ｙ）以外の領域における位相変化の変化量が調整（α倍）されずに、部分領域（Ｘ，Ｙ）における位相変化の変化量が調整されている。このため、部分領域（Ｘ，Ｙ）以外の領域と部分領域（Ｘ，Ｙ）との境界面における位相変化が整合していないために、差分画像にブロックノイズが発生する場合がある。そこで、調整率「α」が部分領域（Ｘ，Ｙ）ごとに調整可能となるように、式（３７）は式（３８）のように拡張される。

部分領域ごとの調整率「α（Ｘ，Ｙ）」の値の決定方法は、特定の方法に限定されない。部分領域ごとの調整率「α（Ｘ，Ｙ）」の値の決定方法は、例えば、式（３７）と同様に一様な重みが与えられる方法でもよいし、任意の重みが事前に与えられる方法でもよいし、ガウス関数等に基づいて重みが与えられる方法でもよい。変化量調整部７ｃは、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、調整画像生成部９ｃに出力する。

調整画像生成部９ｃは、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化量調整部７ｃから取得する。調整画像生成部９ｃは、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」に基づいて、緩やかで微小な運動変化の変化量が調整されたｎ番目の解像度の差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、式（３９）のように生成する。すなわち、調整画像生成部９ｃは、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」と、振幅変化「Ａ^ｎ（Ｘ，Ｙ，ｔ）」とに基づいて、式（３９）のように生成する。

調整画像生成部９ｃは、調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、解像度ごとに領域決定部１０ｃに出力する。調整画像生成部９ｃは、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、画像再構成部８ｃに出力する。

領域決定部１０ｃは、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、運動変化の変化量が調整されたエッジ画像として、調整画像生成部９ｃから取得する。領域決定部１０ｃは、ｎ番目（０≦ｎ≦Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を、運動変化の変化量が調整されていないエッジ画像として、画像分解部３０ｃから取得する。領域決定部１０ｃは、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」とを比較する。例えば、領域決定部１０ｃは、時刻「ｔ」における、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」との座標（ｘ，ｙ）ごとの差（二乗値）の空間方向の最大値を、比較結果「ｄｅｔ（ｘ，ｙ）」として式（４０）のように導出する。

なお、比較結果「ｄｅｔ（ｘ，ｙ）」は、時刻「ｔ」における、差分画像と調整差分画像との差（二乗値）の空間方向の最大値でなくてもよい。例えば、比較結果「ｄｅｔ（ｘ，ｙ）」は、時刻「ｔ」を含む時間幅における、差分画像と調整差分画像との差（二乗値）の時間方向の合計値又は分散値でもよい。

領域決定部１０ｃは、ｎ番目の次に処理対象（新たな処理対象）となる例えば（ｎ＋１）番目の解像度の差分画像「Ｌ^ｎ＋１（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）を、比較結果に基づいて決定する。領域決定部１０ｃは、比較結果「ｄｅｔ（ｘ，ｙ）」と閾値とを比較することによって、比較結果「ｄｅｔ（ｘ，ｙ）」を式（４１）のように二値化する。

ここで、「ｔｈｒ」は閾値を表す。閾値の決定方法は、特定の方法に限定されない。閾値の決定方法は、例えば、「ｄｅｔ（ｘ，ｙ）」の値の分布が正規分布であると仮定された場合に「平均値＋２×標準偏差」の値が閾値「ｔｈｒ」と決定される方法でもよい。大津の二値化法のように、「ｄｅｔ（ｘ，ｙ）」が二つのクラスに分けられた場合にクラス間の分散が最大となるように導出された閾値が、新たに使用される閾値「ｔｈｒ」とされてもよい。

差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」及び調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」には、所定の縦「ｈ」及び横「ｗ」のサイズの部分領域（パッチ）が定められている。部分領域のサイズは、例えば、所定の細かい方眼（最小単位）に差分画像及び調整差分画像が分割されるサイズ（例えば、「２×２」の４分割のサイズ）に定められる。領域決定部１０ｃは、縦「ｈ」及び横「ｗ」のサイズの部分領域に、二値化の結果「ＢＷ（ｘ，ｙ）」を割り当てる。

領域決定部１０ｃは、差が閾値を超えていることを表す「ＢＷ（ｘ，ｙ）＝１」を１個以上含む部分領域の集合領域（ｘ’，ｙ’）を、ｎ番目の次に処理対象となる例えば（ｎ－１）番目の解像度に合うように、集合領域（Ｘ，Ｙ）としてアップサンプリングする。領域決定部１０ｃは、アップサンプリングされた集合領域（Ｘ、Ｙ）を、次に処理対象となる新たな部分領域（Ｘ，Ｙ）とする。領域決定部１０ｃは、新たな部分領域（Ｘ，Ｙ）を表す領域情報を、画像変換部３１ｃに出力する。

最も高い解像度（０番目の解像度）の画像の全領域を処理対象としなくてもよいように領域決定部１０ｃが処理領域を決定すると効果的である。例えば、領域決定部１０ｃは、最も低い解像度（（Ｎ－１）番目の解像度）から始めて逐次的に処理領域を決定する。領域決定部１０ｃは、所定の解像度の差分画像に対する処理結果に基づいて、他の解像度の差分画像に対して処理対象とされる新たな部分領域を決める。新たな部分領域は、他の解像度の差分画像の一部領域であり、他の解像度の差分画像の全領域ではない。

すなわち、領域決定部１０ｃは、最も高い解像度（０番目の解像度）の差分画像の全領域ではなく一部領域が処理対象とされるように、処理対象とされる部分領域（Ｘ，Ｙ）を決定する処理を、なるべく低い解像度の差分画像から開始する。例えば、領域決定部１０ｃは、最も低い解像度から高い解像度の順で逐次的に、差分画像における処理対象とされる部分領域を決定する。また例えば、領域決定部１０ｃは、奇数（又は偶数）番目の解像度の順で差分画像における処理対象とされる部分領域を決定した後で、偶数（又は奇数）番目の解像度の順で、差分画像における処理対象とされる部分領域を決定してもよい。

画像再構成部８ｃは、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、調整画像生成部９ｃから取得する。画像再構成部８ｃは、色画像を画像入力部２ｃから取得する。画像再構成部８ｃは、式（１）、式（２）、式（３）及び式（３９）に基づいて、式（２０）に示された処理を解像度番号「ｎ」に関して逐次的に実行する。画像再構成部８ｃは、（ｎ－１）番目の解像度の調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「＾Ｉ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、（ｎ－１）番目の解像度の輝度画像「＾Ｉ^ｎ－１（ｘ，ｙ，ｔ）」を、式（２０）のように再構成する。

画像再構成部８ｃは、式（２０）に示された処理を「ｎ」に関して逐次的に実行することによって、原解像度（０番目の解像度）の輝度画像を再構成する。画像再構成部８ｃは、再構成された原解像度の輝度画像「＾Ｉ^０（ｘ，ｙ，ｔ）」と、原解像度の色画像とを合成する。画像再構成部８ｃは、合成結果を、ビデオ・マグニフィケーションを用いて最終的に調整された画像として、所定の外部装置に出力する。

所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識装置又は表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

次に、画像処理装置１ｃの動作例を説明する。
図１８は、画像処理装置１ｃの動作例を示すフローチャートである。画像変換部３１ｃは、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を取得する（ステップＳ３０１）。画像変換部３１ｃは、指示された部分領域（Ｘ，Ｙ）を表す領域情報を取得する（ステップＳ３０２）。画像変換部３１ｃは、指示された部分領域（Ｘ，Ｙ）を表す領域情報に基づいて、ｎ番目の解像度の差分画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する（ステップＳ３０３）。変化検出部４ｃは、変換された位相変化のうちから、所定の変化量の位相変化を検出する（ステップＳ３０４）。

変化量調整部７ｃは、検出された位相変化の変化量を調整する（ステップＳ３０５）。調整画像生成部９ｃは、変化量が調整された位相変化に基づいて、運動変化の変化量が調整されたｎ番目の解像度の差分画像を生成する（ステップＳ３０６）。領域決定部１０ｃは、運動変化の変化量が調整されていないｎ番目の解像度の差分画像と、運動変化の変化量が調整されたｎ番目の解像度の差分画像とに基づいて、新たな所定の解像度（例えば、（ｎ－１）番目の解像度）の差分画像の部分領域（Ｘ，Ｙ）を決定する（ステップＳ３０７）。

領域決定部１０ｃは、決定された部分領域（Ｘ，Ｙ）を表す領域情報を、新たな所定の解像度の差分画像の新たな部分領域として画像変換部３１ｃに指示する（ステップＳ３０８）。画像変換部３１ｃは、所定の解像度の番号「ｎ」を、新たな所定の解像度の番号に更新する（ステップＳ３０９）。

画像変換部３１ｃは、（０≦ｎ＜Ｎ）番目の全ての解像度について処理が完了しているか否かを判定する（ステップＳ３１０）。（０≦ｎ＜Ｎ）番目の全ての解像度の差分画像のいずれかの解像度について処理が完了していない場合（ステップＳ３１０：ＮＯ）、画像変換部３１ｃは、ステップＳ３０１に処理を戻す。（０≦ｎ＜Ｎ）番目の全ての解像度の差分画像の全ての解像度について処理が完了している場合（ステップＳ３１０：ＹＥＳ）、画像処理装置１ｃの各機能部は、図１８のフローチャートに示された処理を終了する。

以上のように、第４実施形態の画像処理装置１ｃは、変化検出部４ｃと、変化量調整部７ｃと、調整画像生成部９ｃと、領域決定部１０ｃとを備える。画像処理装置１ｃは、画像変換部３１ｃを備えてもよい。画像変換部３１ｃは、互いに異なる解像度のエッジ画像（多重解像度のエッジ画像）を取得する。画像変換部３１ｃは、指示された部分領域を表す領域情報（Ｘ，Ｙ）に基づいて、取得された多重解像度のエッジ画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する。変化検出部４ｃは、互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出する。変化量調整部７ｃは、検出された位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」の変化量を調整する。調整画像生成部９ｃは、位相変化の変化量が調整された位相変化「α（Ｘ，Ｙ）・Ｃ^ｎ（Ｘ，Ｙ，ｔ）」「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」と振幅変化「Ａ^ｎ（Ｘ，Ｙ，ｔ）」とに基づいて、運動変化の変化量が調整されたｎ番目の解像度のエッジ画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。領域決定部１０ｃは、ｎ番目の解像度のエッジ画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」と運動変化の変化量が調整されたｎ番目の解像度のエッジ画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、新たな所定の解像度（例えば、（ｎ－１）番目の解像度）のエッジ画像の新たな部分領域を表す領域情報（Ｘ，Ｙ）を決定する。領域決定部１０ｃは、決定された新たな部分領域（Ｘ，Ｙ）を表す領域情報を、新たな所定の解像度のエッジ画像の新たな部分領域として画像変換部３１ｃに指示する。

このように、領域決定部１０ｃは、運動変化の変化量が調整されていないｎ番目の解像度の差分画像と、運動変化の変化量が調整されたｎ番目の解像度の差分画像とに基づいて、新たな所定の解像度の差分画像の新たな部分領域を画像変換部３１ｃに指示する。画像変換部３１ｃは、指示された新たな部分領域について処理を実行する。

これによって、ビデオ・マグニフィケーションの演算量の増加を低減することが可能である。動画像のフレームにおいてビデオ・マグニフィケーションの処理対象となる領域を画像処理装置１ｃが適応的に導出するので、動画像のフレームにおける位相変化の演算量を大幅に削減することが可能である。動画像のフレームにおける所望の微小な運動変化の変化量が調整された画像を、高速に生成することが可能である。

領域決定部１０ｃは、式（４０）に示された差分画像「Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」との座標ごとの差（二乗値）の最大値「ｄｅｔ（ｘ，ｙ）」と、所定値「ｔｈｒ」とを、式（４１）のように比較してもよい。領域決定部１０ｃは、最大値「ＢＷ」が所定値「ｔｈｒ」を超える座標と、最大値「ＢＷ」が所定値「ｔｈｒ」以上となる座標とのいずれかに基づいて、新たな所定の解像度のエッジ画像の新たな部分領域を表す領域情報（Ｘ，Ｙ）を決定してもよい。

変化量調整部７ｃは、式（３７）又は式（３８）のように、検出された位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」に所定の調整率「α」を乗算する。これによって、変化量調整部７ｃは、検出された位相変化の変化量を調整することができる。変化量調整部７ｃは、乗算結果（調整結果）に、所定の解像度のエッジ画像の部分領域における元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」を加算することによって、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」を導出する。調整画像生成部９ｃは、変化量が調整された位相変化に応じた値「ｃｏｓ（＾Φ^ｎ（Ｘ，Ｙ，ｔ））」を、所定の解像度のエッジ画像の部分領域における振幅変化を表す値「Ａ^ｎ（Ｘ，Ｙ，ｔ）」に乗算する。これによって、調整画像生成部９ｃは、画像の運動変化の変化量が調整された所定の解像度の差分画像を生成することができる。なお、上記の各実施形態は、互いに組み合わされてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像処理装置に適用可能である。

１，１ａ，１ｂ，１ｃ…画像処理装置、２，２ａ，２ｂ，２ｃ…画像入力部、３，３ａ，３ｂ，３ｃ…分解変換部、４，４ａ，４ｂ，４ｃ…変化検出部、５，５ａ，５ｂ，５ｃ…信頼度推定部、６，６ａ，６ｂ，６ｃ…乗算部、７，７ａ，７ｂ，７ｃ…変化量調整部、８，８ａ，８ｂ，８ｃ…画像再構成部、９ｃ…調整画像生成部、１０ｃ…領域決定部、３０，３０ｂ，３０ｃ…画像分解部、３１，３１ｃ…画像変換部、１００…画像調整部、３０１…輝度画像、３０２…輝度画像、３０３…輝度画像、３０４…差分画像、３０５…輝度画像、３０６…輝度画像、３０７…差分画像、３１２…切り株画像、３１３…斧画像、３２０…画素群、３２１…画素、４１０…画素、４１１…画素、４１２…電球画像

Claims (7)

1. 画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、前記方向変化に沿った高周波成分の位相の時間的変動である位相変化とを検出する変化検出部と、
   検出された前記位相変化がノイズに起因する変化ではないことを表す信頼度を、単位時間当たりの前記方向変化の分散値に基づいて推定する信頼度推定部と
   を備える画像処理装置。
2. 前記信頼度推定部は、検出された前記位相変化を示す前記画素における前記方向変化の分散値に基づいて、前記信頼度を推定する、請求項１に記載の画像処理装置。
3. 前記信頼度は、前記分散値が小さいほど高い値となる、請求項２に記載の画像処理装置。
4. 前記信頼度推定部は、時系列の前記エッジ画像内の画素を含む領域における前記位相変化に基づいて、前記信頼度を推定する、請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 検出された前記位相変化と前記信頼度とを、時系列の前記エッジ画像内の画素ごとに乗算する乗算部と、
   前記信頼度が乗算された前記位相変化の変化量を調整する変化量調整部と
   を更に備える、請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 画像処理装置が実行する画像処理方法であって、
   画像処理対象の画像内の高周波成分を表すエッジ画像内の画素ごとに定まるエッジに直交している尤もらしい方向の時間的変動である方向変化と、前記方向変化に沿った高周波成分の位相の時間的変動である位相変化とを検出するステップと、
   検出された前記位相変化がノイズに起因する変化ではないことを表す信頼度を、単位時間当たりの前記方向変化の分散値に基づいて推定するステップと
   を含む画像処理方法。
7. 請求項１から請求項５のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。

Images