WO2020170465A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

画像処理装置は、所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出する変化検出部と、検出された位相変化の変化量を調整する変化量調整部と、位相変化の変化量が調整された位相変化に基づいて、運動変化の変化量が調整された所定の解像度のエッジ画像を生成する調整画像生成部と、運動変化の変化量が調整されていない所定の解像度のエッジ画像と運動変化の変化量が調整された所定の解像度のエッジ画像とに基づいて、新たな所定の解像度のエッジ画像の新たな部分領域を決定する領域決定部とを備える。

Description

画像処理装置、画像処理方法及びプログラム

　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　本願は、２０１９年２月２２日に、日本に出願された特願２０１９－０３０６２９号に基づき優先権を主張し、その内容をここに援用する。

　動画像のフレームにおける画像の微小な運動変化の変化量を、画像処理装置が強調又は減弱する場合がある。画像の微小な運動変化の変化量を強調又は減弱によって調整する技術は、「ビデオ・マグニフィケーション（Video Magnification）」と呼ばれている。画像処理装置は、動画像のフレームにおいて人の視覚では捉えきれなかった物理現象を、ビデオ・マグニフィケーションによって可視化することができる。また、画像処理装置は、動画像のフレームに混入された不必要な画像の揺らぎ（例えば、手振れ、地面の振動等）を、ビデオ・マグニフィケーションによってフレームから除去することができる。

　画像処理装置は、局所的な画像の位相変化に基づいて画像の微小な運動変化を検出する場合、動画像のフレームに時系列フィルタを適用する。これによって、画像処理装置は、被写体の画像の微小な運動変化を検出することができる（非特許文献１及び２参照）。

　しかし、ビデオ・マグニフィケーションでは画像処理装置が動画像のフレームの全領域について位相変化を検出するので、演算コストは高い。そこで、冗長な画像特徴量が削減されることによって演算コストを低くし、ビデオ・マグニフィケーションの処理を高速化する方法が提案されている（非特許文献３参照）。

Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. "Phase-based video motion processing". ACM Transactions on Graphics. Vol. 32. (2013). Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata. "Jerk-Aware Video Acceleration Magnification". IEEE International Conference on Computer Vision and Pattern Recognition (2018). Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. "Riesz Pyramids for Fast Phase-Based Video Magnification". IEEE International Conference on Computational Photography (2014).

　しかしながら、冗長な画像特徴量が削減されたとしても、動画像のフレームの全領域について画像処理装置が位相変化を検出するので、画像の解像度とフレームの枚数とに応じて、ビデオ・マグニフィケーションの演算量は著しく増加してしまう。

　上記事情に鑑み、本発明は、ビデオ・マグニフィケーションの演算量の増加を抑止することが可能である画像処理装置、画像処理方法及びプログラムを提供することを目的としている。

　本発明の一態様は、互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出する変化検出部と、検出された位相変化の変化量を調整する変化量調整部と、位相変化の変化量が調整された位相変化に基づいて、運動変化の変化量が調整された前記所定の解像度のエッジ画像を生成する調整画像生成部と、運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像とに基づいて、前記互いに異なる解像度のうちの新たな前記所定の解像度のエッジ画像の新たな部分領域を決定する領域決定部とを備える画像処理装置である。

　本発明の一態様は、上記の画像処理装置であって、前記エッジ画像は、前記所定の解像度の輝度画像同士の差分に基づく画像である。

　本発明の一態様は、上記の画像処理装置であって、前記領域決定部は、運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像との座標ごとの差の最大値が所定値を超える座標と、前記最大値が前記所定値以上となる座標とのいずれかに基づいて、新たな前記所定の解像度のエッジ画像の新たな部分領域を決定する。

　本発明の一態様は、上記の画像処理装置であって、前記変化量調整部は、検出された位相変化と所定の調整率とを乗算した結果に、前記所定の解像度のエッジ画像の部分領域における元の位相変化を加算する。

　本発明の一態様は、上記の画像処理装置であって、前記調整画像生成部は、変化量が調整された位相変化に応じた値を、前記所定の解像度のエッジ画像の部分領域における振幅変化を表す値に乗算する。

　本発明の一態様は、上記の画像処理装置であって、前記互いに異なる解像度のエッジ画像を生成する画像分解部と、前記互いに異なる解像度のエッジ画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する画像変換部と、運動変化の変化量が調整された前記所定の解像度のエッジ画像に基づいて、原解像度の輝度画像を再構成し、再構成された原解像度の輝度画像と原解像度の色画像とを合成する画像再構成部とを更に備える。

　本発明の一態様は、画像処理装置が実行する画像処理方法であって、画像処理装置が実行する画像処理方法であって、互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出するステップと、検出された位相変化の変化量を調整するステップと、位相変化の変化量が調整された位相変化に基づいて、運動変化の変化量が調整された前記所定の解像度のエッジ画像を生成するステップと、運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像とに基づいて、前記互いに異なる解像度のうちの新たな前記所定の解像度のエッジ画像の新たな部分領域を決定するステップとを含む画像処理方法である。

　本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるためのプログラムである。

　本発明により、ビデオ・マグニフィケーションの演算量の増加を抑止することが可能である。

実施形態における、画像処理装置の構成例を示す図である。 実施形態における、画像処理装置の動作例を示すフローチャートである。

　本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、画像処理装置１の構成例を示す図である。画像処理装置１は、動画像に対して所定の画像処理を実行する装置である。所定の画像処理とは、例えば、ビデオ・マグニフィケーションの処理である。画像処理装置１は、画像入力部２と、画像分解部３と、画像調整部４と、画像再構成部５とを備える。これらの装置は、単体の装置、例えば制御装置として設けられてもよい。

　以下、動画像のフレームの輝度情報を表す画像を「輝度画像」という。以下、動画像のフレームの色情報を表す画像を「色画像」という。

　画像入力部２は、画像処理の対象となる動画像を他の機能部に入力する。画像入力部２は、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２は、動画像の複数のフレームから、輝度画像と色画像とを生成する。画像入力部２は、原解像度の輝度画像を、画像分解部３に出力する。画像入力部２は、原解像度の色画像を、画像再構成部５に出力する。

　画像分解部３は、互いに異なる解像度のエッジ画像を生成する。例えば、画像分解部３（差分画像生成部）は、互いに異なる解像度のうちの所定の解像度の輝度画像同士の差分画像（多重解像度の差分画像）を、互いに異なる解像度のエッジ画像として生成する。画像分解部３は、原解像度の輝度画像を、画像入力部２から取得する。画像分解部３は、互いに異なる解像度の輝度画像（多重解像度の輝度画像）を、原解像度の輝度画像から生成する。画像分解部３は、互いに異なる解像度のうちの所定の解像度の輝度画像同士の差分に基づく画像（以下「多重解像度の差分画像」という。）を生成する。画像分解部３は、多重解像度の差分画像（解像度方向の差分画像）を、解像度ごとに画像調整部４に出力する。

　画像調整部４は、画像処理の対象となる動画像の微小な運動変化等の変化量を強調又は減弱によって調整する。画像調整部４は、多重解像度の差分画像を、画像分解部３から取得する。画像調整部４は、多重解像度の差分画像に対して、ビデオ・マグニフィケーションを実行する。画像調整部４は、ビデオ・マグニフィケーションを実行することによって、動画像のフレームにおける微小な運動変化の変化量が強調又は減弱によって調整された輝度画像同士の差分画像（以下「調整差分画像」という。）を生成する。画像調整部４は、互いに異なる解像度の複数の調整差分画像を、画像再構成部５に出力する。

　画像調整部４は、画像変換部４０と、変化検出部４１と、変化量調整部４２と、調整画像生成部４３と、領域決定部４４とを備える。画像調整部４の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。画像調整部４の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。なお、画像変換部４０は、画像調整部４に備えられる代わりに、画像分解部３を含む機能部（画像分解変換部）に備えられてもよい。

　画像再構成部５（画像合成部）は、画像を再構成する。画像再構成部５は、互いに異なる解像度の複数の調整差分画像を、画像調整部４から取得する。画像再構成部５は、互いに異なる解像度の複数の調整差分画像に基づいて、原解像度の輝度画像を再構成する。画像再構成部５は、原解像度の色画像を、画像入力部２から取得する。画像再構成部５は、再構成された原解像度の輝度画像と、原解像度の色画像とを合成する。画像再構成部５は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、所定の外部装置に出力する。

　次に、画像処理装置１の詳細を説明する。
　画像入力部２は、画像処理の対象となる動画像の複数のフレームを取得する。画像入力部２は、取得された複数のフレームから、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」と、原解像度の色画像とを生成する。「ｘ」は、動画像のフレーム（輝度画像等）におけるｘ座標を表す。「ｙ」は、動画像のフレーム（輝度画像等）におけるｙ座標を表す。「t」は、時系列の動画像のフレームの時刻を表す。画像入力部２は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、画像分解部３に出力する。画像入力部２は、原解像度の色画像を、画像再構成部５に出力する。

　画像分解部３は、動画像の複数のフレームの輝度画像を、画像入力部２から取得する。画像分解部３は、原解像度の輝度画像「Ｉ（ｘ，ｙ，ｔ）」を、式（１）のように０番目の解像度（最も高い解像度）の輝度画像「Ｉ^０（ｘ，ｙ，ｔ）」とする。

　画像分解部３は、複数の解像度の輝度画像に対して、空間周波数の帯域を分割する処理（帯域分割処理）を実行する。すなわち、画像分解部３は、複数の解像度の輝度画像に対して、エッジ検出処理を実行する。これによって、画像分解部３は、複数の解像度の輝度画像のエッジ画像（帯域分割画像）を生成する。エッジ画像を生成する方法は、特定の方法に限定されない。例えば、画像分解部３は、微分フィルタ又はハイパスフィルタ等の帯域分割フィルタ（エッジフィルタ）を輝度画像に対して用いて、エッジ画像を生成する。例えば、画像分解部３は、輝度画像に対してウェーブレット変換（オクターブ分割）を実行することによって、エッジ画像を生成してもよい。以下では、画像分解部３は、エッジ画像の一例として差分画像を生成する。画像分解部３は、以下のようにダウンサンプリングとガウシアンフィルタとを用いて、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。

　画像分解部３は、（ｎ－１）番目の予め定められた解像度の輝度画像「Ｉ^ｎ－１（ｘ，ｙ，ｔ）」に対して、ダウンサンプリングを実行する。解像度の段階数は、３段階以上であり、例えば８段階である。画像分解部３は、解像度の段階数が８段階と定められている場合、原解像度の輝度画像に対して７回のダウンサンプリングを実行する。

　画像分解部３は、ダウンサンプリングの結果に対して、ガウシアンフィルタ「Ｇ_σ（ｘ，ｙ）」を畳み込む。輝度画像の解像度の段階数は、ガウシアンフィルタのフィルタサイズに応じて定められる。すなわち、輝度画像に定められるブロックの最小サイズは、ガウシアンフィルタのフィルタサイズに応じて定められる。画像分解部３は、式（２）に示された演算を１番目からｎ番目までの解像度の輝度画像に対して繰り返すことによって、多重解像度の輝度画像（「Ｉ^０（ｘ，ｙ，ｔ）」，…，「Ｉ^ｎ（ｘ，ｙ，ｔ）」）を生成する。以下では、数式に示された演算子のうちで「〇」印の中に「×」印を含む演算子は、畳み込み演算子である。

　式（２）の右辺は、「Ｇ_σ（ｘ，ｙ）」と「ｄｏｗｎｓａｍｐｌｅ（Ｉ^ｎ－１（ｘ，ｙ，ｚ））」との畳み込み演算を表す。画像分解部３は、縮小する処理が実行された輝度画像に対して、所定の補間処理を実行してもよい。「Ｇ_σ（ｘ，ｙ）」は、分散「σ^２」の２次元のガウシアンフィルタを表す。「ｄｏｗｎｓａｍｐｌｅ（Ｚ）」は、解像度「Ｚ」の画像をダウンサンプル量に基づいて縮小する処理（ダウンサンプリング）を表す。ダウンサンプル量は、分数であり、例えば２分の１である。以下、「ｎ」は、０以上Ｎ以下の整数である。「Ｎ」は、予め定められた２以上の整数である。

　画像分解部３は、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」に対してアップサンプリングを実行する。これによって、画像分解部３は、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」の解像度を、ｎ番目の予め定められた解像度に揃える。すなわち、画像分解部３は、（ｎ＋１）番目の解像度の輝度画像「Ｉ^ｎ＋１（ｘ，ｙ，ｔ）」を、（ｎ（＝ｎ＋１－１））番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」にする。「ｕｐｓａｍｐｌｅ（Ｘ）」は、解像度「Ｘ」の画像を拡大する処理（アップサンプリング）を表す。

　式（２）に示されたｎ番目の解像度の輝度画像「Ｉ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「ｕｐｓａｍｐｌｅ（Ｉ^ｎ＋１（ｘ，ｙ，ｔ））」との差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」（解像度方向の差分画像）は、式（３）のように表される。

　画像調整部４の各機能部は、ｎ番目（０≦ｎ＜Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に対して、所定の画像処理を実行する。

　画像変換部４０は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を、画像分解部３から取得する。画像変換部４０は、ｎ番目の解像度の差分画像の部分領域（Ｘ，Ｙ）の情報（領域情報）を、領域決定部４４から取得する。低い解像度から高い解像度の順に差分画像が処理対象とされるので、「ｎ＝Ｎ（ｎ＞０）」において、部分領域（Ｘ，Ｙ）の情報（領域情報）の初期値が必要とされる。部分領域の手掛かりが画像変換部４０に与えられていないので、「ｎ＝Ｎ（ｎ＞０）」番目の解像度の差分画像の部分領域（Ｘ，Ｙ）の情報の初期値は、差分画像の全領域（ｘ,ｙ）を表す値である。画像変換部４０は、差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた処理領域（Ｘ，Ｙ）における輝度変化を、特定の空間方向における輝度情報の位相変化及び振幅変化に変換する。

　画像変換部４０は、例えば、低い（粗い）解像度から高い（細かい）解像度の順に、差分画像における時間方向の位相変化を検出する。すなわち、画像変換部４０は、低い解像度の差分画像において時間方向の位相変化を検出する処理を、高い解像度の差分画像において位相変化を検出する処理をよりも先に実行する。

　画像変換部４０が輝度変化を位相変化及び振幅変化に変換する方法は、特定の方法に限定されない。以下では、画像変換部４０は、一例としてリース変換によって、輝度変化を位相変化及び振幅変化に変換する。

　画像変換部４０は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」に含まれた領域「Ｌ^ｎ（Ｘ，Ｙ，ｔ）」に対して、例えば、フーリエ変換「ｆｆｔ」と逆フーリエ変換「ｉｆｆｔ」とを実行する。すなわち、画像変換部４０は、領域「Ｌ^ｎ（Ｘ，Ｙ，ｔ）」に対して式（４）から式（９）までのようにリース変換を実行する。

　式（４）から式（６）までにおいて、式（７）から式（９）までの関係式が成立している。

　ここで、「Φ^ｎ（Ｘ，Ｙ，ｔ）」は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化を表す。「θ^ｎ（Ｘ，Ｙ，ｔ）」は、位相変化が生じている方向を表す。「Ａ^ｎ（Ｘ，Ｙ，ｔ）」は、振幅変化を表す。ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」は、式（１０）のように表される。画像変換部４０は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化検出部４１に出力する。

　変化検出部４１は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、画像変換部４０から取得する。変化検出部４１は、位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」に、時系列フィルタ「Ｈ（ｔ）」を畳み込む。これによって、変化検出部４１は、位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の微小変化（subtle changes）を検出する。時系列フィルタ「Ｈ（ｔ）」は、調整対象（強調又は減弱の対象）とされた所定の変化量の位相変化（例えば、微小な位相変化）に対して周波数応答を持つ時系列フィルタであれば、特定のフィルタに限定されない。時系列フィルタ「Ｈ（ｔ）」は、例えば、バンドパスフィルタ（非特許文献１参照）である。

　変化検出部４１は、所定の変化量の位相変化（例えば、微小な位相変化）に対して、時空間フィルタ「Ｄ（ｘ，ｙ，ｔ）」を乗算する。これによって、変化検出部４１は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」における時間及び空間について急峻な位相変化（緩やかでない位相変化）を除去することができる。

　時空間フィルタ「Ｄ（Ｘ、Ｙ、ｔ）」は、急峻な位相変化を除去する時空間フィルタであれば、特定のフィルタに限定されない。時空間フィルタ「Ｄ（Ｘ、Ｙ、ｔ）」は、例えば、躍度フィルタ（非特許文献２参照）である。例えば、変化検出部４１は、微小な変化を三次微分して、微小ではない急峻な変化を検出及び正規化する。検出及び正規化の結果は、微小な変化が現れるときには０であり、急峻な変化が現れるときには１である。したがって、検出及び正規化の結果の逆は、微小な変化が現れるときには１であり、急峻な変化が現れるときには０である。変化検出部４１は、検出及び正規化の結果の逆を、躍度フィルタとする。

　すなわち、変化検出部４１は、三次微分と正規化と反転との順で、位相変化に対して演算を実行する。これによって、変化検出部４１は、微小ではない急峻な位相変化のみを除去する躍度フィルタを生成することができる。変化検出部４１は、元の位相変化に躍度フィルタを乗算する。

　換言すれば、変化検出部４１は、位相変化に対して、三次微分と正規化の演算とを実行する。これによって、変化検出部４１は、微小な位相変化が差分画像に現れるときには、０の値を持つ演算結果を得る。変化検出部４１は、急峻な位相変化が差分画像に現れるときには、１の値を持つ演算結果を得る。

　変化検出部４１は、演算結果を反転することによって、躍度フィルタを生成する。躍度フィルタは、微小な位相変化が差分画像に現れるときには、１の値のフィルタ応答を持つ。躍度フィルタは、急峻な位相変化が差分画像に現れるときには、０の値のフィルタ応答を持つ。変化検出部４１は、元の位相変化に躍度フィルタを乗算する。微小な位相変化が差分画像に現れる場合、元の位相変化に１の値が乗算されるので、変化検出部４１は、微小な位相変化のみを検出することができる。急峻な位相変化が差分画像に現れる場合、元の位相変化に０の値が乗算されるので、変化検出部４１は、急峻な位相変化を抑制することができる。

　緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」は、式（１１）のように表される。式（１１）に示された演算子「〇」は、乗算（要素積）を表す。

　変化量調整部４２は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）における緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化検出部４１から取得する。変化量調整部４２は、緩やかで微小な位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」に対して、所定の調整率（強調率）「α」を乗算する。

　微小な位相変化が強調される場合、所定の調整率「α」は、正の値とされる。微小な位相変化が減弱される場合、所定の調整率「α」は、負の値とされる。「α」の上限値及び下限値は、特に定められなくてもよいが、例えば、微小な位相変化が減弱される場合、元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」の値が０となる場合における「α」の値が「α」の下限値とされる。なお、「α」が０に設定された場合には、微小な位相変化は調整されない。

　以下では、数式において文字の上に付されている記号は、その文字の直前に記載される。例えば、式（１２）において文字「Φ」の上に付されている記号「＾」は、文字「Φ」の直前に記載される。変化量調整部４２は、元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」と乗算結果とを加算することによって、緩やかで微小な位相変化の変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」を式（１２）のように導出する。このようにして、変化量調整部４２は、検出された微小な位相変化の変化量を調整する。

　ここで、部分領域（Ｘ，Ｙ）以外の領域における位相変化の変化量が調整（α倍）されずに、部分領域（Ｘ，Ｙ）における位相変化の変化量が調整されている。このため、部分領域（Ｘ，Ｙ）以外の領域と部分領域（Ｘ，Ｙ）との境界面における位相変化が整合していないために、差分画像にブロックノイズが発生する場合がある。そこで、調整率「α」が部分領域（Ｘ，Ｙ）ごとに調整可能となるように、式（１２）は式（１３）のように拡張される。

　部分領域ごとの調整率「α（Ｘ，Ｙ）」の値の決定方法は、特定の方法に限定されない。部分領域ごとの調整率「α（Ｘ，Ｙ）」の値の決定方法は、例えば、式（１２）と同様に一様な重みが与えられる方法でもよいし、任意の重みが事前に与えられる方法でもよいし、ガウス関数等に基づいて重みが与えられる方法でもよい。変化量調整部４２は、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、調整画像生成部４３に出力する。

　調整画像生成部４３は、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」の情報を、変化量調整部４２から取得する。調整画像生成部４３は、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」に基づいて、緩やかで微小な運動変化の変化量が調整されたｎ番目の解像度の差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、式（１４）のように生成する。すなわち、調整画像生成部４３は、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」と、振幅変化「Ａ^ｎ（Ｘ，Ｙ，ｔ）」とに基づいて、式（１４）のように生成する。

　調整画像生成部４３は、調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、解像度ごとに領域決定部４４に出力する。調整画像生成部４３は、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、画像再構成部５に出力する。

　領域決定部４４は、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、運動変化の変化量が調整されたエッジ画像として、調整画像生成部４３から取得する。領域決定部４４は、ｎ番目（０≦ｎ≦Ｎ）の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を、運動変化の変化量が調整されていないエッジ画像として、画像分解部３から取得する。領域決定部４４は、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」とを比較する。例えば、領域決定部４４は、時刻「ｔ」における、ｎ番目の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」との座標（ｘ，ｙ）ごとの差（二乗値）の空間方向の最大値を、比較結果「ｄｅｔ（ｘ，ｙ）」として式（１５）のように導出する。

　なお、比較結果「ｄｅｔ（ｘ，ｙ）」は、時刻「ｔ」における、差分画像と調整差分画像との差（二乗値）の空間方向の最大値でなくてもよい。例えば、比較結果「ｄｅｔ（ｘ，ｙ）」は、時刻「ｔ」を含む時間帯における、差分画像と調整差分画像との差（二乗値）の時間方向の合計値又は分散値でもよい。

　領域決定部４４は、ｎ番目の次に処理対象（新たな処理対象）となる例えば（ｎ＋１）番目の解像度の差分画像「Ｌ^ｎ＋１（ｘ，ｙ，ｔ）」の部分領域（Ｘ，Ｙ）を、比較結果に基づいて決定する。領域決定部４４は、比較結果「ｄｅｔ（ｘ，ｙ）」と閾値とを比較することによって、比較結果「ｄｅｔ（ｘ，ｙ）」を式（１６）のように二値化する。

　ここで、「ｔｈｒ」は閾値を表す。閾値の決定方法は、特定の方法に限定されない。閾値の決定方法は、例えば、「ｄeｔ（ｘ，ｙ）」の値の分布が正規分布であると仮定された場合に「平均値＋２×標準偏差」の値が閾値「ｔｈｒ」と決定される方法でもよい。大津の二値化法のように、「ｄeｔ（ｘ，ｙ）」が二つのクラスに分けられた場合にクラス間の分散が最大となるように導出された閾値が、新たに使用される閾値「ｔｈｒ」とされてもよい。

　差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」及び調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」には、所定の縦「ｈ」及び横「ｗ」のサイズの部分領域（パッチ）が定められている。部分領域のサイズは、例えば、所定の細かい方眼（最小単位）に差分画像及び調整差分画像が分割されるサイズ（例えば、「２×２」の４分割のサイズ）に定められる。領域決定部４４は、縦「ｈ」及び横「ｗ」のサイズの部分領域に、二値化の結果「ＢＷ（ｘ，ｙ）」を割り当てる。

　領域決定部４４は、差が閾値を超えていることを表す「ＢＷ（ｘ，ｙ）＝１」を１個以上含む部分領域の集合領域（ｘ’，ｙ’）を、ｎ番目の次に処理対象となる例えば（ｎ－１）番目の解像度に合うように、集合領域（Ｘ，Ｙ）としてアップサンプリングする。領域決定部４４は、アップサンプリングされた集合領域（Ｘ、Ｙ）を、次に処理対象となる新たな部分領域（Ｘ，Ｙ）とする。領域決定部４４は、新たな部分領域（Ｘ，Ｙ）を表す領域情報を、画像変換部４０に出力する。

　最も高い解像度（０番目の解像度）の画像の全領域を処理対象としなくてもよいように領域決定部４４が処理領域を決定すると効果的である。例えば、領域決定部４４は、最も低い解像度（（Ｎ－１）番目の解像度）から始めて逐次的に処理領域を決定する。領域決定部４４は、所定の解像度の差分画像に対する処理結果に基づいて、他の解像度の差分画像に対して処理対象とされる新たな部分領域を決める。新たな部分領域は、他の解像度の差分画像の一部領域であり、他の解像度の差分画像の全領域ではない。

　すなわち、領域決定部４４は、最も高い解像度（０番目の解像度）の差分画像の全領域ではなく一部領域が処理対象とされるように、処理対象とされる部分領域（Ｘ，Ｙ）を決定する処理を、なるべく低い解像度の差分画像から開始する。例えば、領域決定部４４は、最も低い解像度から高い解像度の順で逐次的に、差分画像における処理対象とされる部分領域を決定する。また例えば、領域決定部４４は、奇数（又は偶数）番目の解像度の順で差分画像における処理対象とされる部分領域を決定した後で、偶数（又は奇数）番目の解像度の順で、差分画像における処理対象とされる部分領域を決定してもよい。

　画像再構成部５は、ｎ番目（０≦ｎ≦Ｎ）の解像度の調整差分画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を、調整画像生成部４３から取得する。画像再構成部５は、色画像を画像入力部２から取得する。画像再構成部５は、式（１）、式（２）、式（３）及び式（１４）に基づいて、式（１７）に示された処理を解像度番号「ｎ」に関して逐次的に実行する。画像再構成部５は、（ｎ－１）番目の解像度の調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と、ｎ番目の解像度の輝度画像「＾Ｉ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、（ｎ－１）番目の解像度の輝度画像「＾Ｉ^ｎ－１（ｘ，ｙ，ｔ）」を、式（１７）のように再構成する。

　画像再構成部５は、式（１７）に示された処理を「ｎ」に関して逐次的に実行することによって、原解像度（０番目の解像度）の輝度画像を再構成する。画像再構成部５は、再構成された原解像度の輝度画像「＾Ｉ^０（ｘ，ｙ，ｔ）」と、原解像度の色画像とを合成する。画像再構成部５は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、所定の外部装置に出力する。

　所定の外部装置は、例えば、ビデオ・マグニフィケーション以外の画像処理を実行する装置、画像認識を実行する装置（以下「画像認識装置」という。）、表示装置である。所定の外部装置が画像認識装置である場合、画像認識装置は、合成結果（ビデオ・マグニフィケーションを用いて最終的に調整された画像）を、画像認識のための特徴量として使用してもよい。

　次に、画像処理装置１の動作例を説明する。
　図２は、画像処理装置１の動作例を示すフローチャートである。画像変換部４０は、ｎ番目の解像度の差分画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」を取得する（ステップＳ１０１）。画像変換部４０は、指示された部分領域（Ｘ，Ｙ）を表す領域情報を取得する（ステップＳ１０２）。画像変換部４０は、指示された部分領域（Ｘ，Ｙ）を表す領域情報に基づいて、ｎ番目の解像度の差分画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する（ステップＳ１０３）。変化検出部４１は、変換された位相変化のうちから、所定の変化量の位相変化を検出する（ステップＳ１０４）。

　変化量調整部４２は、検出された位相変化の変化量を調整する（ステップＳ１０５）。調整画像生成部４３は、変化量が調整された位相変化に基づいて、運動変化の変化量が調整されたｎ番目の解像度の差分画像を生成する（ステップＳ１０６）。領域決定部４４は、運動変化の変化量が調整されていないｎ番目の解像度の差分画像と、運動変化の変化量が調整されたｎ番目の解像度の差分画像とに基づいて、新たな所定の解像度（例えば、（ｎ－１）番目の解像度）の差分画像の部分領域（Ｘ，Ｙ）を決定する（ステップＳ１０７）。

　領域決定部４４は、決定された部分領域（Ｘ，Ｙ）を表す領域情報を、新たな所定の解像度の差分画像の新たな部分領域として画像変換部４０に指示する（ステップＳ１０８）。画像変換部４０は、所定の解像度の番号「ｎ」を、新たな所定の解像度の番号に更新する（ステップＳ１０９）。

　画像変換部４０は、（０≦ｎ＜Ｎ）番目の全ての解像度について処理が完了しているか否かを判定する（ステップＳ１１０）。（０≦ｎ＜Ｎ）番目の全ての解像度の差分画像のいずれかの解像度について処理が完了していない場合（ステップＳ１１０：ＮＯ）、画像変換部４０は、ステップＳ１０１に処理を戻す。（０≦ｎ＜Ｎ）番目の全ての解像度の差分画像の全ての解像度について処理が完了している場合（ステップＳ１１０：ＹＥＳ）、画像処理装置１の各機能部は、図２のフローチャートに示された処理を終了する。

　以上のように、実施形態の画像処理装置１は、変化検出部４１と、変化量調整部４２と、調整画像生成部４３と、領域決定部４４とを備える。画像処理装置１は、画像変換部４０を備えてもよい。画像変換部４０は、互いに異なる解像度のエッジ画像（多重解像度のエッジ画像）を取得する。画像変換部４０は、指示された部分領域を表す領域情報（Ｘ，Ｙ）に基づいて、取得された多重解像度のエッジ画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する。変化検出部４１は、互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出する。変化量調整部４２は、検出された位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」の変化量を調整する。調整画像生成部４３は、位相変化の変化量が調整された位相変化「α（Ｘ，Ｙ）・Ｃ^ｎ（Ｘ，Ｙ，ｔ）」「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」と振幅変化「Ａ^ｎ（Ｘ，Ｙ，ｔ）」とに基づいて、運動変化の変化量が調整されたｎ番目の解像度のエッジ画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」を生成する。領域決定部４４は、ｎ番目の解像度のエッジ画像「Ｌ^ｎ（ｘ，ｙ，ｔ）」と運動変化の変化量が調整されたｎ番目の解像度のエッジ画像「＾Ｌ^ｎ（ｘ，ｙ，ｔ）」とに基づいて、新たな所定の解像度（例えば、（ｎ－１）番目の解像度）のエッジ画像の新たな部分領域を表す領域情報（Ｘ，Ｙ）を決定する。領域決定部４４は、決定された新たな部分領域（Ｘ，Ｙ）を表す領域情報を、新たな所定の解像度のエッジ画像の新たな部分領域として画像変換部４０に指示する。

　このように、領域決定部４４は、運動変化の変化量が調整されていないｎ番目の解像度の差分画像と、運動変化の変化量が調整されたｎ番目の解像度の差分画像とに基づいて、新たな所定の解像度の差分画像の新たな部分領域を画像変換部４０に指示する。画像変換部４０は、指示された新たな部分領域について処理を実行する。

　これによって、ビデオ・マグニフィケーションの演算量の増加を抑止することが可能である。動画像のフレームにおいてビデオ・マグニフィケーションの処理対象となる領域を画像処理装置１が適応的に導出するので、動画像のフレームにおける位相変化の演算量を大幅に削減することが可能である。動画像のフレームにおける所望の微小な運動変化の変化量が調整された画像を、高速に生成することが可能である。

　領域決定部４４は、式（１５）に示された差分画像「Ｌ^ｎ－１（ｘ，ｙ，ｔ）」と調整差分画像「＾Ｌ^ｎ－１（ｘ，ｙ，ｔ）」との座標ごとの差（二乗値）の最大値「ｄｅｔ（ｘ，ｙ）」と、所定値「ｔｈｒ」とを、式（１６）のように比較してもよい。領域決定部４４は、最大値「ＢＷ」が所定値「ｔｈｒ」を超える座標と、最大値「ＢＷ」が所定値「ｔｈｒ」以上となる座標とのいずれかに基づいて、新たな所定の解像度のエッジ画像の新たな部分領域を表す領域情報（Ｘ，Ｙ）を決定してもよい。

　変化量調整部４２は、式（１２）又は式（１３）のように、検出された位相変化「Ｃ^ｎ（Ｘ，Ｙ，ｔ）」に所定の調整率「α」を乗算する。これによって、変化量調整部４２は、検出された位相変化の変化量を調整することができる。変化量調整部４２は、乗算結果（調整結果）に、所定の解像度のエッジ画像の部分領域における元の位相変化「Φ^ｎ（Ｘ，Ｙ，ｔ）」を加算することによって、変化量が調整された位相変化「＾Φ^ｎ（Ｘ，Ｙ，ｔ）」を導出する。調整画像生成部４３は、変化量が調整された位相変化に応じた値「ｃｏｓ（＾Φ^ｎ（Ｘ，Ｙ，ｔ））」を、所定の解像度のエッジ画像の部分領域における振幅変化を表す値「Ａ^ｎ（Ｘ，Ｙ，ｔ）」に乗算する。これによって、調整画像生成部４３は、画像の運動変化の変化量が調整された所定の解像度の差分画像を生成することができる。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　本発明は、画像処理装置に適用可能である。

１…画像処理装置、２…画像入力部、３…画像分解部、４…画像調整部、５…画像再構成部、４０…画像変換部、４１…変化検出部、４２…変化量調整部、４３…調整画像生成部、４４…領域決定部

Claims (8)

1. 　互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出する変化検出部と、
   　検出された位相変化の変化量を調整する変化量調整部と、
   　位相変化の変化量が調整された位相変化に基づいて、運動変化の変化量が調整された前記所定の解像度のエッジ画像を生成する調整画像生成部と、
   　運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像とに基づいて、前記互いに異なる解像度のうちの新たな前記所定の解像度のエッジ画像の新たな部分領域を決定する領域決定部と
   　を備える画像処理装置。
2. 　前記エッジ画像は、前記所定の解像度の輝度画像同士の差分に基づく画像である、
   　請求項１に記載の画像処理装置。
3. 　前記領域決定部は、運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像との座標ごとの差の最大値が所定値を超える座標と、前記最大値が前記所定値以上となる座標とのいずれかに基づいて、新たな前記所定の解像度のエッジ画像の新たな部分領域を決定する、
   　請求項１又は請求項２に記載の画像処理装置。
4. 　前記変化量調整部は、検出された位相変化と所定の調整率とを乗算した結果に、前記所定の解像度のエッジ画像の部分領域における元の位相変化を加算する、
   　請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 　前記調整画像生成部は、変化量が調整された位相変化に応じた値を、前記所定の解像度のエッジ画像の部分領域における振幅変化を表す値に乗算する、
   　請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 　前記互いに異なる解像度のエッジ画像を生成する画像生成部と、
   　前記互いに異なる解像度のエッジ画像の部分領域の輝度変化を、位相変化及び振幅変化に変換する画像変換部と、
   　運動変化の変化量が調整された前記所定の解像度のエッジ画像に基づいて、原解像度の輝度画像を再構成し、再構成された原解像度の輝度画像と原解像度の色画像とを合成する画像再構成部と
   　を更に備える、請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 　画像処理装置が実行する画像処理方法であって、
   　互いに異なる解像度のうちの所定の解像度のエッジ画像の部分領域における位相変化のうちから、所定の変化量の位相変化を検出するステップと、
   　検出された位相変化の変化量を調整するステップと、
   　位相変化の変化量が調整された位相変化に基づいて、運動変化の変化量が調整された前記所定の解像度のエッジ画像を生成するステップと、
   　運動変化の変化量が調整されていない前記所定の解像度のエッジ画像と運動変化の変化量が調整された前記所定の解像度のエッジ画像とに基づいて、前記互いに異なる解像度のうちの新たな前記所定の解像度のエッジ画像の新たな部分領域を決定するステップと
   　を含む画像処理方法。
8. 　請求項１から請求項６のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。

Images