JP6017279B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。

従来、画像データに対するノイズ除去技術として、所謂巡回型ノイズ低減方法が知られている。このような技術として、特許文献１には、例えば、ノイズ低減処理済みの前フレーム画像と現フレーム画像との間で動き検出を行い、動き検出の結果に基づいて動き補償を行い、差分量から動き補償の信頼度を算出して、信頼度や動き量、或いはノイズ推定量に応じて、２つのフレーム画像の合成比率を制御しつつ合成処理を行うことが開示されている。
また、特許文献２には、上記した巡回型のノイズ低減方法において、ノイズが多い現フレーム画像に空間的なローパスフィルタをかけることで、時間的に相関性のないノイズを低減させることが開示されている。

特開２００９−１００２０７号公報 特開２００９−２１７５６号公報

しかしながら、上記した特許文献１に記載のノイズ低減システムでは、以下のような問題がある。すなわち、動き検出の際に、同じ動きをしている被写体の低コントラスト領域において、ノイズの影響により低コントラスト領域内の各演算領域間で動きベクトルの方向や大きさがばらつく。このため、合成画像における低コントラスト領域内には、ノイズにマッチングしたことでノイズがより強調され、異なった動きが混在することとなる。また、同一被写体内でコントラストの低い領域と高い領域とで動き補償時の動きベクトルがばらついていると、低コントラスト領域が揺れた画像となってしまう。
一方、特許文献２に記載のノイズ低減方法のように、現フレーム画像に空間的なローパスフィルタをかけたとしても、毎フレーム処理時の現フレーム画像にノイズが少なからず残ってしまうため、各演算領域での動きベクトルのばらつき自体は無くならない。従って、やはり取得される合成画像は低コントラスト領域が揺れた画像となってしまう。

本発明は、上記問題に鑑みてなされたものであって、低コントラスト領域の揺れを回避しながら十分なノイズ低減処理を行い、出力フレームにおける不自然な動きを抑制することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、フレーム画像を連続的に取得する画像取得手段と、該画像取得手段により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理手段と、該処理手段により生成された出力フレーム画像を蓄積する画像蓄積手段と、を備え、前記処理手段が、前記画像取得手段により取得されたフレーム画像である基準フレーム画像の高周波成分量を算出する高周波成分算出手段と、前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成する重み付け合成手段と、前記基準合成画像と前記参照フレーム画像との間の動きを補償する動き補償手段と、前記基準フレーム画像の対象画素と、前記動き補償手段により動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成して出力フレームを生成する画像合成手段と、を備える画像処理装置を提供する。

本発明によれば、画像取得手段により取得されたフレーム画像である基準フレーム画像の高周波成分量を算出し、算出した高周波成分量が小さいほど参照フレーム画像の合成比率が高くなるように参照フレーム画像と基準フレーム画像とを重み付け合成することにより基準合成画像を生成する。そして、動き補償手段により基準合成画像と参照フレーム画像との間の動きを補償して、基準フレーム画像の対象画素と、動き補償された参照フレーム画像における対象画素に対応する画素位置の対応画素とを合成する。ここで、基準合成画像は、高周波成分量が小さいほど参照フレーム画像の合成比率が高くなるように参照フレーム画像と基準フレーム画像とを重み付け合成されているので、ノイズの影響が低減され、基準合成画像における参照フレーム画像の寄与部分と参照フレーム画像との間で動きベクトルが求められる可能性が高まることとなる。

つまり、基準フレーム画像における処理対象領域の高周波成分量が小さい、すなわち高周波成分が少ない場合、当該処理対象領域はノイズ低減の必要性が高いため、基準フレーム画像に対して参照フレーム画像の合成比率を高くすることで、生成される基準合成画像における参照フレーム画像の寄与部分が多くなる。従って、このように重み付け合成された基準合成画像と参照フレーム画像とでは、ノイズの影響が低減され、動きベクトルのばらつきが少なくなり、複数の動きベクトルが揃った状態で出力フレーム画像の生成が行われるので、低コントラスト領域の揺れを抑制し、出力フレームにおける不自然な動きを抑制することができる。

一方、基準フレーム画像における処理対象領域の高周波成分量が高い、すなわち高周波成分が多い場合、基準フレーム画像のノイズ低減の必要性が低いため、基準フレーム画像に対して参照フレーム画像の合成比率を低くすることで、生成される基準合成画像における参照フレーム画像の寄与部分が少なくなる。これにより、ノイズの影響を抑制し、参照フレーム画像の基準合成画像に対する寄与による動き補償への悪影響も少なくなり、適切な動き補償により出力フレーム画像の生成が行われるので、出力フレームにおける不自然な動きを抑制することができる。

上記発明において、前記重み付け合成手段は、前記高周波成分量が第１の値以下の場合に前記基準合成画像に対して前記参照フレーム画像を第１の合成比率で重み付け合成し、前記高周波成分量が前記第１の値よりも大きい第２の値以上の場合に前記基準合成画像に対して前記参照フレーム画像を第１の合成率よりも小さい第２の合成率で重み付け合成することが好ましい。
このようにすることで、基準フレーム画像に対するノイズ低減の必要性に応じて基準合成画像と参照フレーム画像とを重み付け合成するので、出力フレーム画像においてより低コントラスト領域の揺れを抑制し、不自然な動きを抑制することができる。

上記発明において、前記基準フレーム画像が撮影された際のＩＳＯ感度値が高いほど前記第１の合成率が高く設定されることが好ましい。
このようにすることで、基準フレーム画像が、ノイズが多く動きベクトル算出時によるノイズの影響を抑制する必要性の高い高ＩＳＯ感度で撮像された場合であっても、効果的にノイズを低減しつつ、低コントラスト領域の揺れを抑制することができる。

また、本発明は、フレーム画像を連続的に取得するステップと、該フレーム画像を連続的に取得するステップにより取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、該出力フレーム画像を生成するステップにより生成された出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、取得されたフレーム画像である基準フレーム画像の高周波成分量を算出するステップと、前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成するステップと、該基準合成画像と前記参照フレーム画像との間の動きを補償するステップと、前記基準フレーム画像の対象画素と、前記動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。

また、本発明は、フレーム画像を連続的に取得するステップと、該フレーム画像を連続的に取得するステップにより取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、該出力フレーム画像を生成するステップにより生成された出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、取得されたフレーム画像である基準フレーム画像の高周波成分量を算出するステップと、前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成するステップと、該基準合成画像と前記参照フレーム画像との間の動きを補償するステップと、前記基準フレーム画像の対象画素と、前記動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成するステップと、を備える画像処理方法を提供する。

本発明によれば、低コントラスト領域の揺れを回避しながら十分なノイズ低減処理を行い、出力フレームにおける不自然な動きを抑制することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置において、入力されたフレーム画像が順次合成されていく様子を示した説明図である。 本発明の一実施形態に係る画像処理装置において、前フレーム画像の対象領域の重み付け合成比率ｋと現フレーム画像の高周波成分量との関係を示すグラフである。 本発明の一実施形態に係る画像処理装置において、基準合成画像の生成と動きベクトル算出の例を示す説明図である。 高周波成分量が小さい場合において従来の動きベクトル算出の例を示す説明図である。 本発明の一実施形態に係る画像処理装置において、高周波成分量が小さい場合の動きベクトル算出の例を示す説明図である。 本発明の一実施形態に係る画像処理装置における信頼度算出の際のフローチャートである。 本発明の一実施形態に係る画像処理装置における信頼度算出の際の様子を示した説明図である。 本発明の一実施形態に係る画像処理装置における信頼度と巡回係数αとの関係を示すグラフである。

以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。

図１は、画像処理装置の概略構成を示している。画像処理装置は、図２に示すように、入力されたフレーム画像と先に出力されたフレーム画像とを適宜合成してフレーム画像を生成し、生成されたフレーム画像を順次出力し、これを巡回、すなわち繰り返すことにより動画像を出力するものである。

このため、画像処理装置は、図１に示すように、画像取得部２、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部３、該処理部により生成された出力フレーム画像、すなわち、処理済みの画像データ（以下、「前フレーム画像（参照フレーム画像）」という）を蓄積する画像蓄積部４を備えている。
また、処理部３は、取得したフレーム画像に対して所定の処理を施すために、高周波成分算出部１０、重み付け合成部１１、動き補償部１２、信頼度算出部１４、巡回係数算出部１５、及び画像合成部１６を備えている。
画像取得部２は、図示しない撮像装置により撮像されたフレーム画像（以下、「現フレーム画像（基準フレーム画像）」という）を連続的に取得し、取得した現フレーム画像を高周波成分算出部１０及び重み付け合成部１１に出力する。

高周波成分算出部１０は、画像取得部２から出力された現フレーム画像の高周波成分量を算出し、後述する重み付け合成部１１に出力する。高周波成分の算出は、例えば以下のように算出する。現フレーム画像の輝度のうち、処理対象となる対象画素を含む任意の小領域内での輝度の平均値を求め、その平均値と小領域内の各画素との差分量（差の絶対値）を算出し、その差分量が最大のものを対象画素の高周波成分量とすることができる。

また、この他、現フレーム画像の輝度のうち、対象画素を含む小領域内での最も輝度が低い画素値と最も輝度が高い画素値の差を対象画素の高周波成分量とすることもできる。
さらに、現フレーム画像の輝度のうち、対象画素を含む小領域のエッジを抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、各エッジ量を合計し正規化したものを、対象画素の高周波成分量とすることもできる。この場合の正規化は、他の手法による高周波成分量と同一の尺度になるように、０〜２５５の値になるように正規化すれば良い。

さらにまた、別の高周波成分算出方法として、現フレーム画像の輝度のうち、対象画素を含む小領域をＤＣＴ変換やフーリエ変換して高周波成分を積算し正規化したものを、対象画素の高周波成分量とすることもできる。この場合の正規化も前述した例のように正規化する。
上述した例では、高周波成分の算出に現フレーム画像の輝度を利用したが、画素の明度を示すような例えばＲＧＢのＧなどを用いて算出することもできる。

重み付け合成部１１は、高周波成分算出部１０で算出された高周波成分量に基づいて、画像取得部２から出力された現フレーム画像と画像蓄積部４から出力された前フレーム画像とを重み付け合成することにより基準合成画像を生成する。より具体的には、現フレーム画像と前フレーム画像との合成比率を高周波成分量に応じて決定し、現フレーム画像の任意の小領域と画像蓄積部４に保存されている前フレーム画像における現フレーム画像の小領域と同じ座標位置の小領域とを、高周波成分量に応じて決定された合成比率に従って重み付け合成する。
なお、以下の説明において前フレーム画像の対象領域の重み付け合成比率をｋ（０≦ｋ≦１）とした場合、現フレーム画像の対象領域の重み付け合成比率は１−ｋとする。

重み付け合成の際の現フレーム画像と前フレーム画像との合成比率は、高周波成分量に応じて、例えば、以下のように決定される。
図３（Ａ）及び図３（Ｂ）に、高周波成分量に応じた重み付け合成比率の設定例に係るグラフを示した。図３の例は、いずれも現フレーム画像の高周波成分量が小さいほど前フレーム画像の対象領域の合成比率ｋが高くなるようになっている。これは、高周波成分量が小さい、すなわち高周波成分が少ないほど、現フレーム画像の処理対象領域はノイズ低減の必要性が高いため、現フレーム画像に対して前フレーム画像の合成比率ｋを高くすることで、重み付け合成後の基準合成画像における前フレーム画像の寄与部分を多くしている。

図３（Ａ）の例では、高周波成分量が閾値１以下の場合には前フレーム画像の対象領域の合成比率ｋを一定とする例を示している。すなわち、高周波成分量が閾値１以下の場合であって、ＩＳＯ感度６４００の場合には前フレーム画像の対象領域の合成比率を０．５とし、閾値１より大きい場合には、高周波成分量が多くなる程、合成比率を低くするように設定している。
また、例えば、高周波成分量が閾値１以下の場合であって、ＩＳＯ感度６４００より低いＩＳＯ感度８００や１００の場合には、ＩＳＯ感度が低い程、合成比率も全体的に小さくする。これは、ＩＳＯ感度が高い程、ノイズが多く、動きベクトル算出時によるノイズの影響を抑制する必要性も高いためである。

図３（Ｂ）の例では、全体的に高周波成分量が多くなる程、前フレーム画像の対象領域の合成比率ｋを低くしており、特に高周波成分量が閾値２以下の場合は合成比率ｋを０．５で一定としつつ、閾値３以上の場合にも合成比率ｋを０．５よりも小さい値で一定としている。
また、ＩＳＯ感度が高い程、ノイズが多く、動きベクトル算出時によるノイズの影響を抑制する必要性も高いことから、ＩＳＯ感度が低い程、前フレーム画像の合成比率を全体的に小さくする。

動き補償部１２は、重み付け合成部１１で生成された基準合成画像と前フレーム画像との間の動きを補償する。このため、動き補償部１２は、基準合成画像と画像蓄積部４に保存された前フレーム画像との間の動きベクトルを算出する動きベクトル算出部１３を備えている。そして、動き補償部１２は、動きベクトル算出部１３により算出した動きベクトルに基づいて、基準合成画像と前フレーム画像との位置合わせを行う。

すなわち、動き補償部１２は、動きベクトル算出部１３により算出された動きベクトルを相殺するように、前フレーム画像の切り出し位置を決定し、決定した切り出し位置から前フレーム画像の小領域を切り出すことにより基準合成画像と前フレーム画像との位置合わせを行い、前フレーム画像の小領域の中心画素を信頼度算出部１４及び画像合成部１６に出力する。

図４に、上述した重み付け合成部１１による基準合成画像の生成と、動きベクトル算出部１３による動きベクトル算出の例について説明する。
図４（Ａ）は前フレーム画像、図４（Ｂ）は現フレーム画像を夫々示しており、図４（Ａ）の現フレーム画像の木に含まれる対象領域を高周波成分が少ない領域の例とし、トラックの端を含む対象領域を高周波成分が多い領域の例として、図４（Ｃ）及び（Ｄ）に高周波成分が少ない領域の例及び高周波成分が多い領域の例に係る重み付け合成による基準合成画像と動きベクトル算出領域の例を夫々示している。

図４（Ｃ）では、木の部分の現フレーム画像の対象領域において高周波成分が少なく、前フレーム画像における現フレーム画像の対象領域と同じ画素位置の領域（前フレーム画像の対象領域）と現フレーム画像の対象領域とを０．５と０．５の重み付け合成比率で合成して対象領域についての基準合成画像を生成する。合成された基準合成画像の対象領域と前フレーム画像の対象領域間で動きベクトルの算出をする。

図４（Ｄ）の例は、トラックの部分の現フレーム画像の対象領域において高周波成分が多く、前フレーム画像における現フレーム画像の対象領域と同じ画素位置の領域（前フレーム画像の対象領域）と現フレーム画像の対象領域とを０．１と０．９の重み付け合成比率して対象領域についての基準合成画像を生成する。合成された基準合成画像の対象領域と前フレーム画像の対象領域間で動きベクトルの算出をする。

高周波成分量が小さい、すなわち高周波成分が少ない場合の動きベクトル算出の例について、図５及び図６を参照して従来の動きベクトル算出の例と比較しながら説明する。
図５（Ａ）〜（Ｃ）は、従来の動きベクトル算出結果の例であり、基準合成画像を使わず、現フレーム画像の対象領域と前フレーム画像の対象領域との間での動きベクトルの算出結果である。図５（Ａ）に示すようにサーチ範囲含む前フレーム画像に対して現フレーム画像の対象領域を走査させながらブロックマッチング法でＳＡＤ（差分の絶対値和）を算出し、ＳＡＤが一番小さい値の座標位置をもとに動きベクトルを算出する。ＳＡＤが最も小さい値の座標位置を中心とする領域が、現フレーム画像の対象領域とマッチングされた領域となる（図５（Ｂ）参照）。

算出された動きベクトルにおける真値との誤差を時間方向にプロットした例を図５（Ｃ）に示す。真値との誤差については、水平方向の動きベクトルの真値との誤差、垂直方向の動きベクトルの真値との誤差、水平垂直方向の合成した動きベクトルの真値との誤差のうち何れかである。時間ｔにおいて、真値の動きベクトルが検出されたとする。しかし、基準画像には多くのノイズが含まれているため、高周波成分が少ない低コントラストの被写体では、ｔ＋１、ｔ＋２・・・ｔ＋８の時間方向での検出される動きベクトルは、真値との誤差の程度にばらつきが生じてしまう。時間方向のばらつきが発生しているということは、同じ被写体の低コントラスト領域に異なった動きが空間方向にも時間方向にも混在していることになり、動き補償して生成した出力フレーム画像は、低コントラスト領域が揺れて表示されてしまう。

図６（Ａ）〜（Ｅ）は、本実施形態における動きベクトル算出結果の例を示しており、基準合成画像と前フレーム画像間での動きベクトルの算出結果である。図６（Ａ）に示すように、サーチ範囲含む前フレーム画像に対して基準合成画像の対象領域を走査させながらブロックマッチング法でＳＡＤ（差分の絶対値和）を算出し、ＳＡＤが一番小さい値の座標位置をもとに動きベクトルを算出する。ＳＡＤが最も小さい値の座標位置を中心とする領域が、基準合成画像の対象領域とマッチングされた領域となる（図６（Ｂ）、（Ｄ）参照）。図６（Ｂ）はＳＡＤが一番小さい値、つまり基準合成画像とマッチングされた位置が真値の場合を示しており、図６（Ｄ）はマッチングされた位置が真値ではない場合を示している。

基準合成画像は、前フレーム画像の木の一部と低減されたノイズと、現フレーム画像の対象領域にある木の一部と低減されていないノイズとの合成画像となるため図６（Ｂ）、（Ｄ）に示すようにノイズは低減され、木の一部が二重像になった画像である。そのため、真値のところにマッチングする場合と、基準合成画像の二重像側とマッチングしてしまう場合のどちらかとなる。どちらか相関が高い方とマッチングする。この相関性は時間方向でも継続されていくため、どちらの場合においても、時間方向の検出される動きベクトルの真値との誤差においてばらつきがなくなる（図６（Ｃ）、（Ｅ））。この時間方向のばらつきがないということは、同じ被写体の低コントラスト領域で空間方向にも時間方向にも同じ動きをしていることになり、動き補償して生成した出力フレーム画像は、低コントラスト領域が揺れることなく安定した動画が表示される。

なお、高周波成分量が多い高コントラストな領域においては、前フレーム画像の対象領域の重み付け合成比率が低く、現フレーム画像の対象領域の合成比率が高いので、基準合成画像としてはノイズが少し低減されつつ、現フレーム画像側の被写体の高周波成分（エッジ部）は残っている合成画像となる。そのため、ノイズの影響を受けずに真値の動きベクトルを算出することができる。

なお、動き補償は、基準合成画像と前フレーム画像との間で小領域毎にブロックマッチング法等で算出した動きベクトルに基づいて、小領域毎に動き補償を行ってもよく、また、小領域毎の動きベクトルの統計に基づいて最も頻度の高い動きベクトルを画像全体のグローバルな動きべクトルとして動き補償を行ってもよい。

信頼度算出部１４は、動き補償部１２により動き補償された領域を用いて動き補償の信頼度、すなわち、現フレーム画像の対象画素と、前フレーム画像における対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する。より詳細には、信頼度算出部１４は、図７のフローチャートに従って信頼度を算出する。
図７に示すように、信頼度算出部１４は、動き補償部１２によって位置合わせされ抽出された前フレーム画像の小領域において、現フレーム画像の小領域を基準領域とし、前フレーム画像の小領域を参照領域とする（Ｓ１０１）。続いて、基準領域と参照領域間で差分の絶対値和（ＳＡＤ）を算出する（Ｓ１０２）。

図８に示す信頼度算出の例では、現フレーム画像の小領域にはノイズが多く含まれており、前フレーム画像の小領域はノイズが低減されている。この領域間でＳＡＤを算出し、ＳＡＤの値に応じて信頼度を算出する。なお、信頼度を算出するために、必ずしもＳＡＤを算出する必要はなく、例えば、相違度や類似度が評価できる差の２乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などを算出しても良い。

次のステップＳ１０３では、算出されたＳＡＤに基づいて信頼度を算出する。ＳＡＤやＳＳＤのように相違度を評価する場合には、評価値が小さい程、信頼度は高く、評価値が大きい程、信頼度は低くするように算出する。

巡回係数算出部１５は、信頼度算出部１４で算出された信頼度に基づいて巡回係数を算出する。ここで、巡回係数αとは、現フレーム画像の対象画素と該対象画素と対応する前フレーム画像における対応画素位置の対応画素とを合成する際の合成比率である。図９に、信頼度と巡回係数αとの関係を示した。図９に示すように、信頼度が高くなる程、前フレーム画像の対象画素の巡回係数αが高くなるようにして算出する。

画像合成部１６は、画像取得部２から入力された現フレームの画像と動き補償部１２から入力された動き補償された前フレーム画像の対応画素とを巡回係数αを用いて合成し、出力フレーム画像として出力するとともに、画像蓄積部４に保存する。

なお、画像取得部２から出力された現フレーム画像に対して空間フィルタをかける空間フィルタ部を設けることもでき、この場合には、空間フィルタ部は、巡回係数αに応じて現フレーム画像にかかる空間フィルタの強度を制御して空間フィルタをかけ、その結果を画像合成部１６へ出力する。

このように構成された画像処理装置の画像取得部２において取得されたＮ番目のフレーム画像（以下、「Ｎフレーム」という）に対する画像処理は以下のように行われる。
高周波成分算出部１０においてＮフレームの高周波成分量が算出され、算出された高周波成分量が重み付け合成部１１に出力される。重み付け合成部１１では、高周波成分量に基づいて画像蓄積部４に保存されているＮ−１番目の出力フレーム画像（以下、単に「Ｎ−１フレーム」という）とＮフレームとを重み付け合成して基準合成画像を生成する。

動き補償部１２により、Ｎ−１フレームと基準合成画像との間の位置合わせを行い、この結果を信頼度算出部１４に出力する。信頼度算出部１４では、動き補償部１２におけるＮ−１フレームと基準合成画像との間の位置合わせを結果をもとに、Ｎ−１フレームとＮフレームとにより信頼度を算出する。この信頼度に基づいて、巡回係数算出部１５に巡回係数αを決定し画像合成部１６に出力する。
画像合成部１６では、Ｎ−１フレームに対しては巡回係数αを、Ｎフレームに対しては１-αとして、Ｎ−１フレームとＮフレームとを合成して出力フレーム画像を生成する。

以上述べたように本実施形態によれば、動き補償に先立って、現フレーム画像の高周波成分の量を考慮して、現フレーム画像と前フレーム画像とを重み付け合成した基準合成画像を生成し、これを動き補償に利用するので、ノイズの影響により低コントラスト領域において異なった動きが混在したり、低コントラスト領域が揺れて表示されたりするという不具合を抑制することができる。また高コントラスト領域についても不自然な動き抑制することができる。

２ 画像取得部
３ 処理部
４ 画像蓄積部
１０ 高周波成分算出部
１１ 重み付け合成部
１２ 動き補償部
１３ 動きベクトル算出部
１４ 信頼度算出部
１５ 巡回係数算出部
１６ 画像合成部

Claims (5)

1. フレーム画像を連続的に取得する画像取得手段と、
   該画像取得手段により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理手段と、
   該処理手段により生成された出力フレーム画像を蓄積する画像蓄積手段と、を備え、
   前記処理手段が、
   前記画像取得手段により取得されたフレーム画像である基準フレーム画像の高周波成分量を算出する高周波成分算出手段と、
   前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成する重み付け合成手段と、
   前記基準合成画像と前記参照フレーム画像との間の動きを補償する動き補償手段と、
   前記基準フレーム画像の対象画素と、前記動き補償手段により動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成して出力フレームを生成する画像合成手段と、
   を備える画像処理装置。
2. 前記重み付け合成手段は、前記高周波成分量が第１の値以下の場合に前記基準合成画像に対して前記参照フレーム画像を第１の合成比率で重み付け合成し、前記高周波成分量が前記第１の値よりも大きい第２の値以上の場合に前記基準合成画像に対して前記参照フレーム画像を第１の合成率よりも小さい第２の合成率で重み付け合成する請求項１に記載の画像処理装置。
3. 前記基準フレーム画像が撮影された際のＩＳＯ感度値が高いほど前記第１の合成比率が高く設定される請求項２に記載の画像処理装置。
4. フレーム画像を連続的に取得するステップと、
   該フレーム画像を連続的に取得するステップにより取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
   該出力フレーム画像を生成するステップにより生成された出力フレーム画像を蓄積するステップと、を備え、
   前記出力フレーム画像を生成するステップが、
   取得されたフレーム画像である基準フレーム画像の高周波成分量を算出するステップと、
   前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成するステップと、
   該基準合成画像と前記参照フレーム画像との間の動きを補償するステップと、
   前記基準フレーム画像の対象画素と、前記動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成するステップと、
   をコンピュータに実行させる画像処理プログラム。
5. フレーム画像を連続的に取得するステップと、
   該フレーム画像を連続的に取得するステップにより取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
   該出力フレーム画像を生成するステップにより生成された出力フレーム画像を蓄積するステップと、を備え、
   前記出力フレーム画像を生成するステップが、
   取得されたフレーム画像である基準フレーム画像の高周波成分量を算出するステップと、
   前記高周波成分量に基づいて、基準フレーム画像の取得時よりも過去に出力された出力フレーム画像である参照フレーム画像と前記基準フレーム画像とを、前記高周波成分量が小さいほど前記参照フレーム画像の合成比率が高くなるように重み付け合成することにより基準合成画像を生成するステップと、
   該基準合成画像と前記参照フレーム画像との間の動きを補償するステップと、
   前記基準フレーム画像の対象画素と、前記動き補償された前記参照フレーム画像における前記対象画素に対応する画素位置の対応画素とを合成するステップと、
   を備える画像処理方法。

Images