JP7118818B2 - 画像処理方法、画像処理装置、撮像装置、およびプログラム - Google Patents

Description

本発明は、画像データのノイズ低減とぶれを補正する技術に関する。

画像データのノイズ低減を目的とした画像処理技術として、巡回型ノイズリダクション処理が知られている。例えば、特許文献１には、画素単位で動き量を検出し、その検出した動き量に応じて画素単位で設定した強度で、巡回型ノイズリダクション処理を行う技術が開示されている。これらの巡回型ノイズリダクション処理の適用例として、撮像装置が挙げられる。

また、特許文献２には、二つの画像データ間の動き量を推定し、この推定した動き量から動き補償画像データを生成する技術が開示されている。この動き補償画像データを用いることで、画像データに対してぶれ補正処理を行うことができる。

特開２０１２－１２９６１７号公報 特開２０１４－３９１６９号公報

ところで、画像データに、前述した巡回型ノイズリダクション処理を適用してからぶれ補正処理を適用すると、ぶれが発生する領域とぶれが発生しない領域とが生じているように見える画像データが生成されてしまうケースがあることが判明した。

そこで、本発明は、巡回型ＮＲ処理を適用した場合において、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制することを目的とする。

本願請求項１に係る画像処理装置によれば、撮像された画像から動き量を検出する動き量検出手段と、前記画像を撮像した撮像装置のぶれ量を検知するぶれ検知手段と、巡回型ノイズリダクション処理を制御する制御手段と、前記制御手段による前記巡回型ノイズリダクション処理の制御の下で前記画像に対して巡回型ノイズリダクション処理を行う処理手段と、前記ぶれ量を基に前記画像のぶれを抑えるぶれ補正処理を行う補正手段と、を有し、前記制御手段は、前記ぶれ補正処理が動作していない場合には、前記動き量に基づいて、１つ以上の画素を含む領域単位で前記巡回型ノイズリダクション処理の強度を制御し、前記ぶれ補正処理が動作している場合には、前記画像の全ての領域に一律な巡回型ノイズリダクション処理の強度制御を行うことを特徴とする。

本発明によれば、巡回型ＮＲ処理を適用した場合において、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制することが可能な画像処理装置を提供することができる。

第１の実施形態の撮像装置の概略構成を示すブロック図である。 第１の実施形態における処理の流れを示すフローチャートである。 第１の実施形態における一律な強度算出処理のフローチャートである。 第１の実施形態における領域毎の動き量と巡回型ＮＲ処理の領域単位の強度との関係を表す図である。 第１の実施形態における領域毎の動き量と巡回型ＮＲ処理の一律な強度との関係を表す図である。 領域単位で強度を設定し、かつ、ぶれ補正処理を行った場合の画像データの様子を説明するための図である。 第２の実施形態における巡回型ＮＲ処理の強度と空間型ＮＲ処理の強度の関係を説明するための図である。 第３の実施形態における領域単位の強度と一律な強度の関係を説明するための図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態では、本発明の一適用例として撮像装置を例に挙げて説明する。
本実施形態の撮像装置は、画像データのノイズを低減する機能として巡回型ノイズリダクション処理を実行する機能を有している。以下の説明では、巡回型ノイズリダクション処理を巡回型ＮＲ処理と表記する。また本実施形態の撮像装置は、撮影時における当該撮像装置のぶれ（揺れ）を求め、そのぶれの情報を基に、画像データに対してぶれ補正処理を行う、ぶれ補正機能を有している。さらに撮像装置は、撮影時に求めたぶれ量（揺れの大きさ）が所定のぶれ量より大きい場合にはぶれ補正機能を動作させ、一方、ぶれ量が所定のぶれ量以下の場合（撮像装置が殆ど揺れていない場合）にはぶれ補正機能を停止する機能をも有している。なお、ぶれ補正機能を動作させるか否かを決める際の所定のぶれ量は、予め決められた値であるとする。

また詳細は後述するが、本実施形態の撮像装置は、領域単位で動き量を検出し、その検出した動き量に応じて領域単位で巡回型ＮＲ処理の強度を制御する機能を有している。以下の説明では、領域単位の強度で行われる巡回型ＮＲ処理を、領域単位の巡回型ＮＲ処理と表記する。さらに本実施形態の撮像装置は、領域単位の動き量の情報に基づいて、全ての領域に一律に適用される巡回型ＮＲ処理の強度を算出して、巡回型ＮＲ処理を行う機能をも有している。以下の説明では、全ての領域に一律の強度で適用される巡回型ＮＲ処理を一律な巡回型ＮＲ処理と表記する。なお、領域単位で設定した強度で巡回型ＮＲ処理を行う構成の代わりに、画素単位で設定した強度で巡回型ＮＲ処理を行う構成としてもよい。ここでは説明を簡単にするため、１つ以上の画素を含む領域単位で設定した強度で巡回型ＮＲ処理を行う構成を例にあげて説明を行う。

＜第１の実施形態＞
以下、図１から図５を参照して、第１の実施形態の撮像装置において、ぶれ量と動き量を基に巡回型ＮＲ処理の強度を制御する構成及び処理について説明する。
図１は本実施形態の撮像装置の概略構成例を示したブロック図である。なお、図１には、ぶれ量と動き量に基づいて強度を制御する主要な構成部のみを示しており、撮像装置が備えている一般的な他の構成の図示は省略している。

この撮像装置は画像生成装置１００、画像処理装置１１０、表示装置１２１、および、記録回路１２２を含む。
画像生成装置１００は撮像光学系１０１、撮像光学系１０１により形成された光学像を電気信号に変換する撮像素子１０２、および、撮像素子１０２で生成された電気信号から画像データを生成する画像データ生成回路１０３を含む。画像データ生成回路１０３で生成された画像データは画像処理装置１１０に出力される。

画像処理装置１１０は、動き量検出回路１１１、ぶれ量算出回路１１２、一律強度算出回路１１３、強度決定回路１１４、巡回型ＮＲ処理回路１１５、画像加工回路１１６、および、ぶれ補正回路１１７を含む。
動き量検出回路１１１は、画像データ生成回路１０３から連続したフレームの画像データを受け取り、それぞれの画像データを複数の領域に分割する。そして、いずれかのフレームである基準画像データと、その基準画像データの１フレーム前の画像データとから、領域毎の動き量（動きベクトル）を検出する。そして、その検出した動き量の情報を、ぶれ量算出回路１１２、一律強度算出回路１１３、および、強度決定回路１１４に出力する。

ぶれ量算出回路１１２は、撮影時において撮像装置が揺れている時の揺れの大きさ（ぶれ量）と揺れの方向を算出する。例えば、ぶれ量算出回路１１２は、動き量検出回路１１１で検出された動き量の情報を取得し、その動き量を基に撮像装置のぶれ量を推定する。動き量に基づくぶれ量の推定処理については種々の手法が存在しており、本実施形態ではそれら何れの手法を用いてもよい。また別の例として、ぶれ量算出回路１１２は、不図示の加速度センサーや角速度センサー等のデバイスから得られたデータを基に撮像装置のぶれ量を検知してもよい。加速度センサーや角速度センサー等からのデータ等に基づくぶれ量の算出についても種々の手法が存在しており、本実施形態ではそれら何れの手法を用いてもよい。そして、ぶれ量算出回路１１２は、前述のように推定または算出したぶれ量の情報を、強度決定回路１１４とぶれ補正回路１１７とに出力する。

一律強度算出回路１１３は、動き量検出回路１１１から取得した動き量の情報を基に、全ての領域に一律に適用される巡回型ＮＲ処理の強度（一律な強度）を算出する。
強度決定回路１１４は、ぶれ量算出回路１１２から取得したぶれ量を基に、後段のぶれ補正回路１１７においてぶれ補正処理が行われるか判定する。そして、強度決定回路１１４は、ぶれ補正回路１１７においてぶれ補正処理が行われる場合に、巡回型ＮＲ処理回路１１５がぶれ補正処理の開始に先立って、一律強度算出回路１１３で算出された強度で巡回型ＮＲ処理を行う。なお、後段のぶれ補正回路１１７でぶれ補正処理が行われるかどうかは、例えば、算出されたぶれ量が例えば所定のぶれ量より大きいか否かにより判定可能である。例えば、算出されたぶれ量が所定のぶれ量より大きい場合にはぶれ補正処理が行われ、一方、所定のぶれ量以下である場合にはぶれ補正処理が行われないと判定する。

一律強度算出回路１１３は、動き量検出回路１１１にて検出された動き量の統計データを取得する。統計データとは、動き量の平均値や中央値、最大値、最小値、および、分散などである。次に、一律強度算出回路１１３は、その統計データの分散から、基準画像データにおける動き量のばらつき度を求める。さらに、一律強度算出回路１１３は、動き量のばらつき度に基づいて、統計データの中から一律な強度を算出する際の動き量の基準値を選択する。次に、一律強度算出回路１１３は、選択した動き量の基準値を用いて、全ての領域に一律に適用される一律な強度を算出する。一律な強度を算出する際の動き量の基準値の選択の仕方については後述する。そして、一律強度算出回路１１３は、算出した一律な強度の情報を、強度決定回路１１４に出力する。

強度決定回路１１４は、動き量検出回路１１１で検出された領域毎の動き量を基に、領域単位で巡回型ＮＲ処理の強度（領域単位の強度）を算出する。また、強度決定回路１１４は、一律強度算出回路１１３から、全領域に適用する一律な強度を取得し、ぶれ量算出回路１１２で算出されたぶれ量に基づいて、一律な強度と領域単位の強度の何れを選択して出力するかを決定する。本実施形態の場合、強度決定回路１１４は、算出されたぶれ量が所定のぶれ量以下であり後段のぶれ補正処理が行われない場合に、領域単位の強度を選択する。一方、本実施形態において、強度決定回路１１４は、検知されたぶれ量が所定のぶれ量より大きく後段のぶれ補正処理が行われる場合には、一律な強度を選択する。そして、強度決定回路１１４は、前述のように一律な強度と領域単位の強度のうち、選択された方の強度の情報を、巡回型ＮＲ処理回路１１５に出力する。

巡回型ＮＲ処理回路１１５は、強度決定回路１１４から供給された、一律な強度または領域単位の強度を基に、画像生成装置１００から受け取った画像データに対して巡回型ＮＲ処理を実行する。そして、巡回型ＮＲ処理回路１１５は、巡回型ＮＲ処理を行った後の画像データを、画像加工回路１１６に出力する。

画像加工回路１１６は、巡回型ＮＲ処理回路１１５による巡回型ＮＲ処理後の画像データに対し、巡回型ＮＲ処理以外の各種画像処理を実行する。例えば、画像加工回路１１６は、１枚の画像データで空間的なフィルタ処理を行う空間型ノイズリダクション処理（空間型ＮＲ処理）や、鮮鋭度を高めるシャープネス処理、中間階調の表現を向上させる階調補正処理などの各種画像処理を実行する。画像加工回路１１６は、それら画像処理後の画像データを、ぶれ補正回路１１７に出力する。

ぶれ補正回路１１７は、ぶれ量算出回路１１２からのぶれ量に基づいてぶれ補正処理を行うか否かを切り替える。ぶれ量算出回路１１２は、ぶれ補正処理を行うと判断した場合には、ぶれ量算出回路１１２からのぶれ量に応じたぶれ補正処理を実行する。具体的には、ぶれ補正回路１１７は、検知されたぶれ量が所定のぶれ量以下である場合にはぶれ補正処理を停止し、ぶれ量が所定のぶれ量より大きい場合には、そのぶれの方向とぶれ量に応じたぶれ補正処理を実行する。ぶれ補正処理は、一例として、ぶれの向きとは逆向きに、そのぶれ量に合わせた分だけシフトした位置で、画像データの一部を切り出す処理である。ぶれ補正回路１１７にてぶれ補正処理が行われた後の画像データ、または、ぶれが無いためぶれ補正処理が行われなかった画像データは、表示装置１２１あるいは記録回路１２２などに出力される。

ぶれ補正回路１１７から出力される画像データは、例えば記録回路１２２により記録媒体に記録されてもよいし、表示装置１２１によって画像の表示に用いられてもよい。あるいは、ぶれ補正回路１１７から出力される画像データは、不図示の通信装置により外部装置に送信されてもよい。

図２は、図１に示した本実施形態の撮像装置により行われる、動き量の検知、ぶれ量の算出、巡回型ＮＲ処理の強度の決定、巡回型ＮＲ処理、ぶれ補正処理、画像データの出力までの一連の処理の流れを示したフローチャートである。
なお、図２では、各処理のステップＳ１０～Ｓ８０を、それぞれＳ１０～Ｓ８０と略記する。また図２のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。この図２のフローチャートの処理は、画像生成装置１００が画像データを生成することで開始される。

先ず、ステップ１０において、画像処理装置１１０は、画像生成装置１００で生成された画像データを取得し、画像処理装置１１０の動き量検出回路１１１が領域毎の動き量（動きベクトル）を検出する。
また、ステップ２０において、ぶれ量算出回路１１２は、当該撮像装置のぶれ量を算出する。ぶれ量は、前述したように、動き量検出回路１１１により検出された動き量に基づいて検知されたものでもよいし、加速度センサー等のデバイスからの出力を基に検知されたものでもよい。ぶれ量算出回路１１２により検知されたぶれ量の情報は、前述したように、強度決定回路１１４とぶれ補正回路１１７に送られる。

次に、ステップ３０において、一律強度算出回路１１３は、ステップ１０で検出された動き量に基づいて、前述したように画像データの全領域に一律に適用する一律な巡回型ＮＲ処理の強度を算出する。この一律な強度の算出処理については、後に図３のフローチャートを参照して説明する。

また、ステップ４０において、強度決定回路１１４は、前述したように動き量検出回路１１１で検出された領域毎の動き量を基に、領域毎の巡回型ＮＲ処理の強度を算出する。
さらに、ステップ５０において、強度決定回路１１４は、前述したようにぶれ量算出回路１１２で算出されたぶれ量に基づき、一律な強度と領域毎の強度の何れかを選択して、巡回型ＮＲ処理回路１１５へ出力する。
次に、ステップ６０において、巡回型ＮＲ処理回路１１５は、ステップ５０で選択された強度を用いた巡回型ＮＲ処理を画像データに対して施す。

ここで、巡回型ＮＲ処理を適用する前の、Ｎ番目のフレームの座標（ｘ，ｙ）における画像データの信号レベルをＶ_xyN、巡回型ＮＲ処理を適用した後の、Ｎ番目のフレームの座標（ｘ，ｙ）における画像データの信号レベルをＷ_xyN、巡回型ＮＲ処理を適用した後の、（Ｎ－１）番目のフレームの座標（ｘ，ｙ）における画像データの信号レベルをＷ_xy(N-1)、巡回型ＮＲ処理の強度である係数をｋとすると、
Ｗ_xyN＝ｋ×（Ｖ_xyN－Ｗ_xy(N-1)）＋Ｗ_xy(N-1) ・・・（１）
という式で表すことができる。

あるいは、式１を変形し、次の式２として表わすこともできる。
Ｗ_xyN＝ｋ×Ｖ_xyN＋（１－ｋ）×Ｗ_xy(N-1) ・・・（２）

係数ｋは０以上および１以下の値であり、係数ｋの値が０に近いほど、巡回型ＮＲ処理を適用した後の値Ｗ_xyNは、前フレームの巡回型ＮＲ処理を適用した後の値Ｗ_xy(N-1)に近くなる。反対に、係数ｋの値が１に近いほど、巡回型ＮＲ処理を適用した後の値Ｗ_xyNは、巡回型ＮＲ処理を適用する前の値Ｖ_xyNに近くなる。すなわち、係数ｋの値を０に近づけるほど、前後のフレーム間において、座標（ｘ，ｙ）における画像データの信号レベルの変化量が小さくなり、ノイズによる信号レベルの変動を抑えることができる。反対に、係数ｋの値を１に近づけるほど、後フレームの信号レベルに対する、前フレームの信号レベルの影響を小さくすることができる。一般的に、被写体の動き量が小さいほど、ノイズによる信号レベルの変動を抑えるために、係数ｋの値を０に近い値とし、被写体の動き量が大きいほど、前フレームの信号レベルの影響を小さくするために、係数ｋの値を１に近い値とする。一律な強度は、１フレームに含まれるすべての領域に対して同一に設定される係数ｋを示し、領域単位の強度は、１フレームの領域ごとに個別に設定される係数ｋを示す。本実施形態では、係数ｋの値が０に近いほど巡回型ＮＲ処理の強度が高い（前フレームの信号レベルの影響が大きい）ものとし、係数ｋの値が１に近いほど巡回型ＮＲ処理の強度が低い（前フレームの信号レベルの影響が小さい）ものとする。

さらに、ステップ７０において、ぶれ補正回路１１７は、巡回型ＮＲ処理回路１１５による巡回型ＮＲ処理後の画像データに対して、ステップ２０で算出されたぶれ量に基づくぶれ補正処理を実行する。
その後、ステップ８０において、ぶれ補正回路１１７は、巡回型ＮＲ処理やぶれ補正処理等が施された後の画像データを表示装置１２１や記録回路１２２に出力する。

図３は、図２のステップ３０において、一律強度算出回路１１３で行われる一律な強度の算出の詳細な処理の流れを示したフローチャートである。
図３のステップ３１において、一律強度算出回路１１３は、動き量検出回路１１１にて検出された領域毎の動き量を取得し、さらに、基準画像データにおける動き量の統計データ（動き量の平均値、中央値、最大値、最小値、分散など）を算出する。
次に、ステップ３２において、一律強度算出回路１１３は、ステップ３１で算出した動き量の統計データのなかの分散から、基準画像データにおける動き量のばらつき度を算出する。

次に、ステップ３３において、一律強度算出回路１１３は、ステップ３２で算出した動き量のばらつき度を基に、一律な強度を算出する際に用いられる、動き量の基準値を選択する。この場合、先ず、一律強度算出回路１１３は、前述した基準画像データの動き量の統計データから基準となるデータ（基準値）を選択する。例えば、一律強度算出回路１１３は、基準画像データの動き量のばらつき度が所定値よりも小さい場合には、前述した動き量の統計データのなかの平均値を、動き量の基準値として選択する。すなわち、動き量のばらつき度が所定値よりも小さい場合、動き量の平均値から動き量の最大値までの差分、若しくは、平均値から最小値までの差分が小さいため、近似とみなして動き量の統計データの平均値を基準値としてよい。なお、一律強度算出回路１１３は、基準画像データの動き量のばらつき度が所定値よりも小さい場合、動き量の統計データのなかの中央値を、基準値として選択してもよい。

一方、動き量のばらつき度が所定値以上である場合、前述のように動き量の統計データの平均値や中央値を基準値として用いると、領域によっては巡回型ＮＲ処理の強度が必要以上に高くなり、前フレームの影響による残像が発生することがある。したがって、動き量のばらつき度が所定値以上である場合、一律強度算出回路１１３は、残像の発生を抑えるために、動き量の統計データのなかで強度が最も低くなる、動き量の最大値を、動き量の基準値として選択する。この一律な強度も、一般的な巡回型ＮＲ処理の強度と同様に、被写体の動き量が小さいほど係数ｋの値を０に近い値と（強度を高く）し、被写体の動き量が大きいほど係数ｋの値を１に近い値と（強度を低く）する。

そして、次のステップ３４において、一律強度算出回路１１３は、ステップ３３で取得された基準値を基に、全ての領域に一律に適用される一律な強度を算出する。
なお、取得した動き量のばらつき度と比較される前述の所定値は、実験的に求めることができる。実験的に所定値を求める場合、例えば動き量のばらつき度を異ならせた複数のテスト用の動画が用意される。そして、動き量のばらつき度が小さい動画から順に、動き量の平均値に基づく強度を設定したときの残像の程度を判定し、残像が気になると最初に判定された動画の動き量のばらつき度を、所定値として設定すればよい。

図４は、強度制御における、領域毎の動き量と巡回型ＮＲ処理の強度との関係を表した図である。この図４は、ぶれ補正処理が行われない場合（ぶれ補正処理が無効の場合）に、強度決定回路１１４で決定される領域単位の強度を示す図である。
撮像装置のぶれ（揺れ）が殆ど無く、ぶれ補正処理が行われない場合、強度決定回路１１４は、一律な強度ではなく、領域単位の強度を選択する。

そして、図４に示すように、強度決定回路１１４は、動き量が大きい領域ほど、動きのある被写体の領域に残像が発生することを防ぐことを優先するために、強度を低くする。一方、強度決定回路１１４は、動き量が小さい領域ほど、被写体の領域に残像が発生するリスクが少なくなるので、ノイズを低減させることを優先するために、強度を強くする。具体的には、図４の例では、動き量が閾値Ｔｈ１未満であれば係数ｋの値は０に設定され、動き量が閾値Ｔｈ２以上であれば係数ｋの値は１に設定され、動き量が閾値Ｔｈ１以上かつＴｈ２未満であれば、動き量が大きくなるほど係数ｋが１に近づく。なお、Ｔｈ１は０としてもよい。なお、この場合、１枚の画像データの中に動き量の大きさが異なる複数の領域が存在すると、図４に示したように、巡回型ＮＲの強度が相対的に弱い領域と強い領域が存在することになる。

図５は、図４と同様に、領域毎の動き量と強度との関係を表した図である。この図５は、ぶれ補正処理が行われる場合（ぶれ補正処理が有効の場合）に、強度決定回路１１４で決定される一律な強度を示す図である。
図５の例のように、撮像装置のぶれ（揺れ）を補正するぶれ補正処理が行われる場合、強度決定回路１１４は、領域単位の強度ではなく、一律な強度を選択する。

すなわち、ぶれ補正処理が行われる場合、図５に示すように、強度決定回路１１４は、領域毎の動き量によらず、フレーム内で求められた１つの動き量の基準値に基づいて強度を設定することで、画像データ内の領域によってぶれ量に差異が発生しないようにする。つまり、巡回型ＮＲ処理回路１１５は、全ての領域に対して一律な強度で巡回型ＮＲ処理が行う。

ここで、ぶれ補正処理が行われる場合に、領域単位で強度を設定するのではなく、一律な強度を設定することが望ましい理由について説明する。
図６は、領域単位で強度を設定し、かつ、ぶれ補正処理を行った場合の画像データの様子を説明するための図である。図６において、（Ｎ－１）番目のフレームとＮ番目のフレームのそれぞれの画像データには、被写体としてビルディングの窓が含まれているものとする。

図６（ａ）は、Ｎ番目のフレームにおける窓６０１と、（Ｎ－１）番目のフレームにおける窓６０２を示す。窓６０１と窓６０２は同一の窓であり、ぶれによって矢印で示す量だけ、それぞれのフレームの画像データ内における位置がずれたものとする。この窓６０１と窓６０２は、実線で示した窓枠の内側には空が映り込んでおり、窓枠の内側の信号レベルはほぼ均一ではあるが、ノイズによる信号レベルの変動が存在する。反対に、窓６０１（窓６０２）とその周囲の領域の信号レベルは大きく異なっているものとする。

ここで、（Ｎ－１）番目のフレームに対して、領域単位で強度を設定して巡回型ＮＲ処理を適用する場合の処理について説明する。
図６（ｂ）に示すように、窓６０１と窓６０２のうち、網掛け部については信号レベルの差が小さく動き量が小さいと判断される。すなわち、窓６０２のうち、網掛け部については係数ｋの値が０（あるいは０に近い値）に設定され、窓６０１の網掛け部の信号レベルと同じ値（あるいはほぼ同じ値）に補正される。それ以外の領域においては、フレーム間での信号レベルの差が大きいと判断され係数ｋの値が１（あるいは１に近い値）に設定される。すなわち、窓６０２のうち、網掛け部以外の領域については、窓６０１の信号レベルの影響をほとんど受けない。

その後、図６（ｃ）に示すように、ぶれ補正処理によって、窓６０２の画像データ内の位置が補正される。このとき、窓６０２の網掛け部の信号レベルは、窓６０１の網掛け部の信号レベルと一致するのに対して、網掛け部以外の領域の信号レベルは窓６０１とは一致しない。そのため、ユーザには、窓６０１における網掛け部の画像データが、窓６０２において矢印の方向に移動したように見えてしまう。つまり、ユーザにとっては、窓６０２の内側に、ぶれた領域とぶれない領域とが含まれるように見えてしまう。

そこで、本実施形態では、巡回型ＮＲ処理の後にぶれ補正処理を行う場合には、領域単位で強度を算出するのではなく、フレーム内で一律な強度を算出する。このような構成とすることで、図６（ｃ）に示すように、一部の領域のみがぶれたように見えることを抑制することができる。

以上説明したように、第１の実施形態の撮像装置では、ぶれ補正処理が行われない場合には領域単位の強度制御により領域毎の動き量に基づく巡回型ＮＲ処理が実行される。一方、ぶれ補正処理が行われる場合には、画像データの全ての領域に対して一律な強度による巡回型ＮＲ処理が行われる。すなわち、第１の実施形態の撮像装置によれば、ぶれ量と動き量に基づいて強度が適切に制御されることにより、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制することができる。

＜第２の実施形態＞
以下、図７を参照して、第２の実施形態について説明する。
図７は、巡回型ＮＲ処理の強度と空間型ＮＲ処理の強度の関係を説明するための図である。なお、第２の実施形態の撮像装置の構成は概ね前述した図１と同様であるため、それらの図示は省略する。

図７（ａ）において、一点鎖線は領域毎の動き量に対する領域単位の強度を示し、実線は動き基準量に基づく一律な強度を示す。第２の実施形態においても、ぶれ補正処理が行われる場合（ぶれ補正処理が有効の場合）、強度決定回路１１４は、第１の実施形態と同様に一律な強度を選択する。

ここで、領域の動き量のばらつき度が所定値以上である場合、第２の実施形態においても前述の第１の実施形態と同様に、動き量の統計データのなかで動き量の最大値を基準値として用い、その基準値を基に一律な強度が算出される。すなわち、第２の実施形態においても、領域の動き量のばらつき度が所定値以上である場合には、動き量の大きい領域を意識した巡回型ＮＲ処理が行われることにより、残像が発生することを防ぐことができる。

一方、この場合、前述のように動き量の最大値を基準値として算出した強度を用いたのでは、本来適用されるべき強度よりも弱い巡回型ＮＲ処理が行われる領域が発生することになる。つまり、動き量の最大値を基準値として用いて算出された一律な強度は、動き量が基準値よりも小さい領域に対して本来適用すべき強度より弱くなってしまう。すなわち、動き量が基準値よりも小さい領域では、巡回型ＮＲ処理によるノイズ低減の効果が少なくなってしまう。

そこで第２の実施形態の撮像装置は、図７（ｂ）に示すように、動き量が基準値より小さい領域については、本来適用されるべき強度と、基準値から算出した一律な強度との差が大きくなるほど、空間型ＮＲ処理の強度を大きくしてノイズ低減を図るようにする。言い換えると、動き量の基準値をＴｈ３とすると、動き量が基準値Ｔｈ３より小さい領域については、動き量が小さい領域を含む領域ほど、空間型ＮＲ処理の強度を大きくして（強めて）ノイズ低減を図るようにする。

ここで、第２の実施形態における空間型ＮＲ処理は、前述した図１の画像加工回路１１６により行われる。このため、第２の実施形態において、強度決定回路１１４は、本来適用すべき強度と一律な強度との差分を求め、画像加工回路１１６はその差分を基に、空間型ＮＲ処理の強度を制御する。すなわち、第２の実施形態の場合、強度決定回路１１４は、領域単位の強度と一律な強度との差が大きくなるほど、空間型ＮＲ処理の強度を高くするように、画像加工回路１１６を制御する。これにより、第２の実施形態の場合、本来適用すべき強度と一律な強度との差分が大きい領域ほど、空間型ＮＲ処理の効果が強められることになる。

空間型ＮＲ処理としては、例えば、次の方法がある。まず、処理対象とする画素を中心として、所定の広さの領域を設定し、設定した領域内において、処理対象とする画素の信号レベルとの差異が閾値以下となる信号レベルを有する画素を抽出する。そして、処理対象の画素の信号レベルと抽出した画素の信号レベルを平均した値、あるいは、重みづけ平均した値を、処理対象とする画素の信号レベルとする。空間型ＮＲの強度を高くする方法としては、所定の広さを拡大することや、閾値を大きくすることが考えられる。

あるいは、処理対象を含む領域におけるエッジの方向を判定し、エッジ方向に沿ってローパスフィルタを適用する。ローパスフィルタのフィルタ係数を変更することで、空間型ＮＲの強度を高くすることができる。なお、強度決定回路１１４は、本来適用すべき強度と一律な強度との差分が大きい領域が所定の数より多い場合に、空間型ＮＲ処理の強度を制御するようにしてもよい。

以上説明したように、第２の実施形態では、領域の動き量のばらつき度が所定値以上である場合、一律な強度を算出する際の基準値として動き量の最大値を用い、その動き量の基準値を基に一律な強度を算出する。さらに、第２の実施形態では、図７に示すように、一律な強度の値が領域単位の強度より低く、その差が大きい領域ほど、空間型ＮＲ処理の強度を高くする。これにより、第２の実施形態によれば、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制しつつ、ノイズ低減の効果も向上させることができる。

＜第３の実施形態＞
次に、図８を参照して、第３の実施形態の撮像装置における強度制御について説明する。
図８は、領域単位の強度と一律な強度の関係を説明するための図である。なお、第３の実施形態の撮像装置の構成は概ね前述した図１と同様であるためそれらの図示は省略する。
第３の実施形態の撮像装置の場合、図１の強度決定回路１１４は、ぶれ量算出回路１１２にて算出されたぶれ量に基づいて、領域毎の動き量に応じた領域単位の強度の設定可能範囲を決定する。

ぶれ量算出回路１１２によって算出されたぶれ量が第１の閾値より大きい場合には、巡回型ＮＲ処理後に実行されるぶれ補正処理の影響が大きくなるため、強度決定回路１１４は、前述した第１、第２の実施形態と同様に一律な強度を算出する。つまり、検知されたぶれ量が第１の閾値より大きい場合、第３の実施形態の強度決定回路１１４は、領域単位の強度を設定した巡回型ＮＲ処理を行わない。なお、検知されたぶれ量が第１の閾値より大きい場合、第３の実施形態においても前述の第２の実施形態と同様に、必要に応じて画像加工回路１１６で空間型ＮＲ処理の強度制御を行ってもよい。

図８は、算出されたぶれ量が第１の閾値以下で且つ第１の閾値よりも小さい第２の閾値より大きい場合の巡回型ＮＲ処理の強度を説明するための図である。
ぶれ補正回路１１７は、算出されたぶれ量が第１の閾値以下で、且つ、第２の閾値以上である場合、ぶれ補正処理を行う。
強度決定回路１１４は、算出されたぶれ量が第１の閾値以下で且つ第２の閾値以上である場合、図８に示すように、後段のぶれ補正処理の影響が出ない範囲で、領域単位の強度を設定する。

算出されたぶれ量が第１の閾値以下で且つ小さい第２の閾値以上である場合、ぶれ量が第１の閾値より大きい場合に比べて、画像データの領域によるぶれ量の差異は少なくなると考えられる。ただし、算出されたぶれ量が第１の閾値以下で且つ小さい第２の閾値以上の場合においても、画像データの領域によってはぶれ量の差異がある程度大きくなる場合がある。このため、強度決定回路１１４は、図８に示すように、画像データ内の領域によるぶれ量の差異が小さくなるように（差異が大きくならないように）、領域単位の強度の設定可能範囲を狭くするように制限する。

具体的には、算出されたぶれ量が第１の閾値以下で且つ小さい第２の閾値以上である場合、強度決定回路１１４は、先ず、動き量の統計データを取得し、その統計データから動き量の基準値を算出する。動き量の基準値は、例えば動き量の統計データのなかの平均値や中央値を用いることができる。次に、強度決定回路１１４は、その動き量の基準値を基に、領域単位の強度の設定可能範囲を算出する。

図８において、太い実線は領域単位の強度であり、太い点線は動き量の基準値に基づく一律な強度であり、一点鎖線はぶれ量が第１の閾値より大きい場合の領域単位の強度である。例えば、強度決定回路１１４は、ぶれ量が第１の閾値以下で且つ小さい第２の閾値以上である場合は、画像データ内の領域によるぶれ量の差異が小さくなるように、一律な強度に対する差が所定範囲に収まるように、領域単位の強度の設定可能範囲を狭く制限する。

強度の設定可能範囲を狭く制限する手法としては、例えば、算出されたぶれ量と領域単位の強度の設定可能範囲の値とを対応付けたテーブルを参照する手法を用いることができる。すなわち、このテーブルには、第１の閾値以下で且つ第２の閾値以上のぶれ量の値に対して、領域単位の強度の設定可能範囲の値が設定されている。なお、第１の閾値、第２の閾値、テーブルに格納する値は、実際に値を変更しつつ、処理後の画像データに含まれるぶれ量の差異を判定しながら実験的に定めればよい。また、強度の設定可能範囲を狭く制限する別の手法として、検知されたぶれ量をパラメータとした演算により強度の設定可能範囲を求める手法が用いられてもよい。

そして、強度決定回路１１４は、前述のようにして設定した領域単位の強度の設定可能範囲において、領域毎の動き量に応じた領域単位の強度を設定して、巡回型ＮＲ処理を実行する。すなわち、第３の実施形態の場合、領域単位の強度の設定可能範囲内において、領域毎の動き量に応じた領域単位の巡回型ＮＲ強度を設定することができる。これにより、巡回型ＮＲ処理回路１１５では被写体の動きに適したノイズ低減を実現可能となる。さらに、第３の実施形態においても前述の各実施形態と同様に、巡回型ＮＲ処理後にぶれ補正処理が行われるため、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制できるようになる。

さらに、ぶれ補正回路１１７は、算出されたぶれ量が第２の閾値以下で且つ第２の閾値より小さい第３の閾値より大きい場合も、ぶれ補正処理を行う。ぶれ量が第２の閾値以下で且つ第３の閾値より大きい場合には、領域単位の強度を設定した巡回型ＮＲ処理が行われたとしても、その後に実行されるぶれ補正処理の影響が小さいため、画像データの領域によるぶれ量の差異があっても見た目には目立たない。このため、算出されたぶれ量が第２の閾値以下で且つ第３の閾値より大きい場合、強度決定回路１１４は、領域単位の強度の設定可能範囲を広く設定する。言い換えると、検知されたぶれ量が第２の閾値より小さい場合、強度決定回路１１４は、係数ｋの設定可能範囲を、図４よりは狭く、かつ、図８（ａ）（または図８（ｂ））に示す設定可能範囲よりは広く設定する。つまり、算出されたぶれ量が第２の閾値以下で第３の閾値より大きい場合、強度決定回路１１４は、領域単位の動き量に応じた好適な巡回型ＮＲ処理が行われることになる。なお、ぶれ補正回路１１７は、算出されたぶれ量が第３の閾値以下であればぶれ補正処理を行わず、巡回型ＮＲ処理回路１１５は図４に示す領域単位の強度にて巡回型ＮＲ処理を行う。

以上説明したように、第３の実施形態の撮像装置は、ぶれ補正処理が行われる場合であっても、ぶれ量に応じた範囲で領域単位の強度を設定することによって、ぶれが発生する領域とぶれが発生しない領域とが生じてしまうように見える画像データが生成されることを抑制しつつ、ノイズ低減の効果も向上させることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
なお、前述した本実施形態の撮像装置は、例えば、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどに適用可能である。また、本発明は、図１の画像処理装置１１０のみで実施することが可能であり、画像生成装置１００、表示装置１２１および記録回路１２２は別装置とすることも可能である。例えば、本発明は、上記の種々のカメラから通信により画像データを受け取って、巡回型ＮＲ処理とぶれ補正処理を行うパーソナルコンピュータやサーバコンピュータなどにも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 画像生成装置
１０１ 撮像光学系
１０２ 撮像素子
１０３ 画像データ生成回路
１１０ 画像処理装置
１１１ 動き量検出回路
１１２ ぶれ量算出回路
１１３ 一律強度算出回路
１１４ 強度決定回路
１１５ 巡回型ＮＲ処理回路
１１６ 画像加工回路
１１７ ぶれ補正回路
１２１ 表示装置
１２２ 記録回路

Claims (17)

1. 画像処理装置によって実行される画像処理方法であって、
   画像データから動き量を検出する工程と、
   前記画像データを撮像した撮像装置のぶれ量を算出する工程と、
   巡回型ノイズリダクション処理の強度を設定する工程と、
   前記画像データに対して前記巡回型ノイズリダクション処理を行う工程と、
   前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う工程と、を有し、
   前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
   前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理方法。
2. 前記全ての領域に一律に設定される前記巡回型ノイズリダクション処理の強度は、前記動き量の統計データに基づいて算出されることを特徴とする請求項１に記載の画像処理方法。
3. 前記動き量の統計データから前記動き量のばらつき度を求め、
   前記全ての領域に一律に設定される前記巡回型ノイズリダクション処理の強度は、前記動き量のばらつき度に基づいて算出されることを特徴とする請求項２に記載の画像処理方法。
4. 前記動き量のばらつき度に基づいて基準値を選択し、
   前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度は、基準値に基づいて算出されることを特徴とする請求項３に記載の画像処理方法。
5. 前記動き量のばらつき度が所定値より小さい場合は、前記動き量の平均値または中央値が前記基準値として選択されることを特徴とする請求項４に記載の画像処理方法。
6. 前記動き量のばらつき度が所定値以上である場合は、前記動き量の最大値が基準値として選択されることを特徴とする請求項４に記載の画像処理方法。
7. 前記画像データに対して空間型ノイズリダクション処理を行う工程を有し、
   前記空間型ノイズリダクション処理の強度は、前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度に基づいて設定されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度と、前記動き量に基づく巡回型ノイズリダクション処理の強度との差分が大きくなる領域ほど、前記空間型ノイズリダクション処理の強度は高く設定されることを特徴とする請求項７に記載の画像処理方法。
9. 画像処理装置によって実行される画像処理方法であって、
   画像データから動き量を検出する工程と、
   前記画像データを撮像した撮像装置のぶれ量を算出する工程と、
   巡回型ノイズリダクション処理の強度を設定する工程と、
   前記画像データに対して前記巡回型ノイズリダクション処理を行う工程と、
   前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う工程と、を有し、
   前記ぶれ量が第１の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
   前記ぶれ量が前記第１の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理方法。
10. 前記ぶれ補正処理は、前記ぶれ量が前記第１の閾値より小さい第２の閾値より小さい場合には行われず、前記ぶれ量が前記第２の閾値以上である場合に行われることを特徴とする請求項９に記載の画像処理方法。
11. 前記ぶれ量が前記第１の閾値以下、かつ、前記第２の閾値以上である場合の、前記領域単位で設定される前記巡回型ノイズリダクション処理の強度の設定可能範囲は、
    前記ぶれ量が前記第２の閾値以下である場合の、前記領域単位で設定される前記巡回型ノイズリダクション処理の強度の設定可能範囲よりも狭いことを特徴とする請求項１０に記載の画像処理方法。
12. 前記設定可能範囲は、前記ぶれ量と前記設定可能範囲とを対応させたテーブルに基づいて設定されることを特徴とする請求項１１に記載の画像処理方法。
13. 画像データから動き量を検出する動き量検出手段と、
    前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
    前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
    前記巡回型ノイズリダクション処理を制御する制御手段と、
    前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
    前記制御手段は、
    前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
    前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理装置。
14. 撮像手段と、
    前記撮像手段によって生成された画像データから動き量を検出する動き量検出手段と、
    前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
    前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
    前記巡回型ノイズリダクション処理を制御する制御手段と、
    前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
    前記制御手段は、
    前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
    前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて領域単位で設定することを特徴とする撮像装置。
15. 画像データから動き量を検出する動き量検出手段と、
    前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
    前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
    前記巡回型ノイズリダクション処理を制御する制御手段と、
    前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
    前記制御手段は、
    前記ぶれ量が第１の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
    前記ぶれ量が前記第１の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理装置。
16. 撮像手段と、
    前記撮像手段によって生成された画像データから動き量を検出する動き量検出手段と、
    前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
    前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
    前記巡回型ノイズリダクション処理を制御する制御手段と、
    前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
    前記制御手段は、
    前記ぶれ量が第１の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、１つ以上の画素を含む領域単位で設定し、
    前記ぶれ量が前記第１の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて領域単位で設定することを特徴とする撮像装置。
17. 請求項１乃至１２のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images