JP5234123B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、動画に対するノイズ除去処理は、撮像した被写体の動きを考慮して行う必要があるが、処理対象となるフレームの数が多いことから、演算量および回路規模が増大してしまう。

それらを解決するために、例えば、動画像のフレーム間の差分に基づいて被写体の動き部分を検出し、ノイズを除去するフィルタの係数を被写体の動き部分の検出結果に基づいて決めることにより、フレームの中から動きとノイズを正確に判定してノイズ除去する技術が開発されている（特許文献１など参照）。

特開平７−７９９５６号公報

しかしながら、従来技術では、ノイズ強度が高い場合、被写体が動いていなくても各画素の画素値の変動が大きいために、被写体の動きとノイズとの判別が困難となり、適正にノイズ除去が行えないという問題がある。

上記従来技術が有する問題に鑑み、本発明の目的は、ノイズ強度が高い場合であっても、動画に対するノイズ除去を確度高く行うことができる技術を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像のうち、少なくとも対象画像を縮小した第１縮小画像を生成する縮小画像生成部と、少なくとも第１縮小画像を用いて、第１縮小画像の縮小率に応じた周波数帯域のノイズ成分を抽出するノイズ抽出部と、抽出された周波数帯域のノイズ成分に基づいて、対象画像の各画素の画素値から周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、縮小画像生成部は、第１縮小画像と参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成し、ノイズ抽出部は、第１縮小画像および第２縮小画像を用いて縮小率に応じた周波数帯域のノイズ成分を抽出する。

また、ノイズ抽出部は、複数の縮小率で複数の第１縮小画像および第２縮小画像の組が生成された場合、最小の縮小率に対応した組から周波数帯域のノイズ成分を順次抽出してもよい。

また、ノイズ抽出部は、第１縮小画像および第２縮小画像を用い、第１縮小画像の各画素の画素値に対する加重平均処理を行い、第１縮小画像の各画素の画素値と加重平均した画素値との差分から周波数帯域のノイズ成分を抽出してもよい。

また、ノイズ除去部は、参照画像および周波数帯域のノイズ成分が除去された対象画像を用い、周波数帯域のノイズ成分が除去された対象画像の各画素の画素値に対する加重平均処理を行い、対象画像の各画素における高周波帯域のノイズ成分を除去してもよい。

また、周波数帯域のノイズ成分が除去された対象画像に対する画像圧縮を行い高周波帯域のノイズ成分を除去する圧縮処理部を備えてもよい。

また、ノイズ除去部は、複数の組から抽出された周波数帯域のノイズ成分を対象画像の各画素において積算し、対象画像の各画素の画素値から積算したノイズ成分を除去してもよい。

また、ノイズ抽出部は、複数の縮小率で複数の第１縮小画像が生成された場合、最小の縮小率に対応した周波数帯域のノイズ成分から順次抽出してもよい。

また、ノイズ抽出部は、第１縮小画像の各画素の画素値に対する加重平均処理を行い、第１縮小画像の各画素の画素値と加重平均した画素値との差分から周波数帯域のノイズ成分を抽出してもよい。

また、ノイズ除去部は、周波数帯域のノイズ成分が除去された対象画像を用い、周波数帯域のノイズ成分が除去された対象画像の各画素の画素値に対する加重平均処理を行い、対象画像の各画素における高周波帯域のノイズ成分を除去してもよい。

また、ノイズ除去部は、対象画像および参照画像を用い、対象画像の各画素の画素値に対する加重平均処理を行い、対象画像の各画素における時間方向の変動成分を除去してもよい。

また、ノイズ除去部は、参照画像のうち、対象画像の各画素に対応する画素位置を中心とする領域の画素値を用いて、時間方向の変動成分を除去してもよい。

また、対象画像は、連続的に撮像された画像の１つであり、参照画像は、連続的に撮像された画像で、対象画像よりも前に撮像されノイズ除去された画像であってもよい。

また、加重平均処理は、バイラテラルフィルタまたはイプシロンフィルタを用いて行われてもよい。

本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、対象画像を縮小した第１縮小画像と、参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順、第１縮小画像および第２縮小画像を用いて縮小率に応じた周波数帯域のノイズ成分を抽出するノイズ抽出手順、抽出された周波数帯域のノイズ成分に基づいて、対象画像の各画素の画素値から周波数帯域のノイズ成分を除去するノイズ除去手順、をコンピュータに実行させる。

本発明によれば、ノイズ強度が高い場合であっても、動画に対するノイズ除去を確度高く行うことができる。

一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図 一の実施形態に係るデジタルカメラ１によるノイズ除去処理の一例を示すフローチャート 図２に示すノイズ除去処理における画像データの流れの一例を示す図 他の実施形態に係るデジタルカメラ１によるノイズ除去処理の一例を示すフローチャート 図４に示すノイズ除去処理における画像データの流れの一例を示す図 別の実施形態に係るデジタルカメラ１’の構成の一例を示すブロック図 別の実施形態に係るデジタルカメラ１’によるノイズ除去処理の一例を示すフローチャート 図７に示すノイズ除去処理における画像データの流れの一例を示す図

図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。

本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続されている。

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。

撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。

ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。

ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、デジタル処理を施す。一例として、デジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、縮小画像生成部２０、ノイズ抽出部２１、ノイズ除去部２２、圧縮処理部２３として動作する。

縮小画像生成部２０は、公知の手法を用い、撮像素子１２によって撮像された動画の各フレームの縮小画像を生成する。本実施形態の縮小画像生成部２０は、１つのフレーム（対象画像）に対して縮小率１／４および１／１６の２つの縮小画像（第１縮小画像）を生成する。また、縮小画像生成部２０は、ノイズ除去処理の参照となる参照画像に対しても縮小率１／４および１／１６の縮小画像（第２縮小画像）を生成する。なお、本実施形態における参照画像は、動画像において対象画像よりも１つ前のフレームで、ノイズ除去された画像であるとする。また、本実施形態における公知の手法とは、例えば、多重解像度解析およびNearest Neighbor法であるとする。

ノイズ抽出部２１は、同じ縮小率で縮小された対象画像および参照画像の縮小画像を一組として用い、対象画像に重畳したノイズ成分を抽出する。各縮小画像からは、縮小率に応じた周波数帯域のノイズ成分が抽出される。具体的には、ノイズ抽出部２１は、対象画像および参照画像から生成された一組の縮小画像を用い、対象画像の縮小画像の各画素ｉの画素値ｄ_ｉに対する加重平均処理を行う。ノイズ抽出部２１による加重平均処理は、例えば、式（１）に示すように、時間方向の変動も考慮したバイラテラルフィルタを用いて行われる。

ここで、ｄ'_ｉは対象画像の縮小画像の画素ｉの加重平均された画素値、ｄ_ｊは対象画像および参照画像の縮小画像の画素ｊの画素値をそれぞれ示す。また、ＳａおよびＳｂそれぞれは、対象画像および参照画像の縮小画像の画素の集合を示し、画素ｉ∈Ｓａおよび画素ｊ∈Ｓａ＋Ｓｂとなる。

一方、式（１）のｗは重み付けの係数を示し、次式（２）に示すように、ガウス関数の空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積で表される。

ここで、ｘは対象画像および参照画像の縮小画像の画素の空間座標を示し、水平走査方向と垂直走査方向との成分からなる。ｔは対象画像および参照画像の縮小画像の時間座標を示す。なお、本実施形態における時間座標ｔはフレーム番号を示すものとする。また、各成分のσ_１、σ_２、σ_３の値は、要求されるノイズ除去処理の精度などに応じて適宜選択して設定されることが好ましい。

ノイズ抽出部２１は、上述のバイラテラルフィルタによる加重平均処理により、画素値ｄ'_ｉの対象画像の縮小画像を算出する。画素値ｄ'_ｉの対象画像の縮小画像は、縮小率に対応した周波数帯域のノイズ成分が除去されたものである。ノイズ抽出部２１は、加重平均する前の対象画像の画素値ｄ_ｉと加重平均した画素値ｄ'_ｉとの差分を計算し、縮小率に対応した周波数帯域のノイズ成分Ｎ_ｉを抽出する。ノイズ抽出部２１は、その抽出された周波数帯域のノイズ成分Ｎ_ｉをノイズデータとして出力する。

ノイズ除去部２２は、抽出された複数の周波数帯域のノイズデータを用い、対象画像に重畳するノイズを除去する。ここで、各周波数帯域のノイズデータのノイズ成分Ｎ_ｉは、周波数帯域に対応する縮小率で縮小された対象画像の縮小画像の各画素に対応している。ノイズ除去部２２は、各周波数帯域のノイズデータを、元の対象画像の各画素におけるノイズデータに変換する。ノイズ除去部２２は、変換したノイズデータを元の対象画像から減算し、各周波数帯域のノイズ成分を除去する。さらに、本実施形態のノイズ除去部２２は、上記周波数帯域のノイズ成分全てを除去した後、対象画像および参照画像を用い、対象画像の各画素の画素値に対する式（１）および式（２）のバイラテラルフィルタによる加重平均処理を行う。ノイズ除去部２２は、対象画像自身に重畳する高周波帯域のノイズ成分を除去する。

なお、各縮小画像は、自身の縮小率に対応した周波数帯域のノイズ成分とともに、より小さな縮小画像が有する低周波帯域のノイズ成分も重畳して有する。そこで、本実施形態のノイズ除去部２２は、ノイズ抽出部２１によって抽出されたノイズデータを、元の対象画像の各画素におけるノイズデータとともに、自身よりも大きな縮小率の縮小画像の各画素におけるノイズデータに変換する。ノイズ除去部２２は、変換したノイズデータを用いて、各縮小画像に重畳するより低周波帯域のノイズ成分を除去する。これにより、ノイズ抽出部２１は、各縮小画像から自身の縮小率に対応した周波数帯域のノイズ成分を確度高く抽出することができる。

圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、各周波帯域のノイズ成分が除去された対象画像を動画圧縮し、動画データを生成する。

メモリ１５は、画像データなどとともに、ＣＰＵ１４によって実行される画像処理プログラムなどの各種プログラムを記憶する不揮発性のフラッシュメモリである。

操作部１６は、例えば、撮像モードの切換設定の入力や、静止画像や動画の撮像指示などをユーザから受け付ける。

モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像した動画を再生表示する。

メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

次に、図２のフローチャートおよび図３の画像データの流れ図を参照しつつ、本実施形態に係るデジタルカメラ１による処理動作について説明する。

なお、上述したように、縮小画像は、自身の縮小率に対応した周波数帯域のノイズ成分とともに、より小さな縮小画像が有するより低周波帯域のノイズ成分も重畳して有する。逆に、縮小画像は、自身の画像サイズよりも大きな画像が有する高周波帯域のノイズ成分を有しない。そこで、ノイズ抽出部２１が、各縮小画像から、自身の縮小率に対応した周波数帯域のノイズ成分を効率的に抽出するために、以下の説明において、本実施形態における処理は、最も小さい縮小率の縮小画像から開始するものとする。

ＣＰＵ１４は、ユーザから動画の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画撮像を開始させる。ＣＰＵ１４は、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力された第１フレームを対象画像３０ａとして読み込む。同時に、ＣＰＵ１４は、対象画像３０ａをノイズ除去処理の参照画像３０ｂと設定する。なお、第２フレーム以降の対象画像３０ａに対する参照画像３０ｂは、本実施形態のノイズ除去が施された１つ前のフレームとする。

ステップＳ１０２：ＣＰＵ１４の縮小画像生成部２０は、読み込んだ対象画像３０ａおよび参照画像３０ｂそれぞれについて、縮小率が１／４および１／１６の縮小画像を生成する。図３において、フレーム３０ａに対する縮小率１／４および１／１６の縮小画像（第１縮小画像）を３１ａおよび３２ａと符号を付し、参照画像３０ｂに対する縮小率１／４および１／１６の縮小画像（第２縮小画像）を３１ｂおよび３２ｂと符号を付す。

ステップＳ１０３：ＣＰＵ１４のノイズ抽出部２１は、対象画像３０ａおよび参照画像３０ｂの縮小率１／１６の縮小画像３２ａ、３２ｂを読み込む。ノイズ抽出部２１は、一組の縮小画像３２ａ、３２ｂを用い、式（１）および式（２）のバイラテラルフィルタによる加重平均処理を行う。ノイズ抽出部２１は、縮小率１／１６の対象画像３０ａの縮小画像３３を算出する。なお、縮小画像３３は、縮小率１／１６に対応した周波数帯域（以下、低周波帯域という）のノイズ成分が除去された画像である。ノイズ抽出部２１は、縮小画像３２ａの画素ｉの画素値ｄ_ｉから縮小画像３３の画素ｉの画素値ｄ'_ｉを減算し、縮小画像３２ａの各画素ｉにおける低周波帯域のノイズデータ３４を抽出する。

ステップＳ１０４：ＣＰＵ１４は、ステップＳ１０３において抽出されたノイズデータが、最も小さな縮小率の縮小画像から抽出されたものであるか否かを判定する。最も小さな縮小率から抽出されたものであると判定された場合、ＣＰＵ１４は、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、最も小さな縮小率から抽出されたものでないと判定された場合、ＣＰＵ１４は、ステップＳ１０７（ＮＯ側）へ移行する。

ステップＳ１０５：ＣＰＵ１４のノイズ除去部２２は、抽出されたノイズデータ３４を、縮小率１／４の縮小画像３１ａの各画素における低周波帯域のノイズデータ３５に変換する。ノイズ除去部２２は、縮小画像３１ａの各画素の画素値からノイズデータ３５のノイズ成分を減算し、縮小画像３１ａに重畳する低周波帯域のノイズ成分が除去された縮小画像３６を算出する。ただし、縮小画像３６は、縮小率１／４に対応した周波数帯域（以下、中周波帯域という）のノイズ成分を有する。

ステップＳ１０６：ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したか否かを判定する。ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したと判定した場合、ステップＳ１０８（ＹＥＳ側）へ移行する。

一方、ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了していないと判定した場合、ステップＳ１０３（ＮＯ側）へ移行する。２度目のステップＳ１０３において、ノイズ抽出部２１は、低周波帯域のノイズ成分が除去された縮小率１／４の縮小画像３６、および縮小率１／４の参照画像３０ｂの縮小画像３１ｂを用い、式（１）および式（２）のバイラテラルフィルタによる加重平均処理を行う。ノイズ抽出部２１は、中周波帯域のノイズ成分が除去された縮小率１／４の縮小画像３７を算出する。ノイズ抽出部２１は、縮小画像３６の画素ｉの画素値ｄ_ｉから縮小画像３７の画素ｉの画素値ｄ'_ｉを減算し、縮小画像３１ａの各画素における中周波帯域のノイズ成分のノイズデータ３８を抽出する。ＣＰＵ１４は、ステップＳ１０４において、ステップＳ１０７（ＮＯ側）へ移行する。

ステップＳ１０７：ノイズ除去部２２は、低周波帯域のノイズデータ３５と中周波数帯域のノイズデータ３８とのノイズ成分を各画素で加算し、低中周波帯域のノイズデータ３９を生成する。

ノイズ除去部２２は、ステップＳ１０５において、低中周波帯域のノイズデータ３９を、元の対象画像３０ａの各画素における低中周波帯域のノイズデータ４０に変換する。ノイズ除去部２２は、元の対象画像３０ａの各画素の画素値からノイズデータ４０のノイズ成分を減算し、対象画像３０ａに重畳する低中周波帯域のノイズ成分が除去された対象画像４１を生成する。ＣＰＵ１４は、ステップＳ１０６において、ステップＳ１０８へ移行する。

ステップＳ１０８：ノイズ除去部２２は、低中周波帯域のノイズが除去された対象画像４１および参照画像３０ｂを用い、式（１）および式（２）のバイラテラルフィルタによる加重平均処理を行う。ノイズ除去部２２は、高周波帯域のノイズ成分が除去された対象画像４２を生成する。

ステップＳ１０９：ＣＰＵ１４の圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、低周波帯域から高周波帯域のノイズ成分が除去された対象画像４２を動画圧縮し、動画データを生成する。ＣＰＵ１４は、その動画データをメモリ１５に一時的に記録する。同時に、ＣＰＵ１４は、対象画像４２を、次のフレームの対象画像３０ａに対する参照画像３０ｂとしてメモリ１５に記録設定する。

ステップＳ１１０：ＣＰＵ１４は、例えば、ユーザによる操作部１６のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、動画撮像の終了指示を受け付けたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データから動画ファイルを生成し、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、動画撮像の終了指示を受け付けていないと判定した場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、第２フレーム以降の対象画像３０ａに対するステップＳ１０１〜ステップＳ１０９の処理を、終了指示を受け付けるまで行う。

このように、本実施形態では、縮小率が異なる複数の縮小画像を生成し、最も小さな縮小率に対応する周波数帯域のノイズ成分から順次求めることにより、ノイズ強度が高い場合であっても、ノイズ除去を確度高く行うことができる。

また、バイラテラルフィルタにおける重み付けの係数ｗは、ガウス関数で表される各成分の重み付けの係数の積としたことから、例えば、被写体の動きに伴う画素値の変動の大きい場合やノイズ強度が高い場合、画素値成分ｗｄの値が非常に小さくなり、重み付けの係数ｗも非常に小さくなる。これにより、本実施形態のノイズ除去処理において、被写体の動きに伴う画素値の変動やノイズ強度の影響を抑えることができ、動画に対するノイズ除去を確度高く行うことができる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１の一の実施形態に係るデジタルカメラ１と同じ構成を有し、各構成要素の詳細な説明は省略する。

図４は、本実施形態のデジタルカメラ１による処理動作のフローチャートを示す。図４において、図２に示す一の実施形態における処理と同様な処理については、下２桁が同じとなるステップ番号を付し詳細な説明は省略する。

図５は、図４に示す処理における画像データの流れを示す。図５において、図３に示す一の実施形態における画像データと同一のものについては、同一の符号を付し詳細な説明は省略する。

本実施形態に係るデジタルカメラ１による処理動作が一の実施形態に係るものと異なる点は、ステップＳ１０８の高周波帯域のノイズ除去処理が省略される点にある。これは、ステップＳ２０９（ステップＳ１０９に対応）において行われる、圧縮処理部２３による対象画像４１を動画データに変換する動画圧縮処理が、高周波帯域のノイズ成分を除去するのと同様の効果を有するためである。

また、ステップＳ１０８の処理が省略されることにより、対象画像４２が算出されない。よって、縮小画像生成部２０は、ステップＳ２０２において、第２フレーム以降の参照画像３０ｂの縮小画像３１ｂ、３２ｂを生成しない。そして、ＣＰＵ１４は、ステップＳ２０９において、縮小画像３３、３７を、参照画像３０ｂの縮小率１／１６および１／４の縮小画像３２ｂおよび３１ｂとして、メモリ１５に記録設定する。ノイズ抽出部２１は、ステップＳ２０３において、縮小画像３１ｂ、３２ｂをメモリ１５から読み込む。

このように、本実施形態では、縮小率が異なる複数の縮小画像を生成し、最も小さな縮小率に対応する周波数帯域のノイズ成分から順次求めることにより、ノイズ強度が高い場合であっても、ノイズ除去を確度高く行うことができる。

また、バイラテラルフィルタにおける重み付けの係数ｗは、ガウス関数で表される各成分の重み付けの係数の積としたことから、例えば、被写体の動きに伴う画素値の変動の大きい場合やノイズ強度が高い場合、画素値成分ｗｄの値が非常に小さくなり、重み付けの係数ｗも非常に小さくなる。これにより、本実施形態のノイズ除去処理において、被写体の動きに伴う画素値の変動やノイズ強度の影響を抑えることができ、動画に対するノイズ除去を確度高く行うことができる。

さらに、高周波帯域のノイズ除去を動画圧縮処理で代用することにより、デジタルカメラ１によるノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができ、デジタルカメラ１の回路規模を小さくすることができる。

また、第２フレーム以降の縮小画像生成部２０による参照画像３０ｂの縮小画像の生成処理を省略することにより、ノイズ除去処理の処理時間の短縮および処理負荷の軽減をさらに図ることができ、デジタルカメラ１の回路規模をさらに小さくすることができる。
《別の実施形態》
図６は、別の実施形態に係るデジタルカメラ１’の構成の一例を示すブロック図である。

本実施形態に係るデジタルカメラ１’において、図１に示す一の実施形態に係るデジタルカメラ１と同じ動作をする構成要素については、同じ符号を付し詳細な説明は省略する。

縮小画像生成部５０は、撮像素子１２によって撮像された動画の各フレームの縮小画像を生成する。縮小画像生成部５０は、各フレーム（対象画像）に対して１つの縮小率１／４の縮小画像（第１縮小画像）を生成する。なお、本実施形態の縮小画像生成部５０は、ノイズ除去処理の参照となる参照画像の縮小画像は生成しない。また、縮小画像生成部５０は、複数の縮小率で対象画像の複数の縮小画像を生成してもよい。

ノイズ抽出部５１は、式（１）に代えて、例えば、次式（３）に示すバイラテラルフィルタを対象画像の縮小画像に適用して、各画素ｉの画素値ｄ_ｉに対する加重平均処理を行う。

なお、式（３）のｗは重み付けの係数は、式（２）に示す空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積である。ただし、この場合、ｔ_ｉ＝ｔ_ｊであることから、時間成分ｗｔ＝１となる。すなわち、式（３）による加重平均処理は、空間方向の変動（ノイズ成分）のみを除去する。

ノイズ抽出部５１は、縮小率に対応した周波数帯域のノイズ成分が除去された画素値ｄ'_ｉの対象画像の縮小画像を算出する。ノイズ抽出部５１は、加重平均する前の対象画像の画素値ｄ_ｉと加重平均した画素値ｄ'_ｉとの差分を計算し、縮小率に対応した周波数帯域のノイズ成分Ｎ_ｉを抽出する。ノイズ抽出部５１は、その抽出された周波数帯域のノイズ成分Ｎ_ｉをノイズデータとして出力する。

ノイズ除去部５２は、抽出された周波数帯域のノイズデータを用い、対象画像に重畳するノイズを除去する。ノイズ除去部５２は、全ての縮小率に対応する周波数帯域のノイズ成分を除去した後、対象画像に対し、再度、式（３）による加重平均処理を行い、対象画像自身に重畳する高周波帯域のノイズを除去する。

さらに、本実施形態のノイズ除去部５２は、上記高周波数帯域のノイズ成分が除去された対象画像および参照画像を用いて、例えば、次式（４）に示すバイラテラルフィルタによる、その対象画像の各画素ｉの画素値に対する加重平均処理を行う。ノイズ除去部５２は、対象画像に重畳する時間方向の変動成分を除去する。

なお、式（４）のｗは重み付けの係数は、式（３）の場合と同様に、式（２）に示す空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積である。

次に、図７のフローチャートおよび図８の画像データの流れ図を参照しつつ、本実施形態に係るデジタルカメラ１’による処理動作について説明する。なお、図８において、図３に示す一の実施形態における画像データと同一のものについては、同一の符号を付し詳細な説明は省略する。

また、本実施形態では、縮小画像生成部５０は、縮小率１／４の縮小画像しか生成しないが、複数の縮小率で複数の縮小画像を生成した場合、ノイズ抽出部５１は、一の実施形態の場合と同様に、各縮小画像から、自身の縮小率に対応した周波数帯域のノイズ成分を効率的に抽出するために、最も小さな縮小率の縮小画像から抽出処理を開始する。

ＣＰＵ１４は、ユーザから動画の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画撮像を開始させる。ＣＰＵ１４は、ステップＳ３０１からの処理を開始する。

ステップＳ３０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力された第１フレームを対象画像３０ａとして読み込む。同時に、ＣＰＵ１４は、対象画像３０ａをノイズ除去処理の参照画像３０ｂと設定する。なお、第２フレーム以降の対象画像３０ａに対する参照画像３０ｂは、本実施形態のノイズ除去が施された１つ前のフレームとする。

ステップＳ３０２：ＣＰＵ１４の縮小画像生成部５０は、読み込んだ対象画像３０ａについて、縮小率が１／４の縮小画像３１ａを生成する。

ステップＳ３０３：ＣＰＵ１４のノイズ抽出部５１は、縮小画像３１ａを用い、式（２）および式（３）のバイラテラルフィルタによる加重平均処理を行う。ノイズ抽出部５１は、縮小率１／４に対応する周波数帯域（以下、低周波数帯域）のノイズ成分が除去された縮小画像６０を算出する。ノイズ抽出部５１は、縮小画像３１ａの画素ｉの画素値ｄ_ｉから縮小画像６０の画素ｉの画素値ｄ'_ｉを減算し、縮小画像３１ａの各画素ｉにおける低周波帯域のノイズデータ６１を抽出する。

ステップＳ３０４：ＣＰＵ１４は、ステップＳ３０３において抽出されたノイズデータが、最も小さな縮小率のものであるか否かを判定する。最も小さな縮小率から抽出されたものであると判定された場合、ＣＰＵ１４は、ステップＳ３０５（ＹＥＳ側）へ移行する。一方、最も小さな縮小率から抽出されたものでないと判定された場合、ＣＰＵ１４は、ステップＳ３０７（ＮＯ側）へ移行する。

ステップＳ３０５：ＣＰＵ１４のノイズ除去部５２は、抽出されたノイズデータ６１を、縮小率１／１の対象画像３０ａの各画素における低周波帯域のノイズデータ６２に変換する。ノイズ除去部５２は、対象画像３０ａの各画素の画素値からノイズデータ６２のノイズ成分を減算し、対象画像３０ａに重畳する低周波帯域のノイズ成分が除去された対象画像６３を算出する。なお、対象画像６３は、縮小率１／１（すなわち、対象画像の大きさ）に対応した周波数帯域（以下、高周波帯域という）のノイズ成分を有する。

ステップＳ３０６：ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したか否かを判定する。ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したと判定した場合、ステップＳ３０８（ＹＥＳ側）へ移行する。

一方、ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了していないと判定した場合、ステップＳ３０３（ＮＯ側）へ移行し、一の実施形態の場合と同様に、次に小さい縮小率の縮小画像に対して処理を行う。

ステップＳ３０７：ノイズ除去部５２は、ステップＳ３０２において縮小率が異なる複数の縮小画像が生成された場合、一の実施形態のステップＳ１０７の場合と同様に、ステップＳ３０３で抽出された縮小率の周波数帯域のノイズ成分を、これまでに最小の縮小率の縮小画像から順次抽出されたノイズ成分と加算し、新たなノイズデータを生成する。

ステップＳ３０８：ノイズ除去部５２は、低周波帯域のノイズ成分が除去された対象画像６３に対し、再度、式（２）および式（３）のバイラテラルフィルタによる加重平均処理を行う。ノイズ除去部５２は、高周波帯域のノイズ成分が除去された対象画像６４を生成する。

さらに、ノイズ除去部５２は、低周波帯域および高周波帯域のノイズが除去された対象画像６４と参照画像３０ｂとを用い、式（２）および式（４）のバイラテラルフィルタによる加重平均処理を行う、ノイズ除去部５２は、対象画像６４に重畳する時間方向の変動成分が除去された対象画像６５を生成する。

ステップＳ３０９：ＣＰＵ１４の圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、対象画像６５を動画圧縮し動画データを生成する。ＣＰＵ１４は、その動画データをメモリ１５に一時的に記録する。同時に、ＣＰＵ１４は、対象画像６５を、次のフレームの対象画像３０ａに対する参照画像３０ｂとしてメモリ１５に記録設定する。

ステップＳ３１０：ＣＰＵ１４は、例えば、ユーザによる操作部１６のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、動画撮像の終了指示を受け付けたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データから動画ファイルを生成し、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、動画撮像の終了指示を受け付けていないと判定した場合、ステップＳ３０１（ＮＯ側）へ移行する。ＣＰＵ１４は、第２フレーム以降の対象画像３０ａに対するステップＳ３０１〜ステップＳ３０９の処理を、終了指示を受け付けるまで行う。

このように、本実施形態では、縮小率が異なる複数の縮小画像を生成し、最も小さな縮小率に対応する周波数帯域のノイズ成分から順次求めることにより、ノイズ強度が高い場合であっても、ノイズ除去を確度高く行うことができる。

また、バイラテラルフィルタにおける重み付けの係数ｗは、ガウス関数で表される各成分の重み付けの係数の積としたことから、例えば、被写体の動きに伴う画素値の変動の大きい場合やノイズ強度が高い場合、画素値成分ｗｄの値が非常に小さくなり、重み付けの係数ｗも非常に小さくなる。これにより、本実施形態のノイズ除去処理において、被写体の動きに伴う画素値の変動やノイズ強度の影響を抑えることができ、動画に対するノイズ除去を確度高く行うことができる。

さらに、式（３）および式（４）をそれぞれ用いて、空間方向および時間方向の変動成分であるノイズ成分を別々に除去することにより、処理動作の負荷軽減を図ることができるとともに、デジタルカメラ１’の回路規模を小さくすることができる。
《実施形態の補足事項》
（１）上記実施形態では、デジタルカメラ１の縮小画像生成部２０、ノイズ抽出部２１、ノイズ除去部２２、圧縮処理部２３の各処理、およびデジタルカメラ１’の縮小画像生成部５０、ノイズ抽出部５１、ノイズ除去部５２、圧縮処理部２３の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。

（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１、１’の例に限定されない。例えば、動画または連写によって撮像された複数の画像をコンピュータに読み込ませるとともに、コンピュータにノイズ除去の処理を実行させ、コンピュータを本発明の画像処理装置として機能させてもよい。

（３）上記実施形態では、第１フレームの対象画像３０ａに対する参照画像３０ｂとして、対象画像３０ａを用いたが、本発明はこれに限定されず、例えば、対象画像３０ａに公知のノイズ除去処理を施したものを参照画像３０ｂとしてもよい。

（４）上記実施形態では、式（１）、式（３）、式（４）における重み付けの係数ｗを、式（２）に示すように、空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積としたが、本発明はこれに限定されない。例えば、重み付けの係数ｗを、式（５）に示すように、空間成分ｗｘおよび画素値成分ｗｄの重み付けの係数の積とし、画素値成分のσ_２の値を式（６）に示すように設定してもよい。

式（５）に示すように、画素ｉと画素ｊとが同じフレーム同士か否かで、画素値成分のσ_２の値を設定することにより、式（２）の時間成分のｗｔと同じ効果を与えることができる。なお、本実施形態では、σ'_２≠σ"_２とすることが好ましい。

また、空間成分のσ_１および画素値成分のσ_２の値を、ＲＧＢ、ＹＣｒＣｂやＨＳＶなどの色成分毎に設定してもよい。例えば、ＹＣｒＣｂの場合、輝度Ｙについては、σ_１〜０．７／ピクセル、σ_２〜３０／８ビット画像、色差ＣｒＣｂについては、σ_１〜０．７／ピクセル、σ_２〜１０／８ビット画像と設定する。

また、バイラテラルフィルタの代わりに、例えば、イプシロンフィルタなどを用いてもよい。

（５）上記実施形態では、重み付けの係数ｗの計算において閾値を設けなかったが、本発明はこれに限定されず、重み付けの係数ｗの計算において閾値を設けてもよい。例えば、式（２）の画素値成分ｗｄの重み付けの係数の計算において、閾値を３σ_２と設定することにより、ｄ_ｉ−ｄ_ｊの値が閾値以上となったか否かに基づいて、ＣＰＵ１４が、被写体が動いたか否かを判定してもよい。

（６）上記実施形態では、多重解像度解析により、縮小画像生成部２０が、対象画像３０ａおよび参照画像３０ｂそれぞれの縮小率１／４および１／１６の縮小画像を生成し、縮小画像生成部５０が、対象画像３０ａの縮小率１／４の縮小画像を生成したが、本発明はこれに限定されない。縮小画像生成部２０、５０は、１つ以上の縮小率が異なる縮小画像を生成してもよい。

（７）上記一の実施形態および他の実施形態では、ノイズ除去部２２は、低周波帯域のノイズデータ３５と中周波帯域のノイズデータ３８とのノイズ成分を各画素で加算して低中周波帯域のノイズデータ３９を算出し、低中周波帯域のノイズ成分が除去された対象画像４１を算出したが、本発明はこれに限定されない。例えば、ノイズ除去部２２は、低周波帯域のノイズデータ３５および中周波帯域のノイズデータ３８それぞれを、元の対象画像３０ａの各画素における各周波数帯域のノイズデータを算出する。そして、ノイズ除去部２２は、元の対象画像３０ａから各周波数帯域のノイズデータを減算し、対象画像４１を算出してもよい。

（８）上記一の実施形態において、ＣＰＵ１４は、撮像素子１２から出力される対象画像３０ａとともに、参照画像３０ｂを読み込み、縮小画像生成部２０は、対象画像３０ａおよび参照画像３０ｂの縮小画像を生成したが、本発明はこれに限定されない。例えば、ＣＰＵ１４は、対象画像４２を参照画像３０ｂとしてメモリ１５に記憶設定するとともに、縮小画像３７を縮小率１／４の参照画像３１ｂ、縮小画像３３を縮小率１／１６の参照画像３２ｂとしてメモリ１５に記録設定してもよい。これにより、縮小画像生成部２０による参照画像３０ｂの縮小画像の生成処理を省略でき、ノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができる。さらに、デジタルカメラ１の回路規模を小さくすることができる。

（９）上記別の実施形態では、第２フレーム以降の対象画像３０ａに対する参照画像３０ｂは、ノイズ除去が施された１つ前のフレームとしたが、本発明はこれに限定されず、ノイズ除去が施されていない１つ前のフレームでもよい。

（１０）上記別の実施形態では、ノイズ除去部５２が、対象画像３０ａから、低周波数帯域および高周波帯域のノイズ成分を除去した後、時間方向の変動成分を除去したが、本発明はこれに限定されない。例えば、ノイズ除去部５２は、対象画像３０ａから、時間方向の変動成分を除去した後、低周波数帯域および高周波帯域のノイズ成分を除去してもよい。

（１１）上記別の実施形態では、対象画像６４から時間方向の変動成分を除去するために、式（４）を用いて行ったが、本発明はこれに限定されず、一の実施形態の式（１）を用いて行ってもよい。

また、バイラテラルフィルタの代わりに、例えば、イプシロンフィルタ、ガウシアンフィルタ、井戸型フィルタやリカーシブフィルタなどを用いてもよい。

また、式（４）において、参照画像３０ｂ全ての画素値を用いたが、本発明はこれに限定されない。例えば、対象画像６４の画素ｉに対応する参照画像３０ｂの画素の画素位置を中心とする領域の画素値のみを用いて、式（４）の計算を行ってもよい。これにより、処理速度の向上を図ることができる。なお、領域の大きさは、１ピクセル×１ピクセルから１１ピクセル×１１ピクセル程度が好ましく、対象画像の大きさや要求される処理速度などに応じて適宜設定されるのがよい。

（１２）上記別の実施形態では、ステップＳ３０８において、ノイズ除去部５２は、対象画像６３に重畳する高周波帯域のノイズ成分と時間方向の変動成分とを除去したが、本発明はこれに限定されない。例えば、ノイズ除去部５２が、対象画像６３に重畳する時間方向の変動成分のみを除去し、ステップＳ３０９における圧縮処理部２３が、動画圧縮処理で高周波帯域のノイズ成分を除去してもよい。これにより、デジタルカメラ１’によるノイズ除去処理の処理時間の短縮および処理負荷の軽減を一層図ることができるとともに、デジタルカメラ１’の回路規模を小さくすることができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１、１’…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０、５０…縮小画像生成部、２１、５１…ノイズ抽出部、２２、５２…ノイズ除去部、２３…圧縮処理部

Claims (15)

1. ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像のうち、少なくとも前記対象画像を縮小した第１縮小画像を生成する縮小画像生成部と、
   少なくとも前記第１縮小画像を用いて、前記第１縮小画像の縮小率に応じた周波数帯域のノイズ成分を抽出するノイズ抽出部と、
   抽出された前記周波数帯域のノイズ成分に基づいて、前記対象画像の各画素の画素値から前記周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、
   前記縮小画像生成部は、前記第１縮小画像と前記参照画像を前記第１縮小画像と同じ前記縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成し、
   前記ノイズ抽出部は、前記第１縮小画像および前記第２縮小画像を用いて前記縮小率に応じた周波数帯域のノイズ成分を抽出する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記ノイズ抽出部は、複数の縮小率で複数の前記第１縮小画像および前記第２縮小画像の組が生成された場合、最小の縮小率に対応した組から前記周波数帯域のノイズ成分を順次抽出することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記ノイズ抽出部は、前記第１縮小画像および第２縮小画像を用い、前記第１縮小画像の各画素の画素値に対する加重平均処理を行い、前記第１縮小画像の各画素の画素値と加重平均した画素値との差分から前記周波数帯域のノイズ成分を抽出することを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、前記参照画像および前記周波数帯域のノイズ成分が除去された前記対象画像を用い、前記周波数帯域のノイズ成分が除去された対象画像の各画素の画素値に対する加重平均処理を行い、前記対象画像の各画素における高周波帯域のノイズ成分を除去する
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記周波数帯域のノイズ成分が除去された前記対象画像に対する画像圧縮を行い高周波帯域のノイズ成分を除去する圧縮処理部を備える
   ことを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記ノイズ除去部は、複数の組から抽出された前記周波数帯域のノイズ成分を前記対象画像の各画素において積算し、前記対象画像の各画素の画素値から積算したノイズ成分を除去することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記ノイズ抽出部は、複数の縮小率で複数の前記第１縮小画像が生成された場合、最小の縮小率に対応した前記周波数帯域のノイズ成分から順次抽出することを特徴とする画像処理装置。
8. 請求項１または請求項７に記載の画像処理装置において、
   前記ノイズ抽出部は、前記第１縮小画像の各画素の画素値に対する加重平均処理を行い、前記第１縮小画像の各画素の画素値と加重平均した画素値との差分から前記周波数帯域のノイズ成分を抽出することを特徴とする画像処理装置。
9. 請求項１、請求項７、請求項８のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、前記周波数帯域のノイズ成分が除去された前記対象画像を用い、前記周波数帯域のノイズ成分が除去された対象画像の各画素の画素値に対する加重平均処理を行い、前記対象画像の各画素における高周波帯域のノイズ成分を除去する
   ことを特徴とする画像処理装置。
10. 請求項１、請求項７ないし請求項９のいずれか１項に記載の画像処理装置において、
    前記ノイズ除去部は、前記対象画像および前記参照画像を用い、前記対象画像の各画素の画素値に対する加重平均処理を行い、前記対象画像の各画素における時間方向の変動成分を除去することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記ノイズ除去部は、前記参照画像のうち、前記対象画像の各画素に対応する画素位置を中心とする領域の画素値を用いて、前記時間方向の変動成分を除去することを特徴とする画像処理装置。
12. 請求項１ないし請求項６、請求項１０、請求項１１のいずれか１項に記載の画像処理装置において、
    前記対象画像は、連続的に撮像された画像の１つであり、
    前記参照画像は、前記連続的に撮像された画像で、前記対象画像よりも前に撮像され前記ノイズ除去された画像である
    ことを特徴とする画像処理装置。
13. 請求項３、請求項４、請求項８ないし請求項１２のいずれか１項に記載の画像処理装置において、
    前記加重平均処理は、バイラテラルフィルタまたはイプシロンフィルタを用いて行われることを特徴とする画像処理装置。
14. 被写体像を撮像して画像を生成する撮像部と、
    請求項１ないし請求項１３のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
15. ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、
    前記対象画像を縮小した第１縮小画像と、前記参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順、
    前記第１縮小画像および前記第２縮小画像を用いて前記縮小率に応じた周波数帯域のノイズ成分を抽出するノイズ抽出手順、
    抽出された前記周波数帯域のノイズ成分に基づいて、前記対象画像の各画素の画素値から前記周波数帯域のノイズ成分を除去するノイズ除去手順、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images