JP5158167B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、動画などに対するノイズ除去処理は、撮像した被写体の動きを考慮して行う必要があるとともに、処理対象となるフレームの数が多いことから、演算量および回路規模が増大してしまう。

それらを解決するために、例えば、動画像のフレーム間の差分に基づいて被写体の動き部分を検出し、ノイズを除去するフィルタ係数を被写体の動き部分の検出結果に基づいて決めることにより、フレームの中から動きとノイズを正確に判定してノイズ除去する技術が開発されている（特許文献１など参照）。

特開平７−７９９５６号公報

しかしながら、従来技術では、フィルタ係数を被写体の動き部分の検出結果に基づいて決定するが、そのフィルタ係数を用いた現フレームのノイズ除去が、１つ前のノイズ除去された過去のフレームとの単純な重み付けによる合成処理であることから、被写体の像がボケてしまう場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、被写体が動く場合であっても、被写体の像がボケることなく、動画などに対するノイズ除去を確度高く行うことができる技術を提供することにある。

上記課題を解決するために、本発明の一の画像処理装置は、ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、第１縮小画像と第２縮小画像との比較に基づいて、対象画像の被写体が動いたか否かを判定する動き判定部と、動き判定部による判定結果に基づいて、第１縮小画像および第２縮小画像から縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、対象画像から周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、動き判定部は、複数の縮小率で複数の第１縮小画像および第２縮小画像の組が生成された場合、最小の縮小率に対応した組から被写体が動いたか否かを判定し、ノイズ抽出部は、最小の縮小率に対応した組から周波数帯域のノイズ成分を抽出する。
本発明の他の画像処理装置は、ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、第１縮小画像と第２縮小画像との比較に基づいて、対象画像の被写体が動いたか否かを判定する動き判定部と、動き判定部による判定結果に基づいて、第１縮小画像および第２縮小画像から縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、対象画像から周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、動き判定部は、第１縮小画像および第２縮小画像の処理対象の画素位置を中心とする対象領域にある画素値の第１平均値および第２平均値をそれぞれ算出し、第１平均値と第２平均値との差分の値に基づき、処理対象の画素位置で被写体が動いたか否かを判定する。
本発明の別の画像処理装置は、ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、第１縮小画像と第２縮小画像との比較に基づいて、対象画像の被写体が動いたか否かを判定する動き判定部と、動き判定部による判定結果に基づいて、第１縮小画像または第１縮小画像と第２縮小画像とから縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、対象画像から周波数帯域のノイズ成分を除去するノイズ除去部と、を備える。

また、動き判定部は、複数の縮小率で複数の第１縮小画像および第２縮小画像の組が生成された場合、最小の縮小率に対応した組から被写体が動いたか否かを判定し、ノイズ抽出部は、最小の縮小率に対応した組から周波数帯域のノイズ成分を抽出してもよい。

また、動き判定部は、第１縮小画像および第２縮小画像の処理対象の画素位置を中心とする対象領域にある画素値の第１平均値および第２平均値をそれぞれ算出し、第１平均値と第２平均値との差分の値に基づき、処理対象の画素位置で被写体が動いたか否かを判定してもよい。

また、動き判定部により処理対象の画素位置で被写体が動いたと判定された場合、処理対象の画素位置を記憶する記憶部を備えてもよい。

また、ノイズ抽出部は、動き判定部による判定結果に基づいて、第１縮小画像の対象領域にある画素値、または第１縮小画像および第２縮小画像の対象領域にある画素値を用い、第１縮小画像の処理対象の画素の画素値に対する加重平均処理を行い、第１縮小画像の処理対象の画素の画素値と加重平均した画素値との差分から周波数帯域のノイズ成分を抽出してもよい。

また、ノイズ抽出部は、第１縮小画像および第２縮小画像の対象領域にある画素値を用い、差分の値に応じて第１縮小画像の処理対象の画素の画素値に対する加重平均処理を行い、第１縮小画像の処理対象の画素の画素値と加重平均した画素値との差分から周波数帯域のノイズ成分を抽出してもよい。

また、ノイズ除去部は、参照画像および周波数帯域のノイズ成分が除去された対象画像の対象領域にある画素値を用い、周波数帯域のノイズ成分が除去された対象画像の処理対象の画素の画素値に対する加重平均処理を行い、対象画像の処理対象の画素における高周波帯域のノイズ成分を除去してもよい。

また、加重平均処理は、バイラテラルフィルタまたはイプシロンフィルタを用いて行われてもよい。

また、周波数帯域のノイズ成分が除去された対象画像に対する画像圧縮を行い高周波帯域のノイズ成分を除去する圧縮処理部を備えてもよい。

また、対象画像は、連続的に撮像された画像の１つであり、参照画像は、連続的に撮像された画像で、対象画像よりも前に撮像されノイズ除去された画像であってもよい。

本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、対象画像を縮小した第１縮小画像と、参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順、第１縮小画像と第２縮小画像との比較に基づいて、対象画像の被写体が動いたか否かを判定する動き判定手順、動き判定手順による判定結果に基づいて、第１縮小画像または第１縮小画像と第２縮小画像とから縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出手順、対象画像から周波数帯域のノイズ成分を除去するノイズ除去手順、をコンピュータに実行させる。

本発明によれば、被写体が動く場合であっても、被写体の像がボケることなく、動画などに対するノイズ除去を確度高く行うことができる。

一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図 一の実施形態に係るデジタルカメラ１によるノイズ除去処理の一例を示すフローチャート 図２に示すノイズ除去処理における画像データの流れの一例を示す図 他の実施形態に係るデジタルカメラ１によるノイズ除去処理の一例を示すフローチャート 図４に示すノイズ除去処理における画像データの流れの一例を示す図

《一の実施形態》
図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。

本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続される。

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。

撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。

ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。

ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、デジタル処理を施す。一例として、デジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、縮小画像生成部２０、動き判定部２１、ノイズ抽出部２２、ノイズ除去部２３、圧縮処理部２４として動作する。

縮小画像生成部２０は、公知の手法を用い、撮像素子１２によって撮像された動画の各フレームの縮小画像を生成する。本実施形態の縮小画像生成部２０は、１つのフレーム（対象画像）に対して縮小率１／４および１／１６の２つの縮小画像（第１縮小画像）を生成する。また、縮小画像生成部２０は、ノイズ除去処理の参照となる参照画像に対しても縮小率１／４および１／１６の縮小画像（第２縮小画像）を生成する。なお、本実施形態における参照画像は、動画像において対象画像よりも１つ前のフレームで、ノイズ除去された画像であるとする。また、本実施形態における公知の手法とは、例えば、多重解像度解析およびNearest Neighbor法であるとする。

動き判定部２１は、同じ縮小率で縮小された対象画像および参照画像の縮小画像を一組として用い、一組の対象画像と参照画像との縮小画像を比較することにより、対象画像の縮小画像の各画素において、被写体が動いたか否かを判定する。そのために、本実施形態の動き判定部２１は、一組をなす対象画像および参照画像の縮小画像の処理対象である画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）の平均値＜ｄｓ_ｉ＞（第１平均値）および＜ｄｒ_ｉ＞（第２平均値）を算出する。なお、ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）は、対象画像および参照画像それぞれの縮小画像の画素ｉを中心とする対象領域Ａにある画素ｊの画素値を示し、画素ｊ∈対象領域Ａである。また、対象領域Ａの大きさは、３画素×３画素や５画素×５画素など、対象画像および参照画像の画像サイズ、ＣＰＵ１４の処理能力、または縮小率などに応じて決めることが好ましい。

動き判定部２１は、平均値＜ｄｓ_ｉ＞と平均値＜ｄｒ_ｉ＞との差分の絶対値｜＜ｄｓ_ｉ＞−＜ｄｒ_ｉ＞｜を算出し、その絶対値としきい値Ｄとの比較に基づいて、画素ｉの画素位置での被写体の動き判定を行う。すなわち、動き判定部２１は、差分の絶対値がしきい値Ｄより大きい場合、画素ｉの画素位置の被写体は動いたと判定し、絶対値がしきい値Ｄ以下の場合、画素ｉの画素位置の被写体は静止状態であると判定する。動き判定部２１は、画素ｉの画素位置の被写体は動いたと判定した場合、画素ｉの画素位置や対象領域Ａの情報をメモリ１５に保持する。

なお、しきい値Ｄは、例えば、ＩＳＯ感度が３２００で、画像の階調が０〜２５５の場合、Ｄ＝２〜４などと設定されているものとする。しかしながら、しきい値Ｄは、撮像される被写体対象や被写体を撮像するＩＳＯ感度などに応じて決定されることが好ましい。

また、しきい値Ｄは、縮小率に応じて変えてもよい。すなわち、例えば、元の画像サイズ（縮小率１／１）の対象画像に対して、しきい値Ｄ＝αと設定した場合、縮小率１／４の縮小画像のしきい値Ｄをα／２、縮小率１／１６の縮小画像のしきい値Ｄをα／４などとしてもよい。

また、本実施形態における被写体の動きとは、被写体自身の動きとともに、撮影者の手ブレやデジタルカメラ１のパーン動作などによる被写体の動きも含むものとする。

ノイズ抽出部２２は、動き判定部２１による判定結果に基づいて、対象画像の縮小画像の画素ｉの画素値に重畳したノイズ成分を、上記対象領域Ａの画素値ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）を用いて抽出する。すなわち、ノイズ抽出部２２は、動き判定部２１により被写体が動いたと判定された場合、対象画像の縮小画像の対象領域Ａにある画素値ｄｓ_ｉ（ｊ）のみを用い、対象画像の縮小画像の画素ｉの画素値ｄｓ_ｉ（ｉ）に対する加重平均処理を行う。一方、被写体が静止状態であると判定された場合、ノイズ抽出部２２は、一組の対象画像および参照画像の縮小画像の対象領域Ａにある画素値ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）を用い、対象画像の縮小画像の画素ｉの画素値ｄｓ_ｉ（ｉ）に対する加重平均処理を行う。なお、ノイズ抽出部２２による加重平均処理とは、例えば、式（１）に示すようなバイラテラルフィルタを用いたものである。

ここで、ｄ'ｓ_ｉ（ｉ）は対象画像の縮小画像の画素ｉの加重平均された画素値を示す。被写体が動いたとの判定の場合、式（１）の領域Ｓは、対象画像の縮小画像の画素ｉの画素位置を中心とする対象領域Ａのみであり、ｄ_ｉ（ｊ）は、その対象領域Ａにある画素値ｄｓ_ｉ（ｊ）となる。一方、被写体が静止状態であるとの判定の場合、式（１）の領域Ｓは、対象画像および参照画像の縮小画像の２つの対象領域Ａを合わせた領域であり、ｄ_ｉ（ｊ）は、その対象領域Ａにある画素値ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）となる。また、式（１）のｗは重み付けの係数を示し、次式（２）に示すように、ガウス関数の空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積で表される。

ここで、ｘは対象画像および参照画像の縮小画像の画素の空間座標を示し、水平走査方向と垂直走査方向との成分からなる。ｔは対象画像および参照画像の縮小画像の時間座標を示す。なお、本実施形態における時間座標ｔはフレーム番号を示すものとする。したがって、被写体が動いたとの判定の場合、時間座標ｔ_ｉ＝ｔ_ｊとなり、ｗｔ＝１となることから、ノイズ抽出部２２は、空間方向の変動のみを考慮した加重平均処理を行う。一方、被写体が静止状態であるとの判定の場合、対象画像と参照画像との縮小画像間では、時間座標ｔ_ｉ≠ｔ_ｊとなることから、ノイズ抽出部２２は、時間方向の変動も考慮した加重平均処理を行う。なお、本実施形態の各成分のσ_１、σ_２、σ_３の値は、要求されるノイズ除去処理の精度などに応じて適宜選択して設定されることが好ましい。

ノイズ抽出部２２は、上述のバイラテラルフィルタによる加重平均処理を全ての画素ｉについて行い、画素値ｄ'ｓ_ｉ（ｉ）の対象画像の縮小画像を生成する。なお、その生成された縮小画像は、縮小率に対応した周波数帯域のノイズ成分が除去されたものである。したがって、ノイズ抽出部２２は、加重平均処理前の対象画像の画素値ｄｓ_ｉ（ｉ）と加重平均処理後の画素値ｄ'ｓ_ｉ（ｉ）との差分を求め、縮小率に対応した周波数帯域のノイズ成分Ｎ_ｋを抽出し、ノイズデータとして出力する。なお、ｋは各縮小率を示す。

ノイズ除去部２３は、抽出された複数の周波数帯域のノイズデータを用い、対象画像に重畳するノイズを除去する。ここで、各周波数帯域のノイズデータのノイズ成分Ｎ_ｋは、周波数帯域に対応する縮小率ｋで縮小された対象画像の縮小画像の各画素に対応している。そこで、ノイズ除去部２３は、各周波数帯域のノイズデータを、元の対象画像の各画素におけるノイズデータに変換する。ノイズ除去部２３は、変換した各周波数帯域のノイズ成分のノイズデータを元の対象画像から減算し除去する。

さらに、本実施形態のノイズ除去部２３は、上記周波数帯域のノイズ成分全てを除去した後、動き判定部２１およびノイズ抽出部２２と組み合わせて、対象画像自身に重畳する高周波帯域のノイズ成分を除去する。すなわち、対象画像および参照画像の画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉ（ｊ）および画素値ｄｒ_ｉ（ｊ）を用いて、上述したように、動き判定部２１は、画素ｉの画素位置での被写体の動き判定を行う。ノイズ抽出部２２は、その動き判定の結果に応じて、対象画像の画素ｉの画素値に重畳する高周波帯域のノイズ成分を、式（１）および式（２）のバイラテラルフィルタによる加重平均処理に基づいて抽出する。ノイズ除去部２３は、対象画像自身に重畳する高周波帯域のノイズ成分を除去する。

なお、各縮小画像は、自身の縮小率に対応した周波数帯域のノイズ成分とともに、より小さな縮小画像が有する低周波帯域のノイズ成分も重畳して有する。そこで、本実施形態のノイズ除去部２３は、ノイズ抽出部２２によって抽出されたノイズデータを、元の対象画像の各画素におけるノイズデータに変換するとともに、自身よりも大きな縮小率の縮小画像の各画素におけるノイズデータにも変換する。ノイズ除去部２３は、変換したノイズデータを用いて、各縮小画像に重畳するより低周波帯域のノイズ成分を除去する。これにより、ノイズ抽出部２２は、各縮小画像から自身の縮小率に対応した周波数帯域のノイズ成分を確度高く抽出することができる。

圧縮処理部２４は、H.264やMotion JPEGなどの動画形式に応じて、各周波帯域のノイズ成分が除去された対象画像を動画圧縮し、動画データを生成する。

メモリ１５は、画像データなどとともに、ＣＰＵ１４によって実行される画像処理プログラムなどの各種プログラムを記憶する不揮発性のフラッシュメモリである。本実施形態のメモリ１５は、動き判定部２１により、画素ｉの画素位置の被写体が動いたと判定された場合、画素ｉの画素位置などの情報を保持する。

操作部１６は、例えば、撮像モードの切換設定の入力や、静止画、連写または動画の撮像指示などをユーザから受け付ける。

モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像した動画を再生表示する。

メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

次に、図２のフローチャートおよび図３の画像データの流れ図を参照しつつ、本実施形態に係るデジタルカメラ１による処理動作について説明する。

なお、上述したように、縮小画像は、自身の縮小率に対応した周波数帯域のノイズ成分とともに、より小さな縮小画像が有するより低周波帯域のノイズ成分も重畳して有する。逆に、縮小画像は、自身の画像サイズよりも大きな画像が有するより高い周波帯域のノイズ成分を有しない。そこで、各縮小画像から自身の縮小率に対応した周波数帯域のノイズ成分を効率的に抽出するために、本実施形態における処理は、最小の縮小率の縮小画像から開始するものとする。

ＣＰＵ１４は、ユーザから動画の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画撮像を開始させる。ＣＰＵ１４は、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力された第１フレームを対象画像３０ａとして読み込む。同時に、ＣＰＵ１４は、対象画像３０ａをノイズ除去処理の参照画像３０ｂと設定する。なお、第２フレーム以降の対象画像３０ａに対する参照画像３０ｂは、本実施形態のノイズ除去が施された１つ前のフレームとする。

ステップＳ１０２：ＣＰＵ１４の縮小画像生成部２０は、読み込んだ対象画像３０ａおよび参照画像３０ｂそれぞれについて、縮小率が１／４および１／１６の縮小画像を生成する。図３において、フレーム３０ａに対する縮小率１／４および１／１６の縮小画像（第１縮小画像）を３１ａおよび３２ａと符号を付し、参照画像３０ｂに対する縮小率１／４および１／１６の縮小画像（第２縮小画像）を３１ｂおよび３２ｂと符号を付す。

ステップＳ１０３：ＣＰＵ１４は、対象画像３０ａおよび参照画像３０ｂの縮小率１／１６の縮小画像３２ａ、３２ｂを読み込む。ＣＰＵ１４は、一組の縮小画像３２ａ、３２ｂを用い、縮小画像３２ａの画素ｉの画素位置で被写体が動いたか否かの判定を、画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉおよびｄｒ_ｉを用いて行う。すなわち、動き判定部２１は、対象領域Ａにある画素値ｄｓ_ｉおよびｄｒ_ｉの平均値＜ｄｓ_ｉ＞および＜ｄｒ_ｉ＞を算出し、平均値の差分の絶対値｜＜ｄｓ_ｉ＞−＜ｄｒ_ｉ＞｜がしきい値Ｄより大きいか否かを判定する。動き判定部２１は、差分の絶対値がしきい値Ｄより大きい場合、縮小画像３２ａの画素ｉの画素位置の被写体は動いたと判定し、例えば、画素ｉの画素位置をメモリ１５に保持する。一方、動き判定部２１は、絶対値がしきい値Ｄ以下の場合、縮小画像３２ａの画素ｉの画素位置の被写体は静止状態であると判定する。

ステップＳ１０４：ＣＰＵ１４のノイズ抽出部２２は、ステップＳ１０３における画素ｉでの被写体の動き判定の結果に応じて、式（１）および式（２）のバイラテラルフィルタによる加重平均処理を行う。すなわち、ノイズ抽出部２２は、被写体が動いたとの判定の場合、縮小画像３２ａの対象領域Ａを式（１）の領域Ｓとし、その対象画像Ａの画素値ｄｓ_ｉ（ｊ）を式（１）のｄ_ｉ（ｊ）として、加重平均処理を行う。一方、被写体が静止状態という判定の場合、ノイズ抽出部２２は、縮小画像３２ａおよび３２ｂの各対象領域Ａを合わせた領域を式（１）の領域Ｓとし、その対象領域Ａにある画素値ｄｓ_ｉ（ｊ）およびｄｒ_ｉ（ｊ）を式（１）のｄ_ｉ（ｊ）として、加重平均処理を行う。ノイズ抽出部２２は、画素ｉの画素値ｄ'ｓ_ｉ（ｉ）を取得する。

ステップＳ１０５：ＣＰＵ１４は、縮小画像３２ａの全ての画素ｉについて加重平均処理を行い、画素値ｄ'ｓ_ｉ（ｉ）を取得したか否かを判定する。ＣＰＵ１４は、全ての画素ｉについて処理を行ったと判定した場合、画素値ｄ'ｓ_ｉからなる縮小率１／１６の対象画像３０ａの縮小画像３３を生成し、ステップＳ１０６（ＹＥＳ側）へ移行する。一方、ＣＰＵ１４は、全ての画素ｉについて処理を行っていないと判定した場合、ステップＳ１０３（ＮＯ側）へ移行し、全ての画素ｉについて、ステップＳ１０３およびステップＳ１０４の処理を行い、縮小画像３３を生成する。なお、縮小画像３３は、縮小率１／１６に対応した周波数帯域（以下、低周波帯域という）のノイズ成分が除去された画像である。

ステップＳ１０６：ノイズ抽出部２２は、縮小画像３２ａの画素ｉの画素値ｄｓ_ｉ（ｉ）から縮小画像３３の画素ｉの画素値ｄ'ｓ_ｉ（ｉ）を減算して、縮小画像３２ａの縮小率に対応した低周波帯域のノイズデータ３４を抽出する。

ステップＳ１０７：ＣＰＵ１４は、ステップＳ１０６において抽出されたノイズデータが、最小の縮小率の縮小画像から抽出されたものであるか否かを判定する。最小の縮小率から抽出されたものであると判定された場合、ＣＰＵ１４は、ステップＳ１０８（ＹＥＳ側）へ移行する。一方、最小の縮小率から抽出されたものでないと判定された場合、ＣＰＵ１４は、ステップＳ１１０（ＮＯ側）へ移行する。

ステップＳ１０８：ＣＰＵ１４のノイズ除去部２３は、抽出されたノイズデータ３４を、縮小率１／４の縮小画像３１ａの各画素における低周波帯域のノイズデータ３５に変換する。ノイズ除去部２３は、縮小画像３１ａの各画素の画素値からノイズデータ３５のノイズ成分を減算し、縮小画像３１ａに重畳する低周波帯域のノイズ成分が除去された縮小画像３６を算出する。ただし、縮小画像３６は、縮小率１／４に対応した周波数帯域（以下、中周波帯域という）のノイズ成分を有する。

ステップＳ１０９：ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したか否かを判定する。ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了したと判定した場合、ステップＳ１１１（ＹＥＳ側）へ移行する。

一方、ＣＰＵ１４は、全ての縮小率の縮小画像に対する処理が終了していないと判定した場合、ステップＳ１０３（ＮＯ側）へ移行する。ＣＰＵ１４は、低周波帯域のノイズ成分が除去された縮小率１／４の縮小画像３６、および縮小率１／４の参照画像３０ｂの縮小画像３１ｂに対して、ステップＳ１０３〜ステップＳ１０５の処理を行う。ステップＳ１０５において、ノイズ抽出部２２は、中周波帯域のノイズ成分が除去された縮小率１／４の縮小画像３７を生成する。ノイズ抽出部２２は、ステップＳ１０６において、縮小画像３６の画素ｉの画素値ｄｓ_ｉ（ｉ）から縮小画像３７の画素ｉの画素値ｄ'ｓ_ｉ（ｉ）を減算して、中周波帯域のノイズ成分のノイズデータ３８を抽出する。ＣＰＵ１４は、ステップＳ１０７において、ステップＳ１１０（ＮＯ側）へ移行する。

なお、本実施形態のステップＳ１０３において、動き判定部２１は、縮小画像３２ａ、３２ｂに対する動き判定の結果を用い、縮小画像３６の画素ｉの画素位置での被写体の動き判定を行うものとする。すなわち、動き判定部２１は、メモリ１５に保持された縮小画像３２ａ、３２ｂに対する判定結果を読み込む。動き判定部２１は、例えば、縮小画像３６を縮小率１／４で縮小した場合、縮小画像３６の画素ｉの画素位置が、被写体が動いたと判定された縮小画像３２ａの画素の画素位置と一致するか否かを判定する。動き判定部２１は、一致すると判定した場合、縮小画像３６の画素ｉの画素位置を、被写体が動いた画素位置としてメモリ１５に保持する。一方、不一致の場合、動き判定部２１は、縮小画像３６および縮小画像３１ｂの画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉおよびｄｒ_ｉを用い、通常の動き判定を行う。動き判定部２１は、縮小画像３６の画素ｉの画素位置で被写体が動いたと判定した場合、その画素ｉの画素位置をメモリ１５に保持する。

ステップＳ１１０：ノイズ除去部２３は、低周波帯域のノイズデータ３５と中周波数帯域のノイズデータ３８とのノイズ成分を各画素で加算し、低中周波帯域のノイズデータ３９を生成する。

ノイズ除去部２３は、ステップＳ１０８において、低中周波帯域のノイズデータ３９を、元の対象画像３０ａの各画素における低中周波帯域のノイズデータ４０に変換する。ノイズ除去部２３は、元の対象画像３０ａの各画素の画素値からノイズデータ４０のノイズ成分を減算し、対象画像３０ａに重畳する低中周波帯域のノイズ成分が除去された対象画像４１を生成する。ＣＰＵ１４は、ステップＳ１０９において、ステップＳ１１１（ＹＥＳ側）へ移行する。

ステップＳ１１１：ＣＰＵ１４は、参照画像３０ｂを用い、低中周波帯域のノイズが除去された対象画像４１の画素ｉに重畳する高周波数帯域のノイズ成分を除去する。具体的には、動き判定部２１が、対象画像４１および参照画像３０ｂの画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉおよび画素値ｄｒ_ｉを用い、画素ｉの画素位置での被写体の動き判定を行う。ノイズ抽出部２２は、動き判定の結果に応じて、対象画像の画素ｉの画素値に重畳する高周波帯域のノイズ成分を、式（１）および式（２）のバイラテラルフィルタによる加重平均処理に基づいて抽出する。ノイズ除去部２３は、対象画像４１自身に重畳する高周波帯域のノイズ成分を除去して、対象画像４２を生成する。

なお、本実施形態の動き判定部２１は、縮小画像３６、３１ｂに対する動き判定の結果を用い、対象画像４１の画素ｉの画素位置での被写体の動き判定を行うものとする。すなわち、動き判定部２１は、メモリ１５に保持された縮小画像３６、３１ｂに対する判定結果を読み込む。動き判定部２１は、例えば、対象画像４１を縮小率１／４で縮小した場合、縮小画像４１の画素ｉの画素位置が、被写体が動いたと判定された縮小画像３６の画素の画素位置と一致するか否かを判定する。動き判定部２１は、一致すると判定した場合、対象画像４１の画素ｉの画素位置で被写体が動いたと判定する。一方、不一致の場合、動き判定部２１は、対象画像４１および参照画像３０ｂの画素ｉの画素位置を中心とする対象領域Ａにある画素値ｄｓ_ｉおよびｄｒ_ｉを用い、通常の動き判定を行う。

ステップＳ１１２：ＣＰＵ１４の圧縮処理部２４は、H.264やMotion JPEGなどの動画形式に応じて、低周波帯域から高周波帯域のノイズ成分が除去された対象画像４２を動画圧縮し、動画データを生成する。ＣＰＵ１４は、その動画データをメモリ１５に一時的に記録する。同時に、ＣＰＵ１４は、対象画像４２を、次のフレームの対象画像３０ａに対する参照画像３０ｂとしてメモリ１５に記録設定する。

ステップＳ１１３：ＣＰＵ１４は、例えば、ユーザによる操作部１６のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、動画撮像の終了指示を受け付けたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データから動画ファイルを生成し、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、動画撮像の終了指示を受け付けていないと判定した場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、第２フレーム以降の対象画像３０ａに対するステップＳ１０１〜ステップＳ１１２の処理を、終了指示を受け付けるまで行う。

このように、本実施形態では、対象画像３０ａおよび参照画像３０ｂの一組から縮小率が異なる複数組の縮小画像を生成して、各組の縮小画像の画素毎に動き判定を行い、その判定結果に応じて、加重平均処理の演算範囲（領域Ｓ）を調整することにより、被写体が動く場合であっても、被写体の像がボケることなく、動画などに対するノイズ除去を確度高く行うことができる。

また、最小の縮小率の一組の縮小画像から被写体の動き判定を行い、最小の縮小率に対応する周波数帯域のノイズ成分から抽出することにより、被写体の動きの影響が、画像サイズが大きい他の縮小率の縮小画像に伝播することを回避しつつ、効率的にノイズ除去することができる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１の一の実施形態に係るデジタルカメラ１と同じ構成を有し、各構成要素の詳細な説明は省略する。

図４は、本実施形態のデジタルカメラ１による処理動作のフローチャートを示す。図４において、図２に示す一の実施形態における処理と同様な処理については、下２桁が同じとなるステップ番号を付し詳細な説明は省略する。

図５は、図４に示す処理における画像データの流れを示す。図５において、図３に示す一の実施形態における画像データと同一のものについては、同一の符号を付し詳細な説明は省略する。

本実施形態に係るデジタルカメラ１による処理動作が一の実施形態に係るものと異なる点は、ステップＳ１１１の高周波帯域のノイズ除去処理が省略される点にある。これは、ステップＳ２１２（ステップＳ１１２に対応）において行われる、圧縮処理部２４による対象画像４１を動画データに変換する動画圧縮処理が、高周波帯域のノイズ成分を除去するのと同様の効果を有するからである。

また、ステップＳ１１１の処理が省略されることにより、対象画像４２が算出されない。よって、縮小画像生成部２０は、ステップＳ２０２において、第２フレーム以降の参照画像３０ｂの縮小画像３１ｂ、３２ｂを生成しない。そして、ＣＰＵ１４は、ステップＳ２１２において、縮小画像３３、３７を、参照画像３０ｂの縮小率１／１６および１／４の縮小画像３２ｂおよび３１ｂとして、メモリ１５に記録設定する。ＣＰＵ１４は、ステップＳ２０１において、縮小画像３１ｂ、３２ｂをメモリ１５から読み込む。

このように、本実施形態では、対象画像３０ａおよび参照画像３０ｂの一組から縮小率が異なる複数組の縮小画像を生成して、各組の縮小画像の画素毎に動き判定を行い、その判定結果に応じて、加重平均処理の演算範囲（領域Ｓ）を調整することにより、被写体が動く場合であっても、被写体の像がボケることなく、動画などに対するノイズ除去を確度高く行うことができる。

また、最小の縮小率の一組の縮小画像から被写体の動き判定を行い、最小の縮小率に対応する周波数帯域のノイズ成分から抽出することにより、被写体の動きの影響が、画像サイズが大きい他の縮小率の縮小画像に伝播することを回避しつつ、効率的にノイズ除去することができる。

さらに、高周波帯域のノイズ除去を動画圧縮処理で代用することにより、デジタルカメラ１によるノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができ、デジタルカメラ１の回路規模を小さくすることができる。

また、第２フレーム以降の縮小画像生成部２０による参照画像３０ｂの縮小画像の生成処理を省略することにより、ノイズ除去処理の処理時間の短縮および処理負荷の軽減をさらに図ることができ、デジタルカメラ１の回路規模をさらに小さくすることができる。
《実施形態の補足事項》
（１）上記実施形態では、デジタルカメラ１の縮小画像生成部２０、動き判定部２１、ノイズ抽出部２２、ノイズ除去部２３、圧縮処理部２４の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。

（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１の例に限定されない。例えば、動画または連写によって撮像された複数の画像をコンピュータに読み込ませるとともに、コンピュータにノイズ除去の処理を実行させ、コンピュータを本発明の画像処理装置として機能させてもよい。

（３）上記実施形態では、第１フレームの対象画像３０ａに対する参照画像３０ｂとして、対象画像３０ａを用いたが、本発明はこれに限定されず、例えば、対象画像３０ａに公知のノイズ除去処理を施し参照画像３０ｂとしてもよい。

（４）上記実施形態では、式（１）における重み付けの係数ｗを、式（２）に示すように、空間成分ｗｘ、画素値成分ｗｄ、時間成分ｗｔの重み付けの係数の積としたが、本発明はこれに限定されない。例えば、重み付けの係数ｗを、式（３）に示すように、空間成分ｗｘおよび画素値成分ｗｄの重み付けの係数の積とし、画素値成分のσ_２の値を式（４）に示すように設定してもよい。

式（４）に示すように、画素ｉと画素ｊとが同じフレーム同士か否かで、画素値成分のσ_２の値を設定することにより、式（２）の時間成分のｗｔと同じ効果を与えることができる。なお、本実施形態では、σ'_２≠σ"_２とすることが好ましい。

また、空間成分のσ_１および画素値成分のσ_２の値を、ＲＧＢやＹＣｒＣｂなどの色成分毎に設定してもよい。例えば、ＹＣｒＣｂの場合、輝度Ｙについては、σ_１〜０．７／ピクセル、σ_２〜３０／８ビット画像、色差ＣｒＣｂについては、σ_１〜０．７／ピクセル、σ_２〜１０／８ビット画像と設定する。

また、バイラテラルフィルタの代わりに、例えば、イプシロンフィルタなどを用いてもよい。

さらに、σ'_２およびσ"_２それぞれの値を、動き判定部２１による平均値の差分の絶対値｜＜ｄｓ_ｉ＞−＜ｄｒ_ｉ＞｜の大きさに応じて決定し、式（３）および（４）の加重平均処理において、現フレームと過去フレームとの重み付けを行ってもよい。すなわち、例えば、σ'_２の値を、平均値の差分の絶対値｜＜ｄｓ_ｉ＞−＜ｄｒ_ｉ＞｜の大きさに応じて決定し、σ"_２の値は、σ'_２の値に基づいて決定されてもよい。

（５）上記実施形態では、縮小画像生成部２０は、対象画像３０ａおよび参照画像３０ｂそれぞれの縮小率１／４および１／１６の縮小画像を多重解像度解析により生成したが、本発明はこれに限定されない。縮小画像生成部２０は、１または３以上の縮小率が異なる縮小画像を生成してもよい。

（６）上記実施形態では、ノイズ除去部２３は、低周波帯域のノイズデータ３５と中周波帯域のノイズデータ３８とのノイズ成分を各画素で加算して低中周波帯域のノイズデータ３９を算出し、低中周波帯域のノイズ成分が除去された対象画像４１を算出したが、本発明はこれに限定されない。例えば、ノイズ除去部２３は、低周波帯域のノイズデータ３５および中周波帯域のノイズデータ３８それぞれを、元の対象画像３０ａの各画素における各周波数帯域のノイズデータを算出する。そして、ノイズ除去部２３は、元の対象画像３０ａから各周波数帯域のノイズデータを減算し、対象画像４１を算出してもよい。

（７）上記一の実施形態において、ＣＰＵ１４は、撮像素子１２から出力される対象画像３０ａとともに、参照画像３０ｂを読み込み、縮小画像生成部２０は、対象画像３０ａおよび参照画像３０ｂの縮小画像を生成したが、本発明はこれに限定されない。例えば、ＣＰＵ１４は、対象画像４２を参照画像３０ｂとしてメモリ１５に記憶設定するとともに、縮小画像３７を縮小率１／４の参照画像３１ｂ、縮小画像３３を縮小率１／１６の参照画像３２ｂとしてメモリ１５に記録設定してもよい。これにより、縮小画像生成部２０による参照画像３０ｂの縮小画像の生成処理を省略でき、ノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができる。さらに、デジタルカメラ１の回路規模を小さくすることができる。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。

１…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…縮小画像生成部、２１…動き判定部、２２…ノイズ抽出部、２３…ノイズ除去部、２４…圧縮処理部

Claims (14)

1. ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、
   前記第１縮小画像と前記第２縮小画像との比較に基づいて、前記対象画像の被写体が動いたか否かを判定する動き判定部と、
   前記動き判定部による判定結果に基づいて、前記第１縮小画像および前記第２縮小画像から前記縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、
   前記対象画像から前記周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、
   前記動き判定部は、複数の縮小率で複数の前記第１縮小画像および前記第２縮小画像の組が生成された場合、最小の縮小率に対応した組から前記被写体が動いたか否かを判定し、
   前記ノイズ抽出部は、前記最小の縮小率に対応した組から前記周波数帯域のノイズ成分を抽出する
   ことを特徴とする画像処理装置。
2. ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、
   前記第１縮小画像と前記第２縮小画像との比較に基づいて、前記対象画像の被写体が動いたか否かを判定する動き判定部と、
   前記動き判定部による判定結果に基づいて、前記第１縮小画像および前記第２縮小画像から前記縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、
   前記対象画像から前記周波数帯域のノイズ成分を除去するノイズ除去部と、を備え、
   前記動き判定部は、前記第１縮小画像および前記第２縮小画像の処理対象の画素位置を中心とする対象領域にある画素値の第１平均値および第２平均値をそれぞれ算出し、前記第１平均値と前記第２平均値との差分の値に基づき、前記処理対象の画素位置で前記被写体が動いたか否かを判定する
   ことを特徴とする画像処理装置。
3. ノイズ除去対象の対象画像を縮小した第１縮小画像と、ノイズ除去処理の参照となる参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部と、
   前記第１縮小画像と前記第２縮小画像との比較に基づいて、前記対象画像の被写体が動いたか否かを判定する動き判定部と、
   前記動き判定部による判定結果に基づいて、前記第１縮小画像または前記第１縮小画像と前記第２縮小画像とから前記縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出部と、
   前記対象画像から前記周波数帯域のノイズ成分を除去するノイズ除去部と、
   を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記動き判定部は、複数の縮小率で複数の前記第１縮小画像および前記第２縮小画像の組が生成された場合、最小の縮小率に対応した組から前記被写体が動いたか否かを判定し、
   前記ノイズ抽出部は、前記最小の縮小率に対応した組から前記周波数帯域のノイズ成分を抽出する
   ことを特徴とする画像処理装置。
5. 請求項１、請求項３、請求項４のいずれか１項に記載の画像処理装置において、
   前記動き判定部は、前記第１縮小画像および前記第２縮小画像の処理対象の画素位置を中心とする対象領域にある画素値の第１平均値および第２平均値をそれぞれ算出し、前記第１平均値と前記第２平均値との差分の値に基づき、前記処理対象の画素位置で前記被写体が動いたか否かを判定する
   ことを特徴とする画像処理装置。
6. 請求項２または請求項５に記載の画像処理装置において、
   前記動き判定部により前記処理対象の画素位置で前記被写体が動いたと判定された場合、前記処理対象の画素位置を記憶する記憶部を備える
   ことを特徴とする画像処理装置。
7. 請求項２、請求項５、請求項６のいずれか１項に記載の画像処理装置において、
   前記ノイズ抽出部は、前記動き判定部による判定結果に基づいて、前記第１縮小画像の前記対象領域にある画素値、または前記第１縮小画像および第２縮小画像の前記対象領域にある画素値を用い、前記第１縮小画像の前記処理対象の画素の画素値に対する加重平均処理を行い、前記第１縮小画像の処理対象の画素の画素値と加重平均した画素値との差分から前記周波数帯域のノイズ成分を抽出する
   ことを特徴とする画像処理装置。
8. 請求項２、請求項５、請求項６のいずれか１項に記載の画像処理装置において、
   前記ノイズ抽出部は、前記第１縮小画像および第２縮小画像の前記対象領域にある画素値を用い、前記差分の値に応じて前記第１縮小画像の前記処理対象の画素の画素値に対する加重平均処理を行い、前記第１縮小画像の処理対象の画素の画素値と加重平均した画素値との差分から前記周波数帯域のノイズ成分を抽出する
   ことを特徴とする画像処理装置。
9. 請求項２、請求項５ないし請求項８のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、前記参照画像および前記周波数帯域のノイズ成分が除去された前記対象画像の前記対象領域にある画素値を用い、前記周波数帯域のノイズ成分が除去された対象画像の前記処理対象の画素の画素値に対する加重平均処理を行い、前記対象画像の前記処理対象の画素における高周波帯域のノイズ成分を除去する
   ことを特徴とする画像処理装置。
10. 請求項７ないし請求項９のいずれか１項に記載の画像処理装置において、
    前記加重平均処理は、バイラテラルフィルタまたはイプシロンフィルタを用いて行われることを特徴とする画像処理装置。
11. 請求項１ないし請求項８のいずれか１項に記載の画像処理装置において、
    前記周波数帯域のノイズ成分が除去された前記対象画像に対する画像圧縮を行い高周波帯域のノイズ成分を除去する圧縮処理部を備える
    ことを特徴とする画像処理装置。
12. 請求項１ないし請求項１１のいずれか１項に記載の画像処理装置において、
    前記対象画像は、連続的に撮像された画像の１つであり、
    前記参照画像は、前記連続的に撮像された画像で、前記対象画像よりも前に撮像され前記ノイズ除去された画像である
    ことを特徴とする画像処理装置。
13. 被写体像を撮像して画像を生成する撮像部と、
    請求項１ないし請求項１２のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
14. ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、
    前記対象画像を縮小した第１縮小画像と、前記参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順、
    前記第１縮小画像と前記第２縮小画像との比較に基づいて、前記対象画像の被写体が動いたか否かを判定する動き判定手順、
    前記動き判定手順による判定結果に基づいて、前記第１縮小画像または前記第１縮小画像と前記第２縮小画像とから前記縮小率に対応した周波数帯域のノイズ成分を抽出するノイズ抽出手順、
    前記対象画像から前記周波数帯域のノイズ成分を除去するノイズ除去手順、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images