JP6727206B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、２次元状に配置された複数の画素を有する撮像素子に生じるＲＴＳノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズおよび欠陥画素ノイズを補正する画像処理装置、画像処理方法およびプログラムに関する。

近年、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子は、画素および該画素から信号を読み出す読み出し回路の微細化が進んでいる。このような微細化された読み出し回路では、感度の低下および様々なノイズの増加が問題となっている。感度の低下に対しては、複数の画素を１つの読み出し回路で共有させて信号を読み出す共有画素構造を採用することで、撮像素子における回路に必要な面積を削減し、各画素の開口率（受光部の割合）を向上させることによって、感度を向上させている。

一方、撮像素子で発生するノイズには、暗電流による暗電流ショットノイズおよび読み出し回路での熱雑音等に起因するランダムノイズ以外にも、少なくともある条件下で画素値が常に異常値を示す欠陥画素ノイズ（欠陥画素）、および画素値がランダムに変動する点滅欠陥ノイズ等がある。このような欠陥画素の中には、画素値が周辺の画素の画素値に比べて高くなる白傷や、画素値が周辺の画素の画素値に比べて低くなる黒傷がある。ここで、白傷には、常に白く（周囲の画素より明るく）なる傷、特定条件、例えば温度、露光量および露光時間等で白く（周囲の画素より明るく）なる傷が含まれる。また、黒傷には、常に黒くなる傷（周囲の画素より暗くなる）、特定条件、例えば温度、露光量および露光時間等で黒く（周囲の画素より暗くなる）なる傷が含まれる。

また、欠陥画素の中には、読み出し回路に起因する欠陥画素もあり、共有画素構造を採用している場合には、読み出し回路を共有する全ての画素で同様の欠陥画素が発生することもある。

このような欠陥画素を補正する技術として、注目画素近傍の画素の平均値を算出し、この平均値との比較に基づいて欠陥画素であるか否かを判定し、欠陥画素と判定した場合、その欠陥画素を近傍画素の平均値に置き換える技術が知られている（特許文献１参照）。

また、上述した点滅欠陥ノイズの中には、読み出し回路に起因するＲＴＳ（Random Telegraph Signal）ノイズがある。このＲＴＳノイズを補正する技術として、撮影された画像における注目画素の画素値、該注目画素の周辺画素の画素値および予め撮像素子の画素毎に検出したＲＴＳノイズのノイズレベル（以下、「ＲＴＳノイズレベル」という）に基づいて、注目画素に対してＲＴＳノイズの影響があるか否かを判定し、ＲＴＳノイズの影響があると判定された場合、この注目画素の画素値に対してＲＴＳノイズレベルだけ加算または減算する技術が知られている（特許文献２参照）。

特開２００２−１０２７４号公報 特開２０１２−１０５０６３号公報

ところで、一般的に白傷や黒傷のほうがＲＴＳノイズに比べ画質に及ぼす影響が大きく、真値と考えられる値からの変動量が大きい。このため、欠陥画素および点滅欠陥画素に対して、互いに異なる補正方法を用いることが好ましい。

また、欠陥画素および点滅欠陥画素が増加するに従って、撮像素子内において欠陥画素および点滅欠陥画素が近接する可能性が増加する。図２７は、従来の撮像素子の各画素を模式的に示す図である。図２７に示すように、撮像素子５００内において欠陥画素ＰＷ１および点滅欠陥画素ＰＲ１が増加するに従って、欠陥画素ＰＷ１および点滅欠陥画素ＰＲ１が隣接する場合が発生する。このため、上述した特許文献１および特許文献２の技術を用いて、欠陥画素および点滅欠陥画素の各々を個別に補正したとしても、他方のノイズの影響を受けてしまう場合がある。さらに、ＲＴＳノイズは、撮像素子５００の共有ブロックＧ１単位で発生するため、全て欠陥画素と見なして補正した場合、著しく画質が低下する可能性がある。

このように、上述した特許文献１および特許文献２の技術を用いて、欠陥画素および点滅欠陥画素を含む撮像素子で生成された画像データに対して、欠陥画素および点滅欠陥画素の各々を個別に補正したとしても、過補正や補正残りが発生してしまい、精度の低い補正となってしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、欠陥画素および点滅欠陥画素を含む撮像素子で生成された画像データに対して、欠陥画素および点滅欠陥画素を高精度に補正することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置であって、前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得部と、前記取得部が取得した前記画像データに対して、前記取得部が取得した前記欠陥画素情報と前記取得部が取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ低減部は、前記取得部が取得した前記画像データに対して、前記取得部が取得した前記欠陥画素情報と前記取得部が取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減した後に、少なくとも前記取得部が取得した前記欠陥画素情報または前記取得部が取得した前記点滅欠陥ノイズ情報のいずれかに基づき他方のノイズを低減することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ低減部は、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正部と、前記点滅欠陥ノイズ情報に基づいて、前記欠陥画素補正部によって前記欠陥画素ノイズが補正された前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ低減部は、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正部と、前記欠陥画素情報に基づいて、前記点滅欠陥ノイズ補正部によって前記点滅欠陥ノイズが補正された前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ低減部は、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正部と、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正部と、を有し、前記ノイズ低減部は、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対応する画像の注目画素に前記欠陥画素ノイズが生じる場合、前記注目画素の画素値を前記欠陥画素補正部に補正させた結果を出力する一方、前記注目画素に前記点滅欠陥ノイズが生じる場合、前記注目画素の画素値を前記点滅欠陥ノイズ補正部に補正させた結果を出力することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素補正部は、前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素を除いた画素の画素値を用いて前記欠陥画素ノイズを補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素補正部は、前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素の画素値と該画素の周囲画素の各々の画素値との差が所定の閾値以上である画素の画素値を除いて前記欠陥画素ノイズを補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズ情報は、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応させ、前記点滅欠陥ノイズのノイズレベルに基づく特徴量をさらに含み、前記欠陥画素補正部は、前記欠陥画素ノイズ周囲に前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素が存在する場合、前記点滅欠陥ノイズが発生し得る画素の画素値を前記特徴量に基づき補正した画素値を用いて前記欠陥画素ノイズを補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズ補正部は、前記欠陥画素情報に含まれる前記欠陥画素ノイズが発生する画素を除いた画素の画素値を用いて前記点滅欠陥ノイズを補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズ補正部は、前記欠陥画素情報に含まれる前記欠陥画素ノイズが発生する画素を除いた画素の画素値から注目画素の代表値を算出し、該代表値に近づくように前記点滅欠陥ノイズを補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする。

また、本発明に係る画像処理方法は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置が実行する画像処理方法であって、前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置に、前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、を実行させることを特徴とする。

本発明によれば、欠陥画素および点滅欠陥画素を含む撮像素子で生成された画像データに対して、欠陥画素および点滅欠陥画素を高精度に補正することができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像装置が備える撮像素子の要部の構成を模式的に示す概略図である。 図３は、本発明の実施の形態１に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像素子に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部から出力されるアンプ出力の変動の例を示す図である。 図５は、本発明の実施の形態１に係るＲＴＳノイズが発生するアンプ部を用いて読み出された画素値の分布の例を示す図である。 図６は、本発明の実施の形態１に係る画像処理装置が実行するノイズ補正処理の概要を示すフローチャートである。 図７は、図６の欠陥画素補正処理の概要を示すフローチャートである。 図８Ａは、本発明の実施の形態１に係る欠陥画素補正部が設定する選択領域（選択領域１）を模式的に示す図である。 図８Ｂは、本発明の実施の形態１に係る欠陥画素補正部が設定する選択領域（選択領域２）を模式的に示す図である。 図８Ｃは、本発明の実施の形態１に係る欠陥画素補正部が設定する選択領域（選択領域３）を模式的に示す図である。 図８Ｄは、本発明の実施の形態１に係る欠陥画素補正部が設定する選択領域（選択領域４）を模式的に示す図である。 図８Ｅは、本発明の実施の形態１に係る欠陥画素補正部が設定する選択領域（選択領域５）を模式的に示す図である。 図９は、図６のＲＴＳノイズ補正処理の概要を示すフローチャートである。 図１０は、図９の代表値算出処理の概要を示すフローチャートである。 図１１は、ランダムノイズモデルの一例を示す図である。 図１２は、図９の補正値算出処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態１の変形例に係る画像処理装置が実行する欠陥画素補正処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２に係る画像処理装置におけるノイズ低減部の構成を模式的に示すブロック図である。 図１５は、本発明の実施の形態２に係る画像処理装置が実行するノイズ補正処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態２に係る画像処理装置が実行する欠陥画素補正処理の概要を示すフローチャートである。 図１８は、本発明の実施の形態３に係る画像処理装置におけるノイズ低減部の構成を模式的に示すブロック図である。 図１９は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図２０は、図１９の欠陥画素補正処理の概要を示すフローチャートである。 図２１は、図１９のＲＴＳノイズ補正処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態４に係る画像処理装置のノイズ低減部の構成を模式的に示すブロック図である。 図２３は、本発明の実施の形態４に係る画像処理装置が実行するノイズ補正処理の概要を示すフローチャートである。 図２４は、本発明の実施の形態５に係る撮像システムの構成を模式的に示すブロック図である。 図２５は、本発明の実施の形態５に係る撮像システムが実行する処理の概要を示すフローチャートである。 図２６は、図２５の画像処理の概要を示すフローチャートである。 図２７は、欠陥画素および点滅欠陥画素を含む撮像素子の各画素の一例を模式的に示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置３０と、表示装置４０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。なお、絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制御するようにしてもよい。なお、光学系１０１、絞り１０２は、撮像装置１０に対して着脱可能であってもよい。

シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。

ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が２次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。

ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。

図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を垂直方向に転送する垂直転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。

このように構成された撮像素子１０５は、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、アンプ部１０５ｅが複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。

図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。

操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成され、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、画素値を読み出す読み出し回路（アンプ部１０５ｅ）の位置情報または複数の画素１０５ａの各々の位置情報と読み出し回路（アンプ部１０５ｅ）に起因するＲＴＳノイズに関する特徴量とを対応付けたＲＴＳノイズ情報を記録するＲＴＳノイズ情報記録部１１２ｂと、一または複数のランダムノイズモデルを記録するランダムノイズモデル情報記録部１１２ｃと、撮像素子１０５における画素の位置に応じた欠陥画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｅ）の位置情報または欠陥画素が生じる画素の位置情報のいずれか一方または両方を含む）を記憶する欠陥画素情報記録部１１２ｄと、を有する。ここで、特徴量とは、ＲＴＳノイズの振幅（ＲＴＳ＿Ｖａｌｕｅ）、点滅欠陥ノイズの発生頻度およびＲＴＳノイズの振幅未満のＲＴＳノイズにおける発生頻度のいずれかである。

バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作の制御を開始する。ここで、撮像装置１０における撮影動作とは、撮像素子１０５の露光タイミング、アナログ信号の出力タイミング、および撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０６かつＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置３０に撮像素子１０５が生成した画像データ、ＲＴＳノイズ情報、ランダムノイズモデル情報および欠陥画素の位置情報を出力する。

〔画像処理装置の構成〕
次に、画像処理装置３０の構成について説明する。画像処理装置３０は、第３外部Ｉ／Ｆ部３１と、ノイズ低減部３２と、画像処理部３３と、操作部３４と、記憶部３５と、画像処理制御部３６と、を備える。

第３外部Ｉ／Ｆ部３１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データ、不揮発メモリ１１２内のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズに関するＲＴＳノイズ情報、ランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデル情報および欠陥画素情報記録部１１２ｄから欠陥画素情報を取得する取得部として動作し、取得した画像データ、ＲＴＳノイズ情報、ランダムノイズモデル情報および欠陥画素情報をノイズ低減部３２および記憶部３５へ出力する。第３外部Ｉ／Ｆ部３１および第１外部Ｉ／Ｆ部１１５は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信等を介して接続されている。なお、本実施の形態では、第３外部Ｉ／Ｆ部３１が取得部として機能する。

ノイズ低減部３２は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、欠陥画素を補正した後に、ＲＴＳノイズを補正して画像処理部３３へ出力する。ノイズ低減部３２は、欠陥画素補正部５０と、ＲＴＳノイズ補正部５１と、を有する。

欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、欠陥画素の画素値を補正してＲＴＳノイズ補正部５１へ出力する。

ＲＴＳノイズ補正部５１は、欠陥画素補正部５０から入力された欠陥画素が補正されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、ＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、この補正を行ったＲＡＷ画像を画像処理部３３へ出力する。

ここで、ＲＴＳノイズ補正部５１の詳細な構成について説明する。図３は、ＲＴＳノイズ補正部５１の詳細な構成を示すブロック図である。図３に示すように、ＲＴＳノイズ補正部５１は、ＲＴＳノイズ画素判定部３２１と、候補値算出部３２２と、代表値算出部３２３と、ランダムノイズ量推定部３２４と、補正値算出部３２５と、を有する。

ＲＴＳノイズ画素判定部３２１は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像上の画素においてＲＴＳノイズが発生する可能性があるか否かを判定し、判定結果を候補値算出部３２２および代表値算出部３２３へ出力する。具体的には、ＲＴＳノイズ画素判定部３２１に対して画素の位置が入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているか判定し、記録されていればその画素はＲＴＳノイズ画素と見なしてＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。

候補値算出部３２２は、注目画素の画素値と、ＲＴＳノイズ画素判定部３２１の判定結果とに基づいて、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素の画素値と、算出した複数の候補値を代表値算出部３２３、ランダムノイズ量推定部３２４および補正値算出部３２５それぞれへ出力する。

代表値算出部３２３は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部３２１によってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部３２４が算出した注目画素に対応するランダムノイズ量の参照値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部３２３は、注目画素の画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部３２５へ出力する。なお、本実施の形態１では、代表値算出部３２３が推定部として機能する。

ランダムノイズ量推定部３２４は、撮像装置１０のランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を候補値算出部３２２、代表値算出部３２３および補正値算出部３２５それぞれへ出力する。即ち、ランダムノイズ量推定部３２４に対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。

補正値算出部３２５は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部３２２が算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部３２５は、注目画素の画素値と、候補値算出部３２２によって算出された複数の候補値と、代表値算出部３２３によって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して画像処理部３３へ出力する。より具体的には、補正値算出部３２５は、候補値算出部３２２が算出した複数の候補値の中から、代表値算出部３２３が算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正する。これに対して、補正値算出部３２５は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素の画素値をそのまま出力する。

図１に戻り、画像処理装置３０の説明を続ける。
画像処理部３３は、ノイズ低減部３２によってノイズが補正された画像データに対して、所定の画像処理を行って表示装置４０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、画像処理部３３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

操作部３４は、画像処理装置３０に関する各種操作信号の入力を受け付ける。操作部３４は、例えば十字ボタン、プッシュボタンおよびタッチパネル等を用いて構成される。

記憶部３５は、揮発メモリや不揮発性メモリを用いて構成され、第３外部Ｉ／Ｆ部３１から出力されたＲＴＳノイズ情報および欠陥画素情報を記憶する。

画像処理制御部３６は、画像処理装置３０を構成する各部を統括的に制御する。画像処理制御部３６は、は、ＣＰＵ（Central Processing Unit）等を用いて構成される。画像処理制御部３６は、画像処理装置３０を構成する各部の指示やデータ等の転送を制御する。

〔表示装置の構成〕
次に、表示装置４０の構成について説明する。表示装置４０は、画像処理装置３０から入力される画像データに対応する画像を表示する。表示装置４０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、画像処理装置３０が撮像素子１０５において発生する欠陥画素および／またはＲＴＳノイズを補正し、表示装置４０が画像処理装置３０によって画像処理が施された画像データに対応する画像を表示する。

〔ＲＴＳノイズの発生原因と特性〕
次に、ＲＴＳノイズの発生原因とＲＴＳノイズの特性について説明する。
図４は、撮像素子１０５に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部１０５ｅから出力されるアンプ出力の変動の例を示す図である。図５は、ＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値の分布の例を示す図である。

ＲＴＳノイズは、アンプ部１０５ｅにおけるゲート酸化膜にトラップ準位が存在した場合、ランダムなタイミングで、このトラップ準位に電荷が捕獲されたり、放出されたりすることで発生する。このため、図４に示すように、ＲＴＳノイズが発生するアンプ部１０５ｅでは、アンプ出力が約Ｖｒｔｓの範囲でランダムに変動する。また、電位の変動は、一瞬で起こらず、わずかな時間τを要する。

一般に、撮像素子１０５では、画素１０５ａから読み出した画素値からノイズを低減するため、相関二重サンプリング処理（以下、「ＣＤＳ処理」という）が行われる。ＣＤＳ処理では、撮像制御部１１４が撮像素子１０５のリセットスイッチ（図示せず）をオンにして、ＦＤ部１０５ｄの電荷をリセットさせ、さらに、撮像制御部１１４が第２スイッチ１０５ｆをオンにして、リセット状態を作り、リセット状態の信号（基準信号）を読み出す（出力する）。次に、ＣＤＳ処理では、撮像制御部１１４が第１スイッチ１０５ｂ（または第１スイッチ１０５ｂ（１）〜１０５ｂ（８）のいずれか）のみをオンにして、画素１０５ａで発生した電荷をＦＤ部１０５ｄに転送し、さらに第２スイッチ１０５ｆをオンにした読み出し状態（出力状態）を作り、読み出し状態の信号を読み出す（出力する）。続いて、ＣＤＳ処理では、読み出し状態の信号からリセット状態の信号（基準信号）を減算することで得られる信号を画素値として変換する。

図４に示すように、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ１（リセット状態）および時間ｔｓ１（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ１および時間ｔｓ１それぞれのアンプ出力Ｖがほぼ同様であるため、主にランダムノイズによる影響を受け、読み出された画素値が図５に示す分布Ａのような０を中心とした分布となる。同様に、撮像素子１０５は、時間ｔｒ２（リセット状態）と時間ｔｓ２（読み出し状態）でも、時間ｔｒ２および時間ｔｓ２それぞれのアンプ出力Ｖがほぼ同様であるため、読み出された画素値が図５に示す分布Ａのようになる。

一方、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ３（リセット状態）および時間ｔｓ３（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ３のアンプ出力と比べ時間ｔｓ３のアンプ出力が約Ｖｒｔｓ低いため、２つの信号の差をとると、アンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分マイナス方向にシフトし、読み出された画素値が−ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｂとなる。

これに対して、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ４（リセット状態）および時間ｔｓ４（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ４のアンプ出力に比べて時間ｔｓ４のアンプ出力が約Ｖｒｔｓ高いため、２つの信号の差をとるとアンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分プラス方向にシフトし、読み出された画素値がＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｃとなる。

ここで、図４のアンプ出力の変動は、時間τを要して生じるため、電位が変動している途中で信号を読み出す場合もある。この場合、リセット状態の読み出し時間および読み出し状態の読み出し時間の間で、アンプ出力差が−Ｖｒｔｓより大きく、Ｖｒｔｓより小さい。この結果、撮像素子１０５から読み出された画素値も、−ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さな値となる。時間τは、撮像素子１０５の条件（例えば温度や駆動電圧等）が一定であれば、ほぼ一定になると考えられるため、−ＲＴＳ＿Ｖａｌｕｅより大きくＲＴＳ＿Ｖａｌｕｅより小さな画素値が同様の確率で発生する。ここでは、これらの画素値の発生頻度をαｎｏｉｓｅと定義する。また、分布Ｂおよび分布Ｃの各々は、中央値のみ異なるが、それ以外は同様の分布となる。このため、以下においては、分布Ａに対する分布Ｂまたは分布Ｃの割合をαｒｔｓと定義する。このαｒｔｓは、アンプ部１０５ｅのアンプ出力の変動周期が短いほど、大きくなる。

このように、ＣＤＳ処理によりＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値は、図５のような分布となる。なお、撮像素子１０５に光が当たっている条件では、読み出し状態の電位が露光量に応じて変化する。しかしながら、ＲＴＳノイズによる電位の変化は、露光量によらず一定である。即ち、ＲＴＳノイズは、露光量に依存せず、−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下の範囲で正常な画素値に対してランダムに変動する特性を有する。なお、図５において、分布Ａ、分布Ｂ、分布Ｃを模式的に示したが、一般には正規分布となる。

また、ＲＴＳノイズは、読み出し回路（アンプ部１０５ｅ）に起因するノイズであるため、図２に示すように、複数の画素１０５ａの各々が１つの読み出し回路を共有している場合、全ての共有画素（画素１０５ａ（１）〜１０５ａ（８））において同様の特性のＲＴＳノイズが発生する。

また、図２に示した読み出し回路（アンプ部１０５ｅ）以外にも、撮像素子１０５の列方向で共有しているカラムアンプやソースフォロア等においても、ＲＴＳノイズが発生する場合がある。この場合、同じカラムアンプおよびソースフォロアを共有する列方向の全ての画素においても同様の特性のＲＴＳノイズが発生する。本実施の形態では、読み出し回路（アンプ部１０５ｅ）以外の回路で発生したＲＴＳノイズにも適用することができる。

このようにＲＴＳノイズは、被写体を固定して同じ条件で撮影した場合、撮影により得られた画像の画素値が一定範囲内（−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下）で振幅（変動）するような点滅欠陥ノイズの一種となる。

〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図６は、画像処理装置３０が実行するノイズ補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するメインルーチンのフローチャートである。

図６に示すように、まず、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、欠陥画素を補正する欠陥画素補正処理を実行する（ステップＳ１）。なお、欠陥画素補正処理の詳細については後述する。

続いて、ＲＴＳノイズ補正部５１は、欠陥画素補正部５０から入力された欠陥画素が補正されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、ＲＴＳノイズ補正を補正するＲＴＳノイズ補正処理を実行する（ステップＳ２）。なお、ＲＴＳノイズ補正処理の詳細については後述する。ステップＳ２の後、画像処理装置３０は、本処理を終了する。

〔欠陥画素補正処理の概要〕
次に、図６のステップＳ１で説明した欠陥画素補正処理の詳細について説明する。図７は、欠陥画素補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。

図７に示すように、まず、欠陥画素補正部５０は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ１１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ１２）。なお、以下においては、垂直方向のＲＡＷ画像の位置を示すカウンタｙにおいて、ＲＡＷ画像の上端を０とし、水平方向のＲＡＷ画像の位置を示すカウンタｘにおいて、ＲＡＷ画像の左端を０とする。

続いて、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、ＲＡＷ画像における注目画素（（ｘ，ｙ）画素）が欠陥画素であるか否かを判断し（ステップＳ１３）、ＲＡＷ画像における注目画素が欠陥画素である場合（ステップＳ１３：Ｙｅｓ）、欠陥画素補正部５０は、後述するステップＳ１４へ移行し、ＲＡＷ画像における注目画素が欠陥画素でない場合（ステップＳ１３：Ｎｏ）、欠陥画素補正部５０は、後述するステップＳ２４へ移行する。なお、欠陥画素補正部５０は、ステップＳ１３において、注目画素の位置または注目画素を含む共有画素ブロックの位置が欠陥画素情報に含まれていれば欠陥画素と判断し、何れも含まれていなければ欠陥画素では無いと判断する。

ステップＳ１４において、欠陥画素補正部５０は、最小領域を選択領域に設定する。具体的には、図８Ａに示すように、欠陥画素補正部５０は、注目画素Ｐ１に隣接する周辺の画素Ｋ１の画素数が最小である選択領域を設定する。なお、図８Ａ〜図８Ｅにおいては、白抜きで表現した画素が未選択の画素を示す。

続いて、欠陥画素補正部５０は、選択領域の画素値を取得する（ステップＳ１５）。この場合、欠陥画素補正部５０は、注目画素を中心にしたときの選択領域に含まれる全画素の各々の画素値を取得し、取得した選択領域に含まれる全画素の各々の画素値を記憶部３５に記憶する。

その後、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、記憶部３５が記憶する欠陥画素の画素値を削除する（ステップＳ１６）。具体的には、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づき対応する画素が欠陥画素か否かを判定し、欠陥画素である場合、その画素に対応する画素値を記憶部３５から削除する。

続いて、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、記憶部３５が記憶するＲＴＳノイズ発生画素の画素値を削除する（ステップＳ１７）。具体的には、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、記憶部３５に記憶した画素値の中から所定の条件でＲＴＳノイズが発生しうるＲＴＳノイズ発生画素であるか否かを判定し、ＲＴＳノイズ発生画素であれば、その画素に対応する画素値を記憶部３５から削除する。ここで、所定の条件とは、以下の条件（Ａ）〜（Ｃ）のいずれかの場合ある。
（Ａ）判定対象の画素の位置情報がＲＴＳノイズ情報に含まれている場合
（Ｂ）判定対象の画素の位置情報がＲＴＳノイズ情報に含まれており、かつ、周囲の画素値との差が所定の閾値以上である場合
（Ｃ）判定対象の画素の位置情報がＲＴＳノイズ情報に含まれており、かつ、周囲の画素値との差がＲＴＳ＿Ｖａｌｕｅ×係数（例えば０より大きく１以下の数）以上である場合

その後、欠陥画素補正部５０は、記憶部３５に記憶された画素値の数が閾値以上（例えば２以上）であるか否かを判断し（ステップＳ１８）、記憶部３５に記憶された画素値の数が閾値以上である場合（ステップＳ１８：Ｙｅｓ）、欠陥画素補正部５０は、後述するステップＳ２１へ移行し、記憶部３５に記憶された画素値の数が閾値以上でない場合（ステップＳ１８：Ｎｏ）、欠陥画素補正部５０は、後述するステップＳ１９へ移行する。

ステップＳ１９において、欠陥画素補正部５０は、選択領域が最大であるか否かを判断し、選択領域が最大である場合（ステップＳ１９：Ｙｅｓ）、欠陥画素補正部５０は、後述するステップＳ２１へ移行し、選択領域が最大でない場合（ステップＳ１９：Ｎｏ）、欠陥画素補正部５０は、後述するステップＳ２０へ移行する。

ステップＳ２０において、欠陥画素補正部５０は、選択領域を拡大する。具体的には、図８Ａ〜図８Ｅに示すように、欠陥画素補正部５０は、上述したステップＳ１８において記憶部３５に記憶された画素値の数が閾値以上になるまで、選択領域を順次拡大する（図８Ａ→図８Ｂ→図８Ｃ→図８Ｄ→図８Ｅ）。この場合において、欠陥画素補正部５０は、上述したステップＳ１９において、選択領域が最大になった場合（図８Ｅを参照）、後述するステップＳ２１へ移行する。なお、図８Ａ〜図８Ｅにおいて、選択領域は、上記の領域以外にも、種々の形状、範囲およびサイズを変更することができ、例えば長方形の領域であってもよい。また、図８Ａ〜図８Ｅにおいて、選択領域は、複数必要なく、少なくとも１つ以上であればよい。さらに、図８Ａ〜図８Ｅにおいては、撮像素子１０５の受光面にカラーフィルタがないパターンの選択領域を前提としたが、例えば撮像素子１０５の受光面にカラーフィルタを設けた場合、同色画素（同色のカラーフィルタが設けられている画素）のみを使用するように選択領域を選択すればよい（図８Ａ〜図８ＥにおいてＫ１で示した画素のうち、同色画素に対応する画素のみを使用すればよい）。

ステップＳ２１において、欠陥画素補正部５０は、記憶部３５に記憶された画素値の数が１以上であるか否かを判断し、記憶部３５に記憶された画素値の数が１以上である場合（ステップＳ２１：Ｙｅｓ）、欠陥画素補正部５０は、後述するステップＳ２２へ移行し、記憶部３５に記憶された画素値の数が１以上でない場合（ステップＳ２１：Ｎｏ）、欠陥画素補正部５０は、後述するステップＳ２４へ移行する。

ステップＳ２２において、欠陥画素補正部５０は、記憶部３５に記憶されている画素値の平均値、最頻値および中央値のいずれかを用いて、ＲＡＷ画像の注目画素（（ｘ，ｙ）画素）の補正値を算出する。なお、欠陥画素補正部５０は、記憶部３５に記憶されている画素値に基づいて、エッジの方向判別を行い、この判別結果の方向に位置する画素値に対して重み付けを高くする等、その方向の画素値を優先して補正値に反映するようにしてもよい。

続いて、欠陥画素補正部５０は、ＲＡＷ画像の注目画素（（ｘ，ｙ）画素）の画素値をステップＳ２２で算出した補正値に置き換えることによって、ＲＡＷ画像の注目画素の画素値を補正する（ステップＳ２３）。

その後、欠陥画素補正部５０は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）し（ステップＳ２４）、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ２５）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ２５：Ｙｅｓ）、欠陥画素補正部５０は、上述したステップＳ１３へ戻り、カウンタｘがＲＡＷ画像の画素幅より小さくない場合（ステップＳ２５：Ｎｏ）、欠陥画素補正部５０は、ステップＳ２６へ移行する。

続いて、欠陥画素補正部５０は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ２６）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ２７）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ２７：Ｙｅｓ）、欠陥画素補正部５０は、上述したステップＳ１２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ２７：Ｎｏ）、欠陥画素補正部５０は、本処理を終了し、図６のメインルーチンへ戻る。

〔ＲＴＳノイズ補正処理の概要〕
次に、図６のステップＳ２で説明したＲＴＳノイズ補正処理の詳細について説明する。図９は、ＲＴＳノイズ補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。

図９に示すように、ＲＴＳノイズ補正部５１は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ３１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ３２）。

続いて、ＲＴＳノイズ画素判定部３２１は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、注目画素（（ｘ，ｙ）画素）でＲＴＳノイズが発生する可能性があるか否かを判定する（ステップＳ３３）。即ち、ＲＴＳノイズ画素判定部３２１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれているか否かを判定する。具体的には、ＲＴＳノイズ画素判定部３２１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズが発生する可能性がある共有画素ブロックとしてＲＴＳノイズ情報に含まれているか否かを判定する。なお、ＲＴＳノイズ画素判定部３２１は、ＲＴＳノイズ情報に、共有画素ブロックの位置情報ではなく画素の位置情報が含まれている場合、注目画素の位置情報がＲＴＳノイズ情報に含まれているか否かを判定する。ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていると判定）された場合（ステップＳ３３：Ｙｅｓ）、ＲＴＳノイズ補正部５１は、後述するステップＳ３４へ移行する。これに対して、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能がないと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていないと判定）された場合（ステップＳ３３：Ｎｏ）、ＲＴＳノイズ補正部５１は、後述するステップＳ３７へ移行する。

ステップＳ３４において、候補値算出部３２２は、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。具体的には、候補値算出部３２２は、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ（ＲＴＳノイズ画素判定部３２１から出力されるＲＴＳノイズ情報に含まれている）に基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値全て（ＲＡＷ画像として整数のみを取り得る場合、０以上ＲＴＳ＿Ｖａｌｕｅ以下の全ての整数）を候補値とする。なお、候補値算出部３２２は、撮像制御部１１４によって撮像素子１０５のカラムアンプ等に設定されたアンプゲイン値が、ＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）とで異なる場合、ＲＴＳ＿Ｖａｌｕｅを、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対してＲＴＳ＿Ｖａｌｕｅを乗算した値に置き換えてもよい。また、候補値算出部３２２は、予め設定しうるアンプゲイン値毎のＲＴＳ＿ＶａｌｕｅをＲＴＳノイズ情報に持たせ、この設定しているアンプゲイン値に応じたＲＴＳ＿Ｖａｌｕｅを用いてもよい。

続いて、代表値算出部３２３は、注目画素の周辺画素の画素値に基づいて、代表値（注目画素において、ＲＴＳノイズが発生していない場合における予測される画素値）を算出する代表値算出処理を実行する（ステップＳ３５）。なお、代表値算出部３２３は、ＲＴＳノイズが発生する画素を含めるようにしてもよい。

〔代表値算出処理の概要〕
図１０は、上述した図９のステップＳ３５の代表値算出処理の概要を示すフローチャートである。

図１０に示すように、まず、代表値算出部３２３は、最小領域を選択領域に設定する（ステップＳ５１）。具体的には、上述した図８Ａに示すように、欠陥画素補正部５０は、画素数が最小である選択領域を設定する。なお、代表値算出部３２３は、上述した図７の欠陥画素補正処理において欠陥画素補正部５０が設定した選択領域と同じ選択領域を選択する必要はなく、異なる選択領域を設定してもよい。また、本実施の形態１では、説明を簡略化するため、代表値算出部３２３は、上述した図７の欠陥画素補正処理において欠陥画素補正部５０が設定した選択領域と同様の選択領域を選択するものとする。
また、撮像素子１０５の受光面にカラーフィルタを設けた場合、同色画素（同色のカラーフィルタが設けられている画素）のみを使用するように選択領域を選択すればよい（図８Ａ〜図８ＥにおいてＫ１で示した画素のうち、同色画素に対応する画素のみを使用すればよい）。

続いて、候補値算出部３２２は、注目画素の画素値にＲＴＳ＿Ｖａｌｕｅを加算した値、または注目画素の画素値に補正量の最大値を加算した値をランダムノイズ参照値として算出する（ステップＳ５２）。

その後、ランダムノイズ量推定部３２４は、第３外部Ｉ／Ｆ部３１から入力されたランダムノイズモデルとステップＳ５２で候補値算出部３２２が算出した参照値とに基づいて、ランダムノイズ量を算出する（ステップＳ５３）。

図１１は、ランダムノイズモデルの一例を示す図である。図１１において、縦軸がノイズ量を示し、横軸が参照値を示す。なお、図１１においては、縦軸のランダムノイズ量として画素値の標準偏差を用い、撮像素子１０５の特性に応じたランダムノイズモデルを示す。

図１１の曲線Ｌ１に示すように、撮像素子１０５におけるランダムノイズ量は、画素値が大きくなるに従って増加する。このため、本実施の形態１におけるランダムノイズ量推定部３２４は、図１１の曲線Ｌ１のランダムノイズモデルと候補値算出部３２２が算出した参照値とに基づいて、ランダムノイズ量を算出する（標準偏差を算出する）。なお、図１１に示した曲線以外にも、ランダムノイズモデルを近似式や折れ線で近似した特性であってもよい。

ステップＳ５３の後、代表値算出部３２３は、算出範囲内にある画素の画素値に基づいて、代表値算出処理に使用可能な画素値の範囲である許容範囲（有効範囲）を算出する（ステップＳ５４）。具体的には、代表値算出部３２３は、許容範囲（有効範囲）の上限を以下の式（１）によって算出する。
参照値＋ランダムノイズ量（標準偏差）×Ｒ＋ＲＴＳ＿Ｖａｌｕｅ
・・・（１）
ここで、Ｒは、所定の係数であり、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度把握できるかに応じて設定する。例えばＲの係数としては、２前後の値が好ましい。また、代表値算出部３２３は、許容範囲の下限を以下の式（２）によって算出する。
参照値−ランダムノイズ量（標準偏差）×Ｒ−ＲＴＳ＿Ｖａｌｕｅ
・・・（２）
なお、ＲＴＳ＿Ｖａｌｕｅに代えて、複数の候補値の最大値を用いてもよい。また、式（１）および式（２）における参照値は、上述したステップＳ５３においてランダムノイズ量推定部３２４によるランダムノイズ量を推定するために使用された参照値と異なる参照値方法により得られた参照値としてもよい（例えば、注目画素の画素値を参照値とする等）。このように、代表値算出部３２３は、注目画素のＲＴＳノイズと、この注目画素周辺のランダムノイズを考慮した許容範囲を算出することができる。

その後、代表値算出部３２３は、選択領域内の画素において、許容範囲内の画素値を有し、かつ、ＲＴＳノイズが発生しない画素の数をカウントする（ステップＳ５５）。

続いて、代表値算出部３２３は、ステップＳ５５でカウンタした画素数が閾値以上（例えば２以上）であるか否かを判断し（ステップＳ５６）、カウンタした画素数が閾値以上である場合（ステップＳ５６：Ｙｅｓ）、ＲＴＳノイズ補正部５１は、後述するステップＳ５９へ移行し、カウンタした画素数が閾値以上でない場合（ステップＳ５６：Ｎｏ）、ＲＴＳノイズ補正部５１は、後述するステップＳ５７へ移行する。

ステップＳ５７において、代表値算出部３２３は、選択領域が最大であるか否かを判断し、選択領域が最大である場合（ステップＳ５７：Ｙｅｓ）、代表値算出部３２３は、後述するステップＳ５９へ移行し、選択領域が最大でない場合（ステップＳ５７：Ｎｏ）、代表値算出部３２３は、後述するステップＳ５８へ移行する。

ステップＳ５８において、代表値算出部３２３は、選択領域を拡大し、上述したステップＳ５２へ戻る。具体的には、上述した図８Ａ〜図８Ｅに示すように、代表値算出部３２３は、上述したステップＳ５５においてカウンタした画素数が閾値以上になるまで、選択領域を順次拡大する（図８Ａ→図８Ｂ→図８Ｃ→図８Ｄ→図８Ｅ）。この場合において、代表値算出部３２３は、上述したステップＳ５７において、選択領域が最大になった場合（図８Ｅを参照）、後述するステップＳ５９へ移行する。

ステップＳ５９において、代表値算出部３２３は、選択領域に含まれ、許容範囲内の画素値を有し、ＲＴＳノイズが発生しない画素の画素値の平均値、最頻値および中央値のいずれかを代表値として決定する。なお、代表値算出部３２３は、注目画素からの距離に応じて画素値に重み付けした平均値であってもよい。また、代表値算出部３２３は、上述した条件を満たす画素が０個の場合、注目画素値を代表値として決定する。さらにまた、代表値算出部３２３は、上述した条件を満たす画素の画素値に基づいて、エッジの方向判別を行い、この判別結果の方向に位置する画素値に対して重み付けを高くする等、その方向の画素値を優先して代表値として決定するようにしてもよい。さらにまた、代表値算出部３２３は、直前に撮影されたＲＡＷ画像や直前にＲＴＳノイズ補正部５１で補正されたＲＡＷ画像等の他の画像も用い、代表値を算出するようにしても良い。ステップＳ５９の後、画像処理装置３０は、本処理を終了し、図９のＲＴＳノイズ補正処理のサブルーチンへ戻る。

図９に戻り、ステップＳ３６以降の説明を続ける。
ステップＳ３６において、補正値算出部３２５は、上述したステップＳ３４で候補値算出部３２２によって算出された複数の候補値と、上述したステップＳ３５で代表値算出部３２３によって算出された代表値とに基づいて、注目画素におけるＲＴＳノイズが補正されたＲＡＷ画像の画素値を算出する補正値算出処理を実行する。ステップＳ３６の後、画像処理装置３０は、後述するステップＳ３７へ移行する。

〔補正値算出処理の概要〕
図１２は、図９のステップＳ３６の補正値算出処理の概要を示すフローチャートである。

図１２に示すように、まず、補正値算出部３２５は、上述した図１０のステップＳ５３でランダムノイズ量推定部３２４によって推定されたランダムノイズ量（本実施の形態１では、標準偏差）と、上述した図９のステップＳ３４で候補値算出部３２２によって算出された候補値の最大値とに基づいて、候補値の最大値が閾値以上であるか否かを判定する（ステップＳ６１）。ここで、閾値は、以下の式（３）によって設定される。
ランダムノイズ量×Ｒｍ ・・・（３）
Ｒｍは、所定の係数である。なお、Ｒｍは、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるかに応じて決定される、例えば、Ｒｍの値は、２前後が好ましい。候補値の最大値が閾値以上である場合（ステップＳ６１：Ｙｅｓ）、補正値算出部３２５は、後述するステップＳ６２へ移行する。これに対して、候補値の最大値が閾値以上でない場合（ステップＳ６１：Ｎｏ）、補正値算出部３２５は、後述するステップＳ６３へ移行する。なお、補正値算出部３２５は、候補値の最大値の代わりに注目画素のＲＴＳ＿Ｖａｌｕｅを用い、注目画素のＲＴＳ＿Ｖａｌｕｅと閾値を比較するようにしても良い。

ステップＳ６２において、補正値算出部３２５は、画素値を補正する。具体的には、補正値算出部３２５は、まず、以下の式（４）によってΔを算出する。
Δ＝注目画素のＲＡＷ画像における画素値−代表値 ・・・（４）

次に、補正値算出部３２５は、Δの絶対値と、上述した図９のステップＳ３４で候補値算出部３２２が算出した１つ以上の候補値とを比較し、最もΔの絶対値に近い候補値を選択し、この候補値をδとする。なお、補正値算出部３２５は、最もΔの絶対値に近い候補値が複数ある場合、過補正を防止するため、複数の候補値のうち最も小さい候補値をδとして選択する。

最後に、補正値算出部３２５は、以下の式（５），（６）によって、注目画素のＲＡＷ画像における画素値を代表値方向にδだけ近づけて補正し、この補正した注目画素の画素値を画像処理部３３へ出力する。
・Δ＜０の場合
注目画素のＲＡＷ画像における画素値＋δ ・・・（５）
・Δ≧０の場合
注目画素のＲＡＷ画像における画素値−δ ・・・（６）

ステップＳ６２の後、画像処理装置３０は、図９のＲＴＳノイズ補正処理のサブルーチンへ戻る。なお、ステップＳ６２において、補正値算出部３２５は、Δを算出して複数の候補値の中から最も小さい候補値を選択していたが、注目画素のＲＡＷ画像における画素値に対して、複数の候補値の各々を個別に加算または減算した値を算出し、この算出により得られる複数の加算または減算した値の中で最も近い代表値を選択してもよい。また、ステップＳ６２において、補正値算出部３２５は、同じ結果が得られれば、別の演算および比較方を用いてもよい。さらにまた、補正値算出部３２５は、補正された注目画素の画素値として、代表値を注目画素のＲＡＷ画像における画素値−ＲＴＳ＿Ｖａｌｕｅ以上、注目画素のＲＡＷ画像における画素値＋ＲＴＳ＿Ｖａｌｕｅ以下にクリップした値とすることと等価になる。

ステップＳ６３において、補正値算出部３２５は、注目画素のＲＡＷ画像における画素値をそのまま画像処理部３３に出力する。ステップＳ６３の後、画像処理装置３０は、図９のＲＴＳノイズ補正処理のサブルーチンへ戻る。

図９に戻り、ステップＳ３７以降の説明を続ける。
ステップＳ３７において、ＲＴＳノイズ補正部５１は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）する。

続いて、ＲＴＳノイズ補正部５１は、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ３８）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ３８：Ｙｅｓ）、ＲＴＳノイズ補正部５１は、上述したステップＳ３３へ戻り、カウンタｘがＲＡＷ画像の画素幅より小さくない場合（ステップＳ３８：Ｎｏ）、画像処理装置３０は、ステップＳ３９へ移行する。

続いて、ＲＴＳノイズ補正部５１は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ３９）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ４０）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ４０：Ｙｅｓ）、画像処理装置３０は、上述したステップＳ３２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ４０：Ｎｏ）、画像処理装置３０は、本処理を終了し、図６のメインルーチンへ戻る。

以上説明した本発明の実施の形態１によれば、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、欠陥画素補正部５０が欠陥画素情報に応じて欠陥画素ノイズを補正し、欠陥画素補正部５０によって欠陥画素の画素値が補正されたＲＡＷ画像に対して、ＲＴＳノイズ補正部５１がＲＴＳノイズ情報に応じてＲＴＳノイズを補正するので、欠陥画素ノイズおよびＲＴＳノイズを含む画像データに対して、高精度に補正することができる。

また、本発明の実施の形態１によれば、欠陥画素補正部５０がＲＴＳノイズ情報に対応する画素を除いた画素の画素値を用いて欠陥画素ノイズを補正する。即ち、欠陥画素補正部５０が注目画素の周囲のＲＴＳノイズが発生し得る画素を参照しないようにして欠陥画素の画素値を補正し、その後、ＲＴＳノイズ補正部５１がＲＴＳノイズを補正するので、欠陥画素ノイズおよびＲＴＳノイズを含む画像データに対して、高精度に補正することができる。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１と同一の構成を有し、画像処理装置が実行する欠陥画素補正処理が異なる。以下においては、本実施の形態１の変形例に係る画像処理装置が実行する欠陥画素補正処理について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。

〔欠陥画素補正処理の概要〕
図１３は、本実施の形態１の変形例に係る画像処理装置３０が実行する欠陥画素補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。図１３において、本実施の形態１の変形例では、欠陥画素補正部５０は、上述した実施の形態１における図７のステップＳ１７に替えて、ステップＳ１７ａを実行する。それ以外は、上述した図７の処理と同様のため、以下において、説明を省略する。

図１３に示すように、ステップＳ１７ａにおいて、欠陥画素補正部５０は、ＲＴＳノイズ発生画素の画素値を補正する。具体的には、欠陥画素補正部５０は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、ステップＳ１５で取得した画素値の中にＲＴＳノイズ発生画素がある場合、その画素値に対してＲＴＳノイズ補正を行う（元の画像データそのものは補正せず、取得した画素値を補正）。欠陥画素補正部５０が行う補正方法としては、上述した実施の形態１のＲＴＳノイズ補正部５１が実行する処理と同様の処理であってもよいし、簡易的な処理であってもよい。この簡易的な処置としては、欠陥画素補正部５０は、ＲＴＳノイズ発生画素の周辺画素の画素値の平均値を算出し、取得した画素値、取得した画素値にＲＴＳ＿Ｖａｌｕｅを加算した値（画素値＋ＲＴＳ＿Ｖａｌｕｅ）、および取得した画素値からＲＴＳ＿Ｖａｌｕｅを減算した値（画素値−ＲＴＳ＿Ｖａｌｕｅ）のうち、平均値に最も近いものを取得する（より詳細には国際出願ＪＰ２０１５／０５７９５８号を参照）。

以上説明した本発明の実施の形態１の変形例によれば、欠陥画素補正部５０がＲＴＳノイズ情報に基づいて、注目画素の周囲のＲＴＳノイズ画素を簡易補正して使用するため、欠陥画素の周囲にＲＴＳノイズ画素が多い場合に、ランダムノイズ等の影響により欠陥画素の補正結果の精度が低下することを防止することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る画像処理装置３０のノイズ低減部３２の構成が異なるうえ、本実施の形態２に係る画像処理装置が実行する処理が異なる。具体的には、本実施の形態２に係るノイズ低減部は、ＲＡＷ画像に対して、ＲＴＳノイズ補正を行った後に、欠陥画素を補正する。以下においては、本実施の形態２に係るノイズ低減部の構成を説明後、本実施の形態２に係るノイズ低減部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図１４は、本発明の実施の形態２に係る画像処理装置におけるノイズ低減部の構成を模式的に示すブロック図である。

図１４に示すノイズ低減部３２ａは、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、ＲＴＳノイズを補正した後に、欠陥画素を補正して画像処理部３３へ出力する。ノイズ低減部３２ａは、ＲＴＳノイズ補正部５１ａと、欠陥画素補正部５０ａと、を有する。

ＲＴＳノイズ補正部５１ａは、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、ＲＴＳノイズが発生しうる画素の画素値を補正して欠陥画素補正部５０ａへ出力する。なお、ＲＴＳノイズ補正部５１ａの詳細は、上述した実施の形態１に係るＲＴＳノイズ補正部５１と同様のため（図３を参照）、説明を省略する。

欠陥画素補正部５０ａは、ＲＴＳノイズ補正部５１ａから入力されたＲＴＳノイズが補正されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、欠陥画素の画素値を補正して画像処理部３３へ出力する。

〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図１５は、画像処理装置３０が実行するノイズ補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するメインルーチンのフローチャートである。

図１５に示すように、まず、ＲＴＳノイズ補正部５１ａは、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいてＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行する（ステップＳ７１）。なお、ＲＴＳノイズ補正処理の詳細については後述する。

続いて、欠陥画素補正部５０ａは、ＲＴＳノイズ補正部５１ａから入力されたＲＴＳノイズが補正されたＲＡＷ画像に対して、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて欠陥画素を補正して画像処理部３３へ出力する（ステップＳ７２）。なお、欠陥画素補正処理の詳細は後述する。ステップＳ７２の後、画像処理装置３０は、本処理を終了する。

〔ＲＴＳノイズ補正処理の概要〕
次に、図１５のステップＳ７１で説明したＲＴＳ補正処理について説明する。なお、本実施の形態２に係るＲＴＳノイズ補正処理は、上述した図９のＲＴＳノイズ補正処理における代表値算出処理のみ異なる。以下においては、本実施の形態２に係るＲＴＳノイズ補正部５１ａが実行する代表値算出処理について説明する。

〔代表値算出処理の概要〕
図１６は、上述した図９のステップＳ３５における本実施の形態２に係るＲＴＳノイズ補正部５１ａが実行する代表値算出処理の概要を示すフローチャートである。図１６において、本実施の形態２では、ＲＴＳノイズ補正部５１ａは、上述した実施の形態１における図１０のステップＳ５５およびステップＳ５９に替えて、ステップＳ５５ａおよびステップＳ５９ａを実行する。それ以上は、上述した図１０の処理と同様のため、以下において、説明を省略する。

ステップＳ５５ａにおいて、代表値算出部３２３は、選択領域内の画素において、許容範囲内の画素値を有し、ＲＴＳノイズが発生しない画素であって、かつ、欠陥画素でない画素の数をカウントする。

ステップＳ５９ａにおいて、代表値算出部３２３は、選択領域に含まれ、許容範囲内の画素値を有し、ＲＴＳノイズが発生しない画素であって、かつ、欠陥画素でない画素の平均値、最頻値および中央値のいずれかを代表値として決定する。なお、代表値算出部３２３は、注目画素からの距離に応じて画素値に重み付けした平均値であってもよい。また、代表値算出部３２３は、上述した条件を満たす画素が０個の場合、注目画素値を代表値として決定する。さらにまた、代表値算出部３２３は、上述した条件を満たす画素の画素値に基づいて、エッジの方向判別を行い、この判別結果の方向に位置する画素値に対して重み付けを高くする等、その方向の画素値を優先して代表値として決定するようにしてもよい。さらにまた、代表値算出部３２３は、直前に撮影されたＲＡＷ画像や直前にＲＴＳノイズ補正部５１で補正されたＲＡＷ画像等の他の画像も用い、代表値を算出するようにしても良い。ステップＳ５９ａの後、ＲＴＳノイズ補正部５１ａは、本処理を終了し、図９のＲＴＳノイズ補正処理のサブルーチンへ戻る。

〔欠陥画素補正処理の概要〕
次に、上述した図１５のステップＳ７２の欠陥画素補正処理の詳細について説明する。図１７は、欠陥画素補正処理の概要を示すフローチャートであり、欠陥画素補正部５０ａが実行するサブルーチンのフローチャートである。

図１７に示すように、上述した実施の形態１の図７のステップＳ１７の処理のみを省略されている。即ち、図１７においては、欠陥画素補正部５０ａは、上述した実施の形態１の図７のステップＳ１７以外の処理を実行する。ステップＳ２７の後、画像処理装置３０は、図１５のメインルーチンへ戻る。

以上説明した本発明の実施の形態２によれば、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、ＲＴＳノイズ補正部５１ａがＲＴＳノイズ情報に応じてＲＴＳノイズを補正し、ＲＴＳノイズ補正部５１ａによってＲＴＳノイズが補正されたＲＡＷ画像に対して、欠陥画素補正部５０ａが欠陥画素情報に応じて欠陥画素ノイズを補正するので、欠陥画素ノイズおよびＲＴＳノイズを含む画像データに対して、高精度に補正することができる。

また、本発明の実施の形態２によれば、ＲＴＳノイズ補正部５１ａが欠陥画素情報に対応する画素を除いた画素の画素値を用いてＲＴＳノイズを補正する。即ち、ＲＴＳノイズ補正部５１ａが欠陥画素情報に対応する画素を除いた画素の画素値を用いてＲＴＳノイズを補正し、その後、欠陥画素補正部５０ａが欠陥画素ノイズを補正するので、欠陥画素ノイズおよびＲＴＳノイズを含む画像データに対して、高精度に補正することができる。

さらに、本発明の実施の形態２によれば、ＲＴＳノイズ補正部５１ａがＲＴＳノイズを補正する場合、注目画素の周囲画素の画素値を算出するが、欠陥画素およびＲＴＳノイズ画素を除外するので、欠陥画素ノイズおよびＲＴＳノイズを含む画像データに対して、高精度に補正することができる。

なお、本発明の実施の形態２では、ＲＴＳノイズ補正部５１ａが欠陥画素情報に基づいて、注目画素が欠陥画素である場合、参照する画素の画素値から削除していたが、例えば欠陥画素の画素値が所定の範囲内であり、かつ補正可能な場合、この欠陥画素の画素値を補正してＲＴＳノイズを補正する際に参照する画素としてもよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態１に係る画像処理装置３０のノイズ低減部３２の構成が異なるうえ、本実施の形態３に係る画像処理装置が実行する処理が異なる。具体的には、注目画素が欠陥画素またはＲＴＳノイズ画素であるかを判定し、この判定結果に応じて補正結果を選択する。以下においては、本実施の形態３に係る撮像システムの構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図１８は、本発明の実施の形態３に係る画像処理装置におけるノイズ低減部の構成を模式的に示すブロック図である。図１８に示すノイズ低減部３２ｂは、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、ＲＴＳノイズおよび欠陥画素のいずれかを補正して画像処理部３３へ出力する。具体的には、ノイズ低減部３２ｂは、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、ＲＴＳノイズ情報および欠陥画素情報に基づいてＲＴＳノイズ補正および欠陥画素補正のいずれか一方を行って画像処理部３３へ出力する。ノイズ低減部３２ｂは、欠陥画素補正部５０と、ＲＴＳノイズ補正部５１と、ノイズ低減制御部５２と、を有する。

ノイズ低減制御部５２は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報および欠陥画素情報に基づいて、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像の注目画素の画素値を欠陥画素補正部５０およびＲＴＳノイズ補正部５１のどちらか一方に補正させる。

〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図１９は、画像処理装置３０が実行する処理の概要を示すフローチャートである。

図１９に示すように、ノイズ低減制御部５２は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ１０１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ１０２）。

続いて、ノイズ低減制御部５２は、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、ＲＡＷ画像おける注目画素（（ｘ，ｙ）画素）が欠陥画素であるか否かを判断する（ステップＳ１０３）。ＲＡＷ画像おける注目画素が欠陥画素である場合（ステップＳ１０３：Ｙｅｓ）、ノイズ低減制御部５２は、欠陥画素補正部５０に欠陥画素補正処理を実行させる（ステップＳ１０４）。

〔欠陥画素補正処理の概要〕
図２０は、図１９のステップＳ１０４の欠陥画素補正処理の概要を示すフローチャートである。図２０において、上述した実施の形態１の欠陥画素補正処理（図７を参照）に対して、ステップＳ１１、ステップＳ１２、ステップＳ１３およびステップＳ２４〜ステップＳ２７の処理が省略されているのみであるため、説明を省略する。ステップＳ２３の後、ノイズ低減部３２ｂは、図１９のメインルーチンへ戻る。

図１９に戻り説明を続ける。
ステップＳ１０３において、ＲＡＷ画像における注目画素が欠陥画素でない場合（ステップＳ１０３：Ｎｏ）、画像処理装置３０は、後述するステップＳ１０５へ移行する。

続いて、ノイズ低減制御部５２は、第３外部Ｉ／Ｆ部３１から入力されＲＴＳノイズ情報に基づいて、ＲＡＷ画像における注目画素（（ｘ，ｙ）画素）でＲＴＳノイズが発生する可能性があるか否かを判断し（ステップＳ１０５）、ＲＡＷ画像における注目画素でＲＴＳノイズが発生する可能性がある場合（ステップＳ１０５：Ｙｅｓ）、ＲＴＳノイズ補正部５１にＲＴＳノイズ補正処理を実行させる（ステップＳ１０６）。

〔ＲＴＳノイズ補正処理の概要〕
図２１は、図１９のステップＳ１０６のＲＴＳノイズ補正処理の概要を示すフローチャートである。図２１において、ステップＳ２０１は、上述した実施の形態１における図９のステップＳ３４に対応する。また、ステップＳ２０２の代表値算出処理は、上述した実施の形態２における図１６の代表値算出処理に対応する。さらに、ステップＳ２０３の補正値算出処理は、上述した実施の形態１における図１２の補正値算出処理に対応する。ステップＳ２０３の後、ＲＴＳノイズ補正部５１は、図１９のメインルーチンへ戻る。

図１９に戻り説明を続ける。
ステップＳ１０５において、ＲＡＷ画像における注目画素でＲＴＳノイズが発生する可能性がない場合（ステップＳ１０５：Ｎｏ）、画像処理装置３０は、ステップＳ１０７へ移行する。

ノイズ低減制御部５２は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ１０７）。

続いて、ノイズ低減制御部５２は、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ１０８）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ１０８：Ｙｅｓ）、ノイズ低減制御部５２は、上述したステップＳ１０３へ戻り、カウンタｘがＲＡＷ画像の画素幅より小さくない場合（ステップＳ１０８：Ｎｏ）、ノイズ低減制御部５２は、ステップＳ１０９へ移行する。

続いて、ノイズ低減制御部５２は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ１０９）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ１１０）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ１１０：Ｙｅｓ）、ノイズ低減制御部５２は、上述したステップＳ１０２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ１１０：Ｎｏ）、ノイズ低減制御部５２は、本処理を終了する。

以上説明した本発明の実施の形態３によれば、ノイズ低減制御部５２がＲＴＳノイズ情報および欠陥画素情報に基づいて、注目画素が欠陥画素であると判断した場合、欠陥画素補正部５０に注目画素の画素値を補正させ、注目画素がＲＴＳノイズ画素であると判断した場合、ＲＴＳノイズ補正部５１に注目画素の画素値を補正させるので、上述した実施の形態１，２と同様の効果を有するとともに、欠陥画素補正およびＲＴＳノイズ補正を並列で実行させることができるので、処理遅延時間を削減することができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４は、上述した実施の形態１に係るノイズ低減部の構成が異なるうえ、ノイズ低減部が実行する処理が異なる。このため、具体的には、欠陥画素補正部およびＲＴＳノイズ補正部の各々で補正を実施し、各々の補正結果を選択して画像処理部へ出力する。このため、以下においては、本実施の形態４のノイズ低減部の構成を説明後、ノイズ低減部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図２２は、本発明の実施の形態４に係る画像処理装置のノイズ低減部の構成を模式的に示すブロック図である。図２２に示すノイズ低減部３２ｃは、欠陥画素補正部５０と、ＲＴＳノイズ補正部５１と、ノイズ低減制御部５２ｃと、を備える。欠陥画素補正部５０およびＲＴＳノイズ補正部５１は、それぞれ並列に設けられる。

ノイズ低減制御部５２ｃは、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報および欠陥画素情報に基づいて、第３外部Ｉ／Ｆ部３１から入力されたたＲＡＷ画像の注目画素の画素値を欠陥画素補正部５０が補正した注目画素の画素値およびＲＴＳノイズ補正部５１は補正した注目画素の画素値のどちらか一方を選択して画像処理部３３へ出力する。

〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図２３は、画像処理装置３０が実行するノイズ低減処理の概要を示すフローチャートである。

図２３において、ステップＳ３０１およびステップＳ３０２は、上述した図１９のステップＳ１０１およびステップＳ１０２それぞれに対応する。

ステップＳ３０３において、欠陥画素補正部５０は、欠陥画素を補正する欠陥画素補正処理を実行し、欠陥画素補正結果をノイズ低減制御部５２ｃへ出力する（ステップＳ３０３）。なお、欠陥画素補正処理の詳細は、上述した実施の形態３の欠陥画素補正処理（図２０を参照）と同様のため、詳細な説明は省略する。

続いて、ＲＴＳノイズ補正部５１は、ＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行し、ＲＴＳノイズ補正結果をノイズ低減制御部５２ｃへ出力する（ステップＳ３０４）。なお、ＲＴＳノイズ補正処理の詳細は、上述した実施の形態３のＲＴＳノイズ補正処理（図２１を参照）と同様のため、詳細な説明は省略する。

その後、ノイズ低減制御部５２ｃは、第３外部Ｉ／Ｆ部３１から入力された欠陥画素情報に基づいて、ＲＡＷ画像おける注目画素（（ｘ，ｙ）画素）が欠陥画素であるか否かを判断する（ステップＳ３０５）。ノイズ低減制御部５２ｃがＲＡＷ画像おける注目画素が欠陥画素であると判断した場合（ステップＳ３０５：Ｙｅｓ）、ノイズ低減部３２ｃは、後述するステップＳ３０６へ移行する。これに対して、ノイズ低減制御部５２ｃがＲＡＷ画像おける注目画素が欠陥画素でないと判断した場合（ステップＳ３０５：Ｎｏ）、ノイズ低減部３２ｃは、後述するステップＳ３０７へ移行する。

ステップＳ３０６において、ノイズ低減制御部５２ｃは、欠陥画素補正部５０から入力された欠陥画素補正結果を注目画素（（ｘ，ｙ）画素）の画素値に設定して画像処理部３３へ出力する。ステップＳ３０６の後、ノイズ低減部３２ｃは、後述するステップＳ３０９へ移行する。

ステップＳ３０７において、ノイズ低減制御部５２ｃは、第３外部Ｉ／Ｆ部３１から入力されＲＴＳノイズ情報に基づいて、ＲＡＷ画像における注目画素（（ｘ，ｙ）画素）でＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ３０７）。ノイズ低減制御部５２ｃがＲＡＷ画像における注目画素（（ｘ，ｙ）画素）でＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ３０７：Ｙｅｓ）、ノイズ低減部３２ｃは、後述するステップＳ３０８へ移行する。これに対して、ノイズ低減制御部５２ｃがＲＡＷ画像における注目画素（（ｘ，ｙ）画素）でＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ３０７：Ｎｏ）、ノイズ低減部３２ｃは、後述するステップＳ３０９へ移行する。

ステップＳ３０８において、ノイズ低減制御部５２ｃは、ＲＴＳノイズ補正部５１から入力されたＲＴＳノイズ補正結果を注目画素（（ｘ，ｙ）画素）の画素値に設定して画像処理部３３へ出力する。ステップＳ３０８の後、ノイズ低減部３２ｃは、後述するステップＳ３０９へ移行する。

ステップＳ３０９〜ステップＳ３１２は、上述した図１９のステップＳ１０７〜ステップＳ１１０それぞれに対応する。

以上説明した本発明の実施の形態４によれば、欠陥画素および点滅欠陥画素を含む画像データに対して、欠陥画素および点滅欠陥画素を高精度に補正することができる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。上述した実施の形態１は、画像処理装置３０が個別に設けられていたが、本実施の形態５では、撮像装置本体に画像処理装置を設ける。このため、以下においては、上述した実施の形態１に係る撮像システム１と同様の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図２４は、本発明の実施の形態５に係る撮像システム２の構成を模式的に示すブロック図である。図２４に示す撮像システム２は、本体部３と、本体部３に着脱自在に接続可能なレンズ部４と、を備える。

〔本体部の構成〕
本体部３は、シャッタ１０３と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、ＡＥ処理部１１６と、ＡＦ処理部１１７と、外部Ｉ／Ｆ部１１８と、表示部１１９と、ドライバ１２０と、ノイズ低減部３２と、画像処理部３３と、を備える。ドライバ１２０は、撮像制御部１１４の制御のもと、シャッタ１０３を駆動する。

ＡＥ処理部１１６は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、この取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１６は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値、露光時間、ＩＳＯ感度等を決定することで撮像システム２の自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）を行う。

ＡＦ処理部１１７は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、取得した画像データに基づいて、撮像システム２の自動焦点の調整を行う。例えば、ＡＦ処理部１１７は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ(Ａｕｔｏ Ｆｏｃｕｓ)演算処理を行うことによって、撮像システム２の合焦評価を決定することで撮像システム２の自動焦点の調整を行う。なお、撮像システム２の自動焦点の調整方法は、撮像素子１０５で位相差信号を取得するものであってもよい。

外部Ｉ／Ｆ部１１８は、本体部３における各種ブロックにおけるデータの読み書きや、専用のコマンド等による制御などを行える。外部Ｉ／Ｆ部１１８は、ＦＰＧＡ、ＤＳＰまたはＧＰＵ等を搭載した専用の回路やパーソナルコンピュータ（ＰＣ）等の外部機器を接続することで、本体部３における各種ブロックを制御可能なインターフェースである。

表示部１１９は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部１１９は、撮像素子１０５が生成した画像データに対応する画像を表示する。

〔レンズ部の構成〕
図２４に示すように、レンズ部４は、所定の視野領域から集光した被写体像を撮像素子１０５に結像する。レンズ部４は、光学系１０１と、絞り１０２と、ドライバ１０４と、を備える。

〔撮像システムの処理〕
次に、撮像システム２が実行する処理について説明する。図２５は、撮像システム２が実行する処理の概要を示すフローチャートである。

図２５に示すように、まず、ユーザによって操作部１０８の電源ボタン（図示せず）が操作されて、本体部３の電源がオンになると、撮像制御部１１４は、撮像システム２の初期化を行う（ステップＳ８０１）。具体的には、撮像制御部１１４は、動画の記録中を示す記録中フラグをオフ状態にする初期化を行う。この記録中フラグは、動画の撮影中にオン状態になり、動画を撮影していないときにオフ状態となるフラグであり、揮発メモリ１１１に記憶されている。

続いて、操作部１０８の動画ボタンが押された場合（ステップＳ８０２：Ｙｅｓ）、撮像制御部１１４は、オン状態で動画の記録中であることを示す記録中フラグを反転し（ステップＳ８０３）、撮像制御部１１４は、撮像システム２が動画記録中であるか否かを判断する（ステップＳ８０４）。具体的には、撮像制御部１１４は、揮発メモリ１１１に記憶された記録中フラグがオン状態であるか否かを判定する。撮像制御部１１４によって撮像システム２が動画記録中であると判断された場合（ステップＳ８０４：Ｙｅｓ）、撮像システム２は、後述するステップＳ８０５へ移行する。これに対して、撮像制御部１１４によって撮像システム２が動画記録中でないと判断された場合（ステップＳ８０４：Ｎｏ）、撮像システム２は、後述するステップＳ８０６へ移行する。

ステップＳ８０５において、撮像制御部１１４は、記録媒体１１０に画像データを時系列に沿って記録するための動画ファイルを生成する。ステップＳ８０５の後、撮像システム２は、後述するステップＳ８０６へ移行する。

ステップＳ８０２において、操作部１０８の動画ボタンが押されていない場合（ステップＳ８０２：Ｎｏ）、撮像システム２は、ステップＳ８０６へ移行する。

続いて、撮像制御部１１４は、撮像システム２が動画の記録中であるか否かを判断する（ステップＳ８０６）。撮像制御部１１４によって撮像システム２が動画の記録中であると判断された場合（ステップＳ８０６：Ｙｅｓ）、撮像システム２は、後述するステップＳ８１７へ移行する。これに対して、撮像制御部１１４によって動画の記録中でないと判断された場合（ステップＳ８０６：Ｎｏ）、撮像システム２は、後述するステップＳ８０７へ移行する。

ステップＳ８０７において、操作部１０８の再生ボタンが押された場合（ステップＳ８０７：Ｙｅｓ）、撮像システム２は、記録媒体１１０に記録された画像データに対応する画像を表示部１１９に再生させて表示させる（ステップＳ８０８）。ステップＳ８０８の後、撮像システム２は、後述するステップＳ８０９へ移行する。

ステップＳ８０７において、操作部１０８の再生ボタンが押されていない場合（ステップＳ８０７：Ｎｏ）、撮像システム２は、ステップＳ８０９へ移行する。

続いて、操作部１０８のメニューボタンが押された場合（ステップＳ８０９：Ｙｅｓ）、撮像システム２は、各種設定を行う設定処理を実行する（ステップＳ８１０）。ステップＳ８１０の後、撮像システム２は、後述するステップＳ８１１へ移行する。

ステップＳ８０９において、操作部１０８のメニューボタンが押されていない場合（ステップＳ８０９：Ｎｏ）、撮像システム２は、ステップＳ８１１へ移行する。

ステップＳ８１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移した場合（ステップＳ８１１：Ｙｅｓ）、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理およびＡＦ処理部１１７にピントを調整するＡＦ処理のそれぞれを実行させる（ステップＳ８１２）。その後、撮像システム２は、後述するステップＳ８２４へ移行する。

ステップＳ８１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移していない場合（ステップＳ８１１：Ｎｏ）、撮像システム２は、ステップＳ８１３へ移行する。

続いて、操作部１０８のレリーズボタンが２ｎｄ状態に遷移した場合（ステップＳ８１３：Ｙｅｓ）、撮像制御部１１４は、メカシャッタによる撮影を実行する（ステップＳ８１４）。具体的には、撮像制御部１１４は、シャッタ１０３を制御することによって、撮像素子１０５に撮影を実行させる。

続いて、撮像システム２は、撮像素子１０５が生成した画像データに対して、ＲＴＳノイズの補正を行った後に、所定の処理を行う画像処理を実行する（ステップＳ８１５）。なお、画像処理の詳細は後述する。

その後、撮像制御部１１４は、画像処理部３３が画像処理を施した画像データを記録媒体１１０に記録する（ステップＳ８１６）。ステップＳ８１６の後、撮像システム２は、後述するステップＳ８２４へ移行する。

ステップＳ８１３において、操作部１０８のレリーズボタンが２ｎｄ状態に遷移していない場合（ステップＳ８１３：Ｎｏ）、撮像システム２は、ステップＳ８１７へ移行する。

続いて、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理を実行させ（ステップＳ８１７）、ＡＦ処理部１１７にピントを調整するＡＦ処理を実行させる（ステップＳ８１８）。

その後、撮像制御部１１４は、ドライバ１２０を介して撮像素子１０５に露光時間を電子的に制御する、所謂、電子シャッタによる撮影を実行させる（ステップＳ８１９）。電子シャッタによる撮影によって撮像素子１０５が生成した画像データは、アナログ処理部１０６およびＡ／Ｄ変換部１０７およびバス１１３を介して揮発メモリ１１１に出力される。

続いて、撮像システム２は、ステップＳ８１５と同様の画像処理を実行する（ステップＳ８２０）。なお、画像処理の詳細は後述する。

その後、撮像システム２は、電子シャッタによる撮影によって撮像素子１０５が生成した画像データに対応するライブビュー画像を表示部１１９に表示させる（ステップＳ８２１）。

続いて、撮像システム２が動画記録中である場合（ステップＳ８２２：Ｙｅｓ）、撮像制御部１１４は、画像データをステップＳ８１０の設定処理により設定した記録形式で図示しない画像圧縮展開部に圧縮させ、この圧縮した画像データを記録媒体１１０に作成された動画ファイルに動画として記録させる（ステップＳ８２３）。ステップＳ８２３の後、撮像システム２は、ステップＳ８２４へ移行する。

ステップＳ８２２において、撮像システム２が動画記録中でない場合（ステップＳ８２２：Ｎｏ）、撮像システム２は、ステップＳ８２４へ移行する。

続いて、操作部１０８の電源ボタンが押されて撮像システム２の電源がオフ状態になった場合（ステップＳ８２４：Ｙｅｓ）、撮像システム２は、本処理を終了する。これに対して、撮像システム２の電源がオフ状態になっていない場合（ステップＳ８２４：Ｎｏ）、撮像システム２は、ステップＳ８０２へ戻る。

〔画像処理の概要〕
次に、図２５のステップＳ８１５およびステップＳ８２０で説明した画像処理について説明する。図２６は、画像処理の概要を示すフローチャートである。

図２６に示すように、欠陥画素補正部５０は、撮像素子１０５が生成した画像データに対して欠陥画素ノイズを補正する欠陥画素補正処理を実行する（ステップＳ９０１）。ここで、欠陥画素補正処理は、上述した実施の形態１、３、４に係る画像処理装置３０が実行する処理に対応するため、説明を省略する。

続いて、ＲＴＳノイズ補正部５１は、欠陥画素補正部５０が補正した画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行する（ステップＳ９０２）。ここで、ＲＴＳノイズ補正処理は、上述した実施の形態１、３、４に係る画像処理装置３０が実行する処理に対応するため、説明を省略する。

続いて、画像処理部３３は、ＲＴＳノイズ補正部３２０がＲＴＳノイズを補正した画像データに対して基本画像処理を実行する（ステップＳ９０３）。ステップＳ９０２の後、撮像システム２は、図２５のメインルーチンへ戻る。

以上説明した本発明の実施の形態５によれば、上述した実施の形態１と同様の効果を有する。

（その他の実施の形態）
本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

本発明では、ランダムノイズモデルの参照値、もしくは参照するノイズモデルを、ＲＴＳノイズの特徴量であるＲＴＳ＿Ｖａｌｕｅや、ＲＴＳ＿Ｖａｌｕｅに基づく値である候補値の最大値に応じて変更していたが、これらを組み合わせ、ＲＴＳノイズの特徴量に応じてランダムノイズモデルを選択し、さらに参照値を変更してランダムノイズ量を推定するようにしてもよい。また、温度に応じてランダムノイズ量が異なるため、画像データを撮影した際の撮像素子の温度に応じてランダムノイズモデルを選択し、さらに上記の方法を適用するようにしてもよい。

また、本発明では、ＲＴＳノイズ情報記録部および欠陥画素情報記録部が撮像装置内に設けられていたが、上述した画像処理装置内やレンズ部、内視鏡本体等に設けられていてもよいし、ネットワークを介して双方向に通信可能なサーバ内にＲＴＳノイズ情報記録部を設け、ネットワークを介してＲＴＳノイズ情報を取得するようにしてもよい。

また、本発明は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１，２ 撮像システム
３ 本体部
４ レンズ部
１０ 撮像装置
３０ 画像処理装置
３１ 第３外部Ｉ／Ｆ部
３２，３２ａ，３２ｂ，３２ｃ ノイズ低減部
３３ 画像処理部
３４，１０８ 操作部
３５ 記憶部
３６ 画像処理制御部
４０ 表示装置
５０，５０ａ 欠陥画素補正部
５１，５１ａ ＲＴＳノイズ補正部
５２，５２ｃ ノイズ低減制御部
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４，１２０ ドライバ
１０５ 撮像素子
１０５ａ 画素
１０５ｂ 第１スイッチ
１０５ｃ 垂直転送線
１０５ｄ ＦＤ部
１０５ｅ アンプ部
１０５ｆ 第２スイッチ
１０５ｈ 転送線
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ プログラム記録部
１１２ｂ ＲＴＳノイズ情報記録部
１１２ｃ ランダムノイズモデル情報記録部
１１２ｄ 欠陥画素情報記録部
１１３ バス
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部
１１６ ＡＥ処理部
１１７ ＡＦ処理部
１１８ 外部Ｉ／Ｆ部
１１９ 表示部
３２１ ＲＴＳノイズ画素判定部
３２２ 候補値算出部
３２３ 代表値算出部
３２４ ランダムノイズ量推定部
３２５ 補正値算出部

Claims (12)

1. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置であって、
   前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得部と、
   前記取得部が取得した前記画像データに対して、前記取得部が取得した前記欠陥画素情報と前記取得部が取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減部と、
   を備え、
   前記ノイズ低減部は、
   前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正部と、
   前記点滅欠陥ノイズ情報に基づいて、前記欠陥画素補正部によって前記欠陥画素ノイズが補正された前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正部と、
   を有することを特徴とする画像処理装置。
2. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置であって、
   前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得部と、
   前記取得部が取得した前記画像データに対して、前記取得部が取得した前記欠陥画素情報と前記取得部が取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減部と、
   を備え、
   前記ノイズ低減部は、
   前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正部と、
   前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正部と、
   を有し、
   前記ノイズ低減部は、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対応する画像の注目画素に前記欠陥画素ノイズが生じる場合、前記注目画素の画素値を前記欠陥画素補正部に補正させた結果を出力する一方、前記注目画素に前記点滅欠陥ノイズが生じる場合、前記注目画素の画素値を前記点滅欠陥ノイズ補正部に補正させた結果を出力することを特徴とする画像処理装置。
3. 前記欠陥画素補正部は、前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素を除いた画素の画素値を用いて前記欠陥画素ノイズを補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記欠陥画素補正部は、前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素の画素値と該画素の周囲画素の各々の画素値との差が所定の閾値以上である画素の画素値を除いて前記欠陥画素ノイズを補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記点滅欠陥ノイズ情報は、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応させ、前記点滅欠陥ノイズのノイズレベルに基づく特徴量をさらに含み、
   前記欠陥画素補正部は、前記欠陥画素ノイズ周囲に前記点滅欠陥ノイズ情報に含まれる前記点滅欠陥ノイズが発生し得る画素が存在する場合、前記点滅欠陥ノイズが発生し得る画素の画素値を前記特徴量に基づき補正した画素値を用いて前記欠陥画素ノイズを補正することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記点滅欠陥ノイズ補正部は、前記欠陥画素情報に含まれる前記欠陥画素ノイズが発生する画素を除いた画素の画素値を用いて前記点滅欠陥ノイズを補正することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記点滅欠陥ノイズ補正部は、前記欠陥画素情報に含まれる前記欠陥画素ノイズが発生する画素を除いた画素の画素値から注目画素の代表値を算出し、該代表値に近づくように前記点滅欠陥ノイズを補正することを特徴とする請求項６に記載の画像処理装置。
8. 前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置が実行する画像処理方法であって、
   前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、
   前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、
   を含み、
   前記ノイズ低減ステップは、
   前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正ステップと、
   前記点滅欠陥ノイズ情報に基づいて、前記欠陥画素補正ステップによって前記欠陥画素ノイズが補正された前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正ステップと、
   を含むことを特徴とする画像処理方法。
10. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置が実行する画像処理方法であって、
    前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、
    を含み、
    前記ノイズ低減ステップは、
    前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正ステップと、
    前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正ステップと、
    を含み、
    前記ノイズ低減ステップは、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対応する画像の注目画素に前記欠陥画素ノイズが生じる場合、前記注目画素の画素値を前記欠陥画素補正ステップに補正させた結果を出力する一方、前記注目画素に前記点滅欠陥ノイズが生じる場合、前記注目画素の画素値を前記点滅欠陥ノイズ補正ステップに補正させた結果を出力することを特徴とする画像処理方法。
11. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置に、
    前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、
    を実行させ、
    前記ノイズ低減ステップは、
    前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正ステップと、
    前記点滅欠陥ノイズ情報に基づいて、前記欠陥画素補正ステップによって前記欠陥画素ノイズが補正された前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正ステップと、
    を含むことを特徴とするプログラム。
12. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズ、および該点滅欠陥ノイズと異なり、前記複数の画素の位置に応じて発生する欠陥画素ノイズを補正する画像処理装置に、
    前記欠陥画素ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む欠陥画素情報と、前記点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含む点滅欠陥ノイズ情報と、前記撮像素子が生成した前記画像データと、を取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに対して、前記取得ステップにおいて取得した前記欠陥画素情報と前記取得ステップにおいて取得した前記点滅欠陥ノイズ情報とに基づき、前記欠陥画素ノイズおよび前記点滅欠陥ノイズのどちらか一方のノイズを低減するノイズ低減ステップと、
    を実行させ、
    前記ノイズ低減ステップは、
    前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記欠陥画素ノイズを補正する欠陥画素補正ステップと、
    前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対して、前記点滅欠陥ノイズを補正する点滅欠陥ノイズ補正ステップと、
    を含み、
    前記ノイズ低減ステップは、前記欠陥画素情報と前記点滅欠陥ノイズ情報とに基づいて、前記画像データに対応する画像の注目画素に前記欠陥画素ノイズが生じる場合、前記注目画素の画素値を前記欠陥画素補正ステップに補正させた結果を出力する一方、前記注目画素に前記点滅欠陥ノイズが生じる場合、前記注目画素の画素値を前記点滅欠陥ノイズ補正ステップに補正させた結果を出力することを特徴とするプログラム。

Images