JP6366739B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、２次元状に配置された複数の画素を有する撮像素子に生じるＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズを補正する画像処理装置、画像処理方法およびプログラムに関する。

近年、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子は、画素および該画素から信号を読み出す読み出し回路の微細化が進んでいる。このような微細化では、感度の低下および様々なノイズの増加が問題となっている。感度の低下に対しては、複数の画素を１つの読み出し回路で共有させて信号を読み出す共有画素構造をとることで、撮像素子における回路に必要な面積を削減し、各画素の開口率（受光部の割合）を向上させることによって、感度を向上させている。

一方、撮像素子で発生するノイズには、暗電流による暗電流ショットノイズおよび読み出し回路での熱雑音等に起因するランダムノイズ以外にも、画素値が常に異常値を示す欠陥画素、および画素値が撮像毎に変動する点滅欠陥ノイズ等がある。このような点滅欠陥ノイズの中には、読み出し回路に起因するＲＴＳ（Random Telegraph Signal）ノイズがある。このＲＴＳノイズを補正する技術として、撮影された画像における注目画素の画素値、該注目画素の周辺画素の画素値および予め撮像素子の画素毎に検出したＲＴＳノイズのノイズレベル（以下、「ＲＴＳノイズレベル」という）に基づいて、注目画素に対してＲＴＳノイズの影響があるか否かを判定し、ＲＴＳノイズの影響があると判定された場合、この注目画素の画素値に対してＲＴＳノイズレベルだけ加算または減算する技術が知られている（特許文献１参照）。

特開２０１２−１０５０６３号公報

ところで、ＲＴＳノイズは、一定範囲内で変動するため、上述した特許文献１のように、常に同じＲＴＳノイズレベルを注目画素の画素値に対して加算または減算するだけでは過補正が発生することによって、十分な画質を得ることができないという問題点があった。

本発明は、上記に鑑みてなされたものであって、ＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズが発生する場合であっても、高画質な画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を記録するノイズ情報記録部と、前記ノイズ情報記録部が記録するノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定部と、前記ノイズ画素判定部によって前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報記録部が記録する前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出部と、前記候補値算出部が算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記注目画素における周辺画素の画素値から代表値を算出する代表値算出部をさらに備え、前記補正部は、前記注目画素の画素値、前記複数の候補値および前記代表値に基づいて、前記注目画素の画素値を補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記複数の候補値の中から、前記注目画素の画素値の補正結果が前記代表値に最も近くなるような候補値に基づいて、前記注目画素の画素値を補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素の画素値と前記代表値との差の絶対値に最も近い候補値を選択し、該候補値の値だけ前記代表値に近づけて前記注目画素の画素値を変更して補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素の画素値に前記複数の候補値の各々を個別に加算または減算して得られる複数の演算結果の中で前記代表値に最も近い値を前記注目画素の画素値として補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記点滅欠陥ノイズの振幅であり、前記候補値算出部は、前記点滅欠陥ノイズの振幅および該振幅より小さく０より大きい値を含む前記複数の候補値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記点滅欠陥ノイズを補正する補正値の候補数の数をさらに含み、前記候補値算出部は、前記補正値の候補数の数に基づいて、前記複数の候補値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記注目画素の画素値に基づいて、前記注目画素および該注目画素の周辺画素で発生するランダムノイズ量を算出するランダムノイズ算出部をさらに備え、前記候補値算出部は、前記ランダムノイズ算出部が算出した前記ランダムノイズ量に応じて定まる前記点滅欠陥ノイズの振幅の間隔で、前記点滅欠陥ノイズの振幅以下の値を前記複数の候補値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記候補値算出部は、予め設定されている複数の値から前記点滅欠陥ノイズの振幅以下の値を前記複数の候補値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記候補値算出部は、予め設定されている複数の値における絶対値の小さい方から順に、前記点滅欠陥ノイズの振幅に応じて決定される個数分を前記複数の候補値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記代表値算出部は、前記注目画素の画素値と、該注目画素の画素値に応じて設定された前記注目画素および該注目画素の周辺画素で発生するランダムノイズ量の参照値と、に基づいて、画素値の有効範囲を算出し、該有効範囲内の画素値を有する前記周辺画素が有する画素値を用いて前記代表値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記代表値算出部は、前記有効範囲内の画素値を有する前記周辺画素の数が所定数以下の場合、前記周辺画素の参照範囲を拡大することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記代表値算出部は、前記有効範囲内の画素値の中央値を前記代表値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記撮像素子は、前記複数の読み出し回路の各々が所定の画素数毎に前記信号を画素値として読み出すことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画素値を前記読み出し回路毎に分類して作成された複数の画素値グループの各々の位置情報および前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量を検出するノイズ検出部をさらに備えたことを特徴とする。

また、本発明に係る画像処理方法は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理方法であって、前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、前記取得ステップで取得した前記ノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定ステップと、前記ノイズ画素判定ステップで前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出ステップと、前記候補値算出ステップで算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置に、前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、前記取得ステップで取得した前記ノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定ステップと、前記ノイズ画素判定ステップで前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出ステップと、前記候補値算出ステップで算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正ステップと、を実行させることを特徴とする。

本発明によれば、ＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズが発生する場合であっても、高画質な画像を得ることができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像素子の要部の構成を模式的に示す概略図である。 図３は、本発明の実施の形態１に係る撮像素子に光が当たらないように遮光した場合において、ＲＴＳノイズが発生しているときに、アンプ部から出力されるアンプ出力の変動を示す図である。 図４は、ＲＴＳノイズが発生しているアンプ部を用いて読み出された画素値の分布を示す図である 図５は、本発明の実施の形態１に係る第１画像処理装置が実行する処理の概要を示すフローチャートである。 図６は、図５の孤立点検出・画素値グループ作成処理の概要を示すフローチャートである。 図７は、同じ画素値グループに分類される画素値を出力する撮像素子の画素を模式的に示す図である。 図８は、図５の平均ランダムノイズ量算出・ＲＴＳフラグ設定処理の概要を示すフローチャートである。 図９は、図８のＲＴＳフラグ設定処理における処理の概要を示すフローチャートである。 図１０は、図５のＲＴＳ特徴量算出処理の概要を示すフローチャートである。 図１１は、絶対値ヒストグラムの一例を示す図である。 図１２は、図５のＲＴＳノイズ判定処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態１に係る第２画像処理装置が実行する処理の概要を示すフローチャートである。 図１４は、図１３の代表値算出処理の概要を示すフローチャートである。 図１５は、ランダムノイズモデルの一例を示す図である。 図１６は、図１３の補正値算出処理の概要を示すフローチャートである。 図１７は、絶対値ヒストグラムの混合正規分布近似の一例を示す図である。 図１８は、本発明の実施の形態１の変形例２の候補値算出方法２におけるＲＴＳ＿Ｖａｌｕｅの輝度分布と候補値との関係を示す図である。 図１９は、本発明の実施の形態１の変形例３の候補値算出方法３におけるＲＴＳ＿Ｖａｌｕｅのヒストグラフと候補値との関係を示す図である。 図２０は、本発明の形態２に係る第１画像処理装置が実行するＲＴＳノイズ判定処理の概要を示すフローチャートである。 図２１は、本発明の実施の形態２に係る第２画像処理装置が実行する処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態３に係る撮像システムの構成を模式的に示すブロック図である。 図２３は、本発明の実施の形態３に係る撮像システムが実行する処理の概要を示すフローチャートである。 図２４は、図２３の設定処理の概要を示すフローチャートである。 図２５は、図２３の画像処理の概要を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、第１画像処理装置２０と、第２画像処理装置３０と、表示装置４０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

光学系１０１は、複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。

シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。

ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が二次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。

ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んでいる配置されている。

図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を垂直方向に転送する垂直転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。

このように構成された撮像素子１０５は、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、アンプ部１０５ｅが複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。

図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしても良い。

操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１２は、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、第１外部Ｉ／Ｆ部１１５を介して入力される撮像素子１０５におけるＲＴＳノイズのＲＴＳノイズ位置情報を記録するＲＴＳノイズ情報記録部１１２ｂと、ランダムノイズモデルを記録するランダムノイズモデル情報記録部１１２ｃと、を有する。不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成される。

バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力した画像データに対し、アナログ処理部１０６およびＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記憶する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して第１画像処理装置２０および第２画像処理装置３０に撮像素子１０５が生成した画像データを出力する。

〔第１画像処理装置の構成〕
次に、第１画像処理装置２０の構成について説明する。第１画像処理装置２０は、第２外部Ｉ／Ｆ部２０１と、ＲＴＳノイズ検出部２０２と、を備える。

第２外部Ｉ／Ｆ部２０１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データを取得し、取得した画像データをＲＴＳノイズ検出部２０２へ出力する。また、第２外部Ｉ／Ｆ部２０１は、ＲＴＳノイズ検出部２０２から入力された情報を撮像装置１０へ出力する。

ＲＴＳノイズ検出部２０２は、撮像装置１０で撮影されたＲＡＷ画像に基づいて、撮像素子１０５に生じるＲＴＳノイズを検出し、この検出結果を第２外部Ｉ／Ｆ部２０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して不揮発メモリ１１２に記録する。ＲＴＳノイズ検出部２０２は、孤立点検出部２０２ａと、画素値グループ作成部２０２ｂと、平均ランダムノイズ量算出部２０２ｃと、ＲＴＳノイズ特徴量算出部２０２ｄと、ＲＴＳノイズ判定部２０２ｅと、を有する。

孤立点検出部２０２ａは、撮像素子１０５を遮光した状態（例えばシャッタ１０３を閉じた状態、以下、「暗時状態」という）で撮影された複数のＲＡＷ画像データに対応する暗時ＲＡＷ画像（以下、単に「暗時ＲＡＷ画像」という）に基づいて、孤立点の検出とＯＢ成分の減算を行い、孤立点検出結果と減算後の暗時ＲＡＷ画像を画素値グループ作成部２０２ｂへ出力する。なお、本実施の形態１では、孤立点検出部２０２ａが欠陥画素検出部として機能する。

画素値グループ作成部２０２ｂは、孤立点検出部２０２ａによる減算後の複数の暗時ＲＡＷ画像の画素値に基づいて、孤立点検出された画素の画素値を除外するとともに、撮像素子１０５の共有画素の方式に基づき、読み出し回路（アンプ部１０５ｅ）ごとに分類して複数の画素値グループを作成し、この複数の画素値グループを平均ランダムノイズ量算出部２０２ｃへ出力する。なお、画素値グループ作成部２０２ｂは、孤立点検出部２０２ａによって検出された孤立点の画素の画素値を除外せずに、検出された孤立点に応じて補正した画素値を用いるようにしてもよい。

平均ランダムノイズ量算出部２０２ｃは、画素値グループ作成部２０２ｂによって作成された複数の画素値グループの各々のランダムノイズ量と、複数の暗時ＲＡＷ画像のランダムノイズ量とを算出し、この算出した各々のランダムノイズ量をＲＴＳノイズ特徴量算出部２０２ｄへ出力する。さらに、平均ランダムノイズ量算出部２０２ｃは、上述で算出したランダムノイズ量を用いてＲＴＳノイズが発生する可能性のある画素値グループの特定と、それ以外の画素値グループのランダムノイズ量に基づいて、全ての画素値グループのランダムノイズ量の平均である平均ランダムノイズ量を算出する。なお、本実施の形態１では、平均ランダムノイズ量算出部２０２ｃがランダムノイズ量算出部として機能する。

ＲＴＳノイズ特徴量算出部２０２ｄは、ＲＴＳノイズが発生する可能性のある画素値グループに対し、ＲＴＳノイズレベルや発生頻度等を示す特徴量であるＲＴＳノイズ特徴量を算出し、この算出したＲＴＳノイズ特徴量をＲＴＳノイズ判定部２０２ｅへ出力する。ＲＴＳノイズ特徴量算出部２０２ｄは、ＲＴＳノイズが発生する画素値グループの画素値の分布が後述する図４のようになるため、後述のフィッティング処置等によりＲＴＳノイズ特徴量を算出する。なお、本実施の形態では、ＲＴＳノイズ特徴量算出部２０２ｄが特徴量算出部として機能する。

ＲＴＳノイズ判定部２０２ｅは、画素値グループ作成部２０２ｂが作成した複数のグループの各々の画素値の分布に基づいて、この複数の画素値グループの各々に対して点滅欠陥ノイズとしてＲＴＳノイズが発生するか否かを判定する。具体的には、ＲＴＳノイズ判定部２０２ｅは、ＲＴＳノイズが発生する可能性のある画素値グループに対して、ＲＴＳノイズ特徴量算出部２０２ｄによって算出されたＲＴＳノイズ特徴量に基づいて、対応する画素値グループを構成する撮像素子１０５の画素に対し（同一のアンプ部１０５ｅ（読み出し回路）を共有している撮像素子１０５の画素に対し）、補正が必要なレベルのＲＴＳノイズが発生するか否かの判定（検出）を行う。ＲＴＳノイズ判定部２０２ｅは、ＲＴＳノイズが発生している場合には、ＲＴＳノイズの検出結果と、対応する撮像素子１０５の読み出し回路（アンプ部１０５ｅ）の位置情報（即ち、読み出し回路を共有している画素のみから構成される共有画素ブロックの位置情報）と、ＲＴＳノイズ特徴量算出部２０２ｄが算出した特徴量と、を関連づけたＲＴＳノイズ情報を撮像装置１０の不揮発メモリ１１２に記録する。なお、本実施の形態では、ＲＴＳノイズ判定部２０２ｅがノイズ判定部として機能する。

〔第２画像処理装置の構成〕
次に、第２画像処理装置３０の構成について説明する。第２画像処理装置３０は、第３外部Ｉ／Ｆ部３０１と、ＲＴＳノイズ補正部３０２と、画像処理部３０３と、を備える。

第３外部Ｉ／Ｆ部３０１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データおよび不揮発メモリ１１２から出力されたＲＴＳノイズに関するＲＴＳノイズ情報を取得し、取得した画像データおよびＲＴＳノイズ情報をＲＴＳノイズ補正部３０２へ出力する。

ＲＴＳノイズ補正部３０２は、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＡＷ画像に対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、この補正を行ったＲＡＷ画像を画像処理部３０３へ出力する。ＲＴＳノイズ補正部３０２は、ＲＴＳノイズ画素判定部３０２ａと、候補値算出部３０２ｂと、代表値算出部３０２ｃと、ランダムノイズ量推定部３０２ｄと、補正値算出部３０２ｅと、を有する。

ＲＴＳノイズ画素判定部３０２ａは、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＴＳノイズ情報を、第３外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して取得し、取得したＲＡＷ画像上の画素においてＲＴＳノイズが発生するか否かを判定し、判定結果を候補値算出部３０２ｂおよび代表値算出部３０２ｃへ出力する。具体的には、ＲＴＳノイズ画素判定部３０２ａに対して画素の位置を入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているか判定し、記録されていればＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。

候補値算出部３０２ｂは、注目画素のＲＡＷ画像における画素値と、ＲＴＳノイズ画素判定部３０２ａの判定結果とに基づいて、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素のＲＡＷ画像における画素値と、算出した複数の候補値を代表値算出部３０２ｃ、ランダムノイズ量推定部３０２ｄおよび補正値算出部３０２ｅそれぞれへ出力する。

代表値算出部３０２ｃは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部３０２ａによってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部３０２ｄが算出した注目画素に対応するランダムノイズ量の参照値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部３０２ｃは、注目画素のＲＡＷ画像における画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部３０２ｅへ出力する。

ランダムノイズ量推定部３０２ｄは、撮像装置１０のランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を代表値算出部３０２ｃへ出力する。即ち、ランダムノイズ量推定部３０２ｄに対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。

補正値算出部３０２ｅは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部３０２ｂが算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部３０２ｅは、注目画素のＲＡＷ画像における画素値と、候補値算出部３０２ｂによって算出された複数の候補値と、代表値算出部３０２ｃによって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して、画像処理部３０３へ出力する。より具体的には、補正値算出部３０２ｅは、候補値算出部３０２ｂが算出した複数の候補値の中から、代表値算出部３０２ｃが算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正する。これに対して、補正値算出部３０２ｅは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素のＲＡＷ画像における画素値をそのまま出力する。

画像処理部３０３は、ＲＴＳノイズ補正部３０２によってＲＴＳノイズが補正された画像データに対して、所定の画像処理を行って表示装置４０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部３０３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

〔表示装置の構成〕
次に、表示装置４０の構成について説明する。表示装置４０は、第２画像処理装置３０から入力される画像データに対応する画像を表示する。表示装置４０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、第１画像処理装置２０が撮像素子１０５に発生したＲＴＳノイズを検出し、第２画像処理装置３０が第１画像処理装置２０によって検出されたＲＴＳノイズを補正し、表示装置４０が第２画像処理装置３０によって画像処理が施された画像データに対応する画像を表示する。

〔ＲＴＳノイズの発生原因と特性〕
次に、ＲＴＳノイズの発生原因とＲＴＳノイズの特性について説明する。
図３は、撮像素子１０５に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部１０５ｅから出力されるアンプ出力の変動を示す図である。図４は、ＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値の分布を示す図である。

ＲＴＳノイズは、アンプ部１０５ｅにおけるゲート酸化膜にトラップ準位が存在した場合、ランダムなタイミングで、このトラップ準位に電荷が捕獲されたり、放出されたりすることで発生する。このため、図３に示すように、ＲＴＳノイズが発生するアンプ部１０５ｅでは、アンプ出力が約Ｖｒｔｓの範囲でランダムに変動する。また、電位の変動は、一瞬で起こらず、わずかな時間τを要する。

一般に、撮像素子１０５では、画素１０５ａから読み出した画素値からノイズを低減するため、相関二重サンプリング処理（以下、「ＣＤＳ処理」という）が行われる。ＣＤＳ処理では、撮像制御部１１４が撮像素子１０５のリセットスイッチ（図示せず）をオンにして、ＦＤ部１０５ｄの電荷をリセットさせ、さらに、撮像制御部１１４が第２スイッチ１０５ｆをオンにして、リセット状態を作り、リセット状態の信号（基準信号）を読み出す（出力する）。次に、ＣＤＳ処理では、撮像制御部１１４が第１スイッチ１０５ｂ（または第１スイッチ１０５ｂ（１）〜１０５ｂ（８）のいずれか）のみをオンにして、画素１０５ａで発生した電荷をＦＤ部１０５ｄに転送し、さらに第２スイッチ１０５ｆをオンにした読み出し状態（出力状態）を作り、読み出し状態の信号を読み出す（出力する）。続いて、ＣＤＳ処理では、読み出し状態の信号からリセット状態の信号（基準信号）を減算することで得られる信号を画素値として変換する。

図３に示すように、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ１（リセット状態）およびタイミングｔｓ１（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ１およびタイミングｔｓ１それぞれのアンプ出力Ｖがほぼ同様であるため、主にランダムノイズによる影響を受け、読み出された画素値が図４に示す分布Ａのような０を中心とした分布となる。同様に、撮像素子１０５は、タイミングｔｒ２（リセット状態）とタイミングｔｓ２（読み出し状態）でも、タイミングｔｒ２およびタイミングｔｓ２それぞれのアンプ出力Ｖがほぼ同様であるため、読み出された画素値が図４に示す分布Ａのようになる。

一方、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ３（リセット状態）およびタイミングｔｓ３（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ３のアンプ出力と比べタイミングｔｓ３のアンプ出力が約Ｖｒｔｓ低いため、２つの信号の差をとると、アンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分マイナス方向にシフトし、読み出された画素値が−ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｂとなる。

これに対して、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ４（リセット状態）およびタイミングｔｓ４（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ４のアンプ出力に比べてタイミングｔｓ４のアンプ出力が約Ｖｒｔｓ高いため、２つの信号の差をとるとアンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分プラス方向にシフトし、読み出された画素値がＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｃとなる。

ここで、図３のアンプ出力の変動は、時間τを要して生じるため、電位が変動している途中で信号を読み出す場合もある。この場合、リセット状態の読み出しタイミングおよび読み出し状態の読み出しタイミングの間で、アンプ出力差が−Ｖｒｔｓより大きく、Ｖｒｔｓより小さい。この結果、撮像素子１０５から読み出された画素値も、−ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さな値となる。時間τは、撮像素子１０５の条件（例えば温度や駆動電圧等）が一定であれば、ほぼ一定になると考えられるため、−ＲＴＳ＿Ｖａｌｕｅより大きくＲＴＳ＿Ｖａｌｕｅより小さな画素値が同様の確率で発生する。ここでは、これらの画素値の発生頻度をαｎｏｉｓｅと定義する。また、分布Ｂおよび分布Ｃの各々は、中央値のみ異なるが、それ以外は同様の分布となる。このため、以下においては、分布Ａに対する分布Ｂまたは分布Ｃの割合をαｒｔｓと定義する。このαｒｔｓは、アンプ部１０５ｅのアンプ出力の変動周期が短いほど、大きくなる。

このように、ＣＤＳ処理によりＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値は、図４のような分布となる。なお、撮像素子１０５に光が当たっている条件では、読み出し状態の電位が露光量に応じて変化する。しかしながら、ＲＴＳノイズによる電位の変化は、露光量によらず一定である。即ち、ＲＴＳノイズは、露光量に依存せず、−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下の範囲で正常な画素値に対してランダムに変動する特性を有する。なお、図４において、分布Ａ、分布Ｂ、分布Ｃを模式的に示したが、一般には正規分布となる。

また、ＲＴＳノイズは、読み出し回路（アンプ部１０５ｅ）に起因するノイズであるため、図２に示すように、複数の画素１０５ａの各々が１つの読み出し回路を共有している場合、全ての共有画素（画素１０５ａ（１）〜１０５ａ（８））において同様の特性のＲＴＳノイズが発生する。

また、図２に示した読み出し回路（アンプ部１０５ｅ）以外にも、撮像素子１０５の列方向で共有しているカラムアンプやソースフォロア等においても、ＲＴＳノイズが発生する場合がある。この場合、同じカラムアンプおよびソースフォロアを共有する列方向の全ての画素においても同様の特性のＲＴＳノイズが発生する。本実施の形態では、読み出し回路（アンプ部１０５ｅ）以外の回路で発したＲＴＳノイズにも適用することができる。

このようにＲＴＳノイズは、被写体を固定して同じ条件で撮影した場合、撮影により得られた画像の画素値が一定範囲内（−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下）で振幅（変動）するような点滅欠陥ノイズの一種となる。

〔第１画像処理装置の処理〕
次に、第１画像処理装置２０の処理について説明する。図５は、第１画像処理装置２０が実行する処理の概要を示すフローチャートであり、第１画像処理装置２０が実行するメインルーチンのフローチャートである。なお、図５においては、第１画像処理装置２０が実行するＲＴＳノイズを検出するＲＴＳノイズ検出処理について説明する。

図５に示すように、まず、ＲＴＳノイズ検出部２０２は、第２外部Ｉ／Ｆ部２０１および第１外部Ｉ／Ｆ部１１５を介して、撮像制御部１１４に遮光画像を撮影する指示信号を出力して、暗時ＲＡＷ画像を複数枚（例えば２５０枚）撮影させる（ステップＳ１０１）。この場合、撮像制御部１１４は、ＲＴＳノイズ検出部２０２から入力された指示信号に基づいて、シャッタ１０３および撮像素子１０５を制御することによって、撮像素子１０５に暗時ＲＡＷ画像を撮影させる。このとき、撮像素子１０５は、静止画、動画およびライブビュー画像の各々でＲＡＷ画像のサイズ、撮影時の撮像素子１０５の駆動モード（例えば高速読み出しモードまたは画質優先モード）が異なる場合、およびＲＡＷ画像の特性（例えばビット数）が異なる場合、それぞれで複数枚の暗時ＲＡＷ画像を撮影することが好ましい。また、撮像制御部１１４は、撮像素子１０５の撮影により得られた複数の暗時ＲＡＷ画像を、バス１１３、第１外部Ｉ／Ｆ部１１５および第２外部Ｉ／Ｆ部２０１を介してＲＴＳノイズ検出部２０２に出力する。

ここで、ＲＴＳノイズ検出部２０２に出力するＲＡＷ画像データは、暗時ＲＡＷ画像でなくてもよく、同一被写体を撮影した複数のＲＡＷ画像データであれば、ＲＴＳノイズの検出を行えるが、一般に暗い方がランダムノイズの影響が少ないため、暗時ＲＡＷ画像を用いることが好ましい。同様な理由から、ＲＴＳノイズ検出部２０２に出力するＲＡＷ画像データは、撮像素子１０５が高温の状態よりも低温（室温以下）の状態で暗時ＲＡＷ画像を複数撮影する方が、ランダムノイズが少ないため、好ましい。また、ＲＴＳノイズ検出部２０２に出力するＲＡＷ画像データは、複数の画素１０５ａの各々から出力された信号でなく、ＦＤ部１０５ｄのみから出力された信号を用いて構成された複数のＲＡＷ画像データであってもよい。

続いて、ＲＴＳノイズ検出部２０２は、撮像装置１０から取得した複数の暗時ＲＡＷ画像を用いて孤立点（欠陥画素）の検出および複数の画素値グループを作成する孤立点検出・画素値グループ作成処理を実行する（ステップＳ１０２）。

図６は、図５のステップＳ１０２の孤立点検出・画素値グループ作成処理の概要を示すフローチャートである。

図６に示すように、まず、孤立点検出部２０２ａは、上述したステップＳ１０１で取得した複数の暗時ＲＡＷ画像の平均である平均暗時ＲＡＷ画像を生成する（ステップＳ２０１）。具体的には、孤立点検出部２０２ａは、画素毎に全ての暗時ＲＡＷ画像の画素値を加算し、暗時ＲＡＷ画像の枚数（例えば２５０枚）で除算することによって、平均暗時ＲＡＷ画像を生成する。これにより、平均暗時ＲＡＷ画像では、ランダムノイズとＲＴＳノイズによる影響を低減することができる。ここで、孤立点検出部２０２ａは、平均暗時ＲＡＷ画像を上述したステップＳ１０１で撮影した暗時ＲＡＷ画像の一部のみを用いて生成するようにしても良い。これにより、平均暗時ＲＡＷ画像を作成する時間を削減できる。

また、孤立点検出部２０２ａは、撮像素子１０５の特性が安定している条件であれば、上述したステップＳ１０１の撮影とは異なるタイミングで撮影された別の暗時ＲＡＷ画像を用いて平均暗時ＲＡＷ画像を生成するようにしても良い。これにより、孤立点検出部２０２ａは、上述したステップＳ１０１とステップＳ２０１とを並列に実施し、または、上述したステップＳ１０１と後述するステップＳ２０３および後述するステップＳ２０４を並列に実施することで、上述したステップＳ１０１で撮影した全ての暗時ＲＡＷ画像を必ずしも不揮発メモリ１１２に記憶させる必要がなくなり、少ない容量の揮発メモリ１１１であっても画素値グループを作成することができる。

続いて、孤立点検出部２０２ａは、平均暗時ＲＡＷ画像に基づいて、孤立点画素を判定する（ステップＳ２０２）。具体的には、孤立点検出部２０２ａは、平均暗時ＲＡＷ画像を構成する各画素の画素値に対して、該画素値が所定の閾値（第１の閾値）以上であるか否かを判定し、この所定の閾値（第１の閾値）以上である画素値の画素を孤立点（欠陥画素）として判定（検出）する。ここで、所定の閾値とは、例えば暗時ショットノイズの２倍の画素値程度である。これにより、ＲＴＳノイズ検出の精度を低下させる可能性がある孤立点画素（欠陥画素）を正確に検出（判定）することができる。なお、孤立点検出部２０２ａは、孤立点画素として画素値が所定の閾値（第１の閾値）より大きい画素値を出力する画素を白傷画素として検出していたが、画素値が所定の閾値（第２の閾値）より小さくなる、例えば黒傷画素の検出を行ってもよい。ここで、黒傷画素とは、感度が周囲よりも低い感度不良によるもの、またはフォトダイオード（画素１０５ａ）の欠陥によるもの等である。感度不良によるものであれば、孤立点画素と検出しなくても、暗時ＲＡＷ画像を用いているためＲＴＳノイズ検出には影響がないが、画素１０５ａによるものは、上記の白傷同様に検出することが好ましい。よって、孤立点検出部２０２ａは、白傷画素の検出に加えて、さらに均一な被写体を撮影した複数の画像に基づいて、所定値（第２の閾値）以下の画素値の画素を黒傷画素として検出してもよい。これにより、ＲＴＳノイズの検出の精度を向上させることができる。

その後、画素値グループ作成部２０２ｂは、複数の暗時ＲＡＷ画像の各々から平均暗時ＲＡＷ画像を減算する（ステップＳ２０３）。具体的には、画素値グループ作成部２０２ｂは、各暗時ＲＡＷ画像を構成する各画素の画素値から、該各画素に対応する平均暗時ＲＡＷ画像の画素の画素値を減算する。この場合、画素値グループ作成部２０２ｂは、減算後の結果において負値も保持する。また、一般に、撮像素子１０５は、暗電流を含む電荷のオフセット検出（オプティカルブラック検出）を行うためのＯＢ領域（ＯＢ画素）を有している。このため、画素値グループ作成部２０２ｂは、複数の暗時ＲＡＷ画像の各々からＯＢ領域における画素値の平均を減算してもよい。なお、平均暗時ＲＡＷ画像を用いた方が画素毎の暗電流のばらつきによるシェーディング等の影響を排除することができるので、ＲＴＳノイズをより正確に検出することができる。

続いて、画素値グループ作成部２０２ｂは、ステップＳ２０２で孤立点検出部２０２ａが検出した孤立点画素判定結果と、ステップＳ２０３で平均暗時ＲＡＷ画像を減算した複数の暗時ＲＡＷ画像とに基づいて、画素値を読み出し回路毎（アンプ部１０５ｅ毎）に分類して複数の画素値グループを作成する（ステップＳ２０４）。具体的には、画素値グループ作成部２０２ｂは、まず、平均暗時ＲＡＷ画像を減算した複数の暗時ＲＡＷ画像の全ての画素の画素値から孤立点画素として判定されている画素から出力された画素値を除外する。次に、画素値グループ作成部２０２ｂは、同じ読み出し回路（アンプ部１０５ｅ）を使用して読み出された画素から出力された画素値毎にグループ分けを行い、このグループそれぞれを画素値グループとして作成する。

図７は、同じ画素値グループに分類される画素値を出力する撮像素子１０５の画素を模式的に示す図である。図７においては、図２に示した横方向に２画素×縦方向に４画素の８画素に対して、１つの読み出し回路（アンプ部１０５ｅ）で信号を読み出す共有画素の場合を示す。また、図７において、細線Ｌ１で形成された正方形Ｐ１が各画素を示し、この白い正方形Ｐ１が正常画素を示し、黒色の正方形Ｐ２が孤立点画素を示す。さらに、図７において、太線Ｌ２の枠が同じ画素値グループに分類される画素値を出力する画素を示す。また、図７において上から順に、Ｗ１番目に撮影された画像の一部、Ｗ２番目に撮影された画像の一部、Ｗ３番目に撮影された画像の一部を示している。

図７に示すように、画素値グループＡは、画素値グループ作成部２０２ｂが平均暗時ＲＡＷ画像を減算した複数の暗時ＲＡＷ画像の各々において、左上の太枠部分Ｌ２の各画素から出力された画素値の集合となる。この場合において、画素値グループＡは、例えば暗時ＲＡＷ画像を２５０枚用いるとき、８×２５０＝２０００個の画素値からなる集合となる。また、画素値グループＸは、太枠部分の画素において、孤立点（欠陥画素）が検出されていない画素から出力された画素値の集合となる。この場合において、画素値グループＸは、例えば暗時ＲＡＷ画像を２５０枚用いるとき、（８−１）×２５０＝１７５０個の画素値からなる集合となる。

ステップＳ２０４の後、ＲＴＳノイズ検出部２０２は、図５のメインルーチンへ戻る。
図５に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、ＲＴＳノイズ検出部２０２は、複数の画素値グループに対して、ＲＴＳノイズが発生する可能性を示すＲＴＳフラグの設定および画素値グループの平均ランダムノイズ量を算出する平均ランダムノイズ量算出・ＲＴＳフラグ設定処理を実行する。

図８は、図５のステップＳ１０３で説明した平均ランダムノイズ量算出・ＲＴＳフラグ設定処理の概要を示すフローチャートである。

図８に示すように、まず、平均ランダムノイズ量算出部２０２ｃは、各画素値グループのランダムノイズ量を算出する（ステップＳ３０１）。具体的には、平均ランダムノイズ量算出部２０２ｃは、１つの画素値グループに対して１つのランダムノイズ量を算出する。なお、本実施の形態１では、平均ランダムノイズ量算出部２０２ｃは、画素値グループを構成する画素値の標準偏差を算出し、この標準偏差を各画素値グループのランダムノイズ量として算出する。例えば、平均ランダムノイズ量算出部２０２ｃは、図７に示した画素値グループＡの場合、２０００個の画素値の標準偏差を算出し、画素値グループＸの場合、１７５０個の画素値の標準偏差を算出する。なお、平均ランダムノイズ量算出部２０２ｃは、ランダムノイズ量として、例えば最大値または、最小値、最大値と最小値の差、分散値等ほかの尺度による値を算出するようにしても良い。

続いて、平均ランダムノイズ量算出部２０２ｃは、各画素値グループに対してＲＴＳフラグをクリア状態に設定する（ステップＳ３０２）。ここで、ＲＴＳフラグとは、各画素値グループに付随する情報であり、クリア状態であればその画素値グループではＲＴＳノイズが発生しないことを示し、セット状態であればその画素値グループではＲＴＳノイズが発生する可能性があることを示す情報である。

その後、平均ランダムノイズ量算出部２０２ｃは、ＲＴＳフラグがクリア状態に設定されている画素値グループ全ての平均ランダムノイズ量の平均を算出する（ステップＳ３０３）。具体的には、平均ランダムノイズ量算出部２０２ｃは、ステップＳ３０１で算出したＲＴＳフラグがクリア状態に設定されている画素値グループの標準偏差の平均を複数の暗時ＲＡＷ画像のランダムノイズ量として算出し、その算出結果を平均ランダムノイズ量とする。

続いて、平均ランダムノイズ量算出部２０２ｃは、ＲＴＳフラグがクリア状態に設定されている画素値グループの各々に対して、画素値グループのランダムノイズ量と平均ランダムノイズ量とを比較し、ランダムノイズ量が大きい場合にＲＴＳフラグを設定するＲＴＳフラグをセット状態に設定するＲＴＳフラグ設定処理を実行する（ステップＳ３０４）。

図９は、図８のステップＳ３０４のＲＴＳフラグ設定処理における処理の概要を示すフローチャートである。

図９に示すように、まず、平均ランダムノイズ量算出部２０２ｃは、後述するステップＳ４０２〜ステップ４０４の処理を順次行うための注目画素値グループを設定（後述するステップＳ４０２〜ステップＳ４０４の処理を行うグループを特定するためのポインタを設定）する（ステップＳ４０１）。具体的には、平均ランダムノイズ量算出部２０２ｃは、撮像素子１０５において、共有画素ブロック毎（読み出し回路毎）に、左上から右下に向かってラスタ順に、０より大きい整数を１、２、３・・・と順にインデックスとして割り当てる。次に、平均ランダムノイズ量算出部２０２ｃは、ステップ４０１が実行される毎に、カウンタを１ずつ増加させる（ＲＴＳフラグ設定処理が開始される時点でカウンタは０にリセットする）。平均ランダムノイズ量算出部２０２ｃは、カウンタが示しているインデックスが割り当てられている画素値グループを注目画素値グループとして設定する。即ち、平均ランダムノイズ量算出部２０２ｃによってステップＳ４０１が最初に実行されると、平均ランダムノイズ量算出部２０２ｃが０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素値グループが注目画素値グループとなる。平均ランダムノイズ量算出部２０２ｃがステップＳ４０１の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素値グループの右側の画素値グループが注目画素値グループとなる。

続いて、平均ランダムノイズ量算出部２０２ｃは、注目画素グループのＲＴＳフラグがセット状態であるか否かを判定する（ステップＳ４０２）。平均ランダムノイズ量算出部２０２ｃが注目画素グループのＲＴＳフラグがセット状態であると判定した場合（ステップＳ４０２：Ｙｅｓ）、第１画像処理装置２０は、後述するステップＳ４０５へ移行する。これに対して、平均ランダムノイズ量算出部２０２ｃが注目画素グループのＲＴＳフラグがセット状態でないと判定した場合（ステップＳ４０２：Ｎｏ）、第１画像処理装置２０は、後述するステップＳ４０３へ移行する。

ステップＳ４０３において、平均ランダムノイズ量算出部２０２ｃは、注目画素値グループのランダムノイズ量が平均ラインダムノイズ量に比べて大きいか否かを判定する。具体的には、平均ランダムノイズ量算出部２０２ｃは、注目画素値グループの標準偏差が平均ランダムノイズ量の標準偏差の平均に所定の係数（例えば１.５）を乗じた値よりも大きいが否かを判定する。平均ランダムノイズ量算出部２０２ｃが注目画素値グループのランダムノイズ量が平均ラインダムノイズ量に比べて大きいと判定した場合（ステップＳ４０３：Ｙｅｓ）、第１画像処理装置２０は、は、後述するステップＳ４０４へ移行する。これに対して、平均ランダムノイズ量算出部２０２ｃが注目画素値グループのランダムノイズ量が平均ラインダムノイズ量に比べて大きくないと判定した場合（ステップＳ４０３：Ｎｏ）、第１画像処理装置２０は、後述するステップＳ４０５へ移行する。

ステップＳ４０４において、平均ランダムノイズ量算出部２０２ｃは、注目画素値グループのＲＴＳフラグをセット状態に設定する。

続いて、平均ランダムノイズ量算出部２０２ｃは、全ての画素値グループに対して、上述したステップＳ４０１〜ステップＳ４０４の処理が終了したか否かを判定する（ステップＳ４０５）。平均ランダムノイズ量算出部２０２ｃが全ての画素値グループに対して、上述したステップＳ４０１〜ステップＳ４０４の処理が終了したと判定した場合（ステップＳ４０５：Ｙｅｓ）、第１画像処理装置２０は、図８の平均ランダムノイズ量算出・ＲＴＳフラグ設定処理へ戻る。これに対して、平均ランダムノイズ量算出部２０２ｃが上述したステップＳ４０１〜ステップＳ４０４の処理が終了していないと判定した場合（ステップＳ４０５：Ｎｏ）、第１画像処理装置２０は、上述したステップＳ４０１へ戻る。

図８に戻り、ステップＳ３０５以降の説明を続ける。
ステップＳ３０５において、上述したステップＳ３０４のＲＴＳフラグ設定処理において、平均ランダムノイズ量算出部２０２ｃは、新規にＲＴＳフラグをセット状態に設定したか否かを判定する。具体的には、直前に実行されたステップＳ３０４の処理において、平均ランダムノイズ量算出部２０２ｃは、上述した図９のステップＳ４０４の処理を１回以上実行したか否かを判定する。平均ランダムノイズ量算出部２０２ｃが新規にＲＴＳフラグをセット状態に設定した（直前に実行されたステップＳ３０４の処理において、上述した図９のステップＳ４０４の処理が１回以上実行された）と判定した場合（ステップＳ３０５：Ｙｅｓ）、第１画像処理装置２０は、ステップＳ３０３へ戻る。これに対して、平均ランダムノイズ量算出部２０２ｃが新規にＲＴＳフラグをセット状態に設定していない（直前に実行されたステップＳ３０４の処理において、上述した図９のステップＳ４０４の処理が一回も実行されていない）と判定した場合（ステップＳ３０５：Ｎｏ）、第１画像処理装置２０は、図５のメインルーチンへ戻る。なお、平均ランダムノイズ量算出部２０２ｃは、ステップＳ３０５においては、上述した図９のステップＳ４０４の実行回数で判定していたが、例えば上述したステップＳ４０３〜ステップＳ４０５の実行回数が所定回数、例えば３回に達しているか否かを判定するようにしてもよい。

このように平均ランダムノイズ量算出部２０２ｃが上述した図８および図９に示す処理を実行すると、上述したステップＳ３０２で一旦全ての画素値グループのＲＴＳフラグがクリア状態に設定され、最初に上述したステップＳ３０３を実行することによって、全ての画素値グループの平均ランダムノイズ量を算出することができる。ＲＴＳノイズが発生する画素値グループでは、ランダムノイズ量が大きいため、平均ランダムノイズ量算出部２０２ｃが上述したステップＳ３０４において平均ランダムノイズ量と比較することによって、ＲＴＳノイズが発生する画素値グループに対してＲＴＳフラグをセット状態に設定する。

しかしながら、ＲＴＳ＿Ｖａｌｕｅが小さい画素値グループのランダムノイズ量は、ＲＴＳノイズが発生しない画素値グループのランダムノイズ量と比べて差が小さいため、平均ランダムノイズ量算出部２０２ｃが上述したステップＳ３０３およびステップＳ３０４を１回実行するだけでは、ＲＴＳ＿Ｖａｌｕｅが小さい画素値グループにＲＴＳフラグを正しく設定できない（正しくセット状態に設定できない）場合がある。そこで、本実施の形態１では、平均ランダムノイズ量算出部２０２ｃが上述したステップＳ３０３〜ステップＳ３０５を繰り返すことで、ＲＴＳ＿Ｖａｌｕｅが小さい画素値グループにもＲＴＳフラグを正しく設定することができる。さらに、平均ランダムノイズ量も徐々に収束させることができる。この結果、平均ランダムノイズ量算出部２０２ｃは、ランダムノイズと区別可能なレベルのＲＴＳノイズを有する画素値グループ全てに対し、ＲＴＳフラグをセット状態に設定することができる。一方、ランダムノイズと区別できないＲＴＳノイズを有する画素値グループ全てに対してＲＴＳフラグがクリア状態に設定されたままになるが、このようなＲＴＳノイズは、ランダムノイズに埋もれてしまうため、検出および補正の必要がない。

また、ＲＴＳノイズが発生する画素値グループでは、上述した図３で説明したように、ＲＴＳノイズによるＲＴＳ＿Ｖａｌｕｅ分ずれた画素値に分布ができるため、標準偏差が大きくなる。ＲＴＳノイズは、全ての読み出し回路（アンプ部１０５ｅ）で発生する可能性が低いため、平均ランダムノイズ量算出部２０２ｃが上述した図８および図９に示す処理を実行することにより、検出および補正が必要となるＲＴＳノイズが発生する可能性がある画素値グループと、検出および補正が必要となるＲＴＳノイズが発生する可能性がない画素値グループとに確実に分類することができる。

図５に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、ＲＴＳノイズ検出部２０２は、ステップＳ１０３でＲＴＳフラグがセット状態に設定されている画素値グループに対して、ＲＴＳノイズの特徴を示すＲＴＳ特徴量を算出するＲＴＳノイズ特徴量算出処理を実行する（ステップＳ１０４）。

図１０は、図５のステップＳ１０４のＲＴＳノイズ特徴量算出処理の概要を示すフローチャートである。

図１０に示すように、まず、ＲＴＳノイズ特徴量算出部２０２ｄは、ＲＴＳフラグがセット状態に設定されている画素値グループの各々に対して、画素値グループ内の各画素値を絶対値に変換したヒストグラムを作成する（ステップＳ５０１）。具体的には、ＲＴＳノイズ特徴量算出部２０２ｄは、画素値グループの分布が上述した図４のようなものであった場合、絶対値に変換して、図１１に示すヒストグラムを作成する。ここで、分布Ｂ＋Ｃは、図４の分布Ｂと分布Ｃとを合わせた分布であるため、分布Ａの総数×αＲＴＳ×２が分布Ｂ＋Ｃの総数となる。また、ＲＴＳノイズによるＲＴＳ＿Ｖａｌｕｅ未満の数の分布は、２×αｎｏｉｓｅとなる。ＲＴＳノイズ特徴量算出部２０２ｄは、このステップＳ５０１の処理を行うことで、分布を偏らせることができるため、暗時ＲＡＷ画像の枚数を増加させることなく、正確な分布を得ることができる。

続いて、ＲＴＳノイズ特徴量算出部２０２ｄは、ＲＴＳフラグがセット状態に設定されている画素値グループの各々に対して、ＲＴＳノイズのモデルとフィッティングさせることによって、ＲＴＳ＿Ｖａｌｕｅを算出する（ステップＳ５０２）。具体的には、図４の分布ｆ（ｘ）は、ランダムノイズが標準偏差σの正規分布で発生すると仮定し、画素値グループの総数とｆ（ｘ）の累積を一致させるための係数ｋを用いて式（１）、式（２）で表せる。

ここで、αｎｏｉｓｅの発生する範囲は、−ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さい範囲としているが、式（１）に記載したｘの値域には等号を含めている。ここでは、Ａ／Ｄ変換部１０７によるＡ／Ｄ変換によるサンプリングするときの丸めを考量し等号を含めた値域としている。よって、図１１の分布ｇ（ｘ）は、式（３）となる。

このように、ＲＴＳノイズ特徴量算出部２０２ｄは、標準偏差σ、ＲＴＳ＿Ｖａｌｕｅ、αＲＴＳおよびαｎｏｉｓｅを変数とし、ｘを所定の範囲（例えば１０ｂｉｔで０〜ＲＴＳ＿Ｖａｌｕｅの取り得る最大値の２倍程度の範囲）でｇ（ｘ）を算出して正規化し、絶対値ヒストグラムとｇ（ｘ）との誤差が最小になる標準偏差σ、ＲＴＳ＿Ｖａｌｕｅ、αＲＴＳおよびαｎｏｉｓｅを算出する。具体的には、ＲＴＳノイズ特徴量算出部２０２ｄは、標準偏差σ、ＲＴＳ＿Ｖａｌｕｅ、αＲＴＳおよびαｎｏｉｓｅを変数とし、ｘを所定の範囲でｇ（ｘ）を参照し、上述した所定の範囲で算出したｇ（ｘ）の総数が画素値グループに含まれる画素値の総数と一致するようにｋを設定し、絶対値ヒストグラムとｇ（ｘ）との誤差が最小になる標準偏差σ、ＲＴＳ＿Ｖａｌｕｅ、αＲＴＳおよびαｎｏｉｓｅを算出する（ＲＴＳ＿Ｖａｌｕｅの算出方法１）。なお、ＲＴＳノイズ特徴量算出部２０２ｄは、誤差の求め方として、各画素値ｘの誤差を単純に累積した値のみではなく、画素値ｘに応じて重み付けして累積した値としてもよい。ここで、ランダムノイズは、撮像素子１０５内でほぼ同様に発生するため、標準偏差σが平均ランダムノイズ量として算出した平均標準偏差付近の値となる。そのため、標準偏差σは、平均ランダムノイズ量を用いる、即ち、ステップＳ３０３で最後に算出された標準偏差を用いるようにしても良い。これにより、演算量を削減することができる。

ステップＳ５０２の後、ＲＴＳノイズ特徴量算出部２０２ｄは、ＲＴＳフラグがセット状態に設定されている画素値グループの各々に対して、乖離量を算出する（ステップＳ５０３）。ここで、絶対値ヒストグラムにおいて、画素値が大きいほうから、画素値グループに含まれる個数の所定割合（例えば０．１％〜０．２％程度）だけ分布する範囲の中央値を乖離量と定義する（所定割合を１／画素値グループに含まれる画素値の個数とすると、乖離量が画素値グループの最大値と一致する）。ＲＴＳノイズ特徴量算出部２０２ｄは、αＲＴＳが著しく小さい場合、上述したステップＳ５０２のＲＴＳノイズモデルフィッティングのみでは、ＲＴＳノイズの特徴量を算出できない可能性があるため、乖離量を用いることで、ＲＴＳノイズの特徴量の誤算出を防止することができる。なお、平均ランダムノイズ量算出部２０２ｃは、ＲＴＳフラグがセット状態に設定されている画素値グループの各々に対して、乖離量を算出し、この乖離量を各画素値グループのランダムノイズ量として、ＲＴＳフラグの設定を行ってもよい。これにより、αＲＴＳが著しく小さいＲＴＳノイズの検出漏れを防止することができる。ステップＳ５０３の後、第１画像処理装置２０は、上述した図５のメインルーチンへ戻る。

図５に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、ＲＴＳノイズ検出部２０２は、ＲＴＳフラグがセット状態に設定されている画素値グループのＲＴＳ特徴量に基づいて、各画素値グループで補正が必要なレベルのＲＴＳノイズが発生しているか否かを判定し、この判定結果と、各画素値グループに対応する読み出し回路の位置（即ち、読み出し回路を共有している画素１０５ａから構成される共有画素ブロック図の位置（アドレス））と、を関連付けたＲＴＳノイズ情報を撮像装置１０の不揮発メモリ１１２に記録するＲＴＳ判定処理を実行する。ステップＳ１０５の後、第１画像処理装置２０は、本処理を終了する。

図１２は、図５のステップＳ１０５のＲＴＳノイズ判定処理の概要を示すフローチャートである。

図１２に示すように、まず、ＲＴＳノイズ判定部２０２ｅは、第２外部Ｉ／Ｆ部２０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、不揮発メモリ１１２に記録されているＲＴＳノイズ情報をクリアする（ステップＳ６０１）。

続いて、ＲＴＳノイズ判定部２０２ｅは、後述するステップＳ６０３〜ステップ６０５の処理を順次行うための注目画素値グループを設定する（ステップＳ６０２）。具体的には、ＲＴＳノイズ判定部２０２ｅは、後述するステップＳ６０３〜ステップＳ６０５の処理を行うグループを特定するためのポインタを設定する。例えば、ＲＴＳノイズ判定部２０２ｅは、予め撮像素子１０５において、共有画素ブロック毎に左上から右下に向かってラスタ順に、０より大きい整数を１、２、３、・・・と順にインデックスとして割り当てる。次に、ＲＴＳノイズ判定部２０２ｅは、ステップＳ６０２を実行する毎にカウンタを１ずつ増加させる（図１２のＲＴＳノイズ判定処理が開始される時点でカウンタは０にリセットする）。このカウンタが示しているインデックスが割り当てられている画素値グループを注目画素値グループとする。即ち、ＲＴＳノイズ判定部２０２ｅによってステップＳ６０２が最初に実行されると、ＲＴＳノイズ判定部２０２ｅが０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素値グループが注目画素値グループとなる。ＲＴＳノイズ判定部２０２ｅがステップＳ６０２の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素値グループの右側の画素値グループが注目画素値グループとなる。

その後、ＲＴＳノイズ判定部２０２ｅは、注目画素値グループに設定されている画素値グループに対して、ＲＴＳフラグがセット状態に設定されているか否かを判定する（ステップＳ６０３）。ＲＴＳノイズ判定部２０２ｅが注目画素値グループに設定されている画素値グループに対して、ＲＴＳフラグがセット状態に設定されていると判定した場合（ステップＳ６０３：Ｙｅｓ）、第１画像処理装置２０は、後述するステップＳ６０４へ移行する。これに対して、ＲＴＳノイズ判定部２０２ｅが注目画素値グループに設定されている画素値グループに対して、ＲＴＳフラグがセット状態に設定されていないと判定した場合（ステップＳ６０３：Ｎｏ）、第１画像処理装置２０は、後述するステップＳ６０８へ移行する。

ステップＳ６０４において、ＲＴＳノイズ判定部２０２ｅは、上述した図１０のステップＳ５０２でＲＴＳノイズ特徴量算出部２０２ｄによって算出されたＲＴＳ＿Ｖａｌｕｅが所定以上、例えばＴｈＶａｌｕｅ以上であるか否かを判定する。ここで、ＴｈＶａｌｕｅとは、小さいＲＴＳノイズについてはランダムノイズにより人間が知覚できないため、平均ランダムノイズ量に所定の係数（例えば２．０）を乗じた値である。なお、ステップＳ６０４においては、ＲＴＳノイズ判定部２０２ｅがＲＴＳ＿ＶａｌｕｅとＴｈＶａｌｕｅとを比較していたが、例えばＲＴＳ＿Ｖａｌｕｅが乖離量と著しく異なる場合、上述した図１０のステップＳ５０２でＲＴＳノイズ特徴量算出部２０２ｄによるフィッティングが失敗している可能性もある。このため、ＲＴＳノイズ判定部２０２ｅは、ＲＴＳ＿Ｖａｌｕｅと乖離量との差が小さいか否かの判定をさらに行うようにしてもよい。ＲＴＳノイズ判定部２０２ｅによってＲＴＳ＿ＶａｌｕｅがＴｈＶａｌｕｅ以上であると判定された場合（ステップＳ６０４：Ｙｅｓ）、第１画像処理装置２０は、後述するステップＳ６０５へ移行する。これに対して、ＲＴＳノイズ判定部２０２ｅによってＲＴＳ＿ＶａｌｕｅがＴｈＶａｌｕｅ以上でないと判定された場合（ステップＳ６０４：Ｎｏ）、第１画像処理装置２０は、後述するステップＳ６０６へ移行する。

ステップＳ６０６において、ＲＴＳノイズ判定部２０２ｅは、上述したステップＳ５０３でＲＴＳノイズ特徴量算出部２０２ｄによって算出された注目画素グループの乖離量が所定以上、例えばＴｈＭａｘ以上であるか否かを判定する。具体的には、ＲＴＳノイズ判定部２０２ｅは、発生頻度は低いＲＴＳノイズを検出（判定）するため、乖離量により判定を行う。なぜなら、発生頻度が低い場合、さらにランダムノイズより人間が知覚できないためである。ここで、ＴｈＭａｘは、ＴｈＶａｌｕｅ以上の値とすることが好ましい。ＲＴＳノイズ判定部２０２ｅによって注目画素グループの乖離量がＴｈＭａｘ以上であると判定された場合（ステップＳ６０６：Ｙｅｓ）、第１画像処理装置２０は、後述するステップＳ６０７へ移行する。これに対して、ＲＴＳノイズ判定部２０２ｅによって注目画素グループの乖離量がＴｈＭａｘ以上でないと判定された場合（ステップＳ６０６：Ｎｏ）、第１画像処理装置２０は、後述するステップＳ６０８へ移行する。

ステップＳ６０７において、ＲＴＳノイズ判定部２０２ｅは、上述したステップＳ５０３でＲＴＳノイズ特徴量算出部２０２ｄによって算出された注目画素グループの乖離量を、注目画素値グループのＲＴＳ＿Ｖａｌｕｅとして設定する（乖離量の値をＲＴＳ＿Ｖａｌｕｅの値として複製する）。ステップＳ６０７の後、第１画像処理装置２０は、ステップＳ６０８へ移行する。

続いて、ＲＴＳノイズ判定部２０２ｅは、ＲＴＳ＿ＶａｌｕｅをＲＴＳノイズレベルと見なし、注目画素値グループとして設定されている画素値グループを構成する画素値を出力する読み出し回路（アンプ部１０５ｅ）の位置情報（アドレス情報）、即ち、その読み出し回路を共有している画素のみから構成される共有画素ブロックの位置情報（アドレス情報）と、ＲＴＳ＿Ｖａｌｕｅと、を対応付けて、撮像装置１０の揮発メモリ１１１に一時的に記憶する（ステップＳ６０５）。

その後、ＲＴＳノイズ判定部２０２ｅは、注目画素値グループの設定と、上述したステップＳ６０３〜ステップＳ６０５の処理を全画素値グループに対して実施したか否かを判定する（ステップＳ６０８）。ＲＴＳノイズ判定部２０２ｅによって全画素値グループに対して実施したと判定された場合（ステップＳ６０８：Ｙｅｓ）、第１画像処理装置２０は、後述するステップＳ６０９へ移行する。これに対して、ＲＴＳノイズ判定部２０２ｅによって全画素値グループに対して実施していないと判定された場合（ステップＳ６０８：Ｎｏ）、第１画像処理装置２０は、ステップＳ６０２へ戻る。

ステップＳ６０９において、ＲＴＳノイズ判定部２０２ｅは、第２外部Ｉ／Ｆ部２０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、撮像装置１０の揮発メモリ１１１に一時的に記憶されたＲＴＳ＿Ｖａｌｕｅの最大値と、ＲＴＳ＿Ｖａｌｕｅのヒストグラムとを算出する。そして、ＲＴＳノイズ判定部２０２ｅは、揮発メモリ１１１に一時的に記憶された共有画素ブロックの位置情報とＲＴＳ＿Ｖａｌｕｅの対応関係と、ＲＴＳ＿Ｖａｌｕｅの最大値と、ＲＴＳ＿Ｖａｌｕｅのヒストグラムと、を対応付けてＲＴＳノイズ情報として不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂに記録する。ここで、共有画素ブロックの位置情報とＲＴＳ＿Ｖａｌｕｅの対応関係とは、ＲＴＳノイズが発生する可能性がある共有ブロックの位置情報と、その共有ブロックそれぞれに対するＲＴＳ＿Ｖａｌｕｅである。ステップＳ６０９の後、第１画像処理装置２０は、図５のメインルーチンへ戻り、本処理を終了する。なお、ＲＴＳノイズ判定部２０２ｅは、ＲＴＳノイズ情報として、共有画素ブロックの位置情報（読み出し回路（アンプ部１０５ｅ）の位置情報）と、ＲＴＳノイズ特徴量と、を対応づけて不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂに記録した。各画素はいずれかの共有画素ブロックに属するため、複数の画素の各々の位置情報（画素の座標に関する情報）と、ＲＴＳノイズ特徴量と、を対応づけたＲＴＳノイズ情報として不揮発メモリ１１２に記録するようにしても良い。その場合、画素数が共有画素ブロック数以上であるため、不揮発メモリ１１２に記録するデータ量が増えてしまうが、ＲＴＳノイズを補正する際に各画素と共有画素ブロックの対応を考慮する必要がなくなる。また、ＲＴＳノイズ特徴量とは、ＲＴＳ＿Ｖａｌｕｅの対応関係、ＲＴＳ＿Ｖａｌｕｅの最大値およびＲＴＳ＿Ｖａｌｕｅのヒストグラムである。

また、上述した図１２において、ＲＴＳノイズ判定部２０２ｅは、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＴＳノイズ情報をクリアした後に、上述したステップＳ６０２〜ステップＳ６０７で検出したＲＴＳノイズ情報を不揮発メモリ１１２に記録していたが、ＲＴＳノイズは、撮像素子１０５を製造する段階で生じるもののみでなく、経年劣化によって発生し、徐々に増加する可能性がある。このため、ＲＴＳノイズ判定部２０２ｅは、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズ情報をクリアせずに、新たに検出したＲＴＳノイズ情報を加えてＲＴＳノイズ情報を更新してもよい。

〔第２画像処理装置の処理〕
次に、第２画像処理装置３０が実行する処理について説明する。図１３は、第２画像処理装置３０が実行する処理の概要を示すフローチャートであり、第２画像処理装置３０が実行するメインルーチンのフローチャートである。

まず、ＲＴＳノイズ補正部３０２は、後述するステップＳ７０２〜ステップＳ７０５の処理を順次行うための注目画素を設定する（ステップＳ７０１）。なお、ＲＴＳノイズ補正部３０２は、ＲＡＷ画像における画素毎に左上から右下に向かってラスタ順に、０より大きい整数を１、２、３、・・・と順にインデックスとして割り当てる。次に、ＲＴＳノイズ補正部３０２は、ステップＳ７０１が実行される毎に、カウンタを１ずつ増加させる（図１３の処理が開始される時点でカウンタは０にリセットする）。ＲＴＳノイズ補正部３０２は、カウンタが示しているインデックスが割り当てられている画素を注目画素として設定する。即ち、ＲＴＳノイズ補正部３０２によってステップＳ７０１が最初に実行されると、ＲＴＳノイズ補正部３０２が０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素が注目画素となる。ＲＴＳノイズ補正部３０２がステップＳ７０１の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素の右側の画素が注目画素となる。

続いて、ＲＴＳノイズ画素判定部３０２ａは、第３外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズ情報を取得し、取得したＲＴＳノイズ情報に基づいて、注目画素においてＲＴＳノイズが発生している可能性があるか否かを判定する（ステップＳ７０２）。即ち、ＲＴＳノイズ画素判定部３０２ａは、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれているか否か判定する。具体的には、ＲＴＳノイズ画素判定部３０２ａは、注目画素が含まれる共有ブロックの位置情報が、ＲＴＳノイズが発生する可能性がある共有ブロックとしてＲＴＳノイズ情報に含まれているか否かを判定する。ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生する可能性がありと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていると判定）された場合（ステップＳ７０２：Ｙｅｓ）、第２画像処理装置３０は、後述するステップＳ７０３へ移行する。これに対して、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生している可能がないと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていないと判定）された場合（ステップＳ７０２：Ｎｏ）、第２画像処理装置３０は、後述するステップＳ７０６へ移行する。この場合において、ＲＴＳノイズ画素判定部３０２ａは、注目画素においてＲＴＳノイズが発生している可能性がないと判定した場合、この注目画素のＲＡＷ画像における画素値をそのまま補正後の画素値として代表値算出部３０２ｃへ出力する。

ステップ７０３において、候補値算出部３０２ｂは、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。具体的には、候補値算出部３０２ｂは、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ（ＲＴＳノイズ画素判定部３０２ａから出力されるＲＴＳノイズに含まれるＲＴＳノイズ情報に含まれている）に基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値全て（ＲＡＷ画像として整数のみを取り得る場合、０以上ＲＴＳ＿Ｖａｌｕｅ以下の全ての整数）を候補値とする（候補値算出方法１）。なお、候補値算出部３０２ｂは、撮像制御部１１４によって撮像素子１０５のカラムアンプ等に設定されたアンプゲイン値が、ＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）とで異なる場合、ＲＴＳ＿Ｖａｌｕｅを、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対してＲＴＳ＿Ｖａｌｕｅを乗算した値に置き換えてもよい。また、候補値算出部３０２ｂは、予め設定しうるアンプゲイン値毎のＲＴＳ＿ＶａｌｕｅをＲＴＳノイズ情報に持たせ、この設定しているアンプゲイン値に応じたＲＴＳ＿Ｖａｌｕｅを用いてもよい。

続いて、代表値算出部３０２ｃは、注目画素周辺のＲＡＷ画像の画素値に基づいて、代表値（注目画素において、ＲＴＳノイズが発生していない場合における予測されるＲＡＷ画像の画素値）を算出する代表値算出処理を実行する（ステップＳ７０４）。ステップＳ７０４の後、第２画像処理装置３０は、後述するステップＳ７０５へ移行する。

図１４は、図１３のステップＳ７０４の代表値算出処理の概要を示すフローチャートである。

図１４に示すように、まず、代表値算出部３０２ｃは、注目画素を基準に、代表値算出の対象とする最小の算出範囲を設定する（ステップＳ８０１）。具体的には、代表値算出部３０２ｃは、例えば注目画素を中心として対象の範囲で最大７×７の範囲を算出範囲とする場合、７×７以下の最小の範囲である３×３を最小の算出範囲として設定する。

続いて、代表値算出部３０２ｃは、注目画素近傍で発生するＲＡＷ画像におけるランダムノイズ量を算出するための参照値を算出する（ステップＳ８０２）。具体的には、代表値算出部３０２ｃは、注目画素のＲＡＷ画像における画素値を参照値として算出する（参照値参照方法１）。

その後、ランダムノイズ量推定部３０２ｄは、第３外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して不揮発メモリ１１２に記録されているランダムノイズモデルを取得し、注目画素の画素値または注目画素の近傍のＲＡＷ画像における参照値に応じたランダムノイズ量を算出する（ステップＳ８０３）。

図１５は、ランダムノイズモデルの一例を示す図である。図１５において、縦軸がノイズ量を示し、横軸が画素値を示す。なお、図１５においては、縦軸のランダムノイズ量として画素値の標準偏差を用い、撮像素子１０５の特性に応じたランダムノイズモデルを示す。

図１５の曲線Ｌ１０に示すように、撮像素子１０５におけるランダムノイズ量は、画素値が大きくなるに従って増加する。このため、本実施の形態１におけるランダムノイズ量推定部３０２ｄは、図１５の曲線Ｌ１０のランダムノイズモデルに基づいて、ランダムノイズ量を算出する（標準偏差を算出する）。なお、図１５に示した曲線以外にも、ランダムノイズモデルを近似式や折れ線で近似した特性であってもよい。

続いて、代表値算出部３０２ｃは、算出範囲内のＲＡＷ画素の画素値に基づいて、代表値算出に使用可能な画素値の範囲である許容範囲（有効範囲）を算出する（ステップＳ８０４）。具体的には、代表値算出部３０２ｃは、許容範囲（有効範囲）の上限を以下の式（４）によって算出する。
参照値＋ランダムノイズ量（標準偏差）×Ｒ＋ＲＴＳ＿Ｖａｌｕｅ ・・・（４）
ここで、Ｒは、所定の係数であり、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度把握できるかに応じて設定する。例えばＲの係数としては、２前後の値が好ましい。また、代表値算出部３０２ｃは、許容範囲の下限を以下の式（５）によって算出する。
参照値−ランダムノイズ量（標準偏差）×Ｒ−ＲＴＳ＿Ｖａｌｕｅ ・・・（５）
なお、ＲＴＳ＿Ｖａｌｕｅに換えて、複数の候補値の最大値を用いてもよい。また、式（４）および式（５）における参照値は、上述したステップＳ８０３においてランダムノイズ量推定部３０２ｄによるランダムノイズ量を推定するための使用された参照値と異なる参照値方法により得られた参照値としてもよい。このように、代表値算出部３０２ｃは、注目画素のＲＴＳノイズと、この注目画素の近辺のランダムノイズを考慮した許容範囲を算出することができる。

その後、代表値算出部３０２ｃは、算出範囲内において注目画素以外のＲＡＷ画像の画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）の各々に対して、上述したステップＳ８０４で算出した許容範囲内であるか否かを判定し、この許容範囲内の画素値の個数をカウントする（ステップＳ８０５）。このステップＳ８０５で得られるカウント値は、平坦な被写体の場合ほど大きく、エッジを含む被写体の場合ほど小さくなる傾向がある。なお、算出範囲内においてＲＴＳノイズが発生している可能性がある画素は、カウントしないようにしても良い。

続いて、上述したステップＳ８０５でカウントしたカウント値が所定の値ＴｈＲｅｆより大きい場合（ステップＳ８０６：Ｙｅｓ）、第２画像処理装置３０は、後述するステップＳ８０９へ移行する。ここで、所定の値ＴｈＲｅｆは、代表値算出部３０２ｃが注目画素の周辺画素から代表値を算出するため、１以上とすることが好ましい。これに対して、上述したステップＳ８０５でカウントしたカウント値が所定の値ＴｈＲｅｆより大きくない場合（ステップＳ８０６：Ｎｏ）、第２画像処理装置３０は、後述するステップＳ８０７へ移行する。

ステップＳ８０７において、代表値算出の対象とする算出範囲が最大である場合（ステップＳ８０７：Ｙｅｓ）、第２画像処理装置３０は、後述するステップＳ８０９へ移行する。これに対して、代表値算出の対象とする算出範囲が最大でない場合（ステップＳ８０７：Ｎｏ）、第２画像処理装置３０は、後述するステップＳ８０８へ移行する。

ステップＳ８０８において、代表値算出部３０２ｃは、代表値を算出する算出範囲を拡大する（ステップＳ８０８）。具体的には、代表値算出部３０２ｃは、代表値算出の対象とする算出範囲を最大の範囲内に収まる範囲で、水平または垂直方向に１画素以上拡大する。例えば、代表値算出部３０２ｃは、算出範囲として注目画素を中心とした３×３の範囲を設定している場合、注目画素を中心とした５×５の範囲を算出範囲に設定し直す。ステップＳ８０８の後、第２画像処理装置３０は、ステップＳ８０２へ戻る。なお、ステップＳ８０８においては、代表値算出部３０２ｃは、３×３または５×５の範囲を算出範囲に設定していたが、例えば、水平または垂直だけ拡大し、５×３や３×５の範囲を算出範囲に設定するようにしても良い。

ステップＳ８０９において、代表値算出部３０２ｃは、代表値を算出する（ステップＳ８０９）。具体的には、代表値算出部３０２ｃは、まず、算出範囲内における注目画素以外のＲＡＷ画像の画素値に対して、許容範囲内（有効範囲内）に含まれている画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）を選択する。その後、代表値算出部３０２ｃは、選択した画素数が所定の値ＴｈＲｅｆ以上の場合、この選択した画素値の中央値を代表値として算出（決定）する。なお、代表値算出部３０２ｃは、選択した画素値の数が偶数の場合、注目画素のＲＡＷ画像における画素値に近い側の中央値を代表値として算出する。この場合、過補正を防止することができる。また、代表値算出部３０２ｃは、選択した画素数が所定の値ＴｈＲｅｆ未満の場合、注目画素のＲＡＷ画像における画素値に最も近い画素値を有する算出範囲内における注目画素以外のＲＡＷ画像の画素値を代表値とする。なお、代表値算出部３０２ｃは、中央値を用いて代表値を算出していたが、例えば平均や分布の中間値等の他の方法で算出するようにしてもよい。また、代表値算出部３０２ｃは、算出範囲内のエッジ方向判別を行い、このエッジ方向判別の結果に基づいて、最も相関の高い方向の周辺画素値を代表値として算出してもよい。さらに、代表値算出部３０２ｃは、注目画素以外の算出範囲内の画素においてＲＴＳノイズが発生している可能性がある画素は除外するようにしても良い。このとき、代表値算出部３０２ｃは、ステップＳ８０９が実行される時点での算出範囲内において、ＲＴＳノイズが発生している可能性がない画素が全くない場合には、注目画素の画素値を代表値とする。ステップＳ８０９の後、第２画像処理装置３０は、上述した図１３のメインルーチンへ戻る。

このように、代表値算出部３０２ｃは、上述した代表値算出処理において、注目画素の近傍を優先して代表値を算出する。さらに、代表値算出部３０２ｃは、エッジ等により代表値が変動しないように、ランダムノイズ量推定部３０２ｄが推定したランダムノイズ量に基づいて、注目画素の周辺画素の範囲を制限して、代表値を算出する。さらに、ＲＴＳノイズが発生している可能性がある近傍画素は除外して代表値を算出するようにしても良い。

図１３に戻り、ステップＳ７０５以降の説明を続ける。
ステップＳ７０５において、補正値算出部３０２ｅは、上述したステップＳ７０３で候補値算出部３０２ｂによって算出された複数の候補値と、上述したステップＳ７０４で代表値算出部３０２ｃによって算出された代表値とに基づいて、注目画素におけるＲＴＳノイズが補正されたＲＡＷ画素の画素値を算出する補正値算出処理を実行する。ステップＳ７０５の後、第２画像処理装置３０は、後述するステップＳ７０６へ移行する。

図１６は、図１３のステップＳ７０５の補正値算出処理の概要を示すフローチャートである。

図１６に示すように、まず、補正値算出部３０２ｅは、上述した図１４のステップＳ８０３でランダムノイズ量推定部３０２ｄによって推定されたランダムノイズ量（本実施の形態１では、標準偏差）と、上述した図１３のステップＳ７０３で候補値算出部３０２ｂによって算出された候補値の最大値とに基づいて、候補値の最大値が閾値以上であるか否かを判定する（ステップＳ９０１）。ここで、閾値は、以下の式（６）によって設定される。
ランダムノイズ量×Ｒｍ ・・・（６）
Ｒｍは、所定の係数である。なお、Ｒｍは、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるかに応じて決定される、例えば、Ｒｍの値は、２前後が好ましい。補正値算出部３０２ｅが候補値の最大値が閾値以上であると判定した場合（ステップＳ９０１：Ｙｅｓ）、第２画像処理装置３０は、後述するステップＳ９０２へ移行する。これに対して、補正値算出部３０２ｅが候補値の最大値が閾値以上でないと判定した場合（ステップＳ９０１：Ｎｏ）、第２画像処理装置３０は、後述するステップＳ９０３へ移行する。なお、補正値算出部３０２ｅは、候補値の最大値の代わりに注目画素のＲＴＳ＿Ｖａｌｕｅを用い、注目画素のＲＴＳ＿Ｖａｌｕｅと閾値を比較するようにしても良い。

ステップＳ９０２において、補正値算出部３０２ｅは、画素値を補正する。具体的には、補正値算出部３０２ｅは、まず、以下の式（７）によってΔを算出する。
Δ＝注目画素のＲＡＷ画像における画素値−代表値 ・・・（７）

次に、補正値算出部３０２ｅは、Δの絶対値と、上述した図１３のステップＳ７０３で候補値算出部３０２ｂが算出した１つ以上の候補値とを比較し、最もΔの絶対値に近い候補値を選択し、この候補値をδとする。なお、補正値算出部３０２ｅは、最もΔの絶対値に近い候補値が複数ある場合、過補正を防止するため、複数の候補値のうち最も小さい候補値をδとして選択する。

最後に、補正値算出部３０２ｅは、以下の式（８），（９）によって、注目画素のＲＡＷ画像における画素値を代表値方向にδだけ近づけて補正し、この補正した注目画素の画素値を画像処理部３０３へ出力する。
Δ＜０の場合
注目画素のＲＡＷ画像における画素値＋δ ・・・（８）
Δ≧０の場合
注目画素のＲＡＷ画像における画素値−δ ・・・（９）

ステップＳ９０２の後、第２画像処理装置３０は、図１５のメインルーチンへ戻る。なお、ステップＳ９０２において、補正値算出部３０２ｅは、Δを算出して複数の候補値の中から最も小さい候補値を選択していたが、注目画素のＲＡＷ画像における画素値に対して、複数の候補値の各々を個別に加算または減算した値を算出し、この算出により得られる複数の加算または減算した値の中で最も近い代表値を選択してもよい。また、ステップＳ９０２において、補正値算出部３０２ｅは、同じ結果が得られれば、別の演算および比較方を用いてもよい。さらにまた、補正値算出部３０２ｅは、補正された注目画素の画素値として、代表値を注目画素のＲＡＷ画像における画素値−ＲＴＳ＿Ｖａｌｕｅ以上、注目画素のＲＡＷ画像における画素値＋ＲＴＳ＿Ｖａｌｕｅ以下にクリップした値とすることと等価になる。

ステップＳ９０３において、補正値算出部３０２ｅは、注目画素のＲＡＷ画像における画素値をそのまま画像処理部３０３に出力する。ステップＳ９０３の後、第２画像処理装置３０は、図１５のメインルーチンへ戻る。

図１３に戻り、ステップＳ７０６以降の説明を続ける。
ステップＳ７０６において、ＲＴＳノイズ補正部３０２は、全ての画素に対して上述したステップＳ７０１〜ステップＳ７０５の処理が終了したか否かを判定する（ステップＳ７０６）。ＲＴＳノイズ補正部３０２が全ての画素に対して上述した処理が終了したと判定した場合（ステップＳ７０６：Ｙｅｓ）、第２画像処理装置３０は、本処理を終了する。これに対して、ＲＴＳノイズ補正部３０２が全ての画素に対して上述した処理が終了していないと判定した場合（ステップＳ７０６：Ｎｏ）、第２画像処理装置３０は、上述したステップＳ７０１へ戻る。

以上説明した本発明の実施の形態１によれば、画素値グループ作成部２０２ｂが読み出し回路（アンプ部１０５ｅ）ごとに分類して複数の画素値グループを作成することで暗時ＲＡＷ画像の枚数を増やすことなく高精度にＲＴＳノイズを検出することが可能になる。その結果、検出用の暗時ＲＡＷ画像を撮影する時間、および検出時に暗時ＲＡＷ画像を読み込む時間などを削減でき、ＲＴＳノイズの検出に必要な時間を短縮しながら高精度に、ＲＴＳノイズのような一定範囲内で画素値が変動する点滅欠陥ノイズを検出することができる。

また、本発明の実施の形態１によれば、ＲＴＳノイズ特徴量算出部２０２ｄがＲＴＳノイズの検出において、画素値グループ内の各値を絶対値に変換したヒストグラフを用いることで分布の精度を向上させ、また、分布の範囲を半分にすることができるため、フィッティングによる誤差算出における演算量を、絶対値を用いない場合の約半分に削減できる。よって、高速かつ高精度に、ＲＴＳノイズのような一定範囲内で画素値が変動するノイズを検出することができる。

さらに、本発明の実施の形態１によれば、ＲＴＳノイズの検出において、画素値グループ作成部２０２ｂが孤立点検出部２０２ａによって検出された孤立点と画素を除外しているため、孤立点の発生によりＲＴＳノイズを誤検出することを防止できる。よって、高精度に、ＲＴＳノイズのような一定範囲内で画素値が変動するノイズを検出することができる。

さらにまた、本発明の実施の形態１によれば、ＲＴＳノイズの検出において、画素値グループのノイズレベルを用い、ＲＴＳノイズが発生している可能性があるか判定するため、全ての画素値グループに対してフィッティング等によりＲＴＳノイズ特徴量を算出する必要が無いため、演算量を削減することができる。

また、本発明の実施の形態１によれば、ＲＴＳノイズ補正において、補正値算出部３０２ｅが候補値算出部３０２ｂによって算出された複数の候補値を用いることでＲＴＳ＿Ｖａｌｕｅ未満のＲＴＳノイズが発生した場合において過補正することなく、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

さらに、本発明の実施の形態１によれば、ＲＴＳノイズ補正において、ランダムノイズ量推定部３０２ｄが推定したランダムノイズ量に基づき、補正値算出部３０２ｅが適切な周辺画素から代表値を算出することで、注目画素がエッジ部近辺であってもエッジの影響を最小限に抑え、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

さらに、本発明の実施の形態１によれば、ＲＴＳノイズ補正において、ＲＴＳノイズがランダムノイズにまぎれて知覚できないような場合には、補正値算出部３０２ｅがＲＴＳノイズを補正する処理を行わないため、過補正することなく、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

（実施の形態１の変形例１）
本発明の実施の形態１の変形例１に係るＲＴＳノイズ特徴量算出部２０２ｄは、別の算出方法によって、ＲＴＳ＿Ｖａｌｕｅを算出することができる。具体的には、上述した図１１の絶対値ヒストグラフ（点滅欠陥ノイズのモデル）を、図１７に示すように３つの異なる特性を有する正規分布から成る混合正規分布とみなし、絶対値ヒストグラフと混合正規分布との差が最小となるような各正規分布の中央値、標準偏差と、３つの分布の割合を求め、分布２の中央値をＲＴＳ＿Ｖａｌｕｅとして算出してもよい。この場合、ＲＴＳノイズ特徴量算出部２０２ｄは、公知のＥＭアルゴリズム等を用いることによって、演算量を低減することができる。

（実施の形態１の変形例２）
本発明の実施の形態１の変形例２に係る候補値算出部３０２ｂは、別の候補値算出方法（候補値算出方法２）によって、ＲＴＳノイズを補正するための補正量の候補値を複数算出する（上述した図１３のステップＳ７０３）。

〔候補値算出方法２〕
候補値算出部３０２ｂは、注目画素に対応するＲＴＳ＿Ｖａｌｕｅに基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の値を所定の間隔で抜き出した値を候補値として算出する。例えば、平均ランダムノイズ量に基づく値として平均標準偏差を用いて、ＲＴＳ＿Ｖａｌｕｅ以下の平均標準偏差×ｒ×ｎ（ｎは０以上の整数）を候補値として算出する。ここで、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるからに応じて、ｒを決定する。ｒは２前後の値が好ましい。

また、候補値算出部３０２ｂは、ＲＴＳ＿Ｖａｌｕｅの最大値と、ハードウェア制限（メモリや回路規模等の制限）から決まる候補値の最大数Ｍａｘとに基づいて、ＲＴＳ＿Ｖａｌｕｅ以下のＲＴＳ＿Ｖａｌｕｅ最大値÷（Ｍａｘ−１）×ｎ（ｎは０以上Ｍａｘ−１以下の整数）を候補値として算出してもよい。

図１８は、候補値算出方法２におけるＲＴＳ＿Ｖａｌｕｅのヒストグラフと候補値との関係を示す図である。図１８に示すように、太線Ｌ１１は、ＲＴＳ＿Ｖａｌｕｅのヒストグラフの例を示す。最大数Ｍａｘが７の場合、点線で示した値が候補値となり得る値を示し、実際の候補値は、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ以下の点線で示した値である。

以上説明した本実施の形態１の変形例２によれば、候補値算出部３０２ｂがハードウェア制限を考慮しながら、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。これにより、撮像素子１０５で生じるＲＴＳノイズに対して効果的に補正することができる。

（実施の形態１の変形例３）
本発明の実施の形態１の変形例３に係る候補値算出部３０２ｂは、別の候補値算出方法（候補値算出方法３）によって、ＲＴＳノイズを補正するための補正量の候補値を複数算出する（上述した図１３のステップＳ７０３）。

〔候補値算出方法３〕
候補値算出部３０２ｂは、ハードウェア制限から決まる候補値の最大数Ｍａｘによって、ＲＴＳ＿Ｖａｌｕｅのヒストグラムの頻度を等分するように分割し、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ以下の値を候補値として算出する。

図１９は、候補値算出方法３におけるＲＴＳ＿Ｖａｌｕｅのヒストグラフと候補値との関係を示す図である。図１９に示すように、太線Ｌ１２は、ＲＴＳ＿Ｖａｌｕｅのヒストグラフの例を示す。点線で示した値が候補値となり得る値を示し、ＲＴＳ＿Ｖａｌｕｅのヒストグラムの頻度を等分する位置としている。実際の候補値は、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ以下の点線で示した値となる。

このように、本実施の形態１の変形例３によれば、候補値算出部３０２ｂがハードウェア制限を考慮しながら、ＲＴＳノイズの分布に考量してＲＴＳノイズを補正するための補正量の候補値を算出する。これにより、撮像素子１０５で生じる全てのＲＴＳノイズに対して効果的に精度よく補正することができる。

（実施の形態１の変形例４）
本発明の実施の形態１の変形例４に係る候補値算出部３０２ｂは、別の候補値算出方法（候補値算出方法４）によって、ＲＴＳノイズを補正するための補正量の候補値を複数算出する（上述した図１３のステップＳ７０３）。

〔候補値算出方法４〕
候補値算出部３０２ｂは、注目画素に対応するＲＴＳ＿Ｖａｌｕｅに基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の値を所定の間隔で抜き出した値を候補値として算出する。上述した候補値算出方法２や候補値算出方法３との差は、所定の間隔を画素値に応じて変更する点である。具体的には、候補値算出部３０２ｂは、ランダムノイズ量推定部３０２ｄが算出した注目画素または該注目画素の近傍のＲＡＷ画像における画素値に応じたランダムノイズ量（本実施の形態１の変形例４では標準偏差）に基づいて、注目画素に対応する候補値を算出する。より具体的には、候補値算出部３０２ｂは、注目画素のＲＡＷ画像における画素値、該注目画素の近傍（周辺）のＲＡＷ画像における画素値（カラーフィルタを用いた撮像素子１０５の場合には、注目画素と同色の画素値）の平均等に基づいて、ランダムノイズ量推定部３０２ｄが算出したランダムノイズを取得し、このランダムノイズ量を使用し、ＲＴＳ＿Ｖａｌｕｅ以下の標準偏差×ｒ×ｎ（ｎは０以上Ｍａｘ−１以下の整数）を候補値として算出する。

以上説明した本実施の形態１の変形例４によれば、候補値算出部３０２ｂがランダムノイズ量推定部３０２ｄによって算出された注目画素または該注目画素の近傍のＲＡＷ画像における画素値に応じたランダムノイズ量に基づいて、注目画素に対応する候補値を算出する。ランダムノイズにまぎれてしまうような細かな精度の補正を行うと演算量が増加する一方、その演算量の増加に見合う補正効果が得られない。しかしながら、本実施の形態１の変形例４の手法を用いることにより、ランダムノイズに紛れずに違和感があるようなレベルのＲＴＳノイズを、最小限の候補値の数で十分に補正することができる。

（実施の形態１の変形例５）
本発明の実施の形態１の変形例５に係る代表値算出部３０２ｃは、別の参照値算出方法（参照値算出方法２）によって、注目画素近傍で発生するＲＡＷ画像におけるランダムノイズ量を算出するための参照値を算出する（上述した図１４のステップＳ８０２）。

〔参照値算出方法２〕
代表値算出部３０２ｃは、算出範囲内のＲＡＷ画像における画素値（カラーフィルタを用いた撮像素子１０５の場合には注目画素と同色の画素値）の最大値、平均および中央値のいずれかを参照値として算出する。

以上説明した本実施の形態１の変形例５によれば、ＲＡＷ画像における画素値がＲＴＳノイズにより本来の画素値よりも小さい場合、代表値算出部３０２ｃが注目画素の周辺の画素値を使用して参照値を算出するため、ランダムノイズ量推定部３０２ｄが算出するランダムノイズ量が小さく算出されることを防止することができる。

（実施の形態１の変形例６）
本発明の実施の形態１の変形例６に係る代表値算出部３０２ｃは、別の参照値算出方法（参照値算出方法３）によって、注目画素近傍で発生するＲＡＷ画像におけるランダムノイズ量を算出するための参照値を算出する（上述した図１４のステップＳ８０２）。

〔参照値算出方法３〕
代表値算出部３０２ｃは、算出範囲内において、ＲＴＳノイズ画素判定部３０２ａにおいてＲＴＳノイズが発生していないと判定された画素のＲＡＷ画像における画素値（カラーフィルタを用いた撮像素子１０５の場合には注目画素と同色の画素値）の最大値、平均および中央値のいずれかを参照値として算出する。なお、代表値算出部３０２ｃは、ＲＴＳノイズ画素判定部３０２ａによって算出範囲内の全ての画素でＲＴＳノイズが発生していると判定された場合、上述した参照値算出方法１または参照値算出方法２を用いて算出する。

以上説明した本発明の実施の形態１の変形例６によれば、ＲＡＷ画像における画素値がＲＴＳノイズにより本来の画素値よりも小さい場合、代表値算出部３０２ｃが注目画素の周辺の画素値を使用して参照値を算出するため、ランダムノイズ量推定部３０２ｄが算出するランダムノイズ量が小さく算出されることを防止することができる。

（実施の形態１の変形例７）
本発明の実施の形態１の変形例７に係る代表値算出部３０２ｃは、別の参照値算出方法（参照値算出方法４）によって、注目画素近傍で発生するＲＡＷ画像におけるランダムノイズ量を算出するための参照値を算出する。

〔代表値算出方法４〕
代表値算出部３０２ｃは、代表値を用いてランダムノイズ量推定部３０２ｄでランダムノイズ量を算出し、参照値ではなく代表値に基づくランダムノイズ量を用いて上述したステップＳ９０１における閾値を決定する。

以上説明した本発明の実施の形態１の変形例７によれば、注目画素においてＲＴＳノイズが発生していた場合に、閾値が小さく算出されたり大きく算出されたりすることを防止することができる。

（実施の形態１の変形例８）
本発明の実施の形態１では、平均ランダムノイズ量算出部２０２ｃが複数の画素値グループの各々のランダムノイズ量と、ＲＴＳフラグがクリア状態に設定されている画素値グループ全ての平均ランダムノイズ量の平均とを算出していたが、複数の画素値グループの各々のランダムノイズ量と、複数の暗時ＲＡＷ画像においてＲＴＳフラグがクリア状態に設定されている画素値グループに対応する画素のランダムノイズ量を複数の暗時ＲＡＷ画像のランダムノイズ量として算出してもよい。この場合、ＲＴＳノイズ判定部２０２ｅは、平均ランダムノイズ量算出部２０２ｃが算出した複数の画素値グループの各々のランダムノイズ量と、平均ランダムノイズ量算出部２０２ｃが算出した複数の暗時ＲＡＷ画像のランダムノイズ量と、ＲＴＳノイズ特徴量算出部２０２ｄによって算出された特徴量と、に基づいて、複数の画素値グループの各々に対してＲＴＳノイズが発生するか否かを判定すればよい。これにより、より正確な複数の暗時ＲＡＷ画像のランダムノイズ量を算出することができる。この結果、ＲＴＳノイズが発生する画素値グループか否かをより正確に判定することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。上述した実施の形態１は、ＲＴＳノイズを検出する際にＲＴＳ＿Ｖａｌｕｅを記録し、この記録したＲＴＳ＿Ｖａｌｕｅに基づいて補正量の候補値を複数算出していた。これに対して、本実施の形態２では、ＲＴＳノイズの検出結果として、まず、画像全体で共通に使用する補正量の候補値となり得る全ての数を算出する。次に、ＲＴＳノイズが発生する共有画素ブロックにおいて、この補正量の候補値となり得る全ての数のうち、補正量の候補値として小さい方から使用して補正するとともに、補正量の候補値の数を記録する。具体的には、上述した実施の形態１の図１２のＲＴＳノイズ判定処理におけるステップＳ６０９および図１３のステップＳ７０３の各々の内容のみ異なる。このため、以下においては、本実施の形態２に係るステップＳ６０９およびステップＳ７０３について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。

図２０は、本実施の形態２に係る第１画像処理装置２０が実行するＲＴＳノイズ判定処理の概要を示すフローチャートである。図２０において、第１画像処理装置２０は、上述した実施の形態１に係るステップＳ６０９の処理に換えて、ステップＳ６０９ａの処理を行う。

ステップＳ６０９ａにおいて、ＲＴＳノイズ判定部２０２ｅは、まず、上述したステップＳ６０５で揮発メモリ１１１に一時的に記憶されたＲＴＳ＿Ｖａｌｕｅの最大値を算出する。

その後、ＲＴＳノイズ判定部２０２ｅは、候補値の最大数Ｍａｘに基づいて、下記の式（１０）でＣｎ（ｎは０以上Ｍａｘ未満の整数）を算出する。
Ｃｎ＝ＲＴＳ＿Ｖａｌｕｅの最大値÷（Ｍａｘ−１）×ｎ ・・・（１０）
ここで、ｎは、０以上Ｍａｘ未満の整数である。上述した図１８においては、式（１０）で算出されたＣｎが点線の位置に対応する。

続いて、ＲＴＳノイズ判定部２０２ｅは、共有画素ブロックの位置と対応続けられて揮発メモリ１１１に一時的に記憶されているＲＴＳ＿Ｖａｌｕｅに基づいて、ＲＴＳ＿Ｖａｌｕｅ以下のＣｎの個数をカウントする。この場合、ＲＴＳノイズ判定部２０２ｅは、Ｃ０（＝０）が必ず含まれるため、カウント値から除外してもよい、また、ＲＴＳノイズ判定部２０２ｅは、ＲＴＳ＿Ｖａｌｕｅを超える最小のＣｎまでの個数をカウントするようにしてもよい。

最後に、ＲＴＳノイズ判定部２０２ｅは、最大数Ｍａｘの数とＣｎの各々と、共有画素ブロックの位置情報と、カウント値（ＲＴＳノイズ補正値の候補値の数）とを対応付けたＲＴＳノイズ情報をＲＴＳノイズ情報記録部１１２ｂに記録する。なお、上述した以外にも、ＲＴＳノイズ判定部２０２ｅは、Ｃｎとして上述した図１９の点線で示すような値を用いてもよい。この場合、Ｃｎは、ＲＴＳ＿Ｖａｌｕｅのヒストグラムの頻度を最大数Ｍａｘ−１等分するような値となる。

図２１は、本実施の形態２に係る第２画像処理装置３０が実行する処理の概要を示すフローチャートである。図２１において、第２画像処理装置３０は、上述した実施の形態１に係るステップＳ７０３の処理に換えて、ステップＳ７０３ａの処理を行う。

ステップＳ７０３ａにおいて、候補値算出部３０２ｂは、不揮発メモリ１１２に記録されている最大数Ｍａｘの数とＣｎの各々を取得し、Ｃｎの小さい方から注目画素に対応する候補値の数分を補正量の候補値とする。なお、候補値算出部３０２ｂは、撮像制御部１１４が撮像素子１０５のカラムアンプ等に設定したアンプゲイン値がＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）で異なる場合、補正量の候補値を、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対して補正量の候補値を乗算した値に置き換えてもよい。また、候補値算出部３０２ｂは、予めアンプゲイン値毎の補正量の候補値を不揮発メモリ１１２に記録しておき、設定しているアンプゲイン値に応じた補正量の候補値を用いてもよい。また、候補値算出部３０２ｂは、候補値の数に０が含まれていない場合、Ｃ０と、Ｃ１以上の小さい方から候補値の数分を補正量の候補値とする。さらにまた、上述した実施の形態１においては、ＲＴＳ＿Ｖａｌｕｅを用いる処理があるが、本実施の形態２では、ＲＴＳ＿Ｖａｌｕｅが不揮発メモリ１１２に記録されていないため、ステップＳ７０３ａで算出された最大の候補値をＲＴＳ＿Ｖａｌｕｅとして以後の処理に用いることによって、上述した実施の形態１と同様の効果を得ることができる。

以上説明した本発明の実施の形態２によれば、ＲＴＳノイズの検出において、ＲＴＳ＿Ｖａｌｕｅの分布に基づきＲＴＳノイズ補正において補正量の候補値として取り得る値（Ｃｎ）をあらかじめ算出し、ＲＴＳ＿Ｖａｌｕｅに基づきＲＴＳノイズが発生する共有画素ブロックとＲＴＳノイズ補正において使用する候補値の数を対応づけて記録する。ＲＴＳノイズは、撮像素子１０５の欠陥により発生するため、個体差によりＲＴＳノイズの特性も異なる。上述した実施の形態１のようにＲＴＳ＿Ｖａｌｕｅを直接記録する場合には、個体差を加味して想定される最大値までのＲＴＳ＿Ｖａｌｕｅを記録するための領域（ＲＴＳ＿Ｖａｌｕｅの最大ビット数）を確保しておく必要がある。一方、本実施の形態２によれば、最大数Ｍａｘまでの値を記録できればよいため、想定外のＲＴＳノイズが発生する場合においても、適切な補正につながるような検出が可能になる。なお、想定外のＲＴＳノイズが発生する場合には、Ｃｎのみを変更すればよい。

また、本発明の実施の形態２によれば、ＲＴＳノイズ補正において、あらかじめ算出されたＣｎと、共有画素ブロックと対応づけられたＲＴＳ＿Ｖａｌｕｅに基づく値である候補値の数を用い、候補値の数だけＣｎから選択するのみでよいため、単純な処理、即ち少ない演算量で補正が可能になる。

なお、本発明の実施の形態２では、候補値算出部３０２ｂがＲＴＳノイズの検出結果に基づきＣｎを算出したが、ＲＴＳノイズの特性（特にＲＴＳ＿Ｖａｌｕｅのヒストグラム）の個体差が少ない場合、撮像素子１０５で発生し得るＲＴＳノイズの特性（例えば、平均的なＲＴＳ＿Ｖａｌｕｅのヒストグラム等）に基づき、あらかじめＣｎを算出（決定）しておくようにしても良い。これにより、個体毎（撮像素子１０５毎）にＣｎを算出する必要が無く、ＲＴＳノイズの検出における演算量を低減できる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。上述した実施の形態１は、ＲＴＳノイズ検出部２０２およびＲＴＳノイズ補正部３０２の各々が個別に設けられていたが、本実施の形態３では、撮像装置本体にＲＴＳノイズ検出部２０２およびＲＴＳノイズ補正部３０２を設ける。このため、以下においては、上述した実施の形態１に係る撮像システム１と同様の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図２２は、本発明の実施の形態３に係る撮像システム２の構成を模式的に示すブロック図である。図２２に示す撮像システム２は、本体部３と、本体部３に着脱自在に接続可能なレンズ部４と、を備える。

〔本体部の構成〕
本体部３は、シャッタ１０３と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、ＡＥ処理部１１６と、ＡＦ処理部１１７と、外部Ｉ／Ｆ部１１８と、表示部１１９と、ドライバ１２０と、ＲＴＳノイズ検出部２０２と、ＲＴＳノイズ補正部３０２と、を備える。ドライバ１２０は、撮像制御部１１４の制御のもと、シャッタ１０３を駆動する。

ＡＥ処理部１１６は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、この取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１６は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値、露光時間、ＩＳＯ感度等を決定することで撮像システム２の自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）を行う。

ＡＦ処理部１１７は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、取得した画像データに基づいて、撮像システム２の自動焦点の調整を行う。例えば、ＡＦ処理部１１７は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ(Ａｕｔｏ Ｆｏｃｕｓ)演算処理を行うことによって、撮像システム２の合焦評価を決定することで撮像システム２の自動焦点の調整を行う。なお、撮像システム２の自動焦点の調整方法は、撮像素子１０５で位相差信号を取得するものであってもよい。

外部Ｉ／Ｆ部１１８は、本体部３における各種ブロックにおけるデータの読み書きや、専用のコマンド等による制御などを行える。外部Ｉ／Ｆ部１１８は、ＦＰＧＡ、ＤＳＰまたはＧＰＵ等を搭載した専用の回路やパーソナルコンピュータ（ＰＣ）等の外部機器を接続することで、本体部３における各種ブロックを制御が可能なインターフェースである。

表示部１１９は、液晶または有機ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)等からなる表示パネルを用いて構成される。表示部１１９は、撮像素子１０５が生成した画像データに対応する画像を表示する。

〔レンズ部の構成〕
図２２に示すように、レンズ部４は、所定の視野領域から集光した被写体像を撮像素子１０５に結像する。光学系１０１と、絞り１０２と、ドライバ１０４と、を備える。

〔撮像システムの処理〕
次に、撮像システム２が実行する処理について説明する。図２３は、撮像システム２が実行する処理の概要を示すフローチャートである。

図２３に示すように、まず、ユーザによって操作部１０８の電源ボタン（図示せず）が操作されて、本体部３の電源がオンになると、撮像制御部１１４は、撮像システム２の初期化を行う（ステップＳ１００１）。具体的には、撮像制御部１１４は、動画の記録中を示す記録中フラグをオフ状態にする初期化を行う。この記録中フラグは、動画の撮影中にオン状態になり、動画を撮影していないときにオフ状態となるフラグであり、揮発メモリ１１１に記憶されている。

続いて、操作部１０８の動画ボタンが押された場合（ステップＳ１００２：Ｙｅｓ）、撮像制御部１１４は、オン状態で動画の記録中であることを示す記録中フラグを反転し（ステップＳ１００３）、撮像制御部１１４は、撮像システム２が動画記録中であるか否かを判断する（ステップＳ１００４）。具体的には、撮像制御部１１４は、揮発メモリ１１１に記憶された記録中フラグがオン状態であるか否かを判定する。撮像制御部１１４によって撮像システム２が動画記録中であると判断された場合（ステップＳ１００４：Ｙｅｓ）、撮像システム２は、後述するステップＳ１００５へ移行する。これに対して、撮像制御部１１４によって撮像システム２が動画記録中でないと判断された場合（ステップＳ１００４：Ｎｏ）、撮像システム２は、後述するステップＳ１００６へ移行する。

ステップＳ１００５において、撮像制御部１１４は、記録媒体１１０に画像データを時系列に沿って記録するための動画ファイルを生成する。ステップＳ１００５の後、撮像システム２は、後述するステップＳ１００６へ移行する。

ステップＳ１００２において、操作部１０８の動画ボタンが押されていない場合（ステップＳ１００２：Ｎｏ）、撮像システム２は、ステップＳ１００６へ移行する。

続いて、撮像制御部１１４は、撮像システム２が動画の記録中であるか否かを判断する（ステップＳ１００６）。撮像制御部１１４によって撮像システム２が動画の記録中であると判断された場合（ステップＳ１００６：Ｙｅｓ）、撮像システム２は、後述するステップＳ１０１７へ移行する。これに対して、撮像制御部１１４によって動画の記録中でないと判断された場合（ステップＳ１００６：Ｎｏ）、撮像システム２は、後述するステップＳ１００７へ移行する。

ステップＳ１００７において、操作部１０８の再生ボタンが押された場合（ステップＳ１００７：Ｙｅｓ）、撮像システム２は、記録媒体１１０に記録された画像データに対応する画像を表示部１１９に再生させて表示させる（ステップＳ１００８）。ステップＳ１００８の後、撮像システム２は、後述するステップＳ１００９へ移行する

ステップＳ１００７において、操作部１０８の再生ボタンが押されていない場合（ステップＳ１００７：Ｎｏ）、撮像システム２は、ステップＳ１００９へ移行する。

続いて、操作部１０８のメニューボタンが押された場合（ステップＳ１００９：Ｙｅｓ）、撮像システム２は、各種設定を行う設定処理を実行する（ステップＳ１０１０）。なお、設定処理の詳細は後述する。ステップＳ１０１０の後、撮像システム２は、後述するステップＳ１０１１へ移行する。

ステップＳ１００９において、操作部１０８のメニューボタンが押されていない場合（ステップＳ１０００９：Ｎｏ）、撮像システム２は、ステップＳ１０１１へ移行する。

ステップＳ１０１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移した場合（ステップＳ１０１１：Ｙｅｓ）、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理およびＡＦ処理部１１７にピントを調整するＡＦ処理それぞれを実行させる（ステップＳ１０１２）。その後、撮像システム２は、後述するステップＳ１０２４へ移行する。

ステップＳ１０１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移していない場合（ステップＳ１０１１：Ｎｏ）、撮像システム２は、ステップＳ１０１３へ移行する。

続いて、操作部１０８のレリーズボタンが２ｎｄ状態に遷移した場合（ステップＳ１０１３：Ｙｅｓ）、撮像制御部１１４は、メカシャッタによる撮影を実行する（ステップＳ１０１４）。具体的には、撮像制御部１１４は、シャッタ１０３を制御することによって、撮像素子１０５に撮影を実行させる。

続いて、撮像システム２は、撮像素子１０５が生成した画像データに対して、ＲＴＳノイズの補正を行った後に、所定の処理を行う画像処理を実行する（ステップＳ１０１５）。なお、画像処理の詳細は後述する。

その後、撮像制御部１１４は、画像処理部３０３が画像処理を施した画像データを記録媒体１１０に記録する（ステップＳ１０１６）。ステップＳ１０１６の後、撮像システム２は、後述するステップＳ１０２４へ移行する。

ステップＳ１０１３において、操作部１０８のレリーズボタンが２ｎｄ状態に遷移していない場合（ステップＳ１０１３：Ｎｏ）、撮像システム２は、ステップＳ１０１７へ移行する。

続いて、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理を実行させ（ステップＳ１０１７）、ＡＦ処理部１１７にピントを調整するＡＦ処理を実行させる（ステップＳ１０１８）。

その後、撮像制御部１１４は、ドライバ１２０を介して撮像素子１０５に露光時間を電子的に制御する、所謂、電子シャッタによる撮影を実行させる（ステップＳ１０１９）。電子シャッタによる撮影によって撮像素子１０５が生成した画像データは、アナログ処理部１０６およびＡ／Ｄ変換部１０７およびバス１１３を介して揮発メモリ１１１に出力される。

続いて、撮像システム２は、ステップＳ１０１５と同様の画像処理を実行する（ステップＳ１０２０）。なお、画像処理の詳細は後述する。

その後、撮像システム２は、電子シャッタによる撮影によって撮像素子１０５が生成した画像データに対応するライブビュー画像を表示部１１９に表示させる（ステップＳ１０２１）。

続いて、撮像システム２が動作記録中である場合（ステップＳ１０２２：Ｙｅｓ）、撮像制御部１１４は、画像データをステップＳ１０１０の設定処理により設定した記録形式で図示ない画像圧縮展開部に圧縮させ、この圧縮した画像データを記録媒体１１０に作成された動画ファイルに動画として記録させる（ステップＳ１０２３）。ステップＳ１０２３の後、撮像システム２は、ステップＳ１０２４へ移行する。

ステップＳ１０２２において、撮像システム２が動画記録中でない場合（ステップＳ１０２２：Ｎｏ）、撮像システム２は、ステップＳ１０２４へ移行する。

続いて、操作部１０８の電源ボタンが押されて撮像システム２の電源がオフ状態になった場合（ステップＳ１０２４：Ｙｅｓ）、撮像システム２は、本処理を終了する。これに対して、撮像システム２の電源がオフ状態になっていない場合（ステップＳ１０２４：Ｎｏ）、撮像システム２は、ステップＳ１００２へ戻る。

次に、図２３のステップＳ１０１０で説明した設定処理について説明する。図２４は、設定処理の概要を示すフローチャートである。

図２４に示すように、撮像システム２は、表示部１１９にメニューを表示させる（ステップＳ１０４１）。

続いて、操作部１０８の操作に応じてＲＴＳノイズの検出が選択された場合（ステップＳ１０４２：Ｙｅｓ）、ＲＴＳノイズ検出部２０２は、ＲＴＳノイズ検出処理を実行する（ステップＳ１０４３）。ここで、ＲＴＳノイズ検出処理は、上述した実施の形態１に係る第１画像処理装置２０が実行する処理に対応するため、説明を省略する。ステップＳ１０４３の後、撮像システム２は、ステップＳ１０４４へ移行する。

ステップＳ１０４２において、操作部１０８の操作に応じてＲＴＳノイズの検出が選択されていない場合（ステップＳ１０４２：Ｎｏ）、撮像システム２は、ステップＳ１０４４へ移行する。

続いて、操作部１０８のメニューボタンが押下された場合（ステップＳ１０４４：Ｙｅｓ）、撮像システム２は、図２３のメインルーチンへ戻る。これに対して、操作部１０８のメニューボタンが押下されていない場合（ステップＳ１０４４：Ｎｏ）、撮像システム２は、上述したステップＳ１０４２へ戻る。

次に、図２３のステップＳ１０１５およびステップＳ１０２０で説明した画像処理について説明する。図２５は、画像処理の概要を示すフローチャートである。

図２５に示すように、ＲＴＳノイズ補正部３０２は、撮像素子１０５が生成した画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行する（ステップＳ１０５１）。ここで、ＲＴＳノイズ補正処理は、上述した実施の形態１に係る第２画像処理装置３０が実行する処理に対応するため、説明を省略する。

続いて、画像処理部３０３は、ＲＴＳノイズ補正部３０２がＲＴＳノイズを補正した画像データに対して基本画像処理を実行する（ステップＳ１０５２）。ステップＳ１０５２の後、撮像システム２は、図２３のメインルーチンへ戻る。

以上説明した本発明の実施の形態３によれば、上述した実施の形態１と同様の効果を有する。

（実施の形態１〜３に係る変形例１）
上述した本発明の実施の形態１〜３では、複数の候補値を算出してＲＴＳノイズを補正した。この複数の候補値の数は、上記では特に限定していないが、実質的に異なる候補値の数が複数存在することを意味する。例えば、本発明の実施の形態１〜３において、ＲＴＳノイズ補正部３０２をハードウェアで実現する場合、複数の候補値の数は、固定である方が回路をシンプルに設計することができる。具体的には、上述の最大数Ｍａｘ分の複数の候補値を格納するメモリを用意し、複数の候補値の数がＭａｘ未満である場合には、同一の値を複数このメモリに設定するようにすれば良い。この場合、メモリに格納される候補値の数は、Ｍａｘであるが、実質的に異なる候補値の数がＭａｘ未満ということになる。例えば、上述した本発明の実施の形態２において、注目画素が含まれる共有ブロックのカウント値（０はカウントしないようにした場合）が２、Ｍａｘが７の場合には、
Ｃ０＝０
Ｃ１
Ｃ２
Ｃ２
Ｃ２
Ｃ２
Ｃ２
をメモリに設定するように回路を構成すればよい。

また、注目画素が含まれる共有ブロックのカウント値（０はカウントしないようにした場合）が６の場合には、
Ｃ０＝０
Ｃ１
Ｃ２
Ｃ３
Ｃ４
Ｃ５
Ｃ６
をメモリに設定するように回路を構成すればよい。

以上説明した本発明の実施の形態１〜３の変形例１によれば、カウント値に応じて選択する対象を変更することなく、回路としては常に固定数（上記例の場合、７個）の候補値から適切な補正量を選択するように実装することができる。

また、本発明の実施の形態１〜３の変形例１によれば、注目画素のＲＴＳ＿Ｖａｌｕｅの代わりに候補値の最大値を用いる場合も、上記の例では常に同じ位置（上記例の場合、７番目）の候補値を参照すればよい。

（実施の形態１〜３の変形例２）
上述した本発明の実施の形態１〜３において、ＲＴＳノイズ判定部２０２ｅがＲＴＳノイズ情報に対して優先順位を付けてＲＴＳノイズ情報記録部１１２ｂに記録してもよい。例えば、ＲＴＳノイズ判定部２０２ｅは、以下のような（Ａ）〜（Ｆ）のいずれかを用いて優先順位付けを行ってＲＴＳノイズ情報をＲＴＳノイズ情報記録部１１２ｂに記録する。
ラスタ順 ・・・（Ａ）
画像中央部に近い順 ・・・（Ｂ）
ＲＴＳ＿Ｖａｌｕｅの値が大きい順 ・・・（Ｃ）
補正量の候補数が大きい順 ・・・（Ｄ）
ＲＴＳノイズの発生頻度が高い順 ・・・（Ｅ）
ＲＴＳノイズの発生密度（密集度）が高い順・・・（Ｆ）
なお、優先順位の付け方は、１つに限定せず、上述した（Ａ）〜（Ｆ）を適宜組合せても良い。例えば、ＲＴＳノイズ判定部２０２ｅは、優先度を画像中央部に近い順（上述の（Ｂ））→ＲＴＳ＿Ｖａｌｕｅの値が大きい順（上述の（Ｃ））または補正量の候補数が大きい順（上述の（Ｄ））として、画像中央部からの距離が同じ場合には、ＲＴＳ＿Ｖａｌｕｅまたは補正量の候補数が大きいほうを優先してＲＴＳノイズ情報記録部１１２ｂに記録する。

以上説明した本発明の実施の形態１〜３の変形例２によれば、ＲＴＳノイズ情報記録部１１２ｂのメモリに記録できるＲＴＳノイズ情報の数に上限がある場合であっても、ＲＴＳノイズ判定部２０２ｅが使用状況によって目立ちやすいＲＴＳノイズを優先してＲＴＳノイズ情報記録部１１２ｂに記録する。これにより、使用状況によって目立ちやすいＲＴＳノイズを優先して補正ができる。

また、本発明の実施の形態１〜３の変形例２では、画像の拡大率の変更または表示位置の変更があらかじめ限定されている場合、ＲＴＳノイズ判定部２０２ｅが拡大率または表示位置に応じて優先順位を変更し、拡大率または表示位置と対応させてＲＴＳノイズ情報としてＲＴＳノイズ情報記録部１１２ｂに記録するようにしても良い。その場合、ＲＴＳノイズ補正部３０２は、設定されている拡大率または表示位置に応じ、対応したＲＴＳノイズ情報を読み込み、補正処理を行えば良い。

（その他の実施の形態）
本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

また、本発明は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１，２ 撮像システム
３ 本体部
４ レンズ部
１０ 撮像装置
２０ 第１画像処理装置
３０ 第２画像処理装置
４０ 表示装置
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４，１２０ ドライバ
１０５ 撮像素子
１０５ａ 画素
１０５ｂ 第１スイッチ
１０５ｃ 垂直転送線
１０５ｄ ＦＤ部
１０５ｅ アンプ部
１０５ｆ 第２スイッチ
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０８ 操作部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ プログラム記録部
１１２ｂ ＲＴＳノイズ情報記録部
１１２ｃ ランダムノイズモデル情報記録部
１１３ バス
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部
１１６ ＡＥ処理部
１１７ ＡＦ処理部
１１８ 外部Ｉ／Ｆ部
１１９ 表示部
２０１ 第２外部Ｉ／Ｆ部
２０２ ＲＴＳノイズ検出部
２０２ａ 孤立点検出部
２０２ｂ 画素値グループ作成部
２０２ｃ 平均ランダムノイズ量算出部
２０２ｄ ＲＴＳノイズ特徴量算出部
２０２ｅ ＲＴＳノイズ判定部
３０１ 第３外部Ｉ／Ｆ部
３０２ ＲＴＳノイズ補正部
３０２ａ ＲＴＳノイズ画素判定部
３０２ｂ 候補値算出部
３０２ｃ 代表値算出部
３０２ｄ ランダムノイズ量推定部
３０２ｅ 補正値算出部
３０３ 画像処理部

Claims (18)

1. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、
   前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得するノイズ情報取得部と、
   前記ノイズ情報取得部が取得したノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定部と、
   前記ノイズ画素判定部によって前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報取得部が取得した前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出部と、
   前記候補値算出部が算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正部と、
   を備えたことを特徴とする画像処理装置。
2. 前記注目画素における周辺画素の画素値から代表値を算出する代表値算出部をさらに備え、
   前記補正部は、
   前記注目画素の画素値、前記複数の候補値および前記代表値に基づいて、前記注目画素の画素値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、
   前記複数の候補値の中から、前記注目画素の画素値の補正結果が前記代表値に最も近くなるような候補値に基づいて、前記注目画素の画素値を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正部は、
   前記注目画素の画素値と前記代表値との差の絶対値に最も近い候補値を選択し、該候補値の値だけ前記代表値に近づけて前記注目画素の画素値を変更して補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記補正部は、
   前記注目画素の画素値に前記複数の候補値の各々を個別に加算または減算して得られる複数の演算結果の中で前記代表値に最も近い値を前記注目画素の画素値として補正することを特徴とする請求項３に記載の画像処理装置。
6. 前記代表値算出部は、
   前記注目画素の画素値と、該注目画素の画素値に応じて設定された前記注目画素および該注目画素の周辺画素で発生するランダムノイズ量の参照値と、に基づいて、画素値の有効範囲を算出し、該有効範囲内の画素値を有する前記周辺画素が有する画素値を用いて前記代表値を算出することを特徴とする請求項２〜５のいずれか一つに記載の画像処理装置。
7. 前記代表値算出部は、
   前記有効範囲内の画素値を有する前記周辺画素の数が所定数以下の場合、前記周辺画素の参照範囲を拡大することを特徴とする請求項６に記載の画像処理装置。
8. 前記代表値算出部は、
   前記有効範囲内の画素値の中央値を前記代表値として算出することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記特徴量は、
   前記点滅欠陥ノイズの振幅であり、
   前記候補値算出部は、
   前記点滅欠陥ノイズの振幅および該振幅より小さく０より大きい値を含む前記複数の候補値を算出することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記特徴量は、
    前記点滅欠陥ノイズを補正する補正値の候補数の数をさらに含み、
    前記候補値算出部は、前記補正値の候補数の数に基づいて、前記複数の候補値を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記注目画素の画素値に基づいて、前記注目画素および該注目画素の周辺画素で発生するランダムノイズ量を算出するランダムノイズ算出部をさらに備え、
    前記候補値算出部は、
    前記ランダムノイズ算出部が算出した前記ランダムノイズ量に応じて定まる前記点滅欠陥ノイズの振幅の間隔で、前記点滅欠陥ノイズの振幅以下の値を前記複数の候補値として算出することを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 前記候補値算出部は、
    予め設定されている複数の値から前記点滅欠陥ノイズの振幅以下の値を前記複数の候補値として算出することを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
13. 前記候補値算出部は、
    予め設定されている複数の値における絶対値の小さい方から順に、前記点滅欠陥ノイズの振幅に応じて決定される個数分を前記複数の候補値として算出することを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
14. 前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
15. 前記撮像素子は、前記複数の読み出し回路の各々が所定の画素数毎に前記信号を画素値として読み出すことを特徴とする請求項１〜１４のいずれか一つに記載の画像処理装置。
16. 前記画素値を前記読み出し回路毎に分類して作成された複数の画素値グループの各々の位置情報および前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量を検出するノイズ検出部をさらに備えたことを特徴とする請求項１〜１５のいずれか一つに記載の画像処理装置。
17. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理方法であって、
    前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、
    前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、
    前記取得ステップで取得した前記ノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定ステップと、
    前記ノイズ画素判定ステップで前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出ステップと、
    前記候補値算出ステップで算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正ステップと、
    を含むことを特徴とする画像処理方法。
18. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置に、
    前記画素値を前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、
    前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を取得する取得ステップと、
    前記取得ステップで取得した前記ノイズ情報に基づいて、注目画素において前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定ステップと、
    前記ノイズ画素判定ステップで前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出ステップと、
    前記候補値算出ステップで算出した前記複数の候補値に基づいて、前記注目画素の画素値を補正する補正ステップと、
    を実行させることを特徴とするプログラム。
    

Images