JP3206826U - 画像処理装置 - Google Patents

Abstract

【課題】ＲＴＳノイズのような一定範囲内で変動するノイズが発生する場合であっても、高画質な画像を得ることができる画像処理装置を提供する。【解決手段】画像処理装置３０は、ＲＴＳノイズ画素判定部３０２ａによって周辺画素の全てにおいて点滅欠陥ノイズが発生すると判定された場合、周辺画素の画素値の平均値を代表値として算出する一方、ＲＴＳノイズ画素判定部３０２ａによって周辺画素の少なくとも１つが点滅欠陥ノイズを発生しないと判定された場合、周辺画素の画素値における中央値を代表値として算出する代表値算出部３０２ｃと、注目画素の画素値、複数の候補値および代表値に基づいて、注目画素の画素値を補正する補正値算出部３０２ｅと、を備える。【選択図】図１

Description

本考案は、２次元状に配置された複数の画素を有する撮像素子に生じるＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズを補正する画像処理装置に関する。

近年、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子において、画素および該画素から信号を読み出す読み出し回路の微細化が進んでいる。このような微細化では、感度の低下および様々なノイズの増加が問題となっている。感度の低下に対しては、複数の画素を１つの読み出し回路で共有させて信号を読み出す共有画素構造をとることで、撮像素子における回路に必要な面積を削減し、各画素の開口率（受光部の割合）を増加させることによって、感度を向上させている。

一方、撮像素子で発生するノイズには、暗電流による暗電流ショットノイズおよび読み出し回路での熱雑音等に起因するランダムノイズ以外にも、画素値が常に異常値を示す欠陥画素、および画素値が撮像毎に変動する点滅欠陥ノイズ等がある。このような点滅欠陥ノイズの中には、読み出し回路に起因するＲＴＳ（Random Telegraph Signal）ノイズがある。このＲＴＳノイズを補正する技術として、撮影された画像における注目画素の画素値、該注目画素の周辺画素の画素値および予め撮像素子の画素毎に検出したＲＴＳノイズのノイズレベル（以下、「ＲＴＳノイズレベル」という）に基づいて、注目画素に対してＲＴＳノイズの影響があるか否かを判定し、ＲＴＳノイズの影響があると判定された場合、この注目画素の画素値に対してＲＴＳノイズレベルだけ加算または減算する技術が知られている（特許文献１参照）。

特開２０１２−１０５０６３号公報

ところで、ＲＴＳノイズは、一定範囲内で変動するため、上述した特許文献１のように、常に同じＲＴＳノイズレベルを注目画素の画素値に対して加算または減算するだけでは過補正が発生することによって、十分な画質を得ることができないという問題点があった。

本考案は、上記に鑑みてなされたものであって、ＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズが発生する場合であっても、高画質な画像を得ることができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本考案に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を記録するノイズ情報記録部と、前記ノイズ情報記録部が記録するノイズ情報に基づいて、注目画素に前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定部と、前記ノイズ画素判定部によって前記注目画素に前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報記録部が記録する前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出部と、前記注目画素における周辺画素の画素値から代表値を算出する代表値算出部と、前記注目画素の画素値、前記複数の候補値および前記代表値に基づいて、前記注目画素の画素値を補正する補正値算出部と、を備え、前記ノイズ画素判定部は、前記ノイズ情報記録部が記録するノイズ情報に基づいて、前記周辺画素の全てにおいて前記点滅欠陥ノイズが発生するか否かをさらに判定し、前記代表値算出部は、前記ノイズ画素判定部によって前記周辺画素の全てにおいて前記点滅欠陥ノイズが発生すると判定された場合、前記周辺画素の画素値の平均値を前記代表値として算出する一方、前記ノイズ画素判定部によって前記周辺画素の少なくとも１つが前記点滅欠陥ノイズを発生しないと判定された場合、前記周辺画素の画素値における中央値を前記代表値として算出することを特徴とする。

本考案によれば、ＲＴＳノイズのような一定範囲内で変動する点滅欠陥ノイズが発生する場合であっても、高画質な画像を得ることができるという効果を奏する。

図１は、本考案の一実施の形態に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本考案の一実施の形態に係る撮像素子の要部の構成を模式的に示す概略図である。 図３は、本考案の一実施の形態に係る撮像素子に光が当たらないように遮光した場合において、ＲＴＳノイズが発生しているときに、アンプ部から出力されるアンプ出力の変動を示す図である。 図４は、ＲＴＳノイズが発生しているアンプ部を用いて読み出された画素値の分布を示す図である。 図５は、本考案の一実施の形態に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図６は、図５の代表値算出処理の概要を示すフローチャートである。 図７は、ランダムノイズモデルの一例を示す図である。 図８は、図５の補正値算出処理の概要を示すフローチャートである。

以下、図面を参照して、本考案を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本考案が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

〔撮像システムの構成〕
図１は、本考案の一実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置３０と、表示装置４０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

光学系１０１は、複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。

シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。

ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が二次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。

ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されている。

図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する複数の第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を垂直方向に転送する垂直転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。

このように構成された撮像素子１０５は、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、アンプ部１０５ｅが複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。

図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしても良い。

操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力されるＲＡＷ画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１２は、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、第１外部Ｉ／Ｆ部１１５を介して入力される撮像素子１０５におけるＲＴＳノイズのＲＴＳノイズ位置情報を記録するＲＴＳノイズ情報記録部１１２ｂと、ランダムノイズモデルを記録するランダムノイズモデル情報記録部１１２ｃと、を有する。不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成される。

バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力した画像データに対し、アナログ処理部１０６およびＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記憶する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置３０に撮像素子１０５が生成した画像データを出力する。

〔画像処理装置の構成〕
次に、画像処理装置３０の構成について説明する。画像処理装置３０は、第２外部Ｉ／Ｆ部３０１と、ＲＴＳノイズ補正部３０２と、画像処理部３０３と、を備える。

第２外部Ｉ／Ｆ部３０１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データおよび不揮発メモリ１１２から出力されたＲＴＳノイズに関するＲＴＳノイズ情報を取得し、取得した画像データおよびＲＴＳノイズ情報をＲＴＳノイズ補正部３０２へ出力する。

ＲＴＳノイズ補正部３０２は、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＡＷ画像に対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、この補正を行ったＲＡＷ画像を画像処理部３０３へ出力する。ＲＴＳノイズ補正部３０２は、ＲＴＳノイズ画素判定部３０２ａと、候補値算出部３０２ｂと、代表値算出部３０２ｃと、ランダムノイズ量推定部３０２ｄと、補正値算出部３０２ｅと、を有する。

ＲＴＳノイズ画素判定部３０２ａは、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＴＳノイズ情報を、第２外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して取得し、取得したＲＡＷ画像上の画素においてＲＴＳノイズが発生するか否かを判定し、判定結果を候補値算出部３０２ｂおよび代表値算出部３０２ｃへ出力する。具体的には、ＲＴＳノイズ画素判定部３０２ａに対して画素の位置が入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているかを判定し、記録されていればＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。また、ＲＴＳノイズ画素判定部３０２ａは、ＲＴＳノイズ情報に基づいて、注目画素における周囲画素である算出範囲全ての画素でＲＴＳノイズの発生の可能性があるか否かを判定する。

候補値算出部３０２ｂは、注目画素のＲＡＷ画像における画素値と、ＲＴＳノイズ画素判定部３０２ａの判定結果とに基づいて、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素のＲＡＷ画像における画素値と、算出した複数の候補値を代表値算出部３０２ｃ、ランダムノイズ量推定部３０２ｄおよび補正値算出部３０２ｅそれぞれへ出力する。

代表値算出部３０２ｃは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部３０２ａによってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部３０２ｄが算出した注目画素に対応するランダムノイズ量の参照値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部３０２ｃは、注目画素のＲＡＷ画像における画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部３０２ｅへ出力する。また、代表値算出部３０２ｃは、ＲＴＳノイズ画素判定部３０２ａによって注目画素の周辺画素の全てにおいてＲＴＳノイズが発生すると判定された場合、注目画素における周囲画素である算出範囲全ての画素の画素値の平均値を算出し、この平均値を代表値として算出する一方、ＲＴＳノイズ画素判定部３０２ａによって注目画素の周辺画素の少なくとも１つがＲＴＳノイズを発生しないと判定された場合、注目画素の周辺画素の画素値における中央値を代表値として算出する。

ランダムノイズ量推定部３０２ｄは、撮像装置１０のランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を代表値算出部３０２ｃへ出力する。即ち、ランダムノイズ量推定部３０２ｄに対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。

補正値算出部３０２ｅは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部３０２ｂが算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部３０２ｅは、注目画素のＲＡＷ画像における画素値と、候補値算出部３０２ｂによって算出された複数の候補値と、代表値算出部３０２ｃによって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して、画像処理部３０３へ出力する。より具体的には、補正値算出部３０２ｅは、候補値算出部３０２ｂが算出した複数の候補値の中から、代表値算出部３０２ｃが算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正する。これに対して、補正値算出部３０２ｅは、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素のＲＡＷ画像における画素値をそのまま出力する。

画像処理部３０３は、ＲＴＳノイズ補正部３０２によってＲＴＳノイズが補正された画像データに対して、所定の画像処理を行って表示装置４０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部３０３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

〔表示装置の構成〕
次に、表示装置４０の構成について説明する。表示装置４０は、画像処理装置３０から入力される画像データに対応する画像を表示する。表示装置４０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、画像処理装置３０がＲＴＳノイズを補正し、表示装置４０が画像処理装置３０によって画像処理が施された画像データに対応する画像を表示する。

〔ＲＴＳノイズの発生原因と特性〕
次に、ＲＴＳノイズの発生原因とＲＴＳノイズの特性について説明する。
図３は、撮像素子１０５に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部１０５ｅから出力されるアンプ出力の変動を示す図である。図４は、ＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値の分布を示す図である。

ＲＴＳノイズは、アンプ部１０５ｅにおけるゲート酸化膜にトラップ準位が存在した場合、ランダムなタイミングで、このトラップ準位に電荷が捕獲されたり、放出されたりすることで発生する。このため、図３に示すように、ＲＴＳノイズが発生するアンプ部１０５ｅでは、アンプ出力Ｖが約Ｖｒｔｓの範囲でランダムに変動する。また、電位の変動は、一瞬で起こらず、わずかな時間τを要する。

一般に、撮像素子１０５では、画素１０５ａから読み出した画素値からノイズを低減するため、相関二重サンプリング処理（以下、「ＣＤＳ処理」という））が行われる。ＣＤＳ処理では、撮像制御部１１４が撮像素子１０５のリセットスイッチ（図示せず）をオンにして、ＦＤ部１０５ｄの電荷をリセットさせ、さらに、撮像制御部１１４が第２スイッチ１０５ｆをオンにして、リセット状態を作り、リセット状態の信号（基準信号）を読み出す（出力する）。次に、ＣＤＳ処理では、撮像制御部１１４が第１スイッチ１０５ｂ（または第１スイッチ１０５ｂ（１）〜１０５ｂ（８）のいずれか）のみをオンにして、画素１０５ａで発生した電荷をＦＤ部１０５ｄに転送し、さらに第２スイッチ１０５ｆをオンにした読み出し状態（出力状態）を作り、読み出し状態の信号を読み出す（出力する）。続いて、ＣＤＳ処理では、読み出し状態の信号からリセット状態の信号（基準信号）を減算することで得られる信号を画素値として変換する。

図３に示すように、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ１（リセット状態）およびタイミングｔｓ１（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ１およびタイミングｔｓ１それぞれのアンプ出力Ｖがほぼ同様であるため、主にランダムノイズによる影響を受け、読み出された画素値が図４に示す分布Ａのような０を中心とした分布となる。同様に、撮像素子１０５は、タイミングｔｒ２（リセット状態）とタイミングｔｓ２（読み出し状態）でも、タイミングｔｒ２およびタイミングｔｓ２それぞれのアンプ出力Ｖがほぼ同様であるため、読み出された画素値が図４に示す分布Ａのようになる。

一方、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ３（リセット状態）およびタイミングｔｓ３（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ３のアンプ出力と比べタイミングｔｓ３のアンプ出力が約Ｖｒｔｓ低いため、２つの信号の差をとると、アンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分マイナス方向にシフトし、読み出された画素値が−ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｂとなる。

これに対して、撮像素子１０５は、ＣＤＳ処理により、タイミングｔｒ４（リセット状態）およびタイミングｔｓ４（読み出し状態）それぞれの信号を読み出すと、タイミングｔｒ４のアンプ出力に比べてタイミングｔｓ４のアンプ出力が約Ｖｒｔｓ高いため、２つの信号の差をとるとアンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分プラス方向にシフトし、読み出された画素値がＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｃとなる。

ここで、図３のアンプ出力の変動は、時間τを要して生じるため、電位が変動している途中で信号を読み出す場合もある。この場合、リセット状態の読み出しタイミングおよび読み出し状態の読み出しタイミングの間で、アンプ出力差が−Ｖｒｔｓより大きく、Ｖｒｔｓより小さい。この結果、撮像素子１０５から読み出された画素値も、−ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さな値となる。時間τは、撮像素子１０５の条件（例えば温度や駆動電圧等）が一定であれば、ほぼ一定になると考えられるため、−ＲＴＳ＿Ｖａｌｕｅより大きくＲＴＳ＿Ｖａｌｕｅより小さな画素値が同様の確率で発生する。ここでは、これらの画素値の発生頻度をαｎｏｉｓｅと定義する。また、分布Ｂおよび分布Ｃの各々は、中央値のみ異なるが、それ以外は同様の分布となる。このため、以下においては、分布Ａに対する分布Ｂまたは分布Ｃの割合をαｒｔｓと定義する。このαｒｔｓは、アンプ部１０５ｅのアンプ出力の変動周期が短いほど、大きくなる。

このように、ＣＤＳ処理によりＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値は、図４のような分布となる。なお、撮像素子１０５に光が当たっている条件では、読み出し状態の電位が露光量に応じて変化する。しかしながら、ＲＴＳノイズによる電位の変化は、露光量によらず一定である。即ち、ＲＴＳノイズは、露光量に依存せず、−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下の範囲で正常な画素値に対してランダムに変動する特性を有する。なお、図４において、分布Ａ、分布Ｂ、分布Ｃを模式的に示したが、一般には正規分布となる。

また、ＲＴＳノイズは、読み出し回路（アンプ部１０５ｅ）に起因するノイズであるため、図２に示すように、複数の画素１０５ａの各々が１つの読み出し回路を共有している場合、全ての共有画素（画素１０５ａ（１）〜１０５ａ（８））において同様の特性のＲＴＳノイズが発生する。

また、図２に示した読み出し回路（アンプ部１０５ｅ）以外にも、撮像素子１０５の列方向で共有しているカラムアンプやソースフォロア等においても、ＲＴＳノイズが発生する場合がある。この場合、同じカラムアンプおよびソースフォロアを共有する列方向の全ての画素においても同様の特性のＲＴＳノイズが発生する。本実施の形態では、読み出し回路（アンプ部１０５ｅ）以外の回路で発したＲＴＳノイズにも適用することができる。

このようにＲＴＳノイズは、被写体を固定して同じ条件で撮影した場合、撮影により得られた画像の画素値が一定範囲内（−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下）で振幅（変動）するような点滅欠陥ノイズの一種となる。

〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図５は、画像処理装置３０が実行する処理の概要を示すフローチャートであり、画像処理装置３０が実行するメインルーチンのフローチャートである。

まず、ＲＴＳノイズ補正部３０２は、後述するステップＳ１０２〜ステップＳ１０５の処理を順次行うための注目画素を設定する（ステップＳ１０１）。なお、ＲＴＳノイズ補正部３０２は、ＲＡＷ画像における画素毎に左上から右下に向かってラスタ順に、０より大きい整数を１、２、３、・・・と順にインデックスとして割り当てる。次に、ＲＴＳノイズ補正部３０２は、ステップＳ１０１が実行される毎に、カウンタを１ずつ増加させる（図５の処理が開始される時点でカウンタは０にリセットする）。ＲＴＳノイズ補正部３０２は、カウンタが示しているインデックスが割り当てられている画素を注目画素として設定する。即ち、ＲＴＳノイズ補正部３０２によってステップＳ７０１が最初に実行されると、ＲＴＳノイズ補正部３０２が０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素が注目画素となる。ＲＴＳノイズ補正部３０２がステップＳ１０１の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素の右側の画素が注目画素となる。

続いて、ＲＴＳノイズ画素判定部３０２ａは、第２外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズ情報を取得し、取得したＲＴＳノイズ情報に基づいて、注目画素においてＲＴＳノイズが発生している可能性があるか否かを判定する（ステップＳ１０２）。即ち、ＲＴＳノイズ画素判定部３０２ａは、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれているか否か判定する。具体的には、ＲＴＳノイズ画素判定部３０２ａは、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズが発生する可能性がある共有ブロックとしてＲＴＳノイズ情報に含まれているか否かを判定する。ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生する可能性がありと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていると判定）された場合（ステップＳ１０２：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ１０３へ移行する。これに対して、ＲＴＳノイズ画素判定部３０２ａによって注目画素においてＲＴＳノイズが発生している可能がないと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていないと判定）された場合（ステップＳ１０２：Ｎｏ）、画像処理装置３０は、後述するステップＳ１０６へ移行する。この場合において、ＲＴＳノイズ画素判定部３０２ａは、注目画素においてＲＴＳノイズが発生している可能性がないと判定した場合、この注目画素のＲＡＷ画像における画素値をそのまま補正後の画素値として代表値算出部３０２ｃへ出力する。

ステップＳ１０３において、候補値算出部３０２ｂは、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。具体的には、候補値算出部３０２ｂは、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ（ＲＴＳノイズ画素判定部３０２ａから出力されるＲＴＳノイズに含まれるＲＴＳノイズ情報に含まれている）に基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値全て（ＲＡＷ画像として整数のみを取り得る場合、０以上ＲＴＳ＿Ｖａｌｕｅ以下の全ての整数）を候補値とする（候補値算出方法１）。なお、候補値算出部３０２ｂは、撮像制御部１１４によって撮像素子１０５のカラムアンプ等に設定されたアンプゲイン値が、ＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）とで異なる場合、ＲＴＳ＿Ｖａｌｕｅを、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対してＲＴＳ＿Ｖａｌｕｅを乗算した値に置き換えてもよい。また、候補値算出部３０２ｂは、予め設定しうるアンプゲイン値毎のＲＴＳ＿ＶａｌｕｅをＲＴＳノイズ情報に持たせ、この設定しているアンプゲイン値に応じたＲＴＳ＿Ｖａｌｕｅを用いてもよい。

続いて、代表値算出部３０２ｃは、注目画素周辺のＲＡＷ画像の画素値に基づいて、代表値（注目画素において、ＲＴＳノイズが発生していない場合において予測されるＲＡＷ画像の画素値）を算出する代表値算出処理を実行する（ステップＳ１０４）。ステップＳ１０４の後、画像処理装置３０は、後述するステップＳ１０５へ移行する。

〔代表値算出処理〕
図６は、図５のステップＳ１０４の代表値算出処理の概要を示すフローチャートである。

図６に示すように、まず、代表値算出部３０２ｃは、注目画素を基準に、代表値算出の対象とする最小の算出範囲を設定する（ステップＳ２０１）。具体的には、代表値算出部３０２ｃは、例えば注目画素を中心として対象の範囲で最大７×７の範囲を算出範囲とする場合、７×７以下の最小の範囲である３×３を最小の算出範囲として設定する。

続いて、代表値算出部３０２ｃは、注目画素近傍で発生するＲＡＷ画像におけるランダムノイズ量を算出するための参照値を算出する（ステップＳ２０２）。具体的には、代表値算出部３０２ｃは、注目画素のＲＡＷ画像における画素値を参照値として算出する（参照値参照方法１）。

その後、ランダムノイズ量推定部３０２ｄは、第２外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して不揮発メモリ１１２に記録されているランダムノイズモデルを取得し、注目画素の画素値または注目画素の近傍のＲＡＷ画像における参照値に応じたランダムノイズ量を算出する（ステップＳ２０３）。

図７は、ランダムノイズモデルの一例を示す図である。図７において、縦軸がノイズ量を示し、横軸が画素値を示す。なお、図７においては、縦軸のランダムノイズ量として画素値の標準偏差を用い、撮像素子１０５の特性に応じたランダムノイズモデルを示す。

図７の曲線Ｌ１０に示すように、撮像素子１０５におけるランダムノイズ量は、画素値が大きくなるに従って増加する。このため、本実施の形態１におけるランダムノイズ量推定部３０２ｄは、図７の曲線Ｌ１０のランダムノイズモデルに基づいて、ランダムノイズ量を算出する（標準偏差を算出する）。なお、図７に示した曲線以外にも、ランダムノイズモデルを近似式や折れ線で近似した特性であってもよい。

続いて、代表値算出部３０２ｃは、算出範囲内のＲＡＷ画素の画素値に基づいて、代表値算出に使用可能な画素値の範囲である許容範囲（有効範囲）を算出する（ステップＳ２０４）。具体的には、代表値算出部３０２ｃは、許容範囲（有効範囲）の上限を以下の式（１）によって算出する。
参照値＋ランダムノイズ量（標準偏差）×Ｒ＋ＲＴＳ＿Ｖａｌｕｅ ・・・（１）
ここで、Ｒは、所定の係数であり、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度把握できるかに応じて設定する。例えばＲの係数としては、２前後の値が好ましい。また、代表値算出部３０２ｃは、許容範囲の下限を以下の式（２）によって算出する。
参照値−ランダムノイズ量（標準偏差）×Ｒ−ＲＴＳ＿Ｖａｌｕｅ ・・・（２）
なお、ＲＴＳ＿Ｖａｌｕｅに換えて、複数の候補値の最大値を用いてもよい。また、式（１）および式（２）における参照値は、上述したステップＳ２０３においてランダムノイズ量推定部３０２ｄによるランダムノイズ量を推定するために使用された参照値と異なる参照値算出方法により得られた参照値としてもよい。このように、代表値算出部３０２ｃは、注目画素のＲＴＳノイズと、この注目画素の近辺のランダムノイズを考慮した許容範囲を算出することができる。

その後、代表値算出部３０２ｃは、算出範囲内において注目画素以外のＲＡＷ画像の画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）の各々に対して、上述したステップＳ２０４で算出した許容範囲内であるか否かを判定し、この許容範囲内の画素値の個数をカウントする（ステップＳ２０５）。このステップＳ２０５で得られるカウント値は、平坦な被写体の場合ほど大きく、エッジを含む被写体の場合ほど小さくなる傾向がある。なお、算出範囲内においてＲＴＳノイズが発生している可能性がある画素は、カウントしないようにしても良い。

続いて、上述したステップＳ２０５でカウントしたカウント値が所定の値ＴｈＲｅｆより大きい場合（ステップＳ２０６：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ２０９へ移行する。ここで、所定の値ＴｈＲｅｆは、代表値算出部３０２ｃが注目画素の周辺画素から代表値を算出するため、１以上とすることが好ましい。これに対して、上述したステップＳ２０５でカウントしたカウント値が所定の値ＴｈＲｅｆより大きくない場合（ステップ２０６：Ｎｏ）、画像処理装置３０は、後述するステップＳ２０７へ移行する。

ステップＳ２０７において、代表値算出の対象とする算出範囲が最大である場合（ステップＳ２０７：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ２０９へ移行する。これに対して、代表値算出の対象とする算出範囲が最大でない場合（ステップＳ２０７：Ｎｏ）、画像処理装置３０は、後述するステップＳ２０８へ移行する。

ステップＳ２０８において、代表値算出部３０２ｃは、代表値を算出する算出範囲を拡大する。具体的には、代表値算出部３０２ｃは、代表値算出の対象とする算出範囲を最大の範囲内に収まる範囲で、水平または垂直方向に１画素以上拡大する。例えば、代表値算出部３０２ｃは、算出範囲として注目画素を中心とした３×３の範囲を設定している場合、注目画素を中心とした５×５の範囲を算出範囲に設定し直す。ステップＳ２０８の後、画像処理装置３０は、ステップＳ２０２へ戻る。なお、ステップＳ２０８においては、代表値算出部３０２ｃは、３×３または５×５の範囲を算出範囲に設定していたが、例えば、水平または垂直だけ拡大し、５×３や３×５の範囲を算出範囲に設定するようにしても良い。

続いて、ＲＴＳノイズ画像判定部３０２ａは、ＲＴＳノイズ情報に基づいて、注目画素における周囲画素である算出範囲全ての画素でＲＴＳノイズの発生の可能性があるか否かを判定する（ステップＳ２０９）。ＲＴＳノイズ画像判定部３０２ａによって注目画素における周囲画素である算出範囲全ての画素でＲＴＳノイズの発生の可能性があると判定された場合（ステップＳ２０９：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ２１０へ移行する。これに対して、ＲＴＳノイズ画像判定部３０２ａによって注目画素における周囲画素である算出範囲全ての画素でＲＴＳノイズの発生の可能性がないと判定された場合（ステップＳ２０９：Ｎｏ）、画像処理装置３０は、後述するステップＳ２１１へ移行する。

ステップＳ２１０において、代表値算出部３０２ｃは、注目画素における周囲画素である算出範囲全ての画素の画素値の平均値を算出し、この平均値を代表値として算出（決定）する。ステップＳ２１０の後、画像処理装置３０は、上述した図５のメインルーチンへ戻る。

ステップＳ２１１において、代表値算出部３０２ｃは、代表値を算出する。具体的には、代表値算出部３０２ｃは、まず、算出範囲内における注目画素以外のＲＡＷ画像の画素値に対して、許容範囲内（有効範囲内）に含まれている画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）を選択する。その後、代表値算出部３０２ｃは、選択した画素数が所定の値ＴｈＲｅｆ以上の場合、この選択した画素値の中央値を代表値として算出（決定）する。なお、代表値算出部３０２ｃは、選択した画素値の数が偶数の場合、注目画素のＲＡＷ画像における画素値に近い側の中央値を代表値として算出する。この場合、過補正を防止することができる。また、代表値算出部３０２ｃは、選択した画素数が所定の値ＴｈＲｅｆ未満の場合、注目画素のＲＡＷ画像における画素値に最も近い画素値を有する算出範囲内における注目画素以外のＲＡＷ画像の画素値を代表値とする。なお、代表値算出部３０２ｃは、中央値を用いて代表値を算出していたが、例えば平均や分布の中間値等の他の方法で算出するようにしてもよい。また、代表値算出部３０２ｃは、算出範囲内のエッジ方向判別を行い、このエッジ方向判別の結果に基づいて、最も相関の高い方向の周辺画素値を代表値として算出してもよい。さらに、代表値算出部３０２ｃは、注目画素以外の算出範囲内の画素においてＲＴＳノイズが発生している可能性がある画素は除外するようにしても良い。このとき、代表値算出部３０２ｃは、ステップＳ２１１が実行される時点での算出範囲内において、ＲＴＳノイズが発生している可能性がない画素が全くない場合には、注目画素の画素値を代表値とする。ステップＳ２１１の後、画像処理装置３０は、上述した図５のメインルーチンへ戻る。

このように、代表値算出部３０２ｃは、上述した代表値算出処理において、注目画素の近傍を優先して代表値を算出する。さらに、代表値算出部３０２ｃは、エッジ等により代表値が変動しないように、ランダムノイズ量推定部３０２ｄが推定したランダムノイズ量に基づいて、注目画素の周辺画素の範囲を制限して、代表値を算出する。さらに、ＲＴＳノイズが発生している可能性がある近傍画素は除外して代表値を算出するようにしても良い。

図５に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、補正値算出部３０２ｅは、上述したステップＳ１０３で候補値算出部３０２ｂによって算出された複数の候補値と、上述したステップＳ１０４で代表値算出部３０２ｃによって算出された代表値とに基づいて、注目画素におけるＲＴＳノイズが補正されたＲＡＷ画素の画素値を算出する補正値算出処理を実行する。ステップＳ１０５の後、画像処理装置３０は、後述するステップＳ１０６へ移行する。

〔補正値算出処理〕
図８は、図５のステップＳ１０５の補正値算出処理の概要を示すフローチャートである。

図８に示すように、まず、補正値算出部３０２ｅは、上述した図６のステップＳ２０３でランダムノイズ量推定部３０２ｄによって推定されたランダムノイズ量（本実施の形態では、標準偏差）と、上述した図５のステップＳ１０３で候補値算出部３０２ｂによって算出された候補値の最大値とに基づいて、候補値の最大値が閾値以上であるか否かを判定する（ステップＳ３０１）。ここで、閾値は、以下の式（３）によって設定される。
ランダムノイズ量×Ｒｍ ・・・（３）
Ｒｍは、所定の係数である。なお、Ｒｍは、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるかに応じて決定される、例えば、Ｒｍの値は、２前後が好ましい。補正値算出部３０２ｅが候補値の最大値が閾値以上であると判定した場合（ステップＳ３０１：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ３０２へ移行する。これに対して、補正値算出部３０２ｅが候補値の最大値が閾値以上でないと判定した場合（ステップＳ３０１：Ｎｏ）、画像処理装置３０は、後述するステップＳ３０３へ移行する。なお、補正値算出部３０２ｅは、候補値の最大値の代わりに注目画素のＲＴＳ＿Ｖａｌｕｅを用いて、注目画素のＲＴＳ＿Ｖａｌｕｅと閾値を比較するようにしても良い。

ステップＳ３０２において、補正値算出部３０２ｅは、画素値を補正する。具体的には、補正値算出部３０２ｅは、まず、以下の式（４）によってΔを算出する。
Δ＝注目画素のＲＡＷ画像における画素値−代表値 ・・・（４）

次に、補正値算出部３０２ｅは、Δの絶対値と、上述した図５のステップＳ１０３で候補値算出部３０２ｂが算出した１つ以上の候補値とを比較し、最もΔの絶対値に近い候補値を選択し、この候補値をδとする。なお、補正値算出部３０２ｅは、最もΔの絶対値に近い候補値が複数ある場合、過補正を防止するため、複数の候補値のうち最も小さい候補値をδとして選択する。

最後に、補正値算出部３０２ｅは、以下の式（５），（６）によって、注目画素のＲＡＷ画像における画素値を代表値方向にδだけ近づけて補正し、この補正した注目画素の画素値を画像処理部３０３へ出力する。
Δ＜０の場合
注目画素のＲＡＷ画像における画素値＋δ ・・・（５）
Δ≧０の場合
注目画素のＲＡＷ画像における画素値−δ ・・・（６）

ステップＳ３０２の後、画像処理装置３０は、図５のメインルーチンへ戻る。なお、ステップＳ３０２において、補正値算出部３０２ｅは、Δを算出して複数の候補値の中から最も小さい候補値を選択していたが、注目画素のＲＡＷ画像における画素値に対して、複数の候補値の各々を個別に加算または減算した値を算出し、この算出により得られる複数の加算または減算した値の中で最も近い代表値を選択してもよい。また、ステップＳ３０２において、補正値算出部３０２ｅは、同じ結果が得られれば、別の演算および比較方法を用いてもよい。さらにまた、補正値算出部３０２ｅは、補正された注目画素の画素値として、代表値を注目画素のＲＡＷ画像における画素値−ＲＴＳ＿Ｖａｌｕｅ以上、注目画素のＲＡＷ画像における画素値＋ＲＴＳ＿Ｖａｌｕｅ以下にクリップした値とすることと等価になる。

ステップＳ３０３において、補正値算出部３０２ｅは、注目画素のＲＡＷ画像における画素値をそのまま画像処理部３０３に出力する。ステップＳ３０３の後、画像処理装置３０は、図５のメインルーチンへ戻る。

図５に戻り、ステップＳ１０６以降の説明を続ける。
ステップＳ１０６において、ＲＴＳノイズ補正部３０２は、全ての画素に対して上述したステップＳ１０１〜ステップＳ１０５の処理が終了したか否かを判定する（ステップＳ１０６）。ＲＴＳノイズ補正部３０２が全ての画素に対して上述した処理が終了したと判定した場合（ステップＳ１０６：Ｙｅｓ）、画像処理装置３０は、本処理を終了する。これに対して、ＲＴＳノイズ補正部３０２が全ての画素に対して上述した処理が終了していないと判定した場合（ステップＳ１０６：Ｎｏ）、画像処理装置３０は、上述したステップＳ１０１へ戻る。

以上説明した本考案の一実施の形態によれば、ＲＴＳノイズ補正において、補正値算出部３０２ｅが候補値算出部３０２ｂによって算出された複数の候補値を用いることでＲＴＳ＿Ｖａｌｕｅ未満のＲＴＳノイズが発生した場合において過補正することなく、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

また、本考案の一実施の形態によれば、ＲＴＳノイズ補正において、ランダムノイズ量推定部３０２ｄが推定したランダムノイズ量に基づき、補正値算出部３０２ｅが適切な周辺画素から代表値を算出することで、注目画素がエッジ部近辺であってもエッジの影響を最小限に抑え、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

さらに、本本考案の一実施の形態によれば、ＲＴＳノイズ補正において、ＲＴＳノイズがランダムノイズにまぎれて知覚できないような場合には、補正値算出部３０２ｅがＲＴＳノイズを補正する処理を行わないため、過補正することなく、適切にＲＴＳノイズのような一定範囲内で画素値が変動するノイズを補正することができる。

（その他の実施の形態）
本考案は上述した実施形態に限定されるものではなく、本考案の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本考案の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

また、本考案は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本考案は、上述した実施の形態そのままに限定されるものではなく、実施段階では、考案の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の考案を形成することができる。例えば、上述した実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、考案の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１ 撮像システム
１０ 撮像装置
３０ 画像処理装置
４０ 表示装置
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４ ドライバ
１０５ 撮像素子
１０５ａ 画素
１０５ｂ 第１スイッチ
１０５ｃ 垂直転送線
１０５ｄ ＦＤ部
１０５ｅ アンプ部
１０５ｆ 第２スイッチ
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０８ 操作部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ プログラム記録部
１１２ｂ ＲＴＳノイズ情報記録部
１１２ｃ ランダムノイズモデル情報記録部
１１３ バス
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部
３０１ 第２外部Ｉ／Ｆ部
３０２ ＲＴＳノイズ補正部
３０２ａ ＲＴＳノイズ画素判定部
３０２ｂ 候補値算出部
３０２ｃ 代表値算出部
３０２ｄ ランダムノイズ量推定部
３０２ｅ 補正値算出部
３０３ 画像処理部

Claims (1)

1. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した複数の画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、
   前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と、前記読み出し回路に起因する点滅欠陥ノイズに関する特徴量と、を対応付けたノイズ情報を記録するノイズ情報記録部と、
   前記ノイズ情報記録部が記録するノイズ情報に基づいて、注目画素に前記点滅欠陥ノイズが発生するか否かを判定するノイズ画素判定部と、
   前記ノイズ画素判定部によって前記注目画素に前記点滅欠陥ノイズが発生すると判定された場合、前記ノイズ情報記録部が記録する前記ノイズ情報と前記注目画素の画素値とに基づいて、前記点滅欠陥ノイズを補正する補正量を示す複数の候補値を算出する候補値算出部と、
   前記注目画素における周辺画素の画素値から代表値を算出する代表値算出部と、
   前記注目画素の画素値、前記複数の候補値および前記代表値に基づいて、前記注目画素の画素値を補正する補正値算出部と、
   を備え、
   前記ノイズ画素判定部は、前記ノイズ情報記録部が記録するノイズ情報に基づいて、前記周辺画素の全てにおいて前記点滅欠陥ノイズが発生するか否かをさらに判定し、
   前記代表値算出部は、前記ノイズ画素判定部によって前記周辺画素の全てにおいて前記点滅欠陥ノイズが発生すると判定された場合、前記周辺画素の画素値の平均値を前記代表値として算出する一方、前記ノイズ画素判定部によって前記周辺画素の少なくとも１つが前記点滅欠陥ノイズを発生しないと判定された場合、前記周辺画素の画素値における中央値を前記代表値として算出することを特徴とする画像処理装置。

Images