JP6516830B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、２次元状に配置された複数の画素を有する撮像素子に生じるＲＴＳノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズが発生する画像データに対して、方向判別を行う画像処理装置、画像処理方法およびプログラムに関する。

近年、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子によって生成された画像データに発生するノイズを低減するため、画像データに対応する画像における注目画素の画素値と該注目画素の周囲の周囲画素の画素値とに基づいて、エッジの方向を判別し、この判別結果を用いてノイズ低減処理を行うことによってノイズを低減する技術が知られている（特許文献１参照）。

特開２０１４−２２５７８７号公報

しかしながら、上述した特許文献１では、画像データにＲＴＳ（Random Telegraph Signal）ノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズが発生している場合、画素値が点滅欠陥ノイズレベルの範囲で変動するため、エッジの方向判別を正確に行うことができないという問題点があった。この結果、上述した特許文献１では、エッジの方向を誤判定してしまうことで、画像データに発生するノイズを低減することができず、画質が著しく低下してしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、ＲＴＳノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズが発生している画像データに対して、方向判別を正確に行うことができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置であって、前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報を含むノイズ情報を取得する取得部と、前記取得部が取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別部と、前記方向判別部の判別結果に基づいて、前記画像データに対して画像処理を行う画像処理部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ情報は、前記位置情報と、前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量と、を対応付けた情報を含むことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記方向判別部は、前記特徴量、前記注目画素の画素値および前記周辺画素の画素値に基づいて、前記方向を判別することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記方向判別部は、前記注目画素の画素値、前記注目画素の画素値に前記特徴量を加算した値および前記注目画素の画素値から前記特徴量を減算した値のいずれか一つの値を用いて前記方向を判別することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記方向判別部は、前記画像に対して前記注目画素における各方向の相関を判別する場合において、前記注目画素または前記周辺画素から基準画素を決定し、該基準画素に前記点滅欠陥ノイズが発生する可能性があるとき、前記特徴量を用いて前記基準画素以外の画素の画素値を補正して前記方向を判別することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記方向判別部は、前記位置情報に基づいて、前記点滅欠陥ノイズが発生する可能性がある画素を除外して前記方向を判別することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像処理部は、前記方向判別部が判別した前記方向の画素の画素値の相関が高くなるように前記注目画素の画素値におけるノイズを除去する画像処理を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像処理部は、前記方向判別部が判別した前記方向の画素の画素値の相関が高くなるように前記注目画素の画素値における前記点滅欠陥ノイズを除去する画像処理を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ情報は、前記撮像素子における孤立点の孤立点位置情報をさらに含み、前記画像処理部は、前記孤立点位置情報に基づいて、前記方向における前記孤立点を除外して前記点滅欠陥ノイズを除去する画像処理を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像処理部は、前記方向判別部が判別した前記方向における画素の画素値を用いて前記孤立点の画素値を補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像処理部は、前記方向判別部が判別した前記方向をエッジとして推定して前記注目画素の画素値を補間する画像処理を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像処理部は、前記方向判別部の判別結果に基づいて、前記画像データの同時化処理を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記点滅欠陥ノイズのノイズレベルおよび前記ノイズレベルに基づき算出された値のいずれかであることを特徴とする。

また、本発明に係る画像処理方法は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置が実行する画像処理方法であって、前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報を含むノイズ情報を取得する取得ステップと、前記取得ステップにおいて取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別ステップと、前記方向判別ステップの判別結果に基づいて、前記画像データに対して画像処理を行う画像処理ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置に、前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報を含むノイズ情報を取得する取得ステップと、前記取得ステップにおいて取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別ステップと、前記方向判別ステップの判別結果に基づいて、前記画像データに対して画像処理を行う画像処理ステップと、を実行させることを特徴とする。

本発明によれば、ＲＴＳノイズのような所定の範囲でランダムに値が変動する点滅欠陥ノイズが発生している画像データに対して、エッジの方向判別を正確に行うことができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像システムの撮像素子の要部の構成を模式的に示す概略図である。 図３は、図１に示す方向判別部の機能構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像システムの撮像素子に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部から出力されるアンプ出力の変動の例を示す図である。 図５は、ＲＴＳノイズが発生するアンプ部を用いて読み出された画素値の分布の例を示す図である。 図６は、本発明の実施の形態１に係る方向判別部が実行する処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１に係る撮像システムの撮像素子の画素配列を模式的に示す図である。 図８Ａは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｂは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｃは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｄは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｅは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｆは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｇは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図８Ｈは、本発明の実施の形態１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図９は、本発明の実施の形態１の変形例１に係る撮像素子の画素配列を模式的に示す図である。 図１０Ａは、本発明の実施の形態１の変形例１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図１０Ｂは、本発明の実施の形態１の変形例１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図１０Ｃは、本発明の実施の形態１の変形例１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図１０Ｄは、本発明の実施の形態１の変形例１に係る相関値算出部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図１１は、本発明の実施の形態１の変形例２に係る方向判別部が実行する処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態１の変形例３に係る方向判別部が実行する処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態１の変形例４に係る方向判別部が実行する処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態１の変形例５に係る方向判別部が実行する処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態２に係る撮像システムの構成を模式的に示すブロック図である。 図１６は、本発明の実施の形態２に係る孤立点補正部の機能構成を示すブロック図である。 図１７は、本発明の実施の形態２に係るＲＴＳノイズ補正部の機能構成を示すブロック図である。 図１８は、本発明の実施の形態２に係る代表値算出部の機能構成を示すブロック図である。 図１９は、本発明の実施の形態２に係る孤立点補正部が実行する処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態２に係るＲＴＳノイズ補正部が実行する処理の概要を示すフローチャートである。 図２１は、図２０の代表値算出処理の概要を示すフローチャートである。 図２２は、図２０の補正値算出処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態３に係る撮像システムの構成を模式的に示すブロック図である。 図２４は、本発明の実施の形態３に係る同時化処理部の機能構成を示すブロック図である。 図２５は、本発明の実施の形態３に係る同時化処理部が実行する処理の概要を示すフローチャートである。 図２６Ａは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２６Ｂは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２６Ｃは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２６Ｄは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２６Ｅは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２６Ｆは、本発明の実施の形態３に係る同時化処理部が撮像素子に対して算出する方向の一例を模式的に示す図である。 図２７は、本発明の実施の形態４に係る撮像システムの構成を模式的に示すブロック図である。 図２８は、本発明の実施の形態４に係る撮像システムが実行する処理の概要を示すフローチャートである。 図２９は、図２８の画像処理の概要を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置２０と、表示装置３０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。なお、絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制御するようにしてもよい。なお、光学系１０１、絞り１０２は、撮像装置１０に対して着脱可能であってもよい。

シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。

ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が二次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。さらに、フィルタを配置せず、モノクロ画像を構成できるようにしてもよい。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。

ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。

図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を垂直方向に転送する垂直転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。

このように構成された撮像素子１０５は、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、アンプ部１０５ｅが複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。

図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。

操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成され、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、画素値を読み出す読み出し回路（アンプ部１０５ｅ）の位置情報または複数の画素１０５ａの各々の位置情報と読み出し回路（アンプ部１０５ｅ）に起因するＲＴＳノイズに関する特徴量とを対応付けたＲＴＳノイズ位置情報を記録するＲＴＳノイズ情報記録部１１２ｂと、一または複数のランダムノイズモデルを記録するランダムノイズモデル情報記録部１１２ｃと、複数の孤立点画素の位置を示す孤立点位置情報を記録する孤立点位置情報記録部１１２ｄと、を有する。ここで、特徴量とは、ＲＴＳノイズの振幅（ＲＴＳ＿Ｖａｌｕｅ）、点滅欠陥ノイズの発生頻度およびＲＴＳノイズの振幅未満のＲＴＳノイズにおける発生頻度のいずれかである。

バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作の制御を開始する。ここで、撮像装置１０における撮影動作とは、撮像素子１０５の露光タイミング、アナログ信号の出力タイミング、および撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０６かつＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記憶する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置２０に撮像素子１０５が生成した画像データ、ＲＴＳノイズ情報およびランダムノイズモデル情報を出力する。

〔画像処理装置の構成〕
次に、画像処理装置２０の構成について説明する。画像処理装置２０は、第２外部Ｉ／Ｆ部２１と、方向判別部２２と、画像処理部２３と、記録部２４と、バス２５と、を備える。

第２外部Ｉ／Ｆ部２１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５およびバス１１３を介して撮像素子１０５によって生成されたＲＡＷ画像データ、ＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズに関するＲＴＳノイズ情報、孤立点位置情報記録部１１２ｄが記録する孤立点位置情報、およびランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデル情報を取得し、バス２５を介して取得したＲＡＷ画像データ、ＲＴＳノイズ情報、孤立点位置情報およびランダムノイズモデル情報を方向判別部２２および記録部２４へ出力する。第２外部Ｉ／Ｆ部２１および第１外部Ｉ／Ｆ部１１５は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信等を介して接続されている。なお、本実施の形態１では、第２外部Ｉ／Ｆ部２１が取得部として機能する。

方向判別部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＡＷ画像データに対応するＲＡＷ画像における注目画素の画素値、注目画素の周辺の周辺画素の画素値、ＲＴＳノイズ情報および孤立点位置情報を取得し、取得したＲＴＳノイズ情報およびＲＡＷ画像データに対応するＲＡＷ画像における注目画素の周辺の周辺画素の画素値に基づいて、注目画素の画素値と最も相関が高い画素値が続く方向を判別する。ここで、方向判別部２２の詳細な構成について説明する。図３は、方向判別部２２の機能構成を示すブロック図である。方向判別部２２は、相関値算出部２２１と、方向決定部２２２と、を有する。

相関値算出部２２１は、撮像素子１０５が生成したＲＡＷ画像における各方向における注目画素の画素値および該注目画素の周辺画素の画素値の相関値を算出する。ここで、相関値とは、注目画素の画素値と周辺画素の画素値の類似の度合いを示す値であり、例えば注目画素の画素値と周辺画素の画素値とが差に基づく値である。

方向決定部２２２は、相関値算出部２２１が算出した各方向の相関値に基づいて、最も相関の高い方向を決定する。例えば、相関値として注目画素の画素値と周辺画素の画素値との差を用いる場合、差が最も小さくなる方向を決定する。

図１に戻り、画像処理装置２０の構成の説明を続ける。
画像処理部２３は、方向判別部２２の判別結果に基づいて、画像データに所定の画像処理を行って表示装置３０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部２３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

記録部２４は、揮発メモリおよび不揮発メモリを用いて構成され、画像処理装置２０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、記録部２４は、画像処理装置２０を駆動するためのプログラム記録部２４１と、第２外部Ｉ／Ｆ部２１およびバス２５を介して撮像装置１０から入力されたＲＡＷ画像データ、ＲＴＳノイズ情報、孤立点位置情報および注目画素のエッジの変数や評価値等を一時的に記憶するバッファ２４２と、を有する。

バス２５は、画像処理装置２０の各構成部位を接続する伝送路等を用いて構成され、画像処理装置２０の内部で発生した各種データを画像処理装置２０の各構成部位に転送する。

〔表示装置の構成〕
次に、表示装置３０の構成について説明する。表示装置３０は、画像処理装置２０から入力される画像データに対応する画像を表示する。表示装置３０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、画像処理装置２０が撮像素子１０５によって生成された画像データに対して、エッジの方向判別を行った後、この方向判別の結果に基づいて画像処理を行い、表示装置３０が画像処理装置２０によって画像処理が施された画像データに対応する画像を表示する。なお、画像処理装置２０によって画像処理が施された画像データを、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５、バス１１３を経由し、撮像装置１０の記録媒体１１０や不揮発メモリ１１２に記録するようにしてもよい。

〔ＲＴＳノイズの発生原因と特性〕
次に、ＲＴＳノイズの発生原因とＲＴＳノイズの特性について説明する。
図４は、撮像素子１０５に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部１０５ｅから出力されるアンプ出力の変動の例を示す図である。図５は、ＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値の分布の例を示す図である。

ＲＴＳノイズは、アンプ部１０５ｅにおけるゲート酸化膜にトラップ準位が存在した場合、ランダムなタイミングで、このトラップ準位に電荷が捕獲されたり、放出されたりすることで発生する。このため、図４に示すように、ＲＴＳノイズが発生するアンプ部１０５ｅでは、アンプ出力が約Ｖｒｔｓの範囲でランダムに変動する。また、電位の変動は、一瞬で起こらず、わずかな時間を要する。

一般に、撮像素子１０５では、画素１０５ａから読み出した画素値からノイズを低減するため、相関二重サンプリング処理（以下、「ＣＤＳ処理」という）が行われる。ＣＤＳ処理では、撮像制御部１１４が撮像素子１０５のリセットスイッチ（図示せず）をオンにして、ＦＤ部１０５ｄの電荷をリセットさせ、さらに、撮像制御部１１４が第２スイッチ１０５ｆをオンにして、リセット状態を作り、リセット状態の信号（基準信号）を読み出す（出力する）。次に、ＣＤＳ処理では、撮像制御部１１４が第１スイッチ１０５ｂ（または第１スイッチ１０５ｂ（１）〜１０５ｂ（８）のいずれか）のみをオンにして、画素１０５ａで発生した電荷をＦＤ部１０５ｄに転送し、さらに第２スイッチ１０５ｆをオンにした読み出し状態（出力状態）を作り、読み出し状態の信号を読み出す（出力する）。続いて、ＣＤＳ処理では、読み出し状態の信号からリセット状態の信号（基準信号）を減算することで得られる信号を画素値として変換する。

図４に示すように、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ１（リセット状態）および時間ｔｓ１（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ１および時間ｔｓ１それぞれのアンプ出力Ｖがほぼ同様であるため、主にランダムノイズによる影響を受け、読み出された画素値が図５に示す分布Ａのような０を中心とした分布となる。同様に、撮像素子１０５は、時間ｔｒ２（リセット状態）と時間ｔｓ２（読み出し状態）でも、時間ｔｒ２および時間ｔｓ２それぞれのアンプ出力Ｖがほぼ同様であるため、読み出された画素値が図５に示す分布Ａのようになる。

一方、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ３（リセット状態）および時間ｔｓ３（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ３のアンプ出力と比べ時間ｔｓ３のアンプ出力が約Ｖｒｔｓ低いため、２つの信号の差をとると、アンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分マイナス方向にシフトし、読み出された画素値が−ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｂとなる。

これに対して、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ４（リセット状態）および時間ｔｓ４（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ４のアンプ出力に比べて時間ｔｓ４のアンプ出力が約Ｖｒｔｓ高いため、２つの信号の差をとるとアンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分プラス方向にシフトし、読み出された画素値が＋ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｃとなる。

ここで、図４のアンプ出力の変動は、時間τを要して生じるため、電位が変動している途中で信号を読み出す場合もある。この場合、リセット状態の読み出し時間および読み出し状態の読み出し時間の間で、アンプ出力差が−Ｖｒｔｓより大きく、Ｖｒｔｓより小さい。この結果、撮像素子１０５から読み出された画素値も、−ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さな値となる。時間τは、撮像素子１０５の条件（例えば温度や駆動電圧等）が一定であれば、ほぼ一定になると考えられるため、−ＲＴＳ＿Ｖａｌｕｅより大きくＲＴＳ＿Ｖａｌｕｅより小さな画素値が同様の確率で発生する。ここでは、これらの画素値の発生頻度をαｎｏｉｓｅと定義する。また、分布Ｂおよび分布Ｃの各々は、中央値のみ異なるが、それ以外は同様の分布となる。このため、以下においては、分布Ａに対する分布Ｂまたは分布Ｃの割合をαｒｔｓと定義する。このαｒｔｓは、アンプ部１０５ｅのアンプ出力の変動周期が短いほど、大きくなる。

このように、ＣＤＳ処理によりＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値は、図５のような分布となる。なお、撮像素子１０５に光が当たっている条件では、読み出し状態の電位が露光量に応じて変化する。しかしながら、ＲＴＳノイズによる電位の変化は、露光量によらず一定である。即ち、ＲＴＳノイズは、露光量に依存せず、−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下の範囲で正常な画素値に対してランダムに変動する特性を有する。なお、図５において、分布Ａ、分布Ｂ、分布Ｃを模式的に示したが、一般には正規分布となる。

また、ＲＴＳノイズは、読み出し回路（アンプ部１０５ｅ）に起因するノイズであるため、図２に示すように、複数の画素１０５ａの各々が１つの読み出し回路を共有している場合、全ての共有画素（画素１０５ａ（１）〜１０５ａ（８））において同様の特性のＲＴＳノイズが発生する。

また、図２に示した読み出し回路（アンプ部１０５ｅ）以外にも、撮像素子１０５の列方向で共有しているカラムアンプやソースフォロア等においても、ＲＴＳノイズが発生する場合がある。この場合、同じカラムアンプおよびソースフォロアを共有する列方向の全ての画素においても同様の特性のＲＴＳノイズが発生する。本実施の形態では、読み出し回路（アンプ部１０５ｅ）以外の回路で発したＲＴＳノイズにも適用することができる。

このようにＲＴＳノイズは、被写体を固定して同じ条件で撮影した場合、撮影により得られた画像の画素値が一定範囲内（−ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下）で振幅（変動）するような点滅欠陥ノイズの一種となる。

〔方向判別部の処理〕
次に、方向判別部２２が実行する処理について説明する。図６は、方向判別部２２が実行する処理の概要を示すフローチャートであり、方向を判別する方向判別処理の概要を示すフローチャートである。

図６に示すように、まず、相関値算出部２２１は、相関の度合いを算出する方向を示す変数ｄｉｒを初期化（ｄｉｒ＝１）する（ステップＳ１０１）。

図７は、撮像素子１０５の画素配列を模式的に示す図であり、カラーフィルタが無い撮像素子１０５（モノクロイメージセンサ）の画素配列を示す図である。図８Ａ〜図８Ｈは、相関値算出部２２１がＲＡＷ画像に対して算出する方向の一例を模式的に示す図であり、ｄｉｒが１を示す方向が図８Ａに、ｄｉｒが２を示す方向が図８Ｂに、…、ｄｉｒが８を示す方向が図８Ｈに対応する。図７および図８Ａ〜図８Ｈにおいて、画素Ｆ１が正常な画素（ハッチングなし）を示し、画素Ｆ２がＲＴＳノイズの発生する可能性がある画素（ハッチングあり）を示し、太枠Ｔ１が方向判別に用いる画素を示し、矢印Ａ１が方向を示す。また、図８Ａ〜図８Ｈにおいては、矢印Ａ１の始点に対応する画素を１番目の画素とし、矢印Ａ１に沿って次の画素を２番目の画素、…、矢印Ａ１の終点（矢印の先端）に対応する画素を７番目の画素と定義する。図８Ａ〜図８Ｈに示すように、本実施の形態１において、相関値算出部２２１は、ＲＡＷ画像Ｗ１に対して８方向の相関値を算出する。このため、本実施の形態１では、ｄｉｒの示す数を１以上８以下とする。

続いて、相関値算出部２２１は、ｄｉｒ方向の相関度合いを示す変数Δｄｉｒを０に初期化（Δｄｉｒ＝０）するとともに（ステップＳ１０２）、Δｄｉｒに加算した個数をカウントするカウンタを０に初期化（Ｎｕｍ＝０）し（ステップＳ１０３）、相関の度合いを求める位置を示すカウンタｉを初期化（ｉ＝２）する（ステップＳ１０４）。

その後、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して孤立点位置情報記録部１１２ｄから孤立点位置情報と揮発メモリ１１１からＲＡＷ画像とを取得し、取得した孤立点位置情報に基づいて、ＲＡＷ画像におけるｉ番目の画素またはｉ−１番目の画素が孤立点画素であるか否かを判断する（ステップＳ１０５）。ここで、ｉ番目の画素とは、ＲＡＷ画像における注目画素を中心としたときのｄｉｒ方向の矢印Ａ１に沿ったｉ番目の画素であり、ｉ−１番目の画素とは、注目画素を中心としたときのｄｉｒ方向の矢印Ａ１に沿ったｉ−１番目の画素（ｄｉｒ方向の矢印Ａ１に沿って始点側に１画素ずれた画素）である。相関値算出部２２１がＲＡＷ画像におけるｉ番目の画素またはｉ−１番目の画素が孤立点画素であると判断した場合（ステップＳ１０５：Ｙｅｓ）、方向判別部２２は、後述するステップＳ１１５へ移行する。これに対して、相関値算出部２２１がＲＡＷ画像におけるｉ番目の画素またはｉ−１番目の画素が孤立点画素でないと判断した場合（ステップＳ１０５：Ｎｏ）、方向判別部２２は、後述するステップＳ１０６へ移行する。

ステップＳ１０６において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報および揮発メモリ１１１から取得したＲＡＷ画像に基づいて、ｄｉｒ方向にあるｉ−１番目（図８Ａ〜図８Ｈに示す矢印Ａ１の矢印の出発点から１番目、２番目、・・・７番目）の画素値を順次取得する。具体的には、図８Ａに示すように、相関値算出部２２１は、ＲＡＷ画像Ｗ１から矢印Ａ１の出発点の画素Ｎ１〜Ｎ７それぞれの画素値を取得する。なお、相関値算出部２２１は、ｉ−１番目毎に取得したｉ−１番目の画素値をＰｒｅｖ１、Ｐｒｅｖ２およびＰｒｅｖ３変数に全て複製してバッファ２４２に順次格納（記憶）する。

続いて、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向におけるｉ−１番目の画素にＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ１０７）。相関値算出部２２１がｄｉｒ方向におけるｉ−１番目の画素にＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ１０７：Ｙｅｓ）、方向判別部２２は、後述するステップＳ１０８へ移行する。これに対して、相関値算出部２２１がｄｉｒ方向におけるｉ−１番目の画素にＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ１０７：Ｎｏ）、方向判別部２２は、後述するステップＳ１０９へ移行する。

ステップＳ１０８において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向にあるｉ−１番目の画素の画素値を補正する。具体的には、相関値算出部２２１は、バッファ２４２に格納したＰｒｅｖ１からｉ−１番目の画素に対応するＲＴＳノイズ情報に含まれるＲＴＳ＿Ｖａｌｕｅを減算（Ｐｒｅｖ１＝Ｐｒｅｖ１−ＲＴＳ＿Ｖａｌｕｅ）およびＰｒｅｖ２にＲＴＳ＿Ｖａｌｕｅを加算（Ｐｒｅｖ２＝Ｐｒｅｖ２＋ＲＴＳ＿Ｖａｌｕｅ）することによって、ｄｉｒ方向にあるｉ−１番目の画素の画素値を補正する。これにより、Ｐｒｅｖ１、Ｐｒｅｖ２およびＰｒｅｖ３のいずれかにＲＴＳノイズが無いと想定される画素値がバッファ２４２に格納される。ステップＳ１０８の後、方向判別部２２は、ステップＳ１０９へ移行する。

続いて、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１から取得したＲＡＷ画像のｄｉｒ方向にあるｉ番目の画素値を取得する（ステップＳ１０９）。なお、相関値算出部２２１は、取得した画素値をＣｕｒｒ１、Ｃｕｒｒ２およびＣｕｒｒ３変数に全て複製してバッファ２４２に格納する。

その後、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ１１０）。相関値算出部２２１がｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ１１０：Ｙｅｓ）、方向判別部２２は、後述するステップＳ１１１へ移行する。これに対して、相関値算出部２２１がｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ１１０：Ｎｏ）、方向判別部２２は、後述するステップＳ１１２へ移行する。

ステップＳ１１１において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向にあるｉ番目の画素の画素値を補正する。具体的には、Ｃｕｒｒ１からｉ番目の画素に対応するＲＴＳノイズ情報に含まれるＲＴＳ＿Ｖａｌｕｅを減算（Ｃｕｒｒ１＝Ｃｕｒｒ１−ＲＴＳ＿Ｖａｌｕｅ）およびＣｕｒｒ２にＲＴＳ＿Ｖａｌｕｅを加算（Ｃｕｒｒ２＝Ｃｕｒｒ２＋ＲＴＳ＿Ｖａｌｕｅ）することによって、ｄｉｒ方向にあるｉ番目の画素の画素値を補正する。これにより、Ｃｕｒｒ１、Ｃｕｒｒ２およびＣｕｒｒ３のいずれかにＲＴＳノイズが無いと想定される画素値がバッファ２４２に格納される。ステップＳ１１１の後、方向判別部２２は、ステップＳ１１２へ移行する。

続いて、相関値算出部２２１は、ｉ−１番目の画素値とｉ番目の画素値との最小の差の絶対値を算出する（ステップＳ１１２）。具体的には、相関値算出部２２１は、Ｐｒｅｖ１とＣｕｒｒ１、Ｐｒｅｖ１とＣｕｒｒ２、Ｐｒｅｖ１とＣｕｒｒ３、Ｐｒｅｖ２とＣｕｒｒ１、・・・Ｐｒｅｖ３とＣｕｒｒ３のようにＰｒｅｖとＣｕｒｒの全ての組み合わせにおいて、最小の差となる際の絶対値を算出する。

その後、相関値算出部２２１は、ΔｄｉｒにステップＳ１１２で算出した最小となる差の絶対値を加算（Δｄｉｒ＝Δｄｉｒ＋最小の差の絶対値）する（ステップＳ１１３）。

続いて、相関値算出部２２１は、Δｄｉｒに加算した個数をインクリメント（Ｎｕｍ＝Ｎｕｍ＋１）し（ステップＳ１１４）、相関の度合を求める位置を示すカウンタｉをインクリメント（ｉ＝ｉ＋１）する（ステップＳ１１５）。

その後、相関値算出部２２１は、相関の度合を求める位置を示すカウンタｉが７以下（ｉ≦７））であるか否かを判断する（ステップＳ１１６）。相関値算出部２２１が相関の度合を求める位置を示すカウンタｉが７以下であると判断した場合（ステップＳ１１６：Ｙｅｓ）、方向判別部２２は、ステップＳ１０５へ戻る。これに対して、相関値算出部２２１が相関の度合を求める位置を示すカウンタｉが７以下でないと判断した場合（ステップＳ１１６：Ｎｏ）、方向判別部２２は、ステップＳ１１７へ移行する。

ステップＳ１１７において、相関値算出部２２１は、ｉ−１番目の画素値とｉ番目の画素値との差の絶対値の平均（Δｄｉｒ＝Δｄｉｒ÷Ｎｕｍ）を算出する。この場合において、相関値算出部２２１は、Ｎｕｍが０のとき（即ち、ｄｉｒ方向の全ての画素において、孤立点であるとき）、Δｄｉｒが取り得る値の最大値をｉ−１番目の画素値とｉ番目の画素値との差の絶対値の平均として算出する。

続いて、相関値算出部２２１は、相関の度合いを算出する方向を示す変数ｄｉｒをインクリメント（ｄｒｉ＝ｄｒｉ＋１）する（ステップＳ１１８）。

その後、相関値算出部２２１は、相関値の度合いを算出する方向を示す変数ｄｉｒが８以下（ｄｉｒ≦８）であるか否かを判断する（ステップＳ１１９）。相関値算出部２２１が相関値の度合いを算出する方向を示す変数ｄｉｒが８以下であると判断した場合（ステップＳ１１９：Ｙｅｓ）、方向判別部２２は、ステップＳ１０２へ戻る。これに対して、相関値算出部２２１が相関値の度合いを算出する方向を示す変数ｄｉｒが８以下でないと判断した場合（ステップＳ１１９：Ｎｏ）、方向判別部２２は、ステップＳ１２０へ移行する。

ステップＳ１２０において、方向決定部２２２は、Δ１〜Δ８に対し、最小となるΔｄｉｒを検索し、対応するｄｉｒを注目画素の画素値と最も相関が高い画素値が続く方向として決定し、方向判別結果とする。ステップＳ１２０の後、方向判別部２２は、本処理を終了する。

以上説明した本発明の実施の形態１によれば、相関値算出部２２１がＲＴＳノイズの発生がある画素の画素値に対して、ＲＴＳ＿Ｖａｌｕｅを加算または減算した値を算出し、この算出した算出結果を用いて、注目画素の画素値と最も相関が高い画素値が続く方向を判別するので、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

なお、本発明の実施の形態１では、相関値算出部２２１がＲＴＳノイズの発生する可能性がある画素の画素値に対して、ＲＴＳ＿Ｖａｌｕｅを加算または減算した値を算出したが、αｎｏｉｓｅ等のＲＴＳノイズの分布を考慮し、０以上１未満の所定係数をＲＴＳ＿Ｖａｌｕｅに対して乗じた値を加算または減算するようにしてもよい。

（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本発明の実施の形態１の変形例１は、上述した実施の形態１の撮像システム１の撮像素子１０５と構成が異なる。具体的には、上述した実施の形態１は、撮像素子１０５の受光面にカラーフィルタを設けていなかったが、本実施の形態１の変形例１では、撮像素子１０５の受光面にベイヤー配列のカラーフィルタを設けている。このため、以下においては、本実施の形態１の変形例１に係る撮像素子の構成を説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図９は、本発明の実施の形態１の変形例１に係る撮像素子の画素配列を模式的に示す図である。図９に示す撮像素子１０５ｉは、互いに異なる波長領域を透過するＲフィルタ、ＧフィルタおよびＢフィルタそれぞれがベイヤー配列で撮像素子１０５ｉの受光面に設けられている。

図１０Ａ〜図１０Ｄは、相関値算出部２２１が撮像素子１０５ｉに対して算出する方向の一例を模式的に示す図である。図９および図１０Ａ〜図１０Ｄにおいて、画素Ｆ１が正常な画素（ハッチングなし）を示し、画素Ｆ２はＲＴＳノイズが発生する可能性がある画素（ハッチングあり）を示し、太枠Ｔ１が方向判別に用いる画素を示し、矢印Ａ１が方向を示す。本実施の形態１の変形例１では、ｄｉｒの示す数を図１０Ａ〜図１０Ｄの方向１〜４とする。即ち、方向判別部２２は、図６におけるｄｉｒの最大値を４とし、ｉの最大値を５とすることによって、上述した方向判別処理を実行することによって、ＲＴＳノイズが発生する可能性がある画素に対して、ＲＴＳ＿Ｖａｌｕｅを加算した値または減算した値を求め、最も相関がある値を選択しながら方向判別することによって、注目画素の画素値と最も相関が高い画素値が続く方向を判別する。

以上説明した本発明の実施の形態１の変形例１によれば、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

なお、本発明の実施の形態１の変形例１では、方向判別部２２がＧフィルタを受光面に設けたＧ画素において、Ｂフィルタを設けたＢ画素が配置されている列とＲフィルタを受光面に設けたＲ画素が配置されている列とを区別しないようにしてもよい。

また、本発明の実施の形態１の変形例１では、相関値算出部２２１がＲＴＳノイズの発生する可能性がある画素の画素値に対して、ＲＴＳ＿Ｖａｌｕｅを加算または減算した値を算出したが、αｎｏｉｓｅ等のＲＴＳノイズの分布を考慮し、０以上１未満の所定係数をＲＴＳ＿Ｖａｌｕｅに対して乗じた値を加算または減算するようにしてもよい。

（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本発明の実施の形態１の変形例２は、上述した実施の形態１に係る撮像システム１と同一の構成を有し、方向判別部２２が実行する処理のみが異なる。具体的には、本実施の形態１の変形例２に係る方向判別部は、ＲＡＷ画像において相関の度合いを算出する各方向において、基準とする値を予め算出し、ＲＴＳノイズが発生する可能性がある画素については、画素値にＲＴＳ＿Ｖａｌｕｅを加算または減算することで基準とする値に最も近い値を決定し、この決定した値を使用して方向を判別する。このため、以下においては、本実施の形態１の変形例２に係る方向判別部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔方向判別部の処理〕
図１１は、本発明の実施の形態１の変形例２に係る方向判別部２２が実行する処理の概要を示すフローチャートであり、方向判別処理の概要を示すフローチャートである。

図１１に示すように、まず、相関値算出部２２１は、相関の度合いを算出する方向を示す変数ｄｉｒを初期化（ｄｉｒ＝１）する（ステップＳ２０１）。

続いて、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１から取得したＲＡＷ画像からｄｉｒ方向の全画素それぞれの画素値を全て取得する（ステップ２０２）。なお、相関値算出部２２１は、取得した全ての画素値を矢印Ａ１で示す順に変数Ｐ１〜Ｐ７に複製してバッファ２４２に格納する。

その後、相関値算出部２２１は、ｄｉｒ方向の平均値を算出する（ステップＳ２０３）。具体的には、相関値算出部２２１は、ステップＳ２０２で取得した変数Ｐ１〜Ｐ７それぞれの画素の平均値を算出する。なお、ステップＳ２０３において、相関値算出部２２１は、変数Ｐ１〜Ｐ７から孤立点画素に対応する変数を除外し、平均値を求めるようにしてもよい。

続いて、相関値算出部２２１は、相関の度合いを求める位置を示すカウンタｉを初期化（ｉ＝１）する（ステップＳ２０４）。

その後、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ２０５）。相関値算出部２２１がｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ２０５：Ｙｅｓ）、方向判別部２２は、後述するステップＳ２０６へ移行する。これに対して、相関値算出部２２１がｄｉｒ方向にあるｉ番目の画素にＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ２０５：Ｎｏ）、方向判別部２２は、後述するステップＳ２０７へ移行する。

ステップＳ２０６において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向にあるｉ番目の画素の画素値を補正する。具体的には、相関値算出部２２１は、Ｐｉ＋ＲＴＳ＿Ｖａｌｕｅ、ＰｉおよびＰｉ―ＲＴＳ＿Ｖａｌｕｅのいずれかから上述したステップＳ２０３で算出した平均値に最も近い値のものを選択し、この選択した値をＰｉの値に置き換えることによって補正する。これにより、簡易的にＲＴＳノイズを補正することができる。なお、相関値算出部２２１は、上述したステップＳ２０３で算出した平均値に最も近い値のものが複数ある場合、Ｐｉの値をそのまま選択する（過補正を考慮し、Ｐｉを置き換えない）。

ステップＳ２０７およびステップＳ２０８は、上述した図６のステップＳ１１５およびステップＳ１１６それぞれに対応する。

続いて、相関値算出部２２１は、変数Ｐ１〜Ｐ７を用いて、相関の度合いにつながる評価値Δｄｉｒを算出する（ステップＳ２０９）。具体的には、相関値算出部２２１は、変数Ｐ１〜Ｐ７それぞれの画素値における最小値と最大値との差の絶対値、変数Ｐ１〜Ｐ７それぞれの標準偏差、分散および画素間の差の絶対値の平均値（例えば、矢印Ａ１方向で隣接する画素間の差の絶対値の平均値）のいずれか一つを評価値Δｄｉｒとして算出する。なお、ステップＳ２０９において、相関値算出部２２１は、変数Ｐ１〜Ｐ７から孤立点画素に対応する変数を除外し、残りの変数を用いてΔｄｉｒを求めるようにしてもよい。この場合において、全ての画素が孤立点画素のとき、Δｄｉｒとして最も相関が無い値（例えば、標準偏差や分散であれば、Δｄｉｒとして取り得る最大値）にすることで、ｄｉｒ方向を方向判別結果として選択することを防止できる。

ステップ２１０〜ステップＳ２１２は、上述した図６のステップＳ１１８〜ステップＳ１２０それぞれに対応する。

以上説明した本発明の実施の形態１の変形例２によれば、相関値算出部２２１が相関の度合いを算出する各方向において、各ｄｉｒ方向の平均値を予め基準値として算出し、ＲＴＳノイズが発生する可能性がある画素については、画素値にＲＴＳ＿Ｖａｌｕｅを加算または減算することで基準とする値に最も近い値を決定し、この決定した値を使用して注目画素の画素値と最も相関が高い画素値が続く方向を決定する。この結果、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

なお、本発明の実施の形態１の変形例２では、相関値算出部２２１が画素値にＲＴＳ＿Ｖａｌｕｅを加算または減算したが、αｎｏｉｓｅ等のＲＴＳノイズの分布を考慮し、０以上１未満の所定係数をＲＴＳ＿Ｖａｌｕｅに対して乗じた値を加算または減算するようにしてもよい。

（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本発明の実施の形態１の変形例３は、上述した実施の形態１に係る撮像システム１と同一の構成を有し、方向判別部が実行する処理のみが異なる。具体的には、本実施の形態１の変形例３に係る方向判別部は、基準とする画素を決定し、この画素においてＲＴＳノイズが発生する可能性があるかどうかに応じて、基準画素のＲＴＳノイズの影響を排除しながら方向判別を行う。このため、以下においては、本実施の形態１の変形例３に係る方向判別部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔方向判別部の処理〕
図１２は、本発明の実施の形態１の変形例３に係る方向判別部２２が実行する処理の概要を示すフローチャートであり、方向判別処理の概要を示すフローチャートである。

図１２に示すように、まず、相関値算出部２２１は、相関の度合いを算出する方向を示す変数ｄｉｒを初期化（ｄｉｒ＝１）する（ステップＳ３０１）。

続いて、相関値算出部２２１は、ｄｉｒ方向において、注目画素を基準画素とする（ステップＳ３０２）。なお、相関値算出部２２１は、注目画素が孤立点画素である場合、注目画素に最も近いｄｉｒ方向の画素であって、孤立点画素でない画素を基準画素とする。ただし、ｄｉｒ方向の全ての画素が孤立点画素である場合には、注目画素を基準画素とする。

その後、相関値算出部２２１は、相関の度合いを求める位置を示すカウンタｉを初期化（ｉ＝１）する（ステップＳ３０３）。

続いて、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介し孤立点位置情報記録部１１２ｄから取得した孤立点位置情報に基づいて、ｉ番目の画素が孤立点画素であるか否かを判断する（ステップＳ３０４）。相関値算出部２２１がｉ番目の画素が孤立点画素であると判断した場合（ステップＳ３０４：Ｙｅｓ）、方向判別部２２は、後述するステップＳ３１３へ移行する。これに対して、相関値算出部２２１がｉ番目の画素が孤立点画素でないと判断した場合（ステップＳ３０４：Ｎｏ）、方向判別部２２は、後述するステップＳ３０５へ移行する。

ステップＳ３０５において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１に記憶されたＲＡＷ画像を取得したＲＡＷ画像に基づいて、ｉ番目の画素値を取得する（ステップＳ３０５）。なお、相関値算出部２２１は、取得した画素値をＰｉとして複製してバッファ２４２に格納する。

その後、相関値算出部２２１は、ｉ番目の画素が基準画素であるか否かを判断する（ステップＳ３０６）。相関値算出部２２１によってｉ番目の画素が基準画素であると判断された場合（ステップＳ３０６：Ｙｅｓ）、方向判別部２２は、後述するステップＳ３１３へ移行する。これに対して、相関値算出部２２１によってｉ番目の画素が基準画素でないと判断された場合（ステップＳ３０６：Ｎｏ）、方向判別部２２は、後述するステップＳ３０７へ移行する。

ステップＳ３０７において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、基準画素においてＲＴＳノイズが発生するか否かを判断する。相関値算出部２２１が基準画素においてＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ３０７：Ｙｅｓ）、方向判別部２２は、後述するステップＳ３０８へ移行する。これに対して、相関値算出部２２１が基準画素においてＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ３０７：Ｎｏ）、方向判別部２２は、後述するステップＳ３１０へ移行する。

ステップＳ３０８において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報から基準画素のＲＴＳ＿Ｖａｌｕｅを取得する。

続いて、相関値算出部２２１は、Ｐｉを補正する（ステップＳ３０９）。具体的には、相関値算出部２２１は、Ｐｉ＋ＲＴＳ＿Ｖａｌｕｅ、ＰｉおよびＰｉ−ＲＴＳ＿Ｖａｌｕｅのいずれかから上述したステップＳ３０２で決定した基準画素の画素値に近い値のものを選択し、この選択した値をＰｉの値に置き換えることによってＰｉを補正する。これにより、基準画素においてＲＴＳ＿Ｖａｌｕｅが発生していた場合の影響を排除することができる。

その後、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｄｉｒ方向のｉ番目の画素にＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ３１０）。相関値算出部２２１がｄｉｒ方向のｉ番目の画素にＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ３１０：Ｙｅｓ）、方向判別部２２は、後述するステップＳ３１１へ移行する。これに対して、相関値算出部２２１がｄｉｒ方向のｉ番目の画素にＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ３１０：Ｎｏ）、方向判別部２２は、後述するステップＳ３１３へ移行する。

ステップＳ３１１において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報からｉ番目の画素のＲＴＳ＿Ｖａｌｕｅを取得する。

続いて、相関値算出部２２１は、ステップ３０９で補正したＰｉ＋ＲＴＳ＿Ｖａｌｕｅ、ＰｉおよびＰｉ−ＲＴＳ＿Ｖａｌｕｅのいずれの中で最も基準画素の画素値に近い値を選択し、選択した値をＰｉに代入することによってｉ番目の画素値を補正する（ステップＳ３１２）。これにより、ｉ番目の画素において、ＲＴＳノイズが発生していた場合の影響を排除することができる。

ステップＳ３１３〜ステップＳ３１８は、上述した図６のステップＳ１１５〜ステップＳ１２０それぞれに対応する。

以上説明した本発明の実施の形態１の変形例３によれば、方向判別部２２が注目画素を基準画素として決定し、この基準画素においてＲＴＳノイズが発生する可能性があるかどうかに応じて、基準画素のＲＴＳノイズの影響を排除しながら方向判別を行う。この結果、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

なお、本発明の実施の形態１の変形例３では、相関値算出部２２１が画素値に対してＲＴＳ＿Ｖａｌｕｅを加算または減算した値を算出したが、αｎｏｉｓｅ等のＲＴＳノイズの分布を考慮し、０以上１未満の所定係数をＲＴＳ＿Ｖａｌｕｅに対して乗じた値を加算または減算するようにしてもよい。

（実施の形態１の変形例４）
次に、本発明の実施の形態１の変形例４について説明する。本発明の実施の形態１の変形例４は、上述した実施の形態１に係る撮像システム１と同一の構成を有し、方向判別部が実行する処理のみ異なる。具体的には、本実施の形態１の変形例４に係る方向判別部は、相関の度合いを算出する各方向において、ＲＴＳノイズが発生する可能性がある画素を除外してエッジの方向判別を行う。このため、以下においては、本実施の形態１の変形例４に係る方向判別部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔方向判別部の処理〕
図１３は、本発明の実施の形態１の変形例４に係る方向判別部２２が実行する処理の概要を示すフローチャートであり、方向判別処理の概要を示すフローチャートである。

図１３に示すように、まず、相関値算出部２２１は、相関の度合いを算出する方向を示す変数ｄｉｒを初期化（ｄｉｒ＝１）する（ステップＳ４０１）。

続いて、相関値算出部２２１は、相関の度合いを求める位置を示すカウンタｉを初期化（ｉ＝１）する（ステップＳ４０２）。

その後、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂから取得したＲＴＳノイズ情報に基づいて、ｉ番目の画素にＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ４０３）。相関値算出部２２１がｉ番目の画素にＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ４０３：Ｙｅｓ）、方向判別部２２は、後述するステップＳ４０５へ移行する。これに対して、相関値算出部２２１がｉ番目の画素にＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ４０３：Ｎｏ）、方向判別部２２は、後述するステップＳ４０４へ移行する。

ステップＳ４０４において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１から取得したＲＡＷ画像に基づいて、ｉ番目の画素値を取得する。なお、相関値算出部２２１は、取得した画素値を変数Ｐ１〜Ｐ７に複製してバッファ２４２に格納する。

ステップＳ４０５およびステップＳ４０６は、上述した図６のステップＳ１１５およびステップＳ１１６それぞれに対応する。

ステップＳ４０７において、相関値算出部２２１は、ステップＳ４０４で取得したＲＴＳノイズが発生する可能性が無い画素の画素値のみを用いて、相関の度合いにつながる評価値Δｄｉｒを算出する。具体的には、相関値算出部２２１は、変数Ｐ１〜Ｐ７において、ＲＴＳノイズが発生する可能性がある画素に対応する変数を除外し、残りの変数それぞれの画素値における最小値と最大値との差の絶対値、変数Ｐ１〜Ｐ７それぞれの標準偏差、分散および画素間の差の絶対値の平均値のいずれか一つを評価値Δｄｉｒとして算出する。なお、ステップＳ４０７において、相関値算出部２２１は、孤立点画素に対応する変数をさらに除外してΔｄｉｒを算出する用にしてもよい。また、全ての変数Ｐ１〜Ｐ７が、孤立点画素やＲＴＳノイズが発生する可能性がある画素に対応する場合には、相関値算出部２２１は、Δｄｉｒとして最も相関が無い値を算出する。

ステップＳ４０８〜ステップＳ４１０は、上述した図６のステップＳ１１８〜ステップＳ１２０それぞれに対応する。

以上説明した本発明の実施の形態１の変形例４によれば、方向判別部２２がＲＡＷ画像において相関の度合いを算出する各方向において、ＲＴＳノイズが発生する可能性がある画素を除外して方向判別を行う。この結果、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

（実施の形態１の変形例５）
次に、本発明の実施の形態１の変形例５について説明する。本発明の実施の形態１の変形例５は、上述した実施の形態１に係る撮像システム１と同一の構成を有し、方向判別部が実行する処理のみ異なる。具体的には、本実施の形態１の変形例５に係る方向判別部は、相関の度合いを算出する各方向において、ＲＴＳノイズが発生する可能性がある画素が基準から所定以上離れている場合に除外してエッジの方向判別を行う。このため、以下においては、本実施の形態１の変形例５に係る方向判別部が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔方向判別部の処理〕
図１４は、本発明の実施の形態１の変形例５に係る方向判別部２２が実行する処理の概要を示すフローチャートであり、方向判別処理の概要を示すフローチャートである。

図１４において、ステップＳ５０１〜ステップＳ５０５は、上述した図１１のステップＳ２０１〜ステップＳ２０５それぞれに対応する。

ステップＳ５０６において、相関値算出部２２１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してＲＴＳノイズ情報記録部１１２ｂからｄｉｒ方向にあるｉ番目の画素のＲＴＳ＿Ｖａｌｕｅを取得し、取得したＲＴＳ＿Ｖａｌｕｅに所定の係数を乗じた値を閾値として算出する。ここで、所定の係数とは、１以下が好ましく、例えば０．５である。

相関値算出部２２１は、上述したステップＳ５０２で取得したＰｉとステップＳ５０３で算出した平均値との差の絶対値がステップＳ５０６で算出した閾値より大きいか否か（［平均値−Ｐｉ］＞閾値）を判断する（ステップＳ５０７）。相関値算出部２２１が上述したステップＳ５０２で取得したＰｉとステップＳ５０３で算出した平均値との差の絶対値がステップＳ５０６で算出した閾値より大きいと判断した場合（ステップＳ５０７：Ｙｅｓ）、方向判別部２２は、後述するステップＳ５０８へ移行する。これに対して、相関値算出部２２１が上述したステップＳ５０２で取得したＰｉとステップＳ５０３で算出した平均値との差の絶対値がステップＳ５０６で算出した閾値より大きくないと判断した場合（ステップＳ５０７：Ｎｏ）、方向判別部２２は、後述するステップＳ５０９へ移行する。

ステップＳ５０８において、相関値算出部２２１は、ステップＳ５０２で格納したＰｉを削除する。

ステップＳ５０９およびステップＳ５１０は、図６のステップＳ１１５およびステップＳ１１６それぞれに対応する。

ステップＳ５１１において、相関値算出部２２１は、上述したステップＳ５０８の処理の後に残った変数Ｐ１〜Ｐ７それぞれの画素値における最小値と最大値との差の絶対値、変数Ｐ１〜Ｐ７それぞれの標準偏差、分散および画素間の差の絶対値の平均値のいずれか一つを評価値Δｄｉｒとして算出する。

ステップＳ５１２〜ステップＳ５１４は、上述した図６のステップＳ１１８〜ステップＳ１２０それぞれに対応する。

以上説明した本発明の実施の形態１の変形例５によれば、方向判別部２２が相関の度合いを算出する各方向において、変数Ｐｉとｄｉｒ方向の平均値との差の絶対値がＲＴＳノイズの発生する可能性がある画素のＲＴＳ＿Ｖａｌｕｅに所定の係数を乗算した閾値より大きい場合、この画素においてＲＴＳノイズが発生していると判断し、この画素値を除外して方向判別を行うので、ＲＴＳノイズが発生している画像データに対して、方向判別を正確に行うことができる。

なお、本発明の実施の形態１の変形例５では、ＲＴＳノイズが発生する可能性がある画素（ＲＴＳノイズ情報記録部１１２ｂにＲＴＳノイズが発生する可能性がある画素としてその位置情報が記録されている画素）を一律除外して方向判別するようにしてもよい。これにより、上述した本発明の実施の形態１の変形例５に比べ演算量を削減できる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１の撮像システム１と構成が異なる。具体的には、本実施の形態２に係る撮像システムは、画像処理装置の構成が異なる。このため、以下においては、本実施の形態２に係る撮像システムの構成を説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図１５は、本発明の実施の形態２に係る撮像システムの構成を模式的に示すブロック図である。図１５に示す撮像システム１ａは、上述した実施の形態１に係る画像処理装置２０に換えて、画像処理装置２０ａを備える。

〔画像処理装置の構成〕
画像処理装置２０ａの構成について説明する。画像処理装置２０ａは、上述した実施の形態１に係る画像処理部２３に換えて、画像処理部２３ａを備える。

画像処理部２３ａは、孤立点補正部２６と、ＲＴＳノイズ補正部２７と、基本画像処理部２８と、を備える。

孤立点補正部２６は、第２外部Ｉ／Ｆ部２１および第１外部Ｉ／Ｆ部１１５およびバス１１３を介して孤立点位置情報記録部１１２ｄから孤立点位置情報と、揮発メモリ１１１からＲＡＷ画像を取得し、取得した孤立点位置情報に基づいて、孤立点を補正した画像データをＲＴＳノイズ補正部２７へ出力する。ここで、孤立点補正部２６の詳細な構成について説明する。図１６は、孤立点補正部２６の機能構成を示すブロック図である。図１６に示すように、孤立点補正部２６は、方向判別部２６１と、補正部２６２と、を有する。

方向判別部２６１は、上述した方向判別部２２と同様の機能を有し、ＲＡＷ画像における注目画素の画素値および該注目画素の周辺画素の画素値において、最も相関の高い方向を判別する。

補正部２６２は、方向判別部２６１の判別結果に基づいて、画像データのノイズを補正することによってノイズを低減する。

ＲＴＳノイズ補正部２７は、孤立点補正部２６によって補正された画像データに対してＲＴＳノイズを補正し、このＲＴＳノイズを基本画像処理部２８へ出力する。

ここで、ＲＴＳノイズ補正部２７の詳細な構成について説明する。図１７は、ＲＴＳノイズ補正部２７の機能構成を示すブロック図である。図１７に示すように、ＲＴＳノイズ補正部２７は、ＲＴＳノイズ画素判定部２７１と、候補値算出部２７２と、ランダムノイズ量推定部２７３と、代表値算出部２７４と、補正値算出部２７５と、を有する。

ＲＴＳノイズ画素判定部２７１は、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているＲＴＳノイズ情報を、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して取得し、取得したＲＡＷ画像上の画素においてＲＴＳノイズが発生する可能性があるか否かを判定し、判定結果を候補値算出部２７２および代表値算出部２７４へ出力する。具体的には、ＲＴＳノイズ画素判定部２７１に対して画素の位置が入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されているか判定し、記録されていればＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のＲＴＳノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。

候補値算出部２７２は、注目画素のＲＡＷ画像における画素値と、ＲＴＳノイズ画素判定部２７１の判定結果とに基づいて、ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素のＲＡＷ画像における画素値と、算出した複数の候補値を代表値算出部２７４、ランダムノイズ量推定部２７３および補正値算出部２７５それぞれへ出力する。

ランダムノイズ量推定部２７３は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してランダムノイズモデル情報記録部１１２ｃに記録されているランダムノイズモデルを取得し、取得したランダムノイズモデルと代表値算出部２７４が算出した参照値とに基づいて、注目画素の画素値または注目画素の近傍のＲＡＷ画像における参照値に応じたランダムノイズ量を算出する。

代表値算出部２７４は、ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部２７１によってＲＴＳノイズが発生しないと判定されている画素と、ランダムノイズ量推定部２７３が算出した注目画素に対応するランダムノイズ量の参照値と、ＲＴＳ＿Ｖａｌｕｅまたは補正量の最大値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部２７４は、注目画素のＲＡＷ画像における画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部２７５へ出力する。

ここで、代表値算出部２７４の詳細の構成について説明する。図１８は、代表値算出部２７４の機能構成を示すブロック図である。図１８に示すように、代表値算出部２７４は、方向判別部２７４ａと、代表値決定部２７４ｂと、を有する。

方向判別部２７４ａは、上述した方向判別部２２と同様の機能を有し、ＲＡＷ画像における注目画素の画素値および該注目画素の周辺画素の画素値において、最も相関の高い方向を判別する。

代表値決定部２７４ｂは、方向判別部２７４ａの判別結果に基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を決定する。

補正値算出部２７５は、ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部２７２が算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部２７５は、注目画素のＲＡＷ画像における画素値と、候補値算出部２７２によって算出された複数の候補値と、代表値算出部２７４によって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して基本画像処理部２８へ出力する。より具体的には、補正値算出部２７５は、候補値算出部２７２が算出した複数の候補値の中から、代表値算出部２７４が算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正する。これに対して、補正値算出部２７５は、ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素のＲＡＷ画像における画素値をそのまま出力する。

図１５に戻り、画像処理装置２０ａの構成の説明を続ける。
基本画像処理部２８は、方向判別部２２の判別結果に基づいて、ＲＴＳノイズ補正部２７から入力された補正後の画像データに所定の画像処理を行って表示装置３０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、基本画像処理部２８は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

〔孤立点補正部の処理〕
次に、孤立点補正部２６が実行する処理について説明する。図１９は、孤立点補正部２６が実行する処理の概要を示すフローチャートであり、孤立点補正処理の概要を示すフローチャートである。

図１９に示すように、まず、孤立点補正部２６は、記録部２４のバッファ２４２に記憶された画像データに対応する画像の高い方向（縦方向）における画素の位置を示すカウンタｙを初期化（ｙ＝０）し（ステップＳ６０１）、画像データに対応する画像の幅方向（横方向）における画素の位置を示すカウンタｘを初期化（ｘ＝０）する（ステップＳ６０２）。

続いて、孤立点補正部２６は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して孤立点位置情報記録部１１２ｄから取得した孤立点位置情報に基づいて、座標（ｘ,ｙ）の注目画素が孤立点であるか否かを判断する（ステップＳ６０３）。座標（ｘ,ｙ）の注目画素が孤立点である場合（ステップＳ６０３：Ｙｅｓ）、孤立点補正部２６は、後述するステップＳ６０４へ移行する。これに対して、座標（ｘ,ｙ）の注目画素が孤立点でない場合（ステップＳ６０３：Ｎｏ）、孤立点補正部２６は、後述するステップＳ６０８へ移行する。

ステップＳ６０４において、方向判別部２６１は、上述した実施の形態１および上述した実施の形態１の変形例２〜５のいずれかの方向判別処理を実行する。このため、本実施の形態２では、方向判別処理の説明を省略する。なお、上述した実施の形態１の変形例２におけるステップＳ２０３においては、方向判別部２６１は、孤立点画素の画素値を除外した平均値を算出する。

続いて、補正部２６２は、方向判別部２６１の判別結果に基づいて、方向判別部２６１によって判別されたｄｉｒ方向の画素値をバッファ２４２から全て取得する（ステップＳ６０５）。なお、補正部２６２は、取得した画素値を変数Ｐ１〜Ｐ７に複製してバッファ２４２に格納する。

その後、補正部２６２は、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して孤立点位置情報記録部１１２ｄから取得した孤立点位置情報に基づいて、変数Ｐ１〜Ｐ７において孤立点画素を除外し、残りの画素の画素値を用いてｄｉｒ方向の平均値を算出する（ステップＳ６０６）。なお、補正部２６２は、平均値に換えて、変数Ｐ１〜Ｐ７それぞれの加重平均、最頻値、および中央値のいずれかを算出してもよい。

続いて、補正部２６２は、ステップＳ６０６で算出した平均値をバッファ２４２に記憶された座標（ｘ,ｙ）の注目画素の画素値を置き換えることによってｄｉｒ方向の画素値を置換することで孤立点画素を補正する（ステップＳ６０７）。

その後、補正部２６２は、カウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ６０８）。

続いて、カウンタｘが画像データに対応する画像の幅より小さい場合（ステップＳ６０９：Ｙｅｓ）、孤立点補正部２６は、ステップＳ６０３へ戻る。これに対して、カウンタｘが画像データに対応する画像の幅より小さくない場合（ステップＳ６０９：Ｎｏ）、孤立点補正部２６は、ステップＳ６１０へ移行する。

続いて、孤立点補正部２６は、カウンタｙをインクリメント（ｙ＝ｙ＋１）する（ステップＳ６１０）。

その後、カウンタｙが画像データに対応する画像の高さより小さい場合（ステップＳ６１１：Ｙｅｓ）、孤立点補正部２６は、ステップＳ６０２へ戻る。これに対して、カウンタｙが画像データに対応する画像の高さより小さくない場合（ステップＳ６１１：Ｎｏ）、孤立点補正部２６は、本処理を終了する。

このように孤立点補正部２６は、方向判別部２６１の判別結果に基づいて、最も相関の高い方向の相関が向上するように、孤立点を除去してエッジの方向を補正した画像データを生成してＲＴＳノイズ補正部２７へ出力する。

〔ＲＴＳノイズ補正部の処理〕
次に、ＲＴＳノイズ補正部２７が実行する処理について説明する。図２０は、ＲＴＳノイズ補正部２７が実行する処理の概要を示すフローチャートであり、ＲＴＳノイズ補正処理の概要を示すフローチャートである。

図２０に示すように、まず、ＲＴＳノイズ補正部２７は、後述するステップＳ７０２〜ステップＳ７０５の処理を順次行うための注目画素を設定する（ステップＳ７０１）。なお、ＲＴＳノイズ補正部２７は、ＲＡＷ画像における画素毎に左上から右下に向かってラスタ順に、０より大きい整数を１、２、３、・・・と順にインデックスとして割り当てる。次に、ＲＴＳノイズ補正部２７は、ステップＳ７０１が実行される毎に、バッファ２４２のカウンタを１ずつ増加させる（図２０の処理が開始される時点でカウンタは０にリセットする）。ＲＴＳノイズ補正部２７は、カウンタが示しているインデックスが割り当てられている画素を注目画素として設定する。即ち、ＲＴＳノイズ補正部２７によってステップＳ７０１が最初に実行されると、ＲＴＳノイズ補正部２７が０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素が注目画素となる。ＲＴＳノイズ補正部２７がステップＳ７０１の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素の右側の画素が注目画素となる。

続いて、ＲＴＳノイズ画素判定部２７１は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズ情報を取得し、取得したＲＴＳノイズ情報に基づいて、注目画素においてＲＴＳノイズが発生する可能性があるか否かを判定する（ステップＳ７０２）。即ち、ＲＴＳノイズ画素判定部２７１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれているか否かを判定する。具体的には、ＲＴＳノイズ画素判定部２７１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズが発生する可能性がある共有画素ブロックとしてＲＴＳノイズ情報に含まれているか否かを判定する。ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生する可能性があると判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていると判定）された場合（ステップＳ７０２：Ｙｅｓ）、ＲＴＳノイズ補正部２７は、後述するステップＳ７０３へ移行する。これに対して、ＲＴＳノイズ画素判定部２７１によって注目画素においてＲＴＳノイズが発生する可能性がないと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていないと判定）された場合（ステップＳ７０２：Ｎｏ）、ＲＴＳノイズ補正部２７は、後述するステップＳ７０６へ移行する。この場合において、ＲＴＳノイズ画素判定部２７１は、注目画素においてＲＴＳノイズが発生する可能性がないと判定した場合、この注目画素のＲＡＷ画像における画素値をそのまま補正後の画素値として代表値算出部２７４へ出力する。

ステップＳ７０３において、候補値算出部２７２は、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。具体的には、候補値算出部２７２は、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ（ＲＴＳノイズ画素判定部２７１から出力されるＲＴＳノイズに含まれるＲＴＳノイズ情報に含まれている）に基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値全て（ＲＡＷ画像として整数のみを取り得る場合、０以上ＲＴＳ＿Ｖａｌｕｅ以下の全ての整数）を候補値とする。なお、候補値算出部２７２は、撮像制御部１１４によって撮像素子１０５のカラムアンプ等に設定されたアンプゲイン値が、ＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）とで異なる場合、ＲＴＳ＿Ｖａｌｕｅを、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対してＲＴＳ＿Ｖａｌｕｅを乗算した値に置き換えてもよい。また、候補値算出部２７２は、予め設定しうるアンプゲイン値毎のＲＴＳ＿ＶａｌｕｅをＲＴＳノイズ情報に持たせ、この設定しているアンプゲイン値に応じたＲＴＳ＿Ｖａｌｕｅを用いてもよい。また、候補値算出部２７２は、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値の中から、所定個数選択して候補値としてもよい。

続いて、代表値算出部２７４は、注目画素周辺のＲＡＷ画像の画素値に基づいて、代表値（注目画素において、ＲＴＳノイズが発生していない場合における予測されるＲＡＷ画像の画素値）を算出する代表値算出処理を実行する（ステップＳ７０４）。なお、代表値算出部３２３は、ＲＴＳノイズが発生する可能性がある画素を含めるようにしてもよい。

図２１は、図２０のステップＳ７０４の代表値算出処理の概要を示すフローチャートである。

図２１に示すように、まず、方向判別部２７４ａは、注目画素を中心とした範囲において方向判別処理を実行する（ステップＳ７１０）。この場合、方向判別部２７４ａは、上述した実施の形態１および上述した実施の形態１の変形例２〜５のいずれかの方向判別処理を実行するため、方向判別処理の詳細な説明は省略する。

続いて、代表値決定部２７４ｂは、方向判別部２７４ａによる方向判別結果に基づいて、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１に記憶されたＲＡＷ画像から方向判別で求まったｄｉｒ方向の画素値を取得する（ステップＳ７１１）。なお、代表値決定部２７４ｂは、取得したｄｉｒ方向の全ての画素値を変数Ｐ１〜Ｐ７に複製してバッファ２４２に格納する。

その後、代表値決定部２７４ｂは、バッファ２４２に記憶された変数Ｐ１〜Ｐ７それぞれの画素値の平均値を代表値として算出する（ステップＳ７１２）。この場合、代表値決定部２７４ｂは、変数Ｐ１〜Ｐ７のいずれかにＲＴＳノイズが発生する可能性がある画素があるとき、ＲＴＳノイズが発生する可能性がある画素の画素値を除外し、残りの画素の画素値の平均値を代表値として算出するようにしてもよい。また、代表値決定部２７４ｂは、平均値に換えて、変数Ｐ１〜Ｐ７それぞれの画素値における加重平均、最頻値および中央値のいずれかを代表値として算出してもよい。ステップＳ７１２の後、ＲＴＳノイズ補正部２７は、図２０のメインルーチンへ戻る。

図２０に戻り、ステップＳ７０５以降の説明を続ける。
ステップＳ７０５において、補正値算出部２７５は、上述したステップＳ７０３で候補値算出部２７２によって算出された複数の候補値と、上述したステップＳ７０４で代表値算出部２７４によって算出された代表値とに基づいて、注目画素におけるＲＴＳノイズが補正されたＲＡＷ画素の画素値を算出する補正値算出処理を実行する。

図２２は、図２０のステップＳ７０５の補正値算出処理の概要を示すフローチャートである。

図２２に示すように、まず、補正値算出部２７５は、ランダムノイズ量推定部２７３によって推定された注目画素周辺のランダムノイズ量（本実施の形態２では、標準偏差）と、上述した図２０のステップＳ７０３で候補値算出部２７２によって算出された候補値の最大値とに基づいて、候補値の最大値が閾値以上であるか否かを判定する（ステップＳ７２１）。ここで、閾値は、以下の式（１）によって設定される。
ランダムノイズ量×Ｒｍ ・・・（１）
Ｒｍは、所定の係数である。なお、Ｒｍは、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるかに応じて決定される。例えば、Ｒｍの値は、２前後が好ましい。補正値算出部２７５が候補値の最大値が閾値以上であると判定した場合（ステップＳ７２１：Ｙｅｓ）、ＲＴＳノイズ補正部２７は、後述するステップＳ７２２へ移行する。これに対して、補正値算出部２７５が候補値の最大値が閾値以上でないと判定した場合（ステップＳ７２１：Ｎｏ）、ＲＴＳノイズ補正部２７は、後述するステップＳ７２３へ移行する。なお、補正値算出部２７５は、候補値の最大値の代わりに注目画素のＲＴＳ＿Ｖａｌｕｅを用い、注目画素のＲＴＳ＿Ｖａｌｕｅと閾値を比較するようにしても良い。

ステップＳ７２２において、補正値算出部２７５は、画素値を補正する。具体的には、補正値算出部２７５は、まず、以下の式（２）によってΔを算出する。
Δ＝注目画素のＲＡＷ画像における画素値−代表値 ・・・（２）

次に、補正値算出部２７５は、Δの絶対値と、上述した図２０のステップＳ７０３で候補値算出部２７２が算出した１つ以上の候補値とを比較し、最もΔの絶対値に近い候補値を選択し、この候補値をδとする。なお、補正値算出部２７５は、最もΔの絶対値に近い候補値が複数ある場合、過補正を防止するため、複数の候補値のうち最も小さい候補値をδとして選択する。

最後に、補正値算出部２７５は、以下の式（３），（４）によって、注目画素のＲＡＷ画像における画素値を代表値方向にδだけ近づけて補正し、この補正した注目画素の画素値を基本画像処理部２８へ出力する。
Δ＜０の場合
注目画素のＲＡＷ画像における画素値＋δ ・・・（３）
Δ≧０の場合
注目画素のＲＡＷ画像における画素値−δ ・・・（４）

ステップＳ７２２の後、ＲＴＳノイズ補正部２７は、図２０のメインルーチンへ戻る。なお、ステップＳ７２２において、補正値算出部２７５は、Δを算出して複数の候補値の中から最も小さい候補値を選択していたが、注目画素のＲＡＷ画像における画素値に対して、複数の候補値の各々を個別に加算または減算した値を算出し、この算出により得られる複数の加算または減算した値の中で最も近い代表値を選択してもよい。また、ステップＳ７２２において、補正値算出部２７５は、同じ結果が得られれば、別の演算および比較法を用いてもよい。さらにまた、補正値算出部２７５は、補正された注目画素の画素値として、代表値を注目画素のＲＡＷ画像における画素値−ＲＴＳ＿Ｖａｌｕｅ以上、注目画素のＲＡＷ画像における画素値＋ＲＴＳ＿Ｖａｌｕｅ以下にクリップした値とすることと等価になる。

ステップＳ７２３において、補正値算出部２７５は、注目画素のＲＡＷ画像における画素値をそのまま基本画像処理部２８へ出力する。ステップＳ７２３の後、ＲＴＳノイズ補正部２７は、図２０のメインルーチンへ戻る。

図２０に戻り、ステップＳ７０６以降の説明を続ける。
ステップＳ７０６において、ＲＴＳノイズ補正部２７は、全ての画素に対して上述したステップＳ７０１〜ステップＳ７０５の処理が終了したか否かを判定する（ステップＳ７０６）。ＲＴＳノイズ補正部２７が全ての画素に対して上述した処理が終了したと判定した場合（ステップＳ７０６：Ｙｅｓ）、ＲＴＳノイズ補正部２７は、本処理を終了する。これに対して、ＲＴＳノイズ補正部２７が全ての画素に対して上述した処理が終了していないと判定した場合（ステップＳ７０６：Ｎｏ）、ＲＴＳノイズ補正部２７は、上述したステップＳ７０１へ戻る。

以上説明した本発明の実施の形態２によれば、画像データに対して、方向判別を正確に行うことができるので、画像データのノイズ低減、例えば孤立点低減、点滅欠陥ノイズ低減およびランダムノイズ低減等を行う場合に、エッジ部分等で違和感の無い高画質なノイズ低減を行うことができる。

なお、本発明の実施の形態２では、方向判別結果を用いて孤立点低減や点滅欠陥ノイズ低減を行ったが、同様に、ランダムノイズ等の各種ノイズ低減に適用できる。その場合、方向判別結果の示す方向の画素値の相関が高くなるように、ランダムノイズ等の各種ノイズ低減を実施すればよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態２の撮像システム１ａと構成が異なる。具体的には、本実施の形態３に係る撮像システムは、画像処理装置の構成が異なる。このため、以下においては、本実施の形態３に係る撮像システムの構成を説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図２３は、本発明の実施の形態３に係る撮像システムの構成を模式的に示すブロック図である。図２３に示す撮像システム１ｂは、上述した実施の形態２に係る画像処理装置２０ａに換えて、画像処理装置２０ｂを備える。

〔画像処理装置の構成〕
画像処理装置２０ｂの構成について説明する。画像処理装置２０ｂは、上述した実施の形態２に係る画像処理部２３ａに換えて、画像処理部２３ｂを備える。画像処理部２３ｂは、同時化処理部２９と、基本画像処理部２８と、を備える。

同時化処理部２９は、方向判別部２２がＲＴＳノイズ情報に基づいて判別した判別結果に基づいて、ベイヤー配列のＲＡＷ画像を１画素がＲＧＢの３成分からなるＲＧＢ画像データに変換して基本画像処理部２８へ出力する。ここで、同時化処理部２９の詳細な構成について説明する。図２４は、同時化処理部２９の機能構成を示すブロック図である。図２４に示すように、同時化処理部２９は、方向判別部２９１と、補間処理部２９２と、を有する。

方向判別部２９１は、上述した方向判別部２２と同様の機能を有し、ＲＡＷ画像における注目画素の画素値および該注目画素の周辺画素の画素値において、最も相関の高い方向を判別する。

補間処理部２９２は、方向判別部２９１の判別結果に基づいて、ＲＡＷ画像データにおいて方向判別結果の方向にエッジが連続していると想定し、注目画素のカラーフィルタの色以外の色を補間し、ＲＧＢ画像を生成する。

〔同時化処理部の処理〕
次に、同時化処理部２９が実行する処理について説明する。図２５は、同時化処理部２９が実行する処理の概要を示すフローチャートであり、同時化処理の概要を示すフローチャートである。

図２５に示すように、まず、同時化処理部２９は、記録部２４のバッファ２４２に記憶された画像データに対応する画像の高い方向（縦方向）における画素の位置を示すカウンタｙを初期化（ｙ＝０）し（ステップＳ８０１）、画像データに対応する画像の幅方向（横方向）における画素の位置を示すカウンタｘを初期化（ｘ＝０）する（ステップＳ８０２）。

続いて、座標（ｘ,ｙ）の注目画素がＧ画素である場合（ステップＳ８０３：Ｙｅｓ）、同時化処理部２９は、後述するステップＳ８０８へ移行する。これに対して、座標（ｘ,ｙ）の注目画素がＧ画素でない場合（ステップＳ８０３：Ｎｏ）、同時化処理部２９は、後述するステップＳ８０４へ移行する。

ステップＳ８０４において、方向判別部２９１は、上述した実施の形態１および上述した実施の形態１の変形例２〜５のいずれかの方向判別処理を実行する。この場合、図２６Ａ〜図２６Ｆに示すように、方向判別部２９１は、解像度に最も影響があるカラーフィルタが配置された画素、例えばＧ画素の画素値を用いて方向判別処理を行う。また、ＮＢＩ（Narrow Band Imaging）を行う場合、解像度に最も影響があるカラーフィルタが配置された画素、例えばＢ画素を用いて方向判別処理を行う。もちろん、方向判別部２９１は、上述した実施の形態１および上述した実施の形態１の変形例２〜５のいずれかの方向判別処理と同様に、Ｇ画素の画素値、Ｒフィルタが配置されたＲ画素の画素値およびＢフィルタが配置されたＢ画素の画素値それぞれを用いて方向判別処理を行ってもよい。なお、方向判別部２９１が実行する方向判別処理は、上述した実施の形態１および上述した実施の形態１の変形例２〜５のいずれかの方向判別処理に対応するため、本実施の形態３では、方向判別処理の説明を省略する。

その後、補間処理部２９２は、方向判別部２９１の判別結果に基づいて、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して揮発メモリ１１１に記憶されたＲＡＷ画像から方向判別部２９１によって判別されたｄｉｒ方向の画素値を全て取得する（ステップＳ８０５）。この場合、補間処理部２９２は、揮発メモリ１１１から取得したｄｉｒ方向の画素値を変数Ｐ１〜Ｐ７に複製してバッファ２４２に格納する。

続いて、補間処理部２９２は、バッファ２４２に格納された変数Ｐ１〜Ｐ７それぞれの画素値を用いて、ｄｉｒ方向の平均値を算出する（ステップＳ８０６）。なお、補間処理部２９２は、平均値に換えて、変数Ｐ１〜Ｐ７それぞれの加重平均、最頻値および中央値のいずれかをｄｉｒ方向の平均値として算出してもよい。

その後、補間処理部２９２は、ステップＳ８０６で算出した平均値をバッファ２４２に記憶された座標（ｘ,ｙ）のＧ成分として補間する（ステップＳ８０７）。

続いて、座標（ｘ,ｙ）の注目画素がＲ画素である場合（ステップＳ８０８：Ｙｅｓ）、同時化処理部２９は、後述するステップＳ８１２へ移行する。これに対して、座標（ｘ,ｙ）の注目画素がＲ画素でない場合（ステップＳ８０８：Ｎｏ）、同時化処理部２９は、後述するステップＳ８０９へ移行する。

ステップＳ８０９において、補間処理部２９２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して座標（ｘ,ｙ）の注目画素の周辺のＲ画素の画素値を揮発メモリ１１１が記憶するＲＡＷ画像から取得する。

続いて、補間処理部２９２は、ステップＳ８０９で取得した座標（ｘ,ｙ）の注目画素の周辺のＲ画素の画素値に対して加重平均を算出する（ステップＳ８１０）。この場合、補間処理部２９２は、５×５画素内のＲ画素に対して、座標（ｘ,ｙ）に近いＲ画素ほど画素値に重み付けを大きくするフィルタを適用して加重平均を算出する。

その後、補間処理部２９２は、ステップＳ８１０で算出した加重平均をバッファ２４２に記憶された座標（ｘ,ｙ）のＲ成分として補間する（ステップＳ８１１）。

続いて、座標（ｘ,ｙ）の注目画素がＢ画素である場合（ステップＳ８１２：Ｙｅｓ）、同時化処理部２９は、後述するステップＳ８１６へ移行する。これに対して、座標（ｘ,ｙ）の注目画素がＢ画素でない場合（ステップＳ８１２：Ｎｏ）、同時化処理部２９は、後述するステップＳ８１３へ移行する。

ステップＳ８１３において、補間処理部２９２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して座標（ｘ,ｙ）の注目画素の周辺のＢ画素の画素値を揮発メモリ１１１が記憶するＲＡＷ画像から取得する。

続いて、補間処理部２９２は、ステップＳ８１３で取得した座標（ｘ,ｙ）の注目画素の周辺のＢ画素の画素値に対して加重平均を算出する（ステップＳ８１４）。この場合、補間処理部２９２は、５×５画素内のＢ画素に対して、座標（ｘ,ｙ）に近いＢ画素ほど画素値に重み付けを大きくするフィルタを適用して加重平均を算出する。

その後、補間処理部２９２は、ステップＳ８１４で算出した加重平均をバッファ２４２に記憶された座標（ｘ,ｙ）のＢ成分として補間する（ステップＳ８１５）。

その後、補間処理部２９２は、カウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ８１６）。

続いて、カウンタｘが画像データに対応する画像の幅より小さい場合（ステップＳ８１７：Ｙｅｓ）、補間処理部２９２は、ステップＳ８０３へ戻る。これに対して、カウンタｘが画像データに対応する画像の幅より小さくない場合（ステップＳ８１７：Ｎｏ）、補間処理部２９２は、ステップＳ８１８へ移行する。

続いて、補間処理部２９２は、カウンタｙをインクリメント（ｙ＝ｙ＋１）する（ステップＳ８１８）。

その後、カウンタｙが画像データに対応する画像の高さより小さい場合（ステップＳ８１９：Ｙｅｓ）、補間処理部２９２は、ステップＳ８０２へ戻る。これに対して、カウンタｙが画像データに対応する画像の高さより小さくない場合（ステップＳ８１９：Ｎｏ）、補間処理部２９２は、本処理を終了する。

なお、基本画像処理部２８は、以下の方法のいずれかによって上述した同時化処理部２９の方向判別結果に基づいたエッジ成分に対して、コアリング処理やゲイン乗算処理を行い画像データに加算することで、方向判別結果に基づいたエッジ強調を行うようにしてもよい。
（方法１）
基本画像処理部２８は、上記で補間処理したＲＧＢ画像から、ＲＧＢ画像にローパスフィルターを適用した画像を減算することによって、方向判別結果に基づいたエッジ成分を生成する方法。
（方法２）
基本画像処理部２８は、注目画素を中心として、複数の方向のエッジを抽出可能なフィルタ（例えば微分フィルタ等）を適用して複数の方向のエッジ成分を抽出し、方向判別部２９１の方向判別結果と直交する方向のエッジ成分を算出することで、方向判別結果に基づいたエッジ成分を生成する方法。
（方法３）
基本画像処理部２８は、注目画素を中心として、ラプラシアンフィルタ等の複数方向のエッジを抽出可なフィルタを適用してエッジ成分を抽出し、方向判別部２９１の方向判別結果に基づき、その方向に平滑化することで、方向判別結果に基づいたエッジ成分を生成する方法。

このように、基本画像処理部２８は、上述した同時化処理部２９の方向判別結果と上述した方法１〜方法３のいずれかを用いて方向判別結果に基づいたエッジ強調を行う。

以上説明した本発明の実施の形態３によれば、ＲＴＳノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズが発生している画像データに対して、方向判別を正確に行うことができるので、補間処理（同時化処理等）およびエッジの抽出処理に用いることによって、高解像感の画像の生成を行うことができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。上述した実施の形態１〜３は、撮像装置に対して画像処理装置が個別に設けられていたが、本実施の形態４では、撮像装置本体に画像処理装置を設ける。このため、以下においては、上述した実施の形態１〜３に係る撮像システムと同様の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図２７は、本発明の実施の形態４に係る撮像システムの構成を模式的に示すブロック図である。図２７に示す撮像システム２は、本体部３と、本体部３に着脱自在に接続可能なレンズ部４と、を備える。

〔本体部の構成〕
本体部３は、シャッタ１０３と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、ＡＥ処理部１１６と、ＡＦ処理部１１７と、外部Ｉ／Ｆ部１１８と、表示部１１９と、ドライバ１２０と、画像処理部３２と、を備える。ドライバ１２０は、撮像制御部１１４の制御のもと、シャッタ１０３を駆動する。

ＡＥ処理部１１６は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、この取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１６は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値、露光時間、ＩＳＯ感度等を決定することで撮像システム２の自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）を行う。

ＡＦ処理部１１７は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、取得した画像データに基づいて、撮像システム２の自動焦点の調整を行う。例えば、ＡＦ処理部１１７は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ(Ａｕｔｏ Ｆｏｃｕｓ)演算処理を行うことによって、撮像システム２の合焦評価を決定することで撮像システム２の自動焦点の調整を行う。なお、撮像システム２の自動焦点の調整方法は、撮像素子１０５で位相差信号を取得するものであってもよい。

外部Ｉ／Ｆ部１１８は、本体部３における各種ブロックにおけるデータの読み書きや、専用のコマンド等による制御などを行える。外部Ｉ／Ｆ部１１８は、ＦＰＧＡ、ＤＳＰまたはＧＰＵ等を搭載した専用の回路やパーソナルコンピュータ（ＰＣ）等の外部機器を接続することで、本体部３における各種ブロックの制御が可能なインターフェースである。

表示部１１９は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部１１９は、撮像素子１０５が生成した画像データに対応する画像を表示する。

画像処理部３２は、方向判別部２２と、孤立点補正部２６と、ＲＴＳノイズ補正部２７と、基本画像処理部２８と、を有する。

〔レンズ部の構成〕
図２７に示すように、レンズ部４は、所定の視野領域から集光した被写体像を撮像素子１０５に結像する。光学系１０１と、絞り１０２と、ドライバ１０４と、を備える。

〔撮像システムの処理〕
次に、撮像システム２が実行する処理について説明する。図２８は、撮像システム２が実行する処理の概要を示すフローチャートである。

図２８に示すように、まず、ユーザによって操作部１０８の電源ボタン（図示せず）が操作されて、本体部３の電源がオンになると、撮像制御部１１４は、撮像システム２の初期化を行う（ステップＳ９０１）。具体的には、撮像制御部１１４は、動画の記録中を示す記録中フラグをオフ状態にする初期化を行う。この記録中フラグは、動画の撮影中にオン状態になり、動画を撮影していないときにオフ状態となるフラグであり、揮発メモリ１１１に記憶されている。

続いて、操作部１０８の動画ボタンが押された場合（ステップＳ９０２：Ｙｅｓ）、撮像制御部１１４は、オン状態で動画の記録中であることを示す記録中フラグを反転し（ステップＳ９０３）、撮像制御部１１４は、撮像システム２が動画記録中であるか否かを判断する（ステップＳ９０４）。具体的には、撮像制御部１１４は、揮発メモリ１１１に記憶された記録中フラグがオン状態であるか否かを判定する。撮像制御部１１４によって撮像システム２が動画記録中であると判断された場合（ステップＳ９０４：Ｙｅｓ）、撮像システム２は、後述するステップＳ９０５へ移行する。これに対して、撮像制御部１１４によって撮像システム２が動画記録中でないと判断された場合（ステップＳ９０４：Ｎｏ）、撮像システム２は、後述するステップＳ９０６へ移行する。

ステップＳ９０５において、撮像制御部１１４は、記録媒体１１０に画像データを時系列に沿って記録するための動画ファイルを生成する。ステップＳ９０５の後、撮像システム２は、後述するステップＳ９０６へ移行する。

ステップＳ９０２において、操作部１０８の動画ボタンが押されていない場合（ステップＳ９０２：Ｎｏ）、撮像システム２は、ステップＳ９０６へ移行する。

続いて、撮像制御部１１４は、撮像システム２が動画の記録中であるか否かを判断する（ステップＳ９０６）。撮像制御部１１４によって撮像システム２が動画の記録中であると判断された場合（ステップＳ９０６：Ｙｅｓ）、撮像システム２は、後述するステップＳ９１７へ移行する。これに対して、撮像制御部１１４によって動画の記録中でないと判断された場合（ステップＳ９０６：Ｎｏ）、撮像システム２は、後述するステップＳ９０７へ移行する。

ステップＳ９０７において、操作部１０８の再生ボタンが押された場合（ステップＳ９０７：Ｙｅｓ）、撮像システム２は、記録媒体１１０に記録された画像データに対応する画像を表示部１１９に再生させて表示させる（ステップＳ９０８）。ステップＳ９０８の後、撮像システム２は、後述するステップＳ９０９へ移行する。

ステップＳ９０７において、操作部１０８の再生ボタンが押されていない場合（ステップＳ９０７：Ｎｏ）、撮像システム２は、ステップＳ９０９へ移行する。

続いて、操作部１０８のメニューボタンが押された場合（ステップＳ９０９：Ｙｅｓ）、撮像システム２は、各種設定を行う設定処理を実行する（ステップＳ９１０）。ステップＳ９１０の後、撮像システム２は、後述するステップＳ９１１へ移行する。

ステップＳ９０９において、操作部１０８のメニューボタンが押されていない場合（ステップＳ９０９：Ｎｏ）、撮像システム２は、ステップＳ９１１へ移行する。

ステップＳ９１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移した場合（ステップＳ９１１：Ｙｅｓ）、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理およびＡＦ処理部１１７にピントを調整するＡＦ処理それぞれを実行させる（ステップＳ９１２）。その後、撮像システム２は、後述するステップＳ９２４へ移行する。

ステップＳ９１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移していない場合（ステップＳ９１１：Ｎｏ）、撮像システム２は、ステップＳ９１３へ移行する。

続いて、操作部１０８のレリーズボタンが２ｎｄ状態に遷移した場合（ステップＳ９１３：Ｙｅｓ）、撮像制御部１１４は、メカシャッタによる撮影を実行する（ステップＳ９１４）。具体的には、撮像制御部１１４は、シャッタ１０３を制御することによって、撮像素子１０５に撮影を実行させる。

続いて、画像処理部３２は、撮像素子１０５が生成した画像データに対して、方向判別を行い、ＲＴＳノイズの補正を行った後に、所定の処理を行う画像処理を実行する（ステップＳ９１５）。なお、画像処理の詳細は後述する。

その後、撮像制御部１１４は、画像処理部３２が画像処理を施した画像データを記録媒体１１０に記録する（ステップＳ９１６）。ステップＳ９１６の後、撮像システム２は、後述するステップＳ９２４へ移行する。

ステップＳ９１３において、操作部１０８のレリーズボタンが２ｎｄ状態に遷移していない場合（ステップＳ９１３：Ｎｏ）、撮像システム２は、ステップＳ９１７へ移行する。

続いて、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理を実行させ（ステップＳ９１７）、ＡＦ処理部１１７にピントを調整するＡＦ処理を実行させる（ステップＳ９１８）。

その後、撮像制御部１１４は、ドライバ１２０を介して撮像素子１０５に露光時間を電子的に制御する、所謂、電子シャッタによる撮影を実行させる（ステップＳ９１９）。電子シャッタによる撮影によって撮像素子１０５が生成した画像データは、アナログ処理部１０６およびＡ／Ｄ変換部１０７およびバス１１３を介して揮発メモリ１１１に出力される。

続いて、画像処理部３２は、ステップＳ９１５と同様の画像処理を実行する（ステップＳ９２０）。なお、画像処理の詳細は後述する。

その後、撮像システム２は、電子シャッタによる撮影によって撮像素子１０５が生成した画像データに対応するライブビュー画像を表示部１１９に表示させる（ステップＳ９２１）。

続いて、撮像システム２が動画記録中である場合（ステップＳ９２２：Ｙｅｓ）、撮像制御部１１４は、画像データをステップＳ９１０の設定処理により設定した記録形式で図示しない画像圧縮展開部に圧縮させ、この圧縮した画像データを記録媒体１１０に作成された動画ファイルに動画として記録させる（ステップＳ９２３）。ステップＳ９２３の後、撮像システム２は、ステップＳ９２４へ移行する。

ステップＳ９２２において、撮像システム２が動画記録中でない場合（ステップＳ９２２：Ｎｏ）、撮像システム２は、ステップＳ９２４へ移行する。

続いて、操作部１０８の電源ボタンが押されて撮像システム２の電源がオフ状態になった場合（ステップＳ９２４：Ｙｅｓ）、撮像システム２は、本処理を終了する。これに対して、撮像システム２の電源がオフ状態になっていない場合（ステップＳ９２４：Ｎｏ）、撮像システム２は、ステップＳ９０２へ戻る。

〔画像処理の概要〕
次に、図２８のステップＳ９１５およびステップＳ９２０で説明した画像処理について説明する。図２９は、画像処理の概要を示すフローチャートである。

図２９に示すように、まず、方向判別部２２は、撮像素子１０５が生成した画像データに対してエッジを判別する方向判別処理を実行する（ステップＳ９５１）。ここで、方向判別処理は、方向判別部２２が上述した実施の形態１および上述した実施の形態１の変形例２〜５それぞれにおいて実行する方向判別処理のいずれかに対応するため説明を省略する。

続いて、孤立点補正部２６は、画像データに対して、方向判別部２２が判別した判別結果を用いて画像データの孤立点を補正する孤立点補正処理を実行する（ステップＳ９５２）。ここで、孤立点補正処理は、孤立点補正部２６が上述した実施の形態２において実行する孤立点補正処理に対応するため説明を省略する。

その後、ＲＴＳノイズ補正部２７は、画像データに対して、画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行する（ステップＳ９５３）。ここで、ＲＴＳノイズ補正処理は、ＲＴＳノイズ補正部２７が上述した実施の形態２において実行するＲＴＳノイズ補正処理に対応するため説明を省略する。

続いて、基本画像処理部２８は、ＲＴＳノイズ補正部２７がＲＴＳノイズを補正した画像データに対して基本画像処理を実行する（ステップＳ９５４）。ステップＳ９５４の後、撮像システム２は、図２８のメインルーチンへ戻る。

以上説明した本発明の実施の形態４によれば、上述した実施の形態１と同様の効果を有し、ＲＴＳノイズのような所定の範囲でランダムに値が変動する点滅欠陥ノイズが発生している画像データに対して、エッジの方向判別を正確に行うことができる。

（その他の実施の形態）
本発明では、方向判別部の判別結果に基づいて、ＲＴＳノイズを補正する補正処理、同時化処理、孤立点を除外する孤立点補正処理等を行っていたが、方向判別部の判別結果に基づいて、例えば画像データに含まれるノイズを抑制または軽減するノイズリダクション（Noise Reduction）処理または画像の拡大または縮小を行うリサイズ処理等を行ってもよい。

また、本発明では、ＲＴＳノイズ情報記録部やランダムノイズモデル情報記録部、孤立点位置情報記録部が撮像装置内に設けられていたが、上述した画像処理装置内に設けられていてもよし、ネットワークを介して双方向に通信可能なサーバ内にＲＴＳノイズ情報記録部やランダムノイズモデル情報記録部、孤立点位置情報記録部を設け、ネットワークを介してＲＴＳノイズ情報やランダムノイズモデル情報記録部、孤立点位置情報記録部を取得するようにしてもよい。また、撮像素子が着脱可能な場合には、撮像素子を含む着脱可能な装置にＲＴＳノイズ情報記録部やランダムノイズモデル情報記録部、孤立点位置情報記録部を設けてもよい。

本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

また、本発明は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１,１ａ,１ｂ,２ 撮像システム
３ 本体部
４ レンズ部
１０ 撮像装置
２０,２０ａ,２０ｂ 画像処理装置
２１ 第２外部Ｉ／Ｆ部
２２,２６１,２７４ａ,２９１ 方向判別部
２３,２３ａ,２３ｂ,３２ 画像処理部
２４ 記録部
２５,１１３ バス
２６ 孤立点補正部
２７ ＲＴＳノイズ補正部
２８ 基本画像処理部
２９ 同時化処理部
３０ 表示装置
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４,１２０ ドライバ
１０５,１０５ｉ 撮像素子
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０８ 操作部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ,２４１ プログラム記録部
１１２ｂ ＲＴＳノイズ情報記録部
１１２ｃ ランダムノイズモデル情報記録部
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部
１１６ ＡＥ処理部
１１７ ＡＦ処理部
１１８ 外部Ｉ／Ｆ部
１１９ 表示部
２２１ 相関値算出部
２２２ 方向決定部
２４２ バッファ
２６２ 補正部
２７１ ＲＴＳノイズ画素判定部
２７２ 候補値算出部
２７３ ランダムノイズ量推定部
２７４ 代表値算出部
２７４ｂ 代表値決定部
２７５ 補正値算出部
２９２ 補間処理部

Claims (12)

1. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置であって、
   前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報と、前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量と、を対応付けた情報を含むノイズ情報を取得する取得部と、
   前記取得部が取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別部と、
   前記方向判別部の判別結果に基づいて、前記画像データに対して画像処理を行う画像処理部と、
   を備え、
   前記方向判別部は、前記注目画素の画素値、前記注目画素の画素値に前記特徴量を加算した値および前記注目画素の画素値から前記特徴量を減算した値のいずれか一つの値を用いて前記方向を判別することを特徴とする画像処理装置。
2. 前記方向判別部は、前記画像に対して前記注目画素における各方向の相関を判別する場合において、前記注目画素または前記周辺画素から基準画素を決定し、該基準画素に前記点滅欠陥ノイズが発生する可能性があるとき、前記特徴量を用いて前記基準画素以外の画素の画素値を補正して前記方向を判別することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量は、前記点滅欠陥ノイズのノイズレベルおよび前記ノイズレベルに基づき算出された値のいずれかであることを特徴とする請求項１に記載の画像処理装置。
4. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置であって、
   前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報を含むノイズ情報を取得する取得部と、
   前記取得部が取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別部と、
   前記方向判別部の判別結果に基づいて、前記画像データに対して画像処理を行う画像処理部と、
   を備え、
   前記方向判別部は、前記位置情報に基づいて、前記点滅欠陥ノイズが発生する可能性がある画素を除外して前記方向を判別することを特徴とする画像処理装置。
5. 前記画像処理部は、前記方向判別部が判別した前記方向の画素の画素値の相関が高くなるように前記注目画素の画素値におけるノイズを除去する画像処理を行うことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
6. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置であって、
   前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報を含むノイズ情報を取得する取得部と、
   前記取得部が取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別部と、
   前記方向判別部の判別結果に基づいて、前記画像データに対して画像処理を行う画像処理部と、
   を備え、
   前記画像処理部は、前記方向判別部が判別した前記方向の画素の画素値の相関が高くなるように前記注目画素の画素値における前記点滅欠陥ノイズを除去する画像処理を行うことを特徴とする画像処理装置。
7. 前記ノイズ情報は、前記撮像素子における孤立点の孤立点位置情報をさらに含み、
   前記画像処理部は、前記孤立点位置情報に基づいて、前記方向における前記孤立点を除外して前記点滅欠陥ノイズを除去する画像処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理部は、前記方向判別部が判別した前記方向における画素の画素値を用いて前記孤立点の画素値を補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理部は、前記方向判別部が判別した前記方向をエッジとして推定して前記注目画素の画素値を補間する画像処理を行うことを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記画像処理部は、前記方向判別部の判別結果に基づいて、前記画像データの同時化処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置が実行する画像処理方法であって、
    前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報と、前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量と、を対応付けた情報を含むノイズ情報を取得する取得ステップと、
    前記取得ステップにおいて取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別ステップと、
    前記方向判別ステップの判別結果に基づいて、前記画像データに対して画像処理を行う画像処理ステップと、
    を含み、
    前記方向判別ステップは、前記注目画素の画素値、前記注目画素の画素値に前記特徴量を加算した値および前記注目画素の画素値から前記特徴量を減算した値のいずれか一つの値を用いて前記方向を判別することを特徴とする画像処理方法。
12. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された点滅欠陥ノイズが含まれる画像データに対して画像処理を行う画像処理装置に、
    前記読み出し回路に起因する点滅欠陥ノイズが発生する可能性がある画素の位置情報と、前記読み出し回路に起因する前記点滅欠陥ノイズに関する特徴量と、を対応付けた情報を含むノイズ情報を取得する取得ステップと、
    前記取得ステップにおいて取得したノイズ情報および前記画像データに対応する画像における注目画素の周辺の周辺画素の画素値に基づいて、前記注目画素の画素値と最も相関が高い画素値が続く方向を判別する方向判別ステップと、
    前記方向判別ステップの判別結果に基づいて、前記画像データに対して画像処理を行う画像処理ステップと、
    を実行させ、
    前記方向判別ステップは、前記注目画素の画素値、前記注目画素の画素値に前記特徴量を加算した値および前記注目画素の画素値から前記特徴量を減算した値のいずれか一つの値を用いて前記方向を判別することを特徴とするプログラム。

Images