JP5517883B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、固体撮像素子の製造に起因する欠陥画素を有する画像データの補正処理を行う画像処理装置及び画像処理方法に関する。

固体撮像素子は、その製造工程等に起因して、入射光に適正に反応しない等の欠陥素子が含まれていることがある。このような欠陥素子が全くない固体撮像素子を製造することは困難である。

このため、従来の固体撮像素子を利用した機器では、固体撮像素子の欠陥素子から出力された欠陥画素データを、一次元または二次元フィルタを使用して補正する手段が提案されている（例えば、特許文献１参照）。このフィルタを使用して補正する手段では、欠陥画素データと同一の色情報を持った周囲の正常な画素（参照画素）から得られる画素データを利用して補正する。

しかしながら、このフィルタを使用して補正する手段では、画像データ全域に補正を行う際に、欠陥画素が画像データの端部に位置した場合に、参照画素の一部が存在しない為、補正できないという問題があった。

そこで、フィルタの参照画素の一部が存在しない場合には、存在しない参照画素の位置に端部のデータを外挿し、擬似的に参照画素を生成することでフィルタを使用する手段が提案されている（例えば、特許文献２参照）。

特開２００６−３２４９０８号公報 特開２００６−０９４１６０号公報

しかしながら、従来のフィルタの参照画素の一部が存在しない場合の補正手段では、フィルタの擬似的な参照画素としての不足画素を、端部の有効画素データをコピーして埋め合わせる処理が必要となる。この不足画素を有効画素からコピーする処理の最中には、画像データの入力を停止させなければならないので、全体のパフォーマンスが低下することになる。さらに、この補正手段では、画像データの入力を停止させるフロー制御と、それに付随する制御回路とが必要となり、回路が複雑化してしまう。

本発明の目的は、補正対象画素の周辺にある有効な参照画素のデータを利用し、フィルタによる補正処理を迅速かつ簡易に実行できる画像処理装置及び画像処理方法を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、撮像素子の設定された範囲内の画素から読み出される有効領域データ、及び、前記有効領域データの値を補正するため前記撮像素子の設定された範囲外の画素から読み出される無効領域データを含む画像データを取り込む取得手段と、前記撮像素子に含まれる欠陥画素の位置を示す第１の信号と、前記撮像素子に含まれる前記設定された範囲外の画素の位置を示す第２の信号と、を重ね合わせて欠陥判定画素の位置を示す欠陥画素判定信号を生成する信号生成手段と、前記画像データの着目する画素が、前記欠陥画素判定信号により欠陥判定画素であると示された画素である場合に、前記着目する画素の周辺に位置する画素のうちの前記欠陥画素判定信号により欠陥判定画素であると示されていない画素における前記画像データの値を用いて、前記画像データの前記着目する画素の値を補正する補正手段と、を有することを特徴とする。

本発明によれば、補正対象画素の周辺にある有効な参照画素のデータを利用し、フィルタによる欠陥画素の補正処理を迅速かつ簡易に実行できる画像処理装置及び画像処理方法を提供できる。

本発明の第１実施の形態に係わる撮像装置における要部の概略構成を示すブロック図である。 （ａ）（ｂ）及び（ｃ）は、欠陥判定画素の概念を示す説明図である。 （ａ）（ｂ）及び（ｃ）は、無効領域データおよび周辺参照領域の概念を示す説明図である。 本発明の第１実施の形態に係わる欠陥画素補正処理回路の構成を示すブロック図である。 本発明の第１実施の形態に係わる補正方法決定部で判断する欠陥画素位置のパターンを示した概略説明図である。 本発明の第１実施の形態に係わる欠陥画素補正部の構成を示すブロック図である。 本発明の第１実施の形態に係わる撮像装置における撮影処理の手順を示すフローチャートである。 本発明の第２実施の形態に係わる撮像装置における、センサーマップ上の二次元フィルタの位置を示すセンサーマップである。 本発明の第２実施の形態に係わる撮像装置における、センサーマップ上の別の二次元フィルタの位置を示すセンサーマップである。 本発明の第２実施の形態における、デジタル信号処理部内の各ブロックでの出力をセンサーマップで表現した概念説明図である。

（第１実施の形態）
以下、本発明の画像処理装置及び画像処理方法の第１実施の形態に係わる撮像装置について図面を参照しながら説明する。なお、以下の説明において本発明に直接関係のない部分は、図示及びその説明を省略する。

図１の撮像装置のブロック図で、１００は、本第１実施の形態に係わる撮像装置の本体である。この撮像装置１００は、撮像素子１０２から出力される二次元の画像データに発生する欠陥画素を適切に補正して、良好な画像を出力させる機能を備える。

この撮像装置１００は、図１に示すように、光学レンズ１０１を通った光を撮像素子１０２に結像させる。この撮像装置１００では、撮像データ入力Ｉ／Ｆ１１１が撮像素子１０２を駆動させるための同期信号をＴＧ（タイミングジェネレーター）１０５に出力する。

このＴＧ１０５は、撮像素子１０２を駆動させ、結像された二次元の画像をアナログ処理回路１０３に出力する。アナログ処理回路１０３は、非線形増幅処理などを行い、Ａ／Ｄ変換器１０４に出力する。Ａ／Ｄ変換器１０４は、アナログ処理回路１０３から出力されたアナログ信号をデジタル信号に変換し、デジタル信号処理部１１４に出力する。

デジタル信号処理部１１４は、欠陥画素データをＤＲＡＭ（記憶部）１０９から読み出し、前記デジタル信号に対して欠陥画素補正を行い、同時化処理やノイズ低減処理を行った上で、ＪＰＥＧ等の圧縮ファイルに変換する。変換された前記デジタル信号は、操作表示部１０６又は着脱可能なメディア１０７に出力される。

また、この撮像装置１００は、各種演算を行うと共に装置全体の制御を司るＣＰＵ１０８を備える。このＣＰＵ１０８には、ＲＯＭ１１０が接続されている。このＲＯＭ１１０には、ＣＰＵ１０８にプリフェッチされるデータが格納されており、撮像装置１００が起動する時にＣＰＵ１０８に出力される。また、ＲＯＭ１１０は、ＣＰＵ１０８を介してＤＲＡＭ（記憶部）１０９に撮像素子１０２に含まれる欠陥画素データを出力する。

この撮像装置１００で用いられる撮像素子１０２は、二次元イメージセンサーとして構成されている。この撮像素子１０２は、画面を構成する水平及び垂直方向に二次元的に画素を形成する不図示の画素を配列した感光部と各画素にて生成される電荷を電気信号に変換してアナログの電気信号として出力する出力アンプとを備える。

この撮像素子１０２の各画素は、原色系カラーフィルタを有しており、例えば赤色（Ｒ）を検出する画素と、緑色（Ｇ）を検出する画素と青色（Ｂ）を検出する画素が含まれる。本実施の形態では、ベイヤー配列を前提に説明する。この撮像素子１０２では、製造工程で発生する構造上の欠陥画素が存在する。ここで言う欠陥画素とは、通常の画素に対して入射光に反応しない画素や、入射光がなくても異常に多い暗電流を発生する画素を指す。

このＲＯＭ１１０に含まれる欠陥画素の位置を特定する欠陥画素データは、撮像素子１０２の製造メーカーから供給され又は撮像装置１００の製造工程上で判別されて、ＲＯＭ１１０に記録される。

この撮像素子１０２から出力されたアナログの電気信号は、アナログ処理回路１０３へ入力される。アナログ処理回路１０３は、撮像素子１０２に含まれる伝送路上のノイズなどを除去するＣＤＳ回路や非線形増幅回路などを備えている。アナログ処理回路１０３は、入力されたアナログ電気信号に対して前記ＣＤＳ回路や非線形増幅回路による処理を行った結果をＡ／Ｄ変換器１０４に出力する。

Ａ／Ｄ変換器１０４は、撮像素子１０２から出力され、アナログ処理回路１０３で処理されたアナログ電気信号をデジタル電気信号（画素信号）に変換し、デジタル信号処理部１１４に出力する。

次に、本実施の形態に係わる撮像装置１００で撮影を行う際のＣＰＵ１０８の具体的な動作について図７のフローチャートを参照して説明する。

この撮像装置１００では、ユーザーが電源スイッチをＯＮにする等して撮影を開始するための操作を行うと、撮影処理の動作が開始する。そして、ＣＰＵ１０８は、ＲＯＭ１１０から欠陥画素データを読み出し、ＤＲＡＭ（記憶部）１０９に出力する。これと共に、ＣＰＵ１０８は、露光時間などの設定をＲＯＭ１１０から読み出し、撮像装置１００の各ブロックに動作を設定する（ステップＳ７００）。前記各ブロックとは、図１に示される撮像装置１００の全ブロックである。

次に、ＣＰＵ１０８は、光学レンズ１０１を駆動させ、被写体にピントがあうように駆動させる（ステップＳ７０３）。

次に、ＣＰＵ１０８は、撮像を開始するまで待機する（ステップＳ７０４でＮＯ）。そして、撮像開始と判定した場合（ステップＳ７０４でＹＥＳ）にステップＳ７０５へ進む。また、撮像を開始するための手段には、スイッチ操作での撮像制御開始又はセルフタイマの如く所定の時間になったときに撮影が開始されるようにする手段を利用できる。

次に、ＣＰＵ１０８は、ＴＧ１０５を制御して撮像素子１０２の初期化を行わせる。これと共に、ＣＰＵ１０８は、撮像データ入力Ｉ／Ｆ１１１を制御して、撮像素子１０２から出力される画像信号を蓄積可能な状態にセットさせる（ステップＳ７０５）。

次に、ＣＰＵ１０８は、不図示の光学レンズ１０１の前面にあるシャッタを開き、撮像素子１０２に露光を開始するよう制御する（ステップＳ７０６）。この時、撮像データ入力Ｉ／Ｆ１１１は、ＴＧ１０５に、例えばＶＤ，ＨＤのような同期信号を出力する。

次に、ＣＰＵ１０８は、シャッタが開いてから露光時間がステップＳ７００で設定された時間だけ露光されるまで待機する（ステップＳ７０７でＮＯ）。そして、ＣＰＵ１０８は、露光時間が設定時間に達したと判定したとき（ステップＳ７０７でＹＥＳ）に、ステップＳ７０８に進みシャッタを閉じ、撮像素子１０２の露光を終了する（ステップＳ７０８）。すると、撮像素子１０２から出力されたアナログデータ信号は、アナログ処理回路１０３に入力され信号処理されてＡ／Ｄ変換器１０４に出力されデジタル電気信号（画素信号）に変換され、デジタル信号処理部１１４に出力される。

次に、ＣＰＵ１０８は、デジタル信号処理部１１４を制御して画像処理を実行させる（ステップＳ７０９）。

次に、ＣＰＵ１０８は、デジタル信号処理部１１４で処理された画像を、操作表示部１０６に表示し、あるいはメディア１０７に記録して、この撮影処理を終了する。

次に、本実施の形態の撮像装置１００におけるデジタル信号処理回路であるデジタル信号処理部１１４の構成について説明する。

このデジタル信号処理部１１４は、撮像データ入力Ｉ／Ｆ１１１と、欠陥画素補正処理回路１１２と、信号処理回路１１３とを備える。

この撮像データ入力Ｉ／Ｆ１１１は、撮像素子１０２の出力に応じて、画像データを取り込み、取得した画像データに、後述する有効領域データなのか無効領域データなのかを示す信号（領域判別データ）を加え、欠陥画素補正処理回路１１２に出力する。

欠陥画素補正処理回路１１２は、撮像素子１０２の出力に含まれる欠陥画素を補正する。

また、信号処理回路１１３は、欠陥画素補正処理回路１１２からの出力に対して信号処理を行う。この信号処理では、同時化やノイズ低減処理やＪＰＥＧ等の圧縮を行う。

次に、欠陥画素補正処理回路１１２による処理内容について、図３を参照して説明する。

図３（ａ）は、撮像データ入力Ｉ／Ｆ１１１から出力される画像データを示している。この図３（ａ）に示す画像データ３０３は、撮像データ入力Ｉ／Ｆ１１１から出力される二次元画像データである。有効領域データ３００は、撮像素子１０２の予め設定された範囲内の画素から読み出され、メディア１０７に書き込む画像データの元となる画像データである。

また、この図３（ａ）に示す無効領域データ３０２は、撮像データ入力Ｉ／Ｆ１１１から出力される有効領域データではない部分の画像データであり、一般的にオプティカルブラックなどメディア１０７に書き込まれることのない領域の画像データである。この無効領域データ３０２は、撮像素子１０２の特性に起因する有効領域データ３００の値の誤差を補正するためのデータを生成するために使用されるため、撮像データ入力Ｉ／Ｆ１１１から出力される。

この図３（ａ）に示す周辺参照領域３０１は、補正対象画素３０４を補正するための周辺参照画素３０５の範囲である。本第１実施の形態では、補正対象画素３０４を中心として３×３画素を含む範囲を周辺参照領域３０１としている。

また、図３（ｂ）は、周辺参照画素３０５内の補正対象画素３０４と周辺参照画素３０５の位置を示した図である。この補正対象画素３０４は、欠陥画素であれば後述の周辺参照画素３０５によって補正される画素である。この周辺参照画素３０５は後述の周辺参照領域３０１に配置される補正対象画素３０４と同一の色情報を持った画素である。

この欠陥画素の補正の具体的な動作では、補正対象画素３０４が、撮像データ入力Ｉ／Ｆ１１１からの出力に同期して画像データ３０３の範囲で走査される。このとき、補正対象画素３０４が欠陥画素である場合には、欠陥画素補正処理回路１１２で補正処理が行われる。

次に、欠陥画素補正処理回路１１２の詳細について、図４を参照して説明する。

この欠陥画素補正処理回路１１２は、欠陥画素判定部４０１と無効画像データ検出部４０２と欠陥画素補正部４００を有する。

この欠陥画素補正処理回路１１２の無効画像データ検出部４０２は、撮像データ入力Ｉ／Ｆ１１１から出力される不図示の同期信号と領域判別データ４０４に基づいて、画像データ３０３が無効領域データ３０２なのかどうかを検出する。領域判別データ４０４は無効領域データ３０２を出力する画素のアドレスを示すデータであり、無効画像データ検出部４０２は同期信号をカウントすることで、どのアドレスの画素の画像データ３０３が読み出されているのかを識別する。無効画像データ検出部４０２は、識別したアドレスが無効領域データ３０２を出力する画素のアドレスと一致する場合に、その画素における画像データ３０３が無効領域データ３０２であると判定することで、無効領域データ３０２を検出する。そして、無効画像データ検出部４０２は、無効領域データ３０２であることを検出した場合には、ＯＲ回路４０８に、その画素における画像データ３０３が無効領域データ３０２であることを示す二値の無効画像データ検出信号４０６を出力する。

この無効画像データ検出信号４０６に対応する画素のセンサーマップ上での具体的な位置は、図３（ｃ）に示す通りである。

欠陥画素補正処理回路１１２の欠陥画素判定部４０１は、撮像データ入力Ｉ／Ｆ１１１から出力される不図示の同期信号と、ＤＲＡＭ（記憶部）１０９から読み出される欠陥画素データ４０３に基づいて、欠陥画素による画像データであるかどうかを判定する。欠陥画素データ４０３は欠陥画素のアドレスを含んでおり、欠陥画素判定部４０１は同期信号をカウントすることで、どのアドレスの画素の画像データ３０３が読み出されているのかを識別する。欠陥画素判定部４０１は、識別したアドレスが欠陥画素データ４０３の示す画素のアドレスと一致する場合に、その画素における画像データ３０３が欠陥画素から出力された画像データであると判定する。そして欠陥画素判定部４０１は、欠陥画素から出力された画像データであると判定した場合に、ＯＲ回路４０８に、その画素における画像データ３０３が欠陥画素から出力されたものであることを示す二値の欠陥画素検出信号４０７を出力する。

ＯＲ回路４０８は、欠陥画素検出信号４０７と無効画像データ検出信号４０６の少なくともいずれかが入力された場合に、欠陥画素判定信号４０５を欠陥画素補正部４００に出力する信号生成部として機能する。つまり、ＯＲ回路４０８は、欠陥画素検出信号４０７と無効画像データ検出信号４０６の論理和を出力する。この欠陥画素判定信号４０５は、第１の信号としての欠陥画素検出信号４０７と第２の信号としての無効画像データ検出信号４０６を重ね合わせた、欠陥画素判定データ（欠陥画素判定用のデータ）として生成される。欠陥画素判定信号４０５によって、撮像素子１０２の欠陥画素、または、撮像素子１０２の設定された範囲外の画素の、いずれかであると判定された画素を、欠陥判定画素と呼ぶことにする。この欠陥判定画素から出力された画像データは、この欠陥画素判定信号の値に置換される。あるいは、欠陥画素判定信号４０５が生成された画素から出力された画像データに、その旨を示すフラグを付与するようにしてもよい。

ここで、センサーマップ上の欠陥画素判定信号４０５に置換された画素の位置について、図２を参照して説明する。図２（ａ）は、欠陥画素検出信号４０７に対応する画素をセンサーマップ上に配置した概念図である。図２（ｂ）は、図３（ｃ）で示した無効画像データ検出信号４０６に対応する画素をセンサーマップ上に配置した概念図である。図２（ｃ）は、図２（ｂ）上に図２（ａ）の図を重ね合わせた部分を欠陥画素判定信号４０５に対応する画素としたものを示す。この図２（ｃ）は、図２（ａ）に示される欠陥画素検出信号４０７に対応する画素の位置と図２（ｂ）に示される無効画像データ検出信号４０６に対応する画素の位置を網羅するように生成される。

上述のように生成された欠陥画素判定信号４０５に基づいて、欠陥画素補正処理回路１１２の欠陥画素補正部４００は、画像データ３０３を補正処理して出力する。

この欠陥画素補正部４００は、図６に示すように構成されている。この欠陥画素補正部４００は、バッファ６０１とデータ補正部６００と補正方法決定部６０２とから構成される。

このバッファ６０１は、画像データ３０３、欠陥画素判定信号４０５におけるデータ補正部６００、又は、補正方法決定部６０２で使用される二次元フィルタ分のデータを、保持する回路である。

この欠陥画素補正部４００の補正方法決定部６０２は、データ補正部６００の補正方法を決定するブロックである。この補正方法決定部６０２が補正方法を決定する為の動作について、図５の（ａ）〜（ｎ）を参照して説明する。

図５中、×印は、欠陥画素判定信号に置換された欠陥判定画素５００を示している。この欠陥判定画素５００はバッファ６０１から出力される欠陥画素判定信号４０５の二次元フィルタ上の位置を示している。

また、図５（ａ）〜図５（ｎ）は補正対象画素３０４、あるいは周辺参照画素３０５のどの画素が欠陥判定画素５００なのかを示している。特に図５（ｅ）は上辺、図５（ｆ）は右辺、図５（ｇ）は下辺、図５（ｈ）は左辺、図５（ｋ）は左辺と上辺、図５（ｌ）は上辺と右辺、図５（ｍ）は右辺と下辺、図５（ｎ）は下辺と左辺が、欠陥判定画素５００となる。すなわち、上述の範囲は、無効領域データ３０２を出力する画素であった際に、補正方法決定部６０２が欠陥判定画素５００と判別する範囲となる。

補正方法決定部６０２は、図５（ａ）〜図５（ｎ）に含まれる欠陥判定画素５００の位置を判別し、補正対象画素３０４が欠陥判定画素であればデータ補正部６００でデータ補正処理を行う。また補正方法決定部６０２は、補正対象画素３０４が欠陥判定画素５００でなければデータ補正処理を行わない。

このデータ補正処理を行う際に周辺参照画素３０５の位置に欠陥判定画素５００があった場合には、欠陥判定画素５００の存在しない周辺参照画素３０５からのみ欠陥画素補正処理を行うようにデータ補正部６００に補正方法を通知する。この通知を受けたデータ補正部６００は、補正方法決定部６０２からの通知に基づいて二次元フィルタを決定し、補正処理を行って出力する。

このように、補正方法決定部６０２は、データ補正部６００が欠陥画素又は無効領域データではない画素を対象として補正を行うようにする。

以上説明したように、本実施の形態に係わる欠陥画素補正処理回路１１２では、無効領域データ３０２を、欠陥画素から出力された画像データと同様に、欠陥判定画素から出力された画像データとして扱う。このため、この欠陥画素補正処理回路１１２では、端部データをコピーする等して参照画素を擬似的に生成すること無しに、適切な欠陥画素補正処理を行うことができる。

なお、本実施の形態では、欠陥画素判定部４０１は、ＤＲＡＭ（記憶部）１０９から読み出される欠陥画素データ４０３に基づいて欠陥画素検出信号４０７を生成している。欠陥画素判定部４０１は、これに限られるものではなく、着目している画素が欠陥画素であるかどうかを、その周囲の画素のレベルとの比較結果から判定するように構成しても良い。

要するに、本第１実施の形態では、無効画像データ検出部４０２が、撮像素子１０２に含まれる欠陥画素の位置を特定した欠陥画素検出信号４０７を出力する。

これと共に、無効画像データ検出部４０２は、領域判別データ４０４に基づいて、無効領域データ３０２を検出し、無効領域データ３０２であることを示す無効画像データ検出信号４０６を出力する。本第１実施の形態では、無効画像データ検出信号４０６に対応する画素のセンサーマップ上での具体的な位置が、図３（ｃ）に示すように、全画像データ３０３における最外周（四辺）に位置する１画素の列となる。なお、無効領域データ３０２を出力する画素からなる領域は、画像データである有効領域データ９００を出力する画素からなる領域の範囲外のものとなる。

そして、欠陥画素検出信号４０７と、無効画像データ検出信号４０６とを重ね合わせて、欠陥画素判定信号４０５を生成する。

欠陥画素補正部４００では、撮像素子から出力される画像データにおける、欠陥画素判定信号４０５に基づいて補正方法決定部６０２で特定された欠陥判定画素５００に対し、データ補正部６００によってデータ補正処理が実行される。

この処理に当たって、欠陥画素補正部４００の補正方法決定部６０２は、周辺参照画素３０５の位置に欠陥判定画素５００が有るか否かを検出する。そして、補正方法決定部６０２は、欠陥判定画素５００を検出した場合に、欠陥判定画素５００の存在しない周辺参照画素３０５のみを利用して欠陥画素補正処理を行うようにデータ補正部６００に補正方法を通知する。

データ補正部６００は、補正方法決定部６０２の通知に従って二次元フィルタ処理等の信号処理を実行する。

このように実行される二次元フィルタ処理等の信号処理では、撮像素子１０２に含まれる欠陥画素が有効領域データ３００を出力する範囲内に位置するときにのみ、二次元フィルタ処理等の信号処理が実行される。

これと共に、二次元フィルタ処理等の信号処理は、有効領域データ３００を出力する範囲内に位置する周辺参照画素３０５のみを利用して実行される。なお、二次元フィルタ処理等の信号処理では、例えば、有効領域データ３００の範囲内に位置する周辺参照画素３０５が複数あるときにこれらの平均値を利用し、単数であるときに、周辺参照画素３０５そのものの値を利用しても良い。あるいは、有効領域データ３００の範囲内に位置する周辺参照画素３０５が複数あるときに、補正対象画素３０４を中心とした複数方向の相関を求め、相関の高い方向に位置する画素を優先的に用いて補正対象画素の値を補正するようにしてもよい。また、二次元フィルタとして縦横３画素の例をあげて説明したが、これに限られるものではなく、周知の様々な二次元フィルタを適用できる。例えば、縦横５画素、又は、縦横７画素のようにフィルタのタップ数を増やしても構わない。あるいは、同色の画素だけでなく、二次元フィルタ上の領域の画像の彩度に応じて、同色及び異色の画素から求めた補正値を混合するようにしても構わない。上述の例では緑色（Ｇ）を検出する画素を例に挙げて説明を行ったが、青色（Ｂ）または赤色（Ｒ）を検出する画素についても、周知のように、同様の方法によって補正対象画素の値を補正することが可能である。また、二次元フィルタの代わりに、着目する画素の縦あるいは横方向のいずれかに位置する画素の値を参照する一次元フィルタを用いる構成としてもよい。

上述のように実行されるフィルタ処理では、存在しない参照画素の位置に端部のデータを外挿し、擬似的に参照画素を生成するといった負担の大きな処理を必要としない。よって、本第１実施の形態の構成によれば、フィルタによる補正処理を迅速かつ簡易に実行できる。
（第２実施の形態）
次に、本発明の第２実施の形態に係わる撮像装置について図面を参照しながら説明する。本第２実施の形態に係わる撮像装置においても、欠陥画素補正処理回路１１２が欠陥画素検出信号４０７と無効画像データ検出信号４０６とを重ね合わせて欠陥画素判定信号４０５を生成する。そして、欠陥画素補正部４００がこの欠陥画素判定信号に基づいて、入力される画像データの補正を行うものとする。

本第２実施の形態に係わる撮像装置を説明するに当たって、前述した本第１実施の形態に係わる撮像装置と比較し、同等の構成部分の説明を省略し、要旨に係わる異なる構成部分を主として説明する。

この撮像装置におけるデジタル信号処理部１１４に含まれる各ブロックからの出力データについて、図１０を参照して具体的に説明する。

この図１０は、デジタル信号処理部１１４の撮像データ入力Ｉ／Ｆ１１１、欠陥画素補正処理回路１１２、信号処理回路１１３の各ブロックから出力されるデータの範囲に着目して、センサーマップで表すものである。

図１０（ａ）は、本第２実施の形態に係わる撮像装置の構成におけるデジタル信号処理部１１４の出力データを示している。この図１０（ａ）で画像データ８０３は、有効領域データ８００と余分画素データＡ８０１から構成されている。この有効領域データ８００は、メディアに記録される画像領域である。また、ここでいう余分画素データＡ８０１とは、第１実施の形態で無効領域データと表現していた画素から出力される画像データであり、有効領域データ８００を出力する画素のうち端部に位置する画素に対して演算を行う際に参照画素となるものである。この余分画素データＡ８０１は、有効領域データ８００を欠陥画素補正処理する際に参照される分だけを余分として持つ領域である。

このデジタル信号処理部１１４では、欠陥画素補正処理回路１１２で使用する二次元フィルタを３×３とする。このデジタル信号処理部１１４では、余分画素データＡの領域を、有効領域データ８００に対して、上下左右に１画素分とし、撮像データ入力Ｉ／Ｆ１１１から出力される領域判別データで判断されるようにする。

次に、本第２実施の形態に係わる撮像装置の構成におけるデジタル信号処理部１１４における具体的な動作について説明する。本第２実施の形態に係わる撮像装置は、画像データをラスター読み出しする構成であるものとする。すなわち、あるラインの最後の画素から出力された画像データに続いて、その次のラインの先頭の画素から出力された画像データを読み出すものとする。

このデジタル信号処理部１１４では、撮像データ入力Ｉ／Ｆ１１１から欠陥画素補正処理回路１１２に画像データ８０３が出力される。すると、欠陥画素補正処理回路１１２は、入力された画像データ８０３の余分画素データＡ８０１を欠陥判定画素として扱うことで、端部の画素をコピーする回路を必要とせずに、二次元フィルタを使用した欠陥画素補正処理を行う。そして、欠陥画素補正処理回路１１２は、欠陥画素補正処理されることによって生成された有効領域データ８０２を、信号処理回路１１３に出力する。

図８は、欠陥画素補正処理回路１１２で二次元フィルタの参照範囲が端部にある際の状態を示す。補正対象画素８０４を中心として、その周辺に位置する同色画素Ｇ０乃至Ｇ３が周辺参照画素８０５である。この図８で、８１１は、補正対象画素８０４が有効領域データ８００内に存在し、かつ一部の周辺参照画素８０５が余分画素データＡ８０１に存在する際の、二次元フィルタの各画素の状態を示す。この状態で、欠陥画素補正処理回路１１２は、周辺参照画素８０５のうちのＧ０とＧ２が余分画素データＡ８０１となっているため、周辺参照画素Ｇ０とＧ２のデータを欠陥判定画素とみなし、周辺参照画素Ｇ１とＧ３から補正対象画素８０４を補正する。もちろん、周辺参照画素Ｇ１とＧ３のいずれかが欠陥画素であり、欠陥判定画素として扱われているのであれば、その画素は補正対象画素８０４の補正には用いられない。

この図８で、８１２は、補正対象画素８０４が余分画素データＡ９０１に存在し、かつ一部の周辺参照画素８０５が、画像データ８０３の見た目上の出力外にあるときの、二次元フィルタの各画素の状態を示す。この図８では、見た目上は一部の周辺参照画素８０５が画像データ８０３の外側に位置する。

ここで、上述したように、本第２実施の形態では撮像装置は画像データ８０３をラスター読み出しする構成である。そのため、周辺参照画素Ｇ２は補正対象画素８０４が存在するラインの最後の画素に相当し、周辺参照画素Ｇ０は周辺参照画素Ｇ１が存在するラインの１つ前（上）のラインの最後の画素に相当する。欠陥画素補正処理回路１１２は、周辺参照画素８０５のうちのＧ０とＧ２が余分画素データＡ８０１となっているため、周辺参照画素Ｇ０とＧ２のデータを欠陥判定画素とみなし、周辺参照画素Ｇ１とＧ３の平均値を用いて補正対象画素８０４の値を置換する。

本第２の実施形態では上述の二次元フィルタを用いれば、余分画素データＡ８０１のいずれにおいても、その値を有効領域データ８００に存在する画像データのみから演算された値に置換できる。そのため、全ての余分画素データＡ８０１が有効領域データに置換されたものとみなせる画像データを生成することができる。これにより、この欠陥画素補正処理回路１１２からは、結果的に有効領域データが上下左右に１画素分ずつ広がった画像データ８１４が出力され、この画像データ８１４が信号処理回路１１３に入力される。信号処理回路１１３は、例えば二次元フィルタを用いてノイズ低減処理を行う場合には、画像データ８０３よりも有効領域データの範囲が広がった画像データ８１４を用いることができる。つまり、信号処理回路１１３は、画像データ８１４を有効領域データ８００の外側に疑似的な参照画素が付与された画像データとみなして、ノイズ低減処理を施した画像データを生成することが可能となる。信号処理回路１１３は複数の信号処理を施した画像データから、有効領域データ８００に相当する領域を切り出して、画像データ８１５として出力すればよい。

図１０に戻り、図１０（ｂ）で画像データ９０３は、有効領域データ９００と余分画素データＡ９０１と余分画素データＢ９０２とで構成されている。

ここで、有効領域データ９００と余分画素データＡ９０１とについては、前述した図１０（ａ）に示す内容と同じである。この余分画素データＢ９０２は、余分画素データＡに対して、さらに上下左右の外側に１画素ずつ余分画素を付け加えたものである。

後述する図９と図１０（ｂ）に示す例においては、欠陥画素補正処理回路１１２で使用する二次元フィルタを５×５とする。このデジタル信号処理部１１４では、余分画素データＡ９０１及び余分画素データＢ９０２を合わせた領域を、有効領域データ８００に対し上下左右に２画素分とし、撮像データ入力Ｉ／Ｆ１１１から出力される領域判別データでこれらの画素が判断されるようにする。

次に、本第２実施の形態に係わる撮像装置におけるデジタル信号処理部１１４の具体的な動作について説明する。

このデジタル信号処理部１１４における撮像データ入力Ｉ／Ｆ１１１は、欠陥画素補正処理回路１１２に画像データ９０３を出力する。すると、欠陥画素補正処理回路１１２は、余分画素データＡ９０１と余分画素データＢ９０２の部分を欠陥判定画素として扱い、欠陥画素補正処理されることによって生成された画像データ９１４を信号処理回路１１３に出力する。

図９は、欠陥画素補正処理回路で二次元フィルタの参照範囲が端部にある際の状態を示す。補正対象画素９０４を中心として、その周辺に位置する同色画素が周辺参照画素９０５（Ｇ０乃至Ｇ１１）である。この図９で、９１１は、補正対象画素９０４が有効領域データ９００内に存在し、かつ一部の周辺参照画素９０５が余分画素データＡ９０１に存在する際の、二次元フィルタの各画素の状態を示す。この状態では、参照画素Ｇ０、Ｇ２、Ｇ４、Ｇ７及びＧ９が余分画素データＡ９０１または余分画素データＢ９０２となっている。そこで、欠陥画素補正処理回路１１２は、これらの周辺参照画素のデータを欠陥判定画素とみなし、残りの周辺参照画素Ｇ１、Ｇ３、Ｇ５、Ｇ６、Ｇ８、Ｇ１０及びＧ１１から補正対象画素３０４を補正する。例えば、補正対象画素８０４との距離が近い周辺参照画素ほど重み付けを大きくして加算平均することで、補正対象画素３０４の補正値を求めれるようにすれば良い。

この図９で、９１２は、補正対象画素９０４が余分画素データＡ９０１に存在し、かつ一部の周辺参照画素９０５が、画像データ９０３の見た目上の出力外にあるときの、二次元フィルタの各画素の状態を示す。本第２実施の形態では撮像装置は画像データ９０３をラスター読み出しする構成であるため、周辺参照画素Ｇ４、Ｇ７及びＧ９は、各々がＧ６、Ｇ８及びＧ１１が存在するラインの１つ前のラインの最後の画素に相当する。この状態で、欠陥画素補正処理回路１１２は、余分画素データＡ９０１及び余分画素データＢ９０２となっていない周辺参照画素Ｇ１、Ｇ３、Ｇ６、Ｇ８及びＧ１１の平均値を用いて補正対象画素９０４の値を置換する。

この図９で、９１３は、補正対象画素９０４が余分画素データＢ９０２に存在し、かつ一部の周辺参照画素９０５が、画像データ９０３の見た目上の出力外にあるときの、二次元フィルタの各画素の状態を示す。この状態で、欠陥画素補正処理回路１１２は、余分画素データＡ９０１及び余分画素データＢ９０２となっていない周辺参照画素Ｇ６、Ｇ８及びＧ１１の平均値を用いて補正対象画素９０４の値を置換する。

このように、本第２の実施形態では、上述の二次元フィルタを用いれば、余分画素データＡ９０１及び余分画素データＢ９０２のいずれにおいても、その値を有効領域データ９００に存在する画像データのみから演算された値に置換できる。そのため、全ての余分画素データＡ９０１及び余分画素データＢ９０２が有効領域データに置換されたものとみなせる画像データを生成することができる。これにより、この欠陥画素補正処理回路１１２からは、結果的に有効領域データが上下左右に２画素分ずつ広がった画像データ９１４が出力され、この画像データ９１４が信号処理回路１１３に入力される。よって、信号処理回路１１３は、画像データ９０３よりも有効領域データの範囲が広がった画像データ９１４を用いて、ノイズ低減処理などのフィルタ処理を行うことが可能となる。信号処理回路１１３は複数の信号処理を施した画像データのうち、有効領域データ９００に相当する領域を切り出して、画像データ９１５として出力すればよい。

このように、本第２実施の形態に係わるデジタル信号処理部１１４では、画像データの有効領域を拡大した画像データを生成し、後段の信号処理回路１１３に出力することができる。さらに、図８と図９の比較から理解できるように、欠陥画素補正処理回路１１２が用いる二次元フィルタの参照範囲を拡大するほど、より広い範囲の余分画素データを有効領域データに置換した画像データを生成することが可能となる。つまり、欠陥画素補正処理回路１１２が用いる二次元フィルタの参照範囲を拡大するほど、後段の信号処理回路１１３に参照範囲の広いフィルタ処理を行わせることが可能となる。

要するに、本第２実施の形態では、撮像データ入力Ｉ／Ｆ１１１から出力される画像データ９０３が、有効領域データ９００と余分画素データとで構成されている。この有効領域データ９００は、メディアに記録される画像領域である。

本第２実施の形態に係わるデジタル信号処理部１１４では、余分画素データの領域を、有効領域データ９００に対して、上下左右に１または複数画素分とし、撮像データ入力Ｉ／Ｆ１１１から出力される領域判別データで判断されるようにする。

本第２実施の形態に係わる欠陥画素補正処理回路１１２では、第１実施の形態と同様に、欠陥画素検出信号４０７と無効画像データ検出信号４０６を重ね合わせて、欠陥画素判定信号４０５を生成する。

欠陥画素補正処理回路１１２では、欠陥画素判定信号４０５を対象として、補正方法決定部で特定された欠陥判定画素に対し、データ補正処理を実行する。このデータ補正処理では、欠陥画素補正処理回路１１２により、各々の周辺参照画素が余分画素データに存在する場合に欠陥判定画素として扱う。

さらに、このデータ補正処理では、補正対象画素が余分画素上にあったとしても、二次元フィルタ処理によって、有効領域データの範囲内に位置する周辺参照画素３０５から得られる値だけを利用して、補正対象画素の値を補正する。このとき、二次元フィルタが参照する範囲を広げるほど、余分画素の値が有効領域データの範囲から求めた値に補正される範囲を拡大することが可能となる。もちろん、二次元フィルタに限らず、着目する画素の縦あるいは横方向のいずれかに位置する画素の値を参照する一次元フィルタであってもよい。これにより後段の信号処理回路１１３は、有効領域が拡大された画像データを受け取って信号処理を行うことになるため、ノイズ低減処理等の信号処理を行う場合に、有効領域データの端部に擬似的に参照画素を生成する必要がなくなる。

１１１ 撮像データ入力Ｉ／Ｆ
１１２ 欠陥画素補正回路
１１３ 信号処理回路
１１４ デジタル信号処理部

Claims (5)

1. 撮像素子の設定された範囲内の画素から読み出される有効領域データ、及び、前記有効領域データの値を補正するため前記撮像素子の設定された範囲外の画素から読み出される無効領域データを含む画像データを取り込む取得手段と、
   前記撮像素子に含まれる欠陥画素の位置を示す第１の信号と、前記撮像素子に含まれる前記設定された範囲外の画素の位置を示す第２の信号と、を重ね合わせて欠陥判定画素の位置を示す欠陥画素判定信号を生成する信号生成手段と、
   前記画像データの着目する画素が、前記欠陥画素判定信号により欠陥判定画素であると示された画素である場合に、前記着目する画素の周辺に位置する画素のうちの前記欠陥画素判定信号により欠陥判定画素であると示されていない画素における前記画像データの値を用いて、前記画像データの前記着目する画素の値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記画像データの着目する画素が、前記撮像素子に含まれる前記設定された範囲外の画素である場合に、撮像素子の設定された範囲内の画素のうちの前記欠陥画素判定信号により欠陥判定画素であると示されていない画素における前記画像データの値を用いて、前記画像データの前記着目する画素の値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段にて補正された画像データに対して、ノイズ低減のためのフィルタ処理を行う信号処理手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
4. 前記信号生成手段は、前記画像データを読み出す画素ごとに、前記撮像素子に含まれる欠陥画素であるか否かを判別して前記第１の信号を生成するとともに、前記撮像素子に含まれる前記設定された範囲外の画素であるか否かを判別して前記第２の信号を生成し、前記第１の信号と前記第２の信号の論理和を取ることで前記欠陥画素判定信号を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 撮像素子の設定された範囲内の画素から読み出される有効領域データ、及び、前記有効領域データの値を補正するため前記撮像素子の設定された範囲外の画素から読み出される無効領域データを含む画像データを取り込む工程と、
   前記撮像素子に含まれる欠陥画素の位置を示す第１の信号と、前記撮像素子に含まれる前記設定された範囲外の画素の位置を示す第２の信号と、を重ね合わせて欠陥判定画素の位置を示す欠陥画素判定信号を生成する工程と、
   前記画像データの着目する画素が、前記欠陥画素判定信号により欠陥判定画素であると示された画素である場合に、前記着目する画素の周辺に位置する画素のうちの前記欠陥画素判定信号により欠陥判定画素であると示されていない画素における前記画像データの値を用いて、前記画像データの前記着目する画素の値を補正する工程と、
   を有することを特徴とする画像処理方法。

Images