JP4779588B2 - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びそのプログラムに関する。

従来より、画像データを構成する各画素のうち異常な値を出力する画素（以下、欠陥画素という）のデータを補正する画像処理装置が知られている。例えば特許文献１の画像処理装置では、画像データの有する欠陥画素の総数をカウントし、その総数が予め設定された個数よりも多いときには、画像の中央領域に位置する欠陥画素から優先して補正する。したがって、コスト面等の理由から欠陥画素の補正可能な個数に制約が設けられている場合であっても、画面上で目立ちやすい中央付近に欠陥画素由来のキズが現れるのを抑制することができる。
特開２００２−８４４６３号

しかしながら、上述した特許文献１では、画像処理などによって各画素の有する色情報のデータ（例えばＲＧＢ）の各値を変更した場合については考慮されていない。つまり、例えば、ホワイトバランス補正の際にホワイトバランスゲインを用いてＲＧＢの各値を増幅したときには、増幅前には異常な値を出力せず欠陥画素に該当しないものであってもそのゲインの大きさによっては欠陥画素に相当するデータを有することになる場合がある。それにもかかわらず、ホワイトバランス補正によって欠陥画素に相当することになった画素については補正対象とされないため、そのまま画像として表示することによりこの画素に起因する白キズが画像上に現れてしまう。このため、上述の特許文献１では、異常なデータを有する画素に起因した画像上でのキズの発生を十分に抑制しているとは言えなかった。

本発明は、このような課題を解決するためになされたものであり、異常なデータを有する画素に起因した画像上でのキズの発生を十分に抑制することができる画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。

本発明は、上述の目的を達成するために以下の手段を採った。

すなわち、本発明の画像処理装置は、
複数の画素を所定の明るさで露光した後の各画素が有する色情報のデータを記憶するデータ記憶手段と、
欠陥画素候補の各画素から出力される電気信号のデータ（色情報のデータ）を取得するデータ取得手段と、
前記各画素が有する色情報のデータを補正するデータ補正手段と、
前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として選出する画素選出手段と、
前記みなし欠陥画素につき欠陥補正を行う欠陥補正手段と、
を備えたものである。

この画像処理装置では、各画素が有する色情報のデータを補正した後のデータが第１異常判定範囲内にある場合には、その画素はみなし欠陥画素に該当するとして欠陥補正を行う。つまり、色情報のデータを補正することによりデータが異常となった画素については欠陥補正の対象とする。したがって、異常なデータを有する画素に起因した画像上でのキズの発生を十分に抑制することができる。

ここで、第１異常判定範囲は、例えば真っ暗な状態で所定時間露光したときに各画素で発生する電荷に相当する色情報のデータが異常と判断される値の下限値として実験により求めるとしてもよい。この場合、第１異常判定範囲に入る画素は画像上に白キズを発生しやすい。あるいは、所定の明るい環境下で所定時間露光したときに各画素で発生する電荷に相当する色情報のデータが異常と判断される値の上限値として実験により求めるとしてもよい。この場合、第１異常判定範囲に入る画素は画像上に黒キズを発生しやすい。

本発明の画像処理装置において、前記画素選出手段は、前記各画素が有する色情報のデータが第２異常判定範囲内か否かを判定し前記色情報のデータが該第２異常判定範囲内の画素については欠陥画素として選出し、前記色情報のデータが前記第２異常判定範囲内でない画素については前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として選出し、前記欠陥補正手段は、前記欠陥画素又は前記みなし欠陥画素につき欠陥補正を行うとしてもよい。当初から何らかの異常を有する欠陥画素については補正する必要性が高いところ、こうすれば、欠陥画素については補正後のデータの大きさにかかわらず漏れなく補正対象とすることができる。ここで、第２異常判定範囲は、第１異常判定範囲よりも色情報のデータが小さい範囲としてもよいし、大きい範囲としてもよいし、略同じ範囲としてもよい。このとき、本発明の画像処理装置において、前記画素選出手段は、前記欠陥画素を選出するにあたり、前記色情報のデータが前記第２異常判定範囲内の画素については前記データ補正手段により補正した後のデータが第３異常判定範囲内か否かを判定し該第３異常判定範囲内の画素を欠陥画素として選出するとしてもよい。こうすれば、データを補正することにより第３異常判定範囲よりも小さくなった画素に対し無駄な欠陥補正をしなくて済むため、過剰な補正による画質の低下を防止することができる。ここで、第３異常判定範囲は、第２異常判定範囲よりも色情報のデータが小さい範囲としてもよいし、大きい範囲としてもよいし、略同じ範囲としてもよい。

本発明の画像処理装置において、前記データ補正手段は、前記各画素が有する色情報のデータをゲインを用いて補正するとしてもよい。こうすれば、補正後の色情報のデータを推測することができる。

本発明の画像処理装置において、前記データ補正手段は、前記各画素が有する色情報のデータを画質に関与するパラメータに基づいて算出したゲインを用いて補正するとしてもよい。各画素のデータは画質に関わる種々の設定に基づいて補正されるため、こうすれば、補正後の各画素のデータをより的確に把握することができる。ここで、画質に関与するパラメータとしては、例えば、ＲＧＢのバランスや色マトリクス、コントラスト、色合い、彩度などが挙げられる。

本発明の画像処理装置において、前記データ補正手段は、前記各画素が有する色情報のデータについて少なくともホワイトバランス補正を行うとしてもよい。ホワイトバランス補正では、画像データを取り込む際の光源や情景の影響を受けることにより、色情報のデータを補正するゲインが他の画像処理に比べて大きく設定されやすいため、本発明を適用する意義が大きい。

本発明の画像処理装置において、前記みなし欠陥画素よりも前記欠陥画素に対して優先的に欠陥補正を行い、前記みなし欠陥画素のうち前記データ補正手段により補正した後のデータが該みなし欠陥画素と判定される所定のしきい値から大きく離れたものに対して優先的に欠陥補正を行うとしてもよい。こうすれば、補正対象の個数に制約が設けられているときに、画像上にキズとして現れやすい画素のデータを優先して補正することができる。ここで、所定のしきい値は、例えば、第２異常判定範囲の下限値又は上限値としてもよい。

本発明の画像処理方法は、
複数の画素を所定の明るさで露光した後の各画素が有する色情報のデータを記憶するデータ記憶手段と、前記各画素が有する色情報のデータを補正するデータ補正手段と、を利用して画素の欠陥補正を行う、コンピュータ・ソフトウェアによる画像処理方法であって
（ａ）前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として選出するステップと、
（ｂ）前記ステップ（ａ）で選定された前記みなし欠陥画素につき欠陥補正を行うステップと、
を含むものである。

この画像処理方法では、各画素が有する色情報のデータを補正した後のデータが第１異常判定範囲内にある場合には、その画素はみなし欠陥画素に該当するとして欠陥補正を行う。つまり、色情報のデータを補正することによりデータが異常となった画素については欠陥補正の対象とする。したがって、異常なデータを有する画素に起因した画像上でのキズの発生を十分に抑制することができる。なお、本発明の画像処理方法に、上述した画像処理装置のいずれかの機能を実現するステップを追加してもよい。

本発明の画像処理プログラムは、上述したいずれかの画像処理方法を、１又は２以上のコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法が実行されるため、上述した画像処理方法と同様の効果を得ることができる。

本発明の実施の形態を図面に基づいて説明する。図１はデジタルカメラ１０の概略構成を示すブロック図である。

デジタルカメラ１０は、図１に示すように、中央演算処理装置としてのＣＰＵ２０ａや各種処理プログラムを記憶するＲＯＭ２０ｂ、一時的にデータを記憶するＲＡＭ２０ｃなどを中心として構成されている。デジタルカメラ１０は、撮影系として、レンズや絞りなどにより構成された光学系２２と、光学系２２により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル毎の受光量に応じた電気信号を出力する撮影素子としてのカラーＣＣＤ２３と、カラーＣＣＤ２３を駆動するために必要な駆動パルスをカラーＣＣＤ２３に出力する駆動回路としてのＣＣＤコントローラ２４と、カラーＣＣＤ２３から出力されるアナログの電気信号をデジタルデータに変換するアナログフロントエンド（ＡＦＥ）部２５と、ＡＦＥ部２５から出力されたデジタルデータに対して画像形成処理，ホワイトバランス補正，γ補正，色変換等を施してデジタル画像を出力するデジタル画像処理部２６と、デジタル画像の系列変換（離散コサイン変換やウェーブレット変換等）及びエントロピー符号化（ランレングス符号化やハフマン符号化等）を行なうことによりデジタル画像を圧縮しそれらの逆変換を施すことによりデジタル画像を伸張する圧縮伸張部２７とを備える。また、デジタルカメラ１０は、撮影系の他に、液晶ディスプレイ２８の１画面分の画像データを格納するＶＲＡＭ２９や、ＶＲＡＭ２９に格納されたデジタル画像に基づいて液晶ディスプレイ２８を駆動するための表示回路を有するディスプレイコントローラ３０、ユーザによる指示の入力を行う各種ボタン３４からの入力や着脱可能な記憶媒体であるメモリカード３６への入出力を司る入出力インタフェース３８などを備えている。ここで、各種ボタン３４としては、ユーザが押下したときに画像を取り込むシャッタボタン３４ａやホワイトバランス設定の各種モードを選択するＷＢボタン３４ｂなどが設けられている。ここで、ホワイトバランス設定モードとしては、日陰での撮影の際に設定する日陰モード、曇り空の下の屋外での撮影の際に設定する曇天モード、晴天の屋外での撮影の際に設定する晴天モード、蛍光灯の下での撮影の際に設定する蛍光灯モード、白熱電球の下での撮影の際に設定する白熱電球モードがあり、ユーザが撮影時の光源や情景に応じて適宜選択可能になっている。なお、デジタル画像処理部２６により画像処理された画像データや圧縮伸張部２７により圧縮・伸張された画像データは、一旦ＲＡＭ２０ｃに書き込まれ、その後、撮影順にＩＤとしてファイル名が付与されて画像ファイルとして入出力インタフェース３８を介してメモリカード３６に保存される。また、メモリカード３６に保存された画像ファイルは、必要に応じてメモリカード３６から読み出される。

次に、こうして構成された本実施形態のデジタルカメラ１０の動作、特に欠陥補正処理の補正対象を設定する動作と撮影した画像データに対し欠陥補正処理や現像処理を施したのちＪＰＥＧ形式でメモリカード３６に保存するときの動作について説明する。図２は補正対象選定ルーチンのフローチャートであり、図３は画像処理ルーチンのフローチャートである。以下には、まず補正対象選定ルーチンについて説明し、その後画像処理ルーチンについて説明する。

補正対象選定ルーチンは、ユーザがデジタルカメラ１０のＷＢボタン３４ｂを操作してホワイトバランス設定モードを変更したときにＣＰＵ２０ａによって実行される処理である。このルーチンが開始されると、ＣＰＵ２０ａは、まず、候補ナンバーｎを値１にセットする（ステップＳ１０２）。この候補ナンバーｎについては後述する。続いて、欠陥画素候補テーブルの中から候補ナンバーｎの画素情報Ｉｎを読み出す（ステップＳ１０４）。ここで、欠陥画素候補テーブルとは、カラーＣＣＤ２３の各画素のうち異常な値を出力する可能性の高い画素をカラーＣＣＤ２３から抽出し、テーブルとして予めＲＯＭ２０ｂに記憶したものである。具体的には、真っ暗な状態で所定時間露光したときカラーＣＣＤ２３の各画素から出力される電気信号を１２ビットのデジタルデータとして示した値が例えば値１００以上となる画素を欠陥画素候補として工場出荷時に抽出し、その抽出した画素の画素情報をテーブルとして示したものである。表１は欠陥画素候補テーブルである。表１に示すように、抽出した画素には値１から順に候補ナンバーｎが割り振られ、各画素の画素情報Ｉｎとしてアドレス情報ＡｎやＲＧＢ情報、デジタルデータＤｎがそれぞれ記憶されている。このうち、アドレス情報ＡｎはカラーＣＣＤ２３上での画素の位置を示すものであり、ＲＧＢ情報はその画素がＲＧＢのいずれのデータを有するかを示すものである。一般に、デジタルカメラ１０に使用されるカラーＣＣＤ２３は、図４に示すように、ＣＣＤの上に２画素×２画素の窓２３ａを１つの単位として構成されるカラーフィルタが被せられている。この窓２３ａには、ＲとＢとが対角線上にそれぞれ１つずつ、Ｇが対角線上に２つ配置されており、個々の素子がそれぞれＲ，Ｇ，Ｂのいずれかの色を認識できるようになっている。これにより、１画素につきＲＧＢのいずれか１つのデータを持つことになる。なお、図４における斜体数字は各画素のアドレス情報Ａｎを示す。

続いて、ＣＰＵ２０ａは、読み出した画素情報ＩｎのうちデジタルデータＤｎが欠陥判定値Ｄｔｈａを超えるか否かを判定する（ステップＳ１０６）。ここで、欠陥判定値Ｄｔｈａとは、真っ暗な状態で所定時間露光したときにカラーＣＣＤ２３の各画素から出力される電気信号を１２ビットのデジタルデータとして示した値がその画素が何らかの欠陥を有すると判断される異常な値（例えば値１５０）をいう。そして、デジタルデータＤｎが欠陥判定値Ｄｔｈａを超えるときには、候補ナンバーｎの画素は欠陥画素であるとしてその画素情報ＩｎをＲＡＭ２０ｃの所定の補正対象保存領域に保存する（ステップＳ１０８）。

一方、デジタルデータＤｎが欠陥判定値Ｄｔｈａを超えないときには、ＣＰＵ２０ａは、ホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃの中から現在設定されているホワイトバランス設定モードと画素情報Ｉｎに含まれるＲＧＢ情報とに対応するゲインを読み出す（ステップＳ１１０）。ここで、ホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃとは、撮影した画像データを適切な白色の基準レベルに調整するために、撮影後の画像処理の１つであるホワイトバランス補正処理の際にＲＧＢの各値に乗算する係数である。一般に、１画像中に存在する無彩色画素のＲＧＢの各値を積算すると、その積算した値は各色で略等しくなる。しかしながら、撮影時の光源や情景に応じて積算したＲＧＢのバランスが崩れてしまうため、現像により得られた画像が実際の被写体よりも赤みを帯びたり青みを帯びたりする。この色のバランスを補正するのに用いるのがホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃである。このホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃは、ホワイトバランス設定の各モードごとにそれぞれ実験により予め設定されており、図示しないホワイトバランスゲイン設定テーブルとしてＲＯＭ２０ｂに記憶されている。したがって、ホワイトバランス設定のモードとＲＧＢ情報とに対応するゲインを読み出すには、このテーブルからホワイトバランス設定モードに対応するホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃを選び出し、その中から候補ナンバーｎのＲＧＢ情報に対応するゲインを読み出す。具体的には、例えば候補ナンバーｎのＲＧＢ情報が「Ｒ」のときにはホワイトバランスゲインＲｃ、Ｇｃ、ＢｃのうちゲインＲｃを読み出すことになる。

ステップＳ１１０でゲインを読み出すと、ＣＰＵ２０ａは、候補ナンバーｎのデジタルデータＤｎにステップＳ１１０で読み出したゲインを乗算し（ステップＳ１１２）、その乗算後のデジタルデータＤｎ＊がみなし欠陥判定値Ｄｔｈｂを超えるか否かを判定する（ステップＳ１１４）。ここで、みなし欠陥判定値Ｄｔｈｂは、本実施形態では欠陥判定値Ｄｔｈａよりも大きい値（例えば値２００）に設定している。このように、みなし欠陥判定値Ｄｔｈｂを欠陥判定値Ｄｔｈａよりも大きく設定したのは、みなし欠陥画素の欠陥補正の対象数を減らすためであり、これにより補正処理の時間が過度にかかりすぎたりＲＯＭ２０ｂやＲＡＭ２０ｃに記憶するデータが膨大となったり過剰な補正によって画質が低下したりするのを防止する。そして、乗算後のデジタルデータＤｎ＊がみなし欠陥判定値Ｄｔｈｂを超えるときには、候補ナンバーｎの画素はみなし欠陥画素であるとしてその画素情報Ｉｎと乗算後のデジタルデータＤｎ＊とをＲＡＭ２０ｃの所定領域に保存する（ステップＳ１１６）。つまり、みなし欠陥画素とは、欠陥画素には該当しないがデジタルデータＤｎにホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃのいずれかを乗算することにより欠陥画素に相当するデータを有することになる画素である。このみなし欠陥画素は、欠陥補正することなくそのままのデジタルデータを基に画像として表現したときには画像上で白キズとして目立ちやすくなる。

ステップＳ１０８で欠陥画素をＲＡＭ２０ｂに記憶したあと、ステップＳ１１４で乗算後のデジタルデータＤｎ＊がみなし欠陥判定値Ｄｔｈｂを超えないとき、又はステップＳ１１６でみなし欠陥画素をＲＡＭ２０ｂに記憶したあとは、ＣＰＵ２０ａは、欠陥画素候補テーブルのすべての候補ナンバーｎの画素情報Ｉｎを読み出したか否かを判定し（ステップＳ１１８）、すべての候補ナンバーｎの画素情報Ｉｎを読み出していないときには候補ナンバーｎを値１だけカウントアップし（ステップＳ１２０）、ステップＳ１０４に戻る。ここで、すべての候補ナンバーｎの画素情報Ｉｎを読み出したか否かは、候補ナンバーｎの最大値ｎｍａｘを予めＲＯＭ２０ｂに記憶しておき、現在の候補ナンバーｎが最大値ｎｍａｘか否かにより判定する。一方、すべての候補ナンバーｎの画素情報Ｉｎを読み出したときには、ステップＳ１０８でＲＡＭ２０ｃの所定の補正対象保存領域に記憶した欠陥画素の総数ｘを算出し（ステップＳ１２２）、みなし欠陥画素の補正可能個数ｙを算出する（ステップＳ１２４）。ここで、本実施形態では、欠陥補正処理により補正可能な画素数は補正限界総数ｚまでであるとして補正個数に制限が設けられている。この補正限界総数ｚは、補正処理にかかる時間や補正による画質の低下、ＲＯＭ２０ｂとＲＡＭ２０ｃとのメモリ許容値などを考慮して決定されたものである。また、欠陥画素の総数ｘとみなし欠陥画素の総数との和が補正限界総数ｚを超えるときには、欠陥画素が優先的に補正されるよう両者の補正数を設定する。なお、本実施形態では、欠陥画素の総数ｘが補正限界総数ｚを超えることがないよう欠陥判定値Ｄｔｈａが設定されている。したがって、みなし欠陥画素の補正可能個数ｙは補正限界総数ｚから欠陥画素の総数ｘを差し引いた残余の値となる。

続いて、ＣＰＵ２０ａは、ステップＳ１１６でみなし欠陥画素としてＲＡＭ２０ｃに保存した画素のうち各画素の乗算後のデジタルデータＤｎ＊が大きい方からｙ個をみなし補正対象画素として選定し、その画素情報ＩｎをＲＡＭ２０ｃの所定の補正対象保存領域に保存し（ステップＳ１２６）、本ルーチンを終了する。なお、欠陥画素の総数ｘとみなし欠陥画素の総数との和が補正限界総数ｚ以下のときには、ＲＡＭ２０ｃに記憶された全てのみなし欠陥画素をみなし補正対象画素とする。

ここで、補正対象の画素を選定する方法について具体的に説明する。なお、この説明中ではホワイトバランスゲインＲｃは値２．０とする。表１のうちＲＧＢ情報が「Ｒ」である候補ナンバー値１の画素は、工場出荷時に真っ暗な状態で所定時間露光したときに検出されたデジタルデータＤｎが値２１５である。この値は、欠陥判定値Ｄｔｈａである値１５０よりも大きい。したがって、候補ナンバー値１の画素は何らかの異常を有すると判断され、欠陥画素として欠陥補正の対象とする。一方、候補ナンバー値４の画素（表１参照）では、デジタルデータＤｎは値１０５であり、欠陥判定値Ｄｔｈａである値１５０よりも小さい。したがって、欠陥画素には該当しない。しかしながら、このデジタルデータＤｎにホワイトバランスゲインＲｃを乗算すると、その乗算した値Ｄｎ＊は値２１０となる。この値は、みなし欠陥判定値Ｄｔｈｂである値２００よりも大きい。つまり、ホワイトバランスゲインを用いてデータＤｎを補正するとそのデータＤｎが異常な値を示すため、候補ナンバー値４の画素に対しても欠陥補正を行う必要がある。したがって、この画素をみなし欠陥画素として欠陥補正の対象とする。なお、みなし欠陥画素の総数が多くなりみなし欠陥画素の補正可能個数ｙを超えるときには乗算した値Ｄｎ＊が大きいものを優先的に補正対象とする。

次に、画像処理ルーチンについて図３に基づいて説明する。画像処理ルーチンは、デジタルカメラ１０のシャッタボタン３４ａがオンされたときにＣＰＵ２０ａによって実行される処理である。このルーチンが開始されると、ＣＰＵ２０ａは、まず、光学系２２を通じてカラーＣＣＤ２３上に結像した画像を電気信号に変換したのち各画素のカラーフィルタの色に対応するＲＧＢのいずれかのデジタルデータに変換してＲＡＭ２０ｃに保存する（ステップＳ２０２）。ここで、本実施形態では、デジタルデータのカラー階調は１２ビットで表される。続いて、図５の欠陥補正処理ルーチンを実行する（ステップＳ２０４）。

ここで、図５の欠陥補正処理ルーチンについて説明する。このルーチンが開始されると、ＣＰＵ２０ａは、まず、ＲＡＭ２０ｃの所定の補正対象保存領域に記憶された欠陥画素とみなし補正対象画素とのアドレス情報Ａｎのうち最も小さいアドレス情報Ａｎを読み出し（ステップＳ３０２）、読み出したアドレス情報Ａｎから補正対象の画素を特定する（ステップＳ３０４）。補正する画素を特定すると、その画素に近接する同色の４つの画素のデジタルデータをＲＡＭ２０ｃから読み出し（ステップＳ３０６）、それらのデジタルデータの平均値を補正対象の画素のデジタルデータとして置き換える（ステップＳ３０８）。具体的には、図６に示すように、補正対象の画素５２がＲのデータを有しているときには、その画素５２に最も近くに位置するＲの画素５４ａ〜５４ｄのデジタルデータの平均値を画素５２のデジタルデータとする。その後、所定の補正対象保存領域に記憶された補正対象の全ての画素ついて欠陥補正を実行したか否かを判定し（ステップＳ３１０）、補正対象の全ての画素について欠陥補正を実行していないときには、ＲＡＭ２０ｃの所定の補正対象保存領域に記憶された未だ読み出していないアドレス情報Ａｎのうち最も小さいアドレス情報Ａｎを読み出し（ステップＳ３１２）、ステップＳ３０６に戻る。一方、補正対象の全ての画素について欠陥補正を実行したときには、そのまま本ルーチンを終了する。

さて、図３の画像処理ルーチンに戻り、ステップＳ２０４で欠陥補正処理を実行すると、ＣＰＵ２０ａは、デジタル信号に対しオプティカルブラック補正処理を行う（ステップＳ２０６）。ここで、オプティカルブラック補正処理とは、カラーＣＣＤ２３の外周部に貼られた遮光膜により光学的にマスクされた部分（オプティカルブラック部）を基準としてデジタル信号を補正する処理であり、これにより暗電流等のノイズ成分を除去することができる。オプティカルブラック補正処理を行うと、次にホワイトバランス補正処理を実行する（ステップＳ２０８）。具体的には、ＷＢボタン３４ｂで設定されたホワイトバランス設定モードに対応するホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃをホワイトバランスゲイン設定テーブルから読み出し、読み出したホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃのうちそれぞれの色に対応するゲインをＲＧＢの各値に乗算してＲＧＢの各値を補正する。

ステップＳ２０８でホワイトバランス補正処理を実行すると、ＣＰＵ２０ａは、画素補間処理を実行する（ステップＳ２１０）。画素補間処理とは、ＡＦＥ部２５で変換されたデジタル信号に含まれる各画素のデータはＲＧＢのいずれか１つのデータであることから、各画素につき周りの画素の色から推測することによりその画素以外の色を補う処理である。続いて、入力信号に対する明るさの変化が線形となるように補正するガンマ補正処理を行い（ステップＳ２１２）、ＪＰＥＧ形式の階調表現に合わせるために１２ビットのデジタル信号を８ビットのデジタル信号に変換する（ステップＳ２１４）。その後、色データとしてのＲＧＢを輝度信号Ｙと２つの色差信号Ｃｒ，Ｃｂとに変換する色変換処理を行う（ステップＳ２１６）。ここで、ＲＧＢをＹＣｒＣｂに色変換するのは、色差信号Ｃｒ，Ｃｂのデータ量を半分にしたとしても画質の劣化にはほとんど影響を及ぼさないため、その後の圧縮処理で画像データを効率的に圧縮することができるからである。

色変換処理を実行した後、ＣＰＵ２０ａは、色ノイズ除去処理を実行する（ステップＳ２１８）。ここで、色ノイズ除去処理とは、暗電流などを原因としてデジタル信号に発生するノイズを取り除くためにデジタル信号にローパスフィルタなどを用いた平滑化を実行する処理である。ここでは、ＹＣｒＣｂのうち色差信号Ｃｒ，Ｃｂに対して平滑化処理を実行する。続いて、人間の感度が鈍い色情報を間引きしたり画像を小さなブロックごとに分けて色をまとめたりすることによりファイル容量を小さくするＪＰＥＧ圧縮を行い（ステップＳ２２０）、ＪＰＥＧ圧縮したあとのＪＰＥＧファイルをファイル名を付けてメモリカード３６に保存し（ステップＳ２２２）、このルーチンを終了する。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のＲＯＭ２０ｂが本発明のデータ記憶手段に相当し、ＣＰＵ２０ａとデジタル画像処理部２６とがデータ補正手段や欠陥補正手段に相当し、ＣＰＵ２０ａが画素選出手段に相当する。なお、本実施形態はデジタルカメラ１０の構成及び作用の説明をすることにより、本発明の画像処理装置、画像処理方法及び画像処理プログラムの各例を説明した。

以上詳述した本実施形態のデジタルカメラ１０によれば、真っ暗な状態で所定時間露光したときの各画素のデジタルデータＤｎが欠陥判定値Ｄｔｈａを超える画素については、その画素は欠陥画素に該当するとして欠陥補正を行う。一方、デジタルデータＤｎが欠陥判定値Ｄｔｈａを超えなかった画素については、その画素のデジタルデータＤｎをホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正した後のデータＤｎ＊がみなし欠陥判定値Ｄｔｈｂを超える場合にその画素はみなし欠陥画素に該当するとして欠陥補正を行う。したがって、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正することにより異常なデータを有すことになった画素に起因した画像上での白キズの発生を十分に抑制することができる。また、欠陥画素については補正後のデータの大きさにかかわらず漏れなく補正対象とすることができる。

また、デジタルデータＤｎが欠陥判定値Ｄｔｈａを超えなかった画素については比較的大きな値に設定されやすいホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いてデジタルデータＤｎを補正するため、画像上での白キズの発生を効果的に抑制することができ、本発明を適用する意義が大きい。

更に、欠陥補正の際にはみなし欠陥画素よりも欠陥画素に対して優先的に欠陥補正を行うとともにみなし欠陥画素のうち補正後のデータＤｎ＊が大きいものに対して優先的に欠陥補正を行うため、補正対象の個数に制約が設けられていても画像上に白キズとして現れやすい画素のデータを優先して補正することができる。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した図２の補正対象選定ルーチンでは、ステップＳ１１２でホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いてデジタルデータＤｎを補正したが、特にこれに限定されない。例えば、画質に関するパラメータとして色マトリクス、コントラスト、色合い、彩度などを用いてデジタルデータＤｎを補正するとしてもよい。このとき、複数のパラメータを用いてデジタルデータＤｎを補正するとしてもよい。画像処理において各画素のデータは画質に関わる種々の設定に基づいて補正されるため、こうすれば、画像処理によってデジタルデータを補正した後の各画素のデータをより的確に把握することができる。

上述した図２の補正対象選定ルーチンでは、みなし欠陥判定値Ｄｔｈｂを欠陥判定値Ｄｔｈａよりも大きい値としたが、みなし欠陥判定値Ｄｔｈｂを欠陥判定値Ｄｔｈａと略同じ値としてもよい。

上述した図２の補正対象選定ルーチンにおいて、欠陥画素と認定された画素のうちホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正したデータＤｎ＊が欠陥判定値Ｄｔｈａを超えるか否かを判定し、欠陥判定値Ｄｔｈａを超えた画素に対してのみ欠陥補正を行うとしてもよい。具体的には、図７に示す補正対象選定ルーチンを採用するとしてもよい。図７において、図２と同じ処理については図２と同じステップ番号を付してその説明を省略するものとする。図７の補正対象選定ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ１０２〜Ｓ１０６の処理を実行し、ステップＳ１０６でデジタルデータＤｎが欠陥判定値Ｄｔｈａを超えるときには、ホワイトバランスゲインＲｃ、Ｇｃ、Ｂｃの中から現在設定されているホワイトバランス設定モードと画素情報Ｉｎに含まれるＲＧＢ情報とに対応するゲインを読み出す（ステップＳ４０２）。続いて、読み出したホワイトバランスゲインをデジタルデータＤｎに乗算してデータＤｎを補正し（ステップＳ４０４）、補正後のデータＤｎ＊が欠陥判定値Ｄｔｈａを超えるか否かを判定する（ステップＳ４０６）。そして、補正後のデータＤｎ＊が欠陥判定値Ｄｔｈａを超えるときには、補正対象の欠陥画素であるとしてその画素の画素情報ＩｎをＲＡＭ２０ｃの所定の補正対象保存領域に保存する（ステップＳ４０８）。ステップＳ４０６で補正後のデータＤｎ＊が欠陥判定値Ｄｔｈａを超えないとき、又はステップＳ４０８で補正対象の欠陥画素の画素情報Ｉｎを保存した後は、ステップＳ１１８以降の処理を実行して本ルーチンを終了する。こうすれば、デジタルデータＤｎをゲインを用いて補正した後のデータＤｎ＊が欠陥判定値Ｄｔｈａよりも小さくなった画素に対しては無駄な欠陥補正をしなくて済むため、過剰な補正による画質の劣化を防止することができる。このとき、ステップＳ４０６では、欠陥判定値Ｄｔｈａに基づいて判定する代わりに、みなし欠陥判定値Ｄｔｈｂに基づいて判定するとしてもよいし、欠陥判定値Ｄｔｈａやみなし欠陥判定値Ｄｔｈｂとは異なる別の判定値に基づいて判定するとしてもよい。

上述した図２の補正対象選定ルーチンでは、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正したデータＤｎ＊についてみなし欠陥判定値Ｄｔｈｂを超えるか否かを判定したが、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃのうち値１の色についてはみなし欠陥判定値Ｄｔｈｂを超えるか否かを判定しないとしてもよい。具体的には、図８の補正対象選定ルーチンを採用するとしてもよい。図８において、図２と同じ処理については図２と同じステップ番号を付してその説明を省略するものとする。なお、図８のルーチンではホワイトバランスゲインＧｃが値１とする。図８の補正対象選定ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ１０２〜Ｓ１０６の処理を実行し、ステップＳ１０６でデジタルデータＤｎが欠陥判定値Ｄｔｈａを超えないときには、画素情報ＩｎのＲＧＢ情報がＲ又はＢか否かを判定する（ステップＳ６０２）。そして、ＲＧＢ情報がＲ又はＢのときにはステップＳ１１０以降の処理を実行する。一方、ＲＧＢ情報がＧのときにはステップＳ１１０〜Ｓ１１６の処理は実行せず、ステップＳ１１８以降の処理を実行する。一般に、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを設定する際はＲＧＢのうちＧのデジタルデータを基準にして各値を設定するため、ゲインＧｃは値１になることが多い。この場合、ＲＧＢのうちＧについてはステップＳ１１０〜Ｓ１１６の処理を実行しないことにより、補正対象を選定する際の処理速度を向上させることができる。

上述した図２の補正対象選定ルーチン及び図３の画像処理ルーチンでは、ホワイトバランス設定は撮影時の光源や情景に応じたモードをユーザが適宜選択して設定したが、ホワイトバランスの調整を自動的に行うＡＷＢモードを設けこのＡＷＢモードが設定されたときにはホワイトバランスの調整を自動的に行うとしてもよい。この場合、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃは撮影した後に設定されるため、補正対象選定ルーチンは撮影後に実行する。すなわち、図３の画像処理ルーチンの代わりに図９の画像処理ルーチンを採用するとしてもよい。図９において、図３と同じ処理については図３と同じステップ番号を付してその説明を省略するものとする。図９の画像処理ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ２０２及びＳ２０６の処理を実行した後ホワイトバランス補正処理を実行する（ステップＳ６０２）。ここで、ＡＷＢモードでのホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃは、画像データの全画素につきＲの値を積算したΣＲ、Ｇの値を積算したΣＧ、Ｂの値を積算したΣＢをそれぞれ算出し、ΣＲとΣＧとΣＢとの値を一致させるようΣＲ，ΣＧ，ΣＢのそれぞれに乗算する係数である。これは、１画像中の全画素のＲＧＢを各色ごとに積算するとその積算したそれぞれの値は略一致するという前提に基づくものである。そして、ホワイトバランス補正処理を実行すると、次に補正対象選定ルーチンを実行する（ステップＳ６０４）。この補正対象選定ルーチンは、ホワイトバランス補正処理が実行されたあとに開始される点以外は図２と同様である。その後、図５の欠陥補正処理ルーチンを実行し（ステップＳ６０６）、ステップＳ２１０〜Ｓ２２２の処理を実行して本ルーチンを終了する。

上述した図２の補正対象選定ルーチンでは、ステップＳ１０６及びＳ１０８で欠陥画素を選定したが、これらの処理を行うことなく、欠陥画素候補の全ての画素のデータＤｎをホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正し、補正後のデータＤｎ＊に基づいて補正対象を選定するとしてもよい。具体的には、図１０の補正対象選定ルーチンを採用するとしてもよい。図１０において、図２と同じ処理については図２と同じステップ番号を付してその説明を省略するものとする。図１０の補正対象選定ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ１０２及びＳ１０４の処理を実行し、ステップＳ１０６及びＳ１０８の処理を実行せずにステップＳ１１０〜Ｓ１２０の処理を実行する。そして、ステップＳ１１８で欠陥画素候補テーブルの全ての画素情報Ｉｎを読み出したときには、みなし欠陥画素のうち補正後のデータＤｎ＊が大きい方から補正限界総数ｚ分の画素を選定し、ＲＡＭ２０ｃの所定の補正対象保存領域に保存する。この場合にも、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを用いて補正することにより異常なデータを有すことになった画素を補正対象とするため、この画素に起因した画像上でのキズの発生を十分に抑制することができる。

上述した図２の補正対象選定ルーチンでは、欠陥画素とみなし欠陥画素との和が補正限界総数ｚを超えるときには全てのみなし欠陥画素を補正しないとしたが、欠陥画素又はみなし欠陥画素と判定されたものについては全て欠陥補正するとしてもよい。具体的には、図２において、ステップＳ１０２〜Ｓ１１８の処理を実行した後、ステップＳ１１８で全ての補正対象の画素を読み出したと判定されたときには、ステップＳ１２２〜Ｓ１２６を実行せずに本ルーチンを終了するとしてもよい。このとき、ステップＳ１１６ではみなし欠陥画素の画素情報ＩｎをＲＡＭ２０ｃの所定の補正対象保存領域に保存する。

上述した実施形態では、工場出荷時に予めＲＯＭ２０ｂに記憶した欠陥画素候補テーブル中の各画素について欠陥画素又はみなし欠陥画素を選定したが、デジタルカメラ１０が欠陥画素又はみなし欠陥画素を抽出する機能を有する場合には、この機能を利用してカラーＣＣＤ２３から欠陥画素又はみなし欠陥画素を選定するとしてもよい。欠陥画素又はみなし欠陥画素を抽出する機能としては、例えば、光学系２２のレンズがカバーなどで被覆されたままの状態で各種ボタン３４に設けられた図示しない欠陥検出設定ボタンがオンされることにより所定時間露光したときにカラーＣＣＤ２３の各画素から出力される電気信号を検出し、この電気信号の値に基づいて欠陥画素又はみなし欠陥画素を選定するとしてもよい。

上述した実施形態では、デジタルデータが正常な範囲を超えた画素を欠陥画素又はみなし欠陥画素として補正対象を特定したが、正常な範囲を下回る画素を欠陥画素又はみなし欠陥画素として補正対象を特定するとしてもよい。具体的には、図１１の補正対象選定ルーチンを採用するとしてもよい。図１１において、図２と同じ処理については図２と同じステップ番号を付してその説明を省略するものとする。図１１の補正対象選定ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ１０２の処理を実行した後、図示しない黒キズ用の欠陥画素候補テーブルから候補ナンバーｎの画素情報Ｉｎを読み出す（ステップＳ８０２）。ここで、黒キズ用の欠陥画素候補テーブルは、例えば、所定の明るい環境下で所定時間露光したときカラーＣＣＤ２３の各画素から出力される電気信号を１２ビットのデジタルデータとして示した値が所定の値以下となる画素を欠陥画素候補として工場出荷時に抽出し、その抽出した画素の画素情報をテーブルとして示したものである。続いて、読み出した画素情報ＩｎのデジタルデータＤｎが黒キズ用の欠陥判定値Ｄｔｈｃを下回るか否かを判定し（ステップＳ８０４）、デジタルデータＤｎが欠陥判定値Ｄｔｈｃを下回るときには欠陥画素として補正対象とする（ステップＳ１０８）。一方、デジタルデータＤｎが欠陥判定値Ｄｔｈｃ以上のときには、ステップＳ１１０及びＳ１１２の処理を実行してゲインを用いてデジタルデータＤｎを補正した後、その補正後のデータＤｎ＊が黒キズ用のみなし欠陥判定値Ｄｔｈｄを下回るか否かを判定し（ステップＳ８０６）、補正後のデータＤｎ＊が黒キズ用のみなし欠陥判定値Ｄｔｈｄを下回るときにはみなし欠陥画素とする（ステップＳ１１６）。その後、ステップＳ１１８〜Ｓ１２４の処理を実行し、みなし欠陥画素のうち補正後のデータＤｎ＊が小さいものを優先的に補正対象として特定し（ステップＳ８０８）、本ルーチンを終了する。こうすれば、画像上での黒キズの発生を抑制することができる。

上述した実施形態では、撮影時の現像処理について説明したが、例えば、メモリカード３６に保存されたＲＡＷファイルを現像するときに適用するとしてもよい。ここで、ＲＡＷファイルとは、画像データとしてデジタルデータ化した未加工データであるＲＡＷデータを有するファイルをいう。

上述した実施形態では、画像処理装置の一例としてデジタルカメラ１０に本発明を適用したが、画像処理を行う装置であれば特にこれに限定されない。例えば、携帯電話やデジタルビデオカメラ、スキャナなどに本発明を適用してもよい。また、コンピュータを用いてＲＡＷデータを現像する場合に本発明を適用してもよいし、コンピュータなどからプリンタに出力した画像データをプリンタ内で画像処理を施して印刷する場合に適用するとしてもよい。また、本発明の画像処理装置は、デジタルカメラ１０などだけでなく、ＣＰＵ２０ａを中心とするコントローラなどの画像処理を行う装置を含むものである。

本実施形態のデジタルカメラ１０の概略構成を示すブロック図。 補正対象選定ルーチンのフローチャート。 画像処理ルーチンのフローチャート。 カラーＣＣＤ２３の説明図。 欠陥補正処理ルーチンのフローチャート。 欠陥補正の説明図。 他の補正対象選定ルーチンのフローチャート。 他の補正対象選定ルーチンのフローチャート。 他の画像処理ルーチンのフローチャート。 他の補正対象選定ルーチンのフローチャート。 他の補正対象選定ルーチンのフローチャート。

符号の説明

１０ デジタルカメラ、２０ａ ＣＰＵ、２０ｂ ＲＯＭ、２０ｃ ＲＡＭ、２２ 光学系、２３ カラーＣＣＤ、２３ａ 窓、２４ ＣＣＤコントローラ、２５ ＡＦＥ部、２６ デジタル画像処理部、２７ 圧縮伸張部、２８ 液晶ディスプレイ、２９ ＶＲＡＭ、３０ ディスプレイコントローラ、３４ 各種ボタン、３４ａ シャッタボタン、３４ｂ ＷＢボタン、３６ メモリカード、３８ 入出力インターフェース、５２，５４ａ〜５４ｄ 画素。

Claims (8)

1. 欠陥画素候補の各画素から出力される電気信号のデータを取得するデータ取得手段と、
   前記欠陥画素候補の各画素から取得した電気信号のデータを補正するデータ補正手段と、
   前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として前記欠陥画素候補から選出する画素選出手段と、
   前記みなし欠陥画素につき欠陥補正を行う欠陥補正手段と、
   を備えた画像処理装置。
2. 前記画素選出手段は、前記欠陥画素候補の各画素から取得した電気信号のデータが第２異常判定範囲内か否かを判定し該電気信号のデータが該第２異常判定範囲内の画素については欠陥画素として選出し、該電気信号のデータが前記第２異常判定範囲内でない画素については前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として選出し、
   前記欠陥補正手段は、前記欠陥画素及び前記みなし欠陥画素につき欠陥補正を行う、
   請求項１に記載の画像処理装置。
3. 前記画素選出手段は、前記欠陥画素を選出するにあたり、前記電気信号のデータが前記第２異常判定範囲内の画素については前記データ補正手段により補正した後のデータが第３異常判定範囲内か否かを判定し該第３異常判定範囲内の画素を欠陥画素として選出する、
   請求項２に記載の画像処理装置。
4. 前記欠陥補正手段は、前記みなし欠陥画素よりも前記欠陥画素に対して優先的に欠陥補正を行い、前記みなし欠陥画素のうち前記データ補正手段により補正した後のデータが該みなし欠陥画素として判定される所定のしきい値から大きく離れたものに対して優先的に欠陥補正を行う、
   請求項２又は３に記載の画像処理装置。
5. 前記データ補正手段は、前記欠陥画素候補の各画素から取得した電気信号のデータをゲインを用いた補正又はホワイトバランス補正をする、
   請求項１〜４のいずれかに記載の画像処理装置。
6. 前記データ取得手段は、欠陥画素候補の画素を特定するための情報と、該画素を所定の明るさで露光したときに該画素から出力される電気信号のデータである欠陥画素候補色データとを含むデータを取得し、
   前記画素選出手段は、前記欠陥画素候補の前記欠陥画素候補色データに基づいて前記異常判定範囲を設定する
   請求項１〜５のいずれかに記載の画像処理装置。
7. 欠陥画素候補の各画素から出力される電気信号のデータを取得するデータ取得手段と、前記欠陥画素候補の各画素から取得した電気信号のデータを補正するデータ補正手段と、を利用して画素の欠陥補正を行う、コンピュータ・ソフトウェアによる画像処理方法であって
   （ａ）前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として前記欠陥画素候補から選出するステップと、
   （ｂ）前記ステップ（ａ）で選定された前記みなし欠陥画素につき欠陥補正を行うステップと、
   を含む画像処理方法。
8. 欠陥画素候補の各画素から出力される電気信号のデータを取得するデータ取得手段と、前記欠陥画素候補の各画素から取得した電気信号のデータを補正するデータ補正手段と、を利用して画素の欠陥補正を行う、コンピュータ・ソフトウェアによる画像処理方法を１又は複数のコンピュータに実行させるための画像処理プログラムであって、
   （ａ）前記データ補正手段により補正した後のデータが第１異常判定範囲内か否かを判定し該補正した後のデータが該第１異常判定範囲内の画素をみなし欠陥画素として前記欠陥画素候補から選出するステップと、
   （ｂ）前記ステップ（ａ）で選定された前記みなし欠陥画素につき欠陥補正を行うステップと、
   を実行させるための画像処理プログラム。

Images