JP5968145B2

JP5968145B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5968145B2
Application number: JP2012170372A
Authority: JP
Inventors: 裕一郎君島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2016-08-10
Anticipated expiration: 2032-07-31
Also published as: JP2014030145A

Description

本発明は、画像処理装置及びその制御方法に関し、特に撮像素子の欠陥画素の補正技術に関する。

ＣＣＤ、ＣＭＯＳセンサ等の撮像素子は、その製造過程において、半導体の局所的な感度不良が生じることが知られている。このような局所的な感度不良は、撮像素子の製造工程において検出できないものや、製造後において経時変化等の要因によって生じるものもある。このような欠陥を有する画素（欠陥画素）の電荷出力は、撮像時に該画素に入射する光束の光量に応じた電荷出力とならず、得られる画像において被写体とは無関係に白点や黒点となって現れる。

製造過程において生じた欠陥画素については、例えば遮光状態時の出力レベルが異常である欠陥画素の位置を示す情報を出荷時に不揮発性メモリに格納しておくことで、特定可能である。撮像時には該情報を参照して欠陥画素の位置を特定し、撮像により得られた画像について対応する画素の画素出力を、該画素の周辺画素の画素出力を用いて補正することができる。特許文献１には、対象欠陥画素の補正時に参照される対象欠陥画素の周辺画素のうち、欠陥画素以外の画素を除いて対象欠陥画素の画素出力を補正する方法が開示されている。

一方、製造後に現れる欠陥画素については、撮像により得られた画像から、欠陥画素であるか否かを各画素について検出する必要がある。特に、特許文献２に示される、撮像素子からの信号読み出し時に稀にあるいは周期的に電荷レベルが増減する、所謂点滅画素のような欠陥画素については、毎回の撮像に現れるわけではないため、撮像ごとに検出を行う必要がある。特許文献３には、撮像により得られた画像について、各画素について２次元範囲に含まれる周辺画素との画素出力の比較を行うことで該画素が欠陥画素であるか否かを判断する方法が開示されている。

特開２００６−３２４９０８号公報特開２００４−５６３９５号公報特開平０６−３１９０８２号公報

例えば図５に示されるように、欠陥画素Ｃ_４３の画素値を、ハッチングで示されるＣ_２１、Ｃ_４１、Ｃ_６１、Ｃ_３２、Ｃ_５２、Ｃ_２３、Ｃ_６３、Ｃ_３４、Ｃ_５４、Ｃ_２５、Ｃ_４５、Ｃ_６５の画素値を用いて補正する場合を考える。このとき、製造過程において生じた欠陥画素が、図５に「△」で示されるように分布する場合、特許文献１によればＣ_５４の画素値は補正に用いられず、それ以外の画素値を用いて欠陥画素Ｃ_４３の画素値は補正される。しかしながら、製造後に現れる欠陥画素が図５に「×」で示されるように分布する場合、製造後に現れる欠陥画素Ｃ_３２およびＣ_６５の画素値を用いてしまうと、欠陥画素Ｃ_４３の画素値は正しく補正されない。

つまり、特許文献１のような欠陥画素の画素出力の補正方法に、製造後に現れる欠陥画素も補正用に参照されないようにするためには、画素出力の補正前に製造後に現れる欠陥画素の検出が完了している必要がある。しかしながら、撮像により得られる画像について製造後に現れる欠陥画素の検出を行い、検出の完了後に出荷時に格納された欠陥画素の位置を示す情報に検出結果を反映させ、それから補正を行う方法では、処理時間が長くなる。

これに対し、遅延回路を用いて欠陥画素の検出と補正とを時間差で並行して実行することで処理時間は短縮することができる。しかしながら、特許文献３のような方法で欠陥画素であるか否かを判定する場合、１つの欠陥画素の補正について参照される周辺画素の全てについて欠陥画素であるか否かの判定が完了している必要があるため、遅延回路の回路規模が増大する。具体的には特に垂直方向について、欠陥画素の検出よりも後段で、補正時に参照される画素数分のラインメモリを設ける必要があるため、遅延回路の規模及びコストが上昇しうる。

本発明は、上述の問題点に鑑みてなされたものであり、回路規模を低減させつつ、欠陥画素の画素出力を好適に補正する画像処理装置及びその制御方法を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
撮像素子により撮像された画像データを取得する取得手段と、撮像素子について予め判明している初期欠陥画素を特定する特定手段と、取得手段により取得された画像データについて、処理を行う対象画素を、撮像素子のスキャン順に順次変更しながら設定する設定手段と、設定手段により設定された対象画素を基準とした、所定の大きさの２次元範囲の画像データに対し、撮像素子のスキャン方向に延びる複数のラインについて、対象画素あるいは対象画素と対応する位置に存在する画素が、初期欠陥画素ではない新たな欠陥画素であるか否かを判定する判定手段と、対象画素が初期欠陥画素あるいは新たな欠陥画素である場合に、対象画素の周辺画素のうち、初期欠陥画素および新たな欠陥画素のいずれでもない画素の画素値を用いて、対象画素の画素値を補正する補正手段と、を有し、判定手段は、複数のラインの各々について、対象画素との距離に応じて判定に用いる画素数を異ならせることを特徴とする。

このような構成により本発明によれば、回路規模を低減させつつ、欠陥画素の画素出力を好適に補正することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図本発明の実施形態１に係る欠陥画素出力補正部１２０の内部構成を示したブロック図本発明の実施形態１に係る内部メモリ１２１及び欠陥画素検出回路１２３の詳細構成を示した図本発明の実施形態に係る参照範囲を説明するための図本発明の実施形態に係る欠陥画素の補正に用いられる画素を説明するための図本発明の実施形態に係るデジタルカメラ１００の処理シーケンスを例示したフローチャート本発明の実施形態２に係る欠陥画素の判定結果の再利用を説明するための図本発明の実施形態２に係る欠陥画素出力補正部１２０の内部構成を示したブロック図本発明の実施形態２に係る内部メモリ１２１及び欠陥画素検出回路１２３の詳細構成を示した図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像素子の画素出力から欠陥画素の検出及び該画素の画素出力の補正が可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像素子の画素出力から欠陥画素の検出し、該画素の画素出力の補正することが可能な任意の機器に適用可能である。

また、本明細書において、「初期欠陥画素」とは、デジタルカメラの出荷前に検出された撮像素子における欠陥画素であるものとする。これに対し、初期欠陥画素以外の、デジタルカメラの出荷後に新たに検出される欠陥画素は「出荷後欠陥画素」として区別して以下は説明するものとする。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

ＣＰＵ１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、例えばＲＯＭ１０２に格納されている処理シーケンスに係るプログラム等を読み出し、ＤＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、処理シーケンスに係るプログラムに加え、デジタルカメラ１００が有する各ブロックの動作において必要なパラメータ等の情報を格納する。また本実施形態ではＲＯＭ１０２は、デジタルカメラ１００の工場出荷前に検出された初期欠陥画素の位置を特定する初期欠陥画素情報を格納している。

ＤＲＡＭ１０３は、揮発性メモリである。ＤＲＡＭ１０３は、処理シーケンスに係るプログラムの展開領域だけでなく、デジタルカメラ１００が有する各ブロックの動作において出力された中間データ等が一時的に格納される。

撮像素子１０５は、例えばＣＣＤやＣＭＯＳセンサ等の、光電変換素子が２次元に配列された光学センサである。撮像素子１０５は、撮像光学系１０４により撮像面に結像された光学像を光電変換し、アナログ画像信号をラスタスキャンで出力する。なお、撮像光学系１０４は、撮像レンズ、シャッタ、絞り、焦点距離が可変のズームレンズ等で構成される。

アナログ処理部１０６は、撮像素子１０５が出力したアナログ画像信号に対しての信号処理を行う。具体的にはアナログ処理部１０６は、アナログ画像信号に含まれるリセットノイズを除去する相関二重サンプリングや、アナログ画像信号のレベルを利得可変に増幅する利得可変増幅処理等を行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６による信号処理が適用されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、（デジタル）画像データを出力する。なお、Ａ／Ｄ変換部１０７により出力された画像データは画像処理部１０８に入力される。

画像処理部１０８は、入力された画像データに対して種々の画像処理を適用する。本実施形態では画像処理部１０８は、図示されるように欠陥画素出力補正部１２０及び信号処理部１５０を有する。欠陥画素出力補正部１２０は、入力された画像データについて、出荷後欠陥画素の検出を行い、初期欠陥画素及び出荷後欠陥画素の画素出力の補正を行う。また信号処理部１５０は、欠陥画素の補正処理以外の、例えば色調整等の画質向上に係る処理や予め定められた記録形式への符号化処理等を行う。

記録媒体１０９は、例えばデジタルカメラ１００の内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続された記録装置である。記録媒体１０９は、画像処理部１０８より出力された記録形式の画像データを画像ファイルとして記録する。

表示部１１０は、例えばＬＣＤ等のデジタルカメラ１００が有する撮像装置である。表示部１１０は、撮像素子１０５による撮像で得られた画像信号を随時表示することで、電子ビューファインダとして機能する。また表示部１１０は、撮影により得られた画像データや記録媒体１０９に記録された画像データを表示する。

操作部１１１は、例えばレリーズスイッチや電源スイッチ等のデジタルカメラ１００が有するユーザインタフェースである。操作部１１１は、ユーザインタフェースがユーザにより操作されたことを検出すると、該操作に対応する制御信号をＣＰＵ１０１に出力する。

バス１１２は、デジタルカメラ１００が有する各ブロックを接続する。バス１１２を介することで、各バスに接続されたブロック間でのデータの伝達が可能である。

〈欠陥画素出力補正部１２０の構成〉
ここで、欠陥画素出力補正部１２０の内部構成について、図２を用いてさらに詳細を説明する。

欠陥画素出力補正部１２０は、撮像により得られた画像データの各画素について、該画素が欠陥画素であるか否か、及び欠陥画素であった場合は該画素の画素出力（画素値）の補正を行う。

内部メモリ１２１は、Ａ／Ｄ変換部１０７から出力された画像データの水平７ライン分の画素出力を格納する。内部メモリ１２１は、図３に示されるようにディレイライン構造となっており、第１乃至７ディレイライン（１３１乃至１３７）で構成される。各ディレイラインには、画像データの水平１ライン分の画素出力が格納される。

Ａ／Ｄ変換部１０７から出力された画素出力が順次欠陥画素出力補正部１２０に入力されると、該画素出力はまず内部メモリ１２１の第７ディレイライン１３７に格納（ライト）される。各ディレイラインは水平１ライン分の画素数分の格納領域を有している。第７ディレイライン１３７の全ての領域が１つの水平ラインの画素で埋まった状態で次の水平ラインの画素が入力されると、内部メモリ１２１は第７ディレイライン１３７に格納されている画素出力を第６ディレイライン１３６にライトする。そして内部メモリ１２１は新たに入力された水平ラインの画素出力を第７ディレイライン１３７にライトする。このように入力される画素の水平ラインが変わるごとに内部メモリ１２１内ではディレイライン間でデータの移動が行われる。即ち、第７ディレイライン１３７→第６ディレイライン１３６、第６ディレイライン１３６→第５ディレイライン１３５、・・・、第２ディレイライン１３２→第１ディレイライン１３１と順次データが移動される。そして、最終的に水平７ライン分の画像データが、水平ラインごとに内部メモリ１２１の各ディレイラインに格納される。

内部メモリ１２１に格納された画素出力は読み出され、後述する欠陥画素検出回路１２３及び位相調整回路１２４に入力される。内部メモリ１２１は各ディレイラインから互いの水平方向の座標が一致する画素出力を１列（垂直１ライン）分ずつ同時に出力し、これらの画素出力は欠陥画素検出回路１２３に入力される。図４に示されるように、欠陥画素検出回路１２３は、内部メモリ１２１から読み出した画素出力のうち、欠陥画素を検出するために必要な水平方向９画素×垂直方向７画素分を利用する構成となっている。欠陥画素検出回路１２３は、この水平方向９画素×垂直方向７画素分からなる２次元の検出用参照範囲に含まれる画素のうち、主に、その中心に位置する対象画素（Ｃ_４３）が欠陥画素であるか否かを判定する。なお、ここでは、検出精度を期すために、対象画素が欠陥画素であるか否かを判定するための検出用参照範囲が水平方向９画素×垂直方向７画素分である例をあげて説明を行っているが、これに限られるものではない。少なくとも、検出用参照範囲の垂直方向における画素数は、後述する欠陥画素出力補正回路１２５が利用する補正用参照範囲の垂直方向における画素数と同じ画素数（本実施形態では５画素）を確保できていればよい。また検出用参照範囲の画像データにおける対象画素の位置は、対象画素を中心として検出用参照範囲が設定されることが好ましいが、検出用参照範囲の水平方向あるいは垂直方向の画素数が偶数の場合等は、対象画素が厳密な中心に存在しなくてもよい。

欠陥画素マップ生成回路１２２は、欠陥画素出力補正部１２０に入力された初期欠陥画素情報から、画像データの各画素が欠陥画素であるか否かを示す、例えば論理型の配列である欠陥画素マップを生成し、保持する。保持された欠陥画素マップは、欠陥画素検出回路１２３、欠陥画素出力補正回路１２５、及び第２セレクタ１２７に出力される。欠陥画素出力補正部１２０に入力される初期欠陥画素情報は、撮像素子の全ての初期欠陥画素を示す情報である必要はない。欠陥画素出力補正部１２０に入力される初期欠陥画素情報は、少なくとも欠陥画素検出回路１２３で利用する検出用参照範囲および欠陥画素出力補正回路１２５で利用する補正用参照範囲を含む範囲についての初期欠陥画素を示す情報であればよい。なお、本実施形態では、欠陥画素検出回路１２３は水平方向９画素×垂直方向７画素からなる検出用参照範囲を利用し、欠陥画素出力補正回路１２５は水平方向５画素×垂直方向５画素からなる補正用参照範囲を利用するものとする。

なお、欠陥画素マップの範囲は、対象画素が変化した場合に、情報を引き継ぎながら次の対象画素に対応する範囲に変更される。

また欠陥画素マップ生成回路１２２は、後述する欠陥画素検出回路１２３において検出された出荷後欠陥画素の情報が入力されると、初期欠陥画素情報を基に生成した欠陥画素マップに出荷後欠陥画素を反映させる。反映後の欠陥画素マップは、同様に欠陥画素検出回路１２３、欠陥画素出力補正回路１２５、及び第２セレクタ１２７に入力される。このようにすることで、本実施形態の欠陥画素出力補正部１２０では、初期欠陥画素と出荷後欠陥画素とを把握した上で、欠陥画素出力補正回路１２５における欠陥画素の画素出力の補正を行うことができる。

欠陥画素検出回路１２３は、内部メモリ１２１から出力された検出用参照範囲の画素出力を用いて、点滅を起こす欠陥画素に限らず、様々な出荷後欠陥画素を検出する。本実施形態の欠陥画素検出回路１２３は、図４に示された検出用参照範囲の画像データについて、従来のように対象画素Ｃ_４３のみが欠陥画素であるか否かを判定するものではない。本実施形態の欠陥画素検出回路１２３は、第２乃至６ディレイライン（１３２乃至１３６）の各水平ラインについてその中心画素が欠陥画素であるか否かを判定する。即ち、図４の例ではＣ_４１、Ｃ_４２、Ｃ_４３、Ｃ_４４、Ｃ_４５の５画素が、欠陥画素検出回路１２３において欠陥画素であるか否かの判定が同時に行われる。

欠陥画素検出回路１２３は、図３に示されるように、各水平ラインについて中心画素が欠陥画素であるか否かを判定する検出部（第１乃至５検出部（１４１乃至１４５））を有する。各検出部は、それぞれ異なる水平ラインの組み合わせが入力され、入力された水平ラインに含まれる画素から該水平ラインの中心画素が欠陥画素であるか否かを判定する。なお、各検出部は、欠陥画素検出回路１２３に入力された欠陥画素マップを参照し、初期欠陥画素を除外した上で欠陥画素の判定を行う。

第３検出部１４３は、対象画素Ｃ_４３について欠陥画素であるか否かを判定する。第３検出部１４３は、７タップの水平ラインの入力が可能であり、第１ディレイライン１３１乃至第７ディレイライン１３７の全てから出力された検出用参照範囲の画素出力から対象画素Ｃ_４３が欠陥画素であるか否かを判定する。

これに対し、第２検出部１４２及び第４検出部１４４は、それぞれＣ_４２、Ｃ_４４について欠陥画素であるか否かを判定するが、入力は第３検出部１４３と異なり５タップの水平ラインとなっている。また第１検出部１４１及び第５検出部１４５は、それぞれＣ_４１、Ｃ_４５について欠陥画素であるか否かを判定するが、入力は第３検出部１４３と異なり３タップの水平ラインとなっている。

一般的に、画質に影響が大きいと判断されるような欠陥画素の画素値については周辺の画素の画素値に比べて極端な画素値の変化が生じることが多い。つまり、比較を行う画素の範囲を狭めたとしても、該欠陥画素は検出できる可能性が高い。またさらに、周辺画素の画素値を参照して欠陥画素の画素値を補正する場合、参照される周辺画素は、該欠陥画素に近いほど有効である。このため、対象画素Ｃ_４３からの距離が長い画素ほど、欠陥画素であるか否かの判定精度が要求されない。

本実施形態ではこの点に着目し、対象画素Ｃ_４３からの距離に応じて検出部に入力される範囲を狭めることで、検出用参照範囲の第２乃至６ディレイライン（１３２乃至１３６）の各水平ラインについて、その中心画素が欠陥画素であるか否かを同時に判定する。このようにすることで、検出用参照範囲に含まれる垂直方向に並んだ５画素について欠陥画素であるか否かを判定できるため、垂直方向に対象画素及び検出用参照範囲を変更しながら判定を行う必要がなく、垂直方向についての遅延回路を設ける必要がなくなる。

位相調整回路１２４は、内部メモリ１２１から入力された画像データを、少なくとも補正用参照範囲の全ての画素についての欠陥画素の判定が完了するまでの時間分遅延させて後述する欠陥画素出力補正回路１２５に出力する。上述したように本実施形態の欠陥画素検出回路１２３では、検出用参照範囲の画素のうち、対象画素を含む同一の水平座標を有する５画素について欠陥画素の判定が行われる。つまり、欠陥画素検出回路１２３における欠陥画素の判定処理が行われることにより、ディレイ（回路レイテンシ）が発生するために、位相調整回路１２４では入力された参照範囲の画像データを遅延させる。

図４に示したような対象画素Ｃ_４３について欠陥画素用の補正を行う場合は、Ｃ_４３を中心とした補正用参照範囲についての欠陥画素の判定が完了している必要がある。このため、位相調整回路１２４における遅延量は、少なくとも水平方向に３画素分（（水平方向のフィルタタップ数＋１）／２）であればよい。なお、実際は欠陥画素検出回路１２３におけるフィルタ処理以外の処理によってもディレイが生じるため、位相調整回路１２４における遅延量は、水平方向３画素分よりも多くなる可能性がある。また、欠陥画素検出回路１２３が、参照画素の垂直方向における画素数と同数の５画素に対して欠陥画素であるか否かの判定を行っているため、垂直方向に遅延させる必要は生じない。

また位相調整回路１２４は、内部メモリ１２１から入力された画像データを、さらに欠陥画素出力補正回路１２５の処理に要する時間分遅延させて、後述する第１セレクタ１２６に出力する。即ち、第１セレクタ１２６には、欠陥画素出力補正回路１２５において欠陥画素用の補正処理がなされた対象画素と、欠陥画素出力補正部１２０に入力されたそのままの対象画素とが、同期して入力される。

欠陥画素出力補正回路１２５は、位相調整回路１２４により遅延された画像データが入力されると、対象画素Ｃ_４３の画素値を補正用参照範囲に含まれる周辺画素の同色の画素値を用いて、欠陥画素出力補正用の補正処理を行う。ここでは、対象画素Ｃ_４３がベイヤー配列のＧ（緑）に対応する画素であるとする。この場合、対象画素Ｃ_４３に対して図５に示されるようなＣ_２１、Ｃ_４１、Ｃ_６１、Ｃ_３２、Ｃ_５２、Ｃ_２３、Ｃ_６３、Ｃ_３４、Ｃ_５４、Ｃ_２５、Ｃ_４５、Ｃ_６５の１２画素が補正用に用いられるものとする。なお、対象画素Ｃ_４３がベイヤー配列のＲ（赤）またはＢ（青）に対応する画素であれば、Ｃ_２１、Ｃ_４１、Ｃ_６１、Ｃ_２３、Ｃ_６３、Ｃ_２５、Ｃ_４５、Ｃ_６５の８画素が補正用に用いられる。欠陥画素出力補正回路１２５は、欠陥画素マップ生成回路１２２より入力された欠陥画素マップを参照し、補正用に用いられる１２画素の各々について初期欠陥画素あるいは出荷後欠陥画素であるか否かを判断する。そして欠陥画素出力補正回路１２５は、補正用の１２画素のうち、初期欠陥画素あるいは出荷後欠陥画素であると判断された画素を除いた画素を用いて対象画素の画素値を補正する。欠陥画素出力補正回路１２５は、得られた補正後の対象画素の画素値を、第１セレクタ１２６及び第２セレクタ１２７に出力する。

第１セレクタ１２６は、欠陥画素検出回路１２３における対象画素Ｃ_４３についての欠陥画素の判定結果に応じて、対象画素Ｃ_４３の画素値を選択して出力する。具体的には第１セレクタ１２６は、対象画素Ｃ_４３が出荷後欠陥画素であると判定された場合、欠陥画素出力補正回路１２５において補正された対象画素Ｃ_４３の画素値を第２セレクタ１２７に出力する。また第１セレクタ１２６は、対象画素Ｃ_４３が出荷後欠陥画素ではないと判定された場合、内部メモリ１２１から出力された、補正がなされていない対象画素Ｃ_４３の画素値を第２セレクタ１２７に出力する。

第２セレクタ１２７は、初期欠陥画素及び出荷後欠陥画素が含まれる欠陥画素マップを参照し、対象画素Ｃ_４３の画素値を選択して出力する。具体的には第２セレクタ１２７は、対象画素Ｃ_４３が初期欠陥画素あるいは出荷後欠陥画素である場合、欠陥画素出力補正回路１２５において補正された対象画素Ｃ_４３の画素値を出力する。また第２セレクタ１２７は、対象画素Ｃ_４３が初期欠陥画素及び出荷後欠陥画素のいずれでもないと判定された場合、第１セレクタ１２６から出力された対象画素Ｃ_４３の画素値を出力する。

このようにすることで、本実施形態の欠陥画素出力補正部１２０は、初期欠陥画素と出荷後欠陥画素とを考慮して、欠陥画素についての補正を好適に行うことができる。即ち、欠陥画素の補正において用いる周辺画素について、出荷後欠陥画素についても除外することができるため、出荷後欠陥画素による影響を受けずに補正後の画素値を得ることができる。また、参照範囲に含まれる対象画素と同一の水平座標を有する画素について、一度に欠陥画素の判定を行うことができるため、垂直方向についての遅延回路を設ける必要がなく、欠陥画素出力補正部１２０の回路規模を低減することができる。

《デジタルカメラ１００の処理シーケンス》
このような構成をもつ本実施形態のデジタルカメラ１００の処理シーケンスについて、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＤＲＡＭ１０３に展開して実行することにより実現することができる。なお、本処理シーケンスは、例えばデジタルカメラ１００が撮像モードで起動された際に開始されるものとして説明する。

Ｓ６０１で、ＣＰＵ１０１は、ＲＯＭ１０２に格納されている初期欠陥画素情報を読み出し、ＤＲＡＭ１０３に展開する。

Ｓ６０２で、ＣＰＵ１０１は、ＤＲＡＭ１０３に展開された初期欠陥画素情報を読み出し、欠陥画素出力補正部１２０に入力する。

Ｓ６０３で、ＣＰＵ１０１は、撮像素子１０５に撮像動作を開始させる。撮像素子１０５による撮像により出力された画像信号は、アナログ処理部１０６、Ａ／Ｄ変換部１０７における処理を経て、画像データとして画像処理部１０８に順次入力される。

Ｓ６０４で、ＣＰＵ１０１は、欠陥画素出力補正部１２０における処理が行われている対象画素及び関連する検出用および補正用参照範囲について、対応する初期欠陥画素情報が欠陥画素マップ生成回路１２２に入力されているか否かを判断する。即ち、欠陥画素マップ生成回路１２２が保持している欠陥画素マップについて、未入力の初期欠陥画素の情報が存在しないか否かを判断する。ＣＰＵ１０１は、対象画素及び参照範囲について、対応する初期欠陥画素情報が欠陥画素マップ生成回路１２２に入力されていると判断した場合は処理をＳ６０６に移し、入力されていないと判断した場合は処理をＳ６０５に移す。

Ｓ６０５で、ＣＰＵ１０１は、欠陥画素マップ生成回路１２２に入力されていない初期欠陥画素に係る初期欠陥画素情報をＤＲＡＭ１０３から読み出し、欠陥画素出力補正部１２０に入力し、処理をＳ６０６に移す。

Ｓ６０６で、ＣＰＵ１０１は、画像処理部１０８に入力された画像データの全画素について欠陥画素出力補正部１２０における処理が完了したか否かを判断する。ＣＰＵ１０１は、全画素について欠陥画素出力補正部１２０における処理が完了したと判断した場合は処理をＳ６０７に移し、完了していないと判断した場合は処理をＳ６０４に戻す。

Ｓ６０７で、ＣＰＵ１０１は、欠陥画素出力補正部１２０における処理、及び信号処理部１５０における処理が完了して画像処理部１０８から出力された画像データを表示部１１０に表示させる。そしてＣＰＵ１０１は、１つのフレームの撮像信号についての処理シーケンスを完了する。

なお、本実施形態では、対象画素をラスタスキャン順に設定しながら、対象画素について設定される参照範囲の一部の水平ラインについて欠陥画素の判定を行うものとして説明したが、本発明の実施はこれに限られるものではない。即ち、撮像素子１０５のスキャン順によっては、対象画素は水平スキャン順に順次変更されながら設定されるのではなく、垂直スキャン順に順次変更されながら設定されるものであってもよい。対象画素が垂直スキャン順に順次変更されながら設定される場合、欠陥画素検出回路１２３の欠陥画素の判定は、参照範囲の各垂直ラインの、対象画素と同一の垂直座標を有する画素についてなされる。また位相調整回路１２４における遅延も、垂直方向についての遅延回路のみが設けられればよい。ただし、いずれの場合であっても、欠陥画素検出回路１２３が欠陥画素であるか否かを一度に判定する検出参照範囲内のラインの数は、補正用参照範囲のスキャン方向と直交する方向における画素数と等しいかそれ以上でなければならない。

以上説明したように、本実施形態の画像処理装置は、回路規模を低減させつつ、欠陥画素の画素出力を好適に補正することができる。具体的には画像処理装置は、撮像素子により撮像された画像データを取得し、該画像データについて、処理を行う対象画素を撮像素子のスキャン順に順次変更しながら設定する。そして対象画素を基準とした、所定の大きさの２次元範囲の画像データに対し、撮像素子のスキャン方向に延びる複数のラインについて、対象画素あるいは対象画素と対応する位置に存在する画素が、予め判明していない新たな欠陥画素であるか否かを判定する。このとき画像処理装置は、欠陥画素であるか否かを判定する複数のラインの各々について、対象画素との距離に応じて判定に用いる画素数を異ならせる。そして、対象画素が撮像素子について予め判明している初期欠陥画素、あるいは新たな欠陥画素である場合に、対象画素の周辺画素のうち、初期欠陥画素及び新たな欠陥画素のいずれでもない画素の画素値を用いて、対象画素の画素値を補正する。

［実施形態２］
上述した実施形態１では、欠陥画素出力補正部１２０の欠陥画素検出回路１２３において５つの水平ラインの検出部を設け、対象画素からの距離が遠いほど、検出部に入力される画素数を減らして欠陥画素の判定を行うものとして説明した。即ち、対象画素以外の欠陥画素の判定を行う画素については、上述したように判定精度が低下することになる。これに対し、本実施形態では欠陥画素の判定精度を高く維持しつつ、回路規模を増大させずに好適な欠陥画素の画素出力の補正を行う方法について説明する。

《判定精度向上の概念》
図７に示されるように、本実施形態のデジタルカメラ１００では、実施形態１と同様に水平方向９画素×垂直方向７画素の範囲を参照範囲として設定しながら、欠陥画素の判定を行う。

ある時刻ｔ_ｖ＝３において、対象画素Ｃ_４３に対して、図７（ａ）にハッチングで示される部分が参照範囲として設定されたとする。即ち、内部メモリ１２１には、該参照範囲の画像データが格納されて欠陥画素検出回路１２３における判定処理が行われる。対象画素Ｃ_４３についての補正処理が行われるためには、ｔ_ｖ＝３以降、対象画素がＣ_４３からＣ_５３→・・・→Ｃ_Ｈ３と順次水平方向に移動して設定されながら、各々について設定された参照範囲の画像データが内部メモリ１２１に格納される。画像の右端であるＣ_Ｈ３が対象画素として設定された後は、次の水平ラインに移り、Ｃ_０４が対象画素として設定される。

このとき、対象画素として設定された画素については、欠陥画素検出回路１２３において７タップ分の水平ラインの画素、即ち参照範囲の全画素を用いて欠陥画素の判定がなされるため、判定精度は高い。つまり、図７（ｂ）のように時刻ｔ_ｖ＝７において対象画素Ｃ_４７が設定された際には、ハッチングで示される参照範囲のうち、対象画素Ｃ_４７よりも上部の水平ラインの各画素については、既に精度の高い欠陥画素の判定が行われていることになる。

本実施形態では、このように同じ画像について既に行われた欠陥画素の判定結果のうち、判定精度の高い情報を再利用することで、欠陥画素検出回路１２３における処理量の低減を行う。

《欠陥画素出力補正部１２０の構成》
本実施形態の欠陥画素出力補正部１２０は、上述した実施形態１の欠陥画素出力補正部１２０に加え、図８に示すように判定結果保持メモリ１２８を有する。

判定結果保持メモリ１２８は、欠陥画素検出回路１２３により出力された欠陥画素の判定結果のうち、対象画素についての判定結果を、撮像素子から得られる水平２ライン分（撮像素子の水平方向の画素数の２倍分）保持する。判定結果保持メモリ１２８に保持される判定結果は、常に水平２ライン分の判定結果を保持しており、新たな判定結果が得られるたびに、最古の判定結果が破棄されて新たな判定結果が保持される。

判定結果保持メモリ１２８に保持される判定結果は、設定された対象画素に対して設定された補正用参照範囲に含まれるものについて欠陥画素マップ生成回路１２２に出力され、欠陥画素マップに反映される。

なお、欠陥画素について点滅等の種類とともに判定する場合、欠陥画素の判定結果は、欠陥画素の種類分のビット数を用いて格納されればよい。例えば欠陥画素を４種類に判別して検出する場合、１画素当たり２ビットの情報量であればよい。

〈欠陥画素検出回路１２３の構成〉
本実施形態の欠陥画素検出回路１２３では、対象画素と同一の水平座標を有する画素のうち、既に欠陥画素の判定を行った上部の２画素については判定が不要であるため、図９のように第３検出部１４３乃至第５検出部１４５のみを有する。なお、欠陥画素の判定については、最終的に出力される画像に含まれる画素（有効画素）に限らず、撮像素子の全ての画素出力（ＯＢ領域等を含む）に対して行う。このため、図９のような構成であっても、最終的に出力される画像については好適に欠陥画素の補正を行うことができる。

以上説明したように、本実施形態の画像処理装置は、実施形態１に比べて欠陥画素の判定結果を保持する回路は必要となるが、良好な精度の判定結果を再利用しつつ処理量を低減し、欠陥画素の画素出力を好適に補正することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像素子により撮像された画像データを取得する取得手段と、
前記撮像素子について予め判明している初期欠陥画素を特定する特定手段と、
前記取得手段により取得された前記画像データについて、処理を行う対象画素を、前記撮像素子のスキャン順に順次変更しながら設定する設定手段と、
前記設定手段により設定された前記対象画素を基準とした、所定の大きさの２次元範囲の画像データに対し、前記撮像素子のスキャン方向に延びる複数のラインについて、前記対象画素あるいは前記対象画素と対応する位置に存在する画素が、前記初期欠陥画素ではない新たな欠陥画素であるか否かを判定する判定手段と、
前記対象画素が前記初期欠陥画素あるいは前記新たな欠陥画素である場合に、前記対象画素の周辺画素のうち、前記初期欠陥画素および前記新たな欠陥画素のいずれでもない画素の画素値を用いて、前記対象画素の画素値を補正する補正手段と、を有し、
前記判定手段は、前記複数のラインの各々について、対象画素との距離に応じて判定に用いる画素数を異ならせる
ことを特徴とする画像処理装置。
前記補正手段に前記対象画素を基準とした２次元範囲の画像データを入力する時間を遅延させる遅延手段をさらに有し、
前記遅延手段は、前記対象画素を基準とした２次元範囲の画像データの全画素について、前記判定手段による判定が完了するまで遅延させる
ことを特徴とする請求項１に記載の画像処理装置。
前記判定手段による前記対象画素についての判定結果を保持する保持手段をさらに有し、
前記判定手段は、前記保持手段により前記判定結果が保持されていない画素についてのみ、前記新たな欠陥画素であるか否かの判定を行う
ことを特徴とする請求項１または２に記載の画像処理装置。
前記判定手段は、前記対象画素あるいは前記対象画素と対応する位置に存在する画素の判定について、前記２次元範囲におけるラインの位置に応じて異なるラインの組み合わせを参照するラインとして選択し、該選択したラインに含まれる画素のうち、前記初期欠陥画素を除く画素を用いて判定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記補正手段は、前記対象画素の画素値を補正する際に、前記対象画素に基づく補正用参照範囲に含まれる前記周辺画素の画素値を用いるものであり、
前記複数のラインの数は、前記補正用参照範囲の前記撮像素子のスキャン方向と直交する方向における画素数と等しいかそれ以上であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
画像処理装置の取得手段が、撮像素子により撮像された画像データを取得する取得工程と、
前記画像処理装置の特定手段が、前記撮像素子について予め判明している初期欠陥画素を特定する特定工程と、
前記画像処理装置の設定手段が、前記取得工程において取得された前記画像データについて、処理を行う対象画素を、前記撮像素子のスキャン順に順次変更しながら設定する設定工程と、
前記画像処理装置の判定手段が、前記設定工程において設定された前記対象画素を基準とした、所定の大きさの２次元範囲の画像データに対し、前記撮像素子のスキャン方向に延びる複数のラインについて、前記対象画素あるいは前記対象画素と対応する位置に存在する画素が、前記初期欠陥画素ではない新たな欠陥画素であるか否かを判定する判定工程と、
前記画像処理装置の補正手段が、前記対象画素が前記初期欠陥画素あるいは前記新たな欠陥画素である場合に、前記対象画素の周辺画素のうち、前記初期欠陥画素および前記新たな欠陥画素のいずれでもない画素の画素値を用いて、前記対象画素の画素値を補正する補正工程と、を有し、
前記判定手段は前記判定工程において、前記複数のラインの各々について、対象画素との距離に応じて判定に用いる画素数を異ならせる
ことを特徴とする画像処理装置の制御方法。