JP4598180B2

JP4598180B2 - 欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラム

Info

Publication number: JP4598180B2
Application number: JP2004323068A
Authority: JP
Inventors: 正高橋
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2003-11-28
Filing date: 2004-11-08
Publication date: 2010-12-15
Anticipated expiration: 2024-11-08
Also published as: JP2005184782A

Description

この発明は、固体撮像素子受光面上に整列された各画素の欠陥、特に、対物レンズを組み込んだ撮像ユニット内に配置された固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムに関する。

従来、周知の半導体プロセスで形成された固体撮像素子は、フォトダイオードの短絡等が原因で、受光した光束を正常に光電変換することができない欠陥画素を有することがある。そこで、このような欠陥画素を見かけ上無くすよう補正する為に該欠陥画素を検出する様々な装置や、方法、またはプログラムが提案され実用に供されている（例えば特許文献１）。
特開２００２−１１２１１８号公報

特許文献１では、固体撮像素子の各画素を輝度が均一な照明光で照明し、その照明された固体撮像素子の各画素の出力信号のレベルを、予め設定された閾値と順次比較していくことにより、欠陥画素を検出している。すなわち特許文献１では、各画素の出力値を単純に所定の閾値と比較することによって欠陥画素を検出している。

しかしながら、固体撮像素子を対物光学系を含む撮像装置内に組み込んだ後に該撮像装置に輝度が均一な照明光や均一な輝度を有する被写体を用意して欠陥画素を検出しようとしても、撮像装置に備えられている対物レンズの特性上、該対物レンズの像側の結像面（すなわち固体撮像素子受光面）には、その中心部と周辺部とにおいてそれぞれ集光される光量が異なる。説明を加えると、該固体撮像素子受光面で集光される照明光や被写体の光量は、その中心部が最も多く、周辺部に向かうに従って徐々に減少していく。従って撮像装置に均一な照明光を与えても、固体撮像素子受光面上においてその中心部と周辺部とで各画素の出力値が大きく異なる。

上述したように固体撮像素子受光面上においてその中心部と周辺部とで入射される光量が異なっていると、単純に所定の閾値と比較しただけでは中心部或いは周辺部の全ての画素を、欠陥画素として誤検出してしまう可能性があった。

また、例えば欠陥画素の補正処理は電源投入毎に実行されている為、補正すべき欠陥画素の数が少なければ少ないほど撮像ユニットの起動時間が短くなり好ましい。しかしながら上記特許文献１では、設定された閾値を下回る出力信号の画素を全て欠陥画素として検出している。従って、モニタに映し出される映像にあまり影響を及ぼさない画素（例えば固体撮像素子受光面の最周辺部に配置されている画素）も欠陥画素と判定し、これを補正している。すなわち必要性の低い画素まで補正処理している為、起動時間が長くなり効率が悪かった。

そこで、本発明は上記の事情に鑑み、欠陥画素を高い精度で検出することができ、且つ効率良く画素を補正して補正処理の負担を軽減させる欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムを提供することを目的とする。

上記の課題を解決する本発明の一態様に係る欠陥画素検出装置は、固体撮像素子の受光面上に整列された各画素の欠陥を検出するものであり、各該画素の信号の出力値に関する閾値を設定する閾値設定手段と、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する画素判別手段と、該受光面全域を複数の領域に分割する受光面分割手段と、分割された領域の各々に優先順位を割り当てる優先順位割当手段と、割り当てられた優先順位に従って領域毎に順に欠陥判定処理を行う手段であって、現在の処理対象である領域内の各該画素に対する閾値を変化させていき、該画素判別手段により判別された該画素の数が第１の数以下となったとき、該判別された画素を欠陥画素と判定する欠陥判定手段とを備えたものである。

また、上記欠陥画素検出装置において現在の処理対象である領域の欠陥画素が判定されると、欠陥判定手段は、優先順位に従って次の領域の欠陥判定処理を行うことができる。

また、上記欠陥画素検出装置は、各領域で判定された欠陥画素の総数が第１の数より大きい第２の数以上になったとき、欠陥判定処理を終了させることができる。

また、上記欠陥画素検出装置において、優先順位割当手段は、受光面の中心部に近い領域から順に優先順位を割り当てていくことができる。

また、上記欠陥画素検出装置は、画素判別手段により判別された該画素の位置情報を格納する記憶手段をさらに備えたものであってもよい。

また、上記欠陥画素検出装置において、欠陥判定手段はさらに、画素判別手段により判別された該画素の数に応じて該閾値を変化させていくことができる。

また、上記の課題を解決する本発明の一態様に係る欠陥画素検出方法は、固体撮像素子の受光面上に整列された各画素の欠陥を検出する方法であり、各該画素の信号の出力値に関する閾値を設定する第一のステップと、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する第二のステップと、該受光面全域を複数の領域に分割する第三のステップと、分割された領域の各々に優先順位を割り当てる第四のステップと、割り当てられた優先順位に従って領域毎に順に欠陥判定処理を行うステップであって、現在の処理対象である領域内の各該画素に対する閾値を変化させていき、該第二のステップにより判別された該画素の数が第１の数以下となったとき、該判別された画素を欠陥画素と判定する第五のステップとを有した方法である。

また、上記の課題を解決する本発明の一態様に係る欠陥画素検出プログラムは、固体撮像素子の受光面上に整列された各画素の欠陥を検出するプログラムであり、各該画素の信号の出力値に関する閾値を設定し、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別し、該受光面全域を複数の領域に分割し、分割された領域の各々に優先順位を割り当て、割り当てられた優先順位に従って領域毎に順に欠陥判定処理を行うプログラムであって、現在の処理対象である領域内の各該画素に対する閾値を変化させていき、該判別された画素の数が第１の数以下となったとき、当該画素を欠陥画素と判定するプログラムである。

本発明の欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムを採用すると、領域を複数に分割して欠陥画素を検出している為、対物レンズの特性によって固体撮像素子の中心部と周辺部との画素の出力値が大きく異なっている場合であっても、欠陥画素を高い精度で検出することができるようになる。また、受光面中心部近傍の画素から優先して欠陥画素か否かを判定して欠陥画素の検出処理を実行している為、必要性の高い画像中心の画素から優先して補正することができる。従って、効率良く画素を補正して補正処理の負担を軽減させることができる。

図１は、本発明の実施形態の電子内視鏡装置１０を示すブロック図である。電子内視鏡装置１０は、体腔内を観察する為の装置であり、プロセッサ１００と、電子内視鏡２００と、モニタ３００から構成されている。電子内視鏡２００は固体撮像素子（例えばＣＣＤ）を備えており、プロセッサ１００は本実施形態の特徴に係る機能であって、製造時において発生した該固体撮像素子の欠陥画素を検出して補正する機能を果たす。以下に、図１を参照して電子内視鏡装置１０の構成及び動作を説明する。

プロセッサ１００は、電子内視鏡２００を介して体腔内を照明する光源装置と、電子内視鏡２００から送信された画像信号に所定の信号処理を施し映像信号に変換してモニタ３００に出力する画像処理装置とを兼ね備えたものであり、光源ランプ１１０と、ＲＧＢ回転フィルタ１１２と、モータドライバ１１４と、集光レンズ１１６と、電子内視鏡用接続部１２０と、ＣＰＵ１３０と、メモリ１３２と、ＤＳＰ（Digital Signal Processor）１４０と、メモリ１５０Ｒ、１５０Ｇ、１５０Ｂと、Ｄ／Ａコンバータ１６０と、映像信号出力回路１７０と、出力端子１８０と、切替スイッチ１９０を有している。ここで、ＣＰＵ１３０は、その中に、ＲＯＭ、ＲＡＭ、Ｉ／Ｏポート等を備えている。また、メモリ１３２は、不揮発性のメモリ（例えばＥＥＰＲＯＭ）である。

切替スイッチ１９０は、プロセッサ１００の動作モードを切り替える為のスイッチであり、体腔内を観察する為のモードである通常観察モードと、本実施形態の特徴に係るモードであって、電子内視鏡２００内に配置された固体撮像素子の欠陥画素を検出する為のモードである欠陥画素検出モードに切り替えることができる。欠陥画素検出モードは、定期的なメンテナンス処理を行うときに使用されるものであり、通常電子内視鏡装置１０は、通常観察モードに設定されている。まず、通常観察モードにおける電子内視鏡装置１０の動作を説明する。

電子内視鏡装置１０では面順次方式の撮像システムを採用している。プロセッサ１００は、該撮像システムを実現する為の構成であって、上述した光源装置を司る構成として、光源ランプ１１０、ＲＧＢ回転フィルタ１１２、モータドライバ１１４、及びレンズ１１６を有している。

光源ランプ１１０は、体腔内を照明する為の照明光を発するものであり、ここでは種々の色成分を含んだ白色光を発する。ＲＧＢ回転フィルタ１１２は、光源ランプ１１０から発せられた白色光の光路中に配置されており、Ｒ光、Ｇ光、Ｂ光の三色の色成分の各々を透過させるフィルタを備えている。以下に、面順次方式によるカラー画像の生成のプロセスを説明する。

まず、ＣＰＵ１３０の制御によってモータドライバ１１４が駆動制御され、ＲＧＢ回転フィルタ１１２を回転させるモータが駆動される。これによりＲＧＢ回転フィルタ１１２は回転し、Ｒ光、Ｇ光、Ｂ光の各々の色成分のみを透過するフィルタが白色光の光路中に順次挿入される。従って、光源ランプ１１０から発せられた白色光は、Ｒ、Ｇ、Ｂの各色のフィルタを順次透過し、各色成分のみを含んだ光束としてＲＧＢ回転フィルタ１１２から射出し、電子内視鏡２００側に向かって進行していく。なお、実際には、図１中の光源ランプ１１０は集光レンズ１１６の光軸上に配置されている。

そして各色成分は、集光レンズ１１６により集光されつつ、プロセッサ１００と電子内視鏡２００とを接続している電子内視鏡用接続部１２０を介して電子内視鏡２００に入射される。

電子内視鏡２００は、電子内視鏡装置１０のうち体腔内に挿入されて該体腔内を撮像する機能を果たすものである。電子内視鏡２００は、可撓性を有したケーブルを有しており、該ケーブル内には、該体腔内を撮像する為の種々の部品が配置されている。電子内視鏡２００は、その長手方向に沿って配置されたライトガイド２１０と、その先端部に配置された対物レンズ２２０と、対物レンズ２２０の後側焦点位置と一致する面上にその受光面が配置されたＣＣＤ２３０を有している。ＣＣＤ２３０は、例えば、水平方向に６４０画素、垂直方向に４８０画素のフォトダイオードが整列された、矩形状の固体撮像素子である。

上述した電子内視鏡２００に入射された各色成分は、ライトガイド２１０に入射され、該ライトガイド２１０により電子内視鏡２００の先端に導光される。そしてライトガイド２１０から射出され、体腔内を照明する。各色成分で照明された体腔内からの反射光は、対物レンズ２２０を介して、ＣＣＤ２３０の受光面上で順次結像し受光される。なお、ＣＣＤ２３０は、後述するＣＣＤ駆動回路１４４により駆動制御されている。ＣＣＤ２３０により受光された各色成分は、画像信号に光電変換され、その出力部に順次転送されていく。これら各色成分の画像信号は、プロセッサ１００に出力されて後述する画像処理を施され、ビデオ信号（映像信号）としてモニタ３００に出力される。以下に、プロセッサ１００で行われる画像処理のプロセスを説明する。

プロセッサ１００に出力された画像信号は、ＤＳＰ１４０に入力し、該ＤＳＰ１４０により所定の処理が施される。図２は、ＤＳＰ１４０の構成を示したブロック図である。以下に、図２を参照してＤＳＰ１４０の構成及び動作を説明する。

ＤＳＰ１４０は、電子内視鏡２００から出力された画像信号に所定の信号処理を施す回路であり、Ｓ／Ｈ回路１４１と、Ａ／Ｄ変換器１４２と、タイミングジェネレータ１４３と、ＣＣＤ駆動回路１４４と、検出回路１４５と、補正回路１４６と、信号処理回路１４７と、欠陥画素用メモリ１４８を有している。

Ｓ／Ｈ回路１４１及びＡ／Ｄ変換器１４２は、ＣＰＵ１３０の制御信号によって駆動するタイミングジェネレータ１４３から出力されるタイミング信号により所定のタイミングで制御されている。Ｓ／Ｈ回路１４１は、ＣＣＤ２３０からＤＳＰ１４０に入力された画像信号を所定のタイミングでサンプリング及びホールドし、Ａ／Ｄ変換器１４２は、該画像信号をアナログ信号からデジタル信号に変換する。

ここでプロセッサ１００は切替スイッチ１９０により通常観察モードにセットされている為、Ａ／Ｄ変換器１４２によりデジタル信号に変換された画像信号は、補正回路１４６に出力される。また、プロセッサ１００が欠陥画素検出モードにセットされている場合、プロセッサ１００が本実施形態の特徴である欠陥画素検出処理（後述）を実行する為、該画像信号は、検出回路１４５及び補正回路１４６に出力される。補正回路１４６は、欠陥画素検出処理（後述）によって取得した欠陥画素情報に基づいてＣＣＤ２３０の欠陥画素に対する補正処理を実行している。

ＣＰＵ１３０はプロセッサ１００に接続されている電子内視鏡２００のＩＤ情報を取得する機能を有している。ＣＰＵ１３０に接続されているメモリ１３２は、各電子内視鏡のＩＤ情報と、欠陥画素検出処理（後述）によって取得された欠陥画素情報（例えば欠陥画素のアドレス）とを関連付けて記憶している。プロセッサ１００に電子内視鏡が接続されると、ＣＰＵ１３０は、そのＩＤ情報を取得し、そのＩＤ情報に関連付けられた欠陥画素情報をメモリ１３２から読み出す。そして、読み出した欠陥画素情報を、欠陥画素用メモリ１４８に一時的に記憶させる。

補正回路１４６は、欠陥画素用メモリ１４８の内容を読み込む。この欠陥画素用メモリ１４８には、上述したように、プロセッサ１００に現在接続されている電子内視鏡の欠陥画素の情報（例えば欠陥画素を示すアドレス）がＣＰＵ１３０により書き込まれ、記憶されている。補正回路１４６は、欠陥画素の情報を欠陥画素用メモリ１４８から読み出し、該欠陥画素に対する補正処理を実行する。

補正回路１４６は、欠陥画素検出モード時に検出されたＣＣＤ２３０の欠陥画素を例えば、隣接画素の信号で補間する周知の方式により補正し、補正後の画像信号を信号処理回路１４７に出力する。信号処理回路１４７に入力された画像信号は、タイミングジェネレータ１４３によって、ＣＣＤ２３０の駆動（すなわちＣＣＤ駆動回路１４４の駆動）と同期され、Ｒ成分、Ｇ成分、及びＢ成分の各色成分の画像信号に分離され、メモリ１５０Ｒ、１５０Ｇ、及び１５０Ｂに出力される。

ＤＳＰ１４０により分離された各色成分の画像信号は、ＣＰＵ１３０の作用により、それぞれ異なったメモリに順次格納される。ここでは、Ｒ成分の画像信号は１５０Ｒに格納され、Ｇ成分の画像信号は１５０Ｇに格納され、Ｂ成分の画像信号は１５０Ｂに格納される。

各メモリに格納された画像信号は、ＣＰＵ１３０の作用により、メモリ１５０Ｒ、１５０Ｇ、及び１５０Ｂの各々から所定のタイミングで同時に読み出しされ、Ｄ／Ａ変換器１６０に出力される。そしてこのＤ／Ａ変換器１６０によって、デジタル信号からアナログ信号に変換される。アナログ信号に変換された画像信号は、映像信号出力回路１７０に入力され、この映像信号出力回路１７０によって、モニタ３００に表示可能なコンポジットビデオ信号、Ｓビデオ信号、ＲＧＢビデオ信号などの映像信号に変換される。ここで変換された映像信号がモニタ３００に入力されると、モニタ３００上に体腔内の観察画像がカラーで表示される。

このときプロセッサ１００に接続されている電子内視鏡のＩＤ情報がメモリ１３２に記憶されていないものである場合（より詳しくは欠陥画素用メモリ１４８にその内視鏡の欠陥画素情報が記憶されていない場合）、該補正回路１４６は該内視鏡の固体撮像素子に含まれている欠陥画素の補正を実行できない為、モニタ３００上には欠陥画素に対応する位置にいわゆる黒点（例えばフォトダイオードの断線などで電荷が貯められない画素、若しくは最も低い感度の画素によるもの）や白点（例えばフォトダイオードの短絡で常に電荷が飽和した状態の画素、若しくは最も高い感度の画素によるもの）が表示されてしまう。ここでプロセッサ１００の切替スイッチ１９０を欠陥画素検出モードに切り替え、本実施形態の特徴である欠陥画素検出処理を実行することにより、該電子内視鏡のＩＤ情報と、該ＩＤ情報に対応する欠陥画素の情報とが、メモリ１３２に記憶され、更に欠陥画素用メモリ１４８にも書き込まれ、以後は欠陥画素が補正された鮮明な画像がモニタ３００上に表示される。以下に、本実施形態で用いられる種々の欠陥画素検出処理を説明する。なお、白点の欠陥画素検出処理は、例えば上記特許文献１により比較的精度良く検出できる。この為、本発明の実施例では、従来高い精度で検出できなかった黒点の欠陥画素の検出処理を行うものとする。

図３（ａ）は、実施例１のＣＣＤ２３０の欠陥画素検出処理時におけるモニタ３００の表示状態を示した図である。また、図３（ｂ）は、図３（ａ）に対応するＣＣＤ２３０の各画素の出力値と閾値との関係を示したグラフである。また、図４は、実施例１のＣＰＵ１３０による欠陥画素検出処理を示したフローチャートである。また、図５は、図４のサブルーチン（Ｓ４の黒点判定）の処理を示したフローチャートである。なお、実施例１の欠陥画素検出処理は、黒点となる画素を欠陥画素とみなす処理である。以下に、図３（ａ）、（ｂ）、図４、及び図５を参照して実施例１の欠陥画素検出処理を説明する。

本発明の実施例では、電子内視鏡２００に照明光を照射したり、電子内視鏡２００前面に明るい被写体を用意したりして欠陥画素検出処理を実行する。なお、このとき使用する照明光や被写体は、均一な輝度を有するものであることが好ましい。

また、本発明の実施例では、ＣＣＤ２３０は照明される為、その中で正常な画素は、例えば１３０程度の出力値を示し、白点となる画素は、高い出力値（例えば１５０）を出力する。また、黒点となる画素すなわち本実施例で欠陥画素とみなされる画素（ここでは図３（ａ）のａ〜ｄに対応する画素）は、正常な画素より低い出力値（例えば１１０）を出力している。従って、図３（ａ）の如くモニタ３００には、全体的に略白い画像が表示され、僅かに黒い点像が表示される。なお、全ての実施例において、各画素の出力値の値域は、０〜２５５とする。

図３（ｂ）のｒ_ｔｈ１、ｒ_ｔｈ２、及びｒ_ｔｈ６は、欠陥画素の判定に利用される閾値である。また、グラフ中に示された曲線は、水平２ライン分（ラインＡ及びＢ）の各画素の出力値を示している。図３（ｂ）の出力値ａ〜ｄは、図３（ａ）の画素ａ〜ｄに対応したものであって、これらの画素の出力値を示したものである。図３（ａ）のラインＡは、矢印Ｈ方向に伸長した１つのラインであり、画素ａ及びｂを含んでいる。また、図３（ａ）のラインＢは、矢印Ｈ方向に伸長した１つのラインであり、画素ｃ及びｄを含んでいる。また、図３（ａ）は、後述のＳ１の処理を説明する為に、モニタ上の画面（別の言い方をするとＣＣＤ２３０の受光面）を一点鎖線によって領域Ｚ_１〜Ｚ_９の９つの領域に分割して示している。

また、図３（ｂ）のｒａｎｇｅ１は、領域Ｚ_１〜Ｚ_３の水平ライン方向（矢印Ｈ方向）の被検画素の範囲を示しており、図３（ｂ）のｒａｎｇｅ２は、領域Ｚ_４、Ｚ_６、Ｚ_８の水平ライン方向の被検画素の範囲を示しており、図３（ｂ）のｒａｎｇｅ３は、領域Ｚ_５、Ｚ_７、Ｚ_９の水平ライン方向の被検画素の範囲を示している。なお、実施例１では、実際には、矢印Ｖ方向に行をなす矢印Ｈ方向全ラインの画素の出力値を一括して検出するが、説明の便宜上、図３（ｂ）ではラインＡ及びＢの２ラインの画素の出力値のみを示している。

図４及び図５に示したフローチャートを参照して実施例１の欠陥画素検出処理を説明する。実施例１の欠陥画素検出処理を開始する為には、先ず、プロセッサ１００の切替スイッチ１９０を欠陥画素検出モードに切り替え、さらに、黒点となる欠陥画素を検出するモードを選択する。

プロセッサ１００を上記黒点欠陥画素検出モードにセットすると、実施例１の欠陥画素検出処理が開始される。ＣＰＵ１３０は、先ず、ＣＣＤ２３０受光面全域を図３（ａ）の如く９つの領域に分割し（Ｓ１）、各領域に番号を付す（Ｓ２）。本発明の実施例の欠陥画素検出処理では分割された領域毎に欠陥画素検出処理を行っており、上記番号は、その処理が実行される領域の優先順位を示している。なお、ここでは、ＣＣＤ２３０受光面中心部に近い領域であればあるほど優先順位の高い番号が付される。すなわちＣＰＵ１３０は、Ｓ２の処理において、上記番号を付すことにより、ＣＣＤ２３０受光面中心部に近い領域から優先して欠陥画素検出処理が実行されるよう設定している。

なお、一般に、画像の中心付近が最も画像上で注目されるべき領域である為、本発明の実施例の欠陥画素検出処理では、上述の如く、検出すべき領域を複数に分割し、さらにこれらの領域の中でＣＣＤ２３０受光面中心部に近い領域から優先して当該検出処理を実行するよう設定している。

ＣＰＵ１３０は、次に、欠陥画素を検出する領域Ｚ_ｋの変数ｋをｋ＝１に設定し、黒点検出総数ｎｔをｎｔ＝０に設定する（Ｓ３）。すなわちここで、黒点検出処理を実行する領域を領域Ｚ_１に設定し、黒点の検出総数を０にリセットする。そしてＳ４の処理に進み、領域Ｚ_ｋにおける黒点検出処理（図５のフローチャート）を実行する。以下に、図５に示した領域Ｚ_ｋにおける黒点検出処理を説明する。

Ｓ４すなわち図５のフローチャートの処理が開始されると、ＣＰＵ１３０は、閾値ｒ_ｔｈを、現在黒点検出処理が実行される対象となっている領域に応じた初期値Ｒ_０ｋに設定する（Ｓ１１）。ここで設定される初期値Ｒ_０ｋは、例えば、当該処理対象の領域が領域Ｚ_１のときには初期値Ｒ_０１（＝２０８）であり、当該処理対象の領域が領域Ｚ_６のときには初期値Ｒ_０６（＝１７６）である。

ＣＰＵ１３０は、次に、初期値Ｒ_０ｋに設定された閾値ｒ_ｔｈに減分Ｄｋ（＝２）を減算する（Ｓ１２）。そしてここで減算された閾値ｒ_ｔｈを用いて、ＣＣＤ２３０の各画素が黒点となる欠陥画素であるか否かを判定する（Ｓ１３）。

Ｓ１４の処理において、ＣＰＵ１３０は、次に、閾値ｒ_ｔｈを下回った値を出力した全ての画素の黒点検出数ｎｂを算出し、当該ｎｂが５以下であるか否かを判定する（Ｓ１５）。ここで、黒点検出数ｎｂが５より大きい場合（Ｓ１５：ＮＯ）、現在設定している閾値ｒ_ｔｈが高すぎる為、ＣＰＵ１３０は、Ｓ１２の処理に戻り、再び閾値ｒ_ｔｈに減分Ｄｋを減算して当該閾値ｒ_ｔｈを下げ、黒点検出処理を続行させる。また、黒点検出数ｎｂが５以下の場合（Ｓ１５：ＹＥＳ）、現在設定している閾値ｒ_ｔｈが適切である為、ＣＰＵ１３０は、黒点と判定された画素のアドレス（ロウ及びカラムアドレス）を、ＣＰＵ１３０内のＲＡＭに一時的に記憶させ（Ｓ１６）、黒点検出総数ｎｔに、今回算出された黒点検出数ｎｂを加算し（Ｓ１７）、図４のフローチャートのＳ５の処理に戻る。

Ｓ５の処理において、ＣＰＵ１３０は、変数ｋを１インクリメントする。すなわち今回Ｓ４の処理で黒点検出処理が実行された領域の次に優先順位の高い領域を、次回黒点検出処理が実行される領域に設定し、Ｓ６の処理に進む。

Ｓ６の処理において、ＣＰＵ１３０は、黒点検出総数ｎｔが８より小さいか否かを判定する。ここで、黒点検出総数ｎｔが８以上の場合（Ｓ６：ＮＯ）、補正可能な画素数の上限に達した為、ＣＰＵ１３０は、黒点と検出されたｎｔ個の画素のアドレスを上記ＲＡＭから読み出し、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ８）、本実施例の欠陥画素検出処理を終了させる。また、黒点検出総数ｎｔが８より小さい場合（Ｓ６：ＹＥＳ）、補正可能な画素数の上限に達していない為、ＣＰＵ１３０は、Ｓ７の処理に進む。

Ｓ７の処理において、ＣＰＵ１３０は、変数ｋが９より大きいか否かを判定する。ここで、変数ｋが９より大きい場合（Ｓ７：ＹＥＳ）、ＣＰＵ１３０は、全ての領域（領域Ｚ_１〜Ｚ_９）において黒点検出処理を実行した為、Ｓ８の処理に進み、黒点と検出されたｎｔ個の画素のアドレスを、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ、本実施例の欠陥画素検出処理を終了させる。また、変数ｋが９以下の場合（Ｓ７：ＮＯ）、黒点検出処理を実行していない領域が残っている為、ＣＰＵ１３０は、Ｓ４の処理に戻り、Ｓ５で設定された変数に該当する領域の黒点検出処理を実行する。メモリ１３２に欠陥画素のアドレスが記憶されると、ＣＰＵ１３０は、電子内視鏡装置１０の通常観察モード時に常に欠陥画素補正が行われるように、上記アドレスを欠陥画素用メモリ１４８に書き込む。これにより上述した欠陥画素の補正処理が実行される（段落００３１、００３２参照）。

なお、上述した欠陥画素を検出する各領域のサイズは適宜設定するものである。例えば、領域Ｚ_１を、水平ライン方向（矢印Ｈ方向）及び垂直ライン方向（矢印Ｖ方向）共に、全範囲の４０％を占めるサイズに設定してもよいし、全範囲の６０％を占めるサイズに設定してもよい。また、対物レンズはその種類によって特性が異なる為、対物レンズを透過した光の分布によって、ＣＣＤ２３０に対する輝度分布もそれぞれ異なる。従って、この対物レンズの特性に応じて各領域の分割方法を適宜設定してもよい。また、実施例１ではＣＣＤ２３０の受光面が９つの領域に分割されているが、別の実施例では当該受光面をより多い或いはより少ない領域に分割してよい。

図６（ａ）は、実施例２のＣＣＤ２３０の欠陥画素検出処理時におけるモニタ３００の表示状態を示した図である。また、図６（ｂ）は、図６（ａ）に対応するＣＣＤ２３０の各画素の出力値と閾値との関係を示したグラフである。また、図７は、実施例２のＣＰＵ１３０による欠陥画素検出処理を示したフローチャートである。また、図８は、図７に示した欠陥画素検出処理のサブルーチンであり、黒点判定処理（Ｓ４６の処理）を示したフローチャートである。なお、実施例２の欠陥画素検出処理は、実施例１と同様に、黒点となる画素を欠陥画素とみなす処理である。以下に、図６（ａ）、（ｂ）、図７、及び図８を参照して実施例２の欠陥画素検出処理を説明する。

図６（ｂ）のｒｆ１、ｒｆ２、及びｒｆ３は、欠陥画素の判定に利用される閾値である。また、グラフ中に示された曲線は、水平１ライン分の各画素の出力値を示している。図６（ｂ）の出力値ａ〜ｄは、図６（ａ）の画素ａ〜ｄに対応したものであって、これらの画素の出力値を示したものである。図６（ａ）のラインＡは、矢印Ｈ方向に伸長した１つのラインであり、画素ｂ及びｃを含んでいる。また、図６（ａ）のラインＢは、矢印Ｈ方向に伸長した１つのラインであり、画素ａ及びｄを含んでいる。また、図６（ａ）において二点鎖線で示された範囲は図６（ｂ）のｒａｎｇｅ１に対応し、図６（ａ）において一点鎖線で示された範囲は図６（ｂ）のｒａｎｇｅ２に対応し、図６（ａ）において点線で示された範囲は図６（ｂ）のｒａｎｇｅ３に対応している。ｒａｎｇｅ１，２、３は、それぞれ１水平ライン分の全有効画素に対する被検画素の範囲を示しており、ｒａｎｇｅ３、ｒａｎｇｅ２、ｒａｎｇｅ１の順に広い。なお、実施例２では、実際には、矢印Ｖ方向に行をなす矢印Ｈ方向の検出範囲内の全ラインの画素の出力値を一括して検出するが、説明の便宜上、図６（ｂ）ではラインＡ及びラインＢの画素の出力値のみを示している。

図７及び図８に示したフローチャートを参照して実施例２の欠陥画素検出処理を説明する。実施例２の欠陥画素検出処理を開始する為には、先ず、プロセッサ１００の切替スイッチ１９０を欠陥画素検出モードに切り替え、さらに、黒点となる欠陥画素を検出するモードを選択する。

実施例２の欠陥画素検出処理では、先ず、ＣＰＵ１３０は、各パラメータを初期化する（Ｓ４１）。具体的には、黒点検出を実行した回数をカウントするカウンタｖｃを０に設定し、検出された黒点の総数ｖｎを０に設定し、ＣＣＤ２３０の各画素が黒点の欠陥画素であるか否かを判定する為の閾値ｒ_ｒを初期値Ｒ_０（＝１９２）に設定し、水平方向の検出範囲ｖｈを初期値Ａｈ_０（＝６８４）に設定し、垂直方向の検出範囲ｖｖを初期値Ａｖ_０（＝６８４）に設定する。なお、水平及び垂直方向の検出範囲の定義域は、０〜１０２３となっている。また、これらの検出範囲は、画像の中心から上下及び左右均等に振り分けられた範囲である。

次に、初期値Ａｈ_０に設定された水平方向の検出範囲ｖｈに加分Ａｈ（＝８４）を加算し、初期値Ａｖ_０に設定された垂直方向の検出範囲ｖｖに加分Ａｖ（＝８４）を加算する（Ｓ４２、図６のｒａｎｇｅ１の範囲参照）。次に、閾値ｒ_ｒを引き下げる為、減分Ｒｓ（＝１６）を減算する（Ｓ４３）。次に、Ｓ４３の処理で減算された閾値ｒ_ｒを用いて、ＣＣＤ２３０の各画素が黒点となる欠陥画素であるか否かを判定する（Ｓ４４）。例えば、閾値ｒ_ｒがｒｆ１の場合には、画素ｂ、ｃの出力値がｒｆ１より小さい。従って、ここでは画素ｂ、ｃが欠陥画素と判定される（図６（ｂ）参照）。

次に、ＣＰＵ１３０は、Ｓ４４の処理において欠陥画素と判定された画素数（＝ｎｂ）が８画素より少ないか否かを判定する（Ｓ４５）。このとき欠陥画素と判定された画素が８画素以上の場合（Ｓ４５：ＮＯ）、現在設定している閾値ｒ_ｒが高すぎる為、欠陥画素と判定され得る各画素を特定できていない。従って、ＣＰＵ１３０は、Ｓ４３の処理に戻り、再び閾値ｒ_ｒに減分Ｒｓを減算して該閾値ｒ_ｒを減少させ、欠陥画素検出処理を続行させる。また、欠陥画素と判定された画素数が８画素より少ない場合（Ｓ４５：ＹＥＳ）、ＣＰＵ１３０は、Ｓ４６に進み、より細かく閾値を設定することによって高い精度で黒点となる欠陥画素を検出する処理（図８のフローチャート）を実行する。以下に、図８に示した黒点検出処理を説明する。

Ｓ４６すなわち図８の処理が開始されると、ＣＰＵ１３０は、閾値ｒ_ｆを初期値ｒ_ｒに設定する（Ｓ６１）。次に、初期値ｒ_ｒに設定された閾値ｒ_ｆに増分Ｒａ（＝２）を加算する（Ｓ６２）。そしてＳ６２の処理で加算された閾値ｒ_ｆを用いて、ＣＣＤ２３０の各画素が黒点となる欠陥画素であるか否かを判定する（Ｓ６３）。

次に、ＣＰＵ１３０は、現在設定されている検出範囲の境界近傍で、閾値ｒ_ｆを下回る出力値を有する画素、すなわち黒点とみなされる画素が検出されたか否かを判定する（Ｓ６４）。境界近傍で黒点とみなされる画素が検出されていなかった場合（Ｓ６４：ＮＯ）、現在設定している閾値ｒ_ｆが低すぎる為、ＣＰＵ１３０は、Ｓ６２の処理に戻り、再び閾値ｒ_ｆに増分Ｒａを加算して該閾値ｒ_ｆを増加させ、欠陥画素検出処理を続行させる。

また、境界近傍で黒点とみなされる画素が検出された場合（Ｓ６４：ＹＥＳ）、ＣＰＵ１３０は、閾値を、Ｓ６２の処理を実行する前の閾値に戻す（Ｓ６５）。すなわち現在の閾値ｒ_ｆに減分Ｒａを減算する。そして黒点判定処理を実行する（Ｓ６６）。なお、このときの閾値は、検出範囲の境界近傍に配置された画素であって、受光量不足により閾値を下回る画素の出力値と、略同等の値になる。この値は、ＣＣＤ２３０周辺部の光量不足により出力が低い画素を欠陥画素として検出してしまうという誤検出を防ぐことができることから最適値に近い値であるといえる。

次に、ＣＰＵ１３０は、上述した誤検出を確実に防止する意味で、境界近傍で黒点と判定された画素を、黒点とみなさない（Ｓ６７）。すなわち境界近傍の画素は、正常な画素と判断する。そして黒点と判定された画素のアドレスをＣＰＵ１３０内のＲＡＭに一時的に記憶させ（Ｓ６８）、今回の処理（図８のフローチャート）で検出された黒点の数ｎｆを、現在までに検出された黒点の総数ｖｎに加算し（Ｓ６９）、図７のフローチャートのＳ４７の処理に進む。なお、本フローチャートを実行したときに、実際に黒点である画素であるにも拘わらず境界近傍であるために除外された黒点の画素は、このとき（本フローチャート）よりも検出範囲を拡大して欠陥画素検出処理を実行したときに黒点の画素として検出される。

Ｓ４７の処理では、ＣＰＵ１３０は、Ｓ４６の処理が実行された回数をカウントする。すなわちＳ４６の処理が実行される度に、カウンタｖｃを１インクリメントする。その後、ＣＰＵ１３０は、カウンタｖｃが４より小さいか否かを判定する（Ｓ４８）。カウンタｖｃが４以上の場合（Ｓ４８：ＮＯ）、ＣＰＵ１３０は、黒点の総数ｖｎが０か否かを判定する（Ｓ５０）。黒点の総数ｖｎが０の場合（Ｓ５０：ＮＯ）、ＣＰＵ１３０は、欠陥画素検出処理を終了させる。また、黒点の総数ｖｎが０でない場合、すなわち本処理で黒点が検出された場合（Ｓ５０：ＹＥＳ）、ＣＰＵ１３０は、黒点が検出された画素のアドレスを上記ＲＡＭから読み出し、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ５１）、欠陥画素検出処理を終了させる。

カウンタｖｃが４より小さい場合（Ｓ４８：ＹＥＳ）、ＣＰＵ１３０は、黒点の総数ｖｎが８以上であるか否かを判定する（Ｓ４９）。黒点の総数ｖｎが８より小さい場合（Ｓ４９：ＮＯ）、ＣＰＵ１３０は、Ｓ４２の処理に戻り、検出範囲を前回より広げて、欠陥画素検出処理を続行させる。また、黒点の総数ｖｎが８以上である場合（Ｓ４９：ＹＥＳ）、ＣＰＵ１３０は、黒点が検出された画素のアドレスを、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ５１）、欠陥画素検出処理を終了させる。メモリ１３２に欠陥画素のアドレスが記憶されると、ＣＰＵ１３０は、実施例１と同様に、電子内視鏡装置１０の通常観察モード時に常に欠陥画素補正が行われるように、上記アドレスを欠陥画素用メモリ１４８に書き込む。これにより上述した欠陥画素の補正処理が実行される（段落００３１、００３２参照）。

本発明の実施例の欠陥画素検出方法を採用すると、必要性の高い画像中心部の欠陥画素を優先して検出することができる。これにより、ＣＣＤ２３０中に含まれた欠陥画素を効率良く補正することができ、無駄な補正処理を省くことができる。

以上が本発明の実施形態である。本発明はこれらの実施形態に限定されるものではなく様々な範囲で変形が可能である。例えば、上記実施形態において、プロセッサ１００側に配置されている検出回路１４５や欠陥画素用メモリ１４８、補正回路１４６を電子内視鏡２００側に設けてもよい。

また、本実施形態では閾値を下げながら黒点の欠陥画素を検出しているが、別の実施形態では閾値を上げながら黒点の欠陥画素を検出してもよい。

本発明の実施形態の電子内視鏡装置を示すブロック図である。本発明の実施形態の構成要素であるＤＳＰの構成を示したブロック図である。実施例１のＣＣＤの各画素の出力値と閾値との関係を示した図である。実施例１のＣＰＵによる欠陥画素検出処理を示したフローチャートである。図４に示した欠陥画素検出処理のサブルーチンであり、黒点判定処理を示したフローチャートである。実施例２のＣＣＤの各画素の出力値と閾値との関係を示した図である。実施例２のＣＰＵによる欠陥画素検出処理を示したフローチャートである。図７に示した欠陥画素検出処理のサブルーチンであり、黒点判定処理を示したフローチャートである。

符号の説明

１０電子内視鏡装置
１００プロセッサ
１３０ＣＰＵ
１４０ＤＳＰ
２００電子内視鏡
２２０対物レンズ
２３０ＣＣＤ

Claims

固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出装置において、
前記受光面全域を複数の領域に分割する受光面分割手段と、
前記分割された領域の各々に優先順位を割り当てる優先順位割当手段と、
前記割り当てられた優先順位に従って領域毎に順に欠陥判定処理を行う手段であって、現在の処理対象である領域に対して初期的な閾値を設定し、該処理対象の領域の画素の中から該設定された閾値よりも信号出力値が低い画素をカウントし、該カウントされる画素の数が第１の数以下になるまで該閾値を下げて、該第１の数以下に絞られた画素を欠陥画素と判定する欠陥判定手段と、
を備え、
前記受光面周辺の領域に対して設定される初期的な閾値が、該受光面中心の領域に対して設定される初期的な閾値よりも低いこと、を特徴とする欠陥画素検出装置。
前記各領域で判定された欠陥画素の総数が前記第１の数より大きい第２の数以上になったとき、欠陥判定処理を終了させること、を特徴とする請求項１に記載の欠陥画素検出装置。
前記優先順位割当手段は、前記受光面の中心部に近い領域から順に優先順位を割り当てていくこと、を特徴とする請求項１または請求項２に記載の欠陥画素検出装置。
前記欠陥と判定された画素の位置情報を格納する記憶手段をさらに備えたこと、を特徴とする請求項１から請求項３のいずれかに記載の欠陥画素検出装置。
前記欠陥判定手段はさらに、前記カウントされた画素の数に応じて前記閾値を変化させていくこと、を特徴とする請求項１から請求項４のいずれかに記載の欠陥画素検出装置。
固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出方法において、
前記受光面全域を複数の領域に分割する受光面分割ステップと、
前記分割された領域の各々に優先順位を割り当てる優先順位割当ステップと、
前記割り当てられた優先順位に従って領域毎に順に欠陥判定処理を行うステップであって、現在の処理対象である領域に対して初期的な閾値を設定し、該処理対象の領域の画素の中から該設定された閾値よりも信号出力値が低い画素をカウントし、該カウントされる画素の数が第１の数以下になるまで該閾値を下げて、該第１の数以下に絞られた画素を欠陥画素と判定する欠陥判定ステップと、
を有し、
前記受光面周辺の領域に対して設定される初期的な閾値が、該受光面中心の領域に対して設定される初期的な閾値よりも低いこと、を特徴とする欠陥画素検出方法。
請求項６に記載の欠陥画素検出方法をコンピュータに実行させるための欠陥画素検出プログラム。