JP4272975B2

JP4272975B2 - 欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラム

Info

Publication number: JP4272975B2
Application number: JP2003407097A
Authority: JP
Inventors: 正高橋
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2003-12-05
Filing date: 2003-12-05
Publication date: 2009-06-03
Anticipated expiration: 2023-12-05
Also published as: JP2005167885A

Description

この発明は、固体撮像素子受光面上に整列された各画素の欠陥を検出する欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムに関する。

従来、周知の半導体プロセスで形成された固体撮像素子は、フォトダイオードの短絡等が原因で、受光した光束を正常に光電変換することができない欠陥画素を有することがある。そこで、このような欠陥画素を見かけ上無くすよう補正する為に該欠陥画素を検出する様々な装置や、方法、またはプログラムが提案され実用に供されている（例えば特許文献１）。
特開平６−３０４２５号公報

特許文献１では、固体撮像素子をビデオカメラ内に組み込んだ後、注目した１画素と、該注目画素に隣接している同色画素との画素信号間のレベル差を算出し、そのレベル差を、予め設定された所定の閾値とコンパレータで比較し、その比較結果に基づいて欠陥画素を検出している。

また、特許文献１では、上記隣接画素に画像のエッジ成分が入力された場合に想定される誤判定を防止する為に、上記注目画素周辺に配置されている２つの画素の信号のレベル差を算出し、そのレベル差を、予め設定された所定の閾値とコンパレータで比較し、その比較結果に基づいて欠陥画素を検出している。

しかしながら上述の如き欠陥画素の検出処理では、実際に処理を行う際の設定に正確さが要求される。ここでいう設定とは、例えば、被写体や照明光の明るさ、被写体と撮像素子との位置関係などが挙げられる。被写体や照明光の明るさに均一性がない場合、各画素において受光される光量はそれぞれ異なってしまう。また、被写体と撮像素子とが正対していない場合、被写体と各画素との距離がそれぞれ異なってしまう為、各画素において受光される光量もそれぞれ異なってしまう。このように各画素における受光量がそれぞれ異なる場合、同一性能を有した画素であってもその出力値がそれぞれ異なってしまう。この為、閾値と画素の出力値とが微差の場合、単純に閾値と出力値とを比較するだけでは欠陥画素を誤検出してしまうことが想定される。

そこで、本発明は上記の事情に鑑み、欠陥画素検出処理を行う際の上述の設定に正確さが要求されることのない欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムを提供することを目的とする。

上記の課題を解決する本発明の一態様に係る欠陥画素検出装置は、固体撮像素子の受光面上に整列された各画素の欠陥を検出するものであり、各該画素の信号の出力値に関する閾値を設定する閾値設定手段と、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する画素判別手段と、欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合に該注目画素を欠陥画素と判定する欠陥判定手段とを備えたものである。

また、上記欠陥画素検出装置において、欠陥判定手段が所定の領域に含まれた全ての画素に対する判定処理を繰り返し実行する場合、閾値設定手段は、該判定処理が実行される度に徐々に閾値を変化させていくことができる。また、該閾値設定手段は、第１の閾値から該第１の閾値より低い第２の閾値までの間で徐々に該閾値を変化させていくことができる。また、閾値を比較的高い値から低い値へ徐々に変化させていき、画素判別手段によって該閾値より出力値が高いと判別された画素の数が第１の数以上となったとき、該閾値設定手段は、その閾値を該第１の閾値に設定することができる。また、閾値を比較的低い値から高い値へ徐々に変化させていき、該画素判別手段によって該閾値より出力値が低いと判別された画素の数が第２の数以上となったとき、該閾値設定手段は、その閾値を該第２の閾値に設定することができる。

また、上記欠陥画素検出装置は、画素判別手段により判別された該画素の位置情報を格納する記憶手段をさらに備えたものであってもよい。

また、上記の課題を解決する本発明の一態様に係る欠陥画素検出方法は、固体撮像素子の受光面上に整列された各画素の欠陥を検出する方法であり、各該画素の信号の出力値に関する閾値を設定する第一のステップと、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する第二のステップと、欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合に該注目画素を欠陥画素と判定する第三のステップとを有した方法である。

また、上記の課題を解決する本発明の一態様に係る欠陥画素検出プログラムは、固体撮像素子の受光面上に整列された各画素の欠陥を検出するプログラムであり、コンピュータを、各該画素の信号の出力値に関する閾値を設定する手段と、設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する手段と、欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合に該注目画素を欠陥画素と判定する手段として機能させるためのプログラムである。

本発明の欠陥画素検出装置、欠陥画素検出方法、及び欠陥画素検出プログラムによると、注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とが異なっていた場合にその注目画素を欠陥画素と判定している。すなわち連続して整列された画素群を欠陥画素判定に用いている為、各画素における受光量の相違に起因した欠陥画素の検出（すなわち欠陥画素の誤検出）が軽減される。この為、被写体や照明光の明るさの均一性、被写体と撮像素子との位置関係などの設定に関して許容される値が大きくなり、これらの設定の容易性が向上する。また、注目画素が欠陥画素か否かを判定する為に用いられる近接画素の判別結果は、全て注目画素の判別結果と比較されている。この為、従来と比べて、注目画素の判別結果を、より欠陥画素の判定処理に反映させることができる。

図１は、本発明の実施形態の電子内視鏡装置１０を示すブロック図である。電子内視鏡装置１０は、体腔内を観察する為の装置であり、プロセッサ１００と、電子内視鏡２００と、モニタ３００から構成されている。電子内視鏡２００は固体撮像素子（例えばＣＣＤ）を備えており、プロセッサ１００は本実施形態の特徴に係る機能であって、製造時において発生した該固体撮像素子の欠陥画素を検出して補正する機能を果たす。以下に、図１を参照して電子内視鏡装置１０の構成及び動作を説明する。

プロセッサ１００は、電子内視鏡２００を介して体腔内を照明する光源装置と、電子内視鏡２００から送信された画像信号に所定の信号処理を施し映像信号に変換してモニタ３００に出力する画像処理装置とを兼ね備えたものであり、光源ランプ１１０と、ＲＧＢ回転フィルタ１１２と、モータドライバ１１４と、集光レンズ１１６と、電子内視鏡用接続部１２０と、ＣＰＵ１３０と、メモリ１３２と、ＤＳＰ（Digital Signal Processor）１４０と、メモリ１５０Ｒ、１５０Ｇ、１５０Ｂと、Ｄ／Ａコンバータ１６０と、映像信号出力回路１７０と、出力端子１８０と、切替スイッチ１９０を有している。

切替スイッチ１９０は、プロセッサ１００の動作モードを切り替える為のスイッチであり、体腔内を観察する為のモードである通常観察モードと、本実施形態の特徴に係るモードであって、電子内視鏡２００内に配置された固体撮像素子の欠陥画素を検出する為のモードである欠陥画素検出モードに切り替えることができる。欠陥画素検出モードは、定期的なメンテナンス処理を行うときに使用されるものであり、通常電子内視鏡装置１０は、通常観察モードに設定されている。まず、通常観察モードにおける電子内視鏡装置１０の動作を説明する。

電子内視鏡装置１０では面順次方式の撮像システムを採用している。プロセッサ１００は、該撮像システムを実現する為の構成であって、上述した光源装置を司る構成として、光源ランプ１１０、ＲＧＢ回転フィルタ１１２、モータドライバ１１４、及びレンズ１１６を有している。

光源ランプ１１０は、体腔内を照明する為の照明光を発するものであり、ここでは種々の色成分を含んだ白色光を発する。ＲＧＢ回転フィルタ１１２は、光源ランプ１１０から発せられた白色光の光路中に配置されており、Ｒ光、Ｇ光、Ｂ光の三色の色成分の各々を透過させるフィルタを備えている。以下に、面順次方式によるカラー画像の生成のプロセスを説明する。

まず、ＣＰＵ１３０の制御によってモータドライバ１１４が駆動制御され、ＲＧＢ回転フィルタ１１２を回転させるモータが駆動される。これによりＲＧＢ回転フィルタ１１２は回転し、Ｒ光、Ｇ光、Ｂ光の各々の色成分のみを透過するフィルタが白色光の光路中に順次挿入される。従って、光源ランプ１１０から発せられた白色光は、Ｒ、Ｇ、Ｂの各色のフィルタを順次透過し、各色成分のみを含んだ光束としてＲＧＢ回転フィルタ１１２から射出し、電子内視鏡２００側に向かって進行していく。なお、実際には、図１中の光源ランプ１１０は集光レンズ１１６の光軸上に配置されている。

そして各色成分は、集光レンズ１１６により集光されつつ、プロセッサ１００と電子内視鏡２００とを接続している電子内視鏡用接続部１２０を介して電子内視鏡２００に入射される。

電子内視鏡２００は、電子内視鏡装置１０のうち体腔内に挿入されて該体腔内を撮像する機能を果たすものである。電子内視鏡２００は、可撓性を有したケーブルを有しており、該ケーブル内には、該体腔内を撮像する為の種々の部品が配置されている。電子内視鏡２００は、その長手方向に沿って配置されたライトガイド２１０と、その先端部に配置された対物レンズ２２０と、対物レンズ２２０の後側焦点位置と一致する面上にその受光面が配置されたＣＣＤ２３０を有している。ＣＣＤ２３０は、例えば、水平方向に１０２４画素、垂直方向に１０２４画素のフォトダイオードが整列された、矩形状の固体撮像素子である。

上述した電子内視鏡２００に入射された各色成分は、ライトガイド２１０に入射され、該ライトガイド２１０により電子内視鏡２００の先端に導光される。そしてライトガイド２１０から射出され、体腔内を照明する。各色成分で照明された体腔内からの反射光は、対物レンズ２２０を介して、ＣＣＤ２３０の受光面上で順次結像し受光される。なお、ＣＣＤ２３０は、後述するＣＣＤ駆動回路１４４により駆動制御されている。ＣＣＤ２３０により受光された各色成分は、画像信号に光電変換され、その出力部に順次転送されていく。これら各色成分の画像信号は、プロセッサ１００に出力されて後述する画像処理を施され、ビデオ信号（映像信号）としてモニタ３００に出力される。以下に、プロセッサ１００で行われる画像処理のプロセスを説明する。

プロセッサ１００に出力された画像信号は、ＤＳＰ１４０に入力し、該ＤＳＰ１４０により所定の処理が施される。図２は、ＤＳＰ１４０の構成を示したブロック図である。以下に、図２を参照してＤＳＰ１４０の構成及び動作を説明する。

ＤＳＰ１４０は、電子内視鏡２００から出力された画像信号に所定の信号処理を施す回路であり、Ｓ／Ｈ回路１４１と、Ａ／Ｄ変換器１４２と、タイミングジェネレータ１４３と、ＣＣＤ駆動回路１４４と、検出回路１４５と、補正回路１４６と、信号処理回路１４７と、欠陥画素用メモリ１４８を有している。

Ｓ／Ｈ回路１４１及びＡ／Ｄ変換器１４２は、ＣＰＵ１３０の制御信号によって駆動するタイミングジェネレータ１４３から出力されるタイミング信号により所定のタイミングで制御されている。Ｓ／Ｈ回路１４１は、ＣＣＤ２３０からＤＳＰ１４０に入力された画像信号を所定のタイミングでサンプリング及びホールドし、Ａ／Ｄ変換器１４２は、該画像信号をアナログ信号からデジタル信号に変換する。

ここでプロセッサ１００は切替スイッチ１９０により通常観察モードにセットされている為、Ａ／Ｄ変換器１４２によりデジタル信号に変換された画像信号は、補正回路１４６に出力される。また、プロセッサ１００が欠陥画素検出モードにセットされている場合、プロセッサ１００が本実施形態の特徴である欠陥画素検出処理（後述）を実行する為、該画像信号は、検出回路１４５及び補正回路１４６に出力される。補正回路１４６は、欠陥画素検出処理（後述）によって取得した欠陥画素情報に基づいてＣＣＤ２３０の欠陥画素に対する補正処理を実行している。

ＣＰＵ１３０はプロセッサ１００に接続されている電子内視鏡２００のＩＤ情報を取得する機能を有している。ＣＰＵ１３０に接続されているメモリ１３２は、各電子内視鏡のＩＤ情報と、欠陥画素検出処理（後述）によって取得された欠陥画素情報（例えば欠陥画素のアドレス）とを関連付けて記憶している。プロセッサ１００に電子内視鏡が接続されると、ＣＰＵ１３０は、そのＩＤ情報を取得し、そのＩＤ情報に関連付けられた欠陥画素情報をメモリ１３２から読み出す。そして、読み出した欠陥画素情報を、欠陥画素用メモリ１４８に一時的に記憶させる。

補正回路１４６は、欠陥画素用メモリ１４８の内容を読み込む。この欠陥画素用メモリ１４８には、上述したように、プロセッサ１００に現在接続されている電子内視鏡の欠陥画素の情報（例えば欠陥画素を示すアドレス）がＣＰＵ１３０により書き込まれ、記憶されている。補正回路１４６は、欠陥画素の情報を欠陥画素用メモリ１４８から読み出し、該欠陥画素に対する補正処理を実行する。

補正回路１４６は、欠陥画素検出モード時に検出されたＣＣＤ２３０の欠陥画素を例えば、隣接画素の信号で補間する周知の方式により補正し、補正後の画像信号を信号処理回路１４７に出力する。信号処理回路１４７に入力された画像信号は、タイミングジェネレータ１４３によって、ＣＣＤ２３０の駆動（すなわちＣＣＤ駆動回路１４４の駆動）と同期され、Ｒ成分、Ｇ成分、及びＢ成分の各色成分の画像信号に分離され、メモリ１５０Ｒ、１５０Ｇ、及び１５０Ｂに出力される。

ＤＳＰ１４０により分離された各色成分の画像信号は、ＣＰＵ１３０の作用により、それぞれ異なったメモリに順次格納される。ここでは、Ｒ成分の画像信号は１５０Ｒに格納され、Ｇ成分の画像信号は１５０Ｇに格納され、Ｂ成分の画像信号は１５０Ｂに格納される。

各メモリに格納された画像信号は、ＣＰＵ１３０の作用により、メモリ１５０Ｒ、１５０Ｇ、及び１５０Ｂの各々から所定のタイミングで同時に読み出しされ、Ｄ／Ａ変換器１６０に出力される。そしてこのＤ／Ａ変換器１６０によって、デジタル信号からアナログ信号に変換される。アナログ信号に変換された画像信号は、映像信号出力回路１７０に入力され、この映像信号出力回路１７０によって、モニタ３００に表示可能なコンポジットビデオ信号、Ｓビデオ信号、ＲＧＢビデオ信号などの映像信号に変換される。ここで変換された映像信号がモニタ３００に入力されると、モニタ３００上に体腔内の観察画像がカラーで表示される。

このときプロセッサ１００に接続されている電子内視鏡のＩＤ情報がメモリ１３２に記憶されていないものである場合（より詳しくは欠陥画素用メモリ１４８にその内視鏡の欠陥画素情報が記憶されていない場合）、該補正回路１４６は該内視鏡の固体撮像素子に含まれている欠陥画素の補正を実行できない為、モニタ３００上には欠陥画素に対応する位置にいわゆる黒点（例えばフォトダイオードの断線などで電荷が貯められない画素、若しくは最も低い感度の画素によるもの）や白点（例えばフォトダイオードの短絡で常に電荷が飽和した状態の画素、若しくは最も高い感度の画素によるもの）が表示されてしまう。ここでプロセッサ１００のモードを欠陥画素検出モードに切り替え、本実施形態の特徴である欠陥画素検出処理を実行することにより、該電子内視鏡のＩＤ情報と、該ＩＤ情報に対応する欠陥画素の情報がメモリ１３２に記憶され、更に欠陥画素用メモリ１４８にも書き込まれ、以後は欠陥画素が補正された鮮明な画像がモニタ３００上に表示される。以下に、本実施形態で用いられる欠陥画素検出処理を説明する。

図３は、本発明の実施形態における欠陥画素検出処理を説明する為の図である。図３（ａ）は、モニタ３００を用いて欠陥画素検出処理を説明する図であり、図３(ｂ）は、図３（ａ）のモニタ３００に表示された画像に対応するＣＣＤ２３０の各画素の出力値と閾値との関係を示したグラフである。また、図４〜図９は、ＣＰＵ１３０による欠陥画素検出処理を示したフローチャートである。なお、本実施形態の欠陥画素検出処理は、黒点となる画素を欠陥画素とみなす処理である。以下に、図３（ａ）、（ｂ）、及び図４〜図９を参照して本実施形態の欠陥画素検出処理を説明する。

本実施形態では、電子内視鏡２００に照明光を照射したり、電子内視鏡２００前面に明るい被写体を用意したりして欠陥画素検出処理を実行する。なお、このとき使用する照明光や被写体は、均一な輝度を有するものであることが好ましい。

また、本実施形態では、ＣＣＤ２３０は照明される為、その中で正常な画素は、例えば１３０程度の出力値を示し、白点となる画素は、高い出力値（例えば１５０）を出力する。また、黒点となる画素すなわち本実施形態で欠陥画素とみなされる画素（図３（ａ）のａ〜ｄに対応する画素）は、正常な画素より低い出力値（例えば１１０）を出力している。従って、図３（ａ）の如くモニタ３００には、全体的に略白い画像が表示され、僅かに黒い点像が表示される。なお、各画素の出力値の値域は、０〜２５５とする。

図３（ｂ）のｒ_ｔｈ１及びｒ_ｔｈ２は、欠陥画素の判定に利用される閾値である。また、グラフ中に示された曲線は、水平２ライン分（ラインＡ及びＢ）の各画素の出力値（すなわちＨ方向に整列した１０２４画素各々の出力値）を示している。また、本実施形態では、閾値を変化させつつ欠陥画素の検出処理を行っている。図３（ｂ）のｒ_ｍａｘは、当該処理において設定される閾値の最大値を示しており、図３（ｂ）のｒ_ｍｉｎは、当該処理において設定される閾値の最小値を示している。ＣＰＵ１３０は、これらの値の間で徐々に閾値を下げていき、欠陥画素を検出している。

また、図３（ｂ）の出力値ａ〜ｄは、図３（ａ）の画素ａ〜ｄに対応したものであって、これらの画素の出力値を示したものである。図３（ａ）のラインＡは、水平方向（矢印Ｈ方向）に伸長した１つのラインであり、画素ａ及びｂを含んでいる。また、図３（ａ）のラインＢは、ラインＡと同様に水平方向に伸長した１つのラインであり、画素ｃ及びｄを含んでいる。

また、図３（ａ）には、後述するＳ１及びＳ２の処理を説明する為のものであって、モニタ３００の画面上（別の言い方をするとＣＣＤ２３０の受光面）に矩形で囲われた領域Ｚ_１〜Ｚ_３の３つの領域が示されている。

なお、本実施形態では、実際には、垂直方向（矢印Ｖ方向）に行をなす水平方向全ラインの画素の出力値を一括して検出するが、説明の便宜上、図３（ｂ）ではラインＡ及びラインＢの画素の出力値のみを示している。

図４〜図９に示したフローチャートを参照して本実施形態の欠陥画素検出処理を説明する。本実施形態の欠陥画素検出処理を開始する為には、先ず、プロセッサ１００の切替スイッチ１９０を欠陥画素検出モードに切り替え、さらに、黒点となる欠陥画素を検出するモードを選択する。

図４は、本実施形態の欠陥画素検出処理の全体的な流れを示したフローチャートである。図４のフローチャートによると本実施形態の欠陥画素検出処理では、ＣＰＵ１３０は、先ず、ＣＣＤ２３０内の各画素が黒点の欠陥画素であるか否かを判定する為の閾値の最大値を設定する（ステップ１、以下、Ｓ１と略記）。ここで、図５のフローチャートを参照して、このＳ１の最大閾値設定処理について説明する。

最大閾値設定処理を実行するにあたりＣＰＵ１３０は、先ず、閾値ｒ_ｔｈを比較的高い値である初期値Ｒ_１（＝１９２）に設定し（Ｓ１１）、続いて、最大閾値を決定する為の画素であって、閾値ｒ_ｔｈと比較される画素を含んだ領域を設定する（Ｓ１２）。電子内視鏡２００を均一な光で照射した場合、ＣＣＤ２３０受光面には、対物レンズ２２０の作用によりその中心部と周辺部とにおいてそれぞれ異なった量の光が集光される。説明を加えると、ＣＣＤ２３０受光面に集光される光量分布は、その中心部が最も多く、周辺部に向かうに従って徐々に減少していく。これに伴い、ＣＣＤ２３０の水平方向の各ラインに整列された画素列は、図３（ｂ）の曲線の如き出力を示す。上述したように、Ｓ１２の処理で設定される領域は、最大閾値を設定する為の領域である。従って、この領域には、上記光量分布の中で最も高い出力値を出力する画素を含んだものが選択される。すなわちここで設定される領域は、モニタ３００に映し出される画像の中心部（すなわちＣＣＤ２３０の受光面中心部）である領域Ｚ_２となる。

ＣＰＵ１３０は、次に、現在設定されている閾値ｒ_ｔｈに減分Ｒ_ａ（＝２）を減算する（Ｓ１３）。そして、Ｓ１３の処理で減算された閾値ｒ_ｔｈと、領域Ｚ_２に含まれている各画素の出力値とを比較し、各画素についてその出力値が閾値ｒ_ｔｈを上回っているか否かを判定する（Ｓ１４）。さらにＳ１４の処理において閾値ｒ_ｔｈを上回っている画素の数が８画素より多いか否かを判定する（Ｓ１５）。このとき閾値ｒ_ｔｈを上回っている画素の数が８画素以下の場合（ＮＯ：Ｓ１５）、現在設定している閾値ｒ_ｔｈが高すぎる為、ＣＰＵ１３０は、Ｓ１３の処理に戻り、再び閾値ｒ_ｔｈを減算して処理を続行する。また、閾値ｒ_ｔｈを上回っている画素の数が８画素より多い場合（ＹＥＳ：Ｓ１５）、ＣＰＵ１３０は、現在設定している閾値ｒ_ｔｈが適切な最大閾値であると判断し、この閾値ｒ_ｔｈを最大閾値ｒ_ｍａｘとして設定し（Ｓ１６）、この最大閾値設定処理を終了させ、図４のフローチャートのＳ２の処理に進む。

Ｓ２の処理において、ＣＰＵ１３０は、ＣＣＤ２３０内の各画素が黒点の欠陥画素であるか否かを判定する為の閾値の最小値を設定する。ここで、図６のフローチャートを参照して、このＳ２の最小閾値設定処理について説明する。

最小閾値設定処理を実行するにあたりＣＰＵ１３０は、先ず、閾値ｒ_ｔｈを比較的低い値である初期値Ｒ_２（＝８）に設定し（Ｓ２１）、続いて、最小閾値を決定する為の画素であって、閾値ｒ_ｔｈと比較される画素を含んだ領域を設定する（Ｓ２２）。ここで設定される領域は、最小閾値を設定する為の領域である。従って、この領域には、上記光量分布の中で最も低い出力値を出力する画素を含んだものが選択される。すなわちここで設定される領域は、モニタ３００に映し出される画像の周辺部（すなわちＣＣＤ２３０の受光面周辺部）である領域Ｚ_１及びＺ_３となる。なお、本実施形態では最小閾値を設定する為の領域は前記の２つの領域であるが、別の実施形態では上記受光面の４隅の領域であっても、これら４隅の領域の中のいずれか１つの領域であってもよい。

ＣＰＵ１３０は、次に、現在設定されている閾値ｒ_ｔｈに増分Ｒ_ａ（＝２）を加算する（Ｓ２３）。そして、Ｓ２３の処理で加算された閾値ｒ_ｔｈと、領域Ｚ_１及びＺ_３に含まれている各画素の出力値とを比較し、各画素についてその出力値が閾値ｒ_ｔｈを下回っているか否かを判定する（Ｓ２４）。さらにＳ２４の処理において閾値ｒ_ｔｈを下回っている画素の数が８画素より多いか否かを判定する（Ｓ２５）。このとき閾値ｒ_ｔｈを下回っている画素の数が８画素以下の場合（ＮＯ：Ｓ２５）、現在設定している閾値ｒ_ｔｈが低すぎる為、ＣＰＵ１３０は、Ｓ２３の処理に戻り、再び閾値ｒ_ｔｈを加算して処理を続行する。また、閾値ｒ_ｔｈを下回っている画素の数が８画素より多い場合（ＹＥＳ：Ｓ２５）、ＣＰＵ１３０は、現在設定している閾値ｒ_ｔｈが適切な最小閾値であると判断し、この閾値ｒ_ｔｈを最小閾値ｒ_ｍｉｎとして設定し（Ｓ２６）、この最小閾値設定処理を終了させ、図４のフローチャートのＳ３の処理に進む。

なお、Ｓ１及びＳ２の処理では、欠陥画素か否かを判定する為の閾値であって、後述の処理で設定される閾値の設定範囲を予め絞り込んでいる。これらの処理により、設定する必要のない閾値（すなわち図３（ｂ）においていずれの画素の出力値にも跨れることのない閾値）を予め省くことができる為、効率良く欠陥画素を検出する処理を実行することができる。

Ｓ３の処理において、ＣＰＵ１３０は、ＣＣＤ２３０内の各画素が黒点の欠陥画素であるか否かを判定する。ここで、図７のフローチャートを参照して、このＳ３の欠陥画素検出処理について説明する。

Ｓ３の欠陥画素検出処理を実行するにあたりＣＰＵ１３０は、先ず、閾値ｒ_ｔｈを最大閾値ｒ_ｍａｘに設定する（Ｓ３１）。次に、現在設定されている閾値ｒ_ｔｈに減分Ｒ_ｓ（＝８）を減算する（Ｓ３２）。そしてＳ３２の処理で減算された閾値ｒ_ｔｈが最小閾値ｒ_ｍｉｎ以上であるか否かを判定する（Ｓ３３）。このとき閾値ｒ_ｔｈが最小閾値ｒ_ｍｉｎを下回っている場合（Ｓ３３：ＮＯ）、ＣＰＵ１３０は、現在の閾値或いはこれ以上閾値を下げても欠陥画素を検出できない為、図７のフローチャートを終了させる。すなわち図４のＳ３の処理を終了させ、本実施形態の欠陥画素検出処理を終了させる。本実施形態ではこのように、最大閾値ｒ_ｍａｘから最小閾値ｒ_ｍｉｎまで閾値ｒ_ｔｈを順次変化させて欠陥画素を検出していくので、電子内視鏡のようにＣＣＤ２３０の受光面の中心部と周辺部とで、受光光量が大きく異なる場合でも、欠陥画素がくまなく検出できる。

また、閾値ｒ_ｔｈが最小閾値ｒ_ｍｉｎ以上の場合（Ｓ３３：ＹＥＳ）、現在の閾値は欠陥画素を検出し得る範囲（すなわち上記設定範囲）内にある為、ＣＰＵ１３０は、当該閾値を用いて、ＣＣＤ２３０受光面全域の各画素に対する黒点判定処理を実行し（Ｓ３４）、Ｓ３２の処理に戻り、再び閾値を減算する。ここで、図８のフローチャートを参照して、このＳ３４の黒点判定処理について説明する。

Ｓ３４の黒点判定処理を実行するにあたりＣＰＵ１３０は、先ず、ＣＣＤ２３０垂直方向に行をなす各画素に割り当てられたアドレスｍをｍ＝１に指定し（Ｓ４１）、水平方向に列をなす各画素に割り当てられたアドレスｋをｋ＝１〜８に指定する（Ｓ４２）。すなわちこれらの処理により、アドレス（１、１）、（１、２）…（１、８）に該当する８つの画素が指定される。なお、上述したようにＣＣＤ２３０は水平方向及び垂直方向共に１０２４画素が配列された矩形状の受光領域を有しており、ｍ及びｋの定義域は、共に０〜１０２３となっている。

ＣＰＵ１３０は、次に、現在指定されている８つの画素の出力値ｐ（ｍ、ｋ）を取得し、これらの出力値ｐの各々を現在設定されている閾値ｒ_ｔｈと比較し、当該閾値ｒ_ｔｈ以下の出力値の画素を「１」と判定し、当該閾値ｒ_ｔｈより大きい出力値の画素を「０」と判定する。そしてこれらの判定結果の各々を、配列ａ（ｊ）（ｊ＝２〜９）に設定する（Ｓ４３）。説明を加えると、出力値ｐ（ｍ、１）の画素の判定結果を判定結果ａ（２）とし、出力値ｐ（ｍ、２）の画素の判定結果を判定結果ａ（３）とし、…出力値ｐ（ｍ、８）の画素の判定結果を判定結果ａ（９）として設定する。そしてアドレスｋをｋ＝９に指定する（Ｓ４４）。

Ｓ４５の処理において、ＣＰＵ１３０は、設定された配列ａ（ｊ）の値を１つずつシフトさせる。具体的に説明すると、判定結果ａ（ｊ−１）＝判定結果ａ（ｊ）、すなわち判定結果ａ（２）を判定結果ａ（１）とし（ａ（２）の値をａ（１）に代入し）、判定結果ａ（３）を判定結果ａ（２）とし、…判定結果ａ（９）を判定結果ａ（８）として設定し直す。そして垂直方向のアドレスが現在指定されているアドレスｍであり、水平方向のアドレスが現在指定されているアドレスｋである画素の出力値ｐを、判定結果ａ（９）として配列ａ（ｊ）に加える。これにより配列ａ（ｊ）は、判定結果ａ（１）〜判定結果ａ（９）に対応する画素であって、水平方向に連続して整列された９つの画素の判定結果を含んだパラメータとなる（Ｓ４６）。

ＣＰＵ１３０は、次に、上述の連続した９つの画素の中心に位置する画素に対応した判定結果ａ（５）が「１」か否かを判定する（Ｓ４７）。このとき判定結果ａ（５）が「１」（すなわち判定結果ａ（５）に対応する画素の出力値が閾値ｒ_ｔｈ以下）の場合（Ｓ４７：ＹＥＳ）、ＣＰＵ１３０は、この画素が黒点か否かを判定する為にＳ４８の周辺画素比較処理を実行する。また、判定結果ａ（５）が「０」（すなわち当該画素の出力値が閾値ｒ_ｔｈより大きい）の場合（Ｓ４７：ＮＯ）、ＣＰＵ１３０は、この画素が正常画素であると判断し、Ｓ４９処理に進む。

ここで、図９のフローチャートを参照して、Ｓ４８の周辺画素比較処理について説明する。なお、図９のフローチャートの説明に用いられる図１０(ａ) 〜（ｃ）は、各種態様における配列ａ（ｊ）の内容を示した図である。また、判定結果ａ（５）に対応する画素は、図９のフローチャートにおいて欠陥画素であるか否かを判定される画素である。以下、この画素を注目画素と略記する。本実施形態では、注目画素の判定結果が「１」で、更にその注目画素に隣接する左右のそれぞれ３画素の判定結果が連続して「０」である場合、その注目画素を欠陥画素と判断する。ただ例外として隣接の１画素だけが判別結果「１」の場合も、注目画素を欠陥画素と判断する。即ち、図１０（ａ）〜（ｃ）の場合だけが、注目画素（ａ（５）に対応する画素）が欠陥画素と判断される。

Ｓ４８の周辺画素比較処理を実行するにあたりＣＰＵ１３０は、先ず、配列ａ（ｊ）のうち、判定結果ａ（２）〜判定結果ａ（４）が全て「０」であるか否かを判定する（Ｓ６１）。すなわち、注目画素に隣接し且つ水平方向に連続して整列された３つの画素全ての出力値が閾値ｒ_ｔｈより大きいか否かを判定している。このとき判定結果ａ（２）〜判定結果ａ（４）が全て「０」（すなわち上述の隣接画素全ての出力値が閾値ｒ_ｔｈより大きい）の場合（Ｓ６１：ＹＥＳ）、ＣＰＵ１３０は、Ｓ６２の処理に進む。また、判定結果ａ（２）〜判定結果ａ（４）の中で１つでも「１」のものがある場合（Ｓ６１：ＮＯ）、ＣＰＵ１３０は、Ｓ６３の処理に進む。

Ｓ６２の処理において、ＣＰＵ１３０は、配列ａ（ｊ）のうち、判定結果ａ（６）〜判定結果ａ（８）が全て「０」であるか否かを判定する。すなわち、注目画素に隣接し且つ水平方向に連続して整列された３つの画素であって、当該注目画素を挟んでＳ６１の処理で閾値ｒ_ｔｈと比較された３つの画素と反対側に整列された３つの画素全ての出力値が閾値ｒ_ｔｈより大きいか否かを判定している。

判定結果ａ（６）〜判定結果ａ（８）が全て「０」の場合（Ｓ６２：ＹＥＳ）、配列ａ（ｊ）は、図１０(ａ）に示した判定結果を含んだものとなる。これは、注目画素の左右に隣接し且つ連続して整列された片側３画素（計６画素）全ての画素の出力値が閾値ｒ_ｔｈより大きいことを示している。すなわち注目画素を含めた７画素の出力値がいずれかの方向に段階的に低く或いは高くなっているのではなく、注目画素のみが抜け落ちたようにその出力値が低くなっていることを示している。この為、ＣＰＵ１３０は、この注目画素を黒点の欠陥画素と判定し、該当するアドレスを、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ６５）、図９のフローチャートを終了させる。すなわち図８のＳ４８の周辺画素比較処理を終了させ、Ｓ４９の処理に進む。また、判定結果ａ（６）〜判定結果ａ（８）の中で１つでも「１」のものがある場合（Ｓ６２：ＮＯ）、ＣＰＵ１３０は、Ｓ６４の処理に進む。

Ｓ６３の処理において、ＣＰＵ１３０は、配列ａ（ｊ）のうち、判定結果ａ（１）〜判定結果ａ（３）及び判定結果ａ（６）〜判定結果ａ（８）が全て「０」であるか否かを判定する。ここで、前記に列挙した判定結果が全て「０」の場合（Ｓ６３：ＹＥＳ）、配列ａ（ｊ）は、図１０(ｂ）に示した判定結果を含んだものとなる。すなわち注目画素に隣接した画素のうち、判定結果ａ（４）に対応する画素の出力値のみが閾値ｒ_ｔｈ以下であることを示している。すなわち注目画素を含めた８画素の出力値がいずれかの方向に段階的に低く或いは高くなっているのではなく、注目画素及び上述の１画素のみが抜け落ちたようにその出力値が低くなっていることを示している。この場合、ＣＰＵ１３０は、この注目画素を黒点の欠陥画素と判定し、該当するアドレスを、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ６５）、図９のフローチャートを終了させ、Ｓ４９の処理に進む。また、判定結果ａ（１）〜判定結果ａ（３）及び判定結果ａ（６）〜判定結果ａ（８）の中で１つでも「１」のものがある場合（Ｓ６３：ＮＯ）、ＣＰＵ１３０は、この注目画素を正常画素と判断し、そのアドレスをメモリ１３２に記憶させず、図９のフローチャートを終了させ、Ｓ４９の処理に進む。

Ｓ６４の処理において、ＣＰＵ１３０は、配列ａ（ｊ）のうち、判定結果ａ（７）〜判定結果ａ（９）が全て「０」であるか否かを判定する。ここで、判定結果ａ（７）〜判定結果ａ（９）が全て「０」の場合（Ｓ６４：ＹＥＳ）、配列ａ（ｊ）は、図１０(ｃ）に示した判定結果を含んだものとなる。すなわち注目画素に隣接した画素のうち、判定結果ａ（６）に対応する画素の出力値のみが閾値ｒ_ｔｈ以下であることを示している。すなわち注目画素を含めた８画素の出力値がいずれかの方向に段階的に低く或いは高くなっているのではなく、注目画素及び上述の１画素のみが抜け落ちたようにその出力値が低くなっていることを示している。この場合、ＣＰＵ１３０は、この注目画素を黒点の欠陥画素と判定し、該当するアドレスを、接続中の電子内視鏡のＩＤ情報と関連付けて、メモリ１３２に記憶させ（Ｓ６５）、図９のフローチャートを終了させ、Ｓ４９の処理に進む。また、判定結果ａ（７）〜判定結果ａ（９）の中で１つでも「１」のものがある場合（Ｓ６４：ＮＯ）、ＣＰＵ１３０は、この注目画素を正常画素と判断し、そのアドレスをメモリ１３２に記憶させず、図９のフローチャートを終了させ、Ｓ４９の処理に進む。

なお、ある閾値において欠陥画素と判定された画素がその閾値より低い閾値で再び欠陥画素として判定されたとき、ＣＰＵ１３０は、既にこの画素のアドレスをメモリ１３２に記憶している為、ここではメモリ１３２に対するこの画素のアドレスの書き込み動作を実行しない。

Ｓ４９の処理において、ＣＰＵ１３０は、水平方向のアドレスｋを１インクリメントする。そして現在指定されているアドレスｋがｋ_ｍａｘ（＝１０２３）より大きいか否かを判定する（Ｓ５０）。アドレスｋがｋ_ｍａｘ以下の場合（Ｓ５０：ＮＯ）、ＣＰＵ１３０は、Ｓ４５の処理に戻り、現在設定されている配列ａ（ｊ）を水平方向に１画素相当シフトさせたものに再設定して処理を続行させる。また、アドレスｋがｋ_ｍａｘより大きい場合（Ｓ５０：ＹＥＳ）、配列ａ（ｊ）を水平方向の端部までシフトさせた（別の言い方をすると、現在指定されているアドレスｍ（すなわち現在の行）に配置されている画素に対する黒点判定が終了した）ことを示している為、ＣＰＵ１３０は、Ｓ５１の処理に進む。

Ｓ５１の処理において、ＣＰＵ１３０は、垂直方向のアドレスｍを１インクリメントする。すなわち上述の如くｍ行目の画素に対する黒点判定処理が終了した為、ＣＰＵ１３０は、黒点判定処理の対象となる画素を次の行に移す。そして現在指定されているアドレスｍがｍ_ｍａｘ（＝１０２３）より大きいか否かを判定する（Ｓ５２）。アドレスｍがｍ_ｍａｘ以下の場合（Ｓ５２：ＮＯ）、ＣＰＵ１３０は、Ｓ４２の処理に戻り、新たな行における黒点判定処理を開始する。また、アドレスｍがｍ_ｍａｘより大きい場合（Ｓ５２：ＹＥＳ）、全ての行に整列された画素（すなわちＣＣＤ２３０全域の各画素）の黒点判定処理を実行したことを示している為、ＣＰＵ１３０は、図８のフローチャートを終了させ、図７のＳ３２の処理に戻る。

以上が本発明の実施形態である。本発明はこれらの実施形態に限定されるものではなく様々な範囲で変形が可能である。例えば、上記実施形態において、プロセッサ１００側に配置されている検出回路１４５や欠陥画素用メモリ１４８、補正回路１４６を電子内視鏡２００側に設けてもよい。

なお、本実施形態では黒点の欠陥画素を検出しているが、別の実施形態では白点の欠陥画素を検出してもよい。この場合、例えば、徐々に閾値を上げながら各画素の判定を行い、連続して整列された複数画素のうち注目画素の出力値のみが閾値以上であれば、その注目画素を白点の欠陥画素として検出する。

本発明の実施形態の電子内視鏡装置を示すブロック図である。本発明の実施形態の構成要素であるＤＳＰの構成を示したブロック図である。本発明の実施形態における欠陥画素検出処理を説明する為の図である。本実施形態の欠陥画素検出処理の全体的な流れを示したフローチャートである。図４のＳ１の処理における最大閾値設定処理を示したフローチャートである。図４のＳ２の処理における最小閾値設定処理を示したフローチャートである。図４のＳ３の処理における欠陥画素検出処理を示したフローチャートである。図７のＳ３４の処理における黒点判定処理を示したフローチャートである。図８のＳ４８の処理における周辺画素比較処理を示したフローチャートである。本発明の実施形態の欠陥画素検出処理で用いられる配列ａ（ｊ）の内容を示した図である。

符号の説明

１０電子内視鏡装置
１００プロセッサ
１３０ＣＰＵ
１４０ＤＳＰ
２００電子内視鏡
２２０対物レンズ
２３０ＣＣＤ

Claims

固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出装置において、
各該画素の信号の出力値に関する閾値を設定する閾値設定手段と、
設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する画素判別手段と、
欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合、該注目画素を欠陥画素と判定する欠陥判定手段と、を備えたこと、を特徴とする欠陥画素検出装置。
前記欠陥判定手段が所定の領域に含まれた全ての画素に対する判定処理を繰り返し実行する場合、前記閾値設定手段は、該判定処理が実行される度に徐々に前記閾値を変化させていくこと、を特徴とする請求項１に記載の欠陥画素検出装置。
前記閾値設定手段は、第１の閾値から該第１の閾値より低い第２の閾値までの間で徐々に該閾値を変化させていくこと、を特徴とする請求項１または請求項２のいずれかに記載の欠陥画素検出装置。
前記閾値を比較的高い値から低い値へ徐々に変化させていき、前記画素判別手段によって該閾値より出力値が高いと判別された画素の数が第１の数以上となったとき、前記閾値設定手段は、その閾値を前記第１の閾値に設定すること、を特徴とする請求項３に記載の欠陥画素検出装置。
前記閾値を比較的低い値から高い値へ徐々に変化させていき、前記画素判別手段によって該閾値より出力値が低いと判別された画素の数が第２の数以上となったとき、前記閾値設定手段は、その閾値を前記第２の閾値に設定すること、を特徴とする請求項３または請求項４のいずれかに記載の欠陥画素検出装置。
前記画素判別手段により判別された該画素の位置情報を格納する記憶手段をさらに備えたこと、を特徴とする請求項１から請求項５のいずれかに記載の欠陥画素検出装置。
固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出方法において、
各該画素の信号の出力値に関する閾値を設定する第一のステップと、
設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する第二のステップと、
欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合、該注目画素を欠陥画素と判定する第三のステップと、を有したこと、を特徴とする欠陥画素検出方法。
固体撮像素子の受光面上に整列された各画素の欠陥を検出する欠陥画素検出プログラムにおいて、コンピュータを
各該画素の信号の出力値に関する閾値を設定する手段と、
設定された該閾値と、該閾値に対する各画素信号の出力値とを比較して、該閾値より高い出力値または低い出力値のいずれかを出力している画素を判別する手段と、
欠陥画素か否かを判定される注目画素の判別結果と、該注目画素に近接し且つ連続して整列された複数の画素全ての判別結果とを比較し、該注目画素の判別結果のみが他の判別結果と異なっていた場合、該注目画素を欠陥画素と判定する手段、として機能させるための欠陥画素検出プログラム。