JP3601908B2

JP3601908B2 - Image processing device defective pixel correction processing device, X-ray diagnostic device

Info

Publication number: JP3601908B2
Application number: JP20041996A
Authority: JP
Inventors: 亨斎須; 雅行西木; 好一郎名渕; 明塚本; 徹加藤; 清一郎永井
Original assignee: Toshiba Corp; Toshiba Medical Systems Engineering Co Ltd
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 1996-07-30
Filing date: 1996-07-30
Publication date: 2004-12-15
Anticipated expiration: 2016-07-30
Also published as: JPH1051693A

Description

【０００１】
【発明の属する技術分野】
本発明は、Ｘ線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるＸ線診断装置に関するものである。
【０００２】
【従来の技術】
近年、Ｘ線診断装置、内視鏡装置等では、撮像素子を用いたＴＶカメラを搭載しており、このＴＶカメラによって被検体を撮像している。このＴＶカメラに使われている撮像素子、例えばＣＣＤでは欠陥画素の数が少ないほどその価格は高価となるため、ある程度の欠陥画素を含む素子を使用する必要がある。このため、欠陥画素を補正する欠陥画素補正処理装置が用いられている。
【０００３】
このようなＴＶカメラと欠陥画素補正処理装置を搭載したＸ線診断装置を図１８に示す。
図１８に示すようにＴＶカメラを搭載したＸ線診断装置１００は、Ｘ線を被検体Ｐに対して曝射するＸ線ビーム発生源１０１と、被検体Ｐを通過したＸ線を光学像に変換するイメージインテンシファイア１０３と、イメージインテンシファイア１０３により変換された光学像を撮像して画素毎の画像信号（画素値）を得るＴＶカメラ１０５と、ＴＶカメラ１０５により得られた画像信号をディジタル信号に変換するＡ／Ｄ変換器１０７と、された画像信号の内、欠陥画素の画像信号を補正する欠陥画素補正処理装置１０９と、欠陥画素補正処理装置１０９により補正された画像信号および正常画素の画像信号をアナログ信号に変換するＤ／Ａ変換器１１１と、Ｄ／Ａ変換器１１１によりアナログ信号に変換された画像信号を表示するモニタ１１３と、欠陥画素補正処理装置１０９により欠陥画素の値が補正された画像信号を用いてしきい値処理等の画像処理を行う画像処理装置１１５とを有する。
【０００４】
ここでＴＶカメラ１０５に用いられるＣＣＤに発生する欠陥画素の特性は様々であるため、欠陥画素補正処理装置１０９では、その特性に応じた補正処理方法により補正を行っている。この欠陥画素補正処理方法の代表例を以下に説明する。
【０００５】
画像上で周囲の画素よりもわずかに白っぽく浮き出て見える白色の欠陥画素（白点欠陥、白線欠陥、白点欠陥群等）は、ＣＣＤに発生する暗電流が原因の欠陥である。これは、欠陥画素に発生する暗電流分のレベルだけ周囲の画素より画像信号がわずかに大きくなるために起こる。この暗電流は入射光量に依存せず一定となる特徴を有する。このため、予め所定の入射光量時、具体的にはカメラに光を入射させない状態で撮像したときの暗電流を測定しておき、その値を撮像したＸ線画像信号からリアルタイムで差し引く方法が試みられており、良好な結果が得られている。
【０００６】
また、暗電流が極端に大きく画素が白色に飽和してしまった場合（画素の電荷が飽和した場合）、その画素の情報が完全に失われているため、前記の減算処理による欠陥画素補正の効果は望めず、欠陥画素の周辺画素を利用した画素置換法または補間処理法が行われている。
【０００７】
さらに、周囲の画素に比べて極端に黒く見える黒色の欠陥画素（黒点欠陥、黒点欠陥群）は、ＣＣＤ製造過程において、チップ上にごみ等が付着し、入射光が遮られるために発生する欠陥である。この欠陥画素も前記の飽和した白色の欠陥画素と同様にその画素の情報が含まれていない画素であるため、欠陥画素の周辺画素を利用して画素置換法または補間処理法が試みられている。
【０００８】
画素置換法としては、欠陥画素に隣接する正常画素を欠陥画素に置き換える隣接画素置換法や近隣の画像信号の中間値で置換するメディアンフィルタ処理法が試みられている。
【０００９】
また、欠陥画素を近隣の画素より補間を行う補間処理法としては、共１次内挿法や高次補間処理（スプライン補間、ラグランジェ補間、ＳＩＮＣ関数）等が行われている。
【００１０】
【発明が解決しようとする課題】
しかしながら、前述した補正処理方法では、滑らかな画素分布（淡いコントラスト）を有する領域に対しては有効な処理であるが、画像信号が大きく変化する領域（コントラストが極端に強い領域）では、その補正跡が明瞭に確認される場合がある。例えば、上部消化管検査において、被検体に入れられたバリュウムによる像と背景像との境界、胃のヒダ等の部分では、補正跡が明瞭に見えてしまう。このように補正が良好にできない理由は次のように説明できる。
【００１１】
隣接画素置換法では、図１９（ａ）に示すように１列目の画素列と２列目の画素列でコントラストが急激に変化する場合に、２列目の画素列で欠陥画素があるとき、これを明るい領域の画素（１列目の画素）で補間すると、欠陥画素の画像信号は本来１０と予想されるが、図１９（ｂ）に示すように置換後の画像信号は１００となり、補正跡が明瞭に確認できてしまう。
【００１２】
メディアン処理では、用いる関心領域（ＲＯＩ）内に複数の欠陥画素がある場合等では選択されるメディアン値が欠陥画素である確率が高まり、欠陥画素を欠陥画素で置換するという現象が発生する場合がある。例えば、図２０に示す例で、画像信号９０の画素が欠陥画素である場合、その行の画像信号でメディアン処理を行うと、画像信号１００，９０，５０の内、中間値の画像信号、即ち２番目に大きい値の画像信号がメディアン値となる。この場合、メディアン値は、欠陥画素の画像信号値９０となり、欠陥画素の画像信号がそのままその画素の画像信号となり、全く処理しない場合と同一となる。
【００１３】
共１次内挿法では、水平または垂直方向に伸びる被写体に対応する領域の欠陥画素に対しては、被写体の情報が全く含まれていない画素で欠陥画素を補間することになり、不適切な補間となる。例えば図２１（ａ）に示す例で、被写体が垂直方向に伸びる細長い物体である場合に、この被写体に対応する領域の画像信号値５の画素が欠陥画素のとき、共１次内挿法では図２１（ｂ）に白丸で示す画素の画像信号を用いて補間するため、図２１（ｃ）に示すように欠陥画素の画像信号が被写体の情報と無関係な値１００に補間されてしまう。
【００１４】
その他の手法に関しても、アルゴリズムが複雑で処理回路の規模が大きくなる割には前記の補間処理法と比較して効果が顕著に現れない。この中でＳＩＮＣ関数による高次元補間処理法では、欠陥画素から離れた画素も考慮して補間処理を行うため、欠陥画素から離れた位置に全く異なる画像信号がある場合にはその情報が補間結果に加えられ、不適当な補間になってしまう。例えば図２２に示す例で、×印で示す画素が欠陥画素である場合、では、白丸で示す画素の画像信号を用いて補間する。しかし、補間に用いる画素の領域が広く、その領域に２つ以上の被写体が含まれる可能性があり、×印で示す部分の被写体とは別の被写体の画像信号で欠陥画素の画像信号を補間する可能性がある。
【００１５】
本発明は、上記課題に鑑みてなされたもので、Ｘ線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるＸ線診断装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述の課題を解決するために、請求項１に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【００１７】
また、請求項２に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【００１８】
また、請求項３に記載の発明によれば、被検体に対してＸ線を曝射するＸ線源と、
被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置をもって解決手段とする。
【００１９】
また、請求項４に記載の発明によれば、被検体に対してＸ線を曝射するＸ線源と、
被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置をもって解決手段とする。
【００２０】
【発明の実施の形態】
以下、本発明に係る実施の形態を図面を参照して説明する。本実施形態の撮像素子の欠陥画素補正処理装置は、従来と同様、例えば図１８に示すようにＸ線診断装置１００内に設けられ、被検体Ｐを通過したＸ線を基に変換された光学像をＴＶカメラ１０５により撮像して得られた画像信号の内、欠陥画素の画像信号を補間する。
【００２１】
特に、本実施形態では、ＴＶカメラ１０５に使用されるＣＣＤの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成する。そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号（画素値）を用いて欠陥画素の画像信号を補間するようにしている。
【００２２】
図１は本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
図１に示すように、本実施形態の撮像素子の欠陥画素補正処理装置１０は、スイッチ１１と、欠陥画素検出手段と欠陥画素分類手段としての欠陥画素検出部１３と、補正データＲＯＭ１５と、補正係数発生部１７と、バッファメモリ１９と、欠陥画素補正処理手段としての欠陥画素補正処理部２１とを有している。
【００２３】
スイッチ１１は、図１８に示すＡ／Ｄ変換器１０７によりディジタル信号に変換された画像信号の供給先を欠陥画素検出部１３側（端子Ｂ）もしくはバッファメモリ１９側（端子Ａ）に切り換える。尚、この切り換えは図示しない制御手段により行われる。
【００２４】
欠陥画素検出部１３は、図２に示すように、フレーム加算処理器２３と、ローパスフィルタ処理器（ＬＰＦ処理器）２５と、減算器２７と、正常／欠陥画素の分離器２９と、欠陥画素の分類器３１とを有し、欠陥画素を検出してその分類を行う。
【００２５】
フレーム加算処理器２３は、Ａ／Ｄ変換器１０７からスイッチ１１を介して供給される任意の数フレームの画像信号を加算することにより、画像信号中のノイズ成分を除去する。
【００２６】
ＬＰＦ処理器２５は、フレーム加算器２３によりノイズ成分の除去された画像信号中の空間的な高周波成分、即ち欠陥画素により生じる急峻な変化をローパスフィルタ処理することにより除去して空間的に低周波成分のみにする。
【００２７】
減算器２７は、フレーム加算器２３によりノイズ成分の除去された画像信号とＬＰＦ処理器２５により空間的に低周波成分のみにされた画像信号との差分を求めて欠陥画素のみを抽出する。
【００２８】
正常／欠陥画素の分離器２９は、減算器２７により抽出された欠陥画素を「１」それ以外の正常画素を「０」とした正常・欠陥ラベル像を作成する。例えば、減算器２７により、図３（ａ）に示す×印の画素が欠陥画素として抽出された場合、正常／欠陥画素の分離器２９は、×印の欠陥画素を「１」、それ以外を「０」とした図３（ｂ）に示すような正常・欠陥ラベル像を作成する。
【００２９】
欠陥画素の分類器３１は、正常／欠陥画素の分離器２９により作成された正常・欠陥ラベル像を基に、欠陥画素をさらに種類分けし、その種類に対応させてさらにラベリングを行う。
【００３０】
このラベリングの方法としては、所定のＲＯＩ、例えば図４に示すように３×３の画素群毎に欠陥画素に隣接する画素を調べ、図４（ａ）に示すように「１」の数が０個の場合は孤立点欠陥、図４（ｂ）に示すように「１」の数が１個の場合は２連続点欠陥、図４（ｃ）に示すように「１」の数が２個の場合はライン欠陥または点欠陥群、図４（ｄ）に示すように「１」の数が３個以上の場合は点欠陥群と分類し、これらの種類に対応させてラベリングするというものである。
【００３１】
この具体的方法として、前記ＲＯＩの欠陥画素に隣接する各画素の名称を図５に示すように１行１列目から順にＩ１１，Ｉ１２，Ｉ１３，Ｉ２１，Ｉ２３，Ｉ３１，Ｉ３２，１３３とすると、隣接画素の合計値ＳＵＭ（＝Ｉ１１＋Ｉ１２＋Ｉ１３＋Ｉ２１＋Ｉ２３＋Ｉ３１＋Ｉ３２＋１３３）を求め、ＳＵＭ＝０の場合は孤立点欠陥、ＳＵＭ＝１の場合は２連続点欠陥、ＳＵＭ＝２の場合はライン欠陥または点欠陥群、ＳＵＭ≧３の場合は点欠陥群と分類する。
【００３２】
さらに、２連続点欠陥（ＳＵＭ＝２）の場合は、図６（ａ）〜（ｈ）に示すように８種類の型（ｔｙｐｅ）に分類できる。この分類法は、特定画素を除く隣接画素の合計を調べて次のように分類する。
【００３３】
【数１】

また、ＳＵＭ≧２の場合はほとんどが図６（ｉ），（ｊ）に示すライン欠陥（ＣＣＤ内で電荷を水平または垂直方向に転送する際に起きる転送不良の欠陥）であり、それ以外の欠陥パターンは他の欠陥パターンと比較して発生する確率が非常に低く、これを補正する回路を設けることは無駄である。言い換えれば、点欠陥群があるＣＣＤは品質としては低い製品であるため、ＴＶカメラ１０５用のＣＣＤとして使用することができないと考えて良い。
【００３４】
ライン欠陥の分類法は、２連続点欠陥の場合と同様に特定画素を除く隣接画素の合計を調べて次のように分類する。
【００３５】
【数２】

また、前述の分類法は正常・欠陥ラベル像を用いて欠陥画素に隣接する画素のラベルの合計より分類したが、隣接画素をＩ１１，Ｉ１２，Ｉ１３，…の順に調べ、「１」の個数をカウントする方法でも可能である。
【００３６】
そして、前述のように分類された欠陥画素に対し、ラベリングを行い、それらを合わせることにより欠陥画素のラベリング像を作成する。例えば図７（ａ）に示すように孤立点欠陥は２、図７（ｂ）に示すように２連続点欠陥のｔｙｐｅ１は３、図７（ｃ）に示すように２連続点欠陥のｔｙｐｅ２は４、図７（ｄ）に示すように２連続点欠陥のｔｙｐｅ３は５、図７（ｅ）に示すように２連続点欠陥のｔｙｐｅ４は６、図７（ｆ）に示すように２連続点欠陥のｔｙｐｅ５は７、図７（ｇ）に示すように２連続点欠陥のｔｙｐｅ６は８、図７（ｈ）に示すように２連続点欠陥のｔｙｐｅ７は９、図７（ｉ）に示すように２連続点欠陥のｔｙｐｅ８は１０、図７（ｊ）に示すようにライン欠陥のｔｙｐｅ９は１１、図７（ｋ）に示すようにライン欠陥のｔｙｐｅ１０は１２、図７（ｌ）に示すように点欠陥群は１３とする。
【００３７】
補正データＲＯＭ１５は、欠陥画素の分類器３１により作成されたラベリング像を記憶する。また、補正データＲＯＭ１５は、通常のＸ線撮影またはＸ線透視の場合に欠陥画素を補間する際、前記記憶したラベリング像を補正係数発生部１７に対して出力する。
【００３８】
補正係数発生部１７は、補正データＲＯＭ１５から出力されるラベリング像に対応させ、欠陥画素補正処理部２１により欠陥画素を補間する際の重みを補正係数として発生する。ここで、最も簡単な方法としては補間に用いる画素全てに同じ重みを付ける、即ち、隣接する正常画素の平均値で欠陥画素を補間させる。
【００３９】
例えば、図８（ａ）に示すように孤立点欠陥の場合、隣接する正常画素全てについて重み０．１２５とし、図８（ｂ）〜（ｉ）に示すように２連続点欠陥の場合、隣接する正常画素全てについて重み０．１４２８５７とし、図８（ｊ），（ｋ）に示すようにライン欠陥の場合、隣接する正常画素全てについて重み０．１６６６６７とする。
【００４０】
また、欠陥画素の上下左右隣までの距離と斜め４隅の画素までの距離とでは前者の方が小さく、欠陥画素の特性により近いという考えから、重みの値を距離に反比例（逆比）する大きさとしても良い。この場合、例えば図９（ａ）に示すように孤立点欠陥の場合、上下左右の隣接画素は０．１０３５５３、斜め方向の隣接画素は重み０．１４６４４５とし、図９（ｂ），（ｄ），（ｆ），（ｈ）に示すように２連続点欠陥のｔｙｐｅ１，３，５，７の場合、上下左右の隣接画素は重み０．１６３３６３、斜め方向の隣接画素は重み０．１１５５１５とし、図９（ｃ），（ｅ），（ｇ），（ｉ）に示すように２連続点欠陥のｔｙｐｅ２，４，６，８の場合、上下左右の隣接画素は重み０．１７１５７３、斜め方向の隣接画素は重み０．１２１３２とし、図９（ｊ），（ｋ）に示すようにライン欠陥の場合、上下左右の隣接画素は重み０．２０７１０７、斜め方向の隣接画素は重み０．１４６４４７とする。また、図８、９において、太枠内の画素は欠陥画素を表し、その中の＊印のある画素は補間対象となる画素である。補間対象外の欠陥画素の補間係数は０とする。
【００４１】
バッファメモリ１９は、垂直方向のタイミングを合わせる目的で用いられ、画像信号を２ライン以上保存できる容量を有し、かつ、複数ラインの画像信号を同時に出力できる構造になっている。例えば、３ライン同時に出力する場合、図１０に示すように、１ライン毎に画像信号を書き込む４つのラインメモリＬＭ１〜ＬＭ４と３ライン同時に読み出すためのマルチプレクサＭＰとから成る。
【００４２】
ここで、３ライン同時に出力する場合の動作例を図１１のタイミングチャートを用いて説明する。ライン番号１，２，３のライン画像信号はラインメモリＬＭ１，ＬＭ２，ＬＭ３の順に書き込まれる（タイミングチャートＷ１，Ｗ２，Ｗ３）。次いでライン番号４のライン画像信号がラインメモリＬＭ４に書き込まれると同時に（タイミングチャートＷ４）、ラインメモリＬＭ１，ＬＭ２，ＬＭ３からライン番号１，２，３のライン画像信号が同時に出力される（タイミングチャートＲ１，Ｒ２，Ｒ３）。次いで、ライン番号５のライン画像信号がラインメモリＬＭ１に書き込まれると同時に（タイミングチャートＷ５）、ラインメモリＬＭ２，ＬＭ３，ＬＭ４からライン番号２，３，４のライン画像信号が同時に出力される（タイミングチャートＲ２，Ｒ３，Ｒ４）。以降、同様にして動作する。
【００４３】
欠陥画素補正処理部２１は、図１２に示すようにバッファメモリ１９から出力されたライン画像信号と補正係数発生部１７から発生された補正係数との乗算を行う乗算器３３−１１，３３−１２，…，３３−ｎｍと、乗算器３３−１１，３３−１２，…，３３−ｎｍと、乗算器３３−１１，３３−１２，…，３３−ｎｍと、乗算器３３−１１，３３−１２，…，３３−ｎｍにより乗算された結果を所定の画素数（前記ＲＯＩ内の正常画素の数）分だけ加算し、欠陥画素の画像信号として出力する水平・垂直加算処理部３５とを有する。
【００４４】
例えば、３×３のＲＯＩ内の画素を使って欠陥画素の補間処理を行う場合、欠陥画素補正処理部２１は、図１３に示すように９つの乗算器３３−１１，３３−１２，３３−１３，３３−２１，３３−２２，３３−２３，３３−３１，３３−３２，３３−３３と、水平方向と垂直方向野タイミングを合わせるための３つのラッチ３７−１，３７−２３７−３と、各ライン毎に３つのデータを加算するための各ライン２つ（合計６つ）の加算器３９−１，４１−１，３９−２，４１−２，３９−３，４１−３と、１ライン目と２ライン目の加算データを加算する加算器４３と、１ライン目と２ライン目の加算データを加算器４３により加算している間、３ライン目の加算データをラッチするラッチ４５と、加算器４３により加算されたデータに３ライン目の加算データをさらに加算する加算器４７とを有する。このラッチ３７−１，３７−２，３７−３と、加算器３７−１，３９−１，３７−２，３９−２，３７−３，３９−３と、加算器４３と、ラッチ４５と、加算器４７とにより水平・垂直加算処理部３５を構成する。
【００４５】
ここで、３×３のＲＯＩ内の画素を使って欠陥画素の補間処理を行う場合の欠陥画素補正処理部２１の動作例を図１４に示すタイミングチャートを用いて説明する。尚、このとき図１５に示すように１番目（１行目）の１ライン目の画像信号をＰ１１、１番目の２ライン目の画像信号をＰ１２、…として説明する。また、欠陥画素補正処理部２１は、図示しない制御手段から送信されるクロックに対応して動作する。
【００４６】
まず、クロックＣ１で最初のＲＯＩの１番目の画像信号Ｐ１１，Ｐ２１，Ｐ３１が各ラインの乗算器３３−１１，３３−２１，３３−３１に入力される。
次いでクロックＣ２で最初のＲＯＩの２番目の画像信号Ｐ１２，Ｐ２２，Ｐ３２が各ラインの乗算器３３−１２，３３−２２，３３−３２に入力される。この時、乗算器３３−１１，３３−２１，３３−３１には最初のＲＯＩの１番目の画像信号が入力されている。
【００４７】
次いでロックＣ３で最初のＲＯＩの３番目の画像信号Ｐ１３，Ｐ２３，Ｐ３３が各ラインの乗算器３３−１３，３３−２３，３３−３３に入力される。この時、乗算器３３−１１，３３−２１，３３−３１には最初のＲＯＩの１番目の画像信号が入力され、乗算器３３−１２，３３−２２，３３−３２には最初のＲＯＩの２番目の画像信号が入力されている。
【００４８】
次いでクロックＣ４で１番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１１，３３−２１，３３−３１に次のＲＯＩの１番目の画像信号Ｐ１４，Ｐ２４，Ｐ３４が入力される。この時、乗算器３３−１２，３３−２２，３３−３２には最初のＲＯＩの２番目の画像信号が入力され、乗算器３３−１３，３３−２３，３３−３３には最初のＲＯＩの３番目の画像信号が入力されている。
【００４９】
次いでクロックＣ５で２番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１２，３３−２２，３３−３２に次のＲＯＩの２番目の画像信号Ｐ１５，Ｐ２５，Ｐ３５が入力される。この時、乗算器３３−１１，３３−２１，３３−３１には次のＲＯＩの１番目の画像信号が入力され、乗算器３３−１３，３３−２３，３３−３３には最初のＲＯＩの３番目の画像信号が入力されている。
【００５０】
次いでクロックＣ６で３番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１３，３３−２３，３３−３３に次のＲＯＩの３番目の画像信号Ｐ１６，Ｐ２６，Ｐ３６が入力される。この時、乗算器３３−１１，３３−２１，３３−３１には次のＲＯＩの１番目の画像信号が入力され、乗算器３３−１２，３３−２２，３３−３２には次のＲＯＩの２番目の画像信号が入力されている。
【００５１】
そしてクロックＣ７で最初のＲＯＩの水平・垂直加算処理の結果Ｄ１が出力される。以降、同様にして動作する。
【００５２】
尚、撮像素子の欠陥画素補正処理装置１０の回路規模が制限されている場合等の理由で乗算器３３−１１，３３−１２，３３−１３，３３−２１，３３−２２，３３−２３，３３−３１，３３−３２，３３−３３を使うことができない場合には、図１６に示すように乗算器３３−１１，３３−１２，３３−１３，３３−２１，３３−２２，３３−２３，３３−３１，３３−３２，３３−３３の代わりに、画像信号と補正係数を入力し、これらの値に対応する乗算結果を出力するＲＯＭ、即ちルックアップテーブル（ＬＵＴ）４９−１，４９−２，…，４９−ｎ（ｎ＝ライン数）を設置するようにしても良い。
【００５３】
次に、本実施形態の撮像素子の欠陥画素補正処理装置１０の動作を説明する。まず、ＴＶカメラ１０５に使用されているＣＣＤの欠陥画素を検出するため、スイッチ１１を端子Ｂ側に切り換えた後、被検体の無い状態でＴＶカメラ１０５により撮像して画像信号を得る。このＴＶカメラ１０５により得られた画像信号はＡ／Ｄ変換器１０７によりディジタル信号に変換され、スイッチ１１を介して欠陥画素検出部１３に供給される。
【００５４】
ディジタル信号に変換された画像信号が供給されると欠陥画素検出部１３では、フレーム加算処理器２３により任意の数フレームの画像信号が加算されてノイズ成分が除去され、ＬＰＦ処理器２５により空間的に低周波成分のみにされる。そして、フレーム加算器２３によりノイズ成分の除去された画像信号とＬＰＦ処理器２５により空間的に低周波成分のみにされた画像信号との差分が減算器２７により求められて欠陥画素が抽出される。
【００５５】
そして、抽出された欠陥画素を「１」それ以外の正常画素を「０」とした正常・欠陥ラベル像が欠陥画素の分離器２９により作成され、さらに、この正常・欠陥ラベル像を基に欠陥画素がＲＯＩ（例えば３×３の画素群）毎に種類分けされ、その種類に対応させたラベリングが欠陥画素の検出器３１により行われる。そしてこのラベリングによりえら得たラベリング像は一端補正データＲＯＭ１５に記憶される。以降、この補正データＲＯＭ１５に記憶されているラベリング像を基に欠陥画素の補正処理が欠陥画素補正処理部２１により行われる。尚、この欠陥画素の検出動作は撮像素子の欠陥画素補正処理装置１０を製造する際にまず行われ、以降、ＣＣＤの経年変化による劣化のため、新たに発生した欠陥画素を補間する目的で補正データＲＯＭ１５を書き換える場合等に行われる。
【００５６】
この状態で、スイッチ１１を図示しない制御手段により端子Ａ側に切り換えさせて通常のＸ線撮影またはＸ線透視を行う。
通常のＸ線撮影またはＸ線透視が行われると、補正データＲＯＭ１５により記憶されているラベリング像が補正係数発生部１７に供給され、このラベリング像に対応する補正係数が補正係数発生部１７から欠陥画素補正処理部２１に対して出力される。
【００５７】
欠陥画素補正処理部２１では補正係数発生部１７から出力される補正係数とそれに対応する画像信号を乗算し、その結果をＲＯＩ内の画素数分加算したものを欠陥画素の値とする。この動作をラベリング像に対応する欠陥画素を有するＲＯＩ全てについて行い、欠陥画素の画像信号を補間する。
【００５８】
この補間された画像信号はＤ／Ａ変換器１１１によりアナログ信号に変換されて正常画素の画像信号と共にモニタ１１３に表示される。また、しきい値処理等の画像処理を行う場合は画像処理装置１１５に前記補間された画像信号が供給される。
【００５９】
このように、本実施形態の撮像素子の欠陥画素補正処理装置１０は、ＣＣＤの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成し、そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号を用いて欠陥画素の画像信号を補間するようにしているので、欠陥画素の画像信号を適切に補正することができる。
【００６０】
また、本実施形態の撮像素子の欠陥画素補正処理装置１０は、欠陥画素と隣接する正常画素のみで補間するので、他の欠陥画素の影響および遠方の画素の影響を小さくすることができ、補間跡が目立たなくなる。
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０は、検出された欠陥画素から正常・欠陥ラベル像を作成し、これを基に欠陥画素を分類してラベリングするようにしているので、ラベリングが効果的に行える。
【００６１】
尚、本実施形態の撮像素子の欠陥画素補正処理装置１０では、フレーム加算処理器２３と、ＬＰＦ処理器２５と、減算器２７と、正常／欠陥画素の分離器２９と、欠陥画素の分類器３１とから欠陥画素検出部１３が構成されているが、回路規模が制限されている場合等は、欠陥画素検出部１３と同等の機能を有するソフトウェアまたはハードウェアを用いるようにしても良い。この場合、図１に示す撮像素子の欠陥画素補正処理装置１０から図１７に示すように欠陥画素検出部１３を除いた構成とし、前記ソフトウェアまたはハードウェアから直接ラベリング像を補正データＲＯＭ１５に記憶させるようにする。
【００６２】
また、本実施形態の撮像素子の欠陥画素補正処理装置１０では、ＴＶカメラ１０５に使用されているＣＣＤの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、他の撮像素子、例えばＭＯＳ型撮像素子の欠陥画素を補間する場合にも適用することができる。
【００６３】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０では、３×３の画素群のＲＯＩを用いて補間処理等を行っているが、本発明はこれに限定されることなく、他の画素群のＲＯＩを用いても良い。
【００６４】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０では、Ｘ線診断装置１００に搭載されるＴＶカメラ１０５のＣＣＤの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、内視鏡装置に使用され撮像素子の欠陥画素を補間する場合等、いずれの装置に使用される撮像素子についても適用することができる。
【００６５】
【発明の効果】
以上説明したように本発明によれば、欠陥画素を検出した結果に基づき欠陥画素の分類を行い、この分類結果に応じて欠陥画素に隣接した画素の画素信号を用いて欠陥画素の画素信号を補間するようにしているので、欠陥画素の画素信号を適切に補正することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
【図２】図１に示した撮像素子の欠陥画素補正処理装置の欠陥画素検出部を示したブロック図である。
【図３】正常／欠陥画素の分離器により抽出された欠陥画素と正常／欠陥ラベル像を示した図である。
【図４】所定のＲＯＩ（３×３画素）内での欠陥画素の分類例を示した図である。
【図５】ラベリングを説明する際に用いるＲＯＩ（３×３画素）内の画素の名称を示した図である。
【図６】所定のＲＯＩ（３×３画素）内での欠陥画素を１０のｔｙｐｅに分けた分類例を示した図である。
【図７】図６に示した欠陥画素のｔｙｐｅ別にラベリングした場合の例を示した図である。
【図８】図６に示した欠陥画素のｔｙｐｅ別に補正係数（単純平均）を示した図である。
【図９】図６に示した欠陥画素のｔｙｐｅ別に補正係数（距離の逆比）を示した図である。
【図１０】図１に示した撮像素子の欠陥画素補正処理装置のバッファメモリを示したブロック図である。
【図１１】バッファメモリの３ライン同時に出力する場合の動作タイミング示したタイミングチャートである。
【図１２】図１に示した撮像素子の欠陥画素補正処理装置の欠陥画素補正処理部を示したブロック図である。
【図１３】３×３のＲＯＩ内の画素を使って欠陥画素の補正処理を行う場合、欠陥画素補正処理部を示したブロック図である。
【図１４】３×３のＲＯＩ内の画素を使って欠陥画素の補正処理を行う場合の欠陥画素補正処理部の動作タイミングを示すブロック図である。
【図１５】図１４に示す動作タイミングを説明するために用いる画素の名称を示す図である。
【図１６】欠陥画素補正処理部の他の構成を示す図である。
【図１７】欠陥画素検出部をハードウェアもしくはソフトウェアに置き換えた場合の本発明に係る撮像素子の欠陥画素補正処理装置を示したブロック図である。
【図１８】ＴＶカメラと欠陥画素補正処理装置を搭載したＸ線診断装置の概略の構成を示すブロック図である。
【図１９】隣接画素置換法による置換前後の画像信号値を示す図である。
【図２０】メディアン処理による置換前後の画像信号値を示す図である。
【図２１】共１次内挿法による補間前の画像信号値を示す図と、共１次内挿法で用いる画素を示す図と、共１次内挿法による補間後の画像信号値を示す図である。
【図２２】ＳＩＮＣ関数による高次元補間処理に用いる画素を示す図である。
【符号の説明】
１０撮像素子の欠陥画素補正処理装置
１１スイッチ
１３欠陥画素検出部
１５補正データＲＯＭ
１７補正係数発生部
１９バッファメモリ
２１欠陥画素補正処理部
２３フレーム加算処理器
２５ＬＰＦ処理器
２７減算器
２９正常／欠陥画素の分離器
３１欠陥画素の分類器
３３−１１，３３−１２，３３−１３，３３−２１，３３−２２，３３−２３，３３−３１，３３−３２，３３−３３３３減算器
３５水平・垂直加算処理部
３７−１，３７−２３７−３，４５ラッチ
３９−１，４１−１，３９−２，４１−２，３９−３，４１−３，４３，４７加算器
ＬＭラインメモリ
ＭＰマルチプレクサ
Ｐ被検体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an X-ray diagnostic apparatus, a defective pixel correction processing apparatus for an image sensor that corrects a defective pixel of an image sensor mounted on an endoscope apparatus, and an X-ray diagnostic apparatus including the defective pixel correction processing apparatus. is there.
[0002]
[Prior art]
2. Description of the Related Art In recent years, X-ray diagnostic apparatuses, endoscope apparatuses, and the like are equipped with a TV camera using an image sensor, and an image of a subject is captured by the TV camera. As the number of defective pixels in an image pickup device used in this TV camera, for example, a CCD, becomes higher as the number of defective pixels becomes smaller, it is necessary to use an element including a certain number of defective pixels. For this reason, a defective pixel correction processing device that corrects a defective pixel is used.
[0003]
FIG. 18 shows an X-ray diagnostic apparatus equipped with such a TV camera and a defective pixel correction processing device.
As shown in FIG. 18, an X-ray diagnostic apparatus 100 equipped with a TV camera includes an X-ray beam source 101 that irradiates X-rays to a subject P, and an X-ray that has passed through the subject P into an optical image. An image intensifier 103 to be converted, a TV camera 105 that captures an optical image converted by the image intensifier 103 to obtain an image signal (pixel value) for each pixel, and an image signal obtained by the TV camera 105 An A / D converter 107 for converting to a digital signal; a defective pixel correction processor 109 for correcting an image signal of a defective pixel among the image signals obtained; an image signal corrected by the defective pixel correction processor 109; A D / A converter 111 for converting an image signal of a pixel into an analog signal, and a monitor 1 for displaying the image signal converted to an analog signal by the D / A converter 111 And 3, and an image processing apparatus 115 for performing image processing of threshold processing and the like by using the image signal value of the defective pixel is corrected by the defective pixel correction processing unit 109.
[0004]
Here, since the characteristics of defective pixels generated in the CCD used in the TV camera 105 are various, the defective pixel correction processing device 109 performs correction by a correction processing method according to the characteristics. A representative example of this defective pixel correction processing method will be described below.
[0005]
A white defective pixel (white spot defect, white line defect, white spot defect group, etc.) that appears to appear slightly whitish than the surrounding pixels on the image is a defect caused by dark current generated in the CCD. This occurs because the image signal is slightly larger than the surrounding pixels by the level of the dark current generated in the defective pixel. This dark current is characterized by being constant without depending on the amount of incident light. For this reason, an attempt has been made to measure in advance a dark current when a predetermined amount of incident light is emitted, specifically, when an image is captured with no light incident on the camera, and to subtract the value in real time from the captured X-ray image signal. And good results have been obtained.
[0006]
When the dark current is extremely large and the pixel is saturated with white (when the charge of the pixel is saturated), the information of the pixel is completely lost. No effect can be expected, and a pixel replacement method or an interpolation processing method using pixels around the defective pixel is performed.
[0007]
Furthermore, black defective pixels (black dot defects, black dot defect group) that look extremely black compared to the surrounding pixels are defects that are generated due to dust adhering to a chip in a CCD manufacturing process and blocking incident light. It is. Since this defective pixel is a pixel that does not contain information on the pixel, as in the case of the saturated white defective pixel, a pixel replacement method or an interpolation processing method using the peripheral pixels of the defective pixel has been attempted. .
[0008]
As the pixel replacement method, an adjacent pixel replacement method in which a normal pixel adjacent to a defective pixel is replaced with a defective pixel and a median filter processing method in which a normal pixel adjacent to the defective pixel is replaced with an intermediate value of a nearby image signal have been attempted.
[0009]
As an interpolation processing method for interpolating a defective pixel from neighboring pixels, a bilinear interpolation method, a higher-order interpolation processing (spline interpolation, Lagrange interpolation, SINC function), and the like are performed.
[0010]
[Problems to be solved by the invention]
However, the above-described correction processing method is effective for an area having a smooth pixel distribution (light contrast), but is effective for an area where an image signal greatly changes (an extremely strong contrast area). Traces may be clearly seen. For example, in an upper gastrointestinal tract examination, a correction mark is clearly visible at a boundary between an image formed by barium and a background image in a subject, a fold of a stomach, and the like. The reason why the correction cannot be performed well can be explained as follows.
[0011]
In the adjacent pixel replacement method, as shown in FIG. 19A, when the contrast rapidly changes between the first pixel column and the second pixel column, when the defective pixel exists in the second pixel column, When this is interpolated with pixels in a bright region (pixels in the first column), the image signal of the defective pixel is originally expected to be 10, but the image signal after replacement becomes 100 as shown in FIG. Correction marks can be clearly seen.
[0012]
In the median processing, when there are a plurality of defective pixels in a region of interest (ROI) to be used, the probability that the selected median value is a defective pixel increases, and a phenomenon that the defective pixel is replaced with the defective pixel may occur. is there. For example, in the example shown in FIG. 20, when the pixel of the image signal 90 is a defective pixel, if median processing is performed on the image signal of the row, an image signal of an intermediate value among the

image signals

100, 90, and 50, that is, The image signal having the second largest value is the median value. In this case, the median value becomes the image signal value 90 of the defective pixel, and the image signal of the defective pixel becomes the image signal of that pixel as it is, which is the same as when no processing is performed.
[0013]
In the bilinear interpolation method, defective pixels in an area corresponding to a subject extending in the horizontal or vertical direction are interpolated with defective pixels using pixels that do not include any information on the subject. Interpolation. For example, in the example shown in FIG. 21A, when the subject is an elongated object extending in the vertical direction, and when the pixel of the image signal value 5 in the area corresponding to the subject is a defective pixel, the bilinear interpolation method is used. Since the interpolation is performed using the image signal of the pixel indicated by a white circle in FIG. 21B, the image signal of the defective pixel is interpolated to a value 100 irrelevant to the information of the subject as shown in FIG.
[0014]
Regarding other methods, the effect is not remarkably exhibited as compared with the above-mentioned interpolation processing method, although the algorithm is complicated and the scale of the processing circuit becomes large. Among them, in the high-dimensional interpolation processing method using the SINC function, the interpolation processing is performed in consideration of the pixels distant from the defective pixel. Therefore, when there is a completely different image signal at a position distant from the defective pixel, the information is used as the interpolation result. And results in improper interpolation. For example, in the example shown in FIG. 22, if the pixel indicated by the mark x is a defective pixel, interpolation is performed using the image signal of the pixel indicated by the white circle. However, the pixel area used for interpolation is large, and there is a possibility that two or more subjects are included in the area. The image signal of the defective pixel is interpolated with the image signal of the subject different from the subject indicated by the cross mark. there's a possibility that.
[0015]
The present invention has been made in view of the above problems, and has an X-ray diagnostic apparatus, an image sensor defective pixel correction processing apparatus that corrects a defective pixel of an image sensor mounted on an endoscope device, and the defective pixel correction processing. An object of the present invention is to provide an X-ray diagnostic apparatus including the apparatus.
[0016]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, according to the invention described in claim 1,An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with labeling by the defective pixel classification means;A solution to the problem is a defective pixel correction processing device for an image sensor, characterized by having the following.
[0017]
According to the second aspect of the present invention,An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal ofA solution to the problem is a defective pixel correction processing device for an image sensor, characterized by having the following.
[0018]
According to the third aspect of the present invention,An X-ray source that emits X-rays to the subject;
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
Defective pixel correction processing means for corresponding to the labeling by the defective pixel classification means and interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel;
Display means for displaying an image signal corrected by the defective pixel correction processing means.Is the solution.
[0019]
According to the invention described in claim 4, an X-ray source that irradiates the subject with X-rays,
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal of
A display means for displaying an image signal corrected by the defective pixel correction processing means is provided as an X-ray diagnostic apparatus.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The defect pixel correction processing device of the image sensor of the present embodiment is provided in an X-ray diagnostic apparatus 100 as shown in FIG. The image signal of the defective pixel is interpolated among the image signals obtained by capturing the image with the TV camera 105.
[0021]
In particular, in the present embodiment, a defective pixel of a CCD used in the TV camera 105 is detected, and a normal / defective label image divided into a defective pixel and a normal pixel is created based on the detection result. Based on the label image, a labeling image in which defective pixels are classified according to the pattern is created. Then, based on this labeling image, the image signal of the defective pixel is interpolated using the image signal (pixel value) of the pixel adjacent to the defective pixel except for the defective pixel.
[0022]
FIG. 1 is a block diagram showing one embodiment of a defective pixel correction processing device for an image sensor according to the present invention.
As shown in FIG. 1, a defective pixel correction processing device 10 for an image sensor according to the present embodiment includes a switch 11, a defective pixel detection unit 13 as a defective pixel detection unit and a defective pixel classification unit, a correction data ROM 15, It has a coefficient generation unit 17, a buffer memory 19, and a defective pixel correction processing unit 21 as defective pixel correction processing means.
[0023]
The switch 11 switches the supply destination of the image signal converted into the digital signal by the A / D converter 107 shown in FIG. 18 to the defective pixel detection unit 13 (terminal B) or the buffer memory 19 (terminal A). This switching is performed by control means (not shown).
[0024]
As shown in FIG. 2, the defective pixel detection unit 13 includes a frame addition processor 23, a low-pass filter processor (LPF processor) 25, a subtractor 27, a normal / defective pixel separator 29, a defective pixel And classifies the defective pixels by detecting the defective pixels.
[0025]
The frame addition processor 23 removes noise components in the image signal by adding image signals of an arbitrary number of frames supplied from the A / D converter 107 via the switch 11.
[0026]
The LPF processor 25 removes a spatial high-frequency component in the image signal from which the noise component has been removed by the frame adder 23, that is, a steep change caused by a defective pixel by performing a low-pass filter process to spatially remove the high-frequency component. Ingredients only.
[0027]
The subtracter 27 obtains a difference between the image signal from which the noise component has been removed by the frame adder 23 and the image signal in which only the low-frequency component has been spatially reduced by the LPF processor 25, and extracts only defective pixels.
[0028]
The normal / defective pixel separator 29 creates a normal / defective label image in which the defective pixel extracted by the subtracter 27 is “1” and the other normal pixels are “0”. For example, if the subtractor 27 extracts a pixel indicated by an X mark shown in FIG. 3A as a defective pixel, the normal / defective pixel separator 29 sets the defective pixel indicated by the X mark to “1” and sets the other pixels to “1”. A normal / defective label image as shown in FIG.
[0029]
The defective pixel classifier 31 further classifies the defective pixels based on the normal / defective label image created by the normal / defective pixel separator 29, and performs further labeling according to the type.
[0030]
As a method of this labeling, a pixel adjacent to a defective pixel is checked for a predetermined ROI, for example, for each 3 × 3 pixel group as shown in FIG. 4, and the number of “1” is determined as shown in FIG. If the number is “0”, an isolated point defect is present. If the number of “1” is one as shown in FIG. 4B, two consecutive point defects are present. As shown in FIG. 4 (c), the number of “1” is two. If the number of “1” is three or more, as shown in FIG. 4D, it is classified as a point defect group, and labeling is performed in correspondence with these types. It is.
[0031]
As a specific method, assuming that the names of the pixels adjacent to the defective pixel of the ROI are I11, I12, I13, I21, I23, I31, I32, and 133 in order from the first row and the first column as shown in FIG. The total value SUM (= I11 + I12 + I13 + I21 + I23 + I31 + I32 + 133) of the adjacent pixels is obtained. When SUM = 0, an isolated point defect, when SUM = 1, two continuous point defects, when SUM = 2, a line defect or point defect group, and SUM ≧ 3 Is classified as a point defect group.
[0032]
Further, in the case of a two-point defect (SUM = 2), it can be classified into eight types as shown in FIGS. 6 (a) to 6 (h). According to this classification method, the total of adjacent pixels excluding a specific pixel is checked and classified as follows.
[0033]
(Equation 1)

Most of the cases where SUM ≧ 2 are line defects shown in FIGS. 6 (i) and 6 (j) (transfer defects occurring when charges are transferred in the horizontal or vertical direction in the CCD). A defect pattern has a very low probability of occurrence as compared with other defect patterns, and it is useless to provide a circuit for correcting this. In other words, it can be considered that a CCD having a point defect group cannot be used as a CCD for the TV camera 105 because it is a low quality product.
[0034]
In the method of classifying line defects, as in the case of a two-point defect, the sum of adjacent pixels excluding a specific pixel is checked and classified as follows.
[0035]
(Equation 2)

Further, in the above-described classification method, classification is performed based on the sum of the labels of the pixels adjacent to the defective pixel using the normal / defective label image. However, the adjacent pixels are examined in the order of I11, I12, I13,. A counting method is also possible.
[0036]
Then, labeling is performed on the defective pixels classified as described above, and a labeling image of the defective pixels is created by combining them. For example, as shown in FIG. 7 (a), the number of isolated point defects is 2, as shown in FIG. 7 (b), type 1 of two continuous point defects is 3, and as shown in FIG. 4, the type 3 of the two continuous point defects is 5 as shown in FIG. 7D, the type 4 of the two continuous point defects is 6 as shown in FIG. 7E, and the two continuous points as shown in FIG. The type 5 of the defect is 7, the type 6 of the two continuous point defects is 8 as shown in FIG. 7 (g), the type 7 of the two continuous point defects is 9 as shown in FIG. 7 (h), and as shown in FIG. 7 (i). The type 8 of the two continuous point defects is 10, the type 9 of the line defect is 11 as shown in FIG. 7 (j), the type 10 of the line defect is 12 as shown in FIG. 7 (k), and as shown in FIG. The number of point defect groups is 13.
[0037]
The correction data ROM 15 stores the labeling image created by the defective pixel classifier 31. Further, the correction data ROM 15 outputs the stored labeling image to the correction coefficient generator 17 when interpolating a defective pixel in normal X-ray photography or X-ray fluoroscopy.
[0038]
The correction coefficient generation unit 17 generates a weight as a correction coefficient when the defective pixel is interpolated by the defective pixel correction processing unit 21 in accordance with the labeling image output from the correction data ROM 15. Here, as the simplest method, the same weight is assigned to all pixels used for interpolation, that is, defective pixels are interpolated by the average value of adjacent normal pixels.
[0039]
For example, in the case of an isolated point defect as shown in FIG. 8A, the weight is set to 0.125 for all adjacent normal pixels, and in the case of two continuous point defects as shown in FIGS. The weight is set to 0.142857 for all normal pixels to be processed, and is set to 0.166667 for all adjacent normal pixels in the case of a line defect as shown in FIGS. 8 (j) and 8 (k).
[0040]
Further, the weight value is inversely proportional (inverse ratio) to the distance, based on the idea that the distance between the defective pixel and the adjacent pixels at the upper, lower, left and right sides and the distance to the pixels at the four diagonal corners are smaller and closer to the characteristics of the defective pixel. It may be large. In this case, for example, as shown in FIG. 9A, in the case of an isolated point defect, the upper, lower, left, and right neighboring pixels are set to 0.103553, and the diagonally adjacent pixels are set to 0.146445, and FIGS. 9B and 9D. , (F), and (h), in the case of

type

1, 3, 5, 7, of two consecutive point defects, the upper, lower, left, and right neighboring pixels have a weight of 0.163363, and the obliquely neighboring pixels have a weight of 0.115515; As shown in FIGS. 9 (c), (e), (g), and (i), in the case of

type

2, 2, 6, 6, and 8 of two consecutive point defects, the upper, lower, left, and right adjacent pixels have a weight of 0.171573, The adjacent pixels have a weight of 0.12132, and in the case of a line defect, as shown in FIGS. 9J and 9K, the upper, lower, left, and right adjacent pixels have a weight of 0.207107, and the obliquely adjacent pixels have a weight of 0.144647. . 8 and 9, the pixels in the thick frames represent defective pixels, and the pixels marked with * are the pixels to be interpolated. The interpolation coefficient of the defective pixel not to be interpolated is set to 0.
[0041]
The buffer memory 19 is used for the purpose of adjusting timing in the vertical direction, has a capacity capable of storing two or more lines of image signals, and has a structure capable of simultaneously outputting image signals of a plurality of lines. For example, when three lines are output simultaneously, as shown in FIG. 10, it is composed of four line memories LM1 to LM4 for writing image signals for each line and a multiplexer MP for simultaneously reading three lines.
[0042]
Here, an operation example when three lines are output simultaneously will be described with reference to a timing chart of FIG. Line image signals of

line numbers

1, 2, and 3 are written in the order of line memories LM1, LM2, and LM3 (timing charts W1, W2, and W3). Next, at the same time when the line image signal of line number 4 is written into the line memory LM4 (timing chart W4), the line image signals of

line numbers

1, 2, and 3 are simultaneously output from the line memories LM1, LM2, and LM3 (timing chart). R1, R2, R3). Next, at the same time when the line image signal of the line number 5 is written to the line memory LM1 (timing chart W5), the line image signals of the

line numbers

2, 3, and 4 are simultaneously output from the line memories LM2, LM3, and LM4 (timing). Charts R2, R3, R4). Thereafter, the same operation is performed.
[0043]
The defective pixel correction processor 21 multiplies the line image signal output from the buffer memory 19 by the correction coefficient generated by the correction coefficient generator 17 as shown in FIG. , ..., 33-nm, multipliers 33-11, 33-12, ..., 33-nm, multipliers 33-11, 33-12, ..., 33-nm, and multipliers 33-11, 33-nm. ,..., 33-nm are added by a predetermined number of pixels (the number of normal pixels in the ROI) and output as a defective pixel image signal. .
[0044]
For example, when performing the interpolation process of the defective pixel using the pixels in the 3 × 3 ROI, the defective pixel correction processing unit 21 includes nine multipliers 33-11, 33-12, 33-33 as shown in FIG. 13, 33-21, 33-22, 33-23, 33-31, 33-32, 33-33, and three latches 37-1, 37-237-3 for matching the horizontal and vertical timings. And two adders 39-1, 41-1, 39-2, 41-2, 39-3, 41-3 of two lines (total of six) for adding three data for each line. An adder 43 for adding the added data of the first and second lines, and a latch for latching the added data of the third line while the added data of the first and second lines are added by the adder 43 45 and the adder 43 And an adder 47 which further adds the addition data of the third line to the data. The latches 37-1, 37-2, 37-3, the adders 37-1, 39-1, 37-2, 39-2, 37-3, 39-3, the adder 43, and the latch 45 , And the adder 47 constitute the horizontal / vertical addition processing unit 35.
[0045]
Here, an example of the operation of the defective pixel correction processing unit 21 when performing the interpolation processing of the defective pixel using the pixels in the 3 × 3 ROI will be described with reference to a timing chart shown in FIG. In this case, as shown in FIG. 15, the image signal of the first line (first line) is P11, the image signal of the second line is P12, and so on. Further, the defective pixel correction processing section 21 operates in response to a clock transmitted from control means (not shown).
[0046]
First, the first image signals P11, P21, and P31 of the first ROI are input to the multipliers 33-11, 33-21, and 33-31 of each line at the clock C1.
Next, at the clock C2, the second image signals P12, P22, and P32 of the first ROI are input to the multipliers 33-12, 33-22, and 33-32 of each line. At this time, the first image signal of the first ROI is input to the multipliers 33-11, 33-21, and 33-31.
[0047]
Next, the third image signal P13, P23, P33 of the first ROI is input to the multipliers 33-13, 33-23, 33-33 of each line in the lock C3. At this time, the first image signal of the first ROI is input to multipliers 33-11, 33-21, and 33-31, and the first ROI of the first ROI is input to multipliers 33-12, 33-22, and 33-32. The second image signal is input.
[0048]
Next, at the clock C4, the first correction coefficient is input from the correction coefficient generation unit 17 for each line, and the multipliers 33-11, 33-21, and 33-31 supply the first image signals P14 and P24 of the next ROI. , P34 are input. At this time, the second image signal of the first ROI is input to multipliers 33-12, 33-22, and 33-32, and the first ROI of the first ROI is input to multipliers 33-13, 33-23, and 33-33. The third image signal is input.
[0049]
Next, at the clock C5, the second correction coefficient is input from the correction coefficient generation unit 17 for each line, and the multipliers 33-12, 33-22, and 33-32 supply the second image signals P15 and P25 of the next ROI. , P35 are input. At this time, the first image signal of the next ROI is input to the multipliers 33-11, 33-21, and 33-31, and the first image signal of the first ROI is input to the multipliers 33-13, 33-23, and 33-33. The third image signal is input.
[0050]
Next, at the clock C6, the third correction coefficient is input from the correction coefficient generation unit 17 for each line, and the multipliers 33-13, 33-23, and 33-33 supply the third image signals P16 and P26 of the next ROI. , P36 are input. At this time, the first image signal of the next ROI is input to the multipliers 33-11, 33-21, and 33-31, and is input to the multipliers 33-12, 33-22, and 33-32. The second image signal is input.
[0051]
Then, the result D1 of the first horizontal / vertical addition processing of the ROI is output at the clock C7. Thereafter, the same operation is performed.
[0052]
Note that the multipliers 33-11, 33-12, 33-13, 33-21, 33-22, 33-23, and 33 are used because the circuit scale of the defective pixel correction processing device 10 of the image sensor is limited. In the case where 33-31, 33-32 and 33-33 cannot be used, multipliers 33-11, 33-12, 33-13, 33-21, 33-22 and 33-33 are used as shown in FIG. 23, 33-31, 33-32, 33-33, an image signal and a correction coefficient are inputted, and a ROM for outputting a multiplication result corresponding to these values, that is, a look-up table (LUT) 49-1, , 49-n (n = number of lines) may be provided.
[0053]
Next, the operation of the image sensor defective pixel correction processing apparatus 10 of the present embodiment will be described. First, in order to detect a defective pixel of the CCD used in the TV camera 105, the switch 11 is switched to the terminal B side, and an image signal is obtained by taking an image with the TV camera 105 in a state where there is no subject. The image signal obtained by the TV camera 105 is converted into a digital signal by the A / D converter 107 and supplied to the defective pixel detection unit 13 via the switch 11.
[0054]
When the image signal converted into the digital signal is supplied, in the defective pixel detection unit 13, an image signal of an arbitrary number of frames is added by the frame addition processor 23 to remove noise components, and the LPF processor 25 spatially removes noise components. Only low frequency components. Then, the difference between the image signal from which the noise component has been removed by the frame adder 23 and the image signal which has been spatially reduced to only the low-frequency component by the LPF processor 25 is obtained by the subtractor 27, and defective pixels are extracted. .
[0055]
Then, a normal / defective label image in which the extracted defective pixel is “1” and the other normal pixels are “0” is created by the defective pixel separator 29, and further based on this normal / defective label image, Pixels are classified by ROI (for example, a 3 × 3 pixel group), and labeling corresponding to the type is performed by the defective pixel detector 31. The labeling image obtained by this labeling is temporarily stored in the correction data ROM 15. Thereafter, based on the labeling image stored in the correction data ROM 15, the defective pixel correction processing is performed by the defective pixel correction processing unit 21. Note that this defective pixel detection operation is first performed when the defective pixel correction processing device 10 for the image pickup device is manufactured, and thereafter, due to deterioration due to aging of the CCD, correction is performed for the purpose of interpolating a newly generated defective pixel. This is performed when the data ROM 15 is rewritten.
[0056]
In this state, the switch 11 is switched to the terminal A by control means (not shown) to perform normal X-ray photography or X-ray fluoroscopy.
When normal X-ray imaging or X-ray fluoroscopy is performed, the labeling image stored in the correction data ROM 15 is supplied to the correction coefficient generation unit 17, and the correction coefficient corresponding to the labeling image is output from the correction coefficient generation unit 17 Output to the pixel correction processing unit 21.
[0057]
The defective pixel correction processor 21 multiplies the correction coefficient output from the correction coefficient generator 17 by the corresponding image signal, and adds the result to the number of pixels in the ROI to obtain the value of the defective pixel. This operation is performed for all ROIs having defective pixels corresponding to the labeling image, and the image signals of the defective pixels are interpolated.
[0058]
The interpolated image signal is converted into an analog signal by the D / A converter 111 and displayed on the monitor 113 together with the image signal of the normal pixel. When performing image processing such as threshold processing, the interpolated image signal is supplied to the image processing device 115.
[0059]
As described above, the defective pixel correction processing device 10 of the image sensor of the present embodiment detects a defective pixel of the CCD, and creates a normal / defective label image divided into a defective pixel and a normal pixel based on the detection result. Then, based on the normal / defective label image, create a labeling image in which defective pixels are classified according to the pattern, and, based on the labeling image, remove the defective pixel and use the image signal of a pixel adjacent to the defective pixel. Since the image signal of the defective pixel is interpolated, the image signal of the defective pixel can be appropriately corrected.
[0060]
In addition, since the defective pixel correction processing device 10 of the image sensor according to the present embodiment performs interpolation using only normal pixels adjacent to the defective pixel, it is possible to reduce the influence of other defective pixels and the influence of distant pixels. Traces are less noticeable.
Furthermore, the defective pixel correction processing device 10 of the image sensor according to the present embodiment creates a normal / defective label image from the detected defective pixel, and classifies and labels the defective pixel based on the image. Labeling can be performed effectively.
[0061]
In the image sensor defective pixel correction processing apparatus 10 according to the present embodiment, the frame addition processor 23, the LPF processor 25, the subtracter 27, the normal / defective pixel separator 29, and the defective pixel classifier 31 constitutes the defective pixel detection unit 13. However, when the circuit scale is limited, software or hardware having the same function as that of the defective pixel detection unit 13 may be used. In this case, the defective pixel correction processing device 10 for the image sensor shown in FIG. 1 is configured to exclude the defective pixel detection unit 13 as shown in FIG. 17, and the labeling image is directly stored in the correction data ROM 15 from the software or hardware. To do.
[0062]
Further, in the defective pixel correction processing device 10 of the image sensor according to the present embodiment, the case where the defective pixel of the CCD used in the TV camera 105 is interpolated has been described as an example, but the present invention is not limited to this. Alternatively, the present invention can be applied to a case where a defective pixel of another image sensor, for example, a MOS image sensor is interpolated.
[0063]
Furthermore, in the defective pixel correction processing apparatus 10 of the image sensor of the present embodiment, interpolation processing and the like are performed using the ROI of a 3 × 3 pixel group, but the present invention is not limited to this, and other The ROI of the pixel group may be used.
[0064]
Further, in the defective pixel correction processing device 10 of the image sensor according to the present embodiment, an example has been described in which the defective pixel of the CCD of the TV camera 105 mounted on the X-ray diagnostic device 100 is interpolated. However, the present invention is not limited to this, and can be applied to an image sensor used in any device, such as when interpolating a defective pixel of the image sensor used in an endoscope apparatus.
[0065]
【The invention's effect】
As described above, according to the present invention, the result of detecting a defective pixelBased onDefective pixels are classified and the classification resultAccordingly adjacent to the defective pixelSince the pixel signal of the defective pixel is interpolated using the pixel signal of the pixel, the pixel signal of the defective pixel can be appropriately corrected.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a defective pixel correction processing device for an image sensor according to the present invention.
FIG. 2 is a block diagram illustrating a defective pixel detection unit of the defective pixel correction processing device of the image sensor illustrated in FIG. 1;
FIG. 3 is a diagram showing a defective pixel extracted by a normal / defective pixel separator and a normal / defective label image.
FIG. 4 is a diagram showing a classification example of defective pixels within a predetermined ROI (3 × 3 pixels).
FIG. 5 is a diagram showing names of pixels in an ROI (3 × 3 pixels) used for describing labeling.
FIG. 6 is a diagram illustrating a classification example in which defective pixels within a predetermined ROI (3 × 3 pixels) are divided into 10 types.
FIG. 7 is a diagram illustrating an example of a case where labeling is performed for each type of defective pixel illustrated in FIG. 6;
FIG. 8 is a diagram showing correction coefficients (simple averages) for each type of defective pixel shown in FIG. 6;
9 is a diagram showing correction coefficients (reverse ratios of distances) for each type of defective pixel shown in FIG. 6;
FIG. 10 is a block diagram showing a buffer memory of the defective pixel correction processing device of the image sensor shown in FIG. 1;
FIG. 11 is a timing chart showing operation timing when three lines of the buffer memory are simultaneously output.
12 is a block diagram illustrating a defective pixel correction processing unit of the defective pixel correction processing device of the image sensor illustrated in FIG. 1;
FIG. 13 is a block diagram illustrating a defective pixel correction processing unit when performing correction processing of a defective pixel using a pixel in a 3 × 3 ROI.
FIG. 14 is a block diagram illustrating operation timings of a defective pixel correction processing unit when performing correction processing of a defective pixel using pixels in a 3 × 3 ROI.
FIG. 15 is a diagram showing names of pixels used to explain the operation timing shown in FIG. 14;
FIG. 16 is a diagram illustrating another configuration of the defective pixel correction processing unit.
FIG. 17 is a block diagram showing a defective pixel correction processing device for an image sensor according to the present invention when a defective pixel detection unit is replaced with hardware or software.
FIG. 18 is a block diagram illustrating a schematic configuration of an X-ray diagnostic apparatus equipped with a TV camera and a defective pixel correction processing device.
FIG. 19 is a diagram showing image signal values before and after replacement by an adjacent pixel replacement method.
FIG. 20 is a diagram showing image signal values before and after replacement by median processing.
FIG. 21 is a diagram illustrating an image signal value before interpolation by the bilinear interpolation method, a diagram illustrating pixels used in the bilinear interpolation method, and an image signal value after interpolation by the bilinear interpolation method. FIG.
FIG. 22 is a diagram illustrating pixels used for high-dimensional interpolation processing using a SINC function.
[Explanation of symbols]
10. Image processing device for defective pixel correction
11 switch
13 Defective pixel detector
15 Correction data ROM
17 Correction coefficient generator
19 Buffer memory
21 Defective pixel correction processing unit
23 frame addition processor
25 LPF processor
27 Subtractor
29 Normal / Defective pixel separator
31 Defective Pixel Classifier
33-11, 33-12, 33-13, 33-21, 33-22, 33-23, 33-31, 33-32, 33-33 33 Subtractor
35 Horizontal / vertical addition processing unit
37-1, 37-237-3, 45 Latch
39-1, 41-1, 39-2, 41-2, 39-3, 41-3, 43, 47 Adder
LM line memory
MP multiplexer
P subject

Claims

An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other ;
Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with the labeling by the defective pixel classification means. Pixel correction processing device.

An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. And a defective pixel correction processing means for interpolating the image signal .

An X-ray source that emits X-rays to the subject;
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with labeling by the defective pixel classification means,
An X-ray diagnostic apparatus comprising: display means for displaying an image signal corrected by the defective pixel correction processing means.

An X-ray source that emits X-rays to the subject;
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other ;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal of
An X-ray diagnostic apparatus comprising: display means for displaying an image signal corrected by the defective pixel correction processing means.