WO2019208339A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

本発明にかかる画像処理装置は、複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理装置であって、複数の画素のうち欠陥が生じている欠陥画素を検出する検出部と、記憶部に記憶されている欠陥画素の画素値のレベルを算出するレベル算出部と、レベル算出部が算出した画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、露光時間、ゲイン値、および周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定部と、判定部が補正対象にすると判定した欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正部と、を備える。

Description

画像処理装置、画像処理方法および画像処理プログラム

　本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

　従来、被写体像は、受光した光を光電変換する複数の画素がマトリックス状に配列された固体撮像素子を用いて撮像される。この固体撮像素子においては、自然界に存在する放射線や、成膜中の異物等によって白傷と呼ばれる画素欠陥が発生することがある。このような欠陥が生じている画素（以下、欠陥画素という）に対し、欠陥画素を検出して、その画素値を補正する技術が提案されている（例えば、特許文献１参照）。

　特許文献１では、注目画素と周辺画素との情報を用いて欠陥画素候補を検出し、検出結果に対してフレームごとに評価値を算出し、この評価値から欠陥画素候補を欠陥画素とするか否かを判定することによって欠陥画素を検出している。そして、特許文献１のような従来の欠陥画素の補正処理では、欠陥画素の画素値から白傷のレベル（白傷レベル）を減算して補正している。また、特許文献１では、前のフレームで算出した白傷レベルに、現フレームで算出した白傷レベルを重み付け加算することによって、この白傷レベルが徐々に適切なレベルとなるように制御している。

国際公開第２０１７／２２１３７６号

　ところで、上述した欠陥画素は、製品を出荷する前の検査時に、その画素の位置（座標）が登録される。その後、ユーザが使用する際にも、欠陥画素の検出処理が実行され、欠陥画素の位置情報が更新される。欠陥画素の白傷レベルは温度変化や、露光時間の変化などの撮像条件によって変化する。特許文献１は、温度変化など比較的緩やかなレベルの変化には追従できるものの、シャッタ動作などに起因する急激なレベルの変化には追従できないおそれがあった。特許文献１において、急激なレベルの変化に追従させようとすると、白傷のレベルが適切に検出できず、適切に補正されないおそれがある。特許文献１では、欠陥画素の補正に白傷レベルが用いられるため、白傷レベルが適正でないと、欠陥画素を適切に補正できない。

　本発明は、上記に鑑みてなされたものであって、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理装置であって、前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出部と、前記検出部が検出した前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出部と、前記レベル算出部が算出した前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定部と、前記判定部が前記補正対象にすると判定した前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正部と、を備えることを特徴とする。

　また、本発明にかかる画像処理装置は、上記発明において、前記判定部は、前記明るさと前記露光時間とに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、前記閾値は、前記露光時間が短い場合の閾値が、前記露光時間が長い場合の閾値と比して小さいことを特徴とする。

　また、本発明にかかる画像処理装置は、上記発明において、前記判定部は、前記明るさと前記ゲイン値とに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、前記閾値は、前記ゲイン値が小さい場合の閾値が、前記ゲイン値が大きい場合の閾値と比して小さいことを特徴とする。

　また、本発明にかかる画像処理装置は、上記発明において、前記判定部は、前記明るさと前記ばらつきとに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、前記閾値は、前記ばらつきが小さい場合の閾値が、前記ばらつきが大きい場合の閾値と比して小さいことを特徴とする。

　また、本発明にかかる画像処理装置は、上記発明において、前記検出部は、判定対象の画素の画素値と、当該判定対象の画素の周辺画素の画素値の統計値との差分に基づいて、前記判定対象の画素が前記欠陥画素であるか否かを判定することを特徴とする。

　また、本発明にかかる画像処理装置は、上記発明において、前記レベル算出部は、前記欠陥画素に対応する第１のフレームにおいて算出した第１のレベルと、前記第１のフレームよりも撮像時間が前の第２のフレームにおいて算出した第２のレベルとに基づいて、前記欠陥画素の画素値のレベルを算出することを特徴とする。

　また、本発明にかかる画像処理方法は、複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理方法であって、前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出ステップと、前記検出ステップで検出された前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出ステップと、前記レベル算出ステップで算出された前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定ステップと、前記判定ステップで前記補正対象にすると判定された前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正ステップと、を含むことを特徴とする。

　また、本発明にかかる画像処理プログラムは、複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理装置に、前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出手順と、前記検出手順で検出された前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出手順と、前記レベル算出手順で算出された前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定手順と、前記判定手順で前記補正対象にすると判定された前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正手順と、を実行させることを特徴とする。

　本発明によれば、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる画像処理装置の機能構成を示すブロック図である。 図２は、本発明の一実施の形態にかかる画像処理装置において用いる閾値を説明するための図である。 図３は、本発明の一実施の形態にかかる画像処理装置が行う画像処理を示すフローチャートである。 図４は、本発明の実施の形態の変形例１にかかる画像処理装置において用いる閾値を説明するための図である。 図５は、本発明の実施の形態の変形例２にかかる画像処理装置において用いる閾値を説明するための図である。

　以下、本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態）
　図１は、本発明の一実施の形態に係る画像処理装置の機能構成を示すブロック図である。本実施の形態に係る画像処理装置１は、例えば内視鏡が生成した画像データと、その画像データを取得した際の撮像条件（シャッタ速度や露光時間）の情報とを取得し、取得した画像データに画像処理を施して白傷を補正した補正済みの画像データを出力する装置である。画像データは、マトリックス状に配列された複数の画素によって光電変換された複数の画素値を含むデータである。画像処理装置１から出力される補正済みの画像データは、外部の表示装置に表示されたり、外部の記録装置に記録されたり、外部の測定装置によって計測処理が施されたりする。

　画像処理装置１は、補正部１１と、検出部１２と、白傷レベル算出部１３と、判定部１４と、記憶部１５と、制御部１６とを備える。

　補正部１１は、取得した画像データに補正処理を施して欠陥画素の画素値を補正した画像データを生成する。具体的に、補正部１１は、記憶部１５に記憶されている欠陥画素情報を参照して欠陥画素を抽出し、欠陥画素の画素値（白傷）を補正する。補正部１１は、例えば、欠陥画素の周辺の画素（以下、周辺画素ともいう）の画素値を用いて、欠陥画素の画素値を補間する。補正部１１は、画素がマトリックス状に配置されている場合、欠陥画素の縦、横、斜め方向で隣り合う八つの画素の画素値を用いて欠陥画素の画素値を補間する。補正部１１は、例えば、周辺の画素からエッジ方向を判定し、判定したエッジ方向の画素の画素値の統計値（平均値または中央値）を補間値とする。ここでいうエッジとは、例えば明るさの変化が大きい箇所をさす。なお、補正部１１は、縦、横、斜め方向のうちの所定の方向（例えば横方向）の画素の画素値のみを用いて欠陥画素の画素値を補間してもよい。

　補正部１１は、必要（設定）に応じて、Ａ／Ｄ変換、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整等の信号処理や、ＲＧＢの輝度を予め設定されているフォーマットに合わせる共通化処理を施してもよい。

　検出部１２は、画像データを取得して、白傷に相当する欠陥画素の位置を検出する。検出部１２は、各画素の画素値を用いて、白傷レベルの画素値を有する画素の位置を検出する。検出部１２は、例えば、検出対象の画素の画素値と、検出対象の周辺の画素の画素値の統計値（中央値または平均値）との差分を算出し、この差分と、予め設定されている閾値とを比較して、欠陥画素であるか否かを判断する。検出部１２は、検出した欠陥画素の情報を、制御部１６に出力する。

　白傷レベル算出部１３は、記憶部１５に記憶されている欠陥画素の白傷レベルを算出する。白傷レベル算出部１３は、欠陥画素における、検出対象となった現フレームの白傷レベルと、現フレームよりも撮像時間が前のフレーム、例えば１フレーム前のフレームの白傷レベルとに基づいて、現フレームの白傷レベルを算出する。具体的に、白傷レベル算出部１３は、現フレームで算出した白傷レベルと、前のフレームの白傷レベルとをウェイト加算することによって、現フレームの白傷レベルを算出する。この際に用いるウェイトは、シャッタ速度または露光時間に基づいて決定してもよいし、周辺画素の画素値のばらつき（例えば、ばらつきを示す統計値（分散や標準偏差））に基づいて決定してもよい。例えば、周辺画素の画素値のばらつきが大きいと、算出対象の画素を含むその周辺領域の画素値の信頼性は低いため、現フレーム側のウェイトを小さくする。なお、初回の白傷レベルの算出は、前フレームの白傷レベルとして、予め設定されている白傷レベルが用いられる。

　判定部１４は、白傷レベル算出部１３が算出した白傷レベルを用いて、記憶部１５に登録されている欠陥画素を補正対象とするか否かを判定する。判定部１４は、白傷レベルと、欠陥画素近傍の画素値から算出される明るさおよび露光時間に基づいて決定される閾値とを比較して、欠陥画素を補正対象とするか否かを判定する。判定部１４は、白傷レベルが閾値より大きい場合、対応する欠陥画素を補正対象にすると判定する。

　図２は、本発明の一実施の形態にかかる画像処理装置において用いる閾値を説明するための図である。図２に示すグラフは、明るさと閾値との関係を示している。図２において、直線Ｌ₁は露光時間が比較的短い場合に使用する閾値設定直線を示し、直線Ｌ₁₀は一般に設定される露光時間に対応する基準閾値設定直線を示している。直線Ｌ₁を用いるか、直線Ｌ₁₀を用いるかは、予め設定されている基準の露光時間によって決まる。例えば、今回取得した露光時間が、基準の露光時間よりも短い場合は、直線Ｌ₁を用いる。このグラフでは、直線Ｌ₁および直線Ｌ₁₀において、いずれも暗い場合の閾値が、明るい場合の閾値と比して小さい。すなわち、同じ白傷レベルであっても、暗いほど、補正対象の欠陥画素から除外され難くなる。本実施の形態では、特に、露光時間が短い場合には直線Ｌ₁が使用され、同じ白傷レベルであっても、基準閾値設定直線（直線Ｌ₁₀）よりも閾値が小さく設定される。このため、本実施の形態では、露光時間が短い場合、一般的な白傷判定と比して、補正すべき白傷として補正対象から除外され難くなっている。

　記憶部１５は、画像処理装置１を動作させるための各種プログラム、および画像処理装置１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部１５は、欠陥画素に関する情報を記憶する白傷補正情報記憶部１５ａを有する。白傷補正情報記憶部１５ａには、検出部１２が検出した欠陥画素の位置情報（白傷情報ともいう）が記憶されている。白傷補正情報記憶部１５ａでは、制御部１６から検出結果が入力されると、検出結果にしたがって欠陥画素情報が更新される。

　また、記憶部１５は、画像処理装置１の画像処理方法を実行するための画像処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。

　以上の構成を有する記憶部１５は、各種プログラム等が予めインストールされたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。

　制御部１６は、各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部１６は、検出部１２から取得した検出結果（欠陥画素情報）を白傷補正情報記憶部１５ａに記憶させるとともに、判定部１４によって補正対象としないと判定された欠陥画素が、連続したフレームで判定された場合、当該欠陥画素を白傷補正情報記憶部１５ａから削除する。

　補正部１１、検出部１２、白傷レベル算出部１３、判定部１４および制御部１６は、各々が、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサやＡＳＩＣ（Application　Specific　Integrated　Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。

　続いて、画像処理装置１が行う白傷補正判定処理について説明する。図３は、本発明の一実施の形態にかかる画像処理装置が行う画像処理を示すフローチャートである。画像処理装置１では、画像データが入力されると、補正対象の欠陥画素の登録処理が実行される。以下、制御部１６の制御のもと、各部が動作するものとして説明する。

　制御部１６は、画像データを取得すると（ステップＳ１０１）、取得した画像データを、補正部１１および検出部１２に出力する。補正部１１は、白傷補正情報記憶部１５ａに記憶されている欠陥画素について、白傷補正を施す（補正ステップ）。この際に用いる欠陥画素の位置情報は、今回取得した画像データよりも取得時刻が前の画像データ、例えば一つ前の画像データを用いて検出された欠陥画素の位置情報である。

　ステップＳ１０１に続くステップＳ１０２において、検出部１２は、取得した画像データの白傷を検出する（検出ステップ）。検出部１２は、各画素の画素値を用いて、白傷レベルの画素値を有する画素の位置を検出する。検出部１２は、検出した欠陥画素の情報を、制御部１６に出力する。

　制御部１６は、検出部１２の検出結果を取得すると、検出位置を登録して、白傷補正情報記憶部１５ａの情報を更新する（ステップＳ１０３）。この登録処理によって、白傷補正情報記憶部１５ａが記憶する情報は、今回取得した画像データに基づく欠陥画素の位置情報に更新される。

　その後、白傷レベル算出部１３が、欠陥画素の白傷レベルを算出する（ステップＳ１０４：レベル算出ステップ）。白傷レベル算出部１３は、ステップＳ１０３における更新後の欠陥画素の白傷レベルを算出する。

　ステップＳ１０４に続くステップＳ１０５において、判定部１４は、白傷レベルを用いて、欠陥画素を補正対象とするか否かを判定する（判定ステップ）。判定部１４は、上述したように、白傷レベルと、欠陥画素近傍の画素値から算出される明るさ、および取得した露光時間に基づいて決定される閾値（図２参照）とを比較して、欠陥画素を補正対象とするか否かを判定する。明るさは、欠陥画素近傍の画素値の統計値（平均値、中央値など）である。判定部１４は、白傷レベルが閾値より大きい場合、対応する欠陥画素を補正対象にすると判定し、白傷レベルが閾値以下の場合、対応する欠陥画素を補正対象にしないと判定する。判定部１４は、白傷補正情報記憶部１５ａに記憶されている欠陥画素について、上述した判定処理を実行する。

　制御部１６は、判定部１４の判定結果に基づいて、白傷補正情報記憶部１５ａの情報を更新する（ステップＳ１０６）。制御部１６は、判定部１４によって、補正対象としないと判定された欠陥画素が、複数フレームで連続して判定されている場合は、その欠陥画素を白傷補正情報記憶部１５ａから削除する。これにより、白傷補正情報記憶部１５ａには、判定部１４によって補正対象候補となる欠陥画素の位置情報のみが登録される。

　以上説明したフローチャートによって、白傷補正情報記憶部１５ａには、露光時間を加味した欠陥画素の位置情報が登録される。このため、露光時間が長い場合に登録されていた白傷（欠陥画素）は、露光時間が小さい場合にも削除されずに登録されたままとなる。

　上述した本実施の形態では、白傷レベルと、欠陥画素近傍の画素値から算出される明るさ、および露光時間に基づいて決定される閾値とを用いて、検出部１２によって検出された欠陥画素を補正対象とするか否かを判定する。この判定処理によって、同じ白傷レベルであっても、露光時間に応じて補正対象から除外されるか否かの判定結果が異なる。本実施の形態では、特に、露光時間が短い場合、画素値自体が小さくなるため、補正対象から除外され難くしている。そして、補正部１１では、従来の白傷レベルに基づく重み加算を用いた補正ではなく、同じフレームにおける周辺画素から欠陥画素の画素値を補間する。本実施の形態によれば、急激に白傷レベルが変化する際には、シャッタ速度の設定が変更されるなどの露光時間に変化が生じるため、露光時間に応じて閾値を変えることで、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正することができる。

（変形例１）
　次に、本実施の形態の変形例１について、図４を参照して説明する。上述した実施の形態では、判定部１４が用いる閾値を、露光時間に応じて設定していたが、本変形例１では、明るさとゲイン値とに応じて閾値を設定する。なお、本変形例１において、補正部１１は、欠陥画素の補正処理と、画素値のゲインを調整するゲイン調整とを少なくとも実行するものとして説明する。ゲイン調整は、ユーザによって設定される。

　図４は、本発明の実施の形態の変形例１にかかる画像処理装置において用いる閾値を説明するための図である。図４に示すグラフは、明るさと閾値との関係を示している。図４において、直線Ｌ₂はゲイン値が比較的小さい場合に使用する閾値設定直線を示し、直線Ｌ₂₀は一般に設定されるゲイン値に対応する基準閾値設定直線を示している。直線Ｌ₂を用いるか、直線Ｌ₂₀を用いるかは、予め設定されている基準のゲイン値によって決まる。例えば、今回のゲイン値が、基準のゲイン値より小さい場合は、直線Ｌ₂を用いる。このグラフでは、直線Ｌ₂および直線Ｌ₂₀において、いずれも明るいほど、閾値が大きくなる。すなわち、同じ白傷レベルであっても、暗くなるほど、補正対象の欠陥画素から除外され難くなる。本変形例１では、特に、ゲイン値が小さい場合には直線Ｌ₂が使用され、同じ白傷レベルであっても、基準閾値設定直線（直線Ｌ₂₀）よりも閾値が小さく設定される。このため、本変形例１では、ゲイン値が小さい場合、一般的な白傷判定と比して、補正すべき白傷として補正対象から除外され難くなっている。

　本変形例１において、判定部１４は、白傷レベルと、ゲイン値に基づいて決定される閾値とを比較して、欠陥画素を補正対象とするか否かを判定する。

　上述した本変形例１では、白傷レベルと、欠陥画素近傍の画素値から算出される明るさ、およびゲイン値に基づいて決定される閾値とを用いて、検出部１２によって検出された欠陥画素を補正対象とするか否かを判定する。この際に算出する明るさは、欠陥画素近傍の画素値の統計値（平均値、中央値など）である。この判定処理によって、同じ白傷レベルであっても、ゲイン値に応じて補正対象から除外されるか否かの判定結果が異なる。本変形例１では、特に、ゲイン値が小さい場合、画素値自体が小さいため、補正対象から除外され難くしている。そして、補正部１１では、実施の形態と同様に、従来の白傷レベルに基づく重み加算を用いた補正ではなく、同じフレームにおける周辺画素から欠陥画素の画素値を補間する。本変形例１によれば、ゲイン値を変化させたことで、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正することができる。

（変形例２）
　次に、本実施の形態の変形例２について、図５を参照して説明する。上述した実施の形態では、判定部１４が用いる閾値を、露光時間に応じて設定していたが、本変形例２では、明るさと、欠陥画素の周辺画素の画素値のばらつきとに応じて閾値を設定する。ばらつきは、判定部１４において算出するが、白傷レベル算出部１３においてばらつきが算出されている場合は、そのばらつきを用いてもよい。

　図５は、本発明の実施の形態の変形例２にかかる画像処理装置において用いる閾値を説明するための図である。図５に示すグラフは、周辺画素の画素値のばらつきと、閾値との関係を示している。図５において、直線Ｌ₃はばらつきが小さい場合に使用する閾値設定直線を示し、直線Ｌ₃₀は一般的なばらつきに対して設定される基準閾値設定直線を示している。直線Ｌ₃を用いるか、直線Ｌ₃₀を用いるかは、予め設定されている基準のばらつきによって決まる。例えば、今回のばらつきが、基準のばらつきより小さい場合は、直線Ｌ₃を用いる。このグラフでは、直線Ｌ₃および直線Ｌ₃₀において、いずれもばらつきが小さくなるほど、閾値が小さくなる。すなわち、同じ白傷レベルであっても、ばらつきが小さくなるほど、補正対象の欠陥画素から除外され難くなる。本変形例２では、特に、ばらつきが小さい場合には直線Ｌ₃が使用され、同じ白傷レベルであっても、基準閾値設定直線（直線Ｌ₃₀）よりも閾値が小さく設定される。このため、本変形例２では、ばらつきが小さい場合、一般的な白傷判定と比して、補正すべき白傷として補正対象から除外され難くなっている。

　判定部１４は、白傷レベルと、欠陥画素近傍の画素値から算出される明るさ、および算出されたばらつきに基づいて決定される閾値とを比較して、欠陥画素を補正対象とするか否かを判定する。明るさは、欠陥画素近傍の画素値の統計値（平均値、中央値など）である。

　上述した本変形例２では、白傷レベルと、欠陥画素近傍の画素値から算出される明るさ、およびばらつきに基づいて決定される閾値とを用いて、検出部１２によって検出された欠陥画素を補正対象とするか否かを判定する。この判定処理によって、同じ白傷レベルであっても、ばらつきに応じて補正対象から除外されるか否かの判定結果が異なる。本変形例２では、特に、ばらつきが小さい場合、白傷レベルを算出するための周辺画素の画素値の信頼度が高いため、補正対象から除外され難くしている。そして、補正部１１では、実施の形態と同様に、従来の白傷レベルに基づく重み加算を用いた補正ではなく、同じフレームにおける周辺画素から欠陥画素の画素値を補間する。本変形例２によれば、急激に白傷レベルが変化する際には、シャッタ速度の設定が変更されるなどの露光時間に変化が生じるため、露光時間に応じて閾値を変えることで、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正することができる。

（変形例３）
　次に、本実施の形態の変形例３について説明する。上述した実施の形態において、判定部１４が用いる閾値を、露光時間に加えて、変形例２で説明したばらつきをさらに加味して設定してもよい。変形例３では、露光時間とばらつきとによって閾値を決定する。さらに、実施の形態および変形例２と同様に、露光時間が小さい領域、および／またはばらつきが小さい領域では、一般に設定される基準と比して、補正すべき白傷として補正対象から除外され難くなっていることが好ましい。

　なお、上述した実施の形態では、制御部１６が、判定部１４が補正対象としないと判定した欠陥画素を、白傷補正情報記憶部１５ａから削除するものとして説明したが、削除せずに、その欠陥画素に対して補正対象としない旨の情報を付与して、欠陥画素補正時に当該欠陥画素を補正しない処理としてもよい。また、検出部１２において検出したすべての欠陥画素の情報は記憶させずに、判定部１４において判定した最終的な欠陥画素の情報を白傷補正情報記憶部１５ａに記憶させてもよい。

　また、上述した実施の形態では、補正部１１が、前のフレームの画像データに基づいて登録された欠陥画素の位置情報から欠陥画素補正を行うものとして説明したが、リアルタイム性が要求されないなど、処理時間に余裕がある場合には、現フレームの画像データに基づいて登録された欠陥画素の位置情報から欠陥画素補正を行ってもよい。この場合、図３に示すフローチャートでは、ステップＳ１０６の後に、最新の欠陥画素の情報を用いて、補正部１１が補正処理（ステップＳ１０１）を実行する。いずれの場合であっても、白傷補正情報記憶部１５ａに記憶されている、最新の欠陥画素の情報を用いることが好ましい。

　また、上述した実施の形態では、閾値設定直線（直線Ｌ₁）を用いて閾値を設定するものとして説明したが、一般に設定される基準閾値設定直線（直線Ｌ₁₀）を用いて閾値を設定してもよい。

　また、上述した実施の形態では、画像処理装置１が、内視鏡が撮像した画像データを用いるものとして説明したが、この内視鏡は、被検体内に導入されて生体組織を撮像する軟性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡のいずれであっても適用できる。また、例えばデジタルスチルカメラ等によって撮像された画像データであってもよい。

　また、上述した実施の形態において、インターネットを経由して接続された処理装置に一部の処理を実行させてもよい。

　以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、白傷のレベルが急激に変化した場合であっても欠陥画素を適切に補正するのに有用である。

　１　画像処理装置
　１１　補正部
　１２　検出部
　１３　白傷レベル算出部
　１４　判定部
　１５　記憶部
　１５ａ　白傷補正情報記憶部
　１６　制御部

Claims (8)

1. 　複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理装置であって、
   　前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出部と、
   　前記検出部が検出した前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出部と、
   　前記レベル算出部が算出した前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定部と、
   　前記判定部が前記補正対象にすると判定した前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正部と、
   　を備えることを特徴とする画像処理装置。
2. 　前記判定部は、前記明るさと前記露光時間とに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、
   　前記閾値は、前記露光時間が短い場合の閾値が、前記露光時間が長い場合の閾値と比して小さい
   　ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記判定部は、前記明るさと前記ゲイン値とに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、
   　前記閾値は、前記ゲイン値が小さい場合の閾値が、前記ゲイン値が大きい場合の閾値と比して小さい
   　ことを特徴とする請求項１に記載の画像処理装置。
4. 　前記判定部は、前記明るさと前記ばらつきとに基づいて決まる閾値を用いて前記欠陥画素を補正対象にするか否かを判定し、
   　前記閾値は、前記ばらつきが小さい場合の閾値が、前記ばらつきが大きい場合の閾値と比して小さい
   　ことを特徴とする請求項１に記載の画像処理装置。
5. 　前記検出部は、判定対象の画素の画素値と、当該判定対象の画素の周辺画素の画素値の統計値との差分に基づいて、前記判定対象の画素が前記欠陥画素であるか否かを判定する
   　ことを特徴とする請求項１に記載の画像処理装置。
6. 　前記レベル算出部は、前記欠陥画素に対応する第１のフレームにおいて算出した第１のレベルと、前記第１のフレームよりも撮像時間が前の第２のフレームにおいて算出した第２のレベルとに基づいて、前記欠陥画素の画素値のレベルを算出する
   　ことを特徴とする請求項１に記載の画像処理装置。
7. 　複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理方法であって、
   　前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出ステップと、
   　前記検出ステップで検出された前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出ステップと、
   　前記レベル算出ステップで算出された前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定ステップと、
   　前記判定ステップで前記補正対象にすると判定された前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正ステップと、
   　を含むことを特徴とする画像処理方法。
8. 　複数の画素によって光電変換された複数の画素値を含む画像データに処理を施す画像処理装置に、
   　前記複数の画素のうち欠陥が生じている欠陥画素を検出する検出手順と、
   　前記検出手順で検出された前記欠陥画素の位置情報を記憶する記憶部に記憶されている前記欠陥画素の画素値のレベルを算出するレベル算出手順と、
   　前記レベル算出手順で算出された前記画素値のレベルと、欠陥画素近傍の画素値から算出される明るさ、ならびに、判定対象の欠陥画素に対応する画像データの露光時間、ゲイン値、および前記判定対象の欠陥画素の周辺画素の画素値のばらつきのいずれかに基づいて決まる閾値と、を比較して、前記記憶部に記憶されている欠陥画素を補正対象にするか否かを判定する判定手順と、
   　前記判定手順で前記補正対象にすると判定された前記欠陥画素の画素値を、当該補正対象の周辺画素の画素値を用いて補間する補正手順と、
   　を実行させることを特徴とする画像処理プログラム。

Images