JP5462084B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラム等に関する。

従来、画像の孤立点の補正については、メディアンフィルタなどが公知の方法として広く用いられている。また、処理対象画素の周辺の画素や近傍の画素を用いて、それら画素の平均値や中央値と、予め与えられる閾値と比較し、孤立点判定を行う方法が公知となっている。

例えば、特許文献１にあるように、処理対象画素の近傍（斜め方向両隣の３）画素を用いて、平均値を算出し、平均値と各画素との比較、閾値との比較により孤立点か判定する方法が提案されている。

また、従来、体腔内の組織に対して回転フィルタを用いてＲ、Ｇ、Ｂの３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域画像（これを特殊光画像と呼ぶ）を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。

特開２００２−１０２７４号公報 特開２００６−６８１１３号公報 特開２００９−１８８８２２号公報

従来、特殊光画像の孤立点の補正は、その特殊光画像のみを用いて行っている。多くは処理対象画素を周辺画素と比較し大きく異なる場合に孤立点と判定し補正を行っている。そのため、特殊光画像において、被写体本来の成分であるのにも関わらず、たまたま周辺画素と極端に異なっていた場合には、本来残すことが望ましい成分が補正されてしまうという問題がある。

また、特殊光画像ではゲインアップを行うことが多い。それに伴い少しの画素値の差が増幅され孤立点と判定されてしまいやすくなる。また、ノイズ成分も増幅され孤立点として現れることが多くなり必要以上の補正が行われる。

本発明の幾つかの態様によれば、特殊光画像だけではなく対応する通常光画像をも元に孤立点を判定し、より精度の高い孤立点補正を行う画像処理装置及びプログラム等を提供できる。

本発明の幾つかの態様によれば、通常光画像を元に孤立点の度合いを求め、処理対象画素の画素値と求められた補正値とを孤立点の度合いに応じて混合することで、適度な孤立点補正を行う画像処理装置及びプログラム等を提供できる。

本発明の一態様は、白色光の波長帯域の情報を有する被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記通常光画像内の処理対象画素である通常光処理対象画素の画素値と、前記通常光処理対象画素の周辺に位置する通常光周辺画素の画素値とに基づいて、前記通常光処理対象画素の孤立点判定処理を行う孤立点判定処理部と、前記孤立点判定処理部による前記孤立点判定処理に基づいて、前記特殊光画像に施す補正処理を制御する補正制御部と、を含む画像処理装置に関係する。

本発明の一態様では、通常光画像と特殊光画像を取得し、通常光画像の画素値に基づいて孤立点判定処理を行い、特殊光画像に施す補正処理を制御する。これにより、被写体本来の成分を補正してしまうことを抑止し、情報の欠落を抑えた状態で特殊光画像を提供することが可能となる。

また、本発明の他の態様は、白色光の波長帯域の情報を有する被写体像を含む通常光画像を取得する通常光画像取得部と、特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得する特殊光画像取得部と、前記通常光画像内の処理対象画素である通常光処理対象画素の画素値と、前記通常光処理対象画素の周辺に位置する通常光周辺画素の画素値とに基づいて、前記通常光処理対象画素の孤立点判定処理を行う孤立点判定処理部と、前記孤立点判定処理部による前記孤立点判定処理に基づいて、前記特殊光画像に施す補正処理を制御する補正制御部として、コンピュータを機能させるプログラムに関係する。

図１（Ａ）、図１（Ｂ）は第１の実施形態及び変形例の処理を説明する図、図１（Ｃ）、図１（Ｄ）は第２の実施形態及び変形例の処理を説明する図。 第３の実施形態の処理を説明する図。 本実施形態の画像処理装置を含む内視鏡システムの構成例。 色フィルタＲ・Ｇ・Ｂの分光特性。 回転フィルタの構成例。 白色光透過フィルタの分光特性。 狭帯域透過フィルタの分光特性。 第１の実施形態の処理を説明するためのフローチャート。 本実施形態の画像処理装置を含む内視鏡システムの他の構成例。 第１の実施形態の変形例の処理を説明するためのフローチャート。 本実施形態の画像処理装置を含む内視鏡システムの他の構成例。 本実施形態の画像処理装置を含む内視鏡システムの他の構成例。 差分値の絶対値と孤立点度合いとの関係を説明する図。 補正制御部の構成例。 補正制御部の他の構成例。 特殊光画像取得部の構成例。 第３の実施形態の処理を説明するためのフローチャート。 推測処理を説明するためのフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

まず、本実施形態の手法について説明する。画像処理において、周囲の画素の画素値と大きく異なる画素値をもつ画素を孤立点と呼ぶ。通常、孤立点に対してはメディアンフィルタ等を適用し、補正処理が行われる。

通常光に加えて特殊光も観察する内視鏡システムにおいては、特殊光画像における孤立点補正には、特殊光画像の情報が用いられていた。しかし、このような従来の手法では、被写体本来の成分であるのにも関わらず、たまたま周辺画素と極端に異なっていた場合には、本来残すことが望ましい成分が補正されてしまうという問題があった。

そこで本出願人は通常光画像の情報を用いて補正を行う手法を提案する。このような手法を用いることで、図１（Ａ）のＡ１に示したような、通常光画像で孤立点と判定されず、特殊光画像で孤立点と判定されるような点を、そのまま残すことができる。そして、より補正すべき孤立点である可能性の高い、Ａ２のような画素に対して補正を行う。なお、図１（Ａ）、図１（Ｂ）において、凸型の図形は孤立点と判定されたことを表し、フラットな図形は孤立点と判定されなかったことを表すものとする。また、図１（Ａ）では通常光・特殊光がそれぞれ孤立点か否かで４つのパターンを示したが、通常光画像から孤立点判定を行うため、上の２つのパターンを区別することはできず、また下の２つのパターンも区別することもできない。

また、通常光画像の情報だけでなく、特殊光画像の情報も用いて孤立点判定を行ってもよい。このようにすることで、図１（Ｂ）のＢ１に示したような点を残しつつ、Ｂ２に示したような、通常光画像・特殊光画像の両方で孤立点と判定された点（つまり補正すべき孤立点である可能性が高い画素）に対して補正を行うことができる。この場合は図１（Ａ）と異なり、４つのパターンをそれぞれ区別することが可能である。

以上の手法について第１の実施形態で説明する。第１の実施形態では孤立点判定処理は孤立点か否かをみるものであるが、第２の実施形態では、図１（Ｃ）、図１（Ｄ）に示したように、孤立点判定処理として、孤立点度合い（つまり０，１ではなく中間的な値をとれる）を用いる。また、第３の実施形態においては、図２に示したように、孤立点の発生要因を推測する推測部を含む手法について説明する。

２．第１の実施形態

２．１ 本実施形態のシステム構成例

図３は、本実施形態にかかる画像処理装置を含む内視鏡システムの構成図である。内視鏡システムは、照明部１０１と、撮像部１０２と、処理部１２０と、制御部１１０と、Ｉ／Ｆ部１１１と、出力部１０９と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。

照明部１０１は、白色光光源Ｓ２、回転フィルタＳ３及び集光レンズＳ４を含む光源装置Ｓ１と、ライトガイドファイバＳ６と、照明光学系Ｓ７とを含む。また、撮像部１０２は、集光レンズＳ８と、撮像素子Ｓ９とを含む。撮像素子Ｓ９はベイヤ配列の色フィルタを持つ撮像素子である。撮像素子Ｓ９の色フィルタＲ・Ｇ・Ｂは例えば図４に示すような分光特性を持っている。

処理部１２０は、Ａ／Ｄ変換部１０３と、通常光画像取得部１０４と、特殊光画像取得部１０５と、対応付け部１０６と、孤立点判定処理部１０７と、補正制御部１０８と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。また、制御部１１０はマイクロコンピュータやＣＰＵ等を含んでいる。Ｉ／Ｆ部１１１は電源スイッチ、変数設定などを行うためのインターフェースを含んでいる。出力部１０９は、例えば表示部等であり、ＬＣＤ等のディスプレイを含んでいる。

撮像素子Ｓ９からのアナログ信号が入力されるＡ／Ｄ変換部１０３は、通常光画像取得部１０４と、特殊光画像取得部１０５とに接続されている。通常光画像取得部１０４は、対応付け部１０６と、孤立点判定処理部１０７とに接続されている。特殊光画像取得部１０５は、対応付け部１０６に接続されている。対応付け部１０６は、補正制御部１０８に接続されている。孤立点判定処理部１０７は、補正制御部１０８に接続されている。補正制御部１０８は、出力部１０９に接続されている。

また、制御部１１０は、照明部１０１と、撮像部１０２と、処理部１２０の各部と、出力部１０９と、Ｉ／Ｆ部１１１とに相互に接続され、各部を制御する。

Ａ／Ｄ変換部１０３は、撮像素子Ｓ９からのアナログ信号をデジタル信号に変換する。通常光画像取得部１０４は、Ａ／Ｄ変換部１０３からのデジタル信号が入力され、入力されたデジタル信号から通常光画像を取得する。特殊光画像取得部１０５は、Ａ／Ｄ変換部１０３からのデジタル信号が入力され、入力されたデジタル信号から特殊光画像を取得する。

対応付け部１０６は、通常光画像と特殊光画像の画素の対応付けを行う。孤立点判定処理部１０７は、通常光画像の画素値に基づいて処理対象画素（通常光処理対象画素）の孤立点判定処理を行う。補正制御部１０８は、孤立点判定処理部１０７による孤立点判定処理に基づいて、特殊光処理対象画素（対応付け部１０６により、通常光処理対象画素に対応づけられた特殊光画像の画素）に対して補正処理を施す制御を行う。

２．２ 処理の流れ

次に、処理の流れについて示す。まず、白色光光源Ｓ２から白色光が発光される。図５に示すように、回転フィルタＳ３には白色光透過フィルタＳ１０と狭帯域透過フィルタＳ１１がセットされている。白色光透過フィルタＳ１０は例えば、図６のような分光特性であり、狭帯域透過フィルタＳ１１は例えば、図７のような分光特性である。

白色光光源Ｓ２から発光された白色光が、回転フィルタＳ３の白色光透過フィルタＳ１０と狭帯域透過フィルタＳ１１を交互に透過する。白色光透過フィルタＳ１０を透過した白色光と、狭帯域透過フィルタＳ１１を透過した特殊光が交互に集光レンズＳ４に達し集光される。

集光された白色光または特殊光はライトガイドファイバＳ６を通って照明光学系Ｓ７から被写体に照射される。照明光学系Ｓ７から照射され、被写体で反射した反射光が集光レンズＳ８により集光され、Ｒ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された撮像素子Ｓ９に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１０３へ送られる。

白色光の照射により取得され、Ａ／Ｄ変換部１０３でデジタルの信号に変換された信号は通常光画像取得部１０４へ出力され通常光画像として取得される。また特殊光の照射により取得され、Ａ／Ｄ変換部１０３でデジタルの信号に変換された信号は特殊光画像取得部１０５へ出力され特殊光画像として取得される。

このような回転フィルタを設けることで、単板の撮像素子のみでほぼ同時に通常光画像と特殊光画像を取得することができる。

対応付け部１０６では、通常光画像取得部１０４で取得した通常光画像と、特殊光画像取得部１０５で取得した特殊光画像の画素の対応付けを行う。ここでは、通常光画像の処理対象画素（通常光処理対象画素）に対応する特殊光画像の画素を特殊光処理対象画素とする。

通常光画像と特殊光画像は同一の撮像素子から取得されているので基本的には容易に画素の位置の対応が取れる。

一方、特殊光画像取得部１０５で拡大縮小処理が行われ、通常光画像と特殊光画像で画素数が異なる場合もありうる。そのときには、通常光画像を特殊光画像と同サイズになるように拡大縮小してから対応付けを行う。

また、本実施形態では単板の撮像素子の構成となっているため、通常光画像の取得と特殊光画像の取得はほぼ同時ではあるが時間的にズレが生じる。そのため、被写体に基づいた対応付けを行うことも可能である。

公知の特徴検出方法には同様な画像間の被写体のマッチングを行ってブレを補正するものがあるが、特殊光画像は血管構造が強調表示される等、通常光画像と異なる画像になるため、通常光画像と特殊光画像のマッチングは困難である。

そこで、被写体に基づいた対応付けを行うには、例えば、通常光画像に対して所定の画像処理（例えば、公知の分光推定技術を用いた画像処理）を行い、擬似特殊光画像を作成する手法が考えられる。擬似特殊光画像は（画像処理を適切に行った場合には）撮像対象である被写体が特殊光画像と同一になるため、公知の特徴検出手法を用いて特殊光画像とマッチングをとることが可能である。また、擬似特殊光画像は通常光画像から作成されるため、擬似特殊光画像と通常光画像とのマッチングは容易である。よって、擬似特殊光画像を用いることで、通常光画像と特殊光画像の対応付けが可能となる。

別の一例としては、ズレが生じていないと想定し、通常光処理対象画素と同位置の特殊光画像の画素を特殊光処理対象画素とする。撮像素子に欠陥があり孤立点となっている場合は、同じ位置に孤立点が現れるはずなので、この手法が有用である。

次に、孤立点判定処理部１０７にて、通常光画像取得部１０４で取得された通常光画像の各画素ごとに、孤立点であるかどうかの判定を行う。

この孤立点の判定方法の一例としては、通常光処理対象画素に隣接する画素の平均値を求め、その平均値と処理対象画素の画素値との差分を求め、その差分の絶対値と、所与の閾値とを比較し、差分の絶対値の方が大きければ、通常光処理対象画素を孤立点と判定する手法が考えられる。

また、他の孤立点の判定方法の一例としては、処理対象画素に隣接する画素の中央値を求め、その中央値と通常光処理対象画素の画素値との差分を求め、その差分の絶対値と、所与の閾値とを比較し、差分の絶対値の方が大きければ、通常光処理対象画素を孤立点と判定する手法を用いてもよい。

また、ここでは平均値や中央値を隣接する画素から求めていたが、近傍の画素から求めることも可能である。また、公知の孤立点判定方法を用いてもよい。

そして、補正制御部１０８で特殊光画像の画素について孤立点補正を行う。孤立点判定処理部１０７で判定された通常光画像の孤立点の画素と対応する、特殊光処理対象画素（対応付けは上述した対応付け部１０６による）について補正を行う。

補正制御部１０８における補正の方法の一例としては、補正する特殊光処理対象画素の特殊光画像での周辺画素（特殊光周辺画素）を用い、特殊光周辺画素の画素値の平均値に特殊光処理対象画素の画素値を置き換える手法が考えられる。また、特殊光周辺画素の中央値に置き換えることも可能である。また、特殊光処理対象画素の画素値からある所定の値だけ減算または加算することも可能である。

出力部１０９は、特殊光画像取得部１０５で取得された特殊光画像に対して補正制御部１０８で孤立点補正を行い、補正された特殊光画像を出力する。補正されなかった画素はそのまま出力する。モニタなどの表示装置へ特殊光画像として出力する。合わせて通常光画像を出力することも可能である。

このように通常光画像での孤立点判定結果を用いることで、特殊光画像本来の成分でありながら周辺とは大きく異なる画素を孤立点と判定することなく、その成分を保持することができる。

２．３ 処理の詳細

本実施形態の画像処理装置の処理の詳細を図８のフローチャートに示す。この処理が開始されると、まず、通常光画像取得部１０４により通常光画像が取得される（Ｓ７０１）。また、特殊光画像取得部１０５により特殊光画像が取得される（Ｓ７０２）。

次に、対応付け部１０６により、通常光画像と特殊光画像の画素の対応付けが行われる（Ｓ７０３）。また、孤立点判定処理部１０７により、通常光画像の処理対象画素に対して、孤立点判定処理が行われる（Ｓ７０４）。

そして、通常光処理対象画素が孤立点か否かの判定を行い（Ｓ７０５）、孤立点であった場合には、補正制御部１０８により補正処理が行われる（Ｓ７０６）。また、孤立点でなかった場合には補正処理は行われない。

２．４ 変形例１（特殊光画像も用いた孤立点判定処理）

以上の説明においては、孤立点判定処理部１０７は通常光画像に基づいて孤立点判定処理を行うものとしたが、これに限定されるものではない。孤立点判定処理部１０７では、通常光画像の画素値に基づいた孤立点判定処理のほかに、特殊光画像の画素値に基づいた孤立点判定処理を行うこともできる。補正制御部１０８では、通常光画像の孤立点判定結果だけでなく、特殊光画像の孤立点判定結果を加味して補正することもできる。その一例として、通常光処理対象画素でも特殊光処理対象画素でも孤立点と判定された場合に孤立点補正を行う。

この際のブロック図を図９に示す。図３においては、対応付け部１０６と孤立点判定処理部１０７の処理は並列に行われ（つまり、どちらが先でもよいという柔軟性がある）、対応付け部１０６による対応付けの結果は補正制御部１０８に入力されていた。しかし、特殊光画像の画素値に基づいた孤立点判定処理も行う場合には、孤立点判定処理部１０７は対応付けられた特殊光画像の情報（特殊光処理対象画素の情報）を持っている必要がある。そのため、対応付け部１０６は、補正制御部１０８ではなく、孤立点判定処理部１０７に接続されることになり、このケースでは、対応付け処理が孤立点判定処理よりも前に行われる。

以上の処理の詳細を図１０のフローチャートに示す。この処理が開始されると、まず、通常光画像取得部１０４により通常光画像が取得される（Ｓ８０１）。また、特殊光画像取得部１０５により特殊光画像が取得される（Ｓ８０２）。

次に、対応付け部１０６により、通常光画像と特殊光画像の画素の対応付けが行われる（Ｓ８０３）。そして、孤立点判定処理部１０７により、通常光画像の処理対象画素及び特殊光画像の処理対象画素に対して、孤立点判定処理が行われる（Ｓ８０４）。

次に、通常光処理対象画素が孤立点であるか否かの判定が行われ（Ｓ８０５）、孤立点であった場合には、特殊光処理対象画素が孤立点であるか否かの判定が行われる（Ｓ８０６）。特殊光処理対象画素も孤立点であった場合に、補正制御部１０８により補正処理が行われ（Ｓ８０７）、それ以外の場合には補正処理は行われない。

２．５ 変形例２（照明部及び撮像部の他の構成例）

また、本実施形態にかかる画像処理装置を含む内視鏡システムの構成は図１１に示すものであってもよい。図１１に示したように、照明部１０１が照明部４０１に変更され、撮像部１０２が撮像部４０２に変更されている。また、照明部及び撮像部の変更に伴って、処理部１２０のＡ／Ｄ変換部が１０３ａと１０３ｂの２つ設けられている点も異なる。

照明部４０１は、白色光光源Ｓ２２及び集光レンズＳ２３を含む光源装置Ｓ２１と、ライトガイドファイバＳ２５と、照明光学系Ｓ２６とを含む。また、撮像部４０２は、集光レンズＳ２７と、スプリッタＳ２８と、通常光用撮像素子Ｓ２９と、狭帯域透過フィルタＳ３０と、特殊光用撮像素子Ｓ３１とを含む。

通常光用撮像素子Ｓ２９及び特殊光用撮像素子Ｓ３１はベイヤ配列の色フィルタを持つ撮像素子である。通常光用撮像素子Ｓ２９及び特殊光用撮像素子Ｓ３１の色フィルタＲ・Ｇ・Ｂは例えば図４に示すような分光特性を持っている。また、狭帯域透過フィルタＳ３０は図７に示すような透過特性を持っている。

処理の流れについて説明する。照明部４０１から被写体へ白色光を照射し、反射した光を撮像部４０２にて撮像する。もう少し詳しく書くと、白色光光源Ｓ２２から発せられた白色光は集光レンズＳ２３により集光され、ライトガイドファイバＳ２５を通って照明光学系Ｓ２６から被写体に照射される。

被写体から反射した反射光が集光レンズＳ２７により集光され、スプリッタＳ２８で二方向に分岐され、一方はＲ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された通常光用撮像素子Ｓ２９に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１０３ａへ送られる。また分岐されたもう一方の光は、狭帯域透過フィルタＳ３０により白色光より狭い所定の波長帯域の光のみを透過し、Ｒ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された特殊光用撮像素子Ｓ３１に到達し光電変換を行いアナログの信号となり、Ａ／Ｄ変換部１０３ｂへ送られる。

通常光用撮像素子Ｓ２９で取得されたアナログの信号は、Ａ／Ｄ変換部１０３ａでデジタル信号に変換され、通常光画像取得部１０４で通常光画像として取得される。

また特殊光用撮像素子Ｓ３１で取得されたアナログの信号は、Ａ／Ｄ変換部１０３ｂでデジタル信号に変換され、特殊光画像取得部１０５で特殊光画像として取得される。

本変形例では、２板の撮像素子を用いているため、通常光画像と特殊光画像を同時に取得することができる。一方、２板の構成であるため必ずしも同一の画素数の撮像素子を用いなくても良く、通常光画像と特殊光画像とで画素数が異なる構成も取れる。

対応付け部１０６における対応付け処理のひとつの例としては、通常光画像または特殊光画像を拡大縮小して同サイズにしてから、同一位置の画素同士を対応付ける。

以降の処理は同様であるため、詳細な説明は省略する。このような２板の撮像素子の構成により、同じタイミングの通常光画像と特殊光画像を取得することができる。

また、特殊光画像の画素値に基づいた孤立点判定処理を行い、かつ、撮像素子が２板の構成を用いる場合には、図１２に示したような構成になる。図３に対する図９と同様に、図１１における対応付け部１０６の出力先が孤立点判定処理部１０７に変更されている。

また、ここでは撮像素子にＲ・Ｇ・ＢがＢａｙｅｒ配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。

以上の本実施形態では、画像処理装置は、図３に示したように、通常光画像を取得する通常光画像取得部１０４と、特殊光画像を取得する特殊光画像取得部１０５と、通常光処理対象画素の画素値と通常光周辺画素との画素値に基づいて孤立点判定処理を行う孤立点判定処理部１０７と、孤立点判定処理部１０７による孤立点判定処理に基づいて特殊光画像に施す補正処理を制御する補正制御部１０８と、を含む。

ここで、通常光処理対象画素とは、通常光画像内の処理対象となる画素のことであり、通常光周辺画素とは、通常光処理対象画素の周辺に位置する（隣接してもよいし、しなくてもよい）画素のことである。

これにより、通常光画像と特殊光画像を取得した上で、通常光画像の画素値を用いて、特殊光画像の補正を行うことができる。よって、通常光画像で孤立点と判定されなければ、特殊光画像の補正を行わないため、図１（Ａ）のＡ１に示したような被写体本来の成分を保持することが可能になる。そのため、情報の欠落を極力抑えた状態で、特殊光画像を観察者に提供することができる。

また、孤立点判定処理部１０７は、通常光周辺画素の画素値から求められる値と、通常光処理対象画素の画素値との差分の絶対値が所与の閾値を超えた場合に、通常光処理対象画素が孤立点であると判定してもよい。

これにより、通常光処理対象画素の画素値と、通常光周辺画素の画素値から求められる値（例えば複数の通常光周辺画素の画素値の平均値や中央値）の差分の絶対値と、所与の閾値との比較を行うことで、通常光処理対象画素が孤立点であるか否かの判定を行うことができる。

また、画像処理装置は、図３に示したように、通常光処理対象画素と、特殊光処理対象画素とを対応付ける対応付け部１０６を含んでもよい。そして、補正制御部１０８は、孤立点判定処理部１０７により孤立点と判定された通常光処理対象画素に対応する特殊光処理対象画素を補正する。

ここで、特殊光処理対象画素とは、特殊光画像内の画素であり、通常光処理対象画素に対応付けられた画素のことである。簡単な例で言えば、通常光画像と特殊光画像が同一の大きさ（画素数）である場合には、画像内における縦、横の位置が一致する点のことである。具体的には例えば、通常光画像における（Ｘ，Ｙ）＝（１０，２０）の点が通常光処理対象画素である場合には、特殊光画像における（Ｘ，Ｙ）＝（１０，２０）の点を特殊光処理対象画素とする手法が考えられる。

これにより、通常光画像と特殊光画像の対応付けが可能となる。本実施形態では特殊光画像の画像処理（補正）を行うために、通常光画像において孤立点判定処理を行っている。そのため、対応付け部１０６において正確な対応付けを行うことで、処理の精度を高めることができる。

また、補正制御部１０８は、特殊光処理対象画素の画素値を、特殊光周辺画素の画素値から求められる値に置き換える補正制御を行ってもよい。

ここで、特殊光周辺画素とは、特殊光処理対象画素の周辺に位置する（隣接してもよいし、しなくてもよい）画素のことである。

これにより、孤立点と判定された画素（厳密には孤立点と判定された通常光処理対象画素に対応する特殊光処理対象画素）の値を、特殊光周辺画素の画素値から求められる値に置き換える補正が可能になる。例えば、特殊光周辺画素の画素値の平均値で置き換える様な手法が考えられる。

また、孤立点判定処理部１０７は、特殊光処理対象画素の画素値と、特殊光周辺画素の画素値とに基づいて、特殊光処理対象画素の孤立点判定処理を行ってもよい。

これにより、通常光画像の画素値に基づく孤立点判定処理だけでなく、特殊光処理対象画素の画素値に基づいた孤立点判定処理を行うことが可能になり、孤立点判定処理の精度を向上させることができる。

また、孤立点判定処理部１０７により、通常光処理対象画素が孤立点であると判定され、かつ、対応する特殊光処理対象画素が孤立点であると判定された場合に、補正制御部１０８は、特殊光処理対象画素を補正する制御を行ってもよい。

これにより、図１（Ｂ）に示したような補正制御が可能になる。図１（Ｂ）のＢ１に示したように、被写体本来の成分と考えられる情報は残しつつ、Ｂ２に示したような、補正すべき孤立点と考えられる情報は補正を行うことができる。

また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。

これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。

これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態は、通常光画像取得部１０４と、特殊光画像取得部１０５と、孤立点判定処理部１０７と、補正制御部１０８としてコンピュータを機能させるプログラムに関係する。

これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。

３．第２の実施形態

３．１ 本実施形態の構成例

図３は、本実施形態にかかる画像処理装置を含む内視鏡システムの構成図である。第１の実施形態と同様に、内視鏡システムは、照明部１０１と、撮像部１０２と、処理部１２０と、制御部１１０と、Ｉ／Ｆ部１１１と、出力部１０９と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。

各部の構成については、第１の実施形態と同様であるため、詳細な説明は省略する。

３．２ 処理の流れ

次に、処理の流れを説明する。本実施形態では、第１の実施形態例と比べ、孤立点判定の際に孤立点の度合い（０または１ではなく間の値も取れる）を判定し、その孤立点度合いに基づいて孤立点補正をする点が異なる。

照明部１０１、撮像部１０２、Ａ／Ｄ変換部１０３、通常光画像取得部１０４、特殊光画像取得部１０５及び対応付け部１０６における処理は、第１の実施形態と同様であるため、詳細な説明は省略し、孤立点判定処理部１０７の処理から説明する。孤立点判定処理部１０７にて、通常光画像取得部１０４で取得された通常光画像の各画素ごとに、孤立点度合いを算出する。

この孤立点度合いの算出方法の一例について述べる。予め孤立点度合い０となる閾値α（≧０）と、孤立点度合い１（＝１００％）となる閾値β（≧α）を与えておく。次に、通常光処理対象画素に隣接する画素の平均値を求め、その平均値と通常光処理対象画素の画素値との差分を求める。その差分の絶対値δとα、βとを比較する。δ≦αならば孤立点度合いは０、δ≧βならば孤立点度合いは１、α＜δ＜βならば孤立点度合いは（δ−α）／（β−α）とする。これを図示したものが図１３である。α＜δ＜βの範囲では、０〜１の範囲で孤立点度合いが直線的に変化する。

また、他の孤立点の判定方法の一例は、前記例の平均値の代わりに、処理対象画素に隣接する画素の中央値を用いることも可能である。

ここでは平均値や中央値を隣接する画素から求めていたが、近傍の画素から求めることも可能である。また、特許文献３にあるような公知の孤立点度合い算出方法を用いてもよい。

補正制御部１０８では特殊光画像の画素について孤立点補正を行う。孤立点判定処理部１０７で算出された孤立点度合いが０より大きい通常光処理対象画素において、対応付け部１０６で対応付けた特殊光処理対象画素の補正を行う。

補正制御部１０８は図１４のように、混合割合算出部５０１を持つ構成も可能である。混合割合算出部５０１は、特殊光処理対象画素と所定の計算値との混合割合γを算出する。混合割合の算出方法としては、孤立点度合いをそのまま用いる方法が考えられる。

次に補正処理の一例について述べる。特殊光処理対象画素と隣接する画素の平均値を算出し所定の計算値とする。特殊光処理対象画素の混合割合は、混合割合γを１から引いたものとし、所定の計算値の混合割合はγとする。補正部５０２にて、これら混合割合で特殊光処理対象画素の画素値と所定の計算値とを混合し補正後の画素値とする。

特殊光処理対象画素の画素値＊（１−γ）＋所定の計算値×γ ・・・・・（１）

また、所定の計算値として前記例の平均値の代わりに、処理対象画素に隣接する画素の中央値を用いることも可能である。

出力部１０９は、特殊光画像取得部１０５で取得された特殊光画像に対して補正制御部１０８で孤立点補正を行い、補正された特殊光画像を出力する。補正されなかった画素はそのまま出力する。モニタなどの表示装置へ特殊光画像として出力する。合わせて通常光画像を出力することも可能である。

このように中間的な補正を行うことで、元の特殊光処理対象画素の成分を反映させることができ、極端な補正になってしまうことを防止できる。

３．３ 変形例

孤立点判定処理部１０７では、先に述べた通常光画像の画素値に基づいた孤立点度合い算出のほかに、特殊光画像の画素値に基づいた孤立点度合いの算出を行うこともできる。この場合の内視鏡システムの構成例は第１の実施形態と同様に図９になる。更に、補正制御部１０８では、通常光画像の孤立点度合いだけでなく、特殊光画像の孤立点度合いを加味して補正することもできる。その一例として、それぞれの孤立点度合いを乗算したものを孤立点度合いとして補正を行う。なお、孤立点度合いの求め方は、乗算に限定されるものではない。通常光画像における孤立点度合いと、特殊光における孤立点度合いの平均値をとってもよいし、大きい方の値もしくは小さい方の値をとってもよい。

また、第１の実施形態で述べたように、図１１、図１２の構成を用いてもよい。ここでは撮像素子にＲ・Ｇ・ＢがＢａｙｅｒ配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。また、特殊光用撮像素子は、Ｇ・Ｂが市松状に配置されたものでもよい。

以上の本実施形態では、孤立点判定処理部１０７は、孤立点判定処理の結果を示す孤立点判定情報を取得する。具体的には、通常光周辺画素から求められる値と、通常光処理対象画素の画素値とに基づいて、孤立点判定情報として孤立度合いを取得する。そして、補正制御部１０８は、孤立度合いに基づいて特殊光画像に施す補正処理を制御する。

これにより、第１の実施形態とは異なり、孤立点判定処理の結果として、孤立点度合いを取得することが可能になる。よって、補正する・しないといった２択の補正ではなく、中間的な補正を行うため、元の成分を反映させることができる。そのため、極端な補正を避けることができ、良好な特殊光画像を観察者に提供することができる。

また、孤立点判定処理部１０７は、通常光周辺画素から求められる値に対する、通常光処理対象画素の画素値の乖離度を、孤立点度合いとして取得してもよい。

これにより、通常光処理対象画素の画素値が周辺の画素の画素値から乖離しているほど、孤立点度合いが高くなるように設定することが可能になる。具体的には例えば、図１３に示すような値をとってもよい。乖離度が高い（差分の絶対値が大きい）ほど、孤立点度合いが大きくなる（１より大きくはならない）ように設定されることがわかる。

また、画像処理装置は、図３に示すように、通常光画像と特殊光画像を対応付ける対応付け部１０６を含む。そして、補正制御部１０８は、特殊光周辺画素の画素値から求められる所定の値と、特殊光処理対象画素の画素値との混合割合を、孤立点度合いに応じて設定し、設定された混合割合に基づいて、所定の値と、特殊光処理対象画素の画素値とを混合することで、補正を行う。具体的には上述した式（１）の処理を行う。また、具体的には例えば、孤立点度合いが大きいほど、特殊光処理対象画素の画素値の混合割合の比率を下げてもよい。

ここで、特殊光周辺画素の画素値から求められる所定の値とは、特殊光周辺画素の画素値の平均値であってもよいし、中央値であってもよい。

これにより、孤立点度合いに応じた混合割合を設定し、設定された混合割合で、特殊光周辺画素の画素値から求められる所定の値と、特殊光処理対象画素を混合する補正を行うことが可能になる。よって、中間的な補正を行うため、元の成分を反映させることができる。具体的には例えば、混合割合が０のときは、値は補正前の特殊光処理対象画素の画素値に等しくなり、混合割合が１の時は、所定の値（例えば平均値や中央値）に等しくなる。混合割合が０〜１の場合は間の値をとることになる。また、具体的には例えば、孤立点度合い＝混合割合としてもよい。このようにすることで、孤立点度合いが高いほど、特殊光処理対象画素の画素値の混合割合の比率を下げることができるため、補正を適正にかけることが可能になる。

また、本実施形態においても、画像処理装置は、第３の実施形態において後述する図１６のようなゲインアップ部を含んでもよい。そして補正制御部１０８は、孤立度合いに応じて、ゲインアップ処理が施された特殊光画像の補正を行ってもよい。

これにより、暗くなりがちな特殊光画像にゲインアップ処理を施した上で、ゲインアップ処理が施された特殊光画像を補正することが可能になる。

また、画像処理装置は、図３に示すように、通常光画像と特殊光画像を対応付ける対応付け部１０６を含む。そして、補正制御部１０８は、ゲインアップ処理による増分値から求められる所定の値と、特殊光処理対象画素の画素値との混合割合を孤立点度合いに応じて設定し、設定された混合割合に基づいて、所定の値と、特殊光処理対象画素の画素値とを混合することで補正を行う。具体的には後述する式（２）の処理を行ってもよい。

これにより、孤立点度合いに応じた混合割合を設定し、設定された混合割合で、ゲインアップ処理の増分値から求められる所定の値と、特殊光処理対象画素を混合する補正を行うことが可能になる。よって、中間的な補正を行うため、極端な補正を避けて、良好な特殊光画像を観察者に提供できる。具体的には例えば、混合割合が０のときは、値は補正前の特殊光処理対象画素の画素値に等しくなり、混合割合が１の時は、所定の値（例えばゲインアップ前の特殊光処理対象画素の画素値）に等しくなる。混合割合が０〜１の場合は間の値をとることになる。

４．第３の実施形態

４．１ 本実施形態の構成例

図９は、本実施形態にかかる画像処理装置を含む内視鏡システムの構成図である。第１の実施形態及び第２の実施形態と同様に、内視鏡システムは、照明部１０１と、撮像部１０２と、処理部１２０と、制御部１１０と、Ｉ／Ｆ部１１１と、出力部１０９と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。

本実施形態では、補正制御部１０８は図１５のように、推測部２０１を持つ。推測部２０１は、特殊光処理対象画素について、どのような原因で孤立点が発生したか推測する。その推測結果を元にその後の補正部２０２で補正を行う。

また、図１６にあるように特殊光画像取得部１０５はゲインアップ部６０１を含む（第１の実施形態及び第２の実施形態では説明しなかったが、第１、第２の実施形態においてもゲインアップ部６０１は存在してもよい）。

４．２ 処理の流れ

次に処理の流れを説明する。なお、ここでは、孤立点判定処理部１０７における処理は第２の実施形態と同様である（つまり、孤立点度合いを求める）ものとして説明するが、これに限定されるものではない。第１の実施形態と同様に、孤立点か否かを求めるものであってもよい。また、第１、第２の実施例の変形例と同様に、孤立点判定処理は通常光画像と特殊光画像の両方を用いて行うものとする。

照明部１０１、撮像部１０２、Ａ／Ｄ変換部１０３、通常光画像取得部１０４、対応付け部１０６及び孤立点判定処理部１０７における処理は、第２の実施形態と同様であるため、詳細な説明は省略し、異なる箇所を重点的に説明する。

特殊光画像取得部１０５のゲインアップ部６０１は、特殊光画像のゲインアップ処理を行う。特殊光画像は、光量が少なくなる狭帯域の光による反射光から得るため、小さな画素値しか得られない。そのため所定の係数（ゲイン）を乗算し画素値を持ち上げる（ゲインアップ）。

対応付け部１０６は、通常光画像の画素と、ゲインアップされた特殊光画像の画素を対応づける。孤立点判定処理部１０７は、通常光画像と、通常光画像に対応づけられた特殊光画像に基づいて、孤立点判定処理を行う。

上述したように補正制御部１０８は、推測部２０１と補正部２０２とを含み、推測部２０１において孤立点の発生要因を推測した上で、孤立点判定処理部１０７における孤立点判定処理に基づいて、補正部２０２で補正を行う。

推測部２０１における推測の一例を述べる。まず、予め光源からの光を発しない状態（または最大の光量）で撮像する。この場合、真っ暗（または真っ白）な画像が取得されるはずであるため、画素値が想定どおりの小さい（または大きい）画素は正常な画素と推測する。

一方、画素値が大きい（または小さい）画素は撮像素子に欠陥があると推測できる。このとき撮像素子に起因して孤立点となっていると推測する。また、前記の「想定どおりの小さい（または大きい）画素値」は、画素値が取りうる値の最小値（または最大値）とすることもできる。

また、ゲインアップを行うことで、元々は周辺画素と比べ画素値が少ししか変わらない場合でも、その差が大きくなり孤立点と判定される場合がある。そこで、ゲインアップに用いられたゲイン量がある所定の閾値より大きい場合にはゲインアップに起因して孤立点となっていると推測する。

また、孤立点の発生要因が、撮像素子でもゲインアップでもないと判定された場合には、推測部２０１は、主に被写体に起因する孤立点であると推測する。

次に、補正部２０２における補正について説明する。補正部２０２には、孤立点判定処理部１０７における孤立点判定処理情報及び、推測部２０１における推測情報が入力されている。そこで、これらの入力にあわせて出力（補正するか否か、する場合はどのような補正処理を行うか）を決定する。

補正部２０２における補正処理を図示したものが図２である。まず、孤立点判定処理により、通常光画像と特殊光画像の両方において孤立点であると判定された画素は、推測部２０１における推測結果によらず、補正を行う。これは、通常光画像と特殊光画像の両方で孤立点と判定された以上、処理対象画素は補正をすべき孤立点である可能性が高いためである。なお、撮像素子及び被写体に起因する場合は第２の実施形態と同様（上述した式（１））の補正処理を行い、ゲインアップに起因する場合は後述するゲインアップ用の補正処理を行う。

また、推測部２０１で発生要因が撮像素子によるものであると推測された場合には、孤立点判定処理の結果によらず、式（１）の方法で補正を行う。撮像素子に起因する孤立点は、どのような被写体においても一定の値しかとらない等、特異な点であり補正すべきだからである。なお、特殊光画像において孤立点と判定されなかった場合（図２のＣ２、Ｃ４）には、元々孤立点ではないので、特に処理を行わなくともよい。ただし上述したように、撮像素子に問題がある画素である特殊光処理対象画素の画素値は、被写体の情報を反映していないため、特殊光周辺画素の画素値と混合する（もしくは置き換える）ことが望ましい。この際、孤立点度合いは小さい値になることが予想されるため、混合割合は孤立点度合いをそのまま用いるのではなく、ある程度値を大きくする処理を施すことなどが考えられる。

また、推測部２０１で発生要因が主に被写体によるものであると推測された場合には、上述した通常光画像・特殊光画像の両方で孤立点と判定された場合を除き、補正は行わない。被写体に起因する孤立点とは、周囲と値が異なるだけであり、被写体の情報を反映している残すべき情報だからである。

また、推測部２０１で発生要因がゲインアップによるものであると推測された場合には、上述した通常光画像・特殊光画像の両方で孤立点と判定された場合、及び、通常光画像において孤立点でなく、特殊光画像において孤立点である場合にゲインアップ用の補正処理を行う。つまり、特殊光画像において孤立点であると判定された場合に、補正処理を行う。ゲインアップによる孤立点は、撮像素子に起因するものほどではないが、被写体の情報を完全には反映できていないと考えられる。そのため、基本的には補正の対象となる。しかし、ゲインアップ用の補正は、後述するようにゲインアップによる増分を抑制する補正であるため、ゲインアップ後にも孤立点でないような画素に補正処理を施すことで、却って値の正確性を乱してしまうおそれがある。そのため、補正処理の必要性が高い、特殊光画像において孤立点と判定された処理対象画素にのみ、補正を行うものとする。

補正部２０２での、ゲインアップ用の補正処理について説明する。この補正では、孤立点度合いが高いほど結果的にゲインを抑えるよう補正する。例えば混合割合をγとすると、下式（２）で補正後の画素値を算出する。

特殊光処理対象画素の画素値＊（１−γ）＋特殊光処理対象画素の画素値÷ゲイン＊γ
・・・・・（２）

上式（２）において、混合割合γは孤立点度合いに基づいて設定されるものであり、一例としては孤立点度合いをそのまま用いてもよい。「特殊光処理対象画素の画素値÷ゲイン」はゲインアップ前の画素値を表しているため、上式（２）はゲインアップ前とゲインアップ後の画素値を混合していることになる。

このように、推測部２０１により孤立点発生要因の推測を行うことで、孤立点判定処理部１０７による孤立点判定処理結果が同一であっても、発生要因に応じて様々な処理を行うことができる。

４．３ 処理の詳細

本実施形態の画像処理装置の処理の詳細を図１７のフローチャートに示す。この処理が開始されると、まず、通常光画像取得部１０４により通常光画像が取得される（Ｓ９０１）。また、特殊光画像取得部１０５により特殊光画像が取得される（Ｓ９０２）。

次に、対応付け部１０６により、通常光画像と特殊光画像の画素の対応付けが行われる（Ｓ９０３）。そして、孤立点判定処理部１０７により、通常光処理対象画素と特殊光処理対象画素について孤立点判定処理を行う（Ｓ９０４）。さらに、推測部２０１において、図１８を用いて後述する推測処理を行う（Ｓ９０５）。ここでは、図１８で詳述するように、被写体に起因する場合にはフラグ＝０とし、ゲインアップに起因する場合はフラグ＝１、撮像素子に起因する場合はフラグ＝２とする。

次に、フラグのチェックを行い（Ｓ９０６）、フラグ＝０（被写体に起因）の場合には、通常光処理対象画素が孤立点であり、かつ、孤立点処理対象画素が孤立点であるかの判定を行う（Ｓ９０７）。判定が真であった場合には補正処理を行い、それ以外の場合には補正処理は行われない。

また、フラグ＝１（ゲインアップに起因）の場合には、特殊光処理対象画素が孤立点であるかの判定が行われ（Ｓ９０９）、孤立点であった場合にはゲインアップ用の補正処理が行われる（Ｓ９１０）。孤立点でなかった場合には補正処理は行われない。

また、フラグ＝２（撮像素子に起因）の場合には、必ず補正処理が行われる（Ｓ９１１）。

次に、図１８を用いて図１７のＳ９０５における推測処理の詳細を説明する。この処理が開始されると、まず、光量ｍａｘで照射が行われる（Ｓ１００１）。そして、そのときの画素値が所与の閾値より大きいか否かを判定し（Ｓ１００２）、閾値より小さかった場合には、撮像素子に起因するものと判断し、フラグ＝２とする（Ｓ１００３）。

Ｓ１００２において、画素値が閾値よりも大きかった場合には、特殊光画像におけるゲイン量を所与の閾値と比較する（Ｓ１００４）。ゲイン量が閾値よりも大きかった場合には、ゲインアップに起因するものと判断し、フラグ＝１とする（Ｓ１００５）。また、ゲイン量が閾値よりも小さかった場合には、主に被写体に起因するものと判断し、フラグ＝０とする（Ｓ１００６）。

以上の本実施形態では、図１５に示したように、補正制御部１０８は、孤立点の発生要因を推測する推測部２０１を含む。そして、補正制御部１０８は、推測部２０１が推測した発生要因に基づいて、特殊光画像に対して施す補正処理を制御する。

これにより、孤立点の発生要因に応じた柔軟な補正を行うことができるため、良好な特殊光画像を観察者に提供することが可能になる。

また、図２に示したように、推測部２０１によって発生要因が被写体に起因すると推測された場合で、かつ、通常光処理対象画素及び特殊光処理対象画素の少なくとも一方が孤立点でないと判定された場合には、補正制御部１０８は、特殊光処理対象画素の補正をスキップする制御を行う。

これにより、発生要因が被写体であると推測された場合には、通常光・特殊光の両方で孤立点と判定された場合を除いて、基本的に補正処理は行われないことになり、被写体に起因する情報は極力残すことが可能になる。なお、ここでは、通常光・特殊光の両方で孤立点と判定された場合には、補正すべき孤立点であるため、補正するものとしたが、これに限定されるものではない。推測の精度が高く、かつ、被写体起因と推測された場合には、通常光・特殊光の孤立点判定処理にかかわらず、補正をスキップしてもよい。

また、図２に示したように、推測部２０１によって発生要因が撮像素子に起因すると推測された場合には、補正制御部１０８は、特殊光処理対象画素を補正する。

これにより、発生要因が撮像素子であると推測された場合には、通常光・特殊光の孤立点判定処理にかかわらず、特殊光処理対象画素を補正することが可能になる。撮像素子起因の画素は被写体の情報を反映していないと考えられるため、積極的に補正を行うべきであるから、このような設定は非常に有用である。

また、画像処理装置は、図１６に示したように、ゲインアップ部を含んでもよい。そして補正制御部１０８は、ゲインアップ処理に基づいて、ゲインアップ処理が施された特殊光画像の補正を行ってもよい。

これにより、暗くなりがちな特殊光画像にゲインアップ処理を施した上で、ゲインアップ処理が施された特殊光画像を補正することが可能になる。また、その際の補正はゲインアップ処理に基づいたものにすることができる。

また、図２に示したように、推測部２０１によって発生要因がゲインアップ処理に起因すると推測された場合で、かつ、特殊光処理対象画素が孤立点であると判定された場合には、補正制御部１０８は、ゲインアップ処理に基づいて、特殊光処理対象画素の補正を行う。

これにより、発生要因がゲインアップ処理であると推測された場合には、特殊光処理対象画素が孤立点であるときに、補正処理が行われるため、ゲインアップ処理により孤立点となってしまった特殊光処理対象画素に対して適切な補正を行うことができる。その際、ゲインアップ処理に基づいた補正処理とは、具体的には例えば、ゲインアップ後の特殊光処理対象画素の画素値を、ゲインアップ前の特殊光処理対象画素の画素値に置き換える処理であってもよい。また、第２の実施形態のように、孤立点度合いを求めることが可能な場合には、上述した式（２）のような混合を行ってもよい。

また、孤立点と判定された特殊光処理対象画素の画素値が、最大の輝度値又は最小の輝度値を有する場合には、推測部２０１は、孤立点の発生要因として、撮像素子に起因するものであると推測してもよい。そして、補正制御部１０８は、最大の輝度値を持つ場合には、画素値を減少させ、最小の輝度値を持つ場合には、画素値を増加させる補正を行う。

これにより、最大又は最小の輝度値を持つ画素（１０ビットであれば１０２３又は０）は、異常な値を示しているものとして（いわゆる白飛び、黒飛びをしているものとして）補正処理の対象にすることが可能になる。具体的には、白飛び時には画素値を減少させ、黒飛び時には画素値を増加させる。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

Ｓ１ 光源装置、Ｓ２ 白色光光源、Ｓ３ 回転フィルタ、Ｓ４ 集光レンズ、
Ｓ６ ライトガイドファイバ、Ｓ７ 照明光学系、Ｓ８ 集光レンズ、
Ｓ９ 撮像素子、Ｓ１０ 白色光透過フィルタ、
Ｓ１１ 狭帯域透過フィルタ、Ｓ２２ 白色光光源、Ｓ２３ 集光レンズ、
Ｓ２５ ライトガイドファイバ、Ｓ２７ 集光レンズ、Ｓ２８ スプリッタ、
Ｓ２９ 通常光用撮像素子、Ｓ３０ 狭帯域透過フィルタ、Ｓ３１ 特殊光用撮像素子、
１０１ 照明部、１０２ 撮像部、１０３，１０３ａ，１０３ｂ Ａ／Ｄ変換部、
１０４ 通常光画像取得部、１０５ 特殊光画像取得部、
１０６ 対応付け部、１０７ 孤立点判定処理部、１０８ 補正制御部、
１０９ 出力部、１１０ 制御部、１１１ Ｉ／Ｆ部、２０１ 推測部、
２０２ 補正部、４０１ 照明部、４０２ 撮像部、４０３ 孤立度算出部、
５０１ 混合割合算出部、５０２ 補正部、６０１ ゲインアップ部、
６０２ 特殊光画像取得部

Claims (32)

1. 白色光の波長帯域の情報を有する被写体像を含む通常光画像を取得する通常光画像取得部と、
   特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得する特殊光画像取得部と、
   前記通常光画像内の処理対象画素である通常光処理対象画素の画素値に基づいて、前記通常光処理対象画素の孤立点判定処理を行う孤立点判定処理部と、
   前記孤立点判定処理部による前記孤立点判定処理に基づいて、前記特殊光画像に施す補正処理を制御する補正制御部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記孤立点判定処理部は、
   前記通常光画像内の処理対象画素である通常光処理対象画素の画素値と、他の画素の画素値とに基づいて、前記通常光処理対象画素の孤立点判定処理を行うことを特徴とする画像処理装置。
3. 請求項２において、
   前記他の画素は、
   前記通常光処理対象画素の周辺に位置する通常光周辺画素であることを特徴とする画像処理装置。
4. 請求項３において、
   前記孤立点判定処理部は、
   前記通常光周辺画素の画素値から求められる値と、前記通常光処理対象画素の画素値との差分の絶対値が所定の閾値を超えた場合に、前記通常光処理対象画素が孤立点であると判定する処理を行うことを特徴とする画像処理装置。
5. 請求項１において、
   前記通常光画像と前記特殊光画像に基づいて、前記通常光処理対象画素と、前記通常光処理対象画素に対応する前記特殊光画像内の画素である特殊光処理対象画素との対応付けを行う対応付け部を含み、
   前記補正制御部は、
   前記孤立点判定処理部により孤立点と判定された前記通常光処理対象画素に対応する前記特殊光処理対象画素を補正する制御を行うことを特徴とする画像処理装置。
6. 請求項５において、
   前記補正制御部は、
   前記特殊光処理対象画素の画素値を、前記特殊光処理対象画素の周辺に位置する特殊光周辺画素の画素値から求められる値に置き換える補正制御を行うことを特徴とする画像処理装置。
7. 請求項５において、
   前記孤立点判定処理部は、
   前記特殊光処理対象画素の画素値と、前記特殊光処理対象画素の周辺に位置する特殊光周辺画素の画素値とに基づいて、前記特殊光処理対象画素の孤立点判定処理を行うことを特徴とする画像処理装置。
8. 請求項７において、
   前記孤立点判定処理部により、前記通常光画像において前記通常光処理対象画素が前記孤立点であると判定され、かつ、前記特殊光画像において前記通常光処理対象画素に対応する前記特殊光処理対象画素が孤立点であると判定された場合に、
   前記補正制御部は、
   前記特殊光処理対象画素を補正する制御を行うことを特徴とする画像処理装置。
9. 請求項５において、
   前記補正制御部は、
   前記特殊光画像において、前記孤立点の発生要因を推測する推測部を含み、
   前記補正制御部は、
   前記推測部が推測した孤立点の発生要因に基づいて、前記特殊光画像に対して施す補正処理を制御することを特徴とする画像処理装置。
10. 請求項９において、
    前記推測部によって、前記孤立点の前記発生要因が、前記特殊光画像内に写された被写体に起因すると推測された場合で、かつ、
    前記孤立点判定処理部により、前記通常光画像の前記通常光処理対象画素及び前記特殊光画像の前記特殊光処理対象画素の少なくとも一方が孤立点でないと判定された場合に、
    前記補正制御部は、
    前記特殊光処理対象画素の補正をスキップする制御を行うことを特徴とする画像処理装置。
11. 請求項９において、
    前記推測部によって、前記孤立点の前記発生要因が、前記特殊光画像の撮像に用いた撮像素子に起因すると推測された場合に、
    前記補正制御部は、
    前記特殊光処理対象画素を補正する制御を行うことを特徴とする画像処理装置。
12. 請求項９において、
    前記特殊光画像内の各画素の画素値を所定のゲイン量で一律に増加させるゲインアップ処理を施すゲインアップ部を含み、
    前記補正制御部は、
    前記ゲインアップ部による前記ゲインアップ処理に基づいて、前記特殊光処理対象画素を補正する制御を行うことを特徴とする画像処理装置。
13. 請求項１２において、
    前記推測部によって、前記孤立点の前記発生要因が、前記ゲインアップ部による前記ゲインアップ処理に起因すると推測された場合で、かつ、
    前記孤立点判定処理部により、前記特殊光画像において前記通常光処理対象画素に対応する前記特殊光処理対象画素が孤立点であると判定された場合に、
    前記補正制御部は、
    前記ゲインアップ部による前記ゲインアップ処理に基づいて、前記特殊光処理対象画素を補正する制御を行うことを特徴とする画像処理装置。
14. 請求項９において、
    前記孤立点と判定された前記特殊光処理対象画素の画素値が、最大の輝度値または最小の輝度値を有する場合、
    前記推測部は、
    前記孤立点の発生要因として、前記特殊光画像の撮像に用いた撮像素子に起因するものであると推測することを特徴とする画像処理装置。
15. 請求項１４において、
    前記孤立点と判定された特殊光処理対象画素の画素値が最大の輝度値を有する場合、
    前記補正制御部は、
    前記特殊光処理対象画素の画素値を減少させる補正を行うことを特徴とする画像処理装置。
16. 請求項１４において、
    前記孤立点と判定された特殊光処理対象画素の画素値が最小の輝度値を有する場合、
    前記補正制御部は、
    前記特殊光処理対象画素の画素値を増加させる補正を行うことを特徴とする画像処理装置。
17. 請求項１において、
    前記孤立点判定処理部は、
    前記孤立点判定処理の結果を示す孤立点判定情報を取得することを特徴とする画像処理装置。
18. 請求項１７において、
    前記孤立点判定処理部は、
    前記通常光処理対象画素と、前記通常光処理対象画素の周辺に位置する通常光周辺画素から求められる値とに基づいて、前記孤立点判定情報として、前記通常光処理対象画素の孤立点度合いを取得し、
    前記補正制御部は、
    前記通常光処理対象画素の前記孤立点度合いに基づいて、前記特殊光画像に施す補正処理を制御することを特徴とする画像処理装置。
19. 請求項１８において、
    前記孤立点判定処理部は、
    前記通常光周辺画素から求められる値に対する、前記通常光処理対象画素の乖離度を前記孤立点度合いとして取得することを特徴とする画像処理装置。
20. 請求項１９において、
    前記通常光画像と前記特殊光画像に基づいて、前記通常光処理対象画素と、前記通常光処理対象画素に対応する前記特殊光画像内の画素である特殊光処理対象画素との対応付けを行う対応付け部を含み、
    前記補正制御部は、
    前記特殊光処理対象画素の周辺の画素である特殊光周辺画素の画素値から求められる所定の値と、補正前の前記特殊光処理対象画素の画素値との混合割合を、前記通常光処理対象画素の前記孤立点度合いに応じて設定し、
    前記混合割合に基づいて、補正前の前記特殊光処理対象画素の画素値と、前記所定の値とを混合することによって、前記特殊光処理対象画素の画素値を補正する制御を行うことを特徴とする画像処理装置。
21. 請求項２０において、
    前記所定の値は、複数の前記特殊光周辺画素の画素値の平均値及び中央値の少なくとも一方に応じた値であることを特徴とする画像処理装置。
22. 請求項２０において、
    前記補正制御部は、
    前記通常光処理対象画素の孤立点度合いが大きいほど、前記特殊光処理対象画素の混合割合の比率を下げる制御を行うことを特徴とする画像処理装置。
23. 請求項１９において、
    前記特殊光画像内の各画素の画素値を所定のゲイン量で一律に増加させるゲインアップ処理を施すゲインアップ部を含み、
    前記補正制御部は、
    前記通常光処理対象画素の孤立点度合いに応じて、前記ゲインアップ処理が施された特殊光画像内において、前記通常光処理対象画素に対応する特殊光処理対象画素の画素値を補正する制御を行うことを特徴とする画像処理装置。
24. 請求項２３において、
    前記通常光画像と前記特殊光画像に基づいて、前記通常光処理対象画素と、前記通常光処理対象画素に対応する前記特殊光画像内の画素である特殊光処理対象画素との対応付けを行う対応付け部を含み、
    前記補正制御部は、
    前記特殊光処理対象画素のゲインアップ処理による増分値から求められる所定の値と、補正前の前記特殊光処理対象画素の画素値との混合割合を、前記通常光処理対象画素の孤立点度合いに応じて設定し、
    前記混合割合に基づいて、補正前の前記特殊光処理対象画素の画素値と、前記所定の値とを混合することによって、前記特殊光処理対象画素の画素値を補正する制御を行うことを特徴とする画像処理装置。
25. 請求項１において、
    前記特定の波長帯域は、前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
26. 請求項２５において、
    前記通常光画像と前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
27. 請求項２６において、
    前記波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
28. 請求項１において、
    前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
29. 請求項２８において、
    前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
30. 請求項１において、
    前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
31. 請求項３０において、
    前記波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
32. 白色光の波長帯域の情報を有する被写体像を含む通常光画像を取得する通常光画像取得部と、
    特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得する特殊光画像取得部と、
    前記通常光画像内の処理対象画素である通常光処理対象画素の画素値に基づいて、前記通常光処理対象画素の孤立点判定処理を行う孤立点判定処理部と、
    前記孤立点判定処理部による前記孤立点判定処理に基づいて、前記特殊光画像に施す補正処理を制御する補正制御部として、
    コンピュータを機能させることを特徴とするプログラム。

Images