JP5242516B2

JP5242516B2 - 画像処理装置

Info

Publication number: JP5242516B2
Application number: JP2009172419A
Authority: JP
Inventors: 幸子朝鳥
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2009-07-23
Filing date: 2009-07-23
Publication date: 2013-07-24
Anticipated expiration: 2029-07-23
Also published as: JP2011024726A

Description

本発明は、画像処理装置に関し、特に、自家蛍光を利用した観察に応じた画像を生成する画像処理装置に関するものである。

被検体内部における被写体の像を取得するとともに、該被写体の像に応じた画像を生成可能な内視鏡装置は、医療分野等において従来広く用いられている。特に、医療分野における内視鏡装置は、例えば、生体内の検査及び観察等を行うために用いられている。

医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、白色光を生体内の被写体に照射し、肉眼による観察と略同様の被写体の像としての白色光画像を取得する白色光観察（通常観察）の他に、特定の波長帯域を有する励起光及び参照光を生体内の被写体に照射し、該励起光に応じて被写体から発せられる自家蛍光の像としての自家蛍光画像と、該参照光が被写体において反射した反射光の像としての参照光画像（反射光画像）とを取得する自家蛍光観察がある。そして、このような自家蛍光観察を実施可能な内視鏡装置が、例えば、日本国特開２００４−２１５７３８号公報に開示されている。

ところで、自家蛍光観察においては、一般的に、腫瘍部等の病変部位よりも正常部位の方が強い蛍光を発するとされている。しかし、観察条件次第により、正常部位よりも病変部位の方が強い蛍光を発するような状況、または、正常部位と病変部位とが略同一の強度の蛍光を発するような状況が生じ得るため、結果的に、これらの状況においては、正常部位と病変部位とを視覚的に区別できない画像が生成あるいは出力されてしまう。

また、自家蛍光観察においては、例えばゲイン値を上げるような、画像全域の明るさを一様に高めるための処理が行われている。しかし、このような処理によれば、明るさを高める必要のある領域の明るさを高められる反面、（例えば管腔のような、）明るさを高める必要のない領域の明るさも高められてしまうため、結果的に、Ｓ／Ｎの低い画像が生成あるいは出力されてしまう。

一方、日本国特開２００４−２１５７３８号公報によれば、励起光が照射されていないために本来自家蛍光を発していないはずの部位が病変部位として表示されることを防ぐための技術が開示されている反面、前述した課題、及び、前述した課題を解決するための手段については何ら言及されていない。

本発明は、前述した事情に鑑みてなされたものであり、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、Ｓ／Ｎの低下が抑制された画像を生成可能な画像処理装置を提供することを目的としている。

本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第１の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第２の判定部と、前記第１の判定部の判定結果、及び、前記第２の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、を有する。

本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第１の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第２の判定部と、前記第１の判定部の判定結果、及び、前記第２の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、を有する。

本発明における画像処理装置によると、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、Ｓ／Ｎの低下が抑制された画像を生成可能である。

本発明の実施例に係る画像処理装置を有する内視鏡装置の要部の構成を示す図。励起光カットフィルタの分光特性の一例を示す図。切替フィルタの具体的な構成の一例を示す図。図３の切替フィルタに設けられたＲフィルタと、Ｇフィルタと、Ｂフィルタとの分光特性を示す図。図３の切替フィルタに設けられたＥ１フィルタおよびＧ１フィルタの分光特性を示す図。画像処理部の具体的な構成の一例を示すブロック図。図６の画像処理部に設けられた画質補正部の具体的な構成の一例を示すブロック図。Ｆ１成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。Ｒｅｆ１成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。暗部画素判定部において行われる処理の一例を示すフローチャート。明るさ類似画素判定部において行われる処理の一例を示すフローチャート。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。図１から図１１は、本発明の実施例に係るものである。

内視鏡装置１は、図１に示すように、体腔内の被写体を撮像して撮像信号を出力する内視鏡２と、被写体の観察の際に用いる光を発する光源装置３と、内視鏡２から出力される撮像信号に基づいて観察画像を生成するプロセッサ４と、プロセッサ４により生成された観察画像を表示するモニタ５と、を有して構成されている。

内視鏡２は、体腔内に挿入可能な形状等を有する挿入部７を有している。また、挿入部７の先端側には、図示しない湾曲操作部の操作に応じた所望の方向へ湾曲可能な先端部８が設けられている。

一方、挿入部７及び先端部８の内部には、光源装置３から照射される光を先端部へ導くライトガイド９が挿通されている。

ライトガイド９の一方の端部は、光源装置３に対して着脱自在に接続される光源用コネクタ１０（の内部）に配置されている。また、ライトガイド９の他方の端部は、先端部８に設けられた照明レンズ２４の近傍に配置されている。

先端部８は、ライトガイド９により導かれた光を拡散させて被写体へ出射する照明レンズ２４と、被写体の光学像を結ぶための対物レンズ系２５と、遠点から近点までフォーカスを合わせるため空間的に入射光量を制限する絞り２６と、励起光カットフィルタ２７と、対物レンズ系２５の結像位置に配置された撮像素子２８と、スコープスイッチ２９と、スコープＩＤ発生部４１とを有している。

励起光カットフィルタ２７は、蛍光観察の際に照射される励起光（の反射光）を遮光するとともに、励起光よりも長波長側の光を透過させる特性を有している。具体的には、励起光カットフィルタ２７は、例えば図２に示すように、４７０〜７００ｎｍの波長帯域を有する光を透過させ、かつ、該波長帯域以外の光を遮る特性を有している。

撮像素子２８は、プロセッサ４から出力される撮像素子駆動信号に応じて駆動される。また、撮像素子２８は、対物レンズ系２５を経て結像された被写体の像を撮像し、撮像した被写体の像を撮像信号に変換してプロセッサ４へ出力する。

スコープスイッチ２９には、図示しない１または複数の入力インターフェースが設けられている。具体的には、スコープスイッチ２９には、例えば、レリーズスイッチ、フリーズスイッチ、及び、通常観察と蛍光観察との切替を行うための観察モード切替スイッチ等が設けられている。また、スコープスイッチ２９は、各入力インターフェースの操作に応じた操作指示信号をプロセッサ４へ出力する。

スコープＩＤ発生部４１は、内視鏡２とプロセッサ４とが電気的に接続された際に、内視鏡２の機種情報等を備えたＩＤ情報をプロセッサ４へ出力することができるような構成を有している。

光源装置３は、赤外波長帯域から可視光帯域を含む光を発するランプ１１と、プロセッサ４の制御に応じてランプ１１を駆動するランプ駆動部１２と、ランプ１１の照射光路上に配置され、プロセッサ４の制御に応じて絞り量を増減可能な光源絞り１３と、光源絞り１３の後段に配置された切替フィルタ部１４と、切替フィルタ部１４を通過した光を集光する集光レンズ１５と、を有している。

切替フィルタ部１４は、ランプ１１の照射光路上に介挿される切替フィルタ１７と、切替フィルタ１７を回転駆動させるための回転用モータ１６と、回転用モータ１６に取り付けられたラック１８と、ラック１８に螺合するように取り付けられたピニオン１９と、ピニオン１９を回転駆動することにより、切替フィルタ１７をランプ１１の照射光路の軸に対して垂直方向に移動させるための移動用モータ２０と、を有している。

回転用モータ１６は、回転軸等に取り付けられているとともに、切替フィルタ１７の駆動状態に関する情報を駆動状態信号に変換してプロセッサ４へ出力することが可能な、図示しないエンコーダを有して構成されている。

切替フィルタ１７は、例えば図３に示すように、円板形状を有して形成されている。切替フィルタ１７の内周部には、通常観察の際に用いられるＲＧＢフィルタ２１が配置されている。切替フィルタ１７の外周部には、蛍光観察の際に用いられる蛍光観察用フィルタ２２が配置されている。そして、ＲＧＢフィルタ２１及び蛍光観察用フィルタ２２は、円板形状の切替フィルタ１７において同心状となるように配置されている。

以上に述べたような構成において、スコープスイッチ２９の観察モード切替スイッチが操作されると、該操作に応じた操作指示信号がプロセッサ４へ出力され、該操作指示信号に基づく移動用モータ２０の動作制御が行われる。移動用モータ２０は、スコープスイッチ２９の観察モード切替スイッチにおいて通常観察が選択された際には、ＲＧＢフィルタ２１をランプ１１の照射光路上に配置するように動作する。また、移動用モータ２０は、スコープスイッチ２９の観察モード切替スイッチにおいて蛍光観察が選択された際には、蛍光観察用フィルタ２２をランプ１１の照射光路上に配置するように動作する。

ＲＧＢフィルタ２１は、周方向を略３等分するように設けられた、赤色の波長帯域を有する光を透過させるＲフィルタ２１ａと、緑色の波長帯域を有する光を透過させるＧフィルタ２１ｂと、青色の波長帯域を有する光を透過させるＢフィルタ２１ｃと、を有している。また、Ｒフィルタ２１ａ、Ｇフィルタ２１ｂ及びＢフィルタ２１ｃの各フィルタは、通常観察の際に、回転用モータ１６による回転駆動に応じ、ランプ１１の照射光路上に順次かつ略連続的に介挿されるように構成されている。

Ｒフィルタ２１ａは、例えば図４に示すように、６００〜７００ｎｍの波長帯域を有するＲ光を透過させる特性を有している。Ｇフィルタ２１ｂは、例えば図４に示すように、５００〜６００ｎｍの波長帯域を有するＧ光を透過させる特性を有している。Ｂフィルタ２１ｃは、例えば図４に示すように、４００〜５００ｎｍの波長帯域を有するＢ光を透過させる特性を有している。

蛍光観察用フィルタ２２は、周方向を略２等分するように設けられた、狭帯域の励起光を透過させるＥ１フィルタ２２ａと、狭帯域の緑色の波長帯域を有する光を透過させるＧ１フィルタ２２ｂと、を有している。また、Ｅ１フィルタ２２ａ及びＧ１フィルタ２２ｂの各フィルタは、蛍光観察の際に、回転用モータ１６による回転駆動に応じ、ランプ１１の照射光路上に順次かつ略連続的に介挿されるように構成されている。

Ｅ１フィルタ２２ａは、例えば図５に示すように、３９５〜４４５ｎｍの波長帯域を有するＥ１光を透過させる特性を有している。Ｇ１フィルタ２２ｂは、例えば図５に示すように、５４０〜５６０ｎｍの波長帯域を有するＧ１光を透過させる特性を有している。

なお、Ｇ１フィルタ２２ｂの特性は、前述したものに限定されず、例えば、５５０ｎｍを含み、かつ、半値全幅が５０ｎｍ未満の波長帯域を有する光を透過させるような特性を有していれば良い。

プロセッサ４は、撮像素子駆動部３１と、プリアンプ３２と、Ａ／Ｄコンバータ３４と、マルチプレクサ３５と、第１フレームメモリ３６ａと、第２フレームメモリ３６ｂと、第３フレームメモリ３６ｃと、制御部３７と、画像処理部３８と、Ｄ／Ａコンバータ３９と、調光部４０と、機種検知部４２と、を有して構成されている。

撮像素子２８から出力された撮像信号は、プリアンプ３２において増幅された後、Ａ／Ｄコンバータ３４によりアナログ信号からデジタル信号に変換される。そして、デジタル信号に変換された撮像信号は、該撮像信号の記録先を色成分毎に切り替えるマルチプレクサ３５を経た後、第１フレームメモリ３６ａ、第２フレームメモリ３６ｂおよび第３フレームメモリ３６ｃに一時的に記録される。

ここで、第１フレームメモリ３６ａには、モニタ５におけるＲ（赤）チャンネルの輝度成分として割り当てられる色成分の信号が入力される。また、第２フレームメモリ３６ｂには、モニタ５におけるＧ（緑）チャンネルの輝度成分として割り当てられる色成分の信号が入力される。さらに、第３フレームメモリ３６ｃには、モニタ５におけるＢ（青）チャンネルの輝度成分として割り当てられる色成分の信号が入力される。

第１フレームメモリ３６ａ、第２フレームメモリ３６ｂ及び第３フレームメモリ３６ｃに入力及び記録された各色成分の信号は、所定の時間周期において同期した画像信号として、画像処理部３８へ出力される。

画像処理部３８は、入力される画像信号に対して種々の信号処理を施した後、該信号処理後の画像信号をＤ／Ａコンバータ３９へ出力する。なお、画像処理部３８の具体的な構成、及び、画像処理部３８において行われる信号処理の詳細については、それぞれ後述する。

そして、画像処理部３８において種々の信号処理が施された画像信号は、Ｄ／Ａコンバータ３９によりアナログの映像信号に変換された後、モニタ５へ出力される。

撮像素子駆動部３１は、例えば、制御部３７の制御に応じて電子シャッタ機能を動作させることにより、撮像素子２８の受光光量を観察の種別に応じた適切な光量とするような制御を行う。

調光部４０は、プリアンプ３２を経た撮像信号に基づき、該撮像信号の明るさを検出する。そして、調光部４０は、検出した前記明るさと、制御部３７の制御とに基づき、光源絞り１３の絞り量を観察の種別に応じた適切な絞り量とするような制御を行う。

機種検知部４２は、スコープＩＤ発生部４１から出力されたＩＤ情報に基づいて内視鏡２の機種情報を検知し、検知した該機種情報を制御部３７に対して出力する。

制御部３７は、回転用モータ１６のエンコーダから出力される駆動状態信号に基づいてタイミング信号を生成する。そして、制御部３７は、撮像素子駆動部３１、マルチプレクサ３５、画像処理部３８及び調光部４０の各部に前記タイミング信号を出力することにより、該各部の同期を取りながら動作させるような制御を行う。

制御部３７は、スコープスイッチ２９の観察モード切替スイッチから出力される操作指示信号に基づき、観察の種別に応じた制御を撮像素子駆動部３１、マルチプレクサ３５、画像処理部３８及び調光部４０の各部に対して行う。

具体的には、制御部３７は、例えば、スコープスイッチ２９の観察モード切替スイッチにおいて通常観察が選択された場合、前述のＲ光の照射時に取得される色成分としてのＲ成分の信号を第１フレームメモリ３６ａに記録させ、前述のＧ光の照射時に取得される色成分としてのＧ成分の信号を第２フレームメモリ３６ｂに記録させ、前述のＢ光の照射時に取得される色成分としてのＢ成分の信号を第３フレームメモリ３６ｃに記録させるような制御をマルチプレクサ３５に対して行う。また、制御部３７は、例えば、スコープスイッチ２９の観察モード切替スイッチにおいて蛍光観察が選択された場合、前述のＥ１光の照射に伴って取得される蛍光像の色成分としてのＦ１成分の信号を第２フレームメモリ３６ｂに記録させ、前述のＧ１光の照射に伴って取得される参照光像（反射光像）の色成分としてのＲｅｆ１成分の信号を第１フレームメモリ３６ａ及び第３フレームメモリ３６ｃの少なくとも一方に記録させるような制御をマルチプレクサ３５に対して行う。

また、制御部３７は、スコープスイッチ２９の観察モード切替スイッチから出力される操作指示信号に基づき、ランプ１１から発せられる光の光量を観察の種別に応じた適切な光量とするような制御をランプ駆動部１２に対して行う。

次に、図６及び図７を参照しつつ、画像処理部３８の具体的な構成について説明する。

画像処理部３８は、図６に示すように、前処理部５１と、ノイズ低減部５２と、セレクタ５３と、画質補正部５４と、ガンマ補正部５５と、後処理部５６と、を有して構成されている。なお、画像処理部３８の各部は、制御部３７からのタイミング信号の入力タイミングに同期しながら動作するように構成されているものとする。

前処理部５１は、第１フレームメモリ３６ａ、第２フレームメモリ３６ｂ及び第３フレームメモリ３６ｃから出力される各色成分の信号を有する画像信号に対し、Ｙ／Ｃ分離処理、クランプ処理、ＡＧＣ（オートゲインコントロール）処理、及び、ホワイトバランス処理の各処理を順次施した後、該各処理を施した画像信号をノイズ低減部５２へ出力する。

ノイズ低減部５２は、前処理部５１から出力される画像信号に対し、ノイズリダクション処理を施した後、該ノイズリダクション処理を施した画像信号をセレクタ５３へ出力する。

セレクタ５３は、制御部３７の制御に基づき、通常観察の場合には、ノイズ低減部５２からの画像信号をガンマ補正部５５へ出力する。一方、セレクタ５３は、制御部３７の制御に基づき、蛍光観察の場合には、ノイズ低減部５２からの画像信号を画質補正部５４へ出力する。

画質補正部５４は、図７に示すように、明るさ算出部６１と、除算処理部６２と、暗部画素判定部６３と、明るさ類似画素判定部６４と、ゲイン調整部６５と、乗算部６６と、を有して構成されている。

明るさ算出部６１は、蛍光観察の場合にセレクタ５３から出力される画像信号にそれぞれ含まれる色成分である、Ｆ１成分の信号の明るさ（輝度）と、Ｒｅｆ１成分の信号の明るさ（輝度）と、を算出する。

除算処理部６２は、蛍光観察の場合にセレクタ５３から出力される画像信号にそれぞれ含まれる色成分である、Ｆ１成分の信号からＲｅｆ１成分の信号を除算することにより、新たな画像信号を生成する。その後、除算処理部６２は、生成した前記新たな画像信号を乗算部６６へ出力する。

暗部画素判定部６３は、明るさ算出部６１により算出されたＦ１成分の信号の明るさと、Ｒｅｆ１成分の信号の明るさと、に基づく比較処理を行うことにより、暗部画素が存在する画素位置を判定した後、判定結果をゲイン調整部６５へ出力する。

明るさ類似画素判定部６４は、明るさ算出部６１により算出されたＦ１成分の信号の明るさと、Ｒｅｆ１成分の信号の明るさと、に基づく比較処理を行うことにより、Ｆ１成分及びＲｅｆ１成分の信号において類似の明るさを有する画素が存在する画素位置を判定した後、判定結果をゲイン調整部６５へ出力する。

ゲイン調整部６５は、暗部画素判定部６３における判定結果と、明るさ類似画素判定部６４における判定結果と、に基づき、所定のゲイン値＝α（α＞１）を乗ずる画素の画素位置と、ゲイン値＝１を乗ずる画素の画素位置とをそれぞれ判別した後、判別結果を乗算部６６へ出力する。

乗算部６６は、除算処理部６２から出力される画像信号に含まれる除算後の各画素に対し、ゲイン調整部６５において判別されたゲイン値（１またはα）を乗ずる処理を行った後、該処理後の画像信号をガンマ補正部５５へ出力する。

ガンマ補正部５５は、セレクタ５３または画質補正部５４から出力される画像信号に対してガンマ補正を施した後、ガンマ補正された画像信号を後処理部５６へ出力する。

後処理部５６は、ガンマ補正部５５から出力される画像信号に対し、拡大／縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理を順次施した後、該各処理を施した画像信号をＤ／Ａコンバータ３９へ出力する。

続いて、本発明の実施例としてのプロセッサ４を有する内視鏡装置１の作用について説明を行う。なお、以降においては、通常観察に関する詳細な説明を省くとともに、蛍光観察に関する説明を主に行うものとする。

まず、術者は、内視鏡装置１の各部を図１に示すように接続した後、該各部の電源を投入する。また、術者は、内視鏡装置１の各部の電源を投入する前後において、スコープスイッチ２９の観察モード切替スイッチを操作することにより、蛍光観察を選択する。

一方、制御部３７は、スコープスイッチ２９の観察モード切替スイッチにおいて蛍光観察が選択されたことを検出すると、蛍光観察用フィルタ２２がランプ１１の照射光路上に配置されるように移動用モータ２０を動作させる。その後、回転用モータ１６の回転駆動に応じ、Ｅ１フィルタ２２ａを通過したＥ１光と、Ｇ１フィルタ２２ｂを通過したＧ１光とがライトガイド９に順次供給される。

撮像素子２８は、Ｅ１光の照射に応じて被写体の蛍光像を取得し、また、Ｇ１光の照射に応じて該被写体の参照光像を取得する。そして、撮像素子２８は、取得した蛍光像及び参照光像に基づく撮像信号を生成して順次プロセッサ４へ出力する。

プロセッサ４へ出力された撮像信号は、プリアンプ３２において増幅され、Ａ／Ｄコンバータ３４によりアナログ信号からデジタル信号に変換された後、マルチプレクサ３５へ入力される。そして、マルチプレクサ３５へ入力された撮像信号のうち、蛍光像の色成分としてのＦ１成分の信号が第２フレームメモリ３６ｂへ出力され、参照光像の色成分としてのＲｅｆ１成分の信号が第１フレームメモリ３６ａ及び第３フレームメモリ３６ｃの少なくとも一方へ出力される。

第１フレームメモリ３６ａ、第２フレームメモリ３６ｂ及び第３フレームメモリ３６ｃに入力及び記録されたＦ１成分及びＲｅｆ１成分の信号は、所定の時間周期において同期した画像信号として、画像処理部３８へ出力される。

画像処理部３８へ出力された画像信号は、前処理部５１において種々の信号処理が施され、ノイズ低減部５２においてノイズリダクション処理が施された後、セレクタ５３を経て画質補正部５４の明るさ算出部６１に入力される。

ここで、図８及び図９に示すように、セレクタ５３から出力される画像信号に含まれるＦ１成分及びＲｅｆ１成分の画像における画像サイズをそれぞれｎ画素×ｎ画素とし、Ｆ１成分の画像における画素位置をＦ１（ｉ，ｊ）（１≦ｉ≦ｎ、１≦ｊ≦ｎ）とし、Ｒｅｆ１成分の画像における画素位置をＲｅｆ１（ｉ，ｊ）（１≦ｉ≦ｎ、１≦ｊ≦ｎ）として以降の説明を行う。

明るさ算出部６１は、セレクタ５３から出力される画像信号に基づき、画素位置Ｆ１（ｉ，ｊ）における輝度ＹＦ１（ｉ，ｊ）を各画素位置において算出する。また、明るさ算出部６１は、セレクタ５３から出力される画像信号に基づき、画素位置Ｒｅｆ１（ｉ，ｊ）における輝度ＹＲｅｆ１（ｉ，ｊ）を各画素位置において算出する。そして、明るさ算出部６１は、Ｆ１成分の画像の各画素位置における輝度の算出結果と、Ｒｅｆ１成分の画像の各画素位置における輝度の算出結果とを、暗部画素判定部６３及び明るさ類似画素判定部６４へそれぞれ出力する。

除算処理部６２は、セレクタ５３から出力される画像信号に基づき、画素位置Ｆ１（ｉ，ｊ）の画素値から画素位置Ｒｅｆ１（ｉ，ｊ）の画素値を除する演算を各画素位置において行うことにより、新たな画像信号を生成する。その後、除算処理部６２は、生成した前記新たな画像信号を乗算部６６へ出力する。そして、このような処理が除算処理部６２において行われることにより、正常部位と病変部位とを視覚的に区別可能な画像が生成される。

一方、暗部画素判定部６３は、明るさ算出部６１から出力される輝度ＹＦ１（ｉ，ｊ）及び輝度ＹＲｅｆ１（ｉ，ｊ）に基づいて下記のような処理を行うことにより、暗部画素が存在する画素位置を判定する。

暗部画素判定部６３は、ｉ＝１及びｊ＝１に設定した（図１０のステップＳ１）後、輝度ＹＦ１（ｉ，ｊ）が閾値Ｔｈ１以下であるか否かの判定を行う（図１０のステップＳ２）。そして、暗部画素判定部６３は、輝度ＹＦ１（ｉ，ｊ）が閾値Ｔｈ１以下であることを検出した場合、図１０のステップＳ３の処理を続けて行う。また、暗部画素判定部６３は、輝度ＹＦ１（ｉ，ｊ）が閾値Ｔｈ１を超えていることを検出した場合、画素位置Ｆ１（ｉ，ｊ）及び画素位置Ｒｅｆ１（ｉ，ｊ）に対してｆｌａｇ１＝Ｌの値を関連付けた（図１０のステップＳ４）後、図１０のステップＳ６の処理を続けて行う。

暗部画素判定部６３は、輝度ＹＦ１（ｉ，ｊ）が閾値Ｔｈ１以下であることを検出した場合、輝度ＹＲｅｆ１（ｉ，ｊ）が閾値Ｔｈ１以下であるか否かの判定をさらに行う（図１０のステップＳ３）。そして、暗部画素判定部６３は、輝度ＹＦ１（ｉ，ｊ）が閾値Ｔｈ１以下であり、かつ、輝度ＹＲｅｆ１（ｉ，ｊ）も閾値Ｔｈ１以下であることを検出した場合、画素位置Ｆ１（ｉ，ｊ）及び画素位置Ｒｅｆ１（ｉ，ｊ）に対してｆｌａｇ１＝Ｈの値を関連付けた（図１０のステップＳ５）後、図１０のステップＳ６の処理を続けて行う。また、暗部画素判定部６３は、輝度ＹＲｅｆ１（ｉ，ｊ）が閾値Ｔｈ１を超えていることを検出した場合、画素位置Ｆ１（ｉ，ｊ）及び画素位置Ｒｅｆ１（ｉ，ｊ）に対してｆｌａｇ１＝Ｌの値を関連付けた（図１０のステップＳ４）後、図１０のステップＳ６の処理を続けて行う。

暗部画素判定部６３は、画素位置を水平方向に１画素ずつ変化させながら、図１０のステップＳ２〜ステップＳ５までに示した処理を、ｉ＝ｎに達するまでの間繰り返し行う（図１０のステップＳ６及びステップＳ７）。また、暗部画素判定部６３は、水平方向の画素位置がｉ＝ｎに達したことを検出すると、今度は画素位置を垂直方向に１画素ずつ変化させながら、図１０のステップＳ２〜ステップＳ５までに示した処理を、ｊ＝ｎに達するまでの間繰り返し行う（図１０のステップＳ８及びステップＳ９）。

すなわち、以上に述べたような各処理が暗部画素判定部６３において行われることにより、ｆｌａｇ１＝Ｈの値が関連付けられた画素位置の画素が暗部画素であり、ｆｌａｇ１＝Ｌの値が関連付けられた画素位置の画素が非暗部画素である、という判定結果が得られる。そして、暗部画素判定部６３は、前述の判定結果をゲイン調整部６５へ出力する。

また、明るさ類似画素判定部６４は、明るさ算出部６１から出力される輝度ＹＦ１（ｉ，ｊ）及び輝度ＹＲｅｆ１（ｉ，ｊ）に基づいて下記のような処理を行うことにより、Ｆ１成分及びＲｅｆ１成分の信号において類似の明るさを有する画素が存在する画素位置を判定する。

明るさ類似画素判定部６４は、ｉ＝１及びｊ＝１に設定した（図１１のステップＳ１１）後、｜ＹＦ１（ｉ，ｊ）−ＹＲｅｆ１（ｉ，ｊ）｜の演算結果が閾値Ｔｈ２以下であるか否かの判定を行う（図１１のステップＳ１２）。そして、明るさ類似画素判定部６４は、｜ＹＦ１（ｉ，ｊ）−ＹＲｅｆ１（ｉ，ｊ）｜の演算結果が閾値Ｔｈ２以下であることを検出した場合、画素位置Ｆ１（ｉ，ｊ）及び画素位置Ｒｅｆ１（ｉ，ｊ）に対してｆｌａｇ２＝Ｈの値を関連付けた（図１１のステップＳ１３）後、図１１のステップＳ１５の処理を続けて行う。また、明るさ類似画素判定部６４は、｜ＹＦ１（ｉ，ｊ）−ＹＲｅｆ１（ｉ，ｊ）｜の演算結果が閾値Ｔｈ２を超えていることを検出した場合、画素位置Ｆ１（ｉ，ｊ）及び画素位置Ｒｅｆ１（ｉ，ｊ）に対してｆｌａｇ２＝Ｌの値を関連付けた（図１１のステップＳ１４）後、図１１のステップＳ１５の処理を続けて行う。

明るさ類似画素判定部６４は、画素位置を水平方向に１画素ずつ変化させながら、図１１のステップＳ１２〜ステップＳ１４までに示した処理を、ｉ＝ｎに達するまでの間繰り返し行う（図１１のステップＳ１５及びステップＳ１６）。また、明るさ類似画素判定部６４は、水平方向の画素位置がｉ＝ｎに達したことを検出すると、今度は画素位置を垂直方向に１画素ずつ変化させながら、図１１のステップＳ１２〜ステップＳ１４までに示した処理を、ｊ＝ｎに達するまでの間繰り返し行う（図１１のステップＳ１７及びステップＳ１８）。

すなわち、以上に述べたような各処理が明るさ類似画素判定部６４において行われることにより、Ｆ１成分及びＲｅｆ１成分の信号において、ｆｌａｇ２＝Ｈの値が関連付けられた画素位置の画素の明るさが類似しており、ｆｌａｇ２＝Ｌの値が関連付けられた画素位置の画素の明るさが非類似である、という判定結果が得られる。そして、明るさ類似画素判定部６４は、前述の判定結果をゲイン調整部６５へ出力する。

なお、本実施例においては、１つの画素位置毎にｆｌａｇ１及びｆｌａｇ２の値を関連付けるものに限らず、例えば、４画素×４画素または９画素×９画素といったような複数の画素からなる局所領域毎にｆｌａｇ１及びｆｌａｇ２の値を関連付けるような処理を行うものであっても良い。（このような場合、例えば、所定のサイズの局所領域毎に算出した輝度の平均値を用いることにより、図１０及び図１１に示す各処理を適用することができる。）
ゲイン調整部６５は、暗部画素判定部６３における判定結果と、明るさ類似画素判定部６４における判定結果と、に基づき、ｆｌａｇ１＝Ｈかつｆｌａｇ２＝Ｈである画素位置を、ゲイン値＝１を乗じる画素位置として判別する。また、ゲイン調整部６５は、暗部画素判定部６３における判定結果と、明るさ類似画素判定部６４における判定結果と、に基づき、ｆｌａｇ１＝Ｈかつｆｌａｇ２＝Ｈでない画素位置を、ゲイン値＝α（α＞１）を乗じる画素位置として判別する。そして、ゲイン調整部６５は、判別結果を乗算部６６へ出力する。

すなわち、以上に述べたような各処理がゲイン調整部６５及び乗算部６６において行われることにより、例えば管腔のような、蛍光像及び参照光像の両方において暗部となり、かつ、蛍光像と参照光像との間における明るさの差が小さくなる領域に対するゲインアップが行われない（ゲイン値＝１となる）ため、結果的に、Ｓ／Ｎの低下を抑制することができる。

一方、乗算部６６から出力された画像信号は、ガンマ補正部５５においてガンマ補正が施され、後処理部５６において拡大／縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理が順次施され、Ｄ／Ａコンバータ３９においてアナログの映像信号に変換された後、モニタ５へ出力される。

そして、以上のような各処理が行われることにより、蛍光観察の観察画像として、正常部位と病変部位とを視覚的に区別でき、かつ、Ｓ／Ｎの低下が抑制された画像がモニタ５に表示される。

なお、本実施例の画像処理部３８の画質補正部５４は、ノイズ低減部５２の後段かつガンマ補正部５５の前段に配置されるものに限らず、例えば、ノイズ低減部５２の前段のいずれかに配置されても良く、または、ガンマ補正部５５の後段のいずれかに配置されても良い。（但し、ガンマ補正部５５の後段のいずれかに画質補正部５４を配置した場合、画質補正部５４の後段において再度ガンマ補正を行う必要がある。）
また、本実施例は、内視鏡装置１のような、所謂面順次式の構成を備えたもののみに適用されるものに限らず、所謂同時式の構成を備えたものに対しても適用することができる。

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１・・・内視鏡装置
２・・・内視鏡
３・・・光源装置
４・・・プロセッサ
５・・・モニタ
１１・・・ランプ
１７・・・切替フィルタ
２２・・・蛍光観察用フィルタ
２８・・・撮像素子
３７・・・制御部
３８・・・画像処理部
５４・・・画質補正部
６１・・・明るさ算出部
６２・・・除算処理部
６３・・・暗部画素判定部
６４・・・明るさ類似画素判定部
６５・・・ゲイン調整部
６６・・・乗算部

日本国特開２００４−２１５７３８号公報

Claims

被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第１の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第２の判定部と、
前記第１の判定部の判定結果、及び、前記第２の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
前記第２の判定部は、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、が類似していると判定することを特徴とする請求項１に記載の画像処理装置。
前記ゲイン調整部は、前記第１の判定部において暗部と判定され、かつ、前記第２の判定部において明るさが類似していると判定された場合に、前記一の局所領域におけるゲイン値を１とすることを特徴とする請求項２に記載の画像処理装置。
被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第１の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第２の判定部と、
前記第１の判定部の判定結果、及び、前記第２の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
前記第２の判定部は、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、が類似していると判定することを特徴とする請求項４に記載の画像処理装置。
前記ゲイン調整部は、前記第１の判定部において暗部と判定され、かつ、前記第２の判定部において明るさが類似していると判定された場合に、前記一の画素におけるゲイン値を１とすることを特徴とする請求項５に記載の画像処理装置。