JPWO2018100732A1 - 内視鏡用画像処理装置 - Google Patents

Abstract

内視鏡用画像処理装置（１）は、通常光画像を構成する複数の色成分画像および特殊光画像を拡大または縮小する拡大縮小部（３１）と、拡大または縮小された一の色成分画像と拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部（３２）と、ブレンド画像と拡大または縮小された他の色成分画像とを合成してカラーの重畳画像を生成する重畳画像生成部（３３）とを備え、ブレンド画像生成部（３２）は、ブレンド画像の全体にわたって一の色成分画像の画素および特殊光画像の画素の分布が略均一となるように、一の色成分画像の画素の内の一部の画素を特殊光画像の対応する画素に置換する。

Description

本発明は、内視鏡用画像処理装置に関するものである。

従来、白色光画像のような通常光画像と、蛍光画像のような特殊光画像とを取得し、通常光画像と特殊光画像とを重畳表示する内視鏡装置が知られている（例えば、特許文献１参照。）。通常光画像と特殊光画像とを重畳する方法として、特許文献１では、通常光画像を構成するＲ、Ｇ、Ｂの３色の色成分画像の内の１つに特殊光画像を加算している。

特許第４７９９１０９号公報

しかしながら、特許文献１の重畳方法を用いた場合、特殊光画像の階調値が一の色成分画像の階調値に加算されて該一の色成分画像の階調値が底上げされることによって、重畳画像の色調が全体的に、特殊光画像を重畳した成分画像の色に偏り、重畳画像の色調が通常光画像の色調とは異なってしまうという問題がある。また、特殊光画像はＳＮ比が低いことが多く、特殊光画像のノイズがそのまま重畳画像に反映されてしまうという問題がある。さらに、一の色成分画像の全画素の階調値と特殊光画像の全画素の階調値とが加算されることにより、通常光画像が有する被写体の構造情報が埋もれてしまい、重畳画像において被写体の構造が不明瞭になるという問題がある。

本発明は、上述した事情に鑑みてなされたものであって、色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができる内視鏡用画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、広帯域の可視光で照明された被写体のカラーの通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する画像処理装置であって、前記通常光画像を構成する複数の色成分画像および前記特殊光画像を拡大または縮小する拡大縮小部と、該拡大縮小部によって拡大または縮小された一の色成分画像と前記拡大縮小部によって拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部と、該ブレンド画像生成部によって生成された前記ブレンド画像と、前記拡大縮小部によって拡大または縮小された他の色成分画像とを合成して、カラーの重畳画像を生成する重畳画像生成部とを備え、前記ブレンド画像生成部は、前記拡大または縮小された一の色成分画像の画素の内の一部の画素を選択し、選択された一部の画素を前記拡大または縮小された特殊光画像の対応する画素に置換することによって前記ブレンド画像を生成するとともに、前記ブレンド画像の全体にわたって前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の分布が略均一となるように、前記拡大または縮小された一の色成分画像の一部の画素を前記拡大または縮小された特殊光画像の画素に置換する内視鏡用画像処理装置である。

本態様によれば、通常光画像および特殊光画像がそれぞれ拡大または縮小された後に、カラーの通常光画像は、一の色成分画像と他の色成分画像とに分離され、一の色成分画像が特殊光画像と合成されることによってブレンド画像が生成される。生成されたブレンド画像は、重畳画像生成部によって他の色成分画像と色合成される。これにより、特殊光画像が通常光画像に重畳され拡大または縮小された重畳画像が得られる。

この場合に、特殊光画像は、一部の領域のみを抽出する処理を施されることなく、全体が略均一にブレンド画像に合成される。したがって、特殊光画像の内、階調値を有する全ての注目領域を重畳画像に表示させることができる。
また、ブレンド画像において一の色成分画像の画素と特殊光画像の画素とをそのまま混在させることによって、一の色成分画像に対するブレンド画像の階調値の変化が低減され、かつ、特殊光画像に含まれていたノイズがブレンド画像においては低減される。また、通常光画像内の被写体の構造情報が特殊光画像の階調値に埋もれてしまうことがない。これにより、通常光画像に対して色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができる。

さらに、ブレンド画像を含む重畳画像には、ブレンド画像内の通常光画像の画素と特殊光画像由来の画素との配列に由来するモザイク模様が含まれる。仮に、ブレンド画像を生成した後に拡大または縮小を行った場合、ブレンド画像に含まれるモザイク模様を要因とするアーティファクトが発生し得る。これに対し、既に拡大または縮小された通常光画像および特殊光画像からブレンド画像を生成することによって、拡大縮小処理におけるアーティファクトの発生を防止し、自然な重畳画像を提供することができる。

上記態様においては、前記拡大縮小部が、前記重畳画像を表示する表示装置から前記重畳画像の表示サイズを取得し、取得された前記表示サイズに応じた倍率で前記通常光画像および前記特殊光画像を拡大または縮小してもよい。
このようにすることで、表示装置における重畳画像の表示サイズを自動的に認識し、表示に適したサイズに重畳画像を拡大または縮小することができる。

上記態様においては、ユーザによって前記重畳画像の表示倍率が入力される入力部を備え、前記拡大縮小部が、前記入力部に入力された前記表示倍率に応じた倍率で前記通常光画像および特殊光画像を拡大または縮小してもよい。
このようにすることで、ユーザの所望の表示倍率に応じて拡大または縮小された重畳画像を提供することができる。

上記態様においては、前記倍率に基づいて、前記ブレンド画像生成部に前記ブレンド画像を生成させるか否かを決定するブレンド要否決定部を備えていてもよい。
ブレンド画像の生成が停止されたときには、重畳画像生成部において、ブレンド画像に代えて拡大または縮小された一の色成分画像が拡大または縮小された他の色成分画像と色合成されるので、拡大または縮小された通常光画像が生成される。表示倍率によっては、ブレンド画像を含む重畳画像ではなく通常光画像の方が、被写体の観察に適している。したがって、このような表示倍率においては、ブレンド画像の生成を停止し、重畳画像に代えて、拡大または縮小された通常光画像を生成することにより、観察シーンにより適した画像を提供することができる。

上記態様においては、前記ブレンド画像における前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の配列を規定したブレンドパターンを前記ブレンド画像生成部に設定するとともに、前記倍率が大きい程、前記拡大または縮小された特殊光画像の画素の数の割合が小さくなるように、前記倍率に応じて前記ブレンドパターンを決定するブレンドパターン決定部を備え、前記ブレンド画像生成部が、前記ブレンドパターン決定部によって設定されたブレンドパターンに従って前記ブレンド画像を生成してもよい。

このようにすることで、倍率が大きいときには、通常光画像のブレンドの割合が大きく、被写体の形態がより精細な重畳画像が提供される。一方、倍率が小さいときには、特殊光画像のブレンドの割合が高く、特殊光による観察対象である病変部のような注目領域がより強調された重畳画像が提供される。このように、各々の観察シーンに適した重畳画像を提供することができる。

上記態様においては、前記拡大縮小部が、前記通常光画像および前記特殊光画像に画素を追加して画素数を増加し、追加された画素の内、少なくとも一部の階調値を補間することによって、前記通常光画像および前記特殊光画像をそれぞれ拡大し、前記ブレンド画像を構成する画素の画素値が少なくとも補間されるように、前記階調値を補間する画素を前記倍率に応じて決定する補間画素決定部を備えていてもよい。

一の色成分画像および特殊光画像に追加された画素の内、一部の画素はブレンド画像に使用されない。したがって、一の色成分画像および特殊光画像を拡大する際に、画素値を補間する画素を選択することによって、処理量および拡大された画像の保存容量を低減することができる。特に、補間画素決定部が、ブレンド画像を構成する画素のみを、階調値を補間する画素に決定することによって、処理量および保存容量を最小化することができる。

本発明によれば、色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができるという効果を奏する。

本発明の第１の実施形態に係る内視鏡用画像処理装置および内視鏡システムの全体構成図である。 図１の内視鏡用画像処理装置における画像処理ユニットの構成図である。 図２の画像処理ユニットにおける白色光画像および蛍光画像の処理の一例を説明する図である。 図２のブレンド画像生成部において使用されるブレンドパターンの一例を示す図である。 図１の内視鏡用画像処理装置の動作を説明するフローチャートである。 本発明の第２の実施形態に係る内視鏡用画像処理装置における画像処理ユニットの構成図である。 図６の画像処理ユニットを備える内視鏡用画像処理装置の動作を説明するフローチャートである。 図６の画像処理ユニットの変形例の構成図である。 図８のブレンドパターン決定部が有する複数のブレンドパターンの例を示す図である。 本発明の第３の実施形態に係る内視鏡用画像処理装置における画像処理ユニットの構成図である。 拡大縮小部において生成されたＧ成分画像を示す図である。 図１１ＡのＧ成分画像に空白画素を追加する処理を説明する図である。 図１１ＢのＧ成分画像内の空白画素の補間処理を説明する図である。 拡大縮小部において生成された蛍光画像を示す図である。 図１２Ａの蛍光画像に空白画素を追加する処理を説明する図である。 図１２Ｂの蛍光画像内の空白画素の補間処理を説明する図である。

（第１の実施形態）
本発明の第１の実施形態に係る内視鏡用画像処理装置１およびこれを備える内視鏡システム１００について図１から図５を参照して説明する。
内視鏡システム１００は、図１に示されるように、生体組織（被写体）Ａの白色光画像信号および蛍光画像信号を取得する内視鏡装置２と、該内視鏡装置２に接続された内視鏡用画像処理装置（以下、単に「画像処理装置」という。）１と、該画像処理装置１に接続された表示装置３とを備えている。

内視鏡装置２は、白色光および励起光を出力する光源ユニット４と、体内に挿入可能であり、光源ユニット４からの白色光および励起光を体内の生体組織Ａに照射して画像信号を取得する挿入部５とを備えている。

光源ユニット４は、白色光を発する白色光源６と、励起光を発する励起光源７と、白色光源６からの白色光と励起光源７からの励起光とを射出するビームスプリッタ８と、該ビームスプリッタ８から射出された白色光および励起光を収束させるレンズ９とを備えている。

白色光源６は、例えば、ＬＥＤのような半導体光源またはＸｅランプのようなランプ光源である。励起光源７は、例えば、レーザダイオードのような半導体光源である。ビームスプリッタ８は、白色光を透過させ、該白色光よりも長波長の励起光（例えば、赤外光）を反射することによって、白色光と励起光とを同一の光軸上に合成する。白色光源６および励起光源７は、交互に点灯するように後述するタイミング制御部２４によって制御される。したがって、光源ユニット４からは白色光と励起光とが交互に出力されるようになっている。なお、白色光と励起光は、合成されて同時に出力されてもよい。

挿入部５は、光源ユニット４から供給された白色光および励起光を挿入部５の先端５ａから生体組織Ａに向けて照射する照明ユニット１０と、挿入部５の先端５ａに設けられ、生体組織Ａを撮影する撮像ユニット１１とを備えている。

照明ユニット１０は、挿入部５の長手方向のほぼ全長にわたって配置されたライトガイドファイバ１２と、挿入部５の先端５ａに設けられた照明光学系１３とを備えている。ライトガイドファイバ１２は、レンズ９によって収束された光をその基端から先端まで導光する。照明光学系１３は、ライトガイドファイバ１２の先端から射出された白色光および励起光を拡散させ、挿入部５の先端５ａに対向する生体組織Ａに照射する。

撮像ユニット１１は、生体組織Ａからの光を集める対物レンズ１４と、該対物レンズ１４の結像面に配置され対物レンズ１４によって集められた光を撮影するカラーの撮像素子１５と、対物レンズ１４と撮像素子１５との間に配置され、励起光を選択的にカットするノッチフィルタ１６とを備えている。
撮像素子１５は、ＲＧＢのモザイクフィルタを有するＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。撮像素子１５は、ノッチフィルタ１６を透過した白色光または蛍光を受光し、受光した光を光電変換して画像信号を生成し、生成された画像信号を画像処理装置１へ送信する。

画像処理装置１は、撮像素子１５から受信した画像信号を一時的に保持するデータバッファ２１と、該データバッファ２１から受信した画像信号を処理して白色光画像（通常光画像）と蛍光画像（特殊光画像）とが重畳された重畳画像を生成する画像処理ユニット２２と、該画像処理ユニット２２から出力された重畳画像を一時的に保持する表示画像バッファ２３と、光源ユニット４、撮像素子１５、バッファ２１，２３および画像処理ユニット２２の動作を同期させるタイミング制御部２４と、入力部２５とを備えている。

符号２６は、撮像素子１５から出力された画像信号を増幅する増幅器である。符号２７は、利得制御器（ＡＧＣ）である。符号２８は、アナログ信号の画像信号をデジタル信号の画像信号へ変換するＡ／Ｄ変換器である。符号２９は、表示画像バッファ２３から出力された重畳画像のデジタル信号の画像信号をアナログ信号の画像信号へ変換するＤ／Ａ変換器である。

タイミング制御部２４は、白色光源６および励起光源７を交互に点灯させるとともに、白色光源６および励起光源７の点灯に同期して撮像素子１５に露光を実行させる。これにより、撮像素子１５は、生体組織Ａによって反射された白色光に基づく白色光画像信号と、生体組織Ａにおいて発生した蛍光に基づく蛍光画像信号とを交互に取得して画像処理装置１に送信する。

表示装置３は、重畳画像を表示する表示エリアを画面上に有している。入力部２５は、表示装置３の表示エリアに表示される重畳画像の表示倍率を観察者が入力することができるようになっている。ここで、重畳画像の拡大を意味する表示倍率を「拡大率」といい、重畳画像の縮小を意味する倍率を「縮小率」という。例えば、等倍を意味する表示倍率が１００％である場合、１００％よりも大きい表示倍率を「拡大率」といい、１００％未満の表示倍率を「縮小率」という。
データバッファ２１は、撮像素子１５から受信した画像信号を一時的に保持し、一対の白色光画像信号および蛍光画像信号を画像処理ユニット２２に送信する。

画像処理ユニット２２は、図２に示されるように、拡大縮小部３１と、ブレンド画像生成部３２と、重畳画像生成部３３とを備えている。図３は、画像処理ユニット２２による、白色光画像および蛍光画像からの重畳画像の生成過程の一例を示している。広帯域の白色光を撮影して取得された白色光画像信号は、３色の画像信号、すなわち赤（Ｒ）画像信号、緑（Ｇ）画像信号および青（Ｂ）画像信号から構成されている。データバッファ２１は、Ｒ、ＧおよびＢ画像信号と蛍光画像信号とを拡大縮小部３１に送信する

拡大縮小部３１は、Ｒ、ＧおよびＢ画像信号からＲ、ＧおよびＢ成分画像をそれぞれ生成し、蛍光画像信号から蛍光画像を生成する。各画像は、行列状に２次元配列した多数の画素からなる。また、拡大縮小部３１は、入力部２５から該入力部２５に入力されている表示倍率を取得するとともに、画像処理装置１に接続された表示装置３から、該表示装置３の表示エリアの仕様に関する情報を受信する。表示エリアの仕様には、少なくとも、サイズ（表示サイズ）および画素数（解像度）が含まれる。

次に、拡大縮小部３１は、表示倍率と、表示装置３の表示エリアのサイズおよび画素数とに基づいて倍率を决定し、決定された倍率でＲ、Ｇ、Ｂ画像および蛍光画像をそれぞれ拡大または縮小する。以下、画像の拡大を意味する倍率を「拡大率」といい、画像の縮小を意味する倍率を「縮小率」という。例えば、等倍を意味する倍率が１００％である場合、１００％よりも大きい倍率を「拡大率」といい、１００％未満の倍率を「縮小率」という。

画像の縮小は、例えば、画像の画素の一部を間引いて画素数を減らすことによって行われる。画像の拡大は、例えば、画像に空白画素を追加して画素数を増加し、追加された空白画素の階調値を周囲の画素の階調値に基づいて補間することによって行われる。拡大縮小部３１は、拡大または縮小されたＧ成分画像および蛍光画像をブレンド画像生成部３２に送信し、拡大または縮小されたＲ成分画像およびＢ成分画像を重畳画像生成部３３に送信する。

ブレンド画像生成部３２は、拡大または縮小されたＧ成分画像と蛍光画像とを用いてブレンド処理を実行することによって、Ｇ成分画像の画素と蛍光画像の画素とが混在するブレンド画像を生成する。

具体的には、ブレンド画像生成部３２は、Ｇ成分画像の画素「Ｇ」と蛍光画像の画素「Ｆ」の配列を規定したブレンドパターンを保持している。ブレンドパターンは、例えば、図４に示されるように、「Ｇ」および「Ｆ」が、１画素単位で交互に行方向および列方向に市松模様状に配列した正方格子配列パターンである。ブレンド画像生成部３２は、Ｇ成分画像の全画素の内、ブレンドパターンの「Ｆ」に対応する画素を蛍光画像の画素に置換することによって、Ｇ成分画像の画素と蛍光画像の画素とが全体にわたって均一な分布でブレンドされたブレンド画像を生成する。

ブレンド画像における「Ｇ」および「Ｆ」のパターンは、ブレンド画像全体にわたって「Ｇ」および「Ｆ」の分布が略均一である限りにおいて、変更可能である。例えば、「Ｇ」および「Ｆ」の他の配列を有するブレンドパターンを採用してもよい。あるいは、ブレンド画像生成部３２は、Ｇ成分画像の全画素の中から一部の画素を略均等にランダムに選択してもよい。

重畳画像生成部３３は、ブレンド画像生成部３２から受信したブレンド画像をＧ成分画像の代わりとして用い、ブレンド画像と拡大縮小部３１から受信したＲ成分画像およびＢ成分画像とをカラー合成することによって、カラーの重畳画像を生成する。重畳画像生成部３３は、生成した重畳画像を表示画像バッファ２３へ送信する。
表示画像バッファ２３は、重畳画像生成部３３から受信した重畳画像を一時的に保持し、重畳画像を一定の時間間隔を空けてＤ／Ａ変換器２９を介して表示装置３へ出力する。

次に、このように構成された画像処理装置１および内視鏡システム１００の作用について説明する。
内視鏡システム１００を用いて生体組織Ａを観察するには、予め、病変部に集積する蛍光物質を生体組織Ａに投与しておく。
まず、体内に挿入部５を挿入して先端５ａを生体組織Ａに対向配置し、光源ユニット４の作動によって白色光および励起光を交互に挿入部５の先端５ａから生体組織Ａに照射する。

生体組織Ａに白色光が照射されると、生体組織Ａの表面において反射された白色光が対物レンズ１４によって集められる。対物レンズ１４によって集められた白色光は、ノッチフィルタ１６を透過して撮像素子１５に入射し、該撮像素子１５によって白色光画像信号として取得される。一方、生体組織Ａに励起光が照射されると、病変部に含まれる蛍光物質が励起光によって励起されて蛍光が発生し、蛍光および励起光の一部が対物レンズ１４によって集められる。対物レンズ１４によって集められた蛍光および励起光のうち、蛍光のみがノッチフィルタ１６を透過して撮像素子１５に入射し、該撮像素子１５によって蛍光画像信号として取得される。
以上のようにして撮像素子１５によって交互に取得される白色光画像信号および蛍光画像信号は、画像処理装置１に送信される。

画像処理装置１において、白色光画像信号および蛍光画像信号は、増幅器２６、ＡＧＣ２７およびＡ／Ｄ変換器２８を介してデータバッファ２１へ入力され、一対の白色光画像信号および蛍光画像信号がデータバッファ２１から画像処理ユニット２２へ入力される。

画像処理ユニット２２において、図５に示されるように、表示装置３の表示エリアの仕様とユーザによって入力部２５に入力された表示倍率とが拡大縮小部３１によって認識され（ステップＳ１，Ｓ２）、表示エリアのサイズおよび画素数と表示倍率とに基づいて倍率が決定される（ステップＳ３）。次に、拡大縮小部３１において、白色光画像を構成するＲ、Ｇ、Ｂ成分画像と蛍光画像が、決定された倍率で拡大または縮小される（ステップＳ４）。拡大または縮小されたＧ成分画像および蛍光画像はブレンド画像生成部３２に送信され、拡大または縮小されたＲ画像信号およびＢ画像信号は重畳画像生成部３３に送信される。

次に、ブレンド画像生成部３２において、Ｇ成分画像の内、一部の画素を蛍光画像の画素に置換することによって、Ｇ成分画像の画素と蛍光画像の画素とが全体にわたって略均一な分布でブレンドされたブレンド画像が生成される（ステップＳ５）。ブレンド画像には、Ｇ成分画像内の生体組織Ａの像と、蛍光画像内の蛍光の像との両方が含まれる。生成されたブレンド画像は、重畳画像生成部３３においてＲ成分画像およびＢ成分画像とカラー合成されて、重畳画像が生成される（ステップＳ６）。生成された重畳画像は、所定の時間間隔を空けて順番に表示画像バッファ２３からＤ／Ａ変換器２９を介して表示装置３に出力される。これにより、表示装置３の表示エリアには重畳画像が、ユーザが入力部２５に入力された表示倍率でライブ動画として表示される。

この場合に、本実施形態によれば、ブレンド画像は、Ｇ成分画像の画素と蛍光画像の画素とが、ブレンド画像全体にわたって略均一な分布で混在するようにブレンドされた画像であり、蛍光画像は、階調値に依らずに全体が略均一にブレンド画像に合成される。したがって、蛍光領域の内、十分に高い階調値を有する蛍光領域のみならず、比較的低い階調値を有する蛍光領域もブレンド画像に合成される。これにより、観察者にとって注目すべき蛍光領域の全てが表示された重畳画像を生成することができるという利点がある。

また、ブレンド画像の各画素の階調値は、Ｇ色成分画像の画素の階調値または蛍光画像の画素の階調値そのものである。このようなブレンド画像を使用してカラー合成した重畳画像において、白色光画像の色調と略同一の色調を再現することができる。また、白色光画像内の生体組織Ａの構造情報が蛍光画像の階調値に埋もれてしまうことがないので、白色光画像内の生体組織Ａの明瞭な構造を重畳画像においても維持することができる。さらに、蛍光画像のＳＮ比が低く蛍光画像がノイズを含んでいたとしても、蛍光画像の画素とノイズの無いＧ成分画像の画素とをブレンドすることによって、ブレンド画像においてはノイズが低減される。これにより、ノイズの少ない重畳画像を得ることができるという利点がある。

また、重畳画像には、ブレンド画像内のＧ成分画像の画素と蛍光画像の画素との交互配列に基づくモザイク模様が含まれる。仮に、拡大処理をブレンド画像の生成の前ではなく後に行った場合、ブレンド画像内のモザイク模様が拡大されるため、高倍率で拡大された重畳画像において、モザイク模様がユーザによって視認されるサイズまで拡大される。その結果、表示装置３に表示される拡大された重畳画像が不自然になるとともに、モザイク模様が生体組織Ａの形態や蛍光の観察の妨げとなる。これに対し、本実施形態によれば、既に拡大されたＧ成分画像および蛍光画像からブレンド画像を生成するので、モザイク模様は、拡大されることはなく、ユーザが視認できない微細なサイズのままである。これにより、表示倍率を上げて重畳画像を表示エリア上で拡大観察する際にも、自然な重畳画像を提供することができる。

また、縮小処理を、ブレンド画像の生成の前ではなく後に行った場合、モザイク模様に基づくモアレや縞模様等のノイズが発生し得る。本実施形態によれば、縮小処理後にブレンド処理を実行することによって、ノイズの発生を防ぐことができ、ノイズのない低倍率の重畳画像を表示することができる。

本実施形態においては、画像処理装置１および表示装置３が別体であることとしたが、これに代えて、画像処理装置１および表示装置３が一体であってもよい。すなわち、画像処理装置１が、表示エリアを有し、該表示エリアに重畳画像を表示する表示機能を備えていてもよい。
このような構成は、重畳画像の最終的な表示サイズを表示側で調整する場合に、表示サイズの情報が同一の装置内で拡大縮小部３１へ送信されるので、有利である。

また、本実施形態においては、重畳画像の生成の機能を担う画像処理ユニット２２および入力部２５と、その他の構成２１，２３，２４，２６，２７，２８，２９とが別々の装置に設けられていてもよい。この場合、画像処理ユニット２２および入力部２５を有する画像処理装置は、他の装置から受信した白色光画像信号および蛍光画像信号を用いて重畳画像を生成する。

（第２の実施形態）
次に、本発明の第２の実施形態に係る内視鏡用画像処理装置およびこれを備える内視鏡システムについて図６から図８を参照して説明する。
本実施形態においては、第１の実施形態と異なる構成について主に説明し、第１の実施形態と共通の構成については同一の符号を付して説明を省略する。
本実施形態に係る内視鏡システムは、内視鏡装置２と、該内視鏡装置２に接続された本実施形態に係る内視鏡用画像処理装置（以下、単に「画像処理装置」という。）と、該画像処理装置に接続された表示装置３とを備えている。

本実施形態に係る画像処理装置は、データバッファ２１と、画像処理ユニット２２１と、表示画像バッファ２３と、タイミング制御部２４と、入力部２５とを備えている。
画像処理ユニット２２１は、図６に示されるように、拡大縮小部３１、ブレンド画像生成部３２および重畳画像生成部３３に加えて、入力部２５に入力された表示倍率に基づいてブレンド画像生成部３２によるブレンド処理の実行と非実行とを切り替えるブレンド要否決定部３４を備えている。

ブレンド要否決定部３４は、入力部２５から表示倍率を取得する。表示倍率が所定の閾値以上の拡大率であるときには、ブレンド要否決定部３４は、ブレンド処理を実行しない「ＯＦＦ」状態に設定する。一方、表示倍率が縮小率、等倍または所定の閾値未満の拡大率であるときには、ブレンド要否決定部３４は、ブレンド処理を実行する「ＯＮ」状態に設定する。すなわち、表示エリア上で重畳画像が高倍率で拡大表示されるときには、ブレンド処理が「ＯＦＦ」に設定され、それ以外のときにはブレンド処理が「ＯＮ」に設定されるようになっている。

ブレンド画像生成部３２は、「ＯＮ」に設定されているときには、ブレンド処理を実行してブレンド画像を生成する。一方、ブレンド画像生成部３２は、「ＯＦＦ」に設定されているときには、ブレンド処理を実行せず、拡大縮小部３１から受信した拡大されたＧ成分画像をそのまま重畳画像生成部３３に送信する。

本実施形態によれば、図７に示されるように、ユーザによって入力部２５に入力された表示倍率が閾値未満であるときには（ステップＳ７のＮＯ）、ブレンド処理が「ＯＮ」に設定され（ステップＳ８）、拡大されたＧ成分画像および蛍光画像からブレンド画像が生成され（ステップＳ５）、生成されたブレンド画像を使用して重畳画像が生成される（ステップＳ６）。一方、ユーザによって入力部２５に入力された表示倍率が閾値以上であるときには（ステップＳ７のＹＥＳ）、ブレンド処理が「ＯＦＦ」に設定され（ステップＳ９）、拡大されたＧ成分画像をそのままカラー合成に使用して画像が生成される（ステップＳ６）。すなわち、この場合には、ステップＳ６において、重畳画像に代えて、白色光画像が生成される。

表示エリア上で重畳画像を高倍率で拡大表示しているときは、観察者が、病変部のような関心領域を詳細に観察したいときである。このようなときにブレンド処理を「ＯＦＦ」に切り替えることによって、生体組織Ａの形態がより精細な画像が表示エリアに表示される。これにより、観察シーンに適した表示と、画像処理量の低減とを図ることができる。
本実施形態のその他の作用および効果は、第１の実施形態と同様であるので説明を省略する。

本実施形態においては、高倍率で拡大された画像を表示する際に、ブレンド処理を「ＯＦＦ」に切り替えることによって、画像内の生体組織Ａの精細度を高めることとしたが、これに代えて、重畳画像に含まれるブレンド画像内の蛍光画像の画素「Ｆ」の数の割合を減らしてもよい。具体的には、図８に示されるように、ブレンド画像生成部３２において使用されるブレンドパターンを倍率に応じて決定するブレンドパターン決定部３５が画像処理ユニット２２１にさらに設けられていてもよい。

ブレンドパターン決定部３５は、拡大縮小部３１から該拡大縮小部３１によって決定された倍率を取得し、倍率が拡大率であるときには、拡大率が大きい程、「Ｆ」の数の割合が小さくなるように、ブレンドパターンを決定する。例えば、ブレンドパターン決定部３５は、図９に示されるように、「Ｆ」の数の割合が異なる複数のブレンドパターンを記憶している。また、ブレンドパターン決定部３５は、拡大率と「Ｆ」の数の割合との対応関係を記憶している。ブレンドパターン決定部３５は、拡大率に対応する「Ｆ」の数の割合を有するブレンドパターンを選択し、選択されたブレンドパターンをブレンド画像生成部３２に設定する。

このようにすることで、表示エリア上で重畳画像が高倍率で拡大表示されるときには、蛍光画像のブレンド割合が少なく、白色光画像のブレンド割合が多いブレンド画像が生成されるので、生体組織Ａの形態がより精細な重畳画像が生成される。それ以外のときには、蛍光画像内の蛍光領域が鮮明な重畳画像が生成される。このように、観察シーンに適した重畳画像をユーザに提供することができる。

画像処理ユニット２２１には、ブレンド要否決定部３４とブレンドパターン決定部３５の両方が設けられていてもよく、いずれか一方のみが設けられていてもよい。ブレンド要否決定部３４とブレンドパターン決定部３５の両方を設ける場合には、ブレンド要否決定部３４によって「ＯＮ」に設定されているときにのみ、ブレンドパターン決定部３５が作動する。

（第３の実施形態）
次に、本発明の第３の実施形態に係る内視鏡用画像処理装置およびこれを備える内視鏡システムについて図１０から図１２Ｃを参照して説明する。
本実施形態においては、第１および第２の実施形態と異なる構成について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る内視鏡システムは、内視鏡装置２と、該内視鏡装置２に接続された本実施形態に係る内視鏡用画像処理装置（以下、単に「画像処理装置」という。）と、該画像処理装置に接続された表示装置３とを備えている。

本実施形態に係る画像処理装置は、データバッファ２１と、画像処理ユニット２２２と、表示画像バッファ２３と、タイミング制御部２４と、入力部２５とを備えている。
画像処理ユニット２２２は、図１０に示されるように、拡大縮小部３１、ブレンド画像生成部３２および重畳画像生成部３３に加えて、Ｇ成分画像および蛍光画像の拡大処理において階調値の補間を行う空白画素を決定する補間画素決定部３６を備えている。

図１１Ａから図１２Ｃには、拡大率が２倍であるときに、図４に示されるブレンドパターンを使用して重畳画像を生成する過程が示されている。図１１Ｂは、図１１ＡのＧ成分画像を拡大した画像であり、図１２Ｂは、図１２Ａの蛍光画像を拡大した画像である。図１１Ｃおよび図１２Ｃには、周囲の４画素の階調値を用いるバイリニア法により画素値を補間する例が示されているが、他の補間方法を用いてもよい。

補間画素決定部３６は、拡大率と、階調値を補間する画素の位置を示すアドレス情報とを、対応付けて記憶している。アドレス情報は、Ｇ成分画像および蛍光画像に追加された空白画素の内、ブレンド画像を構成する画素（図１１Ｂおよび図１２Ｂにおいて破線で囲まれた画素）の位置を示す情報である。すなわち、Ｇ成分画像用のアドレス情報は、Ｇ成分画像に追加された空白画素の内、蛍光画像の画素「Ｆ」に置換される画素以外の画素の位置を示す情報である。蛍光画像用のアドレス情報は、蛍光画像に追加された空白画素の内、Ｇ成分画像の画素の置換に使用される画素（ブレンドパターンの画素「Ｆ」に対応する画素）の位置を示す情報である。

補間画素決定部３６は、拡大縮小部３１から該拡大縮小部３１によって決定された倍率を取得し、倍率が拡大率である場合に、拡大率に対応するアドレス情報を選択し、選択されたアドレス情報を拡大縮小部３１に送信する。

拡大縮小部３１は、図１１Ａおよび図１１Ｂに示されるように、Ｇ成分画像に空白画素を追加することによってＧ成分画像を拡大する。同様に、拡大縮小部３１は、図１２Ａおよび図１２Ｂに示されるように、蛍光画像に空白画素を追加することによって蛍光画像を拡大する。次に、拡大縮小部３１は、図１１Ｃに示されるように、Ｇ成分画像に追加された空白画素の内、アドレス情報が示す位置の空白画素のみ階調値を補間し、それ以外の空白画素について補間を実行しない。同様に、拡大縮小部３１は、図１２Ｃに示されるように、蛍光画像に追加された空白画素の内、アドレス情報が示す位置の空白画素のみ階調値を補間し、それ以外の空白画素について補間を実行しない。したがって、拡大縮小部３１からブレンド画像生成部３２に送信される拡大されたＧ成分画像および蛍光画像には、図１１Ｃおよび図１２Ｃに示されるように、階調値を有しない空白画素が含まれ得る。

アドレス情報は、拡大率の他に、ブレンドパターンによっても異なる。したがって、拡大縮小部３１において複数のブレンドパターンが使用され得る場合、拡大率とブレンドパターンとの各組み合わせに対応するアドレス情報が補間画素決定部３６に記憶され、拡大率およびブレンドパターンの組み合わせに基づいて選択されたアドレス情報が拡大縮小部３１による補間処理に使用される。

白色光画像および蛍光画像の拡大処理において、追加された全ての空白画素の階調値を補間した場合には、画像処理装置による画像の処理量および一時的な保存容量が増大する。本実施形態によれば、ブレンド画像の生成に必要な空白画素のみ階調値を補間することによって、処理量および保存容量を低減することができる。

また、図１１Ｂおよび図１２Ｂに示されるように、空白画素が追加されたＧ成分画像内の元の画素Ｇ１１，Ｇ１２，…，Ｇ３３の位置と、空白画素が追加された蛍光画像内の元の画素Ｆ１１，Ｆ１２，…，Ｆ２３の位置とが互いに異なるように、Ｇ成分画像に空白画素を追加する位置と、蛍光画像に空白画素を追加する位置とを互いに異ならせることによって、階調値を補間する空白画素の数をさらに低減することができる。
本実施形態のその他の作用および効果については、第１の実施形態と同様であるので説明を省略する。

第１から第３の実施形態においては、ブレンド処理の前に実行される画像処理として拡大縮小処理について説明したが、拡大縮小処理以外の画像処理をブレンド処理の前に実行する場合にも、有利な効果を得ることができる。したがって、拡大縮小処理に代えて、またはこれに加えて、他の画像処理をブレンド処理の前に実行してもよい。

例えば、構造強調処理や輪郭強調処理等の各種強調処理をブレンド処理後に行う場合、強調処理がモザイク模様の影響を受けてしまい、白色光画像内の生体組織Ａの像または蛍光画像内の蛍光像を適切に強調することができない可能性がある。このような強調処理をブレンド処理の前に実行することによって、強調処理も適切に行うことができる。

第１から第３の実施形態においては、白色光と励起光とを交互に生体組織Ａに照射し、単一の撮像素子１５を用いて白色光画像信号と蛍光画像信号とを交互に取得することとしたが、これに代えて、白色光と励起光とを同時に生体組織Ａに照射し、２つの撮像素子１５を用いて白色光画像信号と蛍光画像信号とを同時に取得するように構成されていてもよい。

第１から第３の実施形態においては、蛍光領域が重畳画像において緑色で表示されるように蛍光画像をＧ成分画像とブレンドすることとしたが、蛍光画像をブレンドする画像は、Ｒ成分画像またはＢ成分画像であってもよい。

第１から第３の実施形態においては、特殊光および特殊光画像の一例として、蛍光物質を励起する励起光および蛍光画像について説明したが、特殊光および特殊光画像の種類はこれに限定されるものではない。例えば、赤外光を使用して赤外光画像を取得してもよく、青色狭帯域光および緑色狭帯域光を使用してＮＢＩ画像を取得してもよい。

第１から第３の実施形態において説明した画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と記憶装置とを備えるコンピュータによって実現される。具体的には、画像処理ユニット２２，２２１，２２２による処理をＣＰＵに実行させるための画像処理プログラムが記憶装置に記憶され、該画像処理プログラムに従ってＣＰＵが動作することによって、各部３１，３２，３３，３４，３５，３６による処理が実現されるようになっている。

１００ 内視鏡システム
１ 内視鏡用画像処理装置
２ 内視鏡装置
３ 表示装置
４ 光源ユニット
５ 挿入部
６ 白色光源
７ 励起光源
８ ビームスプリッタ
９ レンズ
１０ 照明ユニット
１１ 撮像ユニット
１２ ライトガイドファイバ
１３ 照明光学系
１４ 対物レンズ
１５ 撮像素子
１６ ノッチフィルタ
２１ データバッファ
２２，２２１，２２２ 画像処理ユニット
２３ 表示画像バッファ
２４ タイミング制御部
２５ 入力部
２６ 増幅器
２７ ＡＧＣ
２８ Ａ／Ｄ変換器
２９ Ｄ／Ａ変換器
３１ 拡大縮小部
３２ ブレンド画像生成部
３３ 重畳画像生成部
３４ ブレンド要否決定部
３５ ブレンドパターン決定部
３６ 補間画素決定部

Claims (7)

1. 広帯域の可視光で照明された被写体のカラーの通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する画像処理装置であって、
   前記通常光画像を構成する複数の色成分画像および前記特殊光画像を拡大または縮小する拡大縮小部と、
   該拡大縮小部によって拡大または縮小された一の色成分画像と前記拡大縮小部によって拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部と、
   該ブレンド画像生成部によって生成された前記ブレンド画像と、前記拡大縮小部によって拡大または縮小された他の色成分画像とを合成して、カラーの重畳画像を生成する重畳画像生成部とを備え、
   前記ブレンド画像生成部は、前記拡大または縮小された一の色成分画像の画素の内の一部の画素を選択し、選択された一部の画素を前記拡大または縮小された特殊光画像の対応する画素に置換することによって前記ブレンド画像を生成するとともに、前記ブレンド画像の全体にわたって前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の分布が略均一となるように、前記拡大または縮小された一の色成分画像の一部の画素を前記拡大または縮小された特殊光画像の画素に置換する内視鏡用画像処理装置。
2. 前記拡大縮小部が、前記重畳画像を表示する表示装置から前記重畳画像の表示サイズを取得し、取得された前記表示サイズに応じた倍率で前記通常光画像および前記特殊光画像を拡大または縮小する請求項１に記載の内視鏡用画像処理装置。
3. ユーザによって前記重畳画像の表示倍率が入力される入力部を備え、
   前記拡大縮小部が、前記入力部に入力された前記表示倍率に応じた倍率で前記通常光画像および特殊光画像を拡大または縮小する請求項１または請求項２に記載の内視鏡用画像処理装置。
4. 前記表示倍率に基づいて、前記ブレンド画像生成部に前記ブレンド画像を生成させるか否かを決定するブレンド要否決定部を備える請求項３に記載の内視鏡用画像処理装置。
5. 前記ブレンド画像における前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の配列を規定したブレンドパターンを前記ブレンド画像生成部に設定するとともに、前記倍率が大きい程、前記拡大または縮小された特殊光画像の画素の数の割合が小さくなるように、前記倍率に応じて前記ブレンドパターンを決定するブレンドパターン決定部を備え、
   前記ブレンド画像生成部が、前記ブレンドパターン決定部によって設定されたブレンドパターンに従って前記ブレンド画像を生成する請求項２から請求項４のいずれかに記載の内視鏡用画像処理装置。
6. 前記拡大縮小部が、前記通常光画像および前記特殊光画像に画素を追加して画素数を増加し、追加された画素の内、少なくとも一部の階調値を補間することによって、前記通常光画像および前記特殊光画像をそれぞれ拡大し、
   前記ブレンド画像を構成する画素の画素値が少なくとも補間されるように、前記階調値を補間する画素を前記倍率に応じて決定する補間画素決定部を備える請求項２から請求項５のいずれかに記載の内視鏡用画像処理装置。
7. 前記補間画素決定部が、前記ブレンド画像を構成する画素のみを、前記階調値を補間する画素に決定する請求項６に記載の内視鏡用画像処理装置。

Images