JP7229210B2 - 内視鏡用プロセッサ及び内視鏡システム - Google Patents

Description

本発明は、体腔内の生体組織の撮像画像に階調変換を施す画像処理部を備える内視鏡用プロセッサ及び内視鏡システムに関する。

人体内部の生体組織の観察や治療に内視鏡が使用されている。内視鏡を用いて生体組織を撮像してディスプレイに表示される生体組織の画像は、注目する生体組織や生体組織の一部が他の部分と比べて容易に視認できるように画像処理の施された画像である場合が多い。画像処理は、コントラストを強調する処理、画像全体を明るくする処理、色味を変更する処理、所定の階調レベルの範囲の階調数を広げるために階調変換する強調処理を含む。

例えば、強調処理では、入力された画像の階調レベルを変更して出力するためのトーンカーブが設定される場合が多い。このようなトーンカーブを予め記憶保持しておき、強調処理の際、記憶保持したトーンカーブを呼び出して内視鏡で得られた画像を強調処理する。したがって、どのように強調処理するかは、トーンカーブによって定まる。

例えば、白色光を用いながらも血管を十分に強調した画像を得ることができる電子内視鏡装置の技術が知られている（特許文献１）。
当該技術では、画像信号をＲＧＢ信号に変換するＲＧＢ変換手段と、ＲＧＢ信号のＲ信号を一定のゲインで増大または減少するＲ信号増幅手段と、ＲＧＢ信号のＧ信号およびＢ信号を非線形に増大または減少するＧＢ信号増幅手段とを備える。このとき、Ｒ信号増幅手段およびＧＢ信号増幅手段におけるゲインが、観察対象となる部位毎に特有な値として記憶され、ゲインが観察対象となる部位に基づいて選択される。

また、明るさ連続する画像でも精度よく各画素の明るさを変換できる画像処理の技術も知られている（特許文献１）。
当該技術では、撮像画像中の局所領域の各画素の明るさに応じて、明るさの変換の出力上限及び出力下限を決める上限変換関数及び下限返還関数を定め、この２つの変換関数を用いて、明るさの上限値及び下限値を算出し、さらに、各画素の明るさに応じて上限値と下限値から、上限値と下限値との間の値を設定するための比率を算出し、算出した上限値、下限値、及び比率を用いて明るさの変換後の値を算出する（特許文献２）。

特許第５００６７５９号公報 特許第５９６６６０３号公報

上記電子内視鏡装置の技術では、トーンカーブの変化が緩い部分では、画像のコントラストが低下するので、例えば暗部のような部分では本来識別すべき像がつぶれてしまい、識別が困難になる不都合がある。
一方、上記画像処理の技術では、明るさの変換において、明るさの値が急激に変化するような部分では、画像内のノイズ成分が強調されるため、変換後の画像において、平坦な部分（例えば、明度の高い白色領域）に黒い点が点在する場合がある。

そこで、本発明は、撮像した画像を階調変換して強調処理を行うとき、従来、暗部のような画像がつぶれやすい部分の画像をつぶすことなく、かつ画像内の平坦な部分においてノイズの強調を抑えることができる内視鏡用プロセッサ及び内視鏡システムを提供することを目的とする。

本発明の一態様は、体腔内の生体組織の撮像画像に階調変換を施す画像処理部を備える内視鏡用プロセッサである。当該内視鏡用プロセッサの前記画像処理部は、
入力された撮像画像の注目画素の画素値に対して非線形階調変換を行うことにより前記撮像画像の強調処理をする強調処理計算部と、
入力された前記画素値に対して前記非線形階調変換により出力される出力画素値を調整するための前記出力画素値の基準調整上限値を表す基準上限特性線及び前記出力画素値を調整するための前記出力画素値の基準調整下限値を表す基準下限特性線を設定し、前記撮像画像内に前記注目画素を含む部分設定領域を設定して前記部分設定領域内の画素値のばらつきの程度を算出する前処理部と、を備える。
前記強調処理計算部は、
前記画素値を入力して前記非線形階調変換を行うことにより、前記撮像画像がとり得る最大画素値に対する前記出力画素値の出力比率を計算し、
前記画素値を入力することにより前記基準上限特性線、及び前記基準下限特性線を用いて得られる前記基準調整上限値及び前記基準調整下限値を、前記画素値のばらつきの程度に応じて調整することにより調整上限値及び調整下限値を算出し、
前記調整上限値と前記調整下限値との間を前記出力比率により区分けする区分点の値を算出し、算出した前記区分点の値を、前記強調処理した画素値として出力する。

また、本発明の他の一態様も、体腔内の生体組織の撮像画像に階調変換を施す画像処理部を備える内視鏡用プロセッサである。当該内視鏡用プロセッサの前記画像処理部は、
入力された撮像画像の部分設定領域内の注目画素の画素値に対して非線形階調変換を行うことにより前記撮像画像の強調処理をする強調処理計算部と、
前記撮像画像の前記部分設定領域における前記画素値のばらつきの程度を算出する前処理部と、を備える。
前記強調処理計算部は、
入力された前記画素値に対して前記非線形階調変換により出力される出力画素値を調整するための前記出力画素値の調整上限値を表す上限特性線、及び前記出力画素値を調整するための前記出力画素値の調整下限値を表す下限特性線を、前記部分設定領域における前記画素値のばらつきの程度に応じて設定し、
前記画素値を入力して前記非線形階調変換を行うことにより、前記撮像画像がとり得る最大画素値に対する前記出力画素値の出力比率を計算し、
前記画素値を入力することにより前記上限特性線及び前記下限特性線を用いて前記調整上限値及び前記調整下限値を算出し、
前記調整上限値と前記調整下限値との間を前記出力比率により区分けする区分点の値を算出し、算出した前記区分点の値を、前記強調処理した画素値として出力する。

前記上限特性線及び前記下限特性線は、基準となる基準上限特性線及び基準下限特性線を、前記ばらつきの程度に応じて出力の側に拡縮した線である、ことが好ましい。

前記撮像画像内の予め定めた複数のブロック領域のそれぞれを前記部分設定領域とする、ことが好ましい。

前記区分点の値は、前記出力比率と、１から前記出力比率を減算した残余の比率を重みづけ係数として用いて、前記調整上限値と前記調整下限値とを重みづけ平均した値である、ことが好ましい。

前記ばらつきが大きくなるほど、前記調整上限値と前記調整下限値との差は大きくなる、ことが好ましい。

前記ばらつきが大きくなるほど、前記調整下限値は小さくなる、ことが好ましい。

前記ばらつきが大きくなるほど、前記調整上限値は大きくなる、ことが好ましい。

前記調整上限値の、入力される前記画素値の変化に対する変化率は、前記ばらつきが大きくなるほど大きくなり、
前記調整下限値の、入力される前記画素値の変化に対する変化率は、前記ばらつきが大きくなるほど小さくなる、ことが好ましい。

前記非線形階調変換は、前記部分設定領域内の画素値の分布に基づいて設定される、ことが好ましい。

前記撮像画像は、複数の色成分の画素値で構成され、
前記前処理部及び前記強調処理計算部における処理及び計算は、前記色成分毎に行われる、ことが好ましい。

本発明の他の一態様は、前記内視鏡用プロセッサと、前記内視鏡用プロセッサに接続され、前記生体組織を撮像する撮像素子を備えた内視鏡と、を備える内視鏡システムである。

本発明の内視鏡用プロセッサ及び内視鏡システムによれば、撮像した画像を階調変換して強調処理を行うとき、従来、暗部のような画像がつぶれやすい部分の画像をつぶすことなく、かつ画像内の平坦な部分においてノイズの強調が抑えることができる。

一実施形態の内視鏡システムの内視鏡用プロセッサで行う非線形階調変換を説明する図である。 一実施形態の内視鏡システムの内視鏡用プロセッサで設定する部分設定領域と基準上限特性線及び基準下限特性線を説明する図である。 図２に示す調整上限値及び調整下限値の算出方法と異なる方法を説明する図である。 一実施形態の内視鏡システムの内視鏡用プロセッサで行う強調処理の計算処理を説明する図である。 一実施形態の内視鏡システムの外観斜視図である。 一実施形態の内視鏡システムの主な構成を示すブロック構成図である。 一実施形態の内視鏡用プロセッサで行われる強調処理のフローの一例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。図１は、一実施形態の内視鏡システムの内視鏡用プロセッサで行う非線形階調変換を説明する図である。図２は、一実施形態の内視鏡システムの内視鏡用プロセッサで設定する部分設定領域と基準上限特性線及び基準下限特性線を説明する図である。図３は、図２に示す調整上限値及び調整下限値の算出方法と異なる方法を説明する図である。図４は、一実施形態の内視鏡システムの内視鏡用プロセッサで行う強調処理の計算処理を説明する図である。

本実施形態の内視鏡用プロセッサは、内視鏡で撮像された撮像画像に対して、非線形階調変換を用いて強調処理を行う。以下、非線形階調変換を用いた強調処理を説明する。非線形階調変換を用いた強調処理は、後述するように内視鏡用プロセッサの画像処理部で行われ、より詳しくは、以下説明する部分領域内の画素値のばらつきの算出は、内視鏡用プロセッサの前処理部（図５参照）で行われ、調整上限値及び調整下限値の算出と、非線形階調変換で得られる後述する出力比率、調整上限値、及び調整下限値を用いた強調処理は、内視鏡用プロセッサの強調処理計算部（図５参照）で行われる。

（非線形階調変換を用いた強調処理）
図１に示すように、強調処理計算部は、内視鏡で撮像された体腔内の生体組織の撮像画像内の画素値に非線形階調変換を行う。図１に示す例では、非線形階調変換の変換曲線が、入力比率に対する出力比率で示されている。入力比率及び出力比率は、撮像画像の画素値がとり得る最大画素値に対する入力される入力画素値あるいは非線形変換後の出力画素値の比率である。撮像画像の画素値は、例えば８ビットでＡＤ変換された場合０～２５５の階調値で表される。図１に示す例では、入力比率に対する出力比率を非線形階調変換の変換曲線として表しているが、入力画素値に対する出力画素値の曲線で、変換曲線を表してもよい。

一方、一実施形態では、図２に示すように、入力された画像内の各画素を注目画素として、この注目画素に対して、部分設定領域が設定される。部分設定領域は、例えば、撮像画像の注目画素を中心画素とする所定の枠内にある領域、例えば矩形枠領域である。したがって、部分設定領域は、注目画素毎に設定される。注目画素は、撮像画像内を一画素ずつスキャンするように移動する。
別の一実施形態では、部分設定領域は、注目画素に応じて設定されず、予め固定された領域として事前に設定されてもよい。例えば、内視鏡用プロセッサに接続されたディスプレイに表示された撮像画像をみたユーザが強調処理を行おうとする領域をマウス等の入力操作デバイスを用いて入力指示することにより、部分設定領域が前処理部で設定される。部分設定領域は、ユーザによる入力で設定される他に、撮像画像の画素値を解析することにより、非線形階調変換によって像がつぶれ易い部分あるいは画素値に含まれるノイズが目立ち易くなる部分を、部分設定領域として前処理部が自動的に設定するように構成してもよい。

さらに、設定された部分設定領域内の画素値のばらつきの程度が前処理部で算出される。画素値のばらつきの程度として、例えば、画素値の分散、標準偏差、絶対偏差、最大画素値と最小画素値の差が挙げられる。この画素値のばらつきの程度は、以下説明する調整上限値及び調整下限値の算出に用いられる。

図２に示す基準上限特性線は、入力された画素値に対して非線形階調変換により出力される出力画素値を調整するための出力画素値の基準調整上限値を表した線である。基準下限特性線は、出力画素値を調整するための出力画素値の基準調整下限値を表した線である。図２に示すように、基準上限特性線及び基準下限特性線は、入力画素値に対する出力画素値で表される。基準上限特性線及び基準下限特性線の形態は、入力画素値が大きくなるにつれ出力画素値が一定に維持するか大きくなる形態であることが好ましく、入力画素値が大きくなるにつれ出力画素値が大きくなる、いわゆる単調増加であることが好ましい。基準上限特性線は、撮像画像の画素値が０～２５５の階調値で表されている場合、入力画素値が２５５の場合、出力画素値が２５５になる、すなわち、入力画素値が最大階調値の場合出力画素値も最大階調値になるように設定される。基準下限特性線は、撮像画像の画素値が０～２５５の階調値で表されている場合、入力画素値が０の場合、出力画素値が０となる、すなわち、入力画素値が最小階調値の場合出力画素値も最小階調値になるように設定される。さらに、基準下限特性線は、基準上限特性線よりも出力画素値が小さい側に位置するように設定される。この場合、入力画素値が最小階調値近傍にあるとき、基準下限特性線の勾配は、基準上限特性線の勾配よりも緩やかであることが好ましい。基準上限特性線は、入力画素値が最小階調値の場合出力画素値は最小階調値を通る必要はなく、また、基準下限特性線は、入力画素値が最大階調値の場合出力画素値は最大階調値を通る必要はない。
このような基準上限特性線および基準下限特性線は、直線であってもよく、曲線であってもよく、また、直線及び曲線を組み合わせたものであってもよい。基準上限特性線および基準下限特性線は、予め設定された関数で表されたものであってもよい。
このような基準上限特性線及び基準下限特性線は、前処理部で予め設定される。

基準上限特性線及び基準下限特性線は、図２に示すように、基準調整上限値及び基準調整下限値を算出するために用いられる。図２に示されるように、注目画素の画素値が入力画素値として入力されると、基準上限特性線及び基準下限特性線から、入力した画素値（入力画素値）に対応した基準調整上限値及び基準調整下限値が算出される。
更に、前処理部で算出された部分設定領域内の画素値のばらつきの程度に応じて、算出した基準調整上限値及び基準調整下限値を調整することにより、調整上限値及び調整下限値が算出される。例えば、画素値のばらつきが大きいほど、基準調整上限値に対して値が大きくなるように調整された調整上限値が算出され、基準調整下限値に対して値が小さくなるように調整された調整下限値が算出される。

上記実施形態では、基準上限特性線及び基準下限特性線を予め定めておき、注目画素の入力画素値を用いて、基準上限特性線から、入力画素値に対応した基準調整上限値と、基準下限特性線から入力画素値に対応した基準調整下限値とが算出され、基準調整上限値及び基準調整下限値を、部分設定領域内の画素値のばらつきの程度に応じて調整することにより、調整上限値及び調整下限値が算出される。しかし、上述したように、部分設定領域が、注目画素に応じて設定されず、予め固定された領域が事前に設定される場合、調整上限値及び下限調整値は、図３に示すように、部分設定領域内の画素値のばらつきに応じて設定された上限特性線及び下限特性線を固定して入力画素値に対応した調整上限値及び調整下限値を算出してもよい。上限特性線は、部分設定領域内の画素値のばらつきの程度が大きい場合、例えば調整上限値が大きくなるように調整され、下限特性線は、部分設定領域内の画素値のばらつきの程度が大きい場合、例えば調整下限値が小さくなるように調整される。上限特性線および下限特性線が設定された関数で表されたものである場合、画素値のばらつきを表す数値を、上記関数を変更するパラメータとして用いることが好ましい。この場合、ばらつきの程度を表す数値によって、ばらつきの程度が大きい場合、例えば調整上限値が大きく、調整下限値が小さくなるように、上記パラメータが上記関数に組み込まれることが好ましい。
上限特性線及び下限特性線の形態は、入力画素値が大きくなるにつれ出力画素値が一定に維持するか大きくなる形態であることが好ましい。上限特性線は、入力画素値が最大階調値の場合出力画素値も最大階調値になるように設定される。下限特性線は、入力画素値が最小階調値の場合出力画素値も最小階調値になるように設定される。さらに、下限特性線は、上限特性線よりも出力画素値が小さい側に位置するように設定される。この場合、入力画素値が最小階調値近傍にあるとき、下限特性線の勾配は、上限特性線の勾配よりも緩やかであることが好ましい。

強調処理計算部では、画素値を入力して非線形階調変換を行うことにより算出された出力比率と、図２あるいは図３に示す方法で算出された調整上限値及び調整下限値とを用い、調整上限値と調整下限値との間を出力比率により区分けする区分点の値が算出され、算出した区分点の値が、強調処理した画素値として出力される。
図４に示すように、調整上限値を１とし、調整下限値を０としたとき、０～１の間の値である出力比率を０～１を区分けする区分点とし、調整上限値と調整下限値との間における区分点の値を算出し、この区分点における値を強調処理された画素値として出力する。
すなわち、部分設定領域内の画素値のばらつきに応じて定まる調整上限値と調整下限値で画素値の取り得る範囲を定め、この取り得る値の範囲の中で上記出力比率に対応した値を強調処理された画素値とする。例えば、調整上限値が１５０で、調整下限値が５０であり、出力比率が０．４である場合、出力比率０．４に対応した値は９０（＝（１５０－５０）・０．４＋５０）となる。この値が強調処理された画素値とされる。
したがって、画素値の取り得る階調値の範囲が例えば０～２５５である場合、調整上限値を２５５とし、調整下限値を０とした場合、強調処理された画素値は、非線形階調変換によって得られる画素値と同じであるが、調整上限値と調整下限値は、部分設定領域内の画素値のばらつきの程度に応じて変化するので、非線形階調変換によって得られる画素値とは異なる値となる。すなわち、部分設定領域内の画素値のばらつきの程度に応じて、強調処理された画素値は、調整上限値と調整上限値の変化に応じて変化する。

したがって、撮像した画像を階調変換して強調処理を行うとき、暗部のような画像がつぶれやすい部分が部分設定領域として設定され、また、非線形階調変換によりノイズが強調されるような部分が部分設定領域として設定されることにより、部分設定領域内の画素値のばらつきの程度に応じて変化する調整上限値及び調整下限値が定まる。この調整上限値及び調整下限値と、非線形階調変換により算出される出力比率とを用いて強調処理後の画素値が算出される。したがって、暗部のような画像がつぶれやすい部分の画像をつぶすことなく、かつ画像内の平坦な部分においてノイズが強調されにくい強調処理を行うことができる。

（内視鏡システム）
図５は、本実施形態の内視鏡システム１の外観斜視図であり、図６は、内視鏡システム１の主な構成を示すブロック構成図である。
内視鏡システム１は、内視鏡用プロセッサ（以降、単にプロセッサという）２、光源装置３、内視鏡４、ディスプレイ５、を主に備える。光源装置３、内視鏡４、及びディスプレイ５は、それぞれプロセッサ２に接続される。なお、光源装置３とプロセッサ２とは別体で構成されているが、光源装置３がプロセッサ２内に設けられて構成されてもよい。

光源装置３は、白色光や複数の波長帯域の光を射出する。光源装置３は、例えば、ＬＥＤ（Light Emitting Diode）光源、ハロゲンランプ、メタルハライドランプ等の高輝度ランプ等の白色光源を有する。また、光源装置３は、複数の光学フィルタを配した回転板を回転させて、白色光源からの出射光の光路上を通過する光学フィルタを切り替えることにより、光学フィルタのそれぞれでフィルタリングされた光を順次出力する構成を備えてもよい。この場合、光源装置３は、例えば、図示されないが、ランプ電源ドライバ、光源、集光レンズ、フィルターターレット、モータ、及びモータドライバ、を備える。また、光源装置３は、種々の波長帯域の光を発する発光ダイオードあるいはレーザダイオード等の半導体発光素子を複数備えてもよい。

内視鏡４の先端には、図５に示すように、可撓性を有し、人体内部に挿入するための挿入部４２が設けられている。挿入部４２の先端近傍には、挿入部４２の基端に連結された手元操作部４４からの遠隔操作に応じて屈曲する屈曲部４５が設けられている。屈曲部４５の屈曲機構は、一般的な内視鏡に組み込まれている周知の機構である。屈曲構造は、手元操作部４４に設けられた湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部４５を屈曲させるものである。屈曲部４５の先端には、撮像素子４６Ａ（図６参照）を備えた先端部４６が連結している。湾曲操作ノブの回転操作による屈曲部４５の屈曲動作に応じて先端部４６の向きが変わることにより、内視鏡４による撮影領域が移動する。

内視鏡４は、コネクタ部４９から先端部４６にかけての略全長に渡って配置されたライトガイド４８（図６参照）を備えている。ライトガイド４８は、光ファイバ束であり、光源装置３から供給された照射光を電子内視鏡４の先端部４６まで導光する。
電子内視鏡４の先端部４６は、図示されないが、ライトガイド４８の先端の前方に設けられた配光レンズ、生体組織の像を結像する対物レンズ４６Ｂ（図６参照）、結像した像を受光する撮像素子４６Ａ（図６参照）、及び撮像素子４６Ａから出力した画像信号を増幅する図示されないアンプ等を備える。
上記配光レンズは、ライトガイド４８の先端面と対向して配置され、ライトガイド４８の先端面から射出される照射光を発散させて、被写体である生体組織を照明する。
対物レンズ４６Ｂは、生体組織からの散乱光あるいは反射光を集光して、撮像素子４６Ａの受光面上で被写体の像を結像させる。
撮像素子４６Ａは、ＣＣＤ撮像素子、あるいはＣＭＯＳ撮像素子が好適に用いられる。
撮像素子４６Ａから出力された撮像信号は図示されないアンプによって増幅された後、コネクタ部４９へ順次伝送される。

コネクタ部４９は、プロセッサ２と接続されている。コネクタ部４９は、以下の機能を有する回路を備えてもよい。例えば、コネクタ部４９は、撮像素子４６Ａに駆動信号を供給して撮像素子４６Ａを駆動させるとともに、撮像素子４６Ａから出力されたアナログ信号をデジタル信号にＡＤ変換して、プロセッサ２に撮像画像の信号として送信する回路を備えてもよい。また、回路は、コネクタ部４９に設けられた図示されないメモリにアクセスして内視鏡４の固有情報を読み出し、プロセッサ２に出力する機能を備えてもよい。

プロセッサ２は、内視鏡の撮像素子４６Ａが生体組織を撮像することで得られる撮像画像の信号をさらに信号処理してディスプレイ５に供給する装置である。
プロセッサ２には、内視鏡４と接続するための図示されないコネクタ部が設けられている。このコネクタ部とコネクタ部４９が機械的に接続されることにより、内視鏡４とプロセッサ２とが電気的に接続され、光源装置３と内視鏡４が光学的に接続される。

プロセッサ２は、画像入力処理部２１、画像メモリ２２、結果表示部２３、システムコントローラ２４、及び演算部２５を備える。図６中では、プロセッサ２が設けられる筐体内に、交換可能な光源装置３が設けられる構成が示されている。

システムコントローラ２４は、画像入力処理部２１、画像メモリ２２、結果表示部２３、及び演算部２５の動作を管理、制御するとともに、光源装置３、内視鏡４の動作を制御する部分である。プロセッサ２は、画像メモリ２２の他に、情報やデータを記憶する図示されないメモリを備える。

画像入力処理部２１は、生体組織の画像の信号に対して色補正、マトリックス演算等の所定の信号処理を施す部分である。信号処理された映像信号は、１画素毎に撮像画像としてフレームメモリである画像メモリ２２に送られ一旦記憶される。
さらに、画像メモリ２２に記憶された画像は、強調処理のために呼び出され、システムコントローラ２４の指示により、システムコントローラ２４を介して画像処理部２５に送られる。画像処理部２５における処理については後述する。
画像処理部２５で処理された画像は、再度画像メモリ２２に送られて記憶される。

結果表示部２３は、画像メモリ２２に記憶された画像を呼び出して、画像の信号を信号処理（γ補正等）してモニタ表示用の画像信号を生成し、生成された画像信号を所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、ディスプレイ５に出力される。これにより、生体組織の撮像画像がディスプレイ５の表示画面に表示される。

このようなプロセッサ２において、画像処理部２５は、生体組織の撮像画像に対して、画像の強調処理を行うように構成される。以下、図２に示すように調整上限値及び調整下限値を設定する方法に基づいて説明する。

画像処理部２５は、図６に示すように前処理部２５Ａと強調処理計算部２５Ｂを備える。前処理部２５Ａは、上述した非線形階調変換を用いた強調処理を行うために使用する、図２に示すような部分設定領域を注目画素毎に設定し、部分設定領域内の画素値のばらつきを算出する。さらに、前処理部２５Ａは、基準上限特性線及び基準下限特性線を設定する。

強調処理計算部２５Ｂは、図１に示すように、画素値を入力して非線形階調変換を行うことにより、撮像画像がとり得る最大画素値に対する出力画素値の出力比率を計算する。図１に示す例では、入力した画素値の、最大画素値に対する比率である入力比率を用いて出力比率が計算される。
さらに、強調処理計算部２５Ｂは、図２に示すように、画素値を入力することにより基準上限特性線及び基準下限特性線を用いて基準調整上限値及び基準調整下限値を算出し、さらに、部分設定領域内の画素値のばらつきの程度に応じて基準調整上限値及び基準調整下限値を調整した調整上限値及び調整下限値を算出する。強調処理計算部２５Ｂは、図４に示すように、計算した０～１の範囲の値である入力比率と、算出した調整上限値及び調整下限値とを用いて、調整上限値と調整下限値との間を出力比率により区分けする区分点の値を算出し、算出した区分点の値を、強調処理した画素値として出力する。このような強調処理は各画素について行われる。

図７は、一実施形態のプロセッサで行われる強調処理のフローの一例を示す図である。
図７では、図２に示す調整上限値及び調整下限値を算出して強調処理をするフローの一例を示している。

図６に示すように、まず、現フレームの撮像画像が画像処理部２５に入力される（ステップＳ１０）。この後、前処理部２５Ａは、各画素を注目画素として注目画素を含む注目画素の周りに部分設定領域を設定する（ステップＳ１２）。部分設定領域は、例えば、注目画素が中心画素となるように設定される。部分設定領域は、例えば、図２に示すように矩形領域である。

次に、前処理部２５Ａは、設定された撮像画像内の部分設定領域の画素値のばらつきを算出する（ステップＳ１４）。ばらつきについては、上述したように、例えば、画素値の分散、標準偏差、絶対偏差、最大画素値と最小画素値の差が用いられる。

強調処理計算部２５Ｂは、設定されている図１に示すような非線形階調変換の関数を用いて、注目画素の画素値の入力比率に対して非線形階調変換を行うことにより出力比率を計算する（ステップＳ１６）。

さらに、強調処理計算部２５Ｂは、予め設定されている、あるいは、部分設定領域の設定に基づいて設定される基準上限特性線及び基準下限特性線を用いて、図２に示すように、部分領域内の画素値を入力画素値として入力画素値に対応した基準上限特性線の出力画素値及び基準下限特性線の出力画素値を基準調整上限値及び基準調整下限値として算出する（ステップＳ１８）。なお、基準調整上限値及び基準調整下限値の算出は、基準上限特性線及び基準下限特性線が設定されていれば部分設定領域を設定する前に行うことができるので、ステップＳ１８は、ステップＳ１０とステップＳ１２との間に行うこともできる。

強調処理計算部２５Ｂは、算出した基準調整上限値及び基準調整下限値を、ステップＳ１４で算出した画素値のばらつきの程度に応じて調整することにより、図２に示すように調整上限値及び調整下限値を算出する（ステップＳ２０）。調整上限値は、例えば、画素値のばらつきを数値化した値（例えば、標準偏差）に正の係数αを乗算した値を調整値として基準調整上限値に付加した値であり、調整下限値は、例えば、画素値のばらつきを数値化した値（例えば、標準偏差）に負の係数βを乗算した値を調整値として基準調整下限値に付加した値である。この場合、ばらつきの程度が大きくなるほど、調整上限値は大きくなり、調整下限値は小さくなる。係数α，βは、設定されている基準上限特性線及び基準下限特性線に応じて設定される。

強調処理計算部２５Ｂは、算出した調整上限値及び調整下限値と、計算した出力比率を用いて強調処理された画素値を計算する（ステップＳ２２）。具体的には、強調処理計算部２５Ｂは、（調整上限値－調整下限値）・出力比率＋調整下限値を強調処理された画素値として計算する。この計算された値は、図４に示すように、調整上限値と調整下限値との間を出力比率により区分けする区分点の値を算出し、算出した区分点の値である。また、（調整上限値－調整下限値）・出力比率＋調整下限値は、出力比率・調整上限値＋（１－出力比率）・調整下限値とも表すことができるので、区分点の値は、出力比率と、１から出力比率を減算した残余の比率を重みづけ係数として用いて、調整上限値と調整下限値とを重みづけ平均した値である、ともいえる。

画像処理部２５では、撮像画像の全画素が強調処理されたか否かを判定する（ステップＳ２４）。判定結果が否定の場合、注目画素を一画素移動して、ステップＳ１２に戻り、注目画素の周りに部分設定領域を設定し直し、ステップＳ１４～Ｓ２４を繰り返す。こうして、判定結果が肯定になると画像処理部２５では、画像強調処理された画像が、結果表示部２３を介してディスプレイ５に画面表示される（ステップＳ２６）。なお、部分設定領域が入力指示により設定され、あるいは、撮像画像の解析結果により自動抽出されて、固定される場合、図示されないが、部分設定領域毎に、ステップＳ１４～Ｓ２２が繰り返される。
さらに、画像処理部２５では、フレーム画像の入力が継続して行われるか否かが判定される（ステップＳ２８）。判定が肯定の場合、ステップＳ１０に戻り、ステップＳ１０～Ｓ２８を繰り返す。このように、判定結果が否定になるまで強調処理が繰り返される。

このように、非線形階調変換によって得られた出力比率と、部分設定領域内の画素値のばらつきの程度に応じて設定した調整上限値及び調整下限値とを用いて、強調処理後の画素値を計算する。したがって、画素値にばらつきがあるが、画像の非線形階調変換によって暗部がつぶれるような部分が部分設定領域として設定されることにより、暗部内の比較的大きな画素値のばらつきにより、上限調整値は大きくなり下限調整値は小さくなるので、出力比率から得られる図３に示す分配点の値は、入力画素値の変化に対して比較的大きく変化し易い。このため、暗部におけるつぶれは抑制される。一方、画素値のばらつきが小さい部分が部分設定領域として設定されることで、部分設定領域内の画素値のばらつきが小さいことに起因して調整上限値と調整下限値が小さくなり、その差も小さくなり、非線形変換によって画素値が急峻に変化する部分において、図３に示す分配点における値の、入力画素値の変化に対する変化が小さくなるように調整されるので、ノイズの強調が抑制される。

図２に示すように、上述の実施形態では、事前に設定した基準上限特性線及び基準下限特性線を用いて基準調整上限値及び基準調整下限値を算出し、部分設定領域内の画素値のばらつきの程度に応じて調整上限値及び調整下限値を算出するが、別の実施形態では、強調処理計算部２５Ｂは、上限特性線、及び下限特性線を、図３に示すように、部分設定領域における画素値のばらつきの程度に応じて設定してもよい。上限特性線は、入力された画素値に対して非線形階調変換により出力される出力画素値を調整するための出力画素値の調整上限値を表す特性線であり、下限特性線は、出力画素値を調整するための出力画素値の調整下限値を表す特性線である。この場合、画素値が強調処理計算部２５Ｂに入力されることにより、上限特性線及び下限特性線を用いて調整上限値及び調整下限値が直接算出される。このような実施形態では、部分設定領域が注目画素によらず設定され固定されているので、上限特性線及び下限特性線は、基準となる基準上限特性線及び基準下限特性線を、部分設定領域内の画素値のばらつきの程度に応じて出力の側に拡縮した線である、ことが好ましい。これにより、画素値のばらつきの程度に応じて調整上限値及び調整下限値が変化する上限特性線及び下限特性線を容易に設定することができる。基準上限特性線及び基準下限特性線の、ばらつきの程度に応じた出力の側への拡縮については、例えば、ばらつきの程度を示す値に応じて変化する拡縮率を用いて、基準上限特性線及び基準下限特性線を拡縮する。

一実施形態によれば、部分設定領域内の画素値のばらつきが大きくなるほど、調整上限値と調整下限値との差は大きくなることが好ましい。これにより、画素値のばらつきが大きくなるので、出力比率の変化によって強調処理後の画素値の変化も大きくなるので、非線形階調変換によって像がつぶれるような暗部の像のつぶれが抑制される。また、画素値のばらつきが小さい部分では、調整上限値と調整下限値との差は小さくなるので、強調処理後の画素値の変化は小さくなる。このため、ノイズの強調が抑制される。

一実施形態によれば、部分設定領域内の画素値のばらつきが大きくなるほど、調整下限値は小さくなる、ことが好ましい。また、部分設定領域内の画素値のばらつきが大きくなるほど、調整上限値は大きくなることが好ましい。

一実施形態によれば、調整上限値の、入力される画素値の変化に対する変化率は、一定ではなく、部分設定領域内の画素値のばらつきが大きくなるほど大きくなり、調整下限値の、入力される画素値の変化に対する変化率は、一定ではなく、部分設定領域内の画素値のばらつきが大きくなるほど小さくなることが好ましい。これにより、像のつぶれをより効果的に抑制することができ、ノイズの強調をより効果的に抑制することができる。

上述の実施形態では、図１に示す非線形階調変換における、入力に対する出力の変化を示す変換特性曲線は、事前に設定されたものに限定されない。一実施形態によれば、部分設定領域内の画素値の分布に基づいて設定されることも好ましい。すなわち、非線形階調変換は、部分設定領域内の画素値の分布が変われば変わることも好ましい。これにより、部分設定領域内の画素値の特徴に応じて非線形階調変換は特徴づけられるので、好ましい強調処理を実現することができる。例えば、部分設定領域内の画素値の累積ヒストグラムを０～１の範囲で正規化した累積ヒストグラムで表されるヒストグラム曲線を変換特性曲線とすることができる。また、強調処理する画素における図１に示す出力比率は、この画素の画素値よりも小さい画素値の画素数を、部分設定領域内の画素数で割った数値とすることもできる。

なお、内視鏡４で撮像される撮像画像は、複数の色成分の画素値で構成される。この場合、前処理部２５Ａ及び強調処理計算部２５Ｂにおける処理及び計算は、色成分毎に行われることが好ましい。色成分によって像のつぶれやノイズの強調の程度が異なることから、非線形階調変換、基準上限特性線、及び基準下限特性線の少なくとも１つは、色成分毎に異なるように設定されてもよい。

上記実施形態では、設定される部分設定領域は注目画素毎に設定されるが、部分設定領域は、撮像画像内の事前に設定し固定されたブロック領域であってもよく、この場合、撮像画像内に設定された複数のブロック領域のそれぞれを部分設定領域として事前に固定してもよい。部分設定領域毎に、画素値のばらつき以外のパラメータ（例えば、上述の係数α，β）や基準上限特性線あるいは基準下限特性線により、強調処理における調整上限値及び調整下限値を変えることができるので、部分設定領域毎に異なる特性を持った強調処理をすることができる。

以上、本発明の内視鏡用プロセッサ及び内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 内視鏡システム
２ 内視鏡用プロセッサ
３ 光源装置
４ 内視鏡
５ ディスプレイ
２１ 画像入力処理部
２２ 画像メモリ
２３ 結果表示部
２４ システムコントローラ
２５ 画像処理部
２５Ａ 前処理部
２５Ｂ 強調処理計算部
４２ 挿入部
４５ 屈曲部
４６ 先端部
４６Ａ 撮像素子
４６Ｂ 対物レンズ
４８ ライトガイド
４９ コネクタ部

Claims (12)

1. 体腔内の生体組織の撮像画像に階調変換を施す画像処理部を備える内視鏡用プロセッサであって、
   前記画像処理部は、
   入力された撮像画像の注目画素の画素値に対して非線形階調変換を行うことにより前記撮像画像の強調処理をする強調処理計算部と、
   入力された前記画素値に対して前記非線形階調変換により出力される出力画素値を調整するための前記出力画素値の基準調整上限値を表す基準上限特性線及び前記出力画素値を調整するための前記出力画素値の基準調整下限値を表す基準下限特性線を設定し、前記撮像画像内に前記注目画素を含む部分設定領域を設定して前記部分設定領域内の画素値のばらつきの程度を算出する前処理部と、を備え、
   前記強調処理計算部は、
   前記画素値を入力して前記非線形階調変換を行うことにより、前記撮像画像がとり得る最大画素値に対する前記出力画素値の出力比率を計算し、
   前記画素値を入力することにより前記基準上限特性線、及び前記基準下限特性線を用いて得られる前記基準調整上限値及び前記基準調整下限値を、前記画素値のばらつきの程度に応じて調整することにより調整上限値及び調整下限値を算出し、
   前記調整上限値と前記調整下限値との間を前記出力比率により区分けする区分点の値を算出し、算出した前記区分点の値を、前記強調処理した画素値として出力する、
   ことを特徴とする内視鏡用プロセッサ。
2. 体腔内の生体組織の撮像画像に階調変換を施す画像処理部を備える内視鏡用プロセッサであって、
   前記画像処理部は、
   入力された撮像画像の部分設定領域内の注目画素の画素値に対して非線形階調変換を行うことにより前記撮像画像の強調処理をする強調処理計算部と、
   前記撮像画像の前記部分設定領域における前記画素値のばらつきの程度を算出する前処理部と、を備え、
   前記強調処理計算部は、
   入力された前記画素値に対して前記非線形階調変換により出力される出力画素値を調整するための前記出力画素値の調整上限値を表す上限特性線、及び前記出力画素値を調整するための前記出力画素値の調整下限値を表す下限特性線を、前記部分設定領域における前記画素値のばらつきの程度に応じて設定し、
   前記画素値を入力して前記非線形階調変換を行うことにより、前記撮像画像がとり得る最大画素値に対する前記出力画素値の出力比率を計算し、
   前記画素値を入力することにより前記上限特性線及び前記下限特性線を用いて前記調整上限値及び前記調整下限値を算出し、
   前記調整上限値と前記調整下限値との間を前記出力比率により区分けする区分点の値を算出し、算出した前記区分点の値を、前記強調処理した画素値として出力する、
   ことを特徴とする内視鏡用プロセッサ。
3. 前記上限特性線及び前記下限特性線は、基準となる基準上限特性線及び基準下限特性線を、前記ばらつきの程度に応じて出力の側に拡縮した線である、請求項２に記載の内視鏡用プロセッサ。
4. 前記撮像画像内の予め定めた複数のブロック領域のそれぞれを前記部分設定領域とする、請求項２または３に記載の内視鏡用プロセッサ。
5. 前記区分点の値は、前記出力比率と、１から前記出力比率を減算した残余の比率を重みづけ係数として用いて、前記調整上限値と前記調整下限値とを重みづけ平均した値である、請求項１～４のいずれか１項に記載の内視鏡用プロセッサ。
6. 前記ばらつきが大きくなるほど、前記調整上限値と前記調整下限値との差は大きくなる、請求項１～５のいずれか１項に記載の内視鏡用プロセッサ。
7. 前記ばらつきが大きくなるほど、前記調整下限値は小さくなる、請求項１～６のいずれか１項に記載の内視鏡用プロセッサ。
8. 前記ばらつきが大きくなるほど、前記調整上限値は大きくなる、請求項１～７のいずれか１項に記載の内視鏡用プロセッサ。
9. 前記調整上限値の、入力される前記画素値の変化に対する変化率は、前記ばらつきが大きくなるほど大きくなり、
   前記調整下限値の、入力される前記画素値の変化に対する変化率は、前記ばらつきが大きくなるほど小さくなる、請求項１～８のいずれか１項に記載の内視鏡用プロセッサ。
10. 前記非線形階調変換は、前記部分設定領域内の画素値の分布に基づいて設定される、請求項１～９のいずれか１項に記載の内視鏡用プロセッサ。
11. 前記撮像画像は、複数の色成分の画素値で構成され、
    前記前処理部及び前記強調処理計算部における処理及び計算は、前記色成分毎に行われる、請求項１～１０のいずれか１項に記載の内視鏡用プロセッサ。
12. 請求項１～１１のいずれか１項に記載の内視鏡用プロセッサと、
    前記内視鏡用プロセッサに接続され、前記生体組織を撮像する撮像素子を備えた内視鏡と、を備える内視鏡システム。

Images