JP7053873B2 - 画像処理装置および内視鏡システム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法に関するものである。

胃粘膜が萎縮した萎縮部などの異常部と、正常部との色の差を強調した画像を生成する医用画像処理装置が知られている（例えば、特許文献１参照。）。
特許文献１の医用画像処理装置は、複数の色情報で形成される特徴空間において、観察対象が分布する第１範囲、第２範囲および第３範囲の内、第２範囲の座標を低彩度の基準範囲に移動し、第１範囲および第３範囲の少なくとも一方を移動している。

特許第３１２１３６８号公報

しかしながら、特許文献１の医用画像処理装置は、画像内の特定の色だけ強調して画像化する非線形な変換を行うものであり、生体の特定の領域が強調されることが際立ち本来の微妙な色合いの変化に対応した生体の特性変化を捉える事を困難にさせる。病変の診断においては、対象領域か否かを見分ける境界が極端に色の差がついて表示されるため、異常部の細かい色調変化に基づく性質の診断が難しくなる。また、対象領域か否かの境界は医師が判断するものであり、装置側で恣意的に変化させてしまうと、医師による診断を不安定にさせてしまうという不都合がある。

本発明は、医師による診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができる画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法を提供することを目的としている。

本発明の一態様は、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算するパラメータ演算部と、前記生体を撮影して得られた中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像の色を、前記パラメータ演算部により演算された前記パラメータに基づいて前記色空間で前記合同変換する変換部とを備える画像処理装置である。

本態様によれば、パラメータ演算部により、生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される基準画像内の対象領域の色を色空間内において合同変換することにより無彩色に変換するパラメータが演算される。そして、変換部において、パラメータ演算部により演算されたパラメータが用いられて、生体を撮影して得られたカラー画像の色が変換される。ここで、無彩色とは、白、黒およびこれらの混合で得られる色であり、さまざまな濃度の灰色を含んだ色のことである。

生体に含まれる対象領域を設定することにより、色空間内における合同変換により設定された対象領域の色を無彩色に変換するパラメータが演算され、設定された対象領域以外の部位の色が、演算されたパラメータによって異なる色に移動させられる。これにより、設定された対象領域とそれ以外の部位とを無彩色と有彩色との相違によって際立たせることができるとともに、設定された対象領域の色と設定された対象領域以外の部位の色との色空間上における距離を変化させないので、極端な色の差の発生を防止することができる。すなわち、医師が対象領域か否かの境界を診断する場合に、診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができる。

上記態様においては、前記変換部が、前記カラー画像の色を前記色空間内における並進移動および回転移動の少なくとも一方の変換をしてもよい。
この構成により、カラー画像の並進移動および回転移動のいずれによっても、設定された対象領域の色と設定された対象領域以外の部位の色との色空間上における距離を変化させずに、対象領域を無彩色に変換することができ、生体の微妙な色合いの変化を視認容易にすることができる。

また、上記態様においては、前記基準被写体が、前記生体の光学特性を模擬したファントムであってもよい。
この構成により、生体の光学特性を模擬したファントムからなる基準被写体を撮影することにより取得された基準画像内において簡易に対象領域を決定することができ、変換部において用いられるパラメータを迅速に求めることができる。

また、この構成により、撮像する撮像部が変わっても、安定して変換部において用いられるパラメータの算出が行える。また、特性の安定したファントムを用いて変換パラメータを算出することにより、生体特性の時間的な変化も精度よくとらえることができる。これにより、医師の病状や治療後の経過観察をより容易にすることができる。

また、ファントムを構成する成分のパラメータとファントムの光学特性とが対応しているため、このファントムを用いて得られる変換部において用いられるパラメータに基づいて生成された画像から、生体の成分を疑似的に類推することができる。これにより、生体の病理構造の変化を類推することにより医師の診断の補助が可能となる。

また、上記態様においては、前記対象領域が、前記生体に含まれる正常部であってもよい。
この構成により、医師が基準画像内において正常部を対象領域として特定するだけで、変換部において用いられるパラメータを迅速に求めることができる。

また、上記態様においては、前記基準被写体が撮影される前記生体であって、前記基準画像は、前記生体の正常部を含む画像であってもよい。
また、上記態様においては、前記対象領域が、正常粘膜の相対的に血管の少ない領域であってもよい。

また、上記態様においては、前記対象領域が、血管部であってもよい。
また、上記態様においては、前記対象領域が、異常組織周囲の正常粘膜であってもよい。
また、上記態様においては、前記対象領域が、脂肪部であってもよい。

また、本発明の他の態様は、プロセッサを備え、該プロセッサが、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像の色を、演算された前記パラメータに基づいて前記色空間で前記合同変換する画像処理装置である。

また、本発明の参考例としての発明の態様は、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像全体の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換する画像処理方法である。

また、本発明の他の態様は、前記生体を撮影して前記カラー画像を取得する撮像部と、上記いずれかの画像処理装置とを備え、前記パラメータ演算部が、前記撮像部により前記基準被写体を撮影して得られた前記基準画像に基づいて、前記パラメータを演算し、前記変換部が、前記撮像部により取得された前記カラー画像の色を変換する内視鏡システムである。
上記態様においては、前記生体の光学特性を模擬したファントムを備え、前記基準被写体が、前記ファントムであってもよい。

また、本発明の参考例としての発明の他の態様は、生体の光学特性を含む基準被写体を内視鏡により撮影して基準画像を取得し、取得された前記基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域の色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記内視鏡により前記生体を撮影して中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像を取得し、取得された該カラー画像全体の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換し、合同変換された画像を表示する内視鏡観察方法である。

上記態様においては、前記基準被写体が、前記生体の光学特性を模擬したファントムであってもよい。
また、上記態様においては、前記ファントムが、前記生体を模擬した形状を有していてもよい。
また、上記態様においては、前記ファントムが、外光を遮光する容器内に配置され、該容器が前記内視鏡を挿入可能な開口部を有していてもよい。

本発明によれば、医師による診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができるという効果を奏する。

本発明の一実施形態に係る内視鏡システムおよび画像処理装置を示すブロック図である。 図１の画像処理装置による画像の表示例を示す図である。 図２の画像においてパラメータ設定モードが選択された場合の画像の表示例を示す図である。 通常の白色板によるキャリブレーションにより設定された正常粘膜の色の位置を示す色空間の一例である。 図１の画像処理装置により設定された正常粘膜の色の位置を示す色空間である。 通常の白色板によるキャリブレーションにより設定された生体組織の色の色空間上の位置の一例を示す図である。 図６の基準画像内に含まれる対象領域の色の色空間上の位置の一例を示す図である。 図１の画像処理装置による画像変換の一例を説明する図である。 図１の内視鏡システムによる内視鏡観察方法を説明するフローチャートである。 内視鏡により取得された画像の輝度分布の一例を示す図である。 図１０の画像を図１の画像処理装置により画像変換した後の画像の輝度分布の一例を示す図である。 図１１の画像の白飛び防止処理後の画像の輝度分布の一例を示す図である。 図１の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの一例を示す図である。 図１の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの他の例を示す図である。 図１の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの他の例を示す図である。

本発明の一実施形態に係る画像処理装置３、画像処理方法、内視鏡システム１および内視鏡観察方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置３は、図１に示されるように、内視鏡システム１に備えられている。

本実施形態に係る内視鏡システム１は、図１に示されるように、被写体（生体）を撮影してカラー画像（図２参照）Ｃを取得する内視鏡（撮像部）２と、内視鏡２により取得されたカラー画像Ｃを処理する画像処理装置３と、画像を表示するモニタ４と、術者に入力を行わせる入力部５とを備えている。入力部５は、キーボード、マウスあるいはタッチパネル等の入力装置である。

画像処理装置３は、図１に示されるように、制御部３１と、パラメータ演算部３２と、記憶部３３と、画像変換部（変換部）３４と、画像生成部３５とを備えている。制御部３１、パラメータ演算部３２、画像変換部３４および画像生成部３５はプロセッサにより構成され、記憶部３３はメモリにより構成されている。

画像生成部３５は、モニタ４に表示させる画像を生成する。
パラメータ演算部３２は、内視鏡２により取得された基準画像に基づいて、色空間内に定義される基準画像内の対象領域に対応した色を色空間内において無彩色に合同変換するためのパラメータを演算する。ここで、無彩色とは、白、黒およびこれらの混合で得られる色であり、さまざまな濃度の灰色を含んだ色である。また、本実施形態における合同変換とは、ユークリッド空間において任意の２点間の距離を変えない変換を示す。

記憶部３３は、パラメータ演算部３２により演算されたパラメータを記憶する。
画像変換部３４は、内視鏡２により生体を撮影して取得されたカラー画像Ｃを、記憶部３３に記憶されたパラメータを用いて画像変換する。

制御部３１は、入力部５からの入力に基づいて、画像生成部３５、パラメータ演算部３２および画像変換部３４を制御する。例えば、制御部３１は、ＧＵＩにより、図２に示されるように、モニタ４上にモードを選択させるためのボタンＢ１，Ｂ２を表示し、術者が入力部５を操作していずれかのボタンＢ１，Ｂ２を選択した場合には、選択されたボタンＢ１，Ｂ２の内容に従って制御を行う。

具体的には、制御部３１は、内視鏡２により取得されたカラー画像Ｃを画像生成部３５に入力し、モニタ４に表示する表示画像に含めさせるとともに、表示画像中にモードを選択させるためのボタンＢ１，Ｂ２を含める。そして、制御部３１は、モニタ４上に表示されたパラメータ設定モードのボタンＢ１が選択されたときには、図３に示されるように、モニタ４上に対象領域を指定するためのポインタＰを表示させる。ポインタＰは入力部５の操作によって、モニタ４上に表示されたカラー画像Ｃ上において任意の位置に移動させることができ、術者に所望の領域を対象領域として指定させることができる。

また、制御部３１は、ポインタＰによって対象領域が指定されたときには、当該対象領域の色空間上の色情報をパラメータ演算部３２に送る。
パラメータ演算部３２は、制御部３１から送られてきた色情報により示される色を色空間内において無彩色に合同変換するためのパラメータを演算する。演算されたパラメータは記憶部３３に記憶される。

さらに具体的には、図４に示されるように、通常の白色板によるキャリブレーションにおいて、臓器内の粘膜の色再現性を重視するために、正常粘膜の色は淡い赤色に対応させていた。パラメータ演算部３２は、この正常粘膜の色を、色空間内において、図５に示されるように、白色（無彩色）に合同変換するためのパラメータを演算する。ここで、色空間としては、ＲＧＢ、ＸＹＺ、ＣＭＹ、Ｌａｂ等の任意の色空間座標を有する色空間を採用してよい。パラメータとしては、指定された対象領域の色空間上の色と無彩色との色空間座標毎の差分係数を挙げることができる。

すなわち、図６に示されるように、色空間内において内視鏡２による観察の際に取り得る色の第１範囲Ｒ１が存在し、第１範囲Ｒ１内に、基準画像に含まれる色の第２範囲Ｒ２が存在する。また、図７に示されるように、第２範囲Ｒ２内に、対象領域を示す第３範囲Ｒ３が存在する。第３範囲Ｒ３の重心を色空間の原点に位置する白色に合同変換させるパラメータを第１範囲Ｒ１全体に適用することにより、第１範囲全体、すなわちカラー画像の色全体を図８に示されるように平行移動させることができる。

この後に、入力部５の操作によって、モニタ４上に表示されている観察モードのボタンＢ２が選択されたときには、制御部３１は、内視鏡２によって逐次取得されるカラー画像Ｃを画像変換部３４に送り、画像変換部３４は、記憶部３３に記憶されているパラメータを用いて、カラー画像Ｃの色全体を平行移動させる変換処理を行う。変換処理された画像は画像生成部３５に送られ、表示画像に含められる。表示画像としては、内視鏡２により取得されたカラー画像Ｃに代えて、変換処理後のカラー画像Ｃを採用してもよいし、内視鏡２により取得されたカラー画像Ｃと並列して変換処理後のカラー画像Ｃを表示することにしてもよい。

このように構成された本実施形態に係る内視鏡システム１を用いて、患者の臓器内の観察を行う内視鏡観察方法および上記画像処理装置３を用いた画像処理方法について、以下に説明する。
本実施形態に係る内視鏡観察方法は、図９に示されるように、術者が内視鏡２を患者の臓器内に挿入し、内視鏡２により臓器の内面の画像を取得し（ステップＳ１）、取得された画像をモニタ４に表示する（ステップＳ２）。術者は、取得された画像を見ながら内視鏡２を操作し、正常粘膜が含まれる視野範囲に内視鏡２を配置する（ステップＳ３）。この状態で、入力部５によりパラメータ設定モードを選択し（ステップＳ４）、モニタ４に表示されたポインタＰによりカラー画像Ｃ上において、正常粘膜の領域（対象領域）を指定する（ステップＳ５）。

これにより、正常粘膜の色空間座標毎の色情報がパラメータ演算部３２に入力される。パラメータ演算部３２においては、入力されてきた正常粘膜の色情報と無彩色の色情報との差分を算出することにより、パラメータを算出する（ステップＳ６）。算出されたパラメータは記憶部３３に記憶される（ステップＳ７）。既に記憶されているパラメータが存在する場合には、パラメータが更新される。

この状態で、術者が、入力部５を操作して観察モードを選択する（ステップＳ８）と、内視鏡２により取得された画像が逐次、画像変換部３４に入力され、画像変換部３４において、記憶部３３に記憶されているパラメータを用いてカラー画像Ｃの変換処理が行われ（ステップＳ９）、変換処理後の画像がモニタ４に表示される（ステップＳ１０）。そして、観察モードの終了が術者により入力されるまで、ステップＳ９からの工程が繰り返される（ステップＳ１１）。

パラメータ演算部３２において演算されたパラメータは、臓器内の正常粘膜の色を無彩色に変換するためのものであるため、このパラメータを用いて、臓器のカラー画像Ｃ全体を変換すると、カラー画像Ｃ内の正常粘膜の部分は無彩色に変換され、その他の部分は無彩色以外の色に変換される。すなわち、臓器のカラー画像Ｃにおいて、正常粘膜の色および異常部の色は若干の相違があるものの、いずれも赤色系であって区別が付きにくいが、上記パラメータを用いて変換することにより、僅かな色の相違も無彩色と有彩色との相違となって現れ、両者の境界を明確に識別することが可能となる。

さらに、本実施形態によれば、カラー画像Ｃ内の特定の色だけ強調して画像化する非線形な変換ではなく、異常部と正常部（基準被写体）との色空間上の距離を保持したままカラー画像全体Ｃをシフトさせるものであるため、異常部と正常部との境界に極端な色の差を生じることがなく、医師による診断の精度を安定して維持しつつ、生体の微妙な色合いの変化を視認容易にすることができるという利点がある。

なお、本実施形態においては、基準画像内の対象領域を術者に指定させることとしたが、これに代えて、色空間内において基準画像を構成する色の頻度分布の例えば重心点あるいは中心点を対象領域の色として自動的に設定することにしてもよい。この場合、基準画像としては、視野範囲内に正常粘膜のみが存在すると考えられる状態で取得された画像を用いることが好ましい。

また、本実施形態においては、カラー画像Ｃ全体の色を色空間内において平行移動（並進移動）させることとしたが、これに代えて、あるいは、これに加えて、カラー画像Ｃ全体の色を色空間内において回転移動させてもよい。これによっても、異常部と正常部との距離を維持しつつ、正常部を無彩色に変換し、異常部と正常部との境界を明確にすることができる。

また、対象領域を指定することにより、指定された対象領域の色を用いてパラメータを算出することとしたが、これに変えて、一度指定した対象領域の位置をトラッキングして、パラメータの更新を逐次行ってもよい。
また、対象領域として正常粘膜を例示したが、色調の差を強調したい領域であれば任意の領域を指定してもよい。例えば、指定する領域は正常粘膜であっても血管の少ない領域を指定することで、血管がより強調される。血管部分を指定すると血管のない粘膜組織部分の微妙な状態の差、例えば肥厚状態の違いが色の変化として描出される。また、病変部等の異常部を強調せずに組織の違いを強調するために用いてもよい。例えば、瘢痕化した組織（異常組織）周囲の正常粘膜を指定することで、瘢痕化組織が強調される。さらに、神経膜組織と脂肪組織（脂肪部）との差を協調したいときには、脂肪組織を無彩色に変換するパラメータを算出すればよい。

例えば、通常のキャリブレーションで、神経膜組織が白色、脂肪が黄色、血液が赤色を有する場合に、図１０に示される輝度分布を有している。この場合に、もともと暗い部分である脂肪を無彩色（白色）にするパラメータによって全体を画像変換すると、図１１に示されるように、もともと明るい神経膜組織は白飛びしてしまう。すなわち、青色が飽和してしまう。この場合には、図１２に示されるように、色空間上で青色が最大階調を超えた分だけ緑色および赤色の階調を下げることにより、連続的に白飛びせずに色の変換を行うことができる。

また、本実施形態においては、実際の臓器の内面の画像を取得して、正常粘膜と考えられる対象領域を術者に指定させることとしたが、これに代えて、生体の光学特性を模した被写体（基準被写体）であるファントムＦを撮影して、対象領域の色を取得することにしてもよい。
ファントムＦとしては、例えば、樹脂に、散乱体となる散乱粒子および吸収色素を混練することにより作成されたものを使用すればよい。このようなファントムＦによれば、光を当てたときの反射光量および透過光量を観察対象の生体組織と同等となるように散乱粒子および吸収色素の濃度を調整することができる。また、散乱粒子の粒子サイズを調整することにより、観察対象となる生体組織と、散乱光の広がりを同等に調整することもできる。

また、撮像する内視鏡２が変わっても、安定して画像変換部３４において用いられるパラメータの算出が行える。また、特性の安定したファントムＦを用いて変換パラメータを算出することにより、生体特性の時間的な変化も精度よくとらえることができる。これにより、医師の病状や治療後の経過観察をより容易にすることができる。

また、ファントムＦを構成する成分のパラメータとファントムＦの光学特性とが対応しているため、ファントムＦを用いて得られる画像変換部３４において用いられるパラメータに基づいて生成された画像から、生体の成分を疑似的に類推することができる。これにより、生体の病理構造の変化を類推することにより医師の診断の補助が可能となる。

また、ファントムＦとしては以下の態様のものを採用してもよい。
内視鏡２から発せられる光が照射される面は平滑な面であることが好ましい。これにより、ファントムの表面からの乱反射を抑制することができる。

また、内視鏡２から発せられる光が照射される面は、図１３に示されるように、観察対象となる生体組織の形状に類似する形状を有していることが好ましい。これにより、実際の生体組織と同様にして、組織内部での散乱の影響を考慮して色の変換を行うことができる。

また、図１４に示されるように、ファントムＦは外光を遮断する容器６内に収容され、容器６に内視鏡２を挿入可能な開口部７が設けられていてもよい。これにより、外光が遮断された現実の体内の環境を模した環境を実現しながら色の変換を行うことができる。

さらに、図１５に示されるように、外光を遮光する容器６内に配置されているファントムＦが観察対象となる生体組織の形状に類似する形状を有していてもよい。膀胱のような球形状、あるいは、消化管のような円筒形状に代表されるように、実際の臓器は立体的な内面形状を有している。したがって、生体組織の形状に類似する形状の全体にわたって均一な材質からなるファントムＦが配置されていてもよい。これにより、実際の観察時の内視鏡２とファントムＦとの距離および角度による色味のバラツキを考慮して、色の変換を行うことができる。

１ 内視鏡システム
２ 内視鏡（撮像部）
３ 画像処理装置
６ 容器
７ 開口部
３１ 制御部（プロセッサ）
３２ パラメータ演算部（プロセッサ）
３４ 画像変換部（変換部、プロセッサ）
３５ 画像生成部（プロセッサ）
Ｃ カラー画像
Ｆ ファントム（基準被写体）
Ｒ３ 第３範囲（対象領域）

Claims (12)

1. 撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間における合同変換により無彩色に変換するパラメータを演算するパラメータ演算部と、
   前記生体を撮影して得られた中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像の色を、前記パラメータ演算部により演算された前記パラメータに基づいて前記色空間で前記合同変換する変換部とを備える画像処理装置。
2. 前記変換部が、前記カラー画像の色を前記色空間内における並進移動および回転移動の少なくとも一方の変換をする請求項１に記載の画像処理装置。
3. 前記基準被写体が、前記生体の光学特性を模擬したファントムである請求項１に記載の画像処理装置。
4. 前記対象領域が、前記生体に含まれる正常部である請求項１に記載の画像処理装置。
5. 前記基準被写体が撮影される前記生体であって、
   前記基準画像は、前記生体の正常部を含む画像である請求項１に記載の画像処理装置。
6. 前記対象領域が、正常粘膜の相対的に血管の少ない領域である請求項１に記載の画像処理装置。
7. 前記対象領域が、血管部である請求項１に記載の画像処理装置。
8. 前記対象領域が、異常組織周囲の正常粘膜である請求項１に記載の画像処理装置。
9. 前記対象領域が、脂肪部である請求項１に記載の画像処理装置。
10. プロセッサを備え、
    該プロセッサが、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも２つの波長帯域の輝度情報により構成されるカラー画像の色を、演算された前記パラメータに基づいて前記色空間で前記合同変換する画像処理装置。
11. 前記生体を撮影して前記カラー画像を取得する撮像部と、
    請求項１から請求項９のいずれかに記載の画像処理装置とを備え、
    前記パラメータ演算部が、前記撮像部により前記基準被写体を撮影して得られた前記基準画像に基づいて前記パラメータを演算し、
    前記変換部が、前記撮像部により取得された前記カラー画像の色を変換する内視鏡システム。
12. 前記生体の光学特性を模擬したファントムを備え、
    前記基準被写体が、前記ファントムである請求項１１に記載の内視鏡システム。

Images