図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19と、を備える。内視鏡12は、観察対象である被写体に照明光を照射し、照明光で照射された被写体を撮像する。光源装置14は、被写体に照射するための照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、プロセッサ装置16等への設定入力等を行う入力デバイスであり、キーボードKB、マウスMS、フットスイッチFSなどから構成される。
なお、ユーザーインターフェース19は、キーボードKB、マウスMS、フットスイッチFSに限定されず、グラフィカルユーザーインターフェースや音声入力、タッチディスプレイなどであってもよい。また、本発明の医療画像処理システムには、プロセッサ装置16内に設けられた画像取得部54及び画像処理部61と、モニタ18と、ユーザーインターフェース19とを含んでいる。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、被写体に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、ズーム操作部13aが設けられている。ズーム操作部13aを操作することによって、被写体を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)が設けられている。処置具は、鉗子入口12fから鉗子チャンネル内に挿入される。
図2に示すように、光源装置14は、光源部20と、光源制御部22と、を備える。光源部20は、被写体を照明するための照明光を発光する。光源部20は、1又は複数の光源を備えている。光源制御部22は、光源部20の駆動を制御する。光源制御部22は、光源部20を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(図示しない)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮像する。ズームレンズ47は、ズーム操作部13aの操作をすることで移動し、イメージセンサ48を用いて撮像する被写体を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて被写体を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて被写体を順次撮像することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、中央制御部52と、画像取得部54と、画像処理部61と、表示制御部66とを有する。中央制御部52は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、ユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、中央制御部52は、入力された各種設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、イメージセンサ48から、被写体を撮像した画像を取得する。この画像取得部54で取得する画像は、内視鏡12のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。DSP56は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において被写体を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、画像取得部54が取得した医療画像に対して各種の画像処理を施す。また、画像処理部61は、医療画像から注目領域の抽出を行い、抽出した注目領域から観察対象の診断を支援するための診断情報を算出する。注目領域の抽出及び診断情報の算出については後述する。表示制御部66は、画像処理部61から送られる医療画像又は診断情報を用い、モニタ18での表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18には、医療画像と診断情報が少なくとも表示される。
図3に示すように、画像処理部61は、注目領域抽出部70と、診断情報判定部72と、診断情報指定部74と、類似画像記憶部76と、診断情報修正部78と、特定注目対象追跡部79と、を備えている。注目領域抽出部70は、医療画像から検査または診断の対象として注目すべき注目領域を抽出する。注目領域抽出部70では、医療画像から特定の特徴量を算出する。そして、算出した特定の特徴量が特定の条件を満たす領域を注目領域として抽出する。なお、注目領域抽出部70により抽出する注目領域は、観察対象の表面など2次元の領域に限られない。例えば、観察対象の表面に加えて、観察対象の深さ方向(浸潤)の3次元の領域を、注目領域として抽出するようにしてもよい。
ここで、特定の特徴量としては、表層血管の領域を抽出するための特徴量として、G画像とB画像との比率を示す「ln(G/B)」がある。そのほか、後述する血管に関する血管指標値や、腺管構造に関する腺管指標値であってもよい。また、特定の特徴量としては、例えば、医療画像に対してConvolutional Neural Networkを行うことの他、医療画像の色情報、画素値の勾配等で得られる特徴量を用いてもよい。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
また、注目領域抽出部70で抽出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム10においては、注目領域抽出部70は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として抽出する。
なお、注目領域抽出部70においては、医療画像のうち、診断情報の正確な算出の妨げとなる暗過ぎる領域と明る過ぎる領域とを除去する除去処理を行うようにしてもよい。この除去処理では、医療画像のうちB画像、G画像、R画像のそれぞれに対して、下限値と上限値を設定する。そして、下限値を下回る領域を暗すぎる領域として抽出し、各画像から除去する。同様にして、上限値を超える領域を明る過ぎる領域として抽出し、各画像から除去する。暗すぎる領域と明る過ぎる領域を除去した医療画像に対して、注目領域の抽出を行う。なお、暗すぎる領域と明る過ぎる領域の除去については、医療画像の状態によっては、行わなくてもよい。
診断情報判定部72は、注目領域抽出部70で抽出された注目領域から各種指標値を算出し、算出した各種指標値に基づいて、病変部の診断を支援するための診断情報を判定する。各種指標値としては、血管密度や血管走行パターンなどの血管に関する血管指標値や、腺管構造に関する腺管指標値などが含まれる。診断情報としては、例えば、病変部の種類やサイズが挙げられる。算出された診断情報は、表示制御部66によって、医療画像と合わせてモニタ18に表示される。なお、注目領域内の画像とこの注目領域に対して判定された診断情報とは関連付けられて、類似画像記憶部76に順次記憶される。
例えば、図4に示すように、注目領域抽出部70によって、注目領域aと注目領域bとが抽出された場合には、それぞれの注目領域a、b毎に診断情報が判定される。注目領域aの場合であれば、病変部の種類として判定された「cancer」と、病変部のサイズとして判定された「10mm」とをモニタ18に表示させる。また、注目領域bの場合であれば、病変部の種類として判定された「adenoma」と、病変部のサイズとして判定された「7mm」がモニタ18に表示される。
診断情報指定部74は、モニタ18に表示中の診断情報のうち、ユーザーが誤判定であると考える又はユーザーが明らかな病変で注目領域としてモニタ18に表示不要と考える第1診断情報を指定する。この診断情報指定部74での指定後は、表示制御部66は、第1診断情報であると判定された注目領域については、モニタ18に表示しないようにする。これにより、ユーザーに対して、誤った診断情報を提示することを抑制し、且つ、ユーザーに合わせて適切な診断情報を提示することができる。
第1診断情報の指定は、モニタ18に表示中の第1診断情報の位置を指定する位置指定操作によって行うことが好ましい。位置指定操作には、第1診断情報の指定に関する指示を受け付けるユーザーインターフェース19が用いられる。例えば、ユーザーインターフェース19のうち、マウスMSによって位置指定操作を行う他、モニタ18の画面タップ操作によって、位置指定操作を行う。また、ユーザーの視線検知デバイスが内視鏡システム10に接続されている場合には、ユーザー視線情報に基づいて、位置指定操作を行うことができる。なお、ユーザーインターフェース19によって、第1診断情報を直接指定する他、第1診断情報であると判定された第1注目領域を指定するようにしてもよい。
例えば、マウスMSによる位置指定操作の場合であれば、図5に示すように、モニタ18上に表示されたポインタPTをマウスMSにより操作し、ポインタPTを第1診断情報として指定したい診断情報の位置に合わせる。第1診断情報を注目領域aの「cancer」とする場合には、「cancer」にポインタPTを合わせて、マウスMSのクリックを行う。これにより、「cancer」が第1診断情報として指定される。
また、診断情報が複数ある場合には、モニタ18に対して複数の診断情報をそれぞれ切り替えて表示する切替表示を指示するための切替操作と、切替表示中の診断情報の中から第1診断情報を選択して確定する確定操作により、第1診断情報を指定するようにしてもよい。切替操作及び確定操作には、フットスイッチFSや、内視鏡12の操作部12bに設けられた診断情報指定用スコープスイッチ13b(図2参照)が用いられる。
例えば、図6(A)に示すように、複数の注目領域のうちの1つの注目領域(「注目領域a」)とその注目領域に対して判定された診断情報(種類:「cancer」、サイズ:「10mm」)が表示される。注目領域aに対して判定された診断情報(種類:「cancer」、サイズ:「10mm」)を、第1診断情報とする場合には、確定操作として、フットスイッチFSのうち確定用スイッチDBを1回押下、又は、診断情報指定用スコープスイッチ13bを連続して2回押下することにより、診断情報(種類:「cancer」、サイズ:「10mm」)が第1診断情報として確定する。
一方、注目領域aに対して判定された診断情報(種類:「cancer」、サイズ:「10mm」)を、第1診断情報としない場合には、他の診断情報を指定できるようにするために、切替操作を行って、他の診断情報への表示に切り替える。この場合、切替操作として、フットスイッチFSの切替用スイッチSBを1回押下、又は、診断情報指定用スコープスイッチ13bを1回押下することにより、図6(B)に示すように、注目領域aと異なる注目領域bとこの注目領域bに対して判定された診断情報(種類:「adenoma」、サイズ:「7mm」)の表示に切り替えられる。注目領域bに対して判定された診断情報(種類:「adenoma」、サイズ:「7mm」)を第1診断情報とする場合には、上記したように、確定操作として、確定用スイッチDBを1回押下、又は診断情報指定用スコープスイッチ13bを連続して2回押下する。
なお、診断情報指定部74においては、注目領域に対して判定された診断情報の中から、第1診断情報を指定することに加えて、第1診断情報と指定された第1注目領域の画像と類似する類似画像が有る場合には、類似画像に対して判定された診断情報である類似画像診断情報も合わせてユーザーに提示し、類似画像診断情報の中から第1診断情報を指定するようにしてもよい。この場合には、注目領域に対して判定された診断情報の中から第1診断情報を指定した後、自動的に、又は、ユーザーがユーザーインターフェース19を操作することにより、類似画像記憶部76から、第1注目領域の画像と類似する類似画像及びこの類似画像に関連付けられた類似画像診断情報を抽出する。なお、類似画像の抽出は、第1注目領域の画像とのパターンマッチング等により行われる。
図7に示すように、類似画像記憶部76から抽出した類似画像80とその類似画像80に関連付けられた類似画像診断情報82とは、モニタ18に一覧表示される。また、モニタ18には、類似画像診断情報の中から、第1診断情報として選択するためのポインタPTが表示されている。ユーザーは、モニタ18に一覧表示された類似画像及び類似画像診断情報を参照しながら、マウスMSを操作する。そして、第1診断情報として指定したい類似画像診断情報にポインタPTを合わせてクリックを行う。これにより、ポインタPTで示された類似画像診断情報が、第1診断情報として指定される。この後は、表示制御部66は、指定された類似画像診断情報と判定される注目領域についても、モニタ18に表示しない制御が行われる。
診断情報修正部78は、複数の診断情報の中からユーザーが誤判定と考える第1診断情報を指定した場合には、この第1診断情報の指定に加えて又は代えて、第1診断情報を、ユーザーが正しいと考える第2診断情報に修正する修正処理を行う。注目領域に対して判定された診断情報の中から第1診断情報を指定した後、自動的に、又は、ユーザーがユーザーインターフェース19を操作することにより、修正用画面がモニタ18上に表示される。
修正用画面においては、図8に示すように、診断情報のうち修正対象の情報に対して、修正候補一覧が表示される。ここでは、病変部の種類に対して、修正候補一覧が表示されている。ユーザーは、修正候補一覧の中から正しい第2診断情報を見つけたら、マウスMSを操作して、正しい診断情報にポインタPTを合わせる。この状態でマウスMSをクリックすることにより、第1診断情報が正しい第2診断情報に修正される。例えば、注目領域aに対する第1診断情報が「cancer」の場合には、修正候補一覧の中から、第2診断情報として「adenoma」をポインタPTで指定する。これにより、注目領域aは、「adenoma」に修正される。修正処理後は、表示制御部66は、第1診断情報と判定される注目領域についてはモニタ18に表示しない制御を行う一方で、第2診断情報と判定される注目領域についてはモニタ18に表示する制御を行う。
特定注目対象追跡部79は、複数の診断情報の中からユーザーが誤判定と考える第1診断情報を指定した場合には、第1注目領域に含まれる第1注目対象を追跡する追跡処理を行う。このように、第1注目対象を追跡することで、モニタ18上から消えて再びモニタ18に表示されたとしても、第1注目対象は注目領域としての表示を行わないようにする。
例えば、図9(A)に示すように、注目領域aに対して判定された診断情報が第1診断情報として指定された場合には、注目領域a及び診断情報(種類:「cancer」、サイズ:「10mm」)は、モニタ18に表示されない(図9(A)では、点線はモニタ18上で非表示であることを示している。図9(C)も同様。)。この注目領域aは第1注目領域であることから、注目領域aに含まれる第1注目対象90が、特定注目対象追跡部79によって追跡される。
そして、図9(B)に示すように、内視鏡12の操作や観察対象の動きによって、モニタ18に表示される医療画像が大きく変化して、モニタ18上から第1注目対象90が消えた場合にも、第1注目対象90の追跡処理は継続する。そして、図9(C)に示すように、第1注目対象90が再びモニタ18上に出現した場合には、第1追跡対象は、注目領域抽出部70にて注目領域として抽出されたとしても、モニタ18上では注目領域として表示しないようにする。加えて、注目領域に対して判定された診断情報についても、モニタ18上に表示しないようにする。
なお、追跡処理としては、オプティカルフローなどの公知の技術を用いることが好ましい。また、第1注目対象が画面外に消えて、再度画面内に出現する場合を想定し、第1注目対象の画像をテンプレートとして保存、又は特徴量を算出して保存し、それら保存したテンプレート又は特徴量と再度画面内に出現した第1注目対象の画像又は特徴量との比較を行うことにより、再度画面内に出現した第1注目対象の位置が、画面から消える前の第1注目対象の位置と同じか否かの判定を行うようにしてもよい。そのほか、ジャイロセンサ、磁気センサ、又は加速度センサなどの慣性センサを用いて、内視鏡12の移動量を求めることにより、再度画面に出現した第1注目対象の位置を推定することができる。この推定に基づいて、再度画面内に出現した第1注目対象の位置が、画面から消える前の第1注目対象の位置と同じか否かの判定を行うようにしてもよい。
次に、注目領域を用いる診断の一連の流れについて、図10に示すフローチャートに沿って説明を行う。内視鏡12は、観察対象を撮像することにより、医療画像を得る。プロセッサ装置16の画像取得部54は、内視鏡12によって得られた医療画像を取得する。注目領域抽出部70では、医療画像から注目領域を抽出する。抽出された注目領域に対しては、診断情報判定部72によって、病変部の診断を支援するための診断情報を判定する。注目領域とこの注目領域に対して判定された診断情報は、モニタ18に表示される。
ユーザーは、モニタ18に表示中の注目領域及び診断情報を参照し、診断情報の中に、ユーザーが誤判定であると考える又はユーザーが明らかな病変で注目領域としてモニタ18に表示不要と考える第1診断情報が存在するか否かの確認を行う。第1診断情報が存在しない場合には、表示中の診断情報が全て正しい旨の指示を、マウスMSやフットスイッチFSなどのユーザーインターフェース19により行う。一方、ユーザーが、第1診断情報が存在すると判断した場合には、第1診断情報の指定をマウスMSやフットスイッチFSなどのユーザーインターフェース19により行う。この第1診断情報の指定後は、第1診断情報と判定される第1注目領域については、モニタ18に表示されない。以上の処理は、注目領域を用いる診断が終了するまで繰り返し行われる。なお、注目領域を用いる診断を行うか否かの切替操作は、ユーザーインターフェース19によって行われる。
なお、上記実施形態において、図中では注目領域ROIの形状を四角(矩形)で表しているが、形状は、楕円や円などの四角(矩形)以外もあり得る。これは、上記実施形態では、特徴量に基づいて注目領域を抽出しているため、特徴量の分布状況に応じて、注目領域の形状が変わるからである。
なお、第1〜第5実施形態において、診断情報判定部72で算出する血管指標値としては、例えば、血管密度、血管太さ、血管の指標値としては、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さの変化、間隔、粘膜を基準とした深さ、高低差、傾き、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量などがある。
血管密度は、画像において特定領域に含まれる血管が占める割合によって表される。血管の太さ(血管径)とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、医療画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の本数とは、医療画像全体または注目領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数(分岐数)や他の血管との交差点の個数(交差数)等を用いて算出する。血管の分岐角度は、2本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が医療画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率(拡張度ともいう)である。血管径の変化率は、血管の最も細い部分の太さ(最小径)と血管の最も太い部分の太さ(最大径)を用いて、「血管径の変化率(%)=最小径/最大径×100」で求める。
なお、過去の検査で観察対象を撮影して得た医療画像と、その後の新たな検査で同じ観察対象を撮影して得た医療画像と、を用いる場合、過去の検査で得た医療画像から抽出した血管の太さに対して、その後の新たな検査で得た医療画像から抽出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合(%)=細径部の長さ/血管の長さ×100」で求める。同様に、太径部の割合は、「太径部の割合(%)=太径部の長さ/血管の長さ×100」で求める。
血管の太さの変化の複雑度(以下、「太さ変化の複雑度」という)は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報(すなわち血管径の変化率、細径部の割合、または太径部の割合)を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、抽出した血管の長手方向に沿って計数した画素数である。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が1本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜(より具体的には粘膜の表面)を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特定の色割り当て処理を行う場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管として抽出した画素のR,G,B各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する1本の血管の高低差は、この血管の最も深い箇所の深さ(最大深さ)と、最も浅い箇所の深さ(最小深さ)の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き=血管の深さ/血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として抽出した画素の画素数、または、血管として抽出した画素の画素数に比例する値である。血管の面積は、注目領域内、注目領域外、または、医療画像全体について算出する。
血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度YVと、粘膜の輝度YMと、を用いて、例えば「YV/YM」または「(YV−YM)/(YV+YM)」で算出する。
血管の色とは、血管を表す画素のRGBの各値である。そして、血管の色の変化とは、血管を表す画素のRGB各値の各々の最大値と最小値の差または比である。例えば、血管を表すB画素の画素値の最大値と最小値の比、G画素の画素値の最大値と最小値の比、またはR画素の画素値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表すR画素の画素値に対するG画素の画素値の比(G/R)はヘモグロビンの量に比例するので、G/Rの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量(酸化ヘモグロビン及び還元ヘモグロビンの総量)に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光(例えば、波長470±10nm程度の青色光)で観察対象を撮影した医療画像を用いて算出することができる。波長470±10nm程度の青色光を用いる場合、血管を表すB画素の画素値は酸素飽和度と相関があるので、B画素の画素値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、B画像とG画像の比率B/Gや、B画像とR画像の比率B/R等が、観察対象に定着(あるいは一時的に付着)した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡12の鉗子チャンネル等を介して併用する場合等に、医療画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出する、血管の血流量を求めるができる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理装置に対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
なお、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像であることが好ましい。
医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、特定の波長帯域の光は白色帯域よりも狭い帯域であることが好ましい。特定の波長帯域は可視域の青色もしくは緑色帯域に含まれることが好ましい。特定の波長帯域は390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下、または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は可視域の赤色帯域に含まれることが好ましい。特定の波長帯域は、585nm以上615nm以下、または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下、または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域にピーク波長を有することが好ましい。特定の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。蛍光は、ピーク波長が390以上470nm以下の波長待機に含まれる励起光を生体内に照射して得られることが好ましい。
医療画像は生体内を写した生体内画像であり、特定の波長帯域は赤外光の波長帯域であることが好ましい。特定の波長帯域は、790nm以上820nm以下、又は905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下、又は905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、医療画像は特殊光画像であることが好ましい。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得られることが好ましい。
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって、演算画像を生成する演算画像生成部を有し、医療画像は演算画像であることが好ましい。
なお、上記実施形態では、図11に示すように、光源部20として、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを用いて、照明光の発光を行うことが好ましい。
V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。
白色帯域の光(白色光)を発光する場合、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。これにより、図12に示すように、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。特定の波長帯域の光(特定光)として、440±10nmの波長帯域にピーク波長を有する特定光を発光する場合、例えば、図13に示すように、青色光Bxの発光量が、紫色光V、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなる特定光が発せられる。
また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、図14に示すように、光源部20には、ピーク波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、ピーク波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。
照明光学系30aには、照明レンズ32の他に、ライトガイド24からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、白色光を発光する場合には、青色レーザ光源104が点灯して、主として青色レーザ光が蛍光体110に入射するため、図15に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が発せられる。一方、特定の波長帯域の光(特定光)として、440±10nmの波長帯域にピーク波長を有する特定光を発光する場合には、青色レーザ光源104及び青紫色レーザ光源106が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体110に入射させる。これにより、図16に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特定光が発せられる。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、図17に示すように、光源部20には、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、広帯域光源202と回転フィルタ204との間には絞り203が設けられており、この絞り203は絞り制御部205によって開口部の面積が調整される。絞り制御部205は、プロセッサ装置16からの調光信号に基づいて絞り203の制御を行う。
広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ204は、回転軸に一番近い内側に設けた通常モード用フィルタ210と、この白色光用フィルタ210の外側に設けた特定光用フィルタ212とを備えている(図18参照)。
フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、白色光を発光する場合に、白色光用フィルタ210を広帯域光の光路に挿入する。フィルタ切替部206は、特定の波長帯域の光(特定光)を発光する場合に、特定光用フィルタ212を広帯域光の光路に挿入する。
図17に示すように、白色光用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、広帯域光のうち400〜500nmの波長範囲を持つ広帯域の青色光Bを透過する。Gフィルタ210bは、広帯域光のうち緑色光Gを透過する。Rフィルタ210cは、広帯域光のうち赤色光Rを透過する。したがって、白色光を発光する場合には、回転フィルタ204が回転することで、白色光として、青色光B、緑色光G、赤色光Rが順次照射される。
特定光用フィルタ212には、周方向に沿って、Bnフィルタ212aと、Gフィルタ212bとが設けられている。Bnフィルタ212aは、広帯域光のうち400〜450nmの青色狭帯域光Bnを透過する。Gフィルタ212bは、広帯域光のうち緑色光Gを透過する。したがって、特定光を発光する場合には、回転フィルタ204が回転することで、特定光として、青色狭帯域光Bn、緑色光Gが、観察対象に向けて、順次照射される。
キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、白色光の照明時には、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるB画像、G画像、R画像によって、白色光の成分を備える画像を生成する。また、特定光の照明時には、青色狭帯域光Bn、緑色光Gで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるBn画像、G画像によって、特定光の成分を備える画像を生成する。
上記実施形態において、画像処理部61に含まれる注目領域抽出部70、診断情報判定部72、診断情報指定部74、類似画像記憶部76、診断情報修正部78、又は特定注目対象追跡部79といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。