JP6850358B2 - 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 - Google Patents
医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 Download PDFInfo
- Publication number
- JP6850358B2 JP6850358B2 JP2019550301A JP2019550301A JP6850358B2 JP 6850358 B2 JP6850358 B2 JP 6850358B2 JP 2019550301 A JP2019550301 A JP 2019550301A JP 2019550301 A JP2019550301 A JP 2019550301A JP 6850358 B2 JP6850358 B2 JP 6850358B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- medical image
- light
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 89
- 238000001839 endoscopy Methods 0.000 title 1
- 238000001514 detection method Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 60
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims description 12
- 238000001727 in vivo Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 210000004204 blood vessel Anatomy 0.000 description 123
- 238000005286 illumination Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 20
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 18
- 102000001554 Hemoglobins Human genes 0.000 description 12
- 108010054147 Hemoglobins Proteins 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 229910052760 oxygen Inorganic materials 0.000 description 9
- 239000001301 oxygen Substances 0.000 description 9
- 230000003902 lesion Effects 0.000 description 7
- 210000004400 mucous membrane Anatomy 0.000 description 7
- 235000005811 Viola adunca Nutrition 0.000 description 6
- 240000009038 Viola odorata Species 0.000 description 6
- 235000013487 Viola odorata Nutrition 0.000 description 6
- 235000002254 Viola papilionacea Nutrition 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 210000004877 mucosa Anatomy 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 210000003462 vein Anatomy 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 229910052724 xenon Inorganic materials 0.000 description 3
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 3
- 101001013647 Mus musculus Methionine synthase Proteins 0.000 description 2
- 244000172533 Viola sororia Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Astronomy & Astrophysics (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Description
本発明は、医療画像から注目領域を検出する医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置に関する。
現在の医療分野においては、内視鏡システムに組み込まれる内視鏡用のプロセッサ装置などのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある注目領域を検出し、検出した注目領域に対して画像解析を行うことによって、病態に関する診断支援情報を取得することが行われている。取得した診断支援情報については、モニタなどの表示部に表示することによって、ユーザーに提供される。
以上のように、注目領域の検出を行う場合には、一般的には、病変部の見落しを避けるために、注目領域の検出レベルを低く設定するようにしている。そのため、病変部については確実に検出することができるようになるものの、正常な部位など、本来、注目領域として検出すべきでない領域も合わせて検出することが多かった。即ち、注目領域として誤って検出される誤検出領域が発生することがあった。
これに対して、特許文献１では、複数の注目領域を検出した場合において、各注目領域が病変領域として正しい領域か否かの正否判定を行っています。この正否判定の結果に基づき、注目領域の検出に用いた階調値の閾値を更新するようにすることで、誤検出される領域が少なくなるようにしています。
特許文献１では、検出した注目領域に対する正否判定の入力を、キーボードやマウスなどによって行っている。そのため、内視鏡を操作する医師が、正否判定の入力操作を直接操作することは難しく、医師をサポートするスタッフが、正否判定の入力操作を行うことが多かった。
本発明は、複数の注目領域を検出する場合において、各注目領域に対する判断を、内視鏡を操作するユーザーが直接行うことができる医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置を提供することを目的とする。
本発明の医療画像処理システムは、画像取得部と、注目領域検出部と、表示部と、視線検知部と、注目領域先端部とを備える。画像取得部は、観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から注目領域を検出する領域検出処理を行う。表示部は、医療画像において注目領域を表示する。注目領域選択部は、ユーザーが表示部に向けている視線が、表示部と交差する位置を表す視線ポイントが含まれる第１注目領域を選択する領域選択処理を行う。
領域選択処理が行われた場合には、第１注目領域に対しては注目領域として正しく検出された適正領域であると判定し、複数の注目領域のうち第１注目領域以外の第２注目領域に対しては注目領域として誤って検出された誤検出領域であると判定する領域判定処理を行う領域判定部を備えることが好ましい。
医療画像と領域判定処理の判定結果とを関連付けて、注目領域検出部を学習させるための学習用データを生成する学習用データ生成部を備え、注目領域検出部は、領域検出処理、又は、学習用データを用いて、注目領域の検出精度を上げるための学習処理のいずれかを行うことが好ましい。医療画像と領域判定処理の判定結果とを関連付けて、注目領域検出部を学習させるための学習用データを生成する学習用データ生成部と、学習用データを用いて、注目領域の検出精度を上げるための学習処理が施される特定処理部とを備え、学習処理が行われた場合には、注目領域検出部は、特定処理部と置き換えられることが好ましい。
注目領域の選択に関するユーザーの操作を受け付ける領域選択操作部を備え、注目領域選択部は、領域選択操作部が操作されたタイミングにおいて視線ポイントが入っている注目領域を、第１注目領域として選択することが好ましい。視線ポイントが注目領域に入っている時間を観察時間として計測する観察時間計測部を備え、注目領域選択部は、観察時間が特定の観察時間を超えた注目領域を、第１注目領域として選択することが好ましい。
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像であることが好ましい。医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、特定の波長帯域の光は白色帯域よりも狭い帯域であることが好ましい。
特定の波長帯域は３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。特定の波長帯域は可視域の赤色帯域に含まれることが好ましい。特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域にピーク波長を有することが好ましい。特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。蛍光は、ピーク波長が３９０以上４７０ｎｍ以下の波長待機に含まれる励起光を生体内に照射して得られることが好ましい。
医療画像は生体内を写した生体内画像であり、特定の波長帯域は赤外光の波長帯域であることが好ましい。特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて得られ、特定の波長帯域の信号を有する特殊光画像であることが好ましい。特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得られることが好ましい。
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって得られる演算画像であることが好ましい。
本発明の内視鏡システムは、内視鏡と、画像取得部と、注目領域検出部と、表示部と、視線検知部と、注目領域選択部とを備える。内視鏡は、観察対象を撮像する。画像取得部は、内視鏡により観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から注目領域を検出する領域検出処理を行う。視線検知部は、ユーザーが表示部に向けている視線が、表示部と交差する位置を表す視線ポイントを検出する。注目領域選択部は、複数の注目領域の中から視線ポイントが含まれる第１注目領域を選択する。
本発明の診断支援装置は、上記記載の本発明の医療画像処理システムを有する診断支援装置。本発明の医療業務支援装置は、上記記載の本発明の医療画像処理システムを有する。
本発明によれば、複数の注目領域を検出する場合において、各注目領域に対する判断を、内視鏡を操作するユーザーが直接行うことができる。
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９と、を備える。内視鏡１２は、観察対象である被写体に照明光を照射し、照明光で照射された被写体を撮像する。光源装置１４は、被写体に照射するための照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、プロセッサ装置１６から出力された画像を表示する表示部である。ユーザーインターフェース１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスであり、キーボードＫＢやマウスＭＳなどから構成される。なお、ユーザーインターフェース１９は、マウスＭＳ、キーボードＫＢに限定されず、グラフィカルユーザーインターフェースや音声入力、タッチディスプレイなどであってもよい。
内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。先端部１２ｄには、被写体に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。
また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａが設けられている。ズーム操作部１３ａを操作することによって、被写体を拡大または縮小して撮像することができる。また、挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）が設けられている。処置具は、鉗子入口１２ｆから鉗子チャンネル内に挿入される。
図２に示すように、光源装置１４は、光源部２０と、光源制御部２２と、を備える。光源部２０は、被写体を照明するための照明光を発光する。光源部２０は、１又は複数の光源を備えている。光源制御部２２は、光源部２０の駆動を制御する。光源制御部２２は、光源部２０を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。
光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（図示しない）内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮像する。ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、イメージセンサ４８を用いて撮像する被写体を拡大または縮小する。
イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて被写体を撮像すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。
なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて被写体を順次撮像することにより、上記各色の画像を得ることができる。
プロセッサ装置１６は、中央制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６とを有する。中央制御部５２は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、ユーザーインターフェース１９等を用いて、各種設定の入力等をした場合には、中央制御部５２は、入力された各種設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。
画像取得部５４は、イメージセンサ４８から、被写体を撮像した画像を取得する。この画像取得部５４で取得する画像は、内視鏡１２のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。ＤＳＰ５６は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
なお、イメージセンサ４８がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において被写体を撮像して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。
ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。
画像処理部６１は、画像取得部５４が取得した医療画像に対して各種の画像処理を施す。また、画像処理部６１は、医療画像から注目領域の検出を行い、検出した注目領域から観察対象の診断を支援するための診断支援情報を算出する。注目領域の検出及び診断支援情報の算出については後述する。表示制御部６６は、画像処理部６１から送られる医療画像又は診断支援情報を用い、モニタ１８での表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８には、医療画像と診断支援情報が少なくとも表示される。
図３に示すように、画像処理部６１は、注目領域検出部７０と、診断支援情報算出部７２と、視線画像生成部７４と、画像合成部７６と、注目領域選択部７８と、観察時間計測部７９と、領域判定部８０と、学習用データ生成部８２とを備えている。注目領域検出部７０は、医療画像から検査または診断の対象として注目すべき注目領域を検出する領域検出処理を行う。注目領域検出部７０は、例えば、ＣＮＮ（Convolutional Neural Network）や、画素勾配特徴を利用したＡｄａｂｏｏｓｔから構成される。したがって、注目領域検出部７０は、領域検出処理の他、注目領域の検出精度を上げるための学習処理が可能である。領域検出処理又は学習処理のいずれを行うかは、ユーザーインターフェース１９の操作によって決定される。
注目領域検出部７０は、領域検出処理を行う場合には、図４に示すように、医療画像が入力されると、この入力された医療画像から注目領域を検出して、注目領域を含む領域検出画像を出力する。領域検出画像には、図５に示すように、病変部の周囲を囲む矩形状の注目領域ＲＯＩが表示される。なお、図５では、注目領域ＲＯＩの形状を四角（矩形）で表しているが、矩形以外の形状は、例えば、円、楕円などで表してもよい。なお、注目領域検出部７０の学習処理については後述する。
診断支援情報算出部７２は、注目領域検出部７０で検出された注目領域から各種指標値を算出し、算出した各種指標値に基づいて、病変部の診断を支援するための診断支援情報を算出する。各種指標値としては、血管密度や血管走行パターンなどの血管に関する血管指標値や、腺管構造に関する腺管指標値などが含まれる。診断支援情報としては、例えば、病変部の進行度（ステージ）などが挙げられる。図５に示すように、算出された診断支援情報８４は、領域検出画像とともに、注目領域ＲＯＩに対応づけられてモニタ１８に表示される（図５では「ステージ１」）。
視線画像生成部７４は、図６に示すように、ユーザーがモニタ１８に向けている視線が、モニタ１８と交差する位置を表す視線ポイントＥＰを表示する視線画像を生成する。視線ポイントに関する情報は、モニタ１８の前面に設けられた視線検知部７５からの視線データに基づいて生成される。視線画像においては、一定の時間間隔Ｔ１〜ＴＮ（図６ではＮ＝７。Ｎの数が大きくなる程、時間的に新しいことを意味する。）において取得した複数の視線ポイントＥＰ（Ｔ１）〜ＥＰ（ＴＮ）を表示し、且つ、各視線ポイントＥＰ（Ｔ１）〜ＥＰ（ＴＮ）間は、視線の軌跡が分かるように、連結線ＣＬによって連結されている。なお、一定の時間間隔を経た視線ポイントは、視線画像から消去するようにし、代わりに、最新の視線ポイントを表示するようにする。なお、ユーザーの視線が交差するモニタ１８の部分には、モニタ１８の画面全体の他、画面中のウインドウなど、少なくとも画像情報が表示されている部分が含まれる。
図７に示すように、画像合成部７６は、領域検出画像と視線画像とを合成して合成画像を生成する。この合成画像によって、領域検出画像における注目領域と、ユーザーが現在注視している視線ポイントＥＰとの位置関係が分かるようになる。例えば、図７に示すように、３つの注目領域ＲＯＩｘ、ＲＯＩｙ、ＲＯＩｚが表示されている場合、一定の時間間隔内に表示される視線ポイントＥＰは、注目領域ＲＯＩｘに集中している。これにより、ユーザーが注視している領域はＲＯＩｘであることが分かる。
注目領域選択部７８は、複数の注目領域の中から、視線ポイントＥＰが含まれる第１注目領域を選択する領域選択処理を行う。領域選択処理は、ユーザーによって、注目領域の選択に関する指示が行われたことに基づいて、実行される。ユーザーは、モニタ１８に表示された合成画像を参照し、注目すべき領域として正しく検出されていると考える注目領域ＲＯＩの中に、視線ポイントＥＰが入っていることを確認すると、内視鏡１２の操作部１２ｂに設けられた領域選択ボタン１３ｂ（領域選択操作部）を操作する。これに従って、注目領域選択部７８は、領域選択処理を実行する。この領域選択処理の実行により、図８に示すように、領域選択ボタン１３ｂが操作されたタイミングにおいて視線ポイントＥＰが入っている注目領域ＲＯＩｘを、第１注目領域として選択する（図８では、第１注目領域として選択されたＲＯＩｘは二重線で表している。）。以上のように、注目領域の選択に、視線検知部７５で検出した視線ポイントＥＰを用いることによって、内視鏡１２を操作する医師が、スタッフのサポート無く、注目すべき領域として正しく検出されていると考える注目領域を選択することができるようになる。
なお、本実施形態では、領域選択操作部として、領域選択ボタン１３ｂを用いているが、その他、フットスイッチＦＳ（図１参照）や、マイク等を使用した音声認識も用いることができる。また、視線ポイントＥＰが注目領域に入っている時間を観察時間として、観察時間計測部７９（図３参照）によって計測し、その上で、注目領域選択部７８が、観察時間計測部７９で計測した観察時間が特定の観察時間を超えた注目領域を、第１注目領域として選択するようにしてもよい。
領域判定部８０は、第１注目領域を選択する領域選択処理が行われた場合には、第１注目領域に対しては、注目領域として正しく検出された適正領域であると判定し、第１注目領域以外の第２注目領域に対しては、注目領域として誤って検出された誤検出領域であると判定する領域判定処理を行う。この領域判定処理によって、適正領域と誤検出領域に関する情報を含む正誤判定済み画像が得られる。例えば、図８に示すように、第１注目領域として選択された注目領域ＲＯＩｘは適正領域であると判定され、第１注目領域として選択されなかった第２注目領域である注目領域ＲＯＩｙ、ＲＯＩｚは誤検出領域として判定される。
学習用データ生成部８２は、図９に示すように、注目領域検出部７０に入力した医療画像と、領域判定部８０で得られた正誤判定済み画像とを関連付けて、注目領域検出部７０を学習させるための学習用データを生成する学習用データ生成処理を行う。生成された学習用データは、学習用データ記憶部８２ａに記憶され、注目領域検出部７０において学習処理が行われる場合に用いられる。注目領域検出部７０は、学習処理を行う場合には、図１０に示すように、学習用データ記憶部８２ａから学習用データを読み出し、この読み出した学習用データに基づいて、領域検出処理の精度を向上させる。また、学習処理は、注目領域検出部７０に対して行う他、注目領域検出部７０とは異なる他の特定処理部８３に対して行って、この学習処理済みの特定処理部を注目領域検出部７０に置き換えるようにしてもよい。この置き換え後の特定処理部が注目領域検出部７０が機能することになる。
次に、視線検知部を用いて、適正領域である第１注目領域の選択を行う一連の流れについて、図１１に示すフローチャートに沿って説明を行う。観察対象の撮像を行うことにより、医療画像が得られる。この医療画像は注目領域検出部７０に入力される。注目領域検出部７０は、医療画像の入力に対して、この医療画像から注目領域を検出し、検出した注目領域を含む領域検出画像を出力する。出力された領域検出画像は、医療画像上に重畳してモニタ１８に表示される。
また、ユーザーが視線をモニタ１８に向けることにより、ユーザーの視線は視線検知部７５により検出される。この視線検知部での検出結果に基づいて、現在から一定時間前にユーザーがモニタ１８に向けていた視線を表す視線ポイントが表示された視線画像が得られる。視線画像は領域検出画像と合成され、この合成により得られた合成画像はモニタ１８に表示される。ユーザーは、モニタ１８に表示された合成画像を参照し、注目すべき領域として正しく検出されていると考える注目領域ＲＯＩの中に、視線ポイントＥＰが入っていることを確認すると、領域選択ボタン１３ｂを操作する。この領域選択ボタン１３ｂが操作されたタイミングにおいて視線ポイントＥＰが入っている注目領域ＲＯＩｘを、第１注目領域として選択する。
第１注目領域の選択後は、第１注目領域に対して、注目領域として正しく検出された適正領域であると判定し、第１注目領域以外の第２注目領域に対しては、注目領域として誤って検出された誤検出領域であると判定する領域判定処理を行う。この領域判定処理によって、適正領域と誤検出領域に関する情報を含む正誤判定済み画像が得られる。この正誤判定済み画像と、注目領域検出部７０に入力した医療画像とを互いに関連付けることにより、学習用データを生成する。
なお、上記実施形態において、診断支援情報算出部７２で算出する血管指標値としては、例えば、血管密度、血管太さ、血管の指標値としては、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さの変化、間隔、粘膜を基準とした深さ、高低差、傾き、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量などがある。
血管密度は、画像において特定領域に含まれる血管が占める割合によって表される。血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、検出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、医療画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。
血管の本数とは、医療画像全体または注目領域内で検出した血管の数である。血管の本数は、例えば、検出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が医療画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管径の変化率（％）＝最小径／最大径×１００」で求める。
なお、過去の検査で観察対象を撮影して得た医療画像と、その後の新たな検査で同じ観察対象を撮影して得た医療画像と、を用いる場合、過去の検査で得た医療画像から検出した血管の太さに対して、その後の新たな検査で得た医療画像から検出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。
血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち血管径の変化率、細径部の割合、または太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、検出した血管の長手方向に沿って計数した画素数である。
血管の間隔とは、検出した血管のエッジ間にある粘膜を表す画素の画素数である。検出した血管が１本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管として検出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として検出した画素の画素数、または、血管として検出した画素の画素数に比例する値である。血管の面積は、注目領域内、注目領域外、または、医療画像全体について算出する。
血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度ＹVと、粘膜の輝度ＹMと、を用いて、例えば「ＹV／ＹM」または「（ＹV−ＹM）／（ＹV＋ＹM）」で算出する。
血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差または比である。例えば、血管を表すＢ画素の画素値の最大値と最小値の比、Ｇ画素の画素値の最大値と最小値の比、またはＲ画素の画素値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表すＲ画素の画素値に対するＧ画素の画素値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を撮影した医療画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表すＢ画素の画素値は酸素飽和度と相関があるので、Ｂ画素の画素値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、検出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ画像とＧ画像の比率Ｂ／Ｇや、Ｂ画像とＲ画像の比率Ｂ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。
血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡１２の鉗子チャンネル等を介して併用する場合等に、医療画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出する、血管の血流量を求めるができる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
なお、上記実施形態では、図１２に示すように、光源部２０として、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを用いて、照明光の発光を行うことが好ましい。
Ｖ−ＬＥＤ２０ａは、波長帯域３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発する。Ｂ−ＬＥＤ２０ｂは、波長帯域４２０ｎｍ〜５００ｎｍの青色光Ｂを発する。Ｂ−ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０〜４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。Ｇ−ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ−ＬＥＤ２０ｄは、波長帯域が６００ｎｍ〜６５０ｎｍに及び赤色光Ｒを発する。
白色帯域の光（白色光）を発光する場合、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。これにより、図１３に示すように、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。特定の波長帯域の光（特定光）として、４４０±１０ｎｍの波長帯域にピーク波長を有する特定光を発光する場合、例えば、図１４に示すように、青色光Bxの発光量が、紫色光V、緑色光Ｇ、及び赤色光Ｒのいずれの発光量よりも大きくなる特定光が発せられる。
また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、図１５に示すように、光源部２０には、ピーク波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（「４４５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）１０４と、ピーク波長４０５±１０ｎｍの青紫色レーザ光を発する青紫色レーザ光源（「４０５ＬＤ」と表記）１０６とが設けられている。
照明光学系３０aには、照明レンズ３２の他に、ライトガイド２４からの青色レーザ光又は青紫色レーザ光が入射する蛍光体１１０が設けられている。蛍光体１１０は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体１１０を励起させることなく透過する。青紫色レーザ光は、蛍光体１１０を励起させることなく透過する。蛍光体１１０を出射した光は、照明レンズ３２を介して、観察対象の体内を照明する。
ここで、白色光を発光する場合には、青色レーザ光源１０４が点灯して、主として青色レーザ光が蛍光体１１０に入射するため、図１６に示すような、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した白色光が発せられる。一方、特定の波長帯域の光（特定光）として、４４０±１０ｎｍの波長帯域にピーク波長を有する特定光を発光する場合には、青色レーザ光源１０４及び青紫色レーザ光源１０６が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体１１０に入射させる。これにより、図１７に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した特定光が発せられる。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、青色レーザ光源１０４及び青紫色レーザ光源１０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
なお、蛍光体１１０は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体（例えばＹＡＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ10Ｏ17）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体１１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、図１８に示すように、光源部２０には、広帯域光源２０２と、回転フィルタ２０４と、フィルタ切替部２０６とが設けられている。また、広帯域光源２０２と回転フィルタ２０４との間には絞り２０３が設けられており、この絞り２０３は絞り制御部２０５によって開口部の面積が調整される。絞り制御部２０５は、プロセッサ装置１６からの調光信号に基づいて絞り２０３の制御を行う。
広帯域光源２０２はキセノンランプや白色ＬＥＤ等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ２０４は、回転軸に一番近い内側に設けた白色光用フィルタ２１０と、この白色光用フィルタ２１０の外側に設けた特定光用フィルタ２１２とを備えている（図１９参照）。
フィルタ切替部２０６は、回転フィルタ２０４を径方向に移動する。具体的には、フィルタ切替部２０６は、白色光を発光する場合に、白色光用フィルタ２１０を広帯域光の光路に挿入する。フィルタ切替部２０６は、特定の波長帯域の光（特定光）を発光する場合に、特定光用フィルタ２１２を広帯域光の光路に挿入する。
図１９に示すように、白色光用フィルタ２１０には、周方向に沿って、Ｂフィルタ２１０ａと、Ｇフィルタ２１０ｂと、Ｒフィルタ２１０ｃとが設けられている。Ｂフィルタ２１０ａは、広帯域光のうち４００〜５００nmの波長範囲を持つ広帯域の青色光Ｂを透過する。Ｇフィルタ２１０ｂは、広帯域光のうち緑色光Ｇを透過する。Ｒフィルタ２１０ｃは、広帯域光のうち赤色光Ｒを透過する。したがって、白色光を発光する場合には、回転フィルタ２０４が回転することで、白色光として、青色光B、緑色光G、赤色光Rが順次照射される。
特定光用フィルタ２１２には、周方向に沿って、Ｂｎフィルタ２１２ａと、Ｇフィルタ２１２ｂとが設けられている。Ｂｎフィルタ２１２ａは、広帯域光のうち４００〜４５０nmの青色狭帯域光Ｂｎを透過する。Ｇフィルタ２１２ｂは、広帯域光のうち緑色光Ｇを透過する。したがって、特定光を発光する場合には、回転フィルタ２０４が回転することで、特定光として、青色狭帯域光Ｂｎ、緑色光Ｇが、観察対象に向けて、順次照射される。
キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、白色光の照明時には、青色光Ｂ、緑色光Ｇ、赤色光Ｒで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるＢ画像、Ｇ画像、Ｒ画像によって、白色光の成分を備える画像を生成する。また、特定光の照明時には、青色狭帯域光Ｂｎ、緑色光Ｇで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるＢｎ画像、Ｇ画像によって、特定光の成分を備える画像を生成する。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
例えば、図２０に示すように、診断支援装置６００は、医療画像処理システム６０２などのモダリティやＰＡＣＳ（Picture Archiving and Communication Systems）６０４を組み合わせて使用される。また、図２１に示すように、医療業務支援装置６１０は、第１医療画像処理システム６２１、第２医療画像処理システム６２２、…、第Ｎ医療画像処理システム６２３等の各種検査装置と任意のネットワーク６２６を介して接続する。医療業務支援装置６１０は、第１〜第N医療画像処理システム６２１、６２２・・・、６２３からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
上記実施形態において、画像処理部６１に含まれる注目領域検出部７０、診断支援情報算出部７２、視線画像生成部７４、画像合成部７６、注目領域選択部７８、観察時間計測部７９、領域判定部８０、学習用データ生成部８２、学習用データ記憶部８２ａ、又は特定処理部８３といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、ＧＰＵ(Graphical Processing Unit)などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 鉗子入口
１３ａ ズーム操作部
１３ｂ 領域選択ボタン
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ−ＬＥＤ（Ｖｉｏｌｅｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｂ Ｂ−ＬＥＤ（Ｂｌｕｅ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｃ Ｇ−ＬＥＤ（Ｇｒｅｅｎ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｄ Ｒ−ＬＥＤ（Ｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２２ 光源制御部
２３ 波長カットフィルタ
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 中央制御部
５４ 画像取得部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６６ 表示制御部
７０ 注目領域検出部
７２ 診断支援情報算出部
７４ 視線画像生成部
７５ 視線検知部
７６ 画像合成部
７８ 注目領域選択部
８０ 領域判定部
８２ 学習用データ生成部
８２ａ 学習用データ記憶部
８４ 診断支援情報
１０４ 青色レーザ光源
１０６ 青紫色レーザ光源
１１０ 蛍光体
２０２ 広帯域光源
２０４ 回転フィルタ
２０５ 制御部
２０６ フィルタ切替部
２１０ 白色光用フィルタ
２１０ａ Ｂフィルタ
２１０ｂ Ｇフィルタ
２１０ｃ Ｒフィルタ
２１２ 特定光用フィルタ
２１２ａ Ｂｎフィルタ
２１２ｂ Ｇフィルタ
６００ 診断支援装置
６０２ 医療画像処理システム
６０４ ＰＡＣＳ
６１０ 医療業務支援装置
６２１ 第１医療画像処理システム
６２２ 第２医療画像処理システム
６２３ 第Ｎ医療画像処理システム
６２６ ネットワーク
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 鉗子入口
１３ａ ズーム操作部
１３ｂ 領域選択ボタン
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ−ＬＥＤ（Ｖｉｏｌｅｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｂ Ｂ−ＬＥＤ（Ｂｌｕｅ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｃ Ｇ−ＬＥＤ（Ｇｒｅｅｎ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｄ Ｒ−ＬＥＤ（Ｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２２ 光源制御部
２３ 波長カットフィルタ
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 中央制御部
５４ 画像取得部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６６ 表示制御部
７０ 注目領域検出部
７２ 診断支援情報算出部
７４ 視線画像生成部
７５ 視線検知部
７６ 画像合成部
７８ 注目領域選択部
８０ 領域判定部
８２ 学習用データ生成部
８２ａ 学習用データ記憶部
８４ 診断支援情報
１０４ 青色レーザ光源
１０６ 青紫色レーザ光源
１１０ 蛍光体
２０２ 広帯域光源
２０４ 回転フィルタ
２０５ 制御部
２０６ フィルタ切替部
２１０ 白色光用フィルタ
２１０ａ Ｂフィルタ
２１０ｂ Ｇフィルタ
２１０ｃ Ｒフィルタ
２１２ 特定光用フィルタ
２１２ａ Ｂｎフィルタ
２１２ｂ Ｇフィルタ
６００ 診断支援装置
６０２ 医療画像処理システム
６０４ ＰＡＣＳ
６１０ 医療業務支援装置
６２１ 第１医療画像処理システム
６２２ 第２医療画像処理システム
６２３ 第Ｎ医療画像処理システム
６２６ ネットワーク
Claims (14)
- 観察対象を撮像して得られる医療画像を取得する画像取得部と、
前記医療画像から注目領域を検出する領域検出処理を行う注目領域検出部と、
前記医療画像において注目領域を表示する表示部と、
ユーザーが前記表示部に向けている視線が、前記表示部と交差する位置を表す視線ポイントを検出する視線検知部と、
複数の注目領域の中から前記視線ポイントが含まれる第１注目領域を選択する領域選択処理を行う注目領域選択部と、
前記領域選択処理が行われた場合には、前記第１注目領域に対しては前記注目領域として正しく検出された適正領域であると判定し、前記複数の注目領域のうち前記第１注目領域として選択されなかった第２注目領域に対しては前記注目領域として誤って検出された誤検出領域であると判定する領域判定処理を行う領域判定部とを備える医療画像処理システム。 - 前記医療画像と前記領域判定処理によって得られる正誤判定済み画像とを関連付けて、前記注目領域検出部を学習させるための学習用データを生成する学習用データ生成部を備え、
前記注目領域検出部は、前記領域検出処理、又は、前記学習用データを用いて、前記注目領域の検出精度を上げるための学習処理のいずれかを行う請求項１記載の医療画像処理システム。 - 前記医療画像と前記領域判定処理の判定結果とを関連付けて、前記注目領域検出部を学習させるための学習用データを生成する学習用データ生成部と、
前記学習用データを用いて、前記注目領域の検出精度を上げるための学習処理が施される特定処理部とを備え、
前記学習処理が行われた場合には、前記注目領域検出部は、前記特定処理部と置き換えられる請求項１記載の医療画像処理システム。 - 前記注目領域の選択に関するユーザーの操作を受け付ける領域選択操作部を備え、
前記注目領域選択部は、
前記領域選択操作部が操作されたタイミングにおいて前記視線ポイントが入っている注目領域を、前記第１注目領域として選択する請求項１ないし４いずれか１項記載の医療画像処理システム。 - 前記視線ポイントが前記注目領域に入っている時間を観察時間として計測する観察時間計測部を備え、
前記注目領域選択部は、前記観察時間が特定の観察時間を超えた注目領域を、第１注目領域として選択する請求項１ないし４いずれか１項記載の医療画像処理システム。 - 前記医療画像は、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像である請求項１ないし６いずれか１項記載の医療画像処理システム。
- 前記医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、
前記特定の波長帯域の光は白色帯域よりも狭い帯域である請求項１ないし６いずれか１項記載の医療画像処理システム。 - 前記医療画像は生体内を写した生体内画像であり、
前記生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する請求項１ないし６いずれか１項記載の医療画像処理システム。 - 前記医療画像は生体内を写した生体内画像であり、
前記生体内画像は赤外光の波長帯域を有する請求項１ないし６いずれか１項記載の医療画像処理システム。 - 前記医療画像は、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて得られ、特定の波長帯域の信号を有する特殊光画像である請求項１ないし６いずれか１項記載の医療画像処理システム。
- 前記医療画像は、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって得られる演算画像である請求項１ないし６いずれか１項記載の医療画像処理システム。
- 観察対象を撮像する内視鏡と、
前記内視鏡により観察対象を撮像して得られる医療画像を取得する画像取得部と、
前記医療画像から注目領域を検出する領域検出処理を行う注目領域検出部と、
前記医療画像において注目領域を表示する表示部と、
ユーザーが前記表示部に向けている視線が、前記表示部と交差する位置を表す視線ポイントを検出する視線検知部と、
複数の注目領域の中から前記視線ポイントが含まれる第１注目領域を選択する領域選択処理を行う注目領域選択部と、
前記領域選択処理が行われた場合には、前記第１注目領域に対しては前記注目領域として正しく検出された適正領域であると判定し、前記複数の注目領域のうち前記第１注目領域として選択されなかった第２注目領域に対しては前記注目領域として誤って検出された誤検出領域であると判定する領域判定処理を行う領域判定部を備える内視鏡システム。 - 請求項１ないし１２いずれか１項記載の医療画像処理システムを有する診断支援装置。
- 請求項１ないし１２いずれか１項記載の医療画像処理システムを有する医療業務支援装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017207059 | 2017-10-26 | ||
| JP2017207059 | 2017-10-26 | ||
| PCT/JP2018/039771 WO2019082993A1 (ja) | 2017-10-26 | 2018-10-25 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019082993A1 JPWO2019082993A1 (ja) | 2020-11-12 |
| JP6850358B2 true JP6850358B2 (ja) | 2021-03-31 |
Family
ID=66247481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019550301A Active JP6850358B2 (ja) | 2017-10-26 | 2018-10-25 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6850358B2 (ja) |
| WO (1) | WO2019082993A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021029293A1 (ja) * | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 医用画像処理装置、内視鏡システム、及び医用画像処理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5802440B2 (ja) * | 2011-06-02 | 2015-10-28 | オリンパス株式会社 | 蛍光観察装置 |
| JP2015100479A (ja) * | 2013-11-22 | 2015-06-04 | 日立アロカメディカル株式会社 | 超音波画像処理装置 |
| JP6092792B2 (ja) * | 2014-01-20 | 2017-03-08 | 富士フイルム株式会社 | 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法 |
| JP6210962B2 (ja) * | 2014-09-30 | 2017-10-11 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| JPWO2017038241A1 (ja) * | 2015-08-28 | 2018-06-14 | 富士フイルム株式会社 | 機器操作装置、機器操作方法、及び電子機器システム |
-
2018
- 2018-10-25 JP JP2019550301A patent/JP6850358B2/ja active Active
- 2018-10-25 WO PCT/JP2018/039771 patent/WO2019082993A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019082993A1 (ja) | 2019-05-02 |
| JPWO2019082993A1 (ja) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6785941B2 (ja) | 内視鏡システム及びその作動方法 | |
| US11426054B2 (en) | Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus | |
| JP6488249B2 (ja) | 血管情報取得装置、内視鏡システム及び血管情報取得方法 | |
| US10231658B2 (en) | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device | |
| US10426318B2 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JP6538634B2 (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
| US20180218499A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JP6796725B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
| US20180211385A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JPWO2019012911A1 (ja) | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 | |
| US11064864B2 (en) | Processor device, endoscope system, and method of operating processor device | |
| US10869590B2 (en) | Endoscope system, processor device, and operation method of endoscope system | |
| US20180206738A1 (en) | Endoscope system and method of operating endoscope system | |
| US10702136B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
| JP6924837B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 | |
| JP6850358B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
| US20190246874A1 (en) | Processor device, endoscope system, and method of operating processor device | |
| EP3391801A1 (en) | Endoscope system, processor device, and operation method of endoscope system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6850358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |