JP6710853B2

JP6710853B2 - プローブ型共焦点レーザー顕微内視鏡画像診断支援装置

Info

Publication number: JP6710853B2
Application number: JP2017133235A
Authority: JP
Inventors: 浩一古川
Original assignee: 浩一古川
Priority date: 2017-07-07
Filing date: 2017-07-07
Publication date: 2020-06-17
Anticipated expiration: 2037-07-07
Also published as: JP2019013461A

Description

本発明は、プローブ型共焦点レーザー顕微内視鏡画像に基づき医師の診断を支援する内視鏡画像診断支援装置に関する。

消化管の内視鏡検査においては、内視鏡から得られる内視鏡画像に基づき診断がなされ、さらに生検採取が行われ、病理組織診断によりその診断が確実なものとされている。しかし、その内視鏡画像診断は、医師の経験等に左右されることがあり、病理組織診断は採取検体処理ののちに病理医により診断が行われるという過程から時間と労力を要する。そこで、医師の経験等に左右されずに正確な診断がなされ、短時間で病理組織診断に近い確実な情報が得られ、さらには生検検体採取による被検者へ侵襲をなくし、検体処理の過程で発生する時間や労力なく、病理医の診断時の負担を軽減するために、医師の診断を支援する内視鏡画像診断支援装置が求められている。

従来の内視鏡画像に基づき医師の診断を支援するための内視鏡画像診断支援装置としては、例えば、特許文献１に記載されているものが知られている。この装置は、大腸拡大内視鏡から得た内視鏡画像を数値化し、この数値化した情報を画像特徴量データベースの学習データに対してパターン認識し、その結果をもとに診断確率を計算して表示するものである。このほか、これと同様の装置は、特許文献２においても提案されている。

しかし、特許文献１、２に記載された装置は、大腸拡大内視鏡を用いるものであり、大腸拡大内視鏡は、光学式の約５００倍の拡大能を持つ顕微内視鏡であって、スコープに顕微装置がセットされている構造を有するものである。このため、特許文献１，２に記載された装置は、大腸内視鏡観察時の補助診断に用途が限定されていた。

また、特許文献１に記載された装置は、特徴値の抽出の学習過程において、過去の大腸拡大内視鏡画像から人手による試行錯誤を伴った探索によって得られた「ピットパターン分類」に当てはめて分類器を作成し、対象画像の特徴値を分類器に適用し、最近傍探索法による距離空間をもって診断を得ている。このため、特許文献１に記載された「ピットパターン」は、大腸拡大内視鏡に特化した生物学的特徴に過ぎず、様々な臓器の顕微内視鏡画像に適合したものではなかった。

このように、特許文献１に記載された装置は、大腸領域に限局しており、汎用性がないという問題があった。これは、特許文献２に記載された装置も同様であった。

一方、汎用性のある顕微内視鏡として、プローブ型共焦点レーザー顕微内視鏡が知られている。このプローブ型共焦点レーザー顕微内視鏡は、上部・下部消化管内視鏡、気管支鏡、喉頭鏡、胆道鏡、膵管鏡、膀胱鏡、膣鏡など各種スコープの鉗子孔や穿刺針を介して様々な対象物の顕微内視鏡像を撮像することが可能である。また、共焦点レーザーを用いることから、約１０００倍の表面から一定深度の深さの画像が得られる。そのため光学式顕微内視鏡で問題となる対象物表面の出血や粘液などの影響を受けにくい特性があり、信号に含まれる情報には有益なものが含まれていることが予想される。

しかし、プローブ型共焦点レーザー顕微内視鏡では、光学式の白色光を主体とした拡大画像が得られるわけではなく、レーザー光に対する組織内の蛍光信号が処理された画像信号が得られる。このため、いわゆる病理組織学的な構造を示す画像とは異なり、従来の組織画像と比し人が診断を行う場合は一定の訓練を要し、訓練によっても診断のばらつきが発生し、従来の診断技法以上の有益な情報が得られない可能性があった。

特開２０１６−８７３７０号公報特開２０１５−１４６９７０号公報

そこで、本発明は、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、人による画像診断の訓練や教育によらず、また、大腸のピットパターンのような対象臓器の人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することのできる、プローブ型共焦点レーザー顕微内視鏡画像診断支援装置を提供することを目的とする。

本発明のプローブ型共焦点レーザー顕微内視鏡画像診断支援装置は、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断する自動診断手段を備え、前記自動診断手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する分類器自動作成手段と、この分類器自動作成手段により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する分類手段を備え、前記分類器自動作成手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段と、この学習用画像取り込み手段により得られた内視鏡画像を分割して数値化する数値化手段と、この数値化手段により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段と、この特徴量抽出手段により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段と、この特徴量データ作成手段で得られた特徴量データを格納する特徴量データ格納手段を備え、前記分類手段は、前記プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む画像取り込み手段と、この画像取り込み手段により得られた画像を分割して数値化する数値化手段と、この数値化手段により得られた数値と前記分類器自動作成手段の前記特徴量データ格納手段に格納された特徴量データを比較して前記数値化手段により得られた数値と最も類似した特徴量データを検索する類似特徴量検索手段と、この類似特徴量検索手段により得られた特徴量データに対して前記数値化手段により得られた数値をパターン認識して診断確率を計算する診断確率計算手段を備え、前記類似特徴量検索手段は、前記数値化手段により得られた数値と最も類似した特徴量データを最近隣近傍法により検索し、前記診断確率計算手段は、前記数値化手段により得られた数値を最近隣近傍法によりパターン認識し、前記プローブ型共焦点レーザー顕微内視鏡は、上部・下部消化管内視鏡、気管支鏡、喉頭鏡、胆道鏡、膵管鏡、膀胱鏡、膣鏡を含むスコープの鉗子孔又は穿刺針を介して対象物の顕微内視鏡像を撮像するものであって、前記プローブ型共焦点レーザー顕微内視鏡により得られる内視鏡画像は、２値化されており、平面的な規格化された画像であることを特徴とする。

本発明の内視鏡画像診断支援装置によれば、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することができる。

本発明の内視鏡画像診断支援装置の一実施例における装置の構成を示すブロック図である。本発明の内視鏡画像診断支援装置の一実施例における分類器自動作成手段の構成を示すブロック図である。本発明の内視鏡画像診断支援装置の一実施例における分類手段の構成を示すブロック図である。

本発明の内視鏡画像診断支援装置の実施例について、添付した図面を参照しながら説明する。

装置の構成を示す図１において、10は自動診断手段であり、内視鏡１から取り込んだ内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断し、診断結果をディスプレイなどの表示手段２に出力して表示させるようになっている。なお、自動診断手段10は、コンピュータプログラムにより構成されている。また、本実施例の内視鏡１は、プローブ型共焦点レーザー顕微内視鏡であり、得られる内視鏡画像はデジタル画像である。

自動診断手段10は、分類器自動作成手段20と分類手段30を備えている。分類器自動作成手段20は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成するように構成されている。そして、分類手段30は、分類器自動作成手段20により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類するように構成されている。

分類器自動作成手段20は、図２に示すように、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段21と、学習用画像取り込み手段21により得られた画像を分割して数値化する数値化手段22と、数値化手段22により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段23と、特徴量抽出手段23により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段24と、特徴量データ作成手段24で得られた特徴量データを格納する特徴量データ格納手段25を備えている。ここで、学習用の内視鏡画像に紐付けがなされる病理学上の診断は、臓器や対象疾患に限定されるものではないが、例えば、「癌」と「非癌」、「ピロリ菌感染」と「ピロリ菌未感染」、「炎症活動期」と「炎症寛解期」などが挙げられる。

特徴量抽出手段23において用いられる畳み込みニューラルネットワークは、深層学習による機械学習を行うものであり、例えば、Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition. Proc. of the IEEE, pages 2278-2324,1998.及び、M. Lin, Q. Chen, and S. Yan, Network in network, ICLR 2014に記載の既知の技術を用いることができる。畳み込みニューラルネットワークを用いることで、従来は人手を介して行う必要があった特徴量の抽出をすべて機械学習にて行うようになっている。

分類手段30は、図３に示すように、プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む画像取り込み手段31と、画像取り込み手段31により得られた画像を分割して数値化する数値化手段32と、数値化手段32により得られた数値と分類器自動作成手段20の特徴量データ格納手段25に格納された特徴量データを比較して数値化手段32により得られた数値と最も類似した特徴量データを検索する類似特徴量検索手段33と、類似特徴量検索手段33により得られた特徴量データに対して数値化手段32により得られた数値をパターン認識して診断確率を計算する診断確率計算手段34を備えている。

つぎに、本実施例の装置の動作について説明する。

分類器自動作成手段20は、学習用画像取り込み手段21において、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む。つぎに、数値化手段22において、学習用画像取り込み手段21により得られた画像を分割して数値化する。ここで、内視鏡画像は、診断の分類ごとに、畳み込みニューラルネットワークにインプットされ、画像の各ノードは２０個程度の正方形小画像に分割され、それぞれの小画像はウェーブレット変換などの数値化変換により数値化される。

そして、特徴量抽出手段23において、数値化手段22により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う。この特徴量の抽出の過程では、畳み込みニューラルネットワークの畳み込み層、プーリング層を経たのちに特徴量である数値が得られる。

なお、畳み込みニューラルネットワークは、深層学習技術の一つでもあり、全結合していない順伝播型ニューラルネットワークで、畳み込み層を通常の活性化関数でつないでいく方法である。全結合しているニューラルネットワークに比べ高速に学習できるメリットがある。そして、畳み込みニューラルネットワークは、画像の局所的な特徴量の抽出を担う畳み込み層と、局所ごとに特徴量をまとめあげるプーリング層（サブサンプリング層）を繰り返した構造となっている。畳み込みフィルターのパラメータは、画像中のすべての場所で共有されるため、単純な全結合ネットワークに比べ大きくパラメータ数が減っている。また、プーリング層を交えることで、さらにパラメータ数を削減すると同時に、一般物体認識において必要不可欠である入力の平行移動に対する不変性を段階的に加えることができる。直感的には、入力の解像度を少しずつ落としながら異なるスケールで隣接する特徴の共起をとり、識別に有効な情報を選択的に上層へ渡していくネットワークであると解釈できる。

その後、特徴量データ作成手段24において、特徴量抽出手段23により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する。なお、ここでは、統計処理により、分類及び外れ値処理が行われる。

そして、特徴量データ格納手段25において、特徴量データ作成手段24で得られた特徴量データを格納する。

以上のようにして、分類器自動作成手段20は、診断ごとに分類された特徴量データを、畳み込みニューラルネットワークを用いて自動的に作成する。この自動作成された特徴量データは、分類手段30によって内視鏡画像の分類器として使用される。すなわち、分類器自動作成手段20は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて、畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する。この分類器の性能である分類精度（classification accuracy）は、分類手段30に評価用の内視鏡画像を与えて診断を予測させることにより、評価することができる。正確な診断を行うためには、評価用の内視鏡画像を用いて、分類器の性能を予め確認しておくことが望ましい。

なお、上記の分類器の作成過程中の細部の処理として、例えば、線形ＳＶＭを学習させて分類器を作成してもよい。また、分類器作成過程で過学習とよばれる現象の発生を抑えるために、ファインチューニングとよばれる適正化を行ってもよい。ファインチューニングでは、バックプロパゲーションを用いてネットワーク全体の重みの微調整を行う教師あり学習を行うことができる。

分類手段30は、画像取り込み手段31において、プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む。つぎに、数値化手段32において、画像取り込み手段31により得られた画像を分割して数値化する。ここで、内視鏡画像は、畳み込みニューラルネットワークにインプットされ、画像の各ノードは２０個程度の正方形小画像に分割され、それぞれの小画像はウェーブレット変換などの数値化変換により数値化される。

そして、類似特徴量検索手段33において、数値化手段32により得られた数値と分類器自動作成手段20の特徴量データ格納手段25に格納された特徴量データを比較して数値化手段32により得られた数値と最も類似した特徴量データを検索する。ここで検索された特徴量データが分類されている診断が、診断結果となる。

なお、特徴量データの検索においては、最近隣近傍法が用いられる。最近隣近傍法とは、最も近くで、予め決められた閾値より小さい距離のデータを検索するパターン認識の手法である。

その後、診断確率計算手段34において、類似特徴量検索手段33により得られた特徴量データに対して数値化手段32により得られた数値をパターン認識して診断確率を計算する。このパターン認識においても、最近隣近傍法が用いられる。その結果は表示手段２に出力される。

以上のようにして、分類手段30は、分類器自動作成手段20により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する。

このように、本実施例の装置によれば、人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することができる。また、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、病理組織学上のいずれの診断に分類されるかを自動診断することができる。このため、医師などが内視鏡検査時や手術施行時にプローブ型共焦点レーザー顕微内視鏡画像を用いて臓器の表面構造を診断しようとする際に、その部分画像が病理組織学上のどの分類で、それがどれくらいの確率であるかをリアルタイムに表示することにより、診断支援とすることができる。また、これにより、疾患部分の見落としを少なくし、検査者の能力にかかわらず、質の高い客観的診断を提供し、誤診の回避や正確な治療や手術が可能となる。

また、特徴量抽出手段23において、畳み込みニューラルネットワークによる深層学習、機械学習により特徴量の抽出を行うため、分類器を作成するに足る内視鏡画像さえあれば、臓器や部位、疾患に関係なく、それぞれの臓器や部位、疾患について適切な特徴量を抽出した様々な種類の分類器を作成することができる。また、実臨床で有効な分類方法が試行錯誤を経て人により考案されていなくとも、紐付けされた分類に沿った何らかの特徴値を抽出することができ、診断基準を作成する上で画像そのものの人為的な分類作業を必要としない。このため、多施設での画像情報を収集して用いることができるほか、分類器を開発する時間を短縮することができる。また、ネットワーク上の仮想空間での情報管理により他施設共同研究や国際的研究など幅広い利用も可能である。

また、本実施例のプローブ型共焦点レーザー顕微内視鏡により得られる内視鏡画像は原則単色であって、画像の前処理としてＲＧＢフィルターを必要とせず２値化されており、画像処理の関心領域の抽出もプローブ画素数よりに厳格に規定済みで画像処理における関心領域の設定を省略することができる。プローブ型共焦点レーザーの特性より対象物表面の粘液や血液などの撮影環境の影響も受けにくい。また、立体的な画像ではなく、平面的な単一の規格化された画像であり、これにより、従来の内視鏡画像診断に必要とされる大規模な学習用の内視鏡画像教材の作成を必要とせず、比較的小規模の教材であっても分類器の分類精度の向上が可能となる。この特性により演算処理速度を向上させ、装置を小型化することができる。

さらには、検診時の生検組織学的検査を、本実施例の装置を用いた非侵襲性の検査として代替することで、検査精度の向上や検査時の身体的な負担の軽減が期待できる。また、手術時の迅速組織学的検索の一部を、本実施例の装置を用いた検索に代替することで、手術時間の短縮や手術精度の向上が期待できる。これにより、病理診断医の負担軽減つながる可能性がある。

本実施例のプローブ型共焦点レーザー顕微内視鏡画像診断支援装置を実際の診断に適用した結果を以下に示す。なお、装置の作成にはC++言語のプログラムのオープンソースのcaffeを用いた。

（早期胃癌での検証）
学習教材はESD対象の早期胃癌20症例24病変よりプローブ型共焦点レーザー顕微画像は正常41枚、病変47を作成。試験教材は学習教材とは別に構成し、作成した分類器を検証した。精度（accuracy）66.4％の分類器が作成可能であった。試験教材での感度60%、特異度100%、陰性的中率71.4%、陽性的中率100%であった。それぞれの診断時の確率（probability）は癌で平均0.602、正常で平均0.91であった。

きわめて少ない学習教材でありながら、一定の診断が可能であった。特異度と陽性的中率は好成績であった。

（胆管癌での検証）
胆管癌症例にて学習教材画像を正常49枚、癌部23枚作成した。試験教材は学習教材とは別に正常部6枚、癌部14枚で構成し、作成した分類器にて検証した。

作成した分類器の精度（accuracy）は69.8％。試験教材を用いた分類器の癌診断の感度50%、特異度100%、陰性的中率53.8%、陽性的中率100%であった。

10 自動診断手段
20 分類器自動作成手段
21 学習用画像取り込み手段
22 数値化手段
23 特徴量抽出手段
24 特徴量データ作成手段
25 特徴量データ格納手段
30 分類手段

Claims

プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断する自動診断手段を備え、前記自動診断手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する分類器自動作成手段と、この分類器自動作成手段により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する分類手段とを備え、
前記分類器自動作成手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段と、この学習用画像取り込み手段により得られた内視鏡画像を分割して数値化する数値化手段と、この数値化手段により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段と、この特徴量抽出手段により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段と、この特徴量データ作成手段で得られた特徴量データを格納する特徴量データ格納手段を備え、
前記分類手段は、前記プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む画像取り込み手段と、この画像取り込み手段により得られた画像を分割して数値化する数値化手段と、この数値化手段により得られた数値と前記分類器自動作成手段の前記特徴量データ格納手段に格納された特徴量データを比較して前記数値化手段により得られた数値と最も類似した特徴量データを検索する類似特徴量検索手段と、この類似特徴量検索手段により得られた特徴量データに対して前記数値化手段により得られた数値をパターン認識して診断確率を計算する診断確率計算手段を備え、
前記類似特徴量検索手段は、前記数値化手段により得られた数値と最も類似した特徴量データを最近隣近傍法により検索し、前記診断確率計算手段は、前記数値化手段により得られた数値を最近隣近傍法によりパターン認識し、
前記プローブ型共焦点レーザー顕微内視鏡は、上部・下部消化管内視鏡、気管支鏡、喉頭鏡、胆道鏡、膵管鏡、膀胱鏡、膣鏡を含むスコープの鉗子孔又は穿刺針を介して対象物の顕微内視鏡像を撮像するものであって、前記プローブ型共焦点レーザー顕微内視鏡により得られる内視鏡画像は、２値化されており、平面的な規格化された画像である
ことを特徴とするプローブ型共焦点レーザー顕微内視鏡画像診断支援装置。