JP6824868B2

JP6824868B2 - 画像解析装置及び画像解析方法

Info

Publication number: JP6824868B2
Application number: JP2017246114A
Authority: JP
Inventors: 将史三澤; 悠一森; 進英工藤; 隆史脇坂; 革夫華原
Original assignee: CYBERNET SYSTEMS CO., LTD.; Showa University
Current assignee: CYBERNET SYSTEMS CO., LTD.; Showa University
Priority date: 2017-12-22
Filing date: 2017-12-22
Publication date: 2021-02-03
Anticipated expiration: 2037-12-22
Also published as: JP2019111040A

Description

本開示は、画像解析装置及び画像解析方法に関する。

近年、３８０倍以上という顕微鏡レベルの倍率を有する超拡大機能を持った内視鏡が開発され、生体の体内管腔の上皮を細胞核、血管及び腺腔などの細胞レベルにまで拡大して観察可能な内視鏡Ｅｎｄｏｃｙｔｏｓｃｏｐｙが開発されている。Ｅｎｄｏｃｙｔｏｓｃｏｐｙは接触型内視鏡の一種であり、対象とする上皮にレンズ面を接触させ、内視鏡に搭載されたズーム機構を使用することによりピントを合わせて超拡大画像を取得する。超拡大画像は、食道（例えば、非特許文献１参照。）、胃（例えば、非特許文献２参照。）、十二指腸（例えば、非特許文献３参照。）、大腸（例えば、非特許文献４参照。）などの臓器の病理組織診断の予測で有用性が報告されている。

しかし、Ｅｎｄｏｃｙｔｏｓｃｏｐｙを用いて超拡大画像を撮像したとしても、病理組織診断の予測を行うためには超拡大画像の画像解析に一定以上の習熟が必要であり（例えば、非特許文献４参照。）、かかる一定以上の習熟が無くても病理組織診断の予測ができるようコンピューター診断支援システムが開発されている。これが、病理組織診断の予測に有用であることが判明した（例えば、非特許文献５及び６参照。）。

Ｙ．Ｋｕｍａｇａｉ，Ｋ．Ｍｏｎｍａ，Ｋ．Ｋａｗａｄａ，"Ｍａｇｎｉｆｙｉｎｇｃｈｒｏｍｏｅｎｄｏｓｃｏｐｙｏｆｔｈｅｅｓｏｐｈａｇｕｓ：ｉｎ−ｖｉｖｏｐａｔｈｏｌｏｇｉｃａｌｄｉａｇｎｏｓｉｓｕｓｉｎｇａｎｅｎｄｏｃｙｔｏｓｃｏｐｙｓｙｓｔｅｍ"，Ｅｎｄｏｓｃｏｐｙ２００４；３６：５９０−４．Ｈ．Ｓａｔｏ，Ｈ．Ｉｎｏｕｅ，Ｂ．Ｈａｙｅｅ，ｅｔａｌ．，"Ｉｎｖｉｖｏｈｉｓｔｏｐａｔｈｏｌｏｇｙｕｓｉｎｇｅｎｄｏｃｙｔｏｓｃｏｐｙｆｏｒｎｏｎ−ｎｅｏｐｌａｓｔｉｃｃｈａｎｇｅｓｉｎｔｈｅｇａｓｔｒｉｃｍｕｃｏｓａ：ａｐｒｏｓｐｅｃｔｉｖｅｐｉｌｏｔｓｔｕｄｙ（ｗｉｔｈｖｉｄｅｏ）"，ＧａｓｔｒｏｉｎｔｅｓｔＥｎｄｏｓｃ２０１５；８１：８７５−８１．Ｓ．Ｍｉｙａｍｏｔｏ，Ｔ．Ｋｕｄｏ，Ｓ．Ａｂｉｋｏ，ｅｔａｌ．，"ＥｎｄｏｃｙｔｏｓｃｏｐｙｏｆＳｕｐｅｒｆｉｃｉａｌＮｏｎａｍｐｕｌｌａｒｙＤｕｏｄｅｎａｌＥｐｉｔｈｅｌｉａｌＴｕｍｏｒ：ＴｗｏＣａｓｅｓｏｆＴｕｂｕｌａｒＡｄｅｎｏｃａｒｃｉｎｏｍａａｎｄＡｄｅｎｏｍａ"，ＡｍＪＧａｓｔｒｏｅｎｔｅｒｏｌ２０１７；１１２：１６３８．ＳＥＫｕｄｏ，Ｋ．Ｗａｋａｍｕｒａ，Ｎ．Ｉｋｅｈａｒａ，ｅｔａｌ．，"Ｄｉａｇｎｏｓｉｓｏｆｃｏｌｏｒｅｃｔａｌｌｅｓｉｏｎｓｗｉｔｈａｎｏｖｅｌｅｎｄｏｃｙｔｏｓｃｏｐｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎ − ａｐｉｌｏｔｓｔｕｄｙ"，Ｅｎｄｏｓｃｏｐｙ２０１１；４３：８６９−７５．Ｙ．Ｍｏｒｉ，Ｓ．Ｋｕｄｏ，Ｋ．Ｗａｋａｍｕｒａ，ｅｔａｌ．，"Ｎｏｖｅｌｃｏｍｐｕｔｅｒ−ａｉｄｅｄｄｉａｇｎｏｓｔｉｃｓｙｓｔｅｍｆｏｒｃｏｌｏｒｅｃｔａｌｌｅｓｉｏｎｓｂｙｕｓｉｎｇｅｎｄｏｃｙｔｏｓｃｏｐｙ（ｗｉｔｈｖｉｄｅｏｓ）"，ＧａｓｔｒｏｉｎｔｅｓｔｉｎａｌＥｎｄｏｓｃｏｐｙ２０１５；８１：６２１−６２９．Ｍ．Ｍｉｓａｗａ，Ｓ．Ｋｕｄｏ，Ｙ．Ｍｏｒｉ，ｅｔａｌ．，"Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎｏｆｃｏｌｏｒｅｃｔａｌｌｅｓｉｏｎｓｕｓｉｎｇａｃｏｍｐｕｔｅｒ−ａｉｄｅｄｄｉａｇｎｏｓｔｉｃｓｙｓｔｅｍｆｏｒｎａｒｒｏｗ−ｂａｎｄｉｍａｇｉｎｇｅｎｄｏｃｙｔｏｓｃｏｐｙ"，Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ２０１６；１５０：１５３１−１５３２．

Ｅｎｄｏｃｙｔｏｓｃｏｐｅでは、超拡大画像よりも倍率の小さな非拡大画像も撮影できる。そのためコンピューター診断支援システムをＥｎｄｏｃｙｔｏｓｃｏｐｙに適用するためには、内視鏡で撮像された画像のうち、超拡大画像と非拡大画像を区別する必要がある。しかし、超拡大画像と非拡大画像とを自動判別する技術は存在しない。このため、システムの操作者は、Ｅｎｄｏｃｙｔｏｓｃｏｐｙで撮像された画像のなかから上皮の状態の画像解析を行う対象である超拡大画像を判断し、システムへ入力する必要があった。

システムへの入力には専用のスイッチやボタンを設けることも考えられるが、そのようなスイッチやボタンが増えることは好ましくない。一方で、システムの操作者による超拡大画像であることの判断が自動化できれば、システムの操作がより簡便になり、患者の負担を軽減することにもつながる。そこで、本開示は、画像解析を用いて上皮の状態の解析を行うコンピューター診断支援システムにおいて、超拡大画像と非拡大画像を自動判別可能にすることを目的とする。

超拡大画像は接触型内視鏡の画像であるため、画像中に光源のハレーションが発生しない。本開示は、光源のハレーションに着目し、画像中にハレーションが検出されなければ超拡大画像であると判定する。これにより、本開示は、超拡大画像と非拡大画像との自動判別を可能にし、コンピューター診断支援において画像解析を行う対象画像を自動で選定することを可能にする。

本開示に係る画像解析装置は、
内視鏡に接続される画像解析装置であって、
前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定部と、
画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析部と、
を備える。

本開示に係る画像解析方法は、
内視鏡に接続される画像解析装置が実行する画像解析方法であって、
前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定ステップと、
画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析ステップと、
を画像解析装置が実行する。

本開示に係る画像解析プログラムは、本開示に係る画像解析装置に備わる各機能部をコンピューターに実現させるためのプログラムであり、本開示に係る画像解析方法に備わる各ステップをコンピューターに実行させるためのプログラムであり、コンピューター読み取り可能な記録媒体に記録されていてもよい。

本開示によれば、超拡大画像を用いて上皮の状態の解析を行うコンピューター診断支援システムにおいて、超拡大画像と非拡大画像を自動判別できるため、画像解析の解析対象となる画像を自動で選定することができる。すなわちコンピューター診断支援システムにおいて設定が必要な解析対象となる関心領域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ：ＲＯＩ）を自動で選定できる。このため、システムの操作をより簡便にし、患者の負担を軽減することができる。また、本開示は、コンピューター診断支援の対象画像を自動で選定するため、病理組織診断の予測結果の出力までに要する時間を短縮することができる。

実施形態に係るコンピューター診断支援システムの一例を示す。内視鏡の先端部の構成の一例を示す。撮像装置で撮像された画像の第１例を示す。撮像装置で撮像された画像の第２例を示す。撮像装置で撮像された画像の第３例を示す。細胞核の模式図を示す。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１に、本実施形態に係るコンピューター診断支援システムの一例を示す。本実施形態に係るコンピューター診断支援システムは、画像解析装置１０、撮像装置２４及び表示装置３０を備える。画像解析装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１及びメモリ１２を備える。ＣＰＵ１１は、対象画像判定部１１１及び画像解析部１１２として機能する。表示装置３０は、画像解析装置１０に備わっていてもよい。

画像解析装置１０は、メモリ１２に記憶されたコンピュータプログラムを実行することで実現されていてもよい。コンピュータプログラムは、本開示に係る画像解析方法に備わる各ステップをコンピューターに実行させるためのプログラムである。本開示に係る画像解析方法は、対象画像判定ステップと、画像解析ステップと、を画像解析装置１０が実行する。

対象画像判定ステップでは、対象画像判定部１１１が、内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する。画像が対象画像である場合、画像解析部１１２が画像解析ステップを実行する。画像解析ステップでは、画像解析部１１２が、対象画像を用いて、内視鏡で撮像された上皮の状態の解析を行う。

撮像装置２４は、内視鏡に搭載される任意の撮像素子であり、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が例示できる。撮像装置２４は、動画を撮像する機能を有し、静止画を撮像する機能も有する。このため、撮像装置２４で撮像された画像は、動画だけでなく静止画も含む。ＣＰＵ１１は撮像装置２４の撮像した画像を取得すると、表示装置３０に表示する。

図２に、内視鏡の先端部の構成の一例を示す。内視鏡２０の先端には、ライトガイドレンズ２２及び対物レンズ２３が配置されている。内視鏡２０の先端の凸部に対物レンズ２３が配置され、対物レンズ２３よりも低い位置にライトガイドレンズ２２が配置されている。

光源装置（不図示）から出力された照射光は、ライトガイド２１を介してライトガイドレンズ２２から出射される。照射光で照らされた体内管腔の上皮の像は、対物レンズ２３を通過して撮像装置２４に導かれる。これにより、体内管腔の上皮の画像が撮像装置２４で撮像される。

撮像装置２４で撮像された画像は、信号線２５を用いて画像解析装置１０に伝送される。この伝送は、撮像装置２４に搭載された無線通信機能部（不図示）を用いて画像解析装置１０に伝送されてもよい。また対物レンズ２３と撮像装置２４との間には１枚以上のレンズが配置されていてもよいが、図２では省略している。また、図２では内視鏡２０の先端部が凸部を備える例を示したが、本開示はこれに限定されるものではなく、例えば、内視鏡２０の先端部が平坦であり、当該平坦面に対物レンズ２３及びライトガイドレンズ２２が配置されていてもよい。

図３、図４及び図５に、撮像装置２４で撮像された画像の一例を示す。図４に示す画像は、図３の画像の一部を拡大してピントを合わせた画像を示す。図５に示す画像は、図４の画像の一部をさらに拡大してピントを合わせた超拡大画像を示す。コンピューター診断支援システムを病理組織診断の予測に適用するためには、細胞レベルにまで超拡大された病理組織の観察が不可欠である。そのためには、内視鏡２０で撮像された画像のうちの超拡大画像と非拡大画像を区別する必要があるが、内視鏡２０は超拡大画像だけでなく図３及び図４に示すような通常の倍率の非拡大画像も撮像できるのが通常である。

コンピューター診断支援システムの操作者は、表示装置３０に映し出された映像のなかに病変と疑わしき部位を発見すると、図３、図４及び図５に示すように、順に拡大しながら静止画を撮像する。図３及び図４に示す画像では、ＲＯＩとそれ以外の部分が含まれているため、画像解析を行うためにはＲＯＩを設定する必要がある。一方、図５に示す超拡大画像では、ＲＯＩ以外の領域が含まれていない、ＲＯＩそのものが撮像された画像となる。

非拡大画像はシステムの操作者がＲＯＩを設定する必要があるが、超拡大画像はＲＯＩそのものの撮像された画像であるためＲＯＩの設定は必要ない。そのため、超拡大画像を自動で判定することで、画像解析を行うべきＲＯＩの画像を自動で選定することができる。

図２に示す対物レンズ２３を上皮に接触させない状態で撮像装置２４が撮像すると、ライトガイドレンズ２２の像が上皮の表面で反射して撮像装置２４に映り込む。このため、対物レンズ２３を粘膜上皮に接触させない状態での画像には、図３及び図４の一点鎖線で囲まれた領域で示されるように、ハレーションを起こしている領域が存在する。

一方、超拡大画像を撮像する際には、図２に示す対物レンズ２３が上皮に接触しているため、上皮の表面で反射したライトガイドレンズ２２の像が撮像装置２４に写り込まない。また、撮像装置２４に入射する光は、いずれも上皮の細胞を透過した光である。このため、図５に示す超拡大画像には、図３及び図４に示すようなハレーションを起こしている領域は発生せず、ハレーション領域の画素数が一定割合以下となる。ここで、一定割合は、例えば、０．０００００７７％以下である。

そこで、対象画像判定部１１１は、撮像装置２４から画像を取得し、画像に含まれるハレーション領域を用いて、上皮の細胞を透過した透過光を撮像した超拡大画像であるか否かを判定する。例えば、図３及び図４に示す画像はハレーション領域が存在するため、対象画像判定部１１１は対象画像ではないと判定する。一方、図５に示す画像はハレーション領域が存在しないため、対象画像判定部１１１は対象画像であると判定する。これにより、本開示は、超拡大画像を選別し、その画像について画像解析することで、ＲＯＩの病理組織診断の予測を自動で行うことを可能にする。

ここで、画像解析装置１０には、内視鏡２０から映像及び静止画が入力される。本開示において画像解析を行うべき画像は超拡大画像である。そこで、対象画像判定部１１１は、内視鏡２０から取得した画像が静止画であるか否かを判定し、静止画である場合に対象画像であるか否かを判定することが好ましい。

内視鏡２０から取得した画像が超拡大画像である場合、その画像はＲＯＩを撮像した画像であることになる。そこで、画像解析部１１２は、画像が対象画像である場合、対象画像であると判定した画像を、ＲＯＩの撮像された画像としてメモリ１２に記憶する。これにより、本開示に係るシステムは、ＲＯＩの情報を効率よく収集することができる。

画像解析部１１２は、画像が対象画像である場合、当該対象画像を用いて画像解析を行い、撮像装置２４で撮像された上皮の状態の解析を行う。画像解析部１１２は、上皮の状態の解析結果を用いて、病理組織診断の予測を行う。病理組織診断の予測は、例えば、非腫瘍、腺腫、癌の識別である。病理組織診断の予測は、腫瘍になる可能性のあるｓｅｓｓｉｌｅｓｅｒｒａｔｅｄａｄｅｎｏｍａ／ｐｏｌｙｐ（ＳＳＡ／Ｐ）を含んでいてもよい。ＣＰＵ１１は画像解析部１１２の解析結果を表示装置３０に出力し、表示装置３０は病理組織診断の予測結果を表示する。ＣＰＵ１１はさらに、画像解析部１１２の解析結果をメモリ１２に記憶させる。

病理組織診断の予測には機械学習を用いることが好ましく、これによって専門的なトレーニングを行う必要のない病理組織診断の予測がコンピューター診断支援システムを用いて実現可能になる。この場合、病理組織診断の予測のために、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのそれぞれについて、学習用サンプルとなるデータを画像解析装置１０に与える。

機械学習としては、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析、ロジスティック回帰分析、及びランダムフォレストを用いることができる。ニューラルネットワークは、多層のニューラルネットワークを用いた深層学習（ｄｅｅｐｌｅａｒｎｉｎｇ）であってもよい。

画像解析部１１２は、画像解析に際し、非拡大画像を用いてもよい。例えば、図５に示す超拡大画像の解析を行う際に、図３及び図４の少なくともいずれかの画像を用いる。非拡大画像には、ＲＯＩ以外の領域も含まれている。そのため、画像解析部１１２は、画像解析装置１０に入力された非拡大画像におけるＲＯＩの領域設定を取得し、この領域設定で定められる領域の画像を画像解析に用いる。

以下に、対象画像判定部１１１におけるハレーション領域が存在するか否かの判定の具体例について説明する。
ハレーション領域が存在するか否かは、撮像装置２４で撮像された画像を抽出し、抽出した画素のなかに含まれているハレーションを起こしている画素数を計数する。そして、抽出した画素のなかにハレーションを起こしている画素数が予め定めた一定割合以下の場合は超拡大画像すなわち解析対象の画像であると判定し、抽出した画素のなかにハレーションを起こしている画素数が予め定めた一定割合を超えた場合は非拡大画像と判定する。

ここで、撮像装置２４で撮像された画像の抽出は、例えば、図３〜図５に示す破線で囲まれた領域を抽出することをいう。また一定割合は任意であるが、例えば、前述の０．０００００７７％以下を用いることができる。

また、ハレーション領域か否かは、例えば、輝度が所定値を超過するか否かに基づいて行う。例えば、画素の各色情報（Ｒ値、Ｇ値、Ｂ値）が２５５階調の場合、各色が２４０以上になったときにハレーション領域と判定する。この判定は、白色領域を抽出できればよく、これに限定されるものではない。例えば、各色情報（Ｒ値、Ｇ値、Ｂ値）を合成した白色光の輝度で行ってもよいし、色相、彩度及び明度で表される色空間を用いてもよい。

内視鏡を用いた上皮観察では、ライトガイドレンズ２２から出射される光の波長や、撮像装置２４で撮像すべき光の波長が異なる場合がある。例えば、白色光による上皮観察を行う場合や、狭帯域光観察（ＮＢＩ：ＮａｒｒｏｗＢａｎｄＩｍａｇｉｎｇ、ＢＬＩ：ＢｌｕｅＬａｓｅｒＩｍａｇｉｎｇ）を行う場合がある。ライトガイドレンズ２２から出射される光の光源についても、キセノン光源、レーザ光源、ハロゲン光源、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）といった種々の光源が用いられる。そこで、ハレーション領域を判定する閾値は、ライトガイドレンズ２２から出射される照射光の波長や、撮像装置２４で撮像する波長に応じて設定されていることが好ましい。

例えば、ライトガイドレンズ２２から出射される照射光が白色光の場合、対象画像判定部１１１は、各色情報（Ｒ値、Ｇ値、Ｂ値）が２４０以上になったときにハレーション領域と判定する。例えば、狭帯域光観察（ＮＢＩ：ＮａｒｒｏｗＢａｎｄＩｍａｇｉｎｇ、ＢＬＩ：ＢｌｕｅＬａｓｅｒＩｍａｇｉｎｇ）の場合、対象画像判定部１１１は、各色情報（Ｒ値、Ｇ値、Ｂ値）がそれぞれ２００以上、２４０以上、１８０以上になったときにハレーション領域と判定する。

以下に、画像解析部１１２における対象画像を用いた画像解析の詳細について説明する。
対象画像を用いた画像解析は、例えば、テクスチャ解析が例示できる。テクスチャ解析では、図５の破線で示すような上皮の画像を抽出し、抽出した画像について解析を行う。テクスチャ解析の手法は任意であるが、物体や顔の認識に使用しうる局所的な画像特徴量を解析可能なものが好ましい。そのような解析手法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−ＵｐｐｅｄＲｏｂｕｓｔＦｅａｔｕｒｅ）、Ｈａａｒ−Ｌｉｋｅ特徴が例示できる。

対象画像を用いた画像解析は、例えば、超拡大画像から得られる特徴量の解析が例示できる。画像から得られる特徴量は、例えば、細胞核、血管及び腺腔の特徴量である。

図６に、細胞核の模式図を示す。細胞核の特徴量は、例えば、細胞核の長径ＤＬ、細胞核の短径ＤＳ、細胞核の周囲長、細胞核の面積、細胞核の真円度及び細胞核の色が例示できる。細胞核の特徴は、離心率、弦節比、凹凸形状、フラクタル次元、線の集中度、濃度コントラストが含まれていてもよい。

細胞核の特徴量を用いる場合、画像解析部１１２は、画像に含まれる細胞核を抽出する。細胞核の抽出方法は、任意であり、例えば、細胞核の領域のセグメンテーションを行い、アーチファクト除去を行うことで行う。細胞核の領域のセグメンテーションは、例えば、Ｒ成分での大津の２値化手法を用いる。アーチファクト除去は、たとえば、２値化画像の白い画素が連続した画素を１つの領域とし、各領域に対し面積と長径、真円度を算出する。面積が設定した範囲（例えば３０μｍ^２から５００μｍ^２）、かつ長径が設定した値（例えば３０μｍ以下）、かつ真円度が設定した値（例えば０．３以上）のものを解析対象として残し、それ以外の領域を除去する。長径と真円度は、例えば、領域を楕円近似して算出する。抽出された核の個数が予め設定した個数（たとえば３０個）以下の場合は、解析対象の特徴量から除外してもよい。

細胞核の特徴量は、対象画像に含まれる一部の細胞核の特徴量であってもよいが、全ての細胞核の特徴を計測することが好ましい。細胞核の特徴量は、対象画像に含まれる細胞核の特徴から算出される平均値や標準偏差を含むことが好ましい。

血管の特徴量は、例えば、最大血管の最大径、最大血管の最小最大径比、全体画像中に占める血管領域の割合、である。血管の特徴量を用いる場合、画像解析部１１２は、画像に含まれる血管領域を抽出する。血管領域の抽出法は、任意であり、例えば、線状度画像を作成し、複数の線状度画像を合成して血管候補領域画像を作成し、そのなかから血管でない領域を除去することで行うことができる。

細胞核と血管の特徴量は、口腔、咽頭、口頭、食道、胃、十二指腸、空腸、回腸、大腸、気管、胆管、膵管、子宮、膀胱、尿管などのいずれの臓器を対象とした画像解析でも適用可能である。

胃及び大腸については、超拡大画像で腺腔が観察できる。そこで、画像解析部１１２は、胃及び大腸の病理組織診断の予測に際し、腺腔の特徴量を解析することが好ましい。腺腔の特徴量は、例えば、腺腔の長径、腺腔の短径、腺腔の周囲長、腺腔の面積、腺腔の真円度、及び腺腔の色が例示できる。

十二指腸、空腸、回腸については、超拡大画像で絨毛構造が観察できる。そこで、画像解析部１１２は、十二指腸、空腸、回腸の病理組織診断の予測に際し、絨毛構造の特徴量を解析することが好ましい。絨毛構造の特徴量は、例えば、絨毛先端の長径、絨毛先端の短径、１視野当たりの絨毛個数、が例示できる。

このように、画像解析部１１２は、円柱上皮領域では細胞核や血管に加えて腺腔もしくは絨毛構造の特徴量を解析し、それ以外の重層扁平上皮、線毛上皮などでは核や血管の特徴量を解析することが好ましい。

ここで、細胞核、血管、腺腔及び絨毛構造のいずれにピントを合わせた画像なのかという情報は、内視鏡２０から取得した画像には付されていない。そこで、画像解析部１１２は、細胞核、血管、腺腔及び絨毛構造の特徴を抽出する前に、細胞核、血管、腺腔及び絨毛構造のいずれが撮像された画像であるのかを判定することが好ましい。例えば、画像解析部１１２は、画像から細胞核、血管、腺腔及び絨毛構造をそれぞれ抽出し、抽出できたものに対して特徴量の抽出を行う。これにより、画像解析における演算量が減少し、病理組織診断の予測に要する時間を短縮することができる。

ここで、胃及び大腸以外の臓器については、正常では腺腔が観察されない。しかし、腫瘍ができることによって、胃及び大腸以外の臓器においても腺腔が現れることがある。そこで、画像解析部１１２は、胃及び大腸以外の臓器についても、腺腔の特徴量を解析することが好ましい。

また、十二指腸、空腸、回腸以外の臓器については、正常では絨毛構造が観察されない。しかし、腫瘍ができることによって、十二指腸、空腸、回腸以外の臓器においても絨毛構造が現れることがある。そこで、画像解析部１１２は、十二指腸、空腸、回腸以外の臓器についても、絨毛構造の特徴量を解析することが好ましい。

以上説明したように、本開示は、超拡大画像と非拡大画像を自動判別できるため、ＲＯＩを自動判別することができるとともに、超拡大画像を用いた病理組織診断の予測を自動で行うコンピューター診断支援システムを提供することができる。

１０：画像解析装置
１１：ＣＰＵ
１１１：対象画像判定部
１１２：画像解析部
１２：メモリ
２０：内視鏡
２１：ライトガイド
２２：ライトガイドレンズ
２３：対物レンズ
２４：撮像装置
２５：信号線
３０：表示装置

Claims

内視鏡に接続される画像解析装置であって、
前記内視鏡から３８０倍以上の倍率で撮像された超拡大画像及び前記超拡大画像よりも倍率の小さな非超拡大画像を含む画像を取得し、画像に含まれるハレーション領域の画素数が一定割合以下であることに基づいて、超拡大画像及び非超拡大画像を区別する対象画像判定部と、
画像が超拡大画像である場合に限り、細胞核、血管、腺腔及び絨毛構造の少なくともいずれかの特徴量を超拡大画像から抽出し、抽出した特徴量を用いて非腫瘍、腺腫、癌の識別を行う画像解析部と、
を備える画像解析装置。
前記超拡大画像は、上皮の細胞を透過した透過光を用いて撮像した画像を含む、
請求項１に記載の画像解析装置。
前記超拡大画像は、前記内視鏡に備わる対物レンズと上皮とが接触した状態で撮像した画像を含む、
請求項１又は２に記載の画像解析装置。
前記対象画像判定部は、超拡大画像であると判定した画像を、関心領域の撮像された画像としてメモリに記憶する、
請求項１から３のいずれかに記載の画像解析装置。
前記画像解析部は、細胞核、血管、腺腔及び絨毛構造のいずれが撮像された画像であるかを判定する、
請求項１から４のいずれかに記載の画像解析装置。
請求項１から５のいずれかに記載の画像解析装置に備わる各機能部をコンピューターに実現させるためのプログラム。
内視鏡に接続される画像解析装置が実行する画像解析方法であって、
前記内視鏡から３８０倍以上の倍率で撮像された超拡大画像及び前記超拡大画像よりも倍率の小さな非超拡大画像を含む画像を取得し、画像に含まれるハレーション領域の画素数が一定割合以下であることに基づいて、超拡大画像及び非超拡大画像を区別する対象画像判定ステップと、
画像が超拡大画像である場合に限り、細胞核、血管、腺腔及び絨毛構造の少なくともいずれかの特徴量を超拡大画像から抽出し、抽出した特徴量を用いて非腫瘍、腺腫、癌の識別を行う画像解析ステップと、
を画像解析装置が実行する画像解析方法。