JP7454724B2 - 推定装置、推定システム、制御プログラム - Google Patents

Description

本開示は、推定装置、推定システム等に関する。

従来、ニューラルネットワークを含む診断支援装置が知られている（特許文献１）。

特開２００８－３６０６８号公報

このような診断支援装置では、信頼性を向上させることが求められている。

本発明の一実施形態に係る推定装置は、入力データを入力可能な入力部と、前記入力データから、病変部位に関連する推定結果を出力可能な近似器と、を備え、前記近似器は、前記入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されており、前記推定結果、及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する。

また、本発明の一実施形態に係る制御プログラムは、コンピュータに、入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されている近似器であって、病変部位に関連する推定結果を推定可能な近似器に、前記入力データを入力する入力ステップと、前記推定結果、及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する出力ステップと、を実行させる。

推定結果の信頼性を使用者が確認することができる。よって、推定結果の信頼性を向上させることができる。

疾患予測システムの構成の一例を示す図である。 疾患予測システムの一部の構成の一例を示す図である。 疾患予測システムの一部の構成の一例を示す図である。 疾患予測システムの一部の構成の一例を示す図である。 疾患予測システムの一部の構成の一例を示す図である。 疾患予測システムの一部の動作の一例を示す図である。 疾患予測システムの一部の動作の一例を示す図である。

本開示の疾患推定システム１は、入力データＩからＡＩ（Artificial Intelligence）を用いて疾患を推定することができる。入力データＩは、例えば画像データであればよい。本発明によって推定される疾患は、医師が画像データに基づいて診断可能な疾患であればよい。例えば、子宮頸がん、皮膚疾患、であればよい。

図１に、本開示の疾患推定システム１の構成を概念的に示す。

本開示の疾患推定システム１は、端末装置２と、推定装置３と、を有している。端末装置２は、疾患の診断に使用される患者の入力データＩを取得するものである。推定装置３は、端末装置２で取得されたデータに基づき、疾患の種類や部位を推定することができる。

端末装置２は、画像データを取得することができる。端末装置２で取得された入力データＩは、推定装置３に入力される。端末装置２は、子宮頸がんの場合は、例えばコルポスコピー画像を撮影可能な装置であればよい。また皮膚疾患の場合は、ダーモスコピー画像を撮影可能な装置であればよい。入力データＩは、例えば、子宮頸がんの場合は、コルポスコピー画像であり、皮膚疾患という疾患の場合は、ダーモスコピー画像であればよい。

端末装置２は、通信部２１を有しており、入力データＩを取得した後に、推定装置３に入力データＩを転送してもよい。

なお、端末装置２は、入力データＩを推定装置３に直接転送しなくてもよい。この場合、例えば端末装置２で取得された入力データＩが、記憶媒体に記憶されて、記憶媒体を介して、推定装置３に入力データＩが入力されてもよい。

図２に、本実施形態に係る推定装置３の構成を概念的に示す。

推定装置３は、推定装置３に入力される入力データＩから、患者の疾患を推定することができる。例えば、疾患推定システム１が子宮頸がんを推定する場合、推定装置３は、端末装置２で取得した入力データＩから患者の子宮頸がんの種類や病変部位を推定し、推定した推定結果Ｏを出力することができる。

推定装置３は、入力部３１と、近似器３２と、出力部３３と、を有している。入力部３１は、端末装置２から入力データＩが入力されるものである。近似器３２は、入力データＩから所定の演算を行い、疾患の分類や病変部位を推定することができる。出力部３３は、近似器３２の推定した推定結果Ｏを出力することができる。

入力部３１は、上記の通り、入力データＩが入力される。本開示の入力部３１は、ネットワークを介して端末装置２の通信部２１と接続可能な通信装置であればよい。また入力部３１は、記憶媒体を介して入力データＩを受信可能な、例えばＵＳＢポートなどのポートであってもよい。また、入力部３１は、入力データＩの他の情報を入力可能な入力装置を備えていてもよい。入力装置は、例えば、キーボード、タッチパネル、マウスまたはＵＳＢポートなどであればよい。

近似器３２は、入力部３１に入力された入力データＩから患者の疾患を予測することができる。近似器３２は、いわゆるＡＩ（Artificial Intelligence）である。具体的には、近似器３２は、ＡＩとして機能するための複数の電子部品、回路で構成されるハードウェアを有している。

上記の通り、近似器３２は、複数の電子部品および回路を有している。言い換えれば近似器３２の一部は、複数の電子部品および回路によって構成されている。複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよく、従来周知の方法によって、形成されていればよい。

また、学習処理された近似器３２は、疾患の推定時に、既に学習処理された学習済みモデルに従って、演算を行なう。すなわち、疾患推定システム１は、近似器３２を通じて、教師用データを用いて、近似器３２の演算時に必要なパラメータ等を予め獲得している。その結果、近似器３２は、入力データＩから推定結果Ｏを算出することができる。なお、学習用データまたは教師用データは、推定装置３に入力する入力データＩと、推定装置３から出力する推定結果Ｏに対応したデータであればよい。

図３は、本開示の近似器３２で行う処理を概念的に示す。

本実施形態に係る近似器３２は、例えば、ＣＮＮである。近似器３２は、機能部として、入力層３ａと、隠れ層３ｂと、出力層３ｃとを備えている。隠れ層３ｂは、例えば、中間層とも呼ばれる。入力層３ａ、隠れ層３ｂおよび出力層３ｃのそれぞれは、複数のノード３ｄと複数のノード３ｄ同士を結んだ複数のエッジ３ｅを有しており、全体として、いわゆるニューラルネットワークを形成している。それぞれの機能部は、上記の通り、近似器３２が有する複数の電子部品、回路などによって実現することができる。

なお、近似器３２は、学習済みモデルを適用されることによって、複数のノード３ｄと複数のエッジ３ｅとの接続関係などが、疾患推定のために最適化されることになる。即ち、学習処理された近似器３２は、疾患推定のために適したパラメータを用いて演算を実行することができる。

入力層３ａは、入力データＩを入力する層である。入力層３ａの各ノード３ｄには、入力データＩを構成するデータが入力される。例えば、入力データＩが画像データの場合、画像データのピクセル毎の色または濃淡を示す数値が、各ノード３ｄに入力される。

図４、５に、本開示の隠れ層３ｂの一部の構成を概念的に示す。

隠れ層３ｂは、入力層３ａに入力された画像データの情報に基づいて、演算を行なうことができる。隠れ層３ｂは、畳み込み層３ｂ１と、プーリング層３ｂ２と、全結合層３ｂ３とを有している。隠れ層３ｂは、畳み込み層３ｂ１およびプーリング層３ｂ２と、全結合層３ｂ３によって、入力層３ａに入力されたデータから特徴を抽出することができる。

畳み込み層３ｂ１は、直前の層の各ノード３ｄに入力されたデータをフィルタリングすることによって、いわゆるデータを畳み込むことができる。言い換えれば、入力データＩの特徴を維持しつつデータを縮小化することができる。具体的には、直前の層の各ノード３ｄに入力されている数値に、学習処理で得られたフィルタ係数に基づいて演算を行ない、特徴量を維持しつつデータを縮小することができる。なお、複数の畳み込み層３ｂ１のそれぞれは、それぞれのフィルタ係数に基づいて演算処理を行なう。

プーリング層３ｂ２は、畳み込み層３ｂ１の後に位置している。プーリング層３ｂ２は、直前の畳み込み層３ｂ１で計算された各ノード３ｄの数値に基づいて、畳み込み層３ｂ１のデータの特徴を維持しつつ、データを低次元化することができる。例えば、プーリング層３ｂ２は、直前の畳み込み層３ｂ１の各ノード３ｄの数値のうち、任意の範囲内で最も大きい値を抽出すればよい。

１つの畳み込み層３ｂ１と１つのプーリング層３ｂ２は１つのセットを構成している。また、隠れ層３ｂが、複数の畳み込み層３ｂ１と複数のプーリング層３ｂ２を有していてもよい。この場合、複数の畳み込み層３ｂ１と複数のプーリング層３ｂ２とは交互に配置されて、隠れ層３ｂの中に畳み込み層３ｂ１とプーリング層３ｂ２との複数のセットが構成されることになり、その結果、入力データＩの特徴を徐々に絞り込んでいくことができる。なお、複数の畳み込み層３ｂ１および複数のプーリング層３ｂ２の数は、必要な精度で近似器３２が機能するような数であればよい。

全結合層３ｂ３は、直前のプーリング層３ｂ２の各ノード３ｄに入力されたデータから、入力データＩの特徴を抽出することができる。具体的には、直前の層の各ノード３ｄに入力されている数値に、学習処理で得られた重み付け係数に基づいて演算を行ない、特徴量を抽出することができる。

出力層３ｃは、全結合層３ｂ３で計算した各ノード３ｄの数値に基づいて、推定結果Ｏを出力することができる。具体的には、全結合層３ｂ３の各ノード３ｄの数値パターンに基づいて、例えば、疾患の可能性がどの程度か、出力することができる。

出力部３３は、出力層３ｃで推定した推定結果Ｏを表示することができる。出力部３３は、例えば、液晶表示ディスプレイあるいは有機ＥＬディスプレイである。出力部３３は、文字、記号、図形などの各種情報を表示することが可能である。出力部３３は、例えば、数字または画像などを表示することができる。

なお、推定結果Ｏは、例えば、文字列として出力される。

推定装置３は、制御部３４をさらに有している。制御部３４は、推定装置３の他の構成要素を制御することによって、推定装置３の動作を統括的に管理することができる。すなわち、制御部３４は、近似器３２の演算などを制御することができる。制御部３４は、複数の電子部品および回路を有しており、例えば、ＣＰＵ（Central Processing Unit）などを構成している。複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよく、従来周知の方法によって、形成されていればよい。

また、推定装置３は、記憶部３５をさらに有している。記憶部３５は、推定装置３の制御のためのプログラムなどを記憶することができる。記憶部３５は、例えば、ＲＯＭ（Read-Only Memory）やＨＤＤ（Hard-Disc-Drive）などであればよい。なお、入力データＩ、学習用データに対する近似器の演算結果、教師用データおよび学習済みモデル（学習済みパラメータ）なども記憶部３５に記憶されてもよい。

＜入力データ、学習用データおよび教師用データの一例＞
入力データＩは、前記疾患の診断に使用される、例えば患者の画像データなどのデータであればよい。入力データＩは、例えばコルポスコピー画像であればよい。コルポスコピー画像からは、例えば、子宮頸がんの分類が推定可能である。また、入力データＩが、例えばダーモスコピー画像であれば、皮膚疾患を推定可能である。

また、入力データＩは、診断対象の部位が撮影されている。例えば、子宮頸がんの疾患を推定したい場合は、入力データＩは子宮頸部が撮影されたものであればよい。また、皮膚疾患を推定した場合は、病変部位を含む皮膚が撮影されていればよい。

学習用データは、第１入力データＩ１と同種のデータを有している。例えば、入力データＩ１がコルポスコピー画像であれば、学習用データもコルポスコピー画像を有していればよい。

教師用データは、学習用データに対応した疾患の診断結果を有している。例えば子宮頸がんを推定する場合には、教師用データは、複数の学習用画像データのそれぞれに対応した、診断結果である。診断結果は、学習用画像データが撮影された時期とほぼ同じ時期に評価されていればよい。

教師用データは、例えば子宮頸がんの場合には、医師の診断結果であればよい。

＜ニューラルネットワークの学習例＞
近似器３２は、入力データＩから推定結果Ｏを算出可能なように、学習用データと教師用データを用いた機械学習によって最適化される。すなわち、学習処理前の近似器３２は、未学習の数学モデルに基づいて学習用データから疑似推定結果を算出し、疑似推定結果と教師用データとの差が小さくなるように、近似器３２内のパラメータを調整することによって、機械学習される。その結果、近似器３２は、入力データＩに対して学習済みモデルに基づく演算を行なって推定結果Ｏを出力することができる。

パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、複数の畳み込み層３ｂ１で行なう演算に適用されるフィルタ係数や、全結合層３ｂ３で行なう演算に適用される重み付け係数などであればよい。

図６に、本実施形態に係る近似器３２の演算順序を示す。

疾患推定システム１では、入力データＩに基づいて近似器３２で演算を行なうとこによって、疾患を推定することができる。また、本発明に係る疾患推定システム１では、近似器３２が、推定した疾患の推定結果Ｏと推定結果Ｏに類似する参考データＲを、推定結果Ｏの根拠として検索し、その検索結果を出力することができる。

ここで、例えば、従来の診断支援装置では、ニューラルネットワークを用いて疾患の判定を支援しているが、単にニューラルネットワークでの推定結果を出力するだけであり、推定結果の信頼性を確認することができなかった。すなわち、ニューラルネットワークを用いた診断支援装置において、結果を導出する過程を人間が理解することは困難（いわゆるブラックボックス化）であるため、診断支援装置には結果を導出した根拠を使用者に示すことが求められている。また、診断対象外のデータが入力された際、それを使用者に検知・通知することも求められている。

これに対して、本発明に係る疾患推定システム１では、上記の通り、近似器３２が、推定した疾患の推定結果Ｏとそれに類似する参考データＲを検索して、出力部Ｏが推定結果Ｏとともに検索結果を出力することができる。すなわち、本発明に係る疾患推定システム１は、例えば、類似する参考データＲがある場合には参考データＲを出力することができ、一方で、類似する参考データＲがない場合には、参考データＲが無いことを出力することが可能となる。したがって、疾患推定システム１の推定結果Ｏの信頼性を確認することができる。

図７に、本実施形態に係る近似器３２の推定結果Ｏを算出したのち演算順序をより具体的に示す。

本実施形態に係る疾患推定システム１では、近似器３２が、参考データＲを学習用データの中から検索してもよい。具体的には、近似器３２が、入力データＩの演算時の全結合層３ｂ３の各ノード３ｄの数値と、学習時の学習用データの全結合層３ｂ３の各ノード３ｄの数値とを比較することによって、推定結果Ｏに類似する学習用データを検索してもよい。

すなわち、この場合、本実施形態に係る疾患推定システム１では、学習処理が完了後に、改めて学習用データを用いて近似器３２で演算処理を行い、その過程で算出される数値及び教師用データの情報を記憶部３５に記憶しておけばよい。その結果、入力部３１に入力されたデータに対して近似器３２が演算処理の過程で算出した数値と、記憶部３５に記憶された数値の一致率の高い教師用データを推定結果Ｏと併せて使用者に示すことができる。使用者は、示された教師用データと入力データＩとを視覚的に比較することで推定結果の信頼性を確認することができる。

なお、類似か否かの判断は、各ノード３ｄの数値を比較して判断すればよい。例えば、各ノード３ｄを比較した場合に、各ノード３ｄの各数値の一致率が±２０％以下であるノード３ｄが、比較対象とする複数のノード３ｄのうち８０％以上存在する場合は、一致すると判断してもよい。

また近似器３２は、入力データＩの演算時の全結合層３ｂ３および各プーリング層３ｂ２の各ノード３ｄの数値と、学習時の学習用データの数値とを比較することによって、推定結果Ｏに類似する学習用データを検索してもよい。

近似器３２は、参考データＲとして学習用データを出力するとともに、出力する学習用データに関連する教師用データも併せて出力してもよい。

近似器３２は、参考データＲとして学習用データおよび教師用データを出力するとともに、その学習用データに付随する個人データを出力してもよい。なお個人データとは、年齢または性別などであればよい。

また、近似器３２は、参考データＲとして学習用データおよび教師用データを出力するとともに、その教師用データの診断情報などを出力してもよい。なお診断情報とは、診断者、診断機器などの情報であればよい。

近似器３２は、推定結果Ｏとして、入力データＩと同種のデータとして出力されてもよい。すなわち、例えば、入力データＩが画像データの場合、推定結果Ｏとして画像データを出力してもよい。なお、この場合、推定結果Ｏとして画像データを出力するために、近似器３２を学習処理される必要がある。この場合、例えば、近似器３２として、ＣＮＮ（Convolutional Neural Network）およびＬＳＴＭ（Long short-term memory）を組み合わせたＣｏｎｖＬＳＴＭネットワークが適用されればよい。

近似器３２は、検索結果Ｏ´として学習用データの画像データを出力してもよい。その結果、入力データＩおよび学習用データを比較することが容易になる。

近似器３２は、推定結果Ｏおよび検索結果Ｏ´が、画像データとして出力される場合、推定結果Ｏと検索結果Ｏ´との違いを強調してもよい。

なお、本発明は上述の実施形態の例に限定されるものではなく、その内容に矛盾をきたさない限り、種々の変形を含むものである。また、本発明に係る各実施形態は、適宜、組合せ可能である。

例えば、上記の例では、近似器３２としてニューラルネットワークを使用した場合、ＣＮＮを適用した例を説明したが、本発明はこれに限られない。例えば、近似器３２は、ＣＮＮ（Convolutional Neural Network）およびＬＳＴＭ（Long short-term memory）を組み合わせたＣｏｎｖＬＳＴＭネットワーク、ＲＮＮ（Recurrent Neural Network）またはＧＡＮ（Generative Adversarial Network）を用いてもよい。また、近似器３２は、複数のニューラルネットワークを組み合わせてもよい。具体的には、ＣｏｎｖＬＳＴＭネットワークと畳み込みニューラルネットワークを組わせた複合的なニューラルネットワークでもよい。

〔その他の態様〕
本発明の一実施形態に係る疾患推定システムは、画像から疾患を推定可能なシステムである。疾患推定システムは、入力部と近似器とを備えている。入力部は、入力データを入力可能なものである。近似器は、入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されているものである。そして、近似器は、前記入力部に入力された前記入力データから推定した前記疾患の推定結果と、前記推定結果に類似する参考データを検索するとともに、その検索結果を出力することができる。

１ 疾患推定システム（推定システム）
２ 端末装置
２１ 通信部
３ 推定装置
３１ 入力部
３２ 近似器
３３ 出力部
３４ 制御部
３５ 記憶部
３ａ 入力層
３ｂ 隠れ層
３ｂ１ 畳み込み層
３ｂ２ プーリング層
３ｂ３ 全結合層
３ｃ 出力層
Ｉ 入力データ
Ｏ 推定結果
Ｏ´ 検索結果
Ｒ 参考データ

Claims (11)

1. 入力データを入力可能な入力部と、
   前記入力データから、病変部位に関連する推定結果を出力可能な近似器と、を備え、
   前記近似器は、
   前記入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されており、
   前記推定結果、及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する、
   推定装置。
2. 前記学習処理において、前記近似器内のパラメータは誤差逆伝播法によって調整される、
   請求項１に記載の推定装置。
3. 前記近似器は、前記参考データとして、前記学習用データ及び前記教師用データを出力する、
   請求項１または２に記載の推定装置。
4. 前記近似器は、前記参考データとして、前記学習用データに付随する個人データを出力する、
   請求項３に記載の推定装置。
5. 前記個人データは、年齢または性別を示すデータである、
   請求項４に記載の推定装置。
6. 前記近似器は、前記参考データとして、前記教師用データに付随する診断情報を出力する、
   請求項１から５の何れか１項に記載の推定装置。
7. 前記診断情報は、診断者または診断機器の情報である、
   請求項６に記載の推定装置。
8. 前記入力データは画像データであり、
   前記近似器は、
   前記入力データと同種の画像データとして前記推定結果を出力する、
   請求項１から７のいずれか１項に記載の推定装置。
9. 前記近似器は、該推定結果と該検索結果との違いを強調する、
   請求項８に記載の推定装置。
10. 疾患の診断に使用される入力データを取得する端末装置と、
    前記請求項１から９のいずれか１項に記載の推定装置と、を備える、
    推定システム。
11. コンピュータに、
    入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されている近似器であって、病変部位に関連する推定結果を推定可能な近似器に、前記入力データを入力する入力ステップと、
    前記推定結果、及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する出力ステップと、
    を実行させる制御プログラム。

Images