JP7483502B2 - 画像診断支援装置および画像診断支援方法 - Google Patents

Description

本発明は医用画像撮像装置で取得される医用画像に含まれる病変部位を人工知能等により診断する技術に関し、特に診断結果の参考情報となる画像所見を提示する画像診断支援装置および画像診断支援方法に係る。

Ｘ線ＣＴ（Computed Tomography）装置等に代表される医用画像撮像装置は、病変部位等の形態を画像化する装置であり、医用画像に含まれる病変部位は読影医によって診断される。医用画像撮像装置の高性能化にともなう読影医の負担増を軽減するため、人工知能いわゆるＡＩ（Artificial Intelligence）によって病変部位を診断する画像診断支援装置が近年開発されている。多くの画像診断支援装置では、医用画像の特徴を示す値である多数の画像特徴量に基づいて医用画像から導かれる診断名を推論するのに留まっており、推論の結果が診断に有用であるか否かを医師が判断できなかった。

特許文献１には、医用画像から診断名を推論するとともに、診断名の推論結果への影響度が高い画像所見を参考情報として提示できる情報処理装置が開示されている。具体的には、医用画像の各画像特徴量に基づいて、診断名と、医用画像の特徴を表現する画像所見とが推論され、診断名の推論結果に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論される画像所見が参考情報として提示される。

特開２０１９－９７８０５号公報

しかしながら特許文献１では、診断名の推論結果に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論される画像所見が取得できない場合がある。すなわち診断名の推論結果への影響度が高い画像特徴量が、画像所見の推論結果に高い影響度を与えない場合、画像診断支援装置は病変の診断結果等の予測結果に対する参考情報となる画像所見を提示できない。

そこで本発明は、いかなる場合であっても、病変の診断結果等の予測結果に対する参考情報となる画像所見を提示可能な画像診断支援装置および画像診断支援方法を提供することを目的とする。

上記目的を達成するために本発明は、医用画像から取得される多数の画像特徴量に基づいて予測結果を出力する予測結果出力部と、前記予測結果との関連度がより高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出部と、前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出部と、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量との関連度がより高い画像所見を抽出して出力する画像所見抽出部と、前記画像所見出力部から出力された画像所見を前記予測結果とともに提示する表示部を備えることを特徴とする画像診断支援装置である。

また本発明は、医用画像から取得される多数の画像特徴量に基づいて予測結果を出力する予測結果出力ステップと、前記予測結果との関連度がより高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出ステップと、前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出ステップと、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量との関連度がより高い画像所見を抽出して出力する画像所見出力ステップと、前記画像所見出力ステップから出力された画像所見を前記予測結果とともに提示する表示ステップと、をコンピュータに実行させることを特徴とする画像診断支援方法である。

本発明によれば、いかなる場合であっても病変の診断結果等の予測結果に対する参考情報となる画像所見を提示可能な画像診断支援装置および画像診断支援方法を提供することができる。

実施例１の画像診断支援装置のハードウェア構成図である。 実施例１の機能ブロック図である。 画像診断モデルの一例について説明する図である。 画像所見の一例について説明する図である。 画像所見モデルの一例について説明する図である。 実施例１の処理の流れの一例を示す図である。 予測結果及び画像所見と各画像特徴量との関連度の一例を示す図である。 画像特徴量のクラスタによって予測結果と画像所見とを紐づける処理について説明する図である。

以下、添付図面に従って本発明に係る画像診断支援装置および画像診断支援方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１を用いて本実施例の画像診断支援装置１００のハードウェア構成について説明する。画像診断支援装置１００は、いわゆるコンピュータである。具体的には、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶部１０４、ネットワークアダプタ１０５、入力部１０６、表示部１０７がバス１０８によって信号送受可能に接続されて構成される。また画像診断支援装置１００は、ネットワークアダプタ１０５及びネットワーク１０９を介して医用画像撮像装置１１０や医用画像データベース１１１と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。ＣＰＵ１０１は、記憶部１０４に格納されるプログラムやプログラム実行に必要なデータをＲＡＭ１０３にロードして実行する。記憶部１０４は、ＣＰＵ１０１が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録装置や、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはＬＡＮ（Local Area Network）等のネットワーク１０９からも送受信される。ＲＡＭ１０３には、ＣＰＵ１０１が実行するプログラムや演算処理の途中経過等が記憶される。

表示部１０７は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイやタッチパネル等である。入力部１０６は、操作者が画像診断支援装置１００に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部１０７がタッチパネルである場合には、タッチパネルが入力部１０６としても機能する。ネットワークアダプタ１０５は、画像診断支援装置１００をＬＡＮ、電話回線、インターネット等のネットワーク１０９に接続するためのものである。

医用画像撮像装置１１０は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、レントゲン装置や、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置等である。複数の断層画像が積み上げられることにより、三次元医用画像が作成される。医用画像データベース１１１は、医用画像撮像装置１１０によって取得された医用画像を保管するデータベースシステムである。

図２を用いて本実施例の機能ブロック図について説明する。なおこれらの機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を用いた専用のハードウェアで構成されても良いし、ＣＰＵ１０１上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。本実施例は、予測結果出力部２０１、第一抽出部２０２、第二抽出部２０３、画像所見出力部２０４を備える。以下、各部について説明する。

予測結果出力部２０１は、入力される医用画像２００に対して何らかの予測結果を出力し、例えば医用画像２００に対して病変の診断結果を出力する画像診断モデルであっても良い。画像診断モデルは、Random forestやSVM （Support Vector Machine）、階層型ニューラルネットワーク等で構築される既存のプログラムであり、処理アルゴリズムがブラックボックス化された任意のプログラムである。画像診断モデルは、教師有り機械学習を用いて生成される。

図３を用いて、教師有り機械学習を用いて生成される画像診断モデルの一例について説明する。画像診断モデルは、医用画像２００から取得される多数の画像特徴量に基づいて、病変の診断結果を出力する。例えば、各画像特徴量と診断結果との関連度ＲＤｉｊと各画像特徴量の値ＶＬｉとの積の総和Σ（ＲＤｉｊ・ＶＬｉ）が各診断結果に対して算出され、複数の診断結果の中から積の総和Σ（ＲＤｉｊ・ＶＬｉ）が最も高い診断結果が出力される。ここでｉは画像特徴量を区別するインデックスであり、ｊは診断結果を区別するインデックスである。なお画像診断モデルは、画像特徴量の層と診断結果の層との間に中間層を含んでも良いし、画像特徴量を取得する層も複数の層で構成されても良い。

各画像特徴量と各診断結果との関連度ＲＤｉｊは、診断結果の教師データ３００を学習することによって予め設定される。診断結果の教師データ３００は診断結果が確定された多数の医用画像を含み、例えば医用画像を特定する画像ＩＤと診断結果とが対応付けられるテーブルである。診断結果の教師データ３００に含まれる医用画像は、任意の医用画像で良く、二次元医用画像や三次元医用画像、もしくは二次元医用画像や三次元医用画像の一部の領域でも良い。診断結果には、例えば良性腫瘍、悪性腫瘍、腫瘍なし等が含まれる。各画像特徴量は、例えば画素値の不均一度やテクスチャ等である。

第一抽出部２０２は、予測結果出力部２０１が出力する予測結果との関連度がより高い画像特徴量を多数の画像特徴量の中から抽出する。例えば、予測結果として出力される診断結果と各画像特徴量との関連度ＲＤｉｊが所定の値よりも大きい画像特徴量が第一抽出部２０２によって抽出される。抽出される画像特徴量の数は複数であっても良い。

第二抽出部２０３は、第一抽出部２０２によって抽出される画像特徴量と同じクラスタにクラスタリングされる画像特徴量を多数の画像特徴量の中から抽出する。画像特徴量のクラスタリングは、教師無し機械学習によって実行されても良いし、コサイン類似度やピアソンの積率相関係数等を用いて算出される各画像特徴量間の類似度に基づいて実行されても良い。教師無し機械学習によって画像特徴量をクラスタリングする場合、教師有り機械学習を用いて生成される画像診断モデルの一部を利用することにより演算負荷を低減できる。各画像特徴量間の類似度に基づいてクラスタリングする場合、類似度が所定の値よりも大きい画像特徴量同士を同じクラスタとする。

画像所見出力部２０４は、医用画像の特徴を表現する複数の画像所見の中から、第二抽出部２０３によって抽出された画像特徴量との関連度がより高い画像所見を抽出する。抽出された画像所見は、予測結果出力部２０１が出力する予測結果とともに、表示部１０７へ出力され、予測結果に関連する画像所見として予測結果とともに提示される。

図４を用いて、画像所見の一例について説明する。画像所見は医師が医用画像の特徴を表現するのに用いられ、例えば病変の境界や病変の辺縁、病変の性状を含む。画像所見テーブル４００に示されるように、病変の境界は明瞭と不明瞭に、病変の辺縁は平滑と不整に、病変の性状は固形と部分固形にそれぞれ分類される。医師は画像所見に基づいて診断を確定する。

画像所見出力部２０４は、医用画像２００に対して画像所見を出力する画像所見モデルを含んでも良い。画像所見モデルは、画像診断モデルと同様に、処理アルゴリズムがブラックボックス化された任意のプログラムであり、教師有り機械学習を用いて生成される。

図５を用いて、教師有り機械学習を用いて生成される画像所見モデルの一例について説明する。画像所見モデルは、医用画像２００から取得される多数の画像特徴量に基づいて、画像所見を出力する。例えば、各画像特徴量と画像所見との関連度ＲＣｉｋと各画像特徴量の値ＶＬｉとの積の総和Σ（ＲＣｉｋ・ＶＬｉ）が各画像所見に対して算出され、複数の画像所見の中から積の総和Σ（ＲＣｉｋ・ＶＬｉ）が最も高い画像所見が出力される。ここでｉは画像特徴量を区別するインデックスであり、ｋは画像所見を区別するインデックスである。なお画像所見モデルは、画像特徴量の層と画像所見の層との間に中間層を含んでも良いし、画像特徴量を取得する層も複数の層で構成されても良い。

各画像特徴量と各画像所見との関連度ＲＣｉｋは、画像所見の教師データ５００を学習することによって予め設定される。画像所見の教師データ５００は画像所見が付与された多数の医用画像を含み、例えば医用画像を特定する画像ＩＤと画像所見とが対応付けられるテーブルである。画像所見の教師データ５００に含まれる医用画像は、診断結果の教師データ３００に含まれる医用画像と同様に任意の医用画像で良い。画像所見の教師データ５００の医用画像には、複数の画像所見が付与されても良く、例えば、画像ＩＤが１０００１の医用画像には、病変の境界と病変の性状について画像所見が付与されている。

画像所見出力部２０４は、例えば、画像所見モデルに設定される関連度ＲＣｉｋの値に基づいて、第二抽出部２０３によって抽出された画像特徴量との関連度がより高い画像所見を抽出する。すなわち第二抽出部２０３によって抽出された画像特徴量と各画像所見との関連度ＲＣｉｋが所定の値よりも大きい画像所見を複数の画像所見の中から抽出する。画像所見出力部２０４によって抽出される画像所見の数は複数であっても良い。

図６を用いて、本実施例の処理の流れの一例について説明する。

（Ｓ６０１）
予測結果出力部２０１が診断対象である医用画像２００を取得する。

（Ｓ６０２）
予測結果出力部２０１は、入力された医用画像２００から多数の画像特徴量の値を算出する。画像特徴量が算出される対象領域は、医用画像２００の全体領域でも良いし、医用画像２００に対して設定される関心領域でも良い。

（Ｓ６０３）
予測結果出力部２０１は、Ｓ６０２で算出された多数の画像特徴量の値に基づいて、予測結果を出力する。医用画像２００の病変が診断される場合は、診断結果が予測結果として出力される。

（Ｓ６０４）
第一抽出部２０２は、Ｓ６０３で出力された予測結果及び画像所見との関連度がより高い画像特徴量を多数の画像特徴量の中から抽出する。例えば、Ｓ６０３で出力された予測結果と各画像特徴量との関連度ＲＤｉｊが所定の値よりも大きい画像特徴量が抽出される。また前述した画像所見の学習により関連度がより高い画像特徴量が抽出される。なお本ステップにて抽出された画像特徴量との関連度がより高い画像所見を抽出し、抽出された画像所見を予測結果の参考情報として提示しても良い。

図７を用いて、本ステップにて抽出された画像特徴量との関連度がより高い画像所見について説明する。図７には、予測結果との関連度がより高い画像特徴量を表す第一テーブル７０１と、画像所見との関連度がより高い画像特徴量を表す第二テーブル７０２とが示される。各テーブルには、予測結果または画像所見との関連度が所定の値より高い画像特徴量の行に〇が付与される。例えば画像特徴量３は、第一テーブル７０１に示されるように予測結果との関連度が高いとともに、第二テーブル７０２に示されるように画像所見の中の境界との関連度も高い。また画像特徴量ｓ＋２は予測結果との関連度が高いとともに、画像所見の中の辺縁との関連度も高い。画像特徴量３や画像特徴量ｓ＋２のように、予測結果及び画像所見との関連度が高い画像特徴量がある場合は、当該画像特徴量との関連度が高い画像所見が予測結果に関連する画像所見として抽出され、予測結果の参考情報として提示される。

しかしながら、予測結果との関連度がより高い画像特徴量との関連度がより高い画像所見が抽出できない場合、予測結果の参考情報となる画像所見を提示することができない。具体的には、画像特徴量ｍと画像特徴量ｍ＋２は第一テーブル７０１に示されるように予測結果との関連度は高いものの、第二テーブル７０２に示されるように画像所見との関連度は高くはない。その結果、予測結果の参考情報となる画像所見が抽出できず、予測結果が提示されるに留まり、予測結果が有用であるか否かを医師が判断できない。そこで、本実施例では次ステップ以降の処理によって、いかなる場合であっても予測結果に対する参考情報となる画像所見を提示する。

（Ｓ６０５）
第二抽出部２０３は、Ｓ６０４で抽出された画像特徴量と同じクラスタにクラスタリングされる画像特徴量を多数の画像特徴量の中から抽出する。

（Ｓ６０６）
画像所見出力部２０４は、Ｓ６０５で抽出された画像特徴量との関連度がより高い画像所見を複数の画像所見の中から抽出する。本ステップで抽出された画像所見は表示部１０７へ送信され、Ｓ６０３で出力された予測結果に対する参考情報として予測結果とともに提示される。

図８を用いて、Ｓ６０５とＳ６０６での処理について説明する。図８には、予測結果との関連度がより高い画像特徴量と、画像特徴量のクラスタと、画像所見との関連度がより高い画像特徴量とが対応付けられた第三テーブル８００が示される。第三テーブル８００では、図７の第一テーブル７０１や第二テーブル７０２と同様に、予測結果または画像所見との関連度が所定の値より高い画像特徴量の行に〇が付与される。また画像特徴量１～３などがクラスタ１に、画像特徴量ｍ～ｍ＋２などがクラスタ２に、画像特徴量ｓ～ｓ＋２などがクラスタ３に、それぞれ含まれることが示される。

Ｓ６０５では、Ｓ６０４で抽出された画像特徴量と同じクラスタにクラスタリングされる画像特徴量が抽出されるので、画像特徴量ｍや画像特徴量ｍ＋２と同じクラスタであるクラスタ２に含まれる画像特徴量ｍ＋１が抽出される。同様に、画像特徴量ｓ＋１と同じクラスタであるクラスタ３に含まれる画像特徴量ｓ＋２も抽出される。なお、Ｓ６０４で抽出された画像特徴量である画像特徴量３や画像特徴量ｍ、画像特徴量ｍ＋２、画像特徴量ｓ＋１も抽出される。

次にＳ６０６では、Ｓ６０５で抽出された画像特徴量との関連度がより高い画像所見が抽出されるので、画像特徴量３や画像特徴量ｓ＋１との関連度が高い画像所見に加えて、画像特徴量ｍ＋１や画像特徴量ｓ＋２との関連度が高い「性状」や「辺縁」も抽出される。すなわち、画像特徴量３や画像特徴量ｓ＋１のような予測結果及び画像所見との関連度がともにより高い画像特徴量が抽出できない場合であっても、本実施例によれば予測結果に対する参考情報となる画像所見が提示される。その結果、医師は画像診断支援装置が提示する予測結果が有用であるか否かを予測結果とともに提示される参考情報を参照しながら判断できる。

なお予測結果や参考情報である画像所見とともに、予測結果との関連度がより高い画像特徴量や画像所見との関連度がより高い画像特徴量が追加の参考情報として提示されても良い。これらの画像特徴量が提示されることにより、画像診断支援装置が提示する予測結果に対する医師の理解度を深められる。

以上説明した処理の流れにより、画像診断支援装置が提示する病変の診断結果等の予測結果に対して、参考情報となる画像所見がいかなる場合であっても提示される。参考情報となる画像所見が予測結果とともに提示されることにより、提示される予測結果が有用であるか否かを医師が判断できるようになる。

以上、本発明の実施例について説明した。本発明は上記の実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、説明したすべての構成を備えるものに限定されない。

１００：画像診断支援装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：記憶部、１０５：ネットワークアダプタ、１０６：入力部、１０７：表示部、１０８：バス、１０９：ネットワーク、１１０：医用画像撮像装置、１１１：医用画像データベース、２００：医用画像、２０１：予測結果出力部、２０２：第一抽出部、２０３：第二抽出部、２０４：画像所見出力部、２０５：予測結果、２０６：予測結果に関連する画像所見、３００：診断結果の教師データ、４００：画像所見テーブル、５００：画像所見の教師データ、７０１：第一テーブル、７０２：第二テーブル、８００：第三テーブル

Claims (6)

1. 診断結果が確定した画像である教師画像と前記診断結果とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記診断結果との関連の度合いである第一関連度を予め設定し、診断対象である医用画像から取得される多数の画像特徴量と前記第一関連度に基づいて予測結果を出力する予測結果出力部と、
   前記予測結果に対する前記第一関連度が所定の値より高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出部と、
   前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出部と、
   前記教師画像の特徴を表現する画像所見と前記教師画像とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記画像所見との関連の度合いである第二関連度を予め設定し、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量に対する前記第二関連度が所定の値より高い画像所見を抽出して出力する画像所見出力部と、
   前記画像所見出力部から出力された画像所見を前記予測結果とともに提示する表示部を備えることを特徴とする画像診断支援装置。
2. 請求項１に記載の画像診断支援装置であって、
   前記予測結果出力部は教師有り機械学習によって生成される画像診断モデルであり、
   前記第二抽出部は教師無し機械学習によって前記多数の画像特徴量をクラスタリングすることを特徴とする画像診断支援装置。
3. 請求項１に記載の画像診断支援装置であって、
   前記表示部は、前記第一の画像特徴量と前記第二の画像特徴量とをさらに提示することを特徴とする画像診断支援装置。
4. 請求項１に記載の画像診断支援装置であって、
   前記予測結果は病変の診断結果であることを特徴とする画像診断支援装置。
5. 請求項１に記載の画像診断支援装置であって、
   前記画像所見には、病変の境界、病変の辺縁、病変の性状が含まれることを特徴とする画像診断支援装置。
6. 診断結果が確定した画像である教師画像と前記診断結果とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記診断結果との関連の度合いである第一関連度を予め設定し、診断対象である医用画像から取得される多数の画像特徴量と前記第一関連度に基づいて予測結果を出力する予測結果出力ステップと、
   前記予測結果に対する前記第一関連度が所定の値より高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出ステップと、
   前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出ステップと、
   前記教師画像の特徴を表現する画像所見と前記教師画像とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記画像所見との関連の度合いである第二関連度を予め設定し、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量に対する前記第二関連度が所定の値より高い画像所見を抽出して出力する画像所見出力ステップと、
   前記画像所見出力ステップから出力された画像所見を前記予測結果とともに提示する表示ステップと、をコンピュータに実行させることを特徴とする画像診断支援方法。

Images