JP4480508B2 - 診断支援プログラムおよび診断支援装置 - Google Patents

Description

この発明は、医療画像から複数の特徴量（例えば病変部位の体積や平均濃度等）を抽出し、それら複数の特徴量をニューラルネットワークに入力させ、病変部位の良悪判定を呈示する診断支援プログラムおよび診断支援装置に関する。

従来、医療診断支援を行う技術の１つとして、ニューラルネットワークを利用した情報処理技術が開発されている。ニューラルネットワークとは、人間の脳の神経細胞をモデルにして構想された情報処理システムである。

ニューラルネットワークの特徴である分岐処理、並列処理、学習処理および自己組織化を活かした発明の例としては、医療データベースと新規医療データの分類を行い、分類に応じた類似データおよび類似データ発生頻度を呈示することにより診断支援を行う診断支援システムが開示されている（例えば、下記特許文献１参照。）。

また、ニューラルネットワークの更新学習に際して、出力と、更新学習の基となる新しい教師信号との比較から異質度を算出することで、当該ニューラルネットワークの従来の学習傾向や使用傾向から大きく外れた不適切な修正を行わないようにする機能をもった学習装置が開示されている（例えば、下記特許文献２参照。）。

さらに、高精度な診断支援を行う例として、２組のニューラルネットワークを使用する診断処理装置が開示されている（例えば、下記特許文献３参照。）。この装置は、Ａ、Ｂ２組のニューラルネットワークを用意しＡのニューラルネットワーク各項目の重み値を計算し、ＢのニューラルネットワークにＡのニューラルネットワークから出力された値と、各項目をかけた値を入力し原因推定出力を行う。

特開平５−１２３５１号公報 特開平５−５４０１４号公報 特許第３４０１８５８号公報

しかしながら、従来の技術では、判定結果を出力するのみに留まっていた。従って、判定の根拠すなわち、どの特徴量が判定に影響を与えたかを定量的に把握することができず、判定の信頼性を医師等のユーザが把握することができなかった。

この発明は、上述した従来技術による問題点を解消するため、医療診断を行う際に、判定結果とともに、その判定を算出するに至った要因である寄与度を定量的に呈示できる診断支援プログラムおよび診断支援装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、この発明にかかる診断支援プログラムは、コンピュータに、診断用の検査画像内の指定した範囲の画像特徴の種別ごとの特徴量を数値化して入力させる検査画像特徴量入力工程と、前記検査画像と類似した症例の画像の特徴量を画像サーバから呼び出させ、当該診断結果を電子カルテから呼び出させる電子カルテ呼び出し工程と、前記電子カルテ呼び出し工程により呼び出された画像の前記特徴量と、前記診断結果データとに基づいて、入力層と、中間層と、出力層とが接続された各経路の重み値と、前記中間層の複数の中間ノードの閾値の割り当てを行って階層型のニューラルネットワークを構築させるニューラルネットワーク構築工程と、前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記中間ノードの閾値とに基づいて、中間ノード値を算出させる中間ノード値算出工程と、前記検査画像特徴量入力工程により入力された前記特徴量と、前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記ニューラルネットワークの前記出力層が出力する出力値と、前記中間ノード値算出工程により算出された前記中間ノード値に基づき、前記出力値を算出するに至った要因を数値で表した寄与度の値を、入力した特徴量の種別ごとに算出させる寄与度算出工程と、前記検査画像特徴量入力工程により入力された前記特徴量と、前記電子カルテ呼び出し工程により呼び出された画像の特徴量との比較を行わせる特徴量比較工程と、前記寄与度算出工程により算出された前記寄与度の値と、前記検査画像特徴量入力工程により入力された前記特徴量と、前記ニューラルネットワークの出力値と、前記特徴量比較工程の結果とを同一画面上に呈示する呈示工程と、を実行させることを特徴とする。

この発明によれば、ユーザが診断用の検査画像の画像特徴の選択範囲を指定し、抽出すべき特徴量を選択することにより、この検査画像の良悪判定と、各特徴量ごとの寄与度が定量的に呈示される。そして、入力された特徴量と、電子カルテ呼び出し工程により呼び出された画像の特徴量とが比較され、寄与度とともに特徴量と、ニューラルネットワークの出力値と、特徴量比較工程の結果とが同一画面上に呈示される。

本発明にかかる診断支援プログラムおよび診断支援装置によれば、判定結果に与えた各特徴量の寄与度を定量的に把握でき、判定の根拠を明確にすることができるようになり、医師等のユーザの診断精度を向上させることができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる診断支援プログラムおよび診断支援装置の好適な実施の形態を詳細に説明する。

（実施の形態）
まず、図１を用いて本実施の形態にかかる診断支援装置の構成を説明する。図１は、この発明の診断支援装置を示す図である。診断支援装置１００は、制御部１０２、表示部１０３および入力部１０４からなる読影端末１０１と、画像サーバ１０５と、電子カルテデータベース（以下、「電子カルテＤＢ」という）１０６により構成されている。

画像サーバ１０５には、検査対象となる医療画像データが格納されている。電子カルテＤＢ１０６には、ニューラルネットワーク構築のための教師信号となる病理データが多数格納されている。読影端末１０１は、画像サーバ１０５と電子カルテＤＢ１０６との間でデータの送受を行うために接続されている。

図２は、この発明の診断支援装置のハードウエア構成を示す図である。図１に示した制御部１０２のハードウエア構成の一例を示すものであり、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ（ハードディスクドライブ）２０４、ＨＤ（ハードディスク）２０５、ＦＤＤ（フレキシブルディスクドライブ）２０６、ＦＤ（フレキシブルディスク）２０７、ディスプレイ２０８、ネットワークＩ／Ｆ（インターフェース）２０９ａ、２０９ｂ、キーボード２１０およびマウス２１１を備えている。また、上記各部はバス２００により接続されている。

図中、ＣＰＵ２０１は診断支援プログラムを実行し、診断支援装置全体の制御を司る。ＲＯＭ２０２はブートプログラムなどを記憶している。ＲＡＭ２０３はＣＰＵ２０１のワークエリアとして使用される。

ＨＤＤ２０４は、ＣＰＵ２０１の制御にしたがってＨＤ２０５に対するデータのリード／ライトを制御する。ＨＤ２０５は、ＨＤＤ２０４の制御に従って書き込まれたデータを記憶する。ＦＤＤ２０６は、ＣＰＵ２０１の制御にしたがってＦＤ２０７に対するデータのリード／ライトを制御する。ＦＤ２０７は、ＦＤＤ２０６の制御に従って書き込まれたデータを記憶する。なお、ＦＤ２０７は着脱可能な記録媒体の一例であり、ＦＤ２０７に代えてＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリーカードなどであってもよい。

ディスプレイ２０８は、カーソル、ウィンドウ、アイコンなどをはじめ、文書や画像などの各種データを表示する。ネットワークＩ／Ｆ２０９ａおよび２０９ｂはＬＡＮ／ＷＡＮなどのネットワークに接続される。例えばここではネットワークＩ／Ｆ２０９ａは画像サーバ１０５に、ネットワークＩ／Ｆ２０９ｂは電子カルテＤＢ１０６にそれぞれ接続され、ネットワークと装置内部とのデータの送受信を司る。キーボード２１０は、文字、数字、各種指示などの入力のための複数のキーを備え、押下されたキーに対応するデータを装置内部へ入力する。マウス２１１は本体下部のボールの回転量と回転方向、および本体上部の各ボタンのＯＮ／ＯＦＦを随時装置内部へ入力する。

図２に記載のキーボード２１０およびマウス２１１は、図１に記載の入力部１０４の機能に相当し、図２に記載のディスプレイ２０８は、図１に記載の表示部１０３の機能に相当する。

図３は、この発明の診断支援装置の機能的構成を示すブロック図である。読影端末１０１の制御部１０２の機能を説明する。この制御部１０２は、画像特徴量抽出部３０１と、ニューラルネットワーク構築部３０２と、ニューラルネットワークによる判定部３０３と、寄与度算出部３０４と、各特徴量の寄与度呈示機能部３０５を備えている。

入力部１０４（図１参照）からの入力情報により、画像サーバ１０５から画像特徴量抽出部３０１へ検査画像が呼び出される。また、画像特徴量抽出部３０１からは、画像サーバ１０５へ画像特徴量の登録が行われる。画像特徴量抽出部３０１は、検査画像から画像特徴量の抽出を行う。抽出された値と、電子カルテＤＢ１０６の情報に基づきニューラルネットワーク構築部３０２でニューラルネットワークの構築が行われる。

そして、ニューラルネットワーク構築部３０２で構築されたニューラルネットワークに検査画像情報を入力し、検査画像の良悪判定が行われる。この後、判定結果を基に寄与度算出部３０４で寄与度の算出が行われ、各特徴量の寄与度呈示機能部３０５で算出した寄与度の呈示が表示部１０３（図１参照）への表示等で行われる。

次に、本実施の形態にかかる診断支援装置が行う診断支援動作を説明する。図４は、この発明の診断支援装置の動作を表すフローチャートである。

まず、画像サーバ１０５（図１参照）から検査画像データを取得し、ユーザは、表示部１０３に表示された検査画像から、病変部位の良悪と線形の相関があると判断される複数の画像特徴量を選択する（ステップＳ４０１）。特徴量が選択されると、読影端末１０１から画像サーバ１０５へ画像特徴量の登録が行われる。画像特徴量の選択の際、表示部１０３には、図５に示すような特徴量選択画面５００が表示される。図５は、画像特徴量選択の際の表示例を示す図である。入力部１０４を用いて表示画面５００の各特徴量を選択する。

次に、診断支援プログラム内のニューラルネットワーク構築部３０２において、選択された画像特徴量にあわせ、診断支援を行うためのニューラルネットワークの構築を行う（ステップＳ４０２）。このとき、電子カルテＤＢ１０６からニューラルネットワークの学習のための病理データの参照が行われる。ニューラルネットワーク構築に関する詳細な動作については後述する。

ニューラルネットワーク構築が完成すると、医師等のユーザは、検査画像内において診断のために指定した範囲のＲＯＩ（興味領域）を選択する（ステップＳ４０３）。選択方法は、入力部１０４のキーボード２１０から検査画像のＲＯＩの座標値を入力してもよいし、マウス２１１等のポインティングデバイスで範囲指定を行ってもよい。

以上のような各入力が完了すると、制御部１０２から算出された検査画像の良悪判定結果および各特徴量別の寄与度が表示部１０３に呈示され、ユーザは、診断を行う（ステップＳ４０４）。以上により、診断支援装置１００の動作は終了する。寄与度算出および呈示に関する詳細な動作については後述する。

（ニューラルネットワークの構築について）
ここでは、図４のステップＳ４０２で行ったニューラルネットワーク構築の詳細な説明を行う。まず、ニューラルネットワークの構造について、図６を用いて説明する。図６は、診断支援装置が構築するニューラルネットワークの構造を表す図である。

図６に示したように基本的にニューラルネットワークは、Ｎ個の入力項目からなるの入力層と、ｎ個の中間ノード（節点）からなる中間層と、一つの出力層による非線形の階層構造をもつ。入力層の入力項目Ｃは、複数の各画像特徴量と対応しており、入力値は、中間層の各中間ノードへ入力される。このときの中間ノードへの入力値は、入力項目Ｃの値と、入力項目Ｃから中間ノード間の重みとの積である。ニューラルネットワークの各ノードは、下記（１）式に示す出力関数ｆ（ｘ）（シグモイド関数）をもつ。

従って、図６中の各中間ノードの出力ｘは、中間ノードに入力された入力項目Ｃの個数分の入力値の総和を、下記（２）式に示す出力関数ｘ_jに入力することで算出された値であり、その値を出力層へ出力する。出力層の出力ｙも同様の算出法であり、その出力関数ｙを下記（３）式に示す。

出力関数に用いるシグモイド関数は、ステップ関数曲線を滑らかにしたようなＳ字曲線をとる。従ってｘ，ｙは、−１から１の範囲で連続的な浮動小数点の値をとる。

次に、図７を用いてニューラルネットワーク構築動作について詳細な説明を行う。図７は、ニューラルネットワークの構築動作を表すフローチャートである。以下に説明するニューラルネットワーク構築動作により、診断支援処理に適したニューラルネットワークの各設定を定めていく。

ニューラルネットワーク構築を行うには、まずニューラルネットワーク構成の基本となるパラメータの設定を行う（ステップＳ７０１）。設定すべきパラメータには、中間ノードの個数、許容誤差（収束条件の判定に用いる）、学習定数などがある。

次に、電子カルテＤＢ１０６（図１参照）から、図４のステップＳ４０１で行われた画像特徴量選択を基に、予め良悪判定の結果がわかっている症例画像集を呼び出す。その症例画像の中からニューラルネットワークの学習のための症例画像の選択を行う（ステップＳ７０２）。ニューラルネットワーク学習のためは、まず、選択された症例画像中の既に指定されているＲＯＩから画像特徴量の算出を行い（ステップＳ７０３）、入力項目としてニューラルネットワークへ入力する。

具体的に各特徴量がどのように入力されるかについて説明する。図８−１〜図８−３は、ニューラルネットワークのデータ構造を表す図表である。図８−１は、ニューラルネットワークの入力のデータ構造８０１を示す図表であり、図８−２は、ニューラルネットワークの出力のデータ構造８０２を示す図表であり、図８−３は、ニューラルネットワークのデータ構造８０３を示す図表である。図８−１の入力のデータ構造８０１の入力フラグのＩＮとＯＦＦは、図４のステップＳ４０１の画像特徴量の選択と対応している。このデータテーブルは、ニューラルネットワークの学習用の場合であっても、ニューラルネットワーク構築後に行われる未知判別用の場合でも同じデータ構造である。次に、電子カルテＤＢ１０６から選択した電子カルテの症例に対応した確定診断情報を獲得する（ステップＳ７０４）。

以上のような処理を繰り返し、全症例の処理を行ったかを判断する（ステップＳ７０５）。未処理の症例が残っている場合は（ステップＳ７０５：Ｎｏ）、ステップＳ７０１に戻って再び症例画像選択を行う。全症例処理済みの場合は（ステップＳ７０５：Ｙｅｓ）、処理結果を基にニューラルネットワーク構築のための反復計算を行い（ステップＳ７０６）、次に、この反復計算の結果が収束したか判断する（ステップＳ７０７）。収束判定は、確定診断情報（値）とニューラルネットワークからの出力値の差が許容誤差以下であるか否かで行われる。

収束しない場合（ステップＳ７０７：Ｎｏ）、収束を妨げる原因となっている矛盾した症例を除外し（ステップＳ７０８）、ステップＳ７０６に戻って再度、反復計算を行う。収束した場合（ステップＳ７０７：Ｙｅｓ）、ニューラルネットワークの学習に用いた電子カルテデータの統計的比較値を計算する（ステップＳ７０９）。統計的比較値の例として、本実施の形態では各画像特徴量の平均値と標準偏差を計算しているが、共分散行列を用いてもよい。この統計的比較値は、後述する寄与度の呈示動作の際に用いる。以上のような処理により、ニューラルネットワーク構築が完了し（ステップＳ７１０）、ニューラルネットワーク構築動作が終了する。このとき確定したニューラルネットワークの各設定値は、図８−３のネットワークのデータ構造８０３を参照する。図の例では中間ノードの数が２個の場合を表している。

（寄与度の算出方法について）
次に、良悪判定結果と共に呈示される寄与度の算出方法について詳しく述べる。従来、ニューラルネットワークの場合、非線形の構造であるため、出力層の判定結果に寄与した入力層の項目を特定することは不可能であった。そこで、本実施の形態では、下記の目的と適用条件によって、寄与度を算出する。

・目的：ある症例に対し、良悪判定をニューラルネットワークで行うにあたり知りたい事柄（下記１〜３）。
１．どの入力項目がどの程度、良悪判別に寄与したのか。
２．上記１．に該当する項目についての入力値の大小関係（学習したサンプルと比較した大小関係）。
３．良悪判定結果にマイナスの要因として働いた項目とその大きさ。

・適用条件（下記１〜３）
１．ニューラルネットワークは、３層構造をもち、入力項目は、２つ以上であり、中間層のノードは、１つ以上、出力層のノードは１である。
２．入力値は、［−１，１］に規格化されており、出力値は［−１〜１］の値をとり得る。
３．各入力値は、出力値と単純増加／減少の関係にあることが望ましい。

これらの目的および適用条件に基づいた寄与度算出および呈示動作について、図９−１を用いて説明する。図９−１は、寄与度算出および呈示の動作を表すフローチャートである。

まず、対象症例の画像特徴量を入力する（ステップＳ９１１）。ステップＳ９１１で入力する特徴量のデータは、図８−１の入力データ構造８０１を参照して行う。そして、入力値と、構築したニューラルネットワークの設定値を用い、上記（２）式から中間層の値ｘを算出する（ステップＳ９１２）。この後、各特徴量から出力までの全ての経路を考慮して寄与度を算出する（ステップＳ９１３）。ステップＳ９１３で算出された出力データの構造例としては、図８−２の出力のデータ構造８０２を参照する。寄与度の算出動作の詳細な説明は、図９−２を用いて後述する。

算出した寄与度を値の大きさ順に並べ替えを行う（ステップＳ９１４）。学習症例との統計的比較値と、寄与度の値をグラフ化して呈示する。このとき、良悪判定結果に対して悪性に寄与する特徴量は例えば赤で、良性に寄与する特徴量は緑で表す（ステップＳ９１５）。ステップＳ９１５で行われる呈示動作の詳しい説明は、図１１を用いて後述する。以上で寄与度算出および呈示動作が終了する。

ここで、先に述べたように図９−１中のステップＳ９１３で行われる寄与度算出の詳細な説明を行う。図９−２は、寄与度算出の詳細な動作を表すフローチャートである。

寄与度算出の詳細な説明にあたり、図６のニューラルネットワークモデルを参照する。図６に表示した記号は、以下の値を表す。
・Ｃ_i：ｉ番目の入力項目値（特徴量の値）
・ｖ_ij：ｉ番目の入力項目とｊ番目の中間ノードとの重み
・ｘ_j：ｊ番目の中間ノードの出力値
・Ｔ_j：ｊ番目の中間ノードの閾値
・ｗ_j：ｊ番目の中間ノードと出力ノードとの重み
・ｙ：出力値
・Ｔ：出力ノードの閾値

まず、入力から中間層までの寄与度Ａ_ijを求める。入力項目値である特徴量の値Ｃ_i、重みｖ_ijおよびｗ_j、出力値ｙを用い学習定数α_ijを下記（５）式により求める（ステップＳ９２１）。この学習定数α_ijを下記（４）式のようにシグモイド関数に入力することで、入力から中間層までの寄与度Ａ_ijが求まる（ステップＳ９２２）。式中のｓｇｎ（ｗ_j）およびｓｇｎ（ｙ）は、（ ）内の値の符号を表す。

次に、中間層から出力までの寄与度Ｂ_jを求める。中間層の中間ノードの値ｘ_j、重みｗ_j、出力値ｙを用い学習定数β_jを下記（７）式より求める（ステップＳ９２３）。この学習定数β_jを下記（６）式のようにシグモイド関数に入力することで、中間層から出力までの寄与度Ｂ_jが求まる（ステップＳ９２４）。

最後に、Ａ_ij、Ｂ_j２つの寄与度を基にニューラルネットワーク全体を通しての寄与度を求める。まず、Ａ_ij、Ｂ_jの符号の比較を行う（ステップＳ９２５）。同符号の場合（ステップＳ９２５：Ｙｅｓ）、下記（８）式よりＲ_ijを求める（ステップＳ９２６）。異符号の場合（ステップＳ９２５：Ｎｏ）、下記（９）式よりＲ_ijを求める（ステップＳ９２７）。以上の動作を各中間層ごとに行い、ｊ番目のＲ_ijまで求めることができると、下記（１０）式よりｉ番目の特徴量の寄与度Ｒ_iが求められ（ステップＳ９２８）、寄与度算出の処理が終了する。

（寄与度算出式の根拠）
寄与度算出式の根拠について、図１０を用いて説明する。図１０は、寄与度の計算式の根拠を説明するための図表である。１０００ａ部分は、入力から中間層への寄与度Ａについて、１０００ｂ部分は、中間から出力層への寄与度Ｂについての各値の符号と寄与度との関係を表す。

・寄与度Ａについての考え方（図表１０００の１０００ａ部分）
１．ある１セットの特徴量をニューラルネットワークへ入力し、出力値の符号ｓｇｎ（ｙ）が＋（悪性）、中間層から出力層への重みの符号ｓｇｎ（ｗ_j）が−（良性）の場合、出力値が＋に寄与するのは、中間層の中間ノード（図６参照）の出力値ｘ_jの符号が−であるからである。
２．ｘ_jの符号が−になるためには、入力層から中間層への値ｃ_iｖ_ijが−の必要がある。
３．出力値が−で、ｓｇｎ（ｗ_j）が−のときは、ｘ_j値の符号が＋の方が寄与する。従ってｃ_iｖ_ijは＋であるほど寄与する。

以上１．〜３．を考慮すると、上記（５）式の値が＋であり大きい程、出力結果への寄与度が大きいと考えられる。

・寄与度Ｂについての考え方（図表１０００の１０００ｂ部分）
１．ある１セットの特徴量をニューラルネットワークへ入力し出力値の符号ｓｇｎ（ｙ）が＋（悪性）のとき、出力の値が＋になった理由は、中間層から出力層への値ｘ_jｗ_jの中に＋の値をとるものがあったからである。
２．出力値の符号が−（良性）のとき、出力の値が−の理由は、中間層から出力層への値ｘ_jｗ_jの中に−の値をとるものがあったからである。

以上の１．および２．を考慮すると、上記（７）式の値が大きい程、出力結果への寄与度が大きいと考えられる。

さらに、上記Ａ、Ｂは、独立して寄与度として扱えるが、符号が異なる場合は、お互いに拮抗して判定が下せない。従って、Ａ＞０、Ｂ＞０およびＡ＜０、Ｂ＜０ならば、寄与度は、（Ａ＋Ｂ）／２となる。しかし、Ａ＞０、Ｂ＜０の場合、入力は寄与しようとしたが、Ｂの結果に影響していないので、寄与度はゼロとなる。同様に、Ａ＜０、Ｂ＞０の場合も、入力の段階で出力結果に反する寄与をしているが、Ｂの結果に影響していないので寄与度Ｒはゼロとなる。

（各特徴量の寄与度の呈示について）
最後に、図１１を用いて、各特徴量の寄与度の呈示について説明する。図１１は、各特徴量の寄与度の呈示動作を表すフローチャートである。まず、各特徴量のうちＩＮのフラグが立っている、すなわちユーザに選択された特徴量だけを選択する（ステップＳ１１０１）。

図１中の入力部１０４を用い、表示部１０３に寄与度を呈示するか否かの選択を行う（ステップＳ１１０２）。寄与度呈示を選択した場合（ステップＳ１１０２：Ｙｅｓ）、算出した寄与度を寄与度の（値の）降順に並べ替える（ステップＳ１１０３）。並べ替えた結果を基に寄与度の値を棒グラフ形式で表示部１０３に図１２−１のように呈示する（ステップＳ１１０４）。図１２−１は、各特徴量の寄与度の呈示画面例を表す図である。

呈示画面１２００は、検査画像表示部１２０１と、特徴量表示部１２０２と、寄与度表示部１２０３ａから構成されている。検査画像表示部１２０１の円で示された部分がユーザが指定したＲＯＩである。寄与度表示部１２０３ａの最右端の棒グラフは、結果に反する効果をもたらしている、つまり、寄与度が−であることを表す。また、特徴量の値と悪性の寄与度が比例関係にあるものや、特徴量の値と良性への寄与度が比例関係にあるものなどが色分けされている。特徴量名の下の文字は、学習データと比較して特徴量の値の大中小を表している。

ステップＳ１１０２において寄与度呈示を選択しなかった場合（ステップＳ１１０２：Ｎｏ）、対象症例のｉ番目の入力項目値（特徴量）Ｃ_iに対し、学習データの平均値Ｖ_iと標準偏差Ｄ_iを用い、統計的比較値＝（Ｃ_i−Ｖ_i）／（２×Ｄ_i）を求める（ステップＳ１１０５）。求めた統計的比較値を棒ブラフ形式で表示部１０３に図１２−２のように呈示する（ステップＳ１１０６）。

図１２−２は、各特徴量の統計的比較値の呈示画面例を表す図である。呈示画面１２００は、寄与度呈示画面とほぼ同様の構成をもつが、図１２−１の寄与度呈示画面と異なり各特徴量の統計的比較値を表す比較値表示部１２０３ｂを備えている。比較値表示部１２０３ｂは、ステップＳ１１０５で求められた値を基に呈示された棒グラフである。また、入力部１０４により比較値表示部１２０３ｂをクリックすると寄与度表示部１２０３ａに呈示を切り替えることができ、寄与度表示部１２０３ａを再度クリックすれば比較値表示部１２０３ｂの呈示に戻ることができるようにしてもよい。

以上説明したように、診断支援プログラムおよび診断支援装置によれば、非線形の階層型ニューラルネットワークであっても、寄与度という形で良悪判定結果の根拠を定量的に算出できるため、統計的比較値と共に複数の要素を視覚的に呈示することができる。ユーザは、各特徴量の寄与度が定量的に把握できるため、より診断精度を向上させることができるようになる。

以上の実施の形態で説明した診断支援の方法は、パーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

（付記１）診断用の検査画像内の指定した範囲の画像特徴の種別ごとの特徴量を数値化して入力させる検査画像特徴量入力工程と、
前記検査画像と類似した症例の画像の特徴量を画像サーバから呼び出させ、当該診断結果を電子カルテから呼び出させる電子カルテ呼び出し工程と、
前記電子カルテ呼び出し工程により呼び出された画像の前記特徴量と、前記診断結果データとに基づいて、入力層と、中間層と、出力層とが接続された各経路の重み値と、前記中間層の複数の中間ノードの閾値の割り当てを行って階層型のニューラルネットワークを構築させるニューラルネットワーク構築工程と、
前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記中間ノードの閾値とに基づいて、中間ノード値を算出させる中間ノード値算出工程と、
前記検査画像特徴量入力工程により入力された前記特徴量と、前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記ニューラルネットワークの前記出力層が出力する出力値と、前記中間ノード値算出工程により算出された前記中間ノード値に基づき、前記出力値を算出するに至った要因を数値で表した寄与度の値を、入力した特徴量の種別ごとに算出させる寄与度算出工程と、
をコンピュータに実行させることを特徴とする診断支援プログラム。

（付記２）前記検査画像特徴量入力工程は、予め用意された複数の画像特徴の種別ごとの特徴量の内から特徴量の種別を選択して入力させることを特徴とする付記１に記載の診断支援プログラム。

（付記３）前記ニューラルネットワーク構築工程は、前記電子カルテ呼び出し工程により呼び出された前記画像の前記特徴量と、前記診断結果のデータとに基づいて特徴量の統計値を演算させる統計値演算工程を含むことを特徴とする付記１に記載の診断支援プログラム。

（付記４）前記寄与度算出工程により算出された前記寄与度の値を呈示させる呈示工程を含むことを特徴とする付記１に記載の診断支援プログラム。

（付記５）前記検査画像特徴量入力工程により入力された前記特徴量と、前記電子カルテ呼び出し工程により呼び出された画像の特徴量との比較を行わせる特徴量比較工程を含み、
前記呈示工程は、前記寄与度とともに前記特徴量と、前記ニューラルネットワークの出力値と、前記特徴量比較工程の結果とを同一画面上に呈示させることを特徴とする付記４に記載の診断支援プログラム。

（付記６）前記呈示工程は、前記統計値演算工程により算出された前記特徴量の統計値を呈示させることを特徴とする付記３に記載の診断支援プログラム。

（付記７）前記呈示工程は、前記統計値とともに前記特徴量と、前記ニューラルネットワークの前記出力層が出力する前記出力値とを同一画面に呈示させることを特徴とする付記６に記載の診断支援プログラム。

（付記８）診断用の検査画像内の指定した範囲の画像特徴の種別ごとの特徴量を数値化して入力する検査画像特徴量入力手段と、
前記検査画像と類似した症例の画像の特徴量を画像サーバから呼び出し、当該診断結果を電子カルテから呼び出す電子カルテ呼び出し手段と、
前記電子カルテ呼び出し手段により呼び出された画像の前記特徴量と、前記診断結果データとに基づいて、入力層と、中間層と、出力層とが接続された各経路の重み値と、前記中間層の複数の中間ノードの閾値の割り当てを行って階層型のニューラルネットワークを構築するニューラルネットワーク構築手段と、
前記ニューラルネットワーク構築手段により割り当てられた前記各経路の重み値と、前記各中間ノードの閾値とに基づいて、中間ノード値を算出する中間ノード値算出手段と、
前記検査画像特徴量入力手段により入力された前記特徴量と、前記ニューラルネットワーク構築手段により割り当てられた前記各経路の重み値と、前記ニューラルネットワークの前記出力層が出力する出力値と、前記中間ノード値算出手段により算出された前記中間ノード値に基づき、前記出力値を算出するに至った要因を数値で表した寄与度の値を、入力した特徴量の種別ごとに算出する寄与度算出手段と、
を備えたことを特徴とする診断支援装置。

（付記９）前記寄与度算出手段により算出された前記寄与度の値を呈示する呈示手段を備えたことを特徴とする付記８に記載の診断支援装置。

以上のように、本発明にかかる診断支援プログラムおよび診断支援装置は、判定結果が複数の要因によって導かれる症例の場合に有用であり、特に、画像を用いて腫瘍等の良悪判定を行う医療診断支援装置に適している。

この発明の診断支援装置を示す図である。 この発明の診断支援装置のハードウエア構成を示す図である。 この発明の診断支援装置の機能的構成を示すブロック図である。 この発明の診断支援装置の動作を表すフローチャートである。 画像特徴量選択の際の表示例を示す図である。 診断支援装置が構築するニューラルネットワークの構造を表す図である。 ニューラルネットワークの構築動作を表すフローチャートである。 ニューラルネットワークの入力のデータ構造を表す図表である。 ニューラルネットワークの出力のデータ構造を表す図表である。 ニューラルネットワークのデータ構造を表す図表である。 寄与度算出および呈示の動作を表すフローチャートである。 寄与度算出の詳細な動作を表すフローチャートである。 寄与度の計算式の根拠を説明するための図表である。 各特徴量の寄与度の呈示動作を表すフローチャートである。 各特徴量の寄与度の呈示画面例を表す図である。 各特徴量の統計的比較値の呈示画面例を表す図である。

符号の説明

１００ 診断支援装置
１０１ 読影端末
１０２ 制御部
１０３ 表示部
１０４ 入力部
１０５ 画像サーバ
１０６ 電子カルテデータベース
３０１ 画像特徴量抽出部
３０２ ニューラルネットワーク構築部
３０３ 判定部
３０４ 寄与度算出部
３０５ 寄与度呈示機能部

Claims (4)

1. コンピュータに、
   診断用の検査画像内の指定した範囲の画像特徴の種別ごとの特徴量を数値化して入力する検査画像特徴量入力工程と、
   前記検査画像と類似した症例の画像の特徴量を画像サーバから呼び出させ、当該診断結果を電子カルテから呼び出させる電子カルテ呼び出し工程と、
   前記電子カルテ呼び出し工程により呼び出された画像の前記特徴量と、前記診断結果データとに基づいて、入力層と、中間層と、出力層とが接続された各経路の重み値と、前記中間層の複数の中間ノードの閾値の割り当てを行って階層型のニューラルネットワークを構築するニューラルネットワーク構築工程と、
   前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記中間ノードの閾値とに基づいて、中間ノード値を算出する中間ノード値算出工程と、
   前記検査画像特徴量入力工程により入力された前記特徴量と、前記ニューラルネットワーク構築工程により割り当てられた前記各経路の重み値と、前記ニューラルネットワークの前記出力層が出力する出力値と、前記中間ノード値算出工程により算出された前記中間ノード値に基づき、前記出力値を算出するに至った要因を数値で表した寄与度の値を、入力した特徴量の種別ごとに算出する寄与度算出工程と、
   前記検査画像特徴量入力工程により入力された前記特徴量と、前記電子カルテ呼び出し工程により呼び出された画像の特徴量との比較を行わせる特徴量比較工程と、
   前記寄与度算出工程により算出された前記寄与度の値と、前記検査画像特徴量入力工程により入力された前記特徴量と、前記ニューラルネットワークの出力値と、前記特徴量比較工程の結果とを同一画面上に呈示する呈示工程と、
   を実行させることを特徴とする診断支援プログラム。
2. 前記呈示工程は、悪性に寄与する特徴量と、良性に寄与する特徴量とを色分け表示することを特徴とする請求項１に記載の診断支援プログラム。
3. 前記呈示工程は、前記画面上に前記特徴量と、前記寄与度とを切り替えて表示自在なことを特徴とする請求項１に記載の診断支援プログラム。
4. 診断用の検査画像内の指定した範囲の画像特徴の種別ごとの特徴量を数値化して入力する検査画像特徴量入力手段と、
   前記検査画像と類似した症例の画像の特徴量を画像サーバから呼び出し、当該診断結果を電子カルテから呼び出す電子カルテ呼び出し手段と、
   前記電子カルテ呼び出し手段により呼び出された画像の前記特徴量と、前記診断結果データとに基づいて、入力層と、中間層と、出力層とが接続された各経路の重み値と、前記中間層の複数の中間ノードの閾値の割り当てを行って階層型のニューラルネットワークを構築するニューラルネットワーク構築手段と、
   前記ニューラルネットワーク構築手段により割り当てられた前記各経路の重み値と、前記各中間ノードの閾値とに基づいて、中間ノード値を算出する中間ノード値算出手段と、
   前記検査画像特徴量入力手段により入力された前記特徴量と、前記ニューラルネットワーク構築手段により割り当てられた前記各経路の重み値と、前記ニューラルネットワークの前記出力層が出力する出力値と、前記中間ノード値算出手段により算出された前記中間ノード値に基づき、前記出力値を算出するに至った要因を数値で表した寄与度の値を、入力した特徴量の種別ごとに算出する寄与度算出手段と、
   前記検査画像特徴量入力手段により入力された前記特徴量と、前記電子カルテ呼び出し手段により呼び出された画像の特徴量との比較を行わせる特徴量比較手段と、
   前記寄与度算出手段により算出された前記寄与度の値と、前記検査画像特徴量入力手段により入力された前記特徴量と、前記ニューラルネットワークの出力値と、前記特徴量比較手段の結果とを同一画面上に呈示する呈示手段と、
   を備えたことを特徴とする診断支援装置。

Images