JP5340204B2 - 推論装置、その制御方法およびプログラム - Google Patents

Description

本発明は、クラスが未知なデータのクラスを推論する技術に関し、特に推論の信頼性を評価する推論技術に関する。

計算機を用いたデータ処理技術の一つとして、クラスが既知な事例（以下、既知事例）の集合に対して解析を行い、抽出された知識を用いてクラスが未知な事例（以下、未知事例）が属するクラスを推論する推論技術が知られている。このような推論技術は、例えば医療分野における意思決定支援システムなどに用いられている。

推論装置の多くは、「教師あり学習」を用いて既知事例に関する知識を得ている。「教師あり学習」とは、事例の特性を表す特性値（または観測値とも呼ばれる）と事例が属するクラス（ラベルとも呼ばれる）を有する既知事例の集合を用いて、特性値とクラスとの対応関係を知識として抽出する方法である。従って、抽出される知識は、学習に用いる事例の集合に依存する。

既知事例の集合において、特性値とクラスの完全な対応関係を知識として抽出することは可能であるが、既知事例に一致しない未知事例のクラスを正しく推論することは難しい。従って、未知事例に対しても正しく推論が行えるように汎化された知識を用いるのが一般的である。この場合、汎化された知識を用いて各々の既知事例のクラスが正しく推論出来るかどうかを調べることにより、推論器の信頼性がどのくらいかを求めることが可能である。しかし、この信頼性は、推論器の全体としての信頼性であって、未知事例の各々に対して得られる個々の推論の信頼性を表すものではない。

一方、未知事例に類似する既知事例（類似事例）を利用して、未知事例のクラスを推論することや、個々の（未知事例の各々に対する）推論の信頼性を導出することが試みられている。例えば特許文献１では、類似事例のクラス分布に基づいて未知事例のクラスを推論する技術が提示されている。また、特許文献２では、類似事例から複数の部分集合を作成し、類似事例全体のクラス分布と各部分集合のクラス分布から、未知事例に対する推論の信頼性を導出するという技術が提示されている。

特開２００２−２３０５１８号公報 特開２００３−３２３６０１号公報

しかしながら、特許文献１では信頼性がどのくらいかを求めるという発想は示されていない。また特許文献２では、類似事例のクラス分布に基づいて推論を行う推論手法の信頼性を、クラス分布のばらつき度合いから導出しているだけである。そのため、信頼性の根拠を利用者が直感的には理解しづらいという課題があった。また、類似事例のクラス分布に基づかない他の方法で推論を行う場合には、推論の信頼性を導出できないという課題があった。

本発明は、このような課題に鑑みてなされたものであり、推論装置において未知事例の各々に対する推論の信頼性を導出する仕組みを提供することを目的とする。

本発明の推論装置は、複数の既知事例の各々について、所定パラメータにより定まる第１特性値と該既知事例の属する正解クラスとを格納する格納手段と、未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により前記未知事例が属する推論クラスを推論する第１推論手段と、前記第２特性値と前記格納された第１特性値との間の類似度を算出し、前記算出した類似度の高い順に、前記複数の既知事例から所定数の既知事例を類似事例として選択する選択手段と、前記所定数の類似事例の各々の第１特性値から該選択された類似事例の各々が属する推論クラスを推論する第２推論手段と、前記類似事例が属する推論クラスの各々が、前記格納された、前記類似事例に対応する正解クラスと一致するか否かを判断する判断手段と、前記類似事例の正解クラスと一致したか否かの判断に依存して、前記第１推論手段により推論された前記未知事例の属する推論クラスの信頼度を算出する算出手段とを備えることを特徴とする。

本発明の構成により、推論装置において未知事例の各々に対する推論の信頼性を導出する仕組みを提供することができる。

第１実施形態に係る推論装置の機器構成を示す図。 推論装置の各部をソフトウェアにより実現するコンピュータの基本構成を示す図。 実施形態１における、全体の処理手順を示すフローチャート。 実施形態１における、提示情報の例を示した図。 実施形態２における、類似事例取得の処理手順を示すフローチャート。 実施形態２における、提示情報の例を示した図。 実施形態３における、提示情報の例を示した図。

以下、添付図面に従って本発明に係る推論装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。

＜実施形態１＞
実施形態１に係る推論装置は、未知事例の特性値を取得して当該未知事例が属するクラスの推論を行う。なお、以下の説明では、推論装置を用いて、肺の異常陰影に係る複数の読影所見を未知事例の特性値として取得し、そのクラスとして異常陰影の種別を推論する場合を例として説明する。もちろん、推論対象はこれに限定されるものではなく、以下に示す特性値やクラスなどは、何れも推論装置の処理の工程を説明するための一例に過ぎない。

図１は、実施形態１に係る推論装置の構成を示す図である。図１に示すように、本実施形態における推論装置１００は、データベース２００と未知事例入力端末３００とに接続されている。データベース２００には、特性値（第１特性値）とクラスが対となって関連付けられた複数の事例が、既知事例として保持されているものとする。またデータベース２００は、各々の既知事例について、事例の識別子、特性値、それが属するクラス（以下、正解クラスと呼ぶ）、その他の情報（代表画像や臨床データなど）を保持している。なお、データベース２００が保持している既知事例の特性値の種類（所定パラメータ）は、特性値取得部１０２で取得される未知事例の特性値の種類にすべてが対応しているか、少なくともその一部が対応しているものとする。

データベース２００が保持する少なくとも一つ以上の既知事例は、ＬＡＮ等を介して推論装置１００へと入力される。あるいは、外部記憶装置、例えばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブ等を接続し、それらのドライブからデータを読み込むようにしてもよい。

未知事例入力端末３００は、この場合は、読影対象である一つの症例である未知事例に関する情報、例えば症例の識別子や医用画像や臨床データなどを不図示のサーバから取得する。そして未知事例入力端末３００は、ユーザが読影可能な形でこれらの情報をモニタに表示して、ユーザ（医師）が入力した読影所見を特性値として取得する。本実施形態では、ユーザは、モニタに表示された医用画像の読影所見をマウスやキーボードを用いて入力する。なお、この入力処理は、例えばテンプレート形式の読影所見入力支援方法を用い、ＧＵＩにより読影所見を選択できるような機能を未知事例入力端末３００が備えることで実現される。このユーザの要求に従い、未知事例入力端末３００は、未知事例に関する特性値とそれに付随するデータ（症例の識別子や代表画像など）を、ＬＡＮ等を介して推論装置１００へ送信する。

推論装置１００は、以下に説明する構成要素を含んでいる。特性値取得部１０２は、未知事例入力端末３００から推論装置１００へ入力された未知事例の特性値（第２特性値）とそれに付随するデータを取得し、類似事例取得部１０４、推論部１０６及び提示部１１０へ出力する。

類似事例取得部１０４は、データベース２００から取得した既知事例の中から、未知事例の特性値に類似した特性値をもつ少なくとも一つ以上の既知事例を類似事例として選択する。そして、各々の類似事例に関する情報、すなわち、事例の識別子、特性値、正解クラス、および代表画像などを、クラス取得部１０８及び提示部１１０へ出力する。

推論部１０６は、特性値取得部１０２で取得した未知事例の特性値に基づいて、未知事例が属するクラスの推論を行う。なお、以下の説明では、推論装置１００が実行する推論処理によって取得されるクラスのことを、推論クラスと呼ぶ。クラス取得部１０８は、類似事例取得部１０４で選択した各々の類似事例のクラスに関する情報を取得する。本実施形態では、各々の類似事例の特性値に基づいて類似事例の推論クラスをそれぞれ算出し、これを類似事例のクラスに関する情報として取得する。

提示部１１０は、推論部１０６で得た未知事例の推論クラスと、クラス取得部１０８で得た類似事例のクラスに関する情報（本実施形態では各々の類似事例の推論クラス）とをもとに、提示する情報を生成して提示する。なお、図１に示した推論装置１００の各部の少なくとも一部は、独立した装置として実現してもよい。また、各々が機能を実現するソフトウェアとして実現してもよい。本実施形態では各部はそれぞれソフトウェアにより実現されているものとする。

図２は、図１に示した各部の各々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。ＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ１００４は、提示部１１０が生成する表示用データを一時記憶する。

モニタ１００５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキストなどの表示を行う。マウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。

次に、図３のフローチャートを用いて、推論装置１００が行う全体の処理を説明する。本実施形態では、ＣＰＵ１００１が主メモリ１００２に格納されている各部の機能を実現するプログラムを実行することにより実現される。なお、以下の説明では、各読影所見をＩｊで表し、Ｉｊは、有(=１)、または無(=０)の２つの状態をとれるものとする。また、本実施形態では、ｎ種類の読影所見Ｉ１〜Ｉｎを特性値として取り扱うものとする。

例えば、図４に示すようにＩ１の「透亮像」は、気管支透亮像の有無を表しており、Ｉ２の「切れ込み」は、異常陰影における切れ込みの有無を表している。また、Ｉｎの「巻（血管）」は、異常陰影における血管の巻き込みの有無を表している。また、以下の説明では、Ｉｊを要素とするベクトルＶで特性値を表し、未知事例の特性値をＶｕ、ｍ番目の類似事例の特性値をＶｋｍと表記する。また、異常陰影の種別（クラス）を、記号Ｄを用いて表記する。本実施形態では、異常陰影の種別として、原発性肺癌、癌の肺転移、その他の３値を取るものとし、それぞれＤ１、Ｄ２、Ｄ３と表記する。

ステップＳ３０００において、図１の推論装置１００の特性値取得部１０２は、推論装置１００へ入力された未知事例の特性値（第２特性値）とそれに付随するデータを取得する。例えば、本ステップで推論装置１００が取得した読影所見の情報が、Ｉ１「透亮像」有、Ｉ２「切れ込み」無、Ｉ３「放射状」有、...、Ｉｎ「巻（血管）」有，であったとすると、未知事例の特性値Ｖｕは、Ｖｕ = {１， ０， １， ．．． ， １}となる。

ステップＳ３０１０において、図１の推論部１０６は、ステップＳ３０００で取得した未知事例の特性値Ｖｕ（第２特性値）に基づき、当該未知事例が属するクラスを推論する（第１推論）。言い換えると、推論部１０６は、推論によって未知事例の推論クラスを得る。このときの推論手段としては、ベイジアンネットワーク、ニューラルネットワーク、サポートベクターマシンなど既存の様々な推論手法が利用できる。

本実施形態では、推論手段としてベイジアンネットワークを用いる。ベイジアンネットワークは、条件付確率を用いた推論モデルであり、特性値が入力された場合の各クラスの推論確率（その事例が各々のクラスである確率であり事後確率ともいう）の取得が可能である。本実施形態では各クラスのうち、最も推論確率が高かったクラスを推論クラスとする。すなわち、推論クラスとして異常陰影の種別Ｄ１、Ｄ２、Ｄ３のいずれかが取得される。

ステップＳ３０２０において、図１の類似事例取得部１０４は、推論装置１００にデータベース２００から入力された既知事例の中から、ステップＳ３０００で取得した未知事例に類似する少なくとも一つ以上の事例を選択して、これを類似事例とする。そして、選択した各々の類似事例に関する情報（事例の識別子、特性値、未知事例との類似度、正解クラス、代表画像など）を、クラス取得部１０８及び提示部１１０へと出力する。

類似事例の選択には様々な方法があり、例えば、事例間の特性値の類似度を計算し類似度の大きい順に指定個数選択する既存の手法などが利用できる。例として、「ｃｏｓ類似度」を用いた方法を説明する。なお、類似事例の取得方法、事例間の特性値の類似度を計算する方法は例示した方法に限定されるものではなく、類似事例を選択する何れの既存手法を用いてもよい。

Ｎ次元のベクトルＶ１、Ｖ２があったとき、二つのベクトルの「ｃｏｓ類似度」をＳｉｍ(Ｖ１、 Ｖ２)とすると、Ｓｉｍ(Ｖ１、 Ｖ２)は以下の式で示される。

ここで、Ｖ１・Ｖ２はＶ１とＶ２のベクトルの内積を示し、|Ｖ１||Ｖ２|はＶ１、Ｖ２それぞれのベクトルの大きさを示す。Ｓｉｍ(Ｖ１、 Ｖ２)は、１に近いほど二つのベクトルが類似していることを示す。従って、Ｖ１、Ｖ２をそれぞれ未知事例の特性値（第２特性値）、既知事例の特性値（第１特性値）とすれば、未知事例と既知事例の特性値の類似度を計算することができる。

今、二つの既知事例の特性値をＶｋ１、Ｖｋ２と表したとき、|Ｖｕ| = ３．００、 |Ｖｋ１| = |Ｖｋ２| = ２．８３、Ｖｕ・Ｖｋ１ = ３．００、Ｖｕ・Ｖｋ２ = ７．００であったとする。このとき、未知事例と既知事例の類似度は、各々、Ｓｉｍ(Ｖｕ， Ｖｋ１) = ０．３５４、 Ｓｉｍ(Ｖｕ， Ｖｋ２) = ０．８２５となるので、Ｖｋ１よりＶｋ２の方がＶｕに類似していると言える。本実施形態では未知事例との類似度計算を全ての既知事例に対して行い、類似度が上位の５事例を類似事例として取得する。

ステップＳ３０３０において、図１のクラス取得部１０８は、ステップＳ３０２０で選択した各々の類似事例の特性値Ｖｋｍ（第１特性値）に基づいて、各々の類似事例が属するクラスを推論する（第２推論）。言い換えると、クラス取得部１０８は、推論によって類似事例の推論クラスを得て、これを類似事例のクラスに関する情報として取得する。なお、このときの推論方法は、ステップＳ３０１０において推論部１０６が用いるものと同一であることが望ましい。

ステップＳ３０４０において、図１の提示部１１０は、ステップＳ３０００で得た未知事例に関する情報（特性値や代表画像）と、ステップＳ３０１０で得た未知事例の推論クラスとをモニタ１００５に表示する。また、ステップＳ３０３０で得た類似事例のクラスに関する情報に基づき提示する情報を生成し、これをモニタ１００５に表示する。例えば、ステップＳ３０３０で得た類似事例の推論結果（推論クラス）が、ステップＳ３０２０で得た各々の既知事例の正解クラスと一致するか否か（推論が正解か否か）を判断し、この判断結果を図４の情報４００６として表示する。また、提示部１１０は、信頼度算出部１１２を備えており、各類似事例に関する前記の推論結果の正否に基づき未知事例に関する推論の信頼度を算出する。そして、提示部１１０は、算出した信頼度を情報として表示する。ここで言う推論の信頼度は、例えば、類似事例に関する推論結果の正否の割合を用いることができる。

図４は、本実施形態におけるモニタ１００５に表示される提示情報の一例を示したものである。提示情報４００は、未知事例を表す画像４０００、ステップＳ３０００で取得した未知事例の特性値（所見情報）４００１、及びステップＳ３０１０で推論した未知事例の推論クラス４００２を含んでいる。また提示情報４００は、ステップＳ３０２０で選択した各々の類似事例を識別する識別子４００３、ステップＳ３０２０で算出した未知事例と各類似事例の類似度４００４、ステップＳ３０３０で推論した各類似事例の推論クラス４００５を含んでいる。

更に、提示情報４００は、各類似事例に関する推論結果の正否４００６、及びそこから求めた未知事例に対する推論の信頼度４００７を含んでいる。また、各々の類似事例の詳細な情報を表示するためのＧＵＩボタン４００８を含んでおり、マウス１００６によってこれが押された場合には、対応する類似事例の詳細情報（代表画像や特性値など）を示すウィンドウが表示される。図４の例では、推論結果の正否４００６として、推論クラスと正解クラスが一致している場合には「○」を、不一致の場合には「×」を表示している。また、図４の例では、（表示領域の所定数である）５つの類似事例のうちの４つの事例で推論クラスと正解クラスとが一致しているので、推論の信頼度として４/５ = ０．８００を表示している。

なお、図１の提示部１１０は、情報の提示方法をユーザが不図示のＵＩを用いて指定した場合には、指定された提示方法によって情報の提示を行う。例えば、表示するのは、推論クラス４００５に代えて、正解クラスとの正否の情報であってもよいし、正否の情報は表示せずに推論クラスと正解クラスを表示してもよい。また、正否の情報のみを表示してもよい。

また、信頼度算出部１１２は、信頼度の算出方法をユーザが不図示のＵＩを用いて指定した場合には、指定された算出方法によって信頼度の算出を行う。例えば、信頼度の算出方法として、類似度を重みとして利用した正否の重み付け平均によって信頼度を求める方法が選択できる。図４の例では、信頼度は、(０．９４９×１ + ０．９４３×１ + ０．９４３×０ + ０．９０４×１ + ０．８６６×１) / ５ = ０．７３２となる。また、推論確率が計算可能な推論手段を用いている場合には、正解クラスと一致する推論クラスの推論確率の平均によって信頼度を求める方法が選択できる。あるいは、類似度を重みとして利用して、正解クラスと一致する推論クラスの推論確率の重み付け平均によって信頼度を求める方法が選択できる。なお、信頼度の算出方法は、上記に挙げた例に限定されるものではない。

このようにして、ユーザは、未知事例の推論クラスと、類似事例の推論クラス及び推論結果の正否とを見ることにより、未知事例近傍の類似事例に対する推論装置１００の性能を見積もることができ、推論の信頼性を直感的に評価することができる。すなわち、本実施形態に係る推論装置は、未知事例に類似した少なくとも一つ以上の類似事例を取得し、未知事例および類似事例の各々に対して推論を行い、各々の推論結果に基づく情報を提示する。そうすることで、既知事例全体に対する推論手段の性能ではなく、対象となる未知事例近傍の推論手段の性能を見積もることができ、推論の信頼性を直感的に評価することができる。また、推論の方法に依存しないので、推論手法が何れの方法であっても、未知事例の各々に対する推論の信頼性を導出する仕組みを提供することができる。

＜第１実施形態の変形例１＞
第１実施形態におけるクラス取得部１０８は、ステップＳ３０３０において、類似事例の推論クラスの算出処理を行っていた。ステップＳ３０１０における未知事例に関する推論の処理パラメータ（推論アルゴリズムやその他のパラメータ）をユーザが選択可能な構成の場合には、類似事例に関する推論も、上記のように未知事例と同一の処理パラメータで実行することが望ましい。

しかし、推論の処理パラメータが固定の場合（選択できない場合）や、その選択肢が限定的な場合には、既知事例に関する推論は他の装置で事前推論を行っておいて、その結果（推論クラス）を各々の既知事例に対応付けてデータベース２００に保持しておいてもよい。このとき、推論装置１００の推論部１０６がステップＳ３０１０でクラスを推論する処理と、既知事例に対して事前に推論を行う処理は、同一の処理であることが望ましい。すなわち、同一の処理パラメータを用いて推論することが望ましい。このとき、クラス取得部１０８は、ステップＳ３０３０において、未知事例と同じ処理パラメータで推論した類似事例の推論クラスを、類似事例のクラスに関する情報としてデータベース２００から取得すればよい。これによると、類似事例に関する推論を省略できるので、ステップＳ３０３０の処理を高速化できる。

また、この場合、推論装置１００は、データベース２００から類似事例の正解クラスを必ずしも取得する必要は無い。例えば、各々の類似事例の推論クラスとその正否（正解クラスと一致するか否かの情報）を、類似事例のクラスに関する情報としてデータベース２００から取得する構成であってもよい。また、表示に必要な情報のみをデータベース２００から取得する構成であってもよく、例えば、正否の情報のみを表示する場合には、正否の情報のみを類似事例のクラスに関する情報としてデータベース２００から取得する構成であってもよい。

＜第１実施形態の変形例２＞
第１実施形態では、説明を簡潔にするために、有無で表現可能な読影所見を特性値として用いる場合を例としていたが、事例に関する何れの情報を特性値として用いてもよい。上記の例のように肺の異常陰影の種別を推論する場合であれば、例えば、複数の離散的な値をとる所見（例えば腫瘤の形状が円形，線状，分葉状，不整形など）を特性値として用いてもよい。また、腫瘤のサイズのように数値情報として入力する所見を用いてもよい。また、医用画像に画像処理を施すことで異常陰影に関して画像特徴量を取得し、これを特性値として用いてもよい。また、事例に関する臨床データなど（血液検査の結果や年齢や性別など）を特性値として用いてもよい。

＜実施形態２＞
実施形態１では、類似度が高い既知事例を類似事例として取得する方法を例に述べた。しかし、類似事例の取得方法はこれに限らず、他の方法であってもよい。本実施形態に係る推論装置は、類似事例として未知事例の推論クラスと一致する推論クラスを有する既知事例を取得する。また、推論クラスが正解である類似事例と不正解である類似事例の各々を区別して類似事例の取得を実行する。

なお、本施形態に係る推論装置の構成は、実施形態１における図１と同様である。また、ソフトウェアの実行によって推論装置１００を実現するコンピュータの基本構成についても、実施形態１における図２と同様である。更に、推論装置１００が行う全体の処理を説明するフローチャートについても、実施形態１における図３と同様である。ただし、ステップＳ３０２０、Ｓ３０３０、及びＳ３０４０において推論装置１００が行う処理の一部が、実施形態１とは異なっている。以下、本実施形態に係る推論装置について、実施形態１との相違部分について説明する。

以下、図５のフローチャートを用いて、ステップＳ３０２０において推論装置１００が行う類似事例の取得処理を説明する。ステップＳ５００５において、推論装置１００は、ユーザが不図示のＵＩを用いて指定した提示方法の種別（提示モードＭ）に応じて、以降の処理の分岐を行う。すなわち、「推論クラスが未知事例と一致する類似事例のみを表示する」という提示モード（Ｍ＝１）をユーザが選択した場合には、ステップＳ５０１０へと処理を進める。また、「類似事例の推論クラスが正解である事例と不正解である事例を区別して表示する」という提示モード（Ｍ＝２）をユーザが選択した場合には、ステップＳ５０２０へと処理を進める。また、それ以外の場合（Ｍ＝０）には、ステップＳ５０３０へと処理を進め、実施形態１のステップＳ３０２０と同様な処理を実行し、ステップＳ３０２０の処理を終了する。

ステップＳ５０１０において、図１の類似事例取得部１０４は、推論装置１００に入力される既知事例の中から、ステップＳ３０００で取得した未知事例に類似する少なくとも一つ以上の事例を選択して、これを類似事例候補とする。この処理には、ステップＳ３０２０と同様の手法を用いることができる。本実施形態では、類似度が上位の２０事例を類似事例候補として取得する。なお、本ステップで取得した類似事例候補は、類似度が大きいものから順にソートされているものとする。また、以下のステップを行うための初期値としてｊ＝１に設定する。以下のステップでは、ソートされた手前の類似事例候補から順番に処理が実行される。

ステップＳ５０１２において、推論装置１００は、ｊ番目の類似事例候補の特性値を基に該類似事例が属するクラスを推論する。ステップＳ３０１０と同様に、推論クラスとして異常陰影の種別Ｄ１、Ｄ２、Ｄ３のいずれかが取得される。

ステップＳ５０１４において、推論装置１００は、ステップＳ５００５で取得された未知事例の推論クラスと、ステップＳ５０１２で取得されたｊ番目の類似事例の推論クラスが一致しているかを判定する。一致していると判定された場合には、ステップＳ５０１６の処理を実行する。また、判定されなかった場合には、ステップＳ５０１２に戻り、ｊ＝ｊ＋１とする。

ステップＳ５０１６において、推論装置１００は、ｊ番目の類似事例候補を類似事例として追加する。ステップＳ５０１８において、推論装置１００は、類似事例の取得が終了したかどうかを判定する。終了したと判定された場合には、ステップＳ３０２０の処理を終了する。また、判定されなかった場合には、ステップＳ５０１２に戻り、ｊ＝ｊ＋１とする。本実施形態では、類似事例が５事例になった時点で、類似事例の取得が終了したと判定する。

ステップＳ５０２０の処理は、ステップＳ５０１０と同様である。また、ステップＳ５０２２の処理は、ステップＳ５０１２と同様である。ステップＳ５０２４において、推論装置１００は、ステップＳ５０２２で取得されたｊ番目の類似事例の推論クラスが当該類似事例の正解クラスと一致しているかを判定する。そして、一致（正解）と判定した場合には、ステップＳ５０２６の処理を実行し、不一致（不正解）と判定した場合には、ステップＳ５０２７の処理を実行する。

ステップＳ５０２６において、推論装置１００は、ｊ番目の類似事例候補を正解の類似事例に追加する。ただし、正解の類似事例が既に５事例になっている場合には追加の処理を実行しない。ステップＳ５０２７において、推論装置１００は、ｊ番目の類似事例候補を不正解の類似事例に追加する。ただし、不正解の類似事例が既に５事例になっている場合には追加の処理を実行しない。

ステップＳ５０２８において、推論装置１００は、類似事例の取得が終了したかを判定する。終了したと判定された場合には、ステップＳ３０２０の処理を終了する。また、判定されなかった場合には、ステップＳ５０２２に戻り、ｊ＝ｊ＋１とする。本実施形態では、正解と不正解の類似事例が各々５事例になった時点で、類似事例の取得が終了したと判定する。 以上のように、本実施形態におけるステップＳ３０２０の処理が実行される。なお、提示モードがＭ＝１およびＭ＝２の場合には、類似事例の推論クラスはステップＳ３０２０の処理において既に算出されているので、ステップＳ３０３０におけるクラス取得部１０８の処理は、類似事例取得部１０４から類似事例の推論クラスを取得するのみとなる。一方、Ｍ＝０の場合には、ステップＳ３０３０の処理は第一の実施形態と同様である。

図６は、本実施形態におけるステップＳ３０４０の処理において、提示モードがＭ＝２の場合にモニタ１００５に表示される提示情報の一例を示したものである。図に示すように、Ｍ＝２の場合には、推論クラスが正解の群と不正解の群に類似事例をグループ化して表示を行う。なお、Ｍ＝０およびＭ＝１の場合の表示情報は、図４で示した物と同様であるので、説明は省略する。ただし、Ｍ＝１の場合には、各類似事例の推論クラス４００５は何れも未知事例の推論クラスと同一であるので、その表示は省略してもよい。

本実施形態に係る推論装置によると、ユーザは、未知事例の推論クラスと同一の推論クラスを有する類似事例に関して、その推論結果の正否を見ることができる。これにより、ユーザは、「未知事例と推論クラスが同じ」という状況に限定したうえで、未知事例近傍の類似事例に対する推論装置１００の性能を見積もることができ、推論の信頼性を直感的に評価することができる。

また、ユーザは、未知事例近傍の類似事例に関して、推論装置１００の推論が正解であった場合と不正解であった場合の傾向を知ることとができ、未知事例の推論を参考にするか否かを評価することができる。なお、実施形態１で述べた変形例は、実施形態２においても適用可能である。

＜実施形態３＞
実施形態１では、未知事例および類似事例の推論結果であるクラスを提示情報として表示する方法を例に述べた。しかし、使用する推論手段によっては推論結果の推論確率を計算することができるものもあり、この場合その推論確率を基にした提示情報を取得してもよい。なお、本実施形態に係る推論装置の構成は、実施形態１における図１と同様である。また、ソフトウェアの実行によって推論装置１００を実現するコンピュータの基本構成は、実施形態１における図２と同様である。ただし、提示部１１０の処理の一部のみが実施形態１とは異なっている。また、推論装置１００が行う全体の処理を説明するフローチャートについても、実施形態１における図３と同様である。ただし、ステップＳ３０４０の処理の一部のみが、実施形態１とは異なっている。以下、本実施形態に係る推論装置について、実施形態１との相違部分について説明する。

ステップＳ３０４０において、図１の提示部１１０は、ステップＳ３０３０で得た類似事例の推論結果をもとに提示する情報を生成し、これをモニタ１００５に表示する。図７は、本実施形態における提示情報の一例で、３次元の座標系の３座標軸の１つであるＰ軸に原発性肺癌の推論確率を、Ｍ軸に癌の肺転移の推論確率を、Ｏ軸にその他の推論確率を示したグラフ上で、未知事例、類似事例をそれぞれを表示したものである。「★」のマーク７００は未知事例を示し、「□」のマーク７０１は各類似事例を示している。図７（ａ）のように、未知事例と類似事例が固まって存在している場合には、推論手段における推論が容易な特性値群であることを示している。一方、図７（ｂ）のように、未知事例と類似事例の推論確率がばらばらに存在している場合には、推論手段における推論が難しい特性値群であることを示す。従って、（ｂ）の入力情報に比べ（ａ）の入力情報の方が推論の信頼性が高いことが示唆される。

以上に説明した方法によれば、各事例の推論確率をグラフ上で表示することにより、未知事例および類似事例の特性値群における推論の容易さを把握することが可能なため、推論の信頼性を評価することができる。

＜実施形態３の変形例１＞
実施形態３では、提示情報としてグラフを表示する方法を述べた。しかし、提示情報はグラフ単独でなくてもよい。例えば、実施形態１における提示情報の一例である図４を同時に表示してもよい。

＜実施形態３の変形例２＞
実施形態３では、クラスが３つの場合についてグラフを作成する方法を述べた。しかし、クラスの数はいくつであってもよい。この場合、クラスが２つの場合には、直線状で表示してもよい。また、クラスが３つ以上の場合には、超平面、４つ以上の場合には、超立方体の形で表してもよい。なお、実施形態１で述べた変形例は、本実施形態においても適用可能である。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 複数の既知事例の各々について、所定パラメータにより定まる第１特性値と該既知事例の属する正解クラスとを格納する格納手段と、
   未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により前記未知事例が属する推論クラスを推論する第１推論手段と、
   前記第２特性値と前記格納された第１特性値との間の類似度を算出し、前記算出した類似度の高い順に、前記複数の既知事例から所定数の既知事例を類似事例として選択する選択手段と、
   前記所定数の類似事例の各々の第１特性値から該選択された類似事例の各々が属する推論クラスを推論する第２推論手段と、
   前記類似事例が属する推論クラスの各々が、前記格納された、前記類似事例に対応する正解クラスと一致するか否かを判断する判断手段と、
   前記類似事例の正解クラスと一致したか否かの判断に依存して、前記第１推論手段により推論された前記未知事例の属する推論クラスの信頼度を算出する算出手段と
   を備えることを特徴とする推論装置。
2. 前記算出手段で算出された信頼度を表示する表示手段をさらに備えることを特徴とする請求項１に記載の推論装置。
3. 前記所定数の類似事例の各々について、前記算出した類似度、前記推論した推論クラス、および前記正解クラスと一致するか否かの判断結果を表示する表示手段をさらに備えることを特徴とする請求項１に記載の推論装置。
4. 前記所定数の類似事例について、前記第２推論手段で推論された推論クラスが、前記未知事例の前記推論クラスと一致する類似事例を表示する表示手段をさらに備えることを特徴とする請求項１に記載の推論装置。
5. 前記所定数の類似事例の各々について、前記第２推論手段で推論された推論クラスが、前記格納された正解クラスと一致する類似事例と、前記格納された正解クラスとは一致しない類似事例とを区別して表示する表示手段をさらに備えることを特徴とする請求項１に記載の推論装置。
6. 前記格納手段は、前記複数の既知事例の各々について、事前に推論された推論クラスをさらに格納し、
   前記第２推論手段は、前記選択された既知事例に対する推論クラスとして、前記事前に推論された推論クラスを用いることを特徴とする請求項１に記載の推論装置。
7. 複数の既知事例の各々について、所定パラメータにより定まる第１特性値と、予め定められた複数の推論クラスと、該複数の推論クラスの各々に対する確からしさを示す推論確率とを格納する格納手段と、
   未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により複数の推論クラスを推論し、前記複数の推論クラスの各々に対する確からしさを示す推論確率を計算する第１推論手段と、
   前記第２特性値と前記格納された第１特性値との間の類似度を算出し、前記算出した類似度の高い順に、前記複数の既知事例から所定数の既知事例を類似事例として選択する選択手段と、
   前記推論された複数の推論クラスの各々について座標軸を設定することで座標系を構成し、前記未知事例の推論確率と前記選択された類似事例の各々の推論確率とを該座標系に表示する表示手段と
   を備えることを特徴とする推論装置。
8. 推論装置を制御する方法であって、
   格納手段が、複数の既知事例の各々について、所定パラメータにより定まる第１特性値と該既知事例の属する正解クラスとを格納する格納工程と、
   第１推論手段が、未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により前記未知事例が属する推論クラスを推論する第１推論工程と、
   選択手段が、前記第２特性値と前記格納された第１特性値との間の類似度を算出し、前記算出した類似度の高い順に、前記複数の既知事例から所定数の既知事例を類似事例として選択する選択工程と、
   第２推論手段が、前記所定数の類似事例の各々の第１特性値から該選択された類似事例の各々が属する推論クラスを推論する第２推論工程と、
   判断手段が、前記類似事例が属する推論クラスの各々が、前記格納された、前記類似事例に対応する正解クラスと一致するか否かを判断する判断工程と、
   算出手段が、前記類似事例の正解クラスと一致したか否かの判断に依存して、前記第１推論工程において推論された前記未知事例の属する推論クラスの信頼度を算出する算出工程と
   を有することを特徴とする方法。
9. 推論装置を制御する方法であって、
   格納手段が、複数の既知事例の各々について、所定パラメータにより定まる第１特性値と、予め定められた複数の推論クラスと、該複数の推論クラスの各々に対する確からしさを示す推論確率とを格納する格納工程と、
   第１推論手段が、未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により複数の推論クラスを推論し、前記複数の推論クラスの各々に対する確からしさを示す推論確率を計算する第１推論工程と、
   選択手段が、前記第２特性値と前記格納された第１特性値との間の類似度を算出し、前記算出した類似度の高い順に、前記複数の既知事例から所定数の既知事例を類似事例として選択する選択工程と、
   表示手段が、前記推論された複数の推論クラスの各々について座標軸を設定することで座標系を構成し、前記未知事例の推論確率と前記選択された類似事例の各々の推論確率とを該座標系に表示する表示工程と
   を有することを特徴とする方法。
10. 複数の既知事例の各々に関連付けて、所定パラメータにより定まる第１特性値と該既知事例の属する正解クラスとを含む情報を格納する格納手段と、
    未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により前記未知事例が属する推論クラスを推論する推論手段と、
    前記第２特性値と前記第１特性値との間の類似度を算出し、所定数の既知事例を類似事例として選択する選択手段と、
    前記類似事例が属する推論クラスの各々が前記類似事例に対応する正解クラスと一致するか否かを判断する判断手段と、
    前記類似事例の正解クラスと一致したか否かの判断に依存して、前記推論手段により推論された前記未知事例の属する推論クラスの信頼度を算出する算出手段と
    を備えることを特徴とする推論装置。
11. 推論装置を制御する方法であって、
    格納手段が、複数の既知事例の各々に関連付けて、所定パラメータにより定まる第１特性値と該既知事例の属する正解クラスとを含む情報を格納する格納工程と、
    推論手段が、未知事例の前記所定パラメータにより定まる第２特性値を取得し、該取得した第２特性値により前記未知事例が属する推論クラスを推論する推論工程と、
    選択手段が、前記第２特性値と前記第１特性値との間の類似度を算出し、所定数の既知事例を類似事例として選択する選択工程と、
    判断手段が、前記類似事例が属する推論クラスの各々が、前記類似事例に対応する正解クラスと一致するか否かを判断する判断工程と、
    算出手段が、前記類似事例の正解クラスと一致したか否かの判断に依存して、前記推論工程において推論された前記未知事例の属する推論クラスの信頼度を算出する算出工程と
    を有することを特徴とする方法。
12. 請求項８、９及び１１の何れか１項に記載の方法における各工程をコンピュータに実行させるためのプログラム。

Images