JP6808557B2 - 情報処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、その制御方法及びプログラムに関する。

計算機で医用画像を解析し、医師の読影の助けとなる情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。特許文献１には、客観評価値である画像処理結果を主観評価値である画像所見へと変換することで医用画像から画像所見を導出して医師に提示する技術が記載されている。

特開２００９−２０７５８５号公報

しかしながら、従来の技術では、医用画像の画像処理結果である画像特徴量から画像所見を導出しているため、導出された画像所見と医師が医用画像から想起する画像所見とが合致しない場合があった。

本発明は、医師の読影を適切に支援可能な画像所見に関する情報を導出することを目的とする。

上記の目的を達成するために本発明の情報処理装置は、医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、を備えることを特徴とする。また、本発明の情報処理装置は、医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、を備えることを特徴とする。

本発明によれば、医師の読影を適切に支援可能な画像所見に関する情報を導出することが可能となる。

情報処理装置の機能構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 第１の推論手段の一例を示す図である。 ３次元畳み込みニューラルネットワークの例である。 情報処理装置のハードウェア構成の他の一例を示す図である。 情報処理装置の処理の他の一例を示すフローチャートである。 情報処理装置のハードウェア構成のさらに他の一例を示す図である。 情報処理装置の処理のさらに他の一例を示すフローチャートである。 第２の画像処理部の処理の一例を示す図である。 実施形態１の概要を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。

＜実施形態１＞
実施形態１における情報処理装置は、医療診断（読影）の対象となる医用画像の画像所見を導出する。

なお、以下では、医用画像（医用画像データと同義。以下、同じ。）は胸部Ｘ線ＣＴ画像とし、情報処理装置は、肺の異常陰影の読影に係る医用画像を基に診断名（第１の推論結果）を導出するものとする。そして、医用画像と診断名を用いて肺の異常陰影に関する画像所見（第２の推論結果）を導出する場合を例として説明する。もちろん対象はこれに限定されるものではなく、以下に示す診断名や画像特徴量、画像所見等は、何れも情報処理装置の処理の工程を説明するための一例に過ぎない。

まず、図１１を用いて実施形態１の概要を説明する。情報処理装置は、情報処理装置が備える第１の推論部１０２に医用画像１１０１を用いた第１の推論を実行させる。これにより第１の推論部１０２は、第１の推論結果として診断名１１０２を導出する。すなわち、第１の推論部１０２は、医用画像１１０１の画像特徴量等を用いて、医用画像１１０１に写る異常陰影に関する診断名１１０２を推論する。

次に、情報処理装置は、情報処理装置が備える第２の推論部１０４に医用画像１１０１と診断名１１０２とを用いた第２の推論を実行させる。これにより第２の推論部１０４は、第２の推論結果として画像所見１１０３を導出する。すなわち、第２の推論部１０４は、医用画像１１０１の画像特徴量等と、更に第１の推論部１０２により導出された診断名１１０２とを用いて、医用画像１１０１に写る異常陰影に関する画像所見１１０３を導出する。

以上のように情報処理装置を動作させることで、第２の推論部１０４は、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。また、第１の推論結果である診断名を医用画像と共に第２の推論で用いるため、医師が診断名を想定して読影した場合に読影レポートに付与するであろう画像所見と一致する可能性が高い画像所見を導出することが可能となる。以下、この詳細を説明する。

図１は、実施形態１における情報処理装置１００の機能構成の一例を示す図である。本実施形態における情報処理装置１００は、症例情報端末２００に接続されている。症例情報端末２００は、診断対象である症例に関して、医用画像を不図示のサーバから取得する。或いは、例えばＨＤＤやＤＶＤドライブ等の外部記憶装置を接続し、症例情報端末２００は、それらの外部記憶装置から医用画像を取得するようにしてもよい。

そして、症例情報端末２００は、ユーザからの操作入力に従い、医用画像を、ＬＡＮ等を介して情報処理装置１００へと送信する。

情報処理装置１００は、第１の推論部１０２と、第２の推論部１０４とを備える。第１の推論部１０２は、医用画像を用いて第１の推論を行い、診断名を導出する。第２の推論部１０４は、医用画像と診断名を用いて第２の推論を行い、画像所見を導出する。

なお、図１に示した情報処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。すなわち、第１の推論部１０２を有する情報処理装置と第２の推論部を有する情報処理装置とが協働することにより情報処理システムとして実現してもよい。または、仮想化技術により仮想サーバとして実現してもよい。本発明の情報処理装置は、このような複数の装置によって実現される形態もその範疇に含む。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。

図２は、情報処理装置１００のハードウェア構成の一例を示す図である。本実施形態の情報処理装置１００は、汎用的なコンピュータ（例えば、ＰＣやサーバ）を例に説明するが、これに限らない。ＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。

表示メモリ１００４は、表示用データを一時記憶する。モニタ１００５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキスト等の表示を行う。マウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。

次に、図３のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。図３は、情報処理装置１００が行う処理の一例を示すフローチャートである。本実施形態では、ＣＰＵ１００１が主メモリ１００２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。

ステップＳ２０において、第１の推論部１０２は、症例情報端末２００を介して送信された医用画像を用いて第１の推論を行い、医用画像中の異常陰影の診断名（推論診断名）を導出する。すなわち、医用画像データを用いて第１の推論を行い、画像所見とは異なる第１の推論結果に関する情報（例えば、医用画像データから特定される診断名に関する情報）を導出する第１の推論手段に相当する。本実施形態では、第１の推論部１０２として学習済みのＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて診断名を推論する。なお、第１の推論結果に関する情報（診断名に関する情報）は、第１の推論結果（診断名）そのものを示す文字列であってもよいし、第１の推論結果（診断名）を表す記号やコード、該文字列を略した文字列であってもよい。

図４にＣＮＮの例を示す。ＣＮＮは一般に、入力層、中間層、全結合層、出力層から構成される。入力層では、一定のサイズに正規化された画像を入力する。中間層は、複数の畳み込み層（図４（ａ））とプーリング層（図４（ｂ））から構成される。畳み込み層は、入力に対してフィルタをかけて畳み込みを行う層であり、各フィルタに対応する出力値が得られる。プーリング層は、複数の出力値を入力値として一つの値を出力する層であり、例えば複数の入力値の最大値を出力とする。なお、畳み込み層の出力やプーリング層の出力は特徴マップと呼ばれることがある。全結合層は、中間層の出力を結合する層であり、特徴マップからある個数の出力値へと変換する。出力層は対象となるラベル（ここでは診断名）の数のノードで構成され、全結合層の出力から最終的な値を出力する。この時、一般には各ラベルに対応するノードの出力値の和が１となるように構成される。そして、最大となる出力値をとるノードに対応するラベルを推論結果として出力する。各フィルタや、中間層と全結合層、全結合層と出力層の結合重みは、画像と正解ラベルをセットとした学習データから誤差が最少となるように学習される。

本実施形態におけるＣＮＮの例を図５に示す。以下では、医用画像と３値の診断名（原発性肺癌、癌の肺転移、良性結節）、及び、Ｎ個の画像所見の項目に対して夫々値が付与された学習データがあるものとして、事前に実施されるＣＮＮの学習について説明する。なお、画像所見の利用についてはステップＳ３０で後述する。

ここでは、入力は３次元のまま用い、サイズを６４×６４×６４に正規化した医用画像と診断名のセットからＣＮＮを学習する。中間層は夫々２層の畳み込み層とプーリング層を用い、８×８×８の１６個の特徴マップに変換する。そして、８×８×８の１６個の特徴マップから、活性化関数にＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いたネットワーク層により１０２４個のノード値へと変換する。最後に１０２４個のノード値から活性化関数にＳｏｆｔｍａｘ関数を用いたネットワーク層により診断名の３値へと分類（推論）を行う。一般に、ＣＮＮは学習データ数が多いほど精度が高くなる傾向があるため、医用画像に回転、拡大・縮小、移動などを加えて新たな医用画像を生成し、学習データを増やすようにする。なお、例示した、正規化の画素（ボクセル）数、中間層の段数、全結合層、出力層の個数、学習データの拡張は一例に過ぎず、異なる条件を用いても当然構わない。

ステップＳ２０の実施時には、送信された医用画像を当該ＣＮＮの入力と同一になるようサイズを正規化し、正規化した画像を学習されたＣＮＮに入力して診断名（推論診断名）を導出する。例えば、医用画像中の異常陰影が原発性肺癌か、癌の肺転移か、良性結節の何れであるかを推論する。

ステップＳ３０において、第２の推論部１０４は、症例情報端末２００を介して送信された医用画像と、ステップＳ２０で導出した診断名（推論診断名）を用いて第２の推論を行い、当該医用画像の画像所見を導出する。すなわち、医用画像データと第１の推論結果に関する情報（例えば、診断名に関する情報）とを用いて第２の推論を行い、第２の推論結果として画像所見に関する情報を導出する第２の推論手段に相当する。なお、画像所見に関する情報は、画像所見そのものを示す文字列であってもよいし、画像所見を表す記号やコード、該文字列を略した文字列であってもよい。

本実施形態では、ステップＳ２０と同様にＣＮＮを用いて第２の推論を行う。より具体的には、診断名・画像所見の項目の組毎に学習されたＣＮＮを用いて第２の推論を行い、画像所見を導出する。

ここでは、画像所見の項目を鋸葉状辺縁とし、鋸葉状辺縁の値が「多い」「中程度」「少ない」「なし」の４値である場合を例として、事前に実施されるＣＮＮの学習を説明する。まず、診断名ごとに学習データを分割する。すなわち、診断名が原発性肺癌であるデータ群、癌の肺転移であるデータ群、良性結節であるデータ群に分割する。次に、分割されたデータに対して、画像所見の項目の値を正解ラベルとし、正規化された医用画像を入力、画像所見の項目の値を出力とするＣＮＮを学習する。ここでＣＮＮの入力層、中間層、全結合層は図５で示したＣＮＮと同様とし、出力は４値（すなわち、１０２４個のノードから４値に分類（推論））であるものとする。こうすることにより、鋸葉状辺縁の値（４値）を推論する３つのＣＮＮが学習される。この時学習は診断名に応じて独立に行われるため、同一の画像所見であっても、診断名（第１の推論結果）に応じて異なるパラメータが学習される。同様に他の画像所見の項目においてもＣＮＮの学習を行うことで、診断名（本実施例では３種）と画像所見の項目（本実施例ではＮ種）の組み合わせ毎に異なるパラメータで学習された３×Ｎ個のＣＮＮが生成される。

ステップＳ３０の実施時には、第２の推論部１０４は、ステップＳ２０で導出した推論診断名に対応するＮ個のＣＮＮを用いて各画像所見の値を導出する。すなわち、第１の推論結果に応じたパラメータおよび／または推論手法で第２の推論を行い、医用画像を入力情報として画像所見に関する情報を導出する。具体的には、第２の推論手段は、診断名と画像所見の項目の組み合わせごとに、医用画像データから画像所見に関する情報を導出する識別器をさらに備える。そして、第２の推論手段は、第１の推論結果としての診断名を含む組み合わせに対応する識別器を用いて、画像所見に関する情報を導出する。例えば、ステップＳ２０で導出された推論診断名が原発性肺癌である場合、原発性肺癌に対応するＮ個の学習済みのＣＮＮを選択し、各画像所見の値を導出する。

本実施形態によれば、情報処理装置１００は、医用画像から推論診断名を導出し、医用画像と導出した推論診断名を用いて画像所見を導出する。これにより、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。また、第１の推論結果である推論診断名を医用画像と共に第２の推論で用いるため、医師が該推論診断名を想定して読影した場合に読影レポートに付与するであろう画像所見と一致する可能性が高い画像所見を導出することが可能となる。

（実施形態１の変形例１）
本実施形態では、ステップＳ２０及びステップＳ３０において医用画像をＣＮＮの入力として用いていたが、医用画像の関心領域（すなわち、病変を含む病変近傍の領域）を取得し、取得した関心領域をＣＮＮの入力として用いてもよい。なお、関心領域の取得方法に関しては実施形態２で後述する。

（実施形態１の変形例２）
本実施形態では、ステップＳ３０において診断名毎に異なるＣＮＮを用いていたが、全ての診断名に必ず異なるＣＮＮを用いなくてもよい。例えば、複数の診断名で共通のＣＮＮがあってもよい。例えば、原発性肺癌と癌の肺転移は共通のＣＮＮを用いて、良性結節は良性結節用のＣＮＮを用いるようにしてもよい。これによると、異常陰影の特性に応じたＣＮＮを用いることができるため、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。

（実施形態１の変形例３）
本実施形態では、ステップＳ３０において、ステップＳ２０で導出した推論診断名を用いて第２の推論を行い、画像所見を導出していたが、その他の手法で取得した診断名を用いて第２の推論を行い、画像所見を導出するようにしてもよい。例えば、医師により、症例情報端末２００を介して入力された診断名を取得し、用いるようにしてもよい。これによると、医師の考える診断名を利用して第２の推論を行うことができるため、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。

＜実施形態２＞
本実施形態に係る情報処理装置１００は、医用画像から関心領域を取得して画像処理を行い、画像処理の結果得られた第１の画像特徴量を利用して関心領域内の異常陰影の推論診断名および画像所見を導出し、提示する。

図６は、本実施形態における情報処理装置１００の機能構成の一例を示す図である。なお、図１と同一の符号が付与された構成部については、実施形態１との差異部分のみ説明する。

情報処理装置１００は、関心領域取得部１０６と、第１の画像処理部１０８と、第１の推論部１０２と、第２の推論部１０４と、提示部１１０とを有する。関心領域取得部１０６は、医用画像から画像処理の対象となる関心領域を取得する。第１の画像処理部１０８は、関心領域に対して画像処理を行い、第１の画像特徴量を算出する。第１の推論部１０２は、第１の画像特徴量を用いて関心領域内の異常陰影の推論診断名を導出する。第２の推論部１０４は、第１の画像特徴量と推論診断名を用いて関心領域内の画像所見を導出する。提示部１１０は、導出した画像所見を提示する。

情報処理装置１００のハードウェア構成は実施形態１における図２と同様である。

次に、図７のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。なお、図３と同一の符号が付与された処理については実施形態１との差異部分のみ説明する。

ステップＳ１０において、関心領域取得部１０６は、症例情報端末２００を介して送信された医用画像から関心領域を取得する。本実施形態では、ユーザが症例情報端末２００上のＶｉｅｗｅｒを用いて設定した直方体領域が更に症例情報端末２００から送信されるものとし、送信された直方体領域を関心領域として取得するものとする。なお、他の例については実施形態３、４で後述する。

ステップＳ１５において、第１の画像処理部１０８は、ステップＳ１０で取得した関心領域から第１の画像特徴量を算出する。すなわち、医用画像データに対して画像処理を行い第１の画像特徴量を取得する第１の画像処理手段に相当する。ここで算出する画像特徴量はどのような特徴量であってもよいが、本実施形態では、以下のように画像特徴量を取得する。まず、公知のセグメンテーション技術（しきい値処理、領域拡張法、Ｌｅｖｅｌ−ｓｅｔ法、Ｇｒａｐｈ−ｃｕｔ法等）を用いて関心領域から異常陰影領域をさらに抽出する。そして、抽出した異常陰影領域の輝度（濃度）の平均値、分散、尖度、歪度など一般統計量を画像特徴量として算出する。

もちろん他の方法により算出した画像特徴量を利用してもよい。例えば、正規化した関心領域を入力、正解ラベルを診断名とするＣＮＮを学習し、全結合層の出力値を画像特徴量として用いるようにしてもよい。

ステップＳ２０において、第１の推論部１０２は、ステップＳ１５で算出した第１の画像特徴量を用いて第１の推論を行い、関心領域内の異常陰影の推論診断名を導出する。本実施形態では、第１の推論部１０２として、学習済みのサポートベクターマシン（ＳＶＭ）を用いて推論診断名を導出する。

ここで第１の推論部１０２の学習は、事前に、以下のように行われる。なお、学習データは実施形態１で説明したものを用いるが、さらに医用画像に対して手作業により関心領域が付与されているものとする。まず、付与された関心領域に対してステップＳ１５の方法と同一の方法で画像特徴量を抽出する。そして、抽出した画像特徴量と診断名の組から診断名を導出するサポートベクターマシンを学習する。

ここではＳＶＭを用いるものとして説明をしたが、もちろんニューラルネットワークやベイジアンネットワークなど他の推論手法を学習し、学習した推論手法を用いて診断名を導出するようにしてもよい。

ステップＳ３０において、第２の推論部１０４は、ステップＳ１５で算出した第１の画像特徴量とステップＳ２０で導出した推論診断名を用いて第２の推論を行い、関心領域内の画像所見を導出する。

本実施形態では、診断名・画像所見の項目毎に同一の推論手法、具体的には学習済みのＲａｎｄｏｍ Ｆｏｒｅｓｔ識別器を用いて画像所見の値を導出する。もちろん推論手法としてニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク等、他の公知の手法を用いてもよい。

この時、第２の推論部１０４の学習は、事前に、以下のように行われる。なお、学習データにはステップＳ２０での説明と同様に、医用画像には関心領域が付与されており、ステップＳ１５と同一の方法で画像特徴量が算出されているものとする。ここではまず、学習データの中から同一のラベル（例えば原発性肺癌）を有するデータ群を抽出する。次に、各データの画像特徴量と、データに付与された画像所見（例えば鋸歯状辺縁）の値のセットを学習データとして、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ識別器を学習する。第１実施例と同様に、学習は診断名に応じて独立に行われるため、同一の画像所見項目であっても、診断名（第１の推論結果）に応じて異なるパラメータが学習される。最終的に、３×Ｎ個のＲａｎｄｏｍ Ｆｏｒｅｓｔ識別器が学習される。

ステップＳ３０の実施時には、第２の推論部１０４は、ステップＳ２０で導出した診断名に対応するＮ個のＲａｎｄｏｍ Ｆｏｒｅｓｔ識別器を用いて、ステップＳ１５で得た関心領域の第１の画像特徴量を入力情報として、各画像所見の値を導出する。すなわち、第１の推論結果に応じたパラメータおよび／または推論手法で、医用画像を入力情報として画像所見を導出する。例えば、ステップＳ２０で導出された診断名が原発性肺癌である場合、原発性肺癌に対応するＮ個の学習済みのＲａｎｄｏｍ Ｆｏｒｅｓｔ識別器を選択し、各画像所見の値を導出する。

ステップＳ３５において、提示部１１０は、ステップＳ２０において導出した診断名と、ステップＳ３０において導出した画像所見を、支援情報としてユーザに提示する。

本実施形態によれば、情報処理装置１００は医用画像から関心領域を取得し、関心領域に対して画像処理を行い、第１の画像特徴量を算出する。そして、算出した第１の画像特徴量を用いて推論診断名を導出し、導出した推論診断名と第１の画像特徴量を基に画像所見を導出する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。

（実施形態２の変形例１）
本実施形態では、ステップＳ３０において、推論診断名（第１の推論結果）に対して同一の推論手法を用いて画像所見の導出をしていた。しかし、必ずしも同一の推論手法を用いなくてもよい。例えば、原発性肺癌の場合はＲａｎｄｏｍ Ｆｏｒｅｓｔ識別器、癌の肺転移の場合はサポートベクターマシンといったように、診断名に応じて異なる推論手法を用いてもよい。また、画像所見項目に応じて異なる推論手法を用いてもよい。さらに、診断名と画像所見の組に応じて異なる推論手法を用いてもよい。

また、本実施形態では全ての診断名・画像所見項目毎に画像特徴量を入力として画像所見の導出を行っていたが、必ずしもそうでなくてもよい。具体的には、一部の診断名・画像所見項目では実施形態１と同様に医用画像を用いてＣＮＮにより導出を行い、他の診断名・画像所見では画像特徴量を用いた導出を行うようにしてもよい。

さらに、ステップＳ２０ではＣＮＮで推論診断名を導出し、ステップＳ３０では画像特徴量を用いて画像所見を導出するようにしてもよい。もちろんこの場合もステップＳ３０では前述した様々な組み合わせで画像所見を導出するようにしてよい。

以上の方法によれば、推論診断名、あるいは、推論診断名と画像所見項目の組み合わせ毎に最も適切な推論手法を適用できるため、より適切な画像所見を導出することができる。

＜実施形態３＞
本実施形態に係る情報処理装置１００は、関心領域に画像処理を施すことで得た第１の画像特徴量に基づき、医用画像に描出された対象疾患の悪性の尤度を第１の推論結果として導出する。すなわち、第１の推論結果に関する情報は、医用画像データから特定される疾患の悪性の尤度に関する情報である。そして、導出した悪性の尤度と第１の画像特徴量を第２の推論部の入力として関心領域内の画像所見を導出する。なお、疾患の悪性の尤度に関する情報は、疾患の悪性の尤度そのものを示す文字列であってもよいし、疾患の悪性の尤度を表す記号やコード、該文字列を略した文字列であってもよい。

本実施形態における情報処理装置１００は、実施形態２における図６と同様の機能構成から成る。また、情報処理装置１００が行う全体の処理を説明するフローチャートは図７と同様である。但し、処理の一部が実施形態２とは異なっている。以下、図７のフローチャートを参照して、本実施形態における情報処理装置１００が行う全体の処理について、実施形態２との相違部分についてのみ説明する。

ステップＳ１０、Ｓ１５の処理は実施形態２における処理と同様である。

ステップＳ２０において、第１の推論部１０２は、ステップＳ１５で算出した第１の画像特徴量を用いて描出された対象疾患の悪性の尤度を導出する。第１の推論部１０２は尤度を導出できる手法（回帰式等）であれば何でもよいが、ここではベイジアンネットワークを用いて対象疾患の悪性の尤度を導出するものとする。

なお、学習時には、原発性肺癌と癌の肺転移を悪性、良性結節を良性として２値のカテゴリ値に変換して学習し、導出時には悪性に対する推論確率を尤度として出力すればよい。

ステップＳ３０において、第２の推論部１０４は、ステップＳ１５で算出した第１の画像特徴量とステップＳ２０で推論した悪性の尤度を用いて画像所見を導出する。

本実施形態では、第１の画像特徴量と尤度を第２の推論部への入力とし、画像所見の項目ごとに学習された推論手法で、各画像所見の値を導出する。ここで画像所見の導出は、ニューラルネットワークやサポートベクターマシンなど種々の公知の手法を用いることができる。

なお、学習時には、原発性肺癌と癌の肺転移の場合には尤度を１．０、良性結節の場合には尤度を０として学習すればよい。

本実施形態によれば、情報処理装置１００は、関心領域内の異常陰影に対する悪性の尤度を第２の推論部の入力の一つとして利用し、第２の推論部により悪性の尤度を考慮して画像所見を導出する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。

（実施形態３の変形例１）
本実施形態では、ステップＳ３０において学習により推論手法のパラメータを決定していた。しかし、必ずしも学習のみでパラメータを設定しなくてもよい。例えば、悪性の尤度が導出結果（すなわち、画像所見の値）に与える影響が大きくなるよう、人手でパラメータを調整してもよい。

以上の方法によれば、関心領域から得られる特徴が導出結果に与える影響を、より大きく設定できるため、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。

（実施形態３の変形例２）
本実施形態では、ステップＳ２０において悪性の尤度を導出し、ステップＳ３０においてステップＳ２０で推論した悪性の尤度を用いて画像所見を導出していた。しかし、ステップＳ２０で推論する尤度は必ずしも悪性の尤度でなくてもよい。例えば、良性の尤度であってもよいし、その他の尤度であってもよい。

＜実施形態４＞
本実施形態に係る情報処理装置１００は、関心領域に対して第１の推論結果（悪性の尤度）に応じた更なる画像処理を施すことで、第２の画像特徴量（輪郭線の形状や輪郭線の直線の長さ等の形状特徴量）を算出する。そして、算出した第２の画像特徴量に基づいて画像所見を導出する。

図８は、本実施形態における情報処理装置１００の機能構成の一例を示す図である。なお、図６と同一の符号が付与された構成部については、実施形態２及び３との差異部分のみ説明する。

情報処理装置１００は、関心領域取得部１０６と、第１の画像処理部１０８と、第１の推論部１０２と、第２の画像処理部１１２と、第２の推論部１０４と、提示部１１０を有する。

関心領域取得部１０６、第１の画像処理部１０８、第１の推論部１０２、提示部１１０は実施形態２及び３と同じ機能のため説明を省略する。

第２の画像処理部１０８は、第１の推論結果（悪性の尤度）に応じた画像処理を行う。

第２の推論部１０４は、第２の画像特徴量（輪郭線の形状や輪郭線の直線の長さ）を用いて画像所見を導出する。

情報処理装置１００のハードウェア構成は、実施形態１乃至３における図２と同様である。

次に、図９のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。なお、図７と同一の符号が付与された処理については実施形態３との差異部分のみ説明する。

ステップＳ１０乃至Ｓ２０の処理は実施形態３の処理と同様である。

ステップＳ２５において、第２の画像処理部１０８はステップＳ２０で導出した悪性の尤度に応じた画像処理を行い、第２の画像特徴量を算出する。すなわち、医用画像データに対して第１の推論結果に応じた画像処理を行い第２の画像特徴量を取得する第２の画像処理手段に相当する。具体的には、輪郭線の形状や、輪郭線の直線の長さ等の形状特徴量を算出する。

算出の一例を、図１０を用いて説明する。ステップＳ１５の画像処理において図１０（ａ）（ｂ）のような輪郭線が抽出されたとする。この例では各ピクセル（ボクセル）における曲率を計算し、曲率に応じて輪郭線が直線であるかどうかを判定し、直線の長さを計測するものとする。

ステップＳ２０で計算された悪性の尤度が所定値（例えば０．３）より大きい場合、曲率が閾値を超えた場合は線が曲がったと判定する。結果として、（ａ）の太線のような輪郭線に変換され、これを基に直線の長さを計測し、特徴量とする。一方、悪性の尤度が所定値以下の場合は、曲率に対する閾値を大きくし、曲率が多少大きくても輪郭線は直線のままであると見なす。結果として、（ｂ）の太線のような輪郭線に変換され、これを基に直線の長さを計測し、特徴量とする。これは医師が、一般に良性の可能性が強い（つまり、悪性の尤度が低い）場合は同じ輪郭線の概形でも直線とみなす傾向があることを模擬したものである。

このように、ステップＳ２５では、悪性の尤度（すなわち第１の推論結果）に応じた画像処理を行い、第２の画像特徴量を算出する。

ステップＳ３０において、第２の推論部１０４は、ステップＳ２５で算出した第２の画像特徴量を入力として画像所見を導出する。ここでの画像所見の推論は、実施形態３と同様にニューラルネットワークやサポートベクターマシンなど種々の公知の手法を用いるとことができる。

ステップＳ３５の処理は実施形態３の処理と同様である。

本実施形態によれば、情報処理装置１００は悪性の尤度（第１の推論結果）に応じた第２の画像特徴量を算出し、第２の画像特徴量を入力として画像所見を導出する。すなわち、医師の思考プロセスを考慮した画像特徴量を基に推論した画像所見を提示する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。

（実施形態４の変形例１）
本実施形態では、ステップＳ３０において、算出した第２の画像特徴量のみを入力として画像所見を導出していた。しかし、第１の画像特徴量を併用して画像所見を導出してもよい。さらに、実施形態３と同様に悪性の尤度を特徴量として加えて画像所見を導出してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、各実施形態の組み合わせも本発明の技術的範囲に含まれる。

１００ 情報処理装置
１０２ 第１の推論部
１０４ 第２の推論部
１０８ 第１の画像処理部
１１２ 第２の画像処理部

Claims (10)

1. 医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、
   前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、
   を備えることを特徴とする情報処理装置。
2. 医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、
   前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、
   を備えることを特徴とする情報処理装置。
3. 前記第２の推論手段は、前記第１の推論結果に応じたパラメータおよび／または推論手法で前記第２の推論を行い、前記画像所見に関する情報を導出することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第２の推論手段は、前記診断名と前記画像所見の項目の組み合わせごとに、前記画像所見に関する情報を導出する識別器をさらに備え、前記第１の推論結果としての前記診断名を含む組み合わせに対応する前記識別器を用いて、前記画像所見に関する情報を導出することを特徴とする請求項１に記載の情報処理装置。
5. 前記情報処理装置は、
   前記医用画像データに対して画像処理を行い第１の画像特徴量を取得する第１の画像処理手段
   をさらに備え、
   前記第１の推論手段は、前記第１の画像特徴量を用いて前記第１の推論を行い、
   前記第２の推論手段は、前記第１の画像特徴量と前記第１の推論結果を用いて前記第２の推論を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記情報処理装置は、
   前記医用画像データに対して前記第１の推論結果に応じた画像処理を行い第２の画像特徴量を取得する第２の画像処理手段
   をさらに備え、
   前記第２の推論手段は、前記第２の画像特徴量を用いて前記第２の推論を行うことを特徴とする請求項２に記載の情報処理装置。
7. 医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論ステップと、
   前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論ステップと、
   を備えることを特徴とする情報処理装置の作動方法。
8. 情報処理装置を、
   医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、
   前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段、
   として機能させることを特徴とするプログラム。
9. 医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論ステップと、
   前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論ステップと、
   を備えることを特徴とする情報処理装置の作動方法。
10. 情報処理装置を、
    医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、
    前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段、
    として機能させることを特徴とするプログラム。

Images