JP7228332B2

JP7228332B2 - 医用画像処理装置および医用画像処理方法

Info

Publication number: JP7228332B2
Application number: JP2017221797A
Authority: JP
Inventors: 恵太三森
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2023-02-24
Anticipated expiration: 2037-11-17
Also published as: JP2019092542A

Description

本発明の実施形態は、医用画像処理装置および医用画像処理方法に関する。

画像認識や音声認識の分野において、深層学習などの機械学習が利用されることが増えてきた。深層学習は、多層のニューラルネットワークを用いた機械学習である。例えば、画像認識の分野では、深層学習の１つである畳込みニューラルネットワーク（Convolutional Neural Network、以下ＣＮＮという）を用いた学習方法が従来の方法に比べて非常に高い性能を示すことが知られている。ＣＮＮ（ＣｏｎｖＮｅｔとも呼ばれる）は、学習用の画像データを学習することにより、自動で特徴構造を抽出し、入力された画像が学習用の画像データと同じ特徴を持った画像かどうかを判定することができる。

ところで、深層学習で高精度の判定結果を得るためには、膨大な数の学習用の画像データが必要である。例えば、８０％程度の精度を達成するためには１千枚程度、９０％の精度を達成するためには１万枚程度の画像データが必要であるといわれている。例えば、学習対象が動物や自動車などの容易に入手可能な画像であれば、インターネット網などの公衆の電子ネットワークを介して大量の画像を容易に収集することができる。

ここで、医用画像に含まれる患部の検出のために深層学習を利用することを考える。この場合、患部が含まれた医用画像を数多く収集してＣＮＮに学習させることになる。しかし、患部の有無にかかわらず、そもそも医用画像はネットワーク上にありふれた画像ではない。このため、患部が含まれた医用画像は、深層学習で高精度の判定結果を得るために十分な数を収集することが困難である。また、特徴構造を高精度に抽出させるためには、医用画像の部位、被検体の体格や年齢などにもとづいて学習対象の医用画像データを細かく分類し、分類ごとに学習させることが好ましい。しかし、学習対象の医用画像データを分類する場合、分類ごとに大量の学習用の医用画像データを収集しなければならない。このため、細かく分類すればするほど、学習用の医用画像データの収集は困難になってしまう。

特開２０１５－８０７２０号公報

本発明が解決しようとする課題は、学習用の医用画像を容易に数多く収集することである。

実施形態に係る医用画像処理装置は、領域抽出部と、取得部と、を備える。領域抽出部は、所見情報が付与された領域を３次元医用画像から抽出する。取得部は、領域抽出部によって抽出された領域に交差する方向に切断され、所見情報の一部が含まれる医用画像を３次元医用画像から取得する。

第１実施形態に係る医用画像処理装置の一構成例を示すブロック図。学習用画像データの元データの一例を説明するための図。（ａ）はＤＩＣＯＭ（Digital Imaging and Communications in Medicine）タグおよびＲＩＳ情報の一例を示す説明図、（ｂ）は読影レポートの一例を説明するための図。図１に示す処理回路のプロセッサにより、患部が含まれた医用画像データを機械学習の学習用に容易に数多く収集する際の概略的な手順の一例を示すフローチャート。ボリューム画像を構成する複数の断層像データから、アノテーション付帯断層像データが抽出される様子の一例を示す説明図。図５で抽出されたアノテーション付帯断層像データに対して設定される切り出し方向ｚ１の一例を示す説明図。図６に示す切り出し方向ｚ１に沿って生成された、アノテーションを含む複数のＭＰＲ画像データの一例を示す説明図。複数の元データセットに共用の切り出し方向ｚ１を設定しつつ学習用画像を数多く収集する際の手順の一例を示すフローチャート。複数の元データセットに共用の切り出し方向ｚ１が設定される様子を説明するための図。第３実施形態に係る医用画像処理装置の一構成例を示すブロック図。臓器のサイズとアノテーションのサイズに応じてアノテーション３４を含むＭＰＲ画像データを分類する際の手順の一例を示すフローチャート。分類機能による分類の一例を示す説明図。

本発明の実施形態に係る医用画像処理装置および医用画像処理方法について、添付図面を参照して説明する。

本実施形態に係る医用画像処理装置１０によって生成された学習用の医用画像データは、例えばＣＮＮ（畳み込みニューラルネットワーク）、畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）、再構成型トポグラフィック独立成分分析（ＴＩＣＡ：Topographic Independent Component Analysis）などの機械学習に利用される。

（実施形態１）
医用画像処理装置１０は、図１に示すように、入力回路１１、ディスプレイ１２、記憶回路１３、ネットワーク接続回路１４、および処理回路１５を有する。

入力回路１１は、例えばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路１５に出力する。ディスプレイ１２は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成される。

記憶回路１３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。

例えば、記憶回路１３は、モダリティ１００から供給されたボリューム画像（医用３次元画像）を記憶する。モダリティ１００は、被検体（患者）の撮像により得られた投影データにもとづいてボリューム画像を生成可能な装置である。モダリティ１００は、例えばＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置、核医学診断装置などの医用画像診断装置により構成される。

ネットワーク接続回路１４は、ネットワーク１０１の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路１４は、この各種プロトコルに従ってネットワーク１０１を介して他の電気機器と接続する。ネットワーク１０１は、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

医用画像処理装置１０は、ネットワーク１０１を介して接続されたモダリティ１００や医用画像保管装置１０２から医用画像データを受け取ってもよい。ネットワーク１０１を介して受信したボリューム画像は、記憶回路１３に記憶される。なお、医用画像処理装置１０は、モダリティ１００に内包されてもよい。

医用画像保管装置１０２は、例えばＰＡＣＳ（Picture Archiving and Communication System：医用画像保管通信システム）に備えられる画像保管用のサーバであり、ネットワーク１０１を介して接続されたモダリティ１００で生成されたボリューム画像などを記憶する。

また、医用画像保管装置１０２は、アノテーションの情報とボリューム画像とを関連付けて記憶している。また、医用画像保管装置１０２は、放射線科情報システム（ＲＩＳ：Radiology Information System）が扱うＲＩＳ情報を保存しているものとする。医用画像処理装置１０は、ネットワーク接続回路１４を介してこれらのデータを取得する。また、医用画像保管装置１０２は、ボリューム画像にもとづいて医用画像処理装置１０が生成した学習用の医用画像データ（以下、学習用画像データという）を、医用画像処理装置１０の制御に従って保存する

医用画像観察装置１０３は、例えば読影医により、ＰＡＣＳ、病院情報システム（ＨＩＳ：Hospital Information System）、ＲＩＳなどの種々のシステムのビューワとして用いられる。読影医等は、読影の結果として読影レポートを作成する。読影レポートには、読影により発見された患部の解剖学的部位とその患部の態様とが所見として記録される。

図２を参照して図１に示した医用画像処理装置１０によって生成される学習用画像データの元データを説明する。なお、以下の説明では、ｚ方向を法線方向とする。ボリューム画像３０は、ｚ方向に沿った複数の断層像データ３２を有する。

ボリューム画像３０がＤＩＣＯＭ規格に準じている場合、ＤＩＣＯＭ付帯データには、図３（ａ）に示すように、ボリューム画像３０を生成したモダリティ１００の情報、モダリティ１００のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報など、様々な文字情報が含まれる。医用画像処理装置１０は、ＤＩＣＯＭ付帯データに含まれる情報を医用画像保管装置１０２から取得する。なお、撮影条件の情報や被検体の情報は、ＲＩＳ情報として医用画像保管装置１０２に保存されていてもよい。

ボリューム画像３０において、ボリューム画像３０により表される臓器３１の患部の領域３１ａにはアノテーション３４が付与される。

具体的には、読影医は、ボリューム画像３０を構成する複数の断層像データ３２のうち、患部３１ａがみられる１つの代表的な断層像データ３３をキー画像として選択し、患部３１ａの領域を囲むようにアノテーション３４を付与する。医用画像保管装置１０２は、読影医によって付与されたアノテーション３４の情報とボリューム画像３０とを関連付けて記憶している。アノテーション３４の情報には、アノテーション３４の位置や大きさ、アノテーション３４によって囲まれた患部３１ａの位置や大きさ、アノテーション３４が付与された断層像データ３３の付帯情報等が含まれる。アノテーション３４は、読影医の操作により付与される。なお、読影医は、患部３１ａを囲むように自由に手書きすることによりアノテーション３４を付与してもよいし、楕円や矩形などのテンプレート図形を利用してもよい。また、読影医は、３次元ビューワを用いて球形等の３次元的なアノテーション３４を付与してもよい。

読影医は、読影の結果として読影レポートを作成する（図３（ｂ）参照）。読影レポートには、読影により発見された患部３１ａの所見が含まれる。また、読影医は、アノテーション３４が付与された断層像データ（以下、アノテーション付帯断層像データという）３３を、所見がみられる代表的な画像データとして読影レポートに付与する。

医用画像処理装置１０の処理回路１５は、アノテーション付帯断層像データ３３を機械学習の学習用画像データの元データとして採用する（図２参照）。

次に、図１に示した処理回路１５の構成および動作の一例を説明する。

処理回路１５は、記憶回路１３に記憶されたプログラムを読み出して実行するプロセッサである。

処理回路１５は、記憶回路１３に記憶されたプログラムを読み出して実行することによって、元データ取得機能２１、領域抽出機能２２、切断機能２３、学習画像取得機能２４、および保存指示機能２５を実現する。

元データ取得機能２１は、ボリューム画像３０とアノテーション３４の情報とを取得する。なお、医用画像処理装置１０は元データ取得機能２１を備えずともよい。

領域抽出機能２２は、アノテーション３４が付与された領域３１ａをボリューム画像３０から抽出する。

切断機能２３は、領域抽出機能２２によって抽出された患部３１ａに基づいて患部３１ａを切り出す方向を設定する。例えば、切断機能２３は、ボリューム画像３０に対して、ＭＰＲ（Multi-Planner Reconstruction）処理で用いる切り出し方向ｚ１を設定する。切り出し方向ｚ１は、少なくとも複数の断層像データ３２が連続して並ぶ方向であるｚ方向（図２参照）とは異なる方向に設定される。具体的には、切り出し方向ｚ１は、ボリューム画像３０から切り出し方向ｚ１に沿って複数の断層像を生成すると、この複数の断層像データにアノテーション３４を含む断層像データが複数含まれるように設定される。

また、切断機能２３は、設定した切り出し方向ｚ１に沿って、患部３１ａに交差する方向にボリューム画像３０を切断する。具体的には、切断機能２３は、ボリューム画像３０を切り出し方向ｚ１に沿ってＭＰＲ処理する（切断する）ことにより、複数の医用画像データ（以下、ＭＰＲ画像データという）を生成する。ＭＰＲ法は、３次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する方法である。なお、医用画像処理装置１０は切断機能２３を備えずともよい。

学習画像取得機能２４は、領域抽出機能２２によって抽出された患部３１ａに交差する方向に切断され、アノテーション３４の一部が含まれる医用画像をボリューム画像から取得する。医用画像処理装置１０が切断機能２３を備える場合は、学習画像取得機能２４は、切断機能２３によって切断された医用画像のうちアノテーション３４の一部が含まれる医用画像を取得する。

保存指示機能２５は、学習画像取得機能２４により取得された、アノテーション３４を含む複数の医用画像を、機械学習で利用される学習用画像として医用画像保管装置１０２に保存させる。なお、医用画像処理装置１０は保存指示機能２５を備えずともよい。

図４を参照して処理回路１５のプロセッサによる動作の一例を説明する。なお、図４には、医用画像処理装置１０が領域抽出機能２２および学習画像取得機能２４に加えて、元データ取得機能２１、切断機能２３および保存指示機能２５も備える場合の例を示した。

ステップＳ１において、元データ取得機能２１は、医用画像保管装置１０２から、ボリューム画像３０とアノテーション３４の情報とを取得する。

次に、ステップＳ２において、領域抽出機能２２は、ボリューム画像３０を構成する複数の断層像データ３２から、アノテーション付帯断層像データ３３を抽出する（図５参照）。

次に、ステップＳ３において、切断機能２３は、ボリューム画像３０に対して、ＭＰＲ（Multi-Planner Reconstruction）処理で用いる切り出し方向ｚ１を設定する。例えば、切断機能２３は、アノテーション付帯断層像データ３３に付帯したアノテーション３４の横断線４０のうち、アノテーション３４の幅Ｗが最長となる横断線４０の方向を切り出し方向ｚ１として設定する（図６上段参照）。アノテーション３４の幅Ｗが最長となる横断線４０の方向を切り出し方向ｚ１とすれば、ボリューム画像から切り出し方向ｚ１に沿ってＭＰＲ処理したときに、アノテーション３４を含むＭＰＲ画像データ４１の枚数を最大にすることができる。

次に、ステップＳ４において、切断機能２３は、ボリューム画像３０を切り出し方向ｚ１に沿ってＭＰＲ処理することにより、切り出し方向ｚ１に沿った複数のＭＰＲ画像データを生成する。このとき、切断機能２３は、切り出し方向ｚ１にもとづいて、ボリューム画像３０の各画素の座標をｘｙｚ座標系からｘ１ｙ１ｚ１の直交３軸に変換してもよい。

なお、「切り出し方向ｚ１に沿ってＭＰＲ処理する（切断する）」とは、切り出し方向ｚ１に交差する断面に平行にＭＰＲ処理することを言い、切り出し方向ｚ１に斜めに交差する断面に平行にＭＰＲ処理する場合を含む。以下の説明では、生成されるＭＰＲ画像データの枚数を最大化するため、切り出し方向ｚ１に直交する断面に平行にＭＰＲ処理する場合の例を示す。

次に、ステップＳ５において、学習画像取得機能２４は、アノテーション３４の情報にもとづいて、生成した複数のＭＰＲ画像データから、患部３１ａの一部を含むＭＰＲ画像データ４１を取得する。切断機能２３は、医用画像保管装置１０２から取得したアノテーション３４の情報から、幅Ｗに対応する切り出し方向ｚ１においてアノテーション３４が存在する範囲ｚｓ≦ｚ１≦ｚｅを求める。幅Ｗはｚｅからｚｓを減じた値に等しい（図６下段参照）。学習画像取得機能２４は、この範囲ｚｓ≦ｚ１≦ｚｅのＭＰＲ画像データを、患部３１ａの一部を含むＭＰＲ画像データ４１として取得する。

なお、切断機能２３は、ステップＳ４において、ＭＰＲ処理の前に切り出し方向ｚ１においてアノテーション３４が存在する範囲ｚｓ≦ｚ１≦ｚｅを求め、この範囲のみでＭＰＲ処理をすることにより、患部３１ａの一部を含むＭＰＲ画像データ４１を取得してもよい。この場合、ステップＳ５は実行不要である。

図７に示すように、アノテーション３４が付与された領域の範囲ｚｓ≦ｚ１≦ｚｅで、切り出し方向ｚ１に沿ってボリューム画像３０をＺ軸方向に順次切断していくと、アノテーション３４の一部が含まれる複数の医用画像４１がボリューム画像３０から取得される。

次に、ステップＳ６において、保存指示機能２５は、学習画像取得機能２４により取得された複数の医用画像４１を、機械学習で利用される学習用画像データとして保存するよう医用画像保管装置１０２に指示する（図７参照）。

以上の手順により、１つのボリューム画像３０から、当該ボリューム画像３０のアノテーション３４が付与された領域に基づいて、アノテーション３４の一部が含まれる医用画像を機械学習用の医用画像として容易に数多く収集することができる。

このため、あらたなセキュリティ整備やインフラ整備をすることなく、既存の１つの医療施設やグループ病院内で共有されている医用画像データ、検査情報、読影レポート情報等を用いるだけで、機械学習に必要な学習用画像データを十分に生成することができる。

なお、切り出し方向ｚ１は、１つのアノテーション付帯断層像データ３３に対して複数設定されてもよい。切り出し方向ｚ１を変えれば、生成されるＭＰＲ画像データ４１は異なる画像データとなる。このため、学習の強化につながることが期待できるのであれば、１つのアノテーション付帯断層像データ３３に対して複数の切り出し方向ｚ１を設定してもよい。

この場合、複数の切り出し方向ｚ１には、アノテーション３４と交わる幅Ｗが最も長い方向が含まれることが好ましい。例えば、アノテーション３４の形状が自由曲線で描かれた形状である場合は、アノテーション３４と交わる幅Ｗが最も長い方向から、例えば４番目に長い方向までの４つの方向などのように複数の方向を設定するとよい。

一方、アノテーション３４の形状が円形であれば、アノテーション３４と交わる幅Ｗは全ての方向で同一となるため、例えばｘ方向とｙ方向の２方向や、これらにｙ＝ｘに沿った方向およびｙ＝―ｘに沿った方向を加えた４方向など、ｚ方向とは異なる切り出し方向をあらかじめ定めておいてもよい。このように１つのアノテーション付帯断層像データ３３に対して複数の切り出し方向ｚ１を設定する場合、１検査で得られた１つのボリューム画像３０から生成される学習用画像データの数をさらに増やすことができる。

（実施形態２）
ボリューム画像３０とアノテーション３４の情報との組み合わせ（以下、元データセットという）を複数あつかう場合について説明する。元データセットは、１つの検査ごとに、例えば１組が生成される。

複数の元データセットを用いる場合における処理回路１５のプロセッサによる動作の一例を、図８および図９を参照して説明する。なお、図４と同等のステップには同一符号を付し、重複する説明を省略する。

処理回路１５は、ボリューム画像３０とアノテーション３４の情報との組み合わせ（元データセット）を複数あつかってもよい。このとき、アノテーション３４と交わる幅Ｗが最長となる横断線４０に対応する方向を切り出し方向ｚ１とすると、元データセットごとに互いに異なる切り出し方向ｚ１が設定されてしまう。この場合、元データセットごとに、ＭＰＲ画像データ４１に含まれる骨や臓器の形状等が異なってしまい、これらがノイズとなって学習に悪影響を及ぼす可能性がある。

そこで、複数の元データセットをあつかう場合は、全ての元データセットで１つの切り出し方向ｚ１を共用することが好ましい（図９参照）。また、この場合、切り出し方向ｚ１を共用する複数の元データセットは、撮影条件の情報および被検体の情報（以下、関連情報）が共通するものとするとよい。

このため、図８のステップＳ１１において、元データ取得機能２１は、医用画像保管装置１０２から、関連情報（撮影条件の情報および被検体の情報）が共通する複数の元データセット（ボリューム画像３０とアノテーション３４の情報の組み合わせ）を取得する。

次に、ステップＳ１２において、領域抽出機能２２は、ボリューム画像３０を構成する複数の断層像データ３２から、アノテーション付帯断層像データ３３を抽出する（図９の２段目参照）。

次に、ステップＳ１３において、切断機能２３は、全ての元データセットで共用される切り出し方向ｚ１を設定する。このとき、切断機能２３は、複数の元データセットのそれぞれについて、ボリューム画像３０から共用切り出し方向ｚ１に沿ってＭＰＲ画像データを生成した場合に、全ての元データセットから生成されるアノテーション３４を含むＭＰＲ画像データ４１の枚数の合計が最大となる方向を、共用切り出し方向ｚ１に決定する。アノテーション付帯断層像データ３３のアノテーション３４の共用切り出し方向ｚ１における幅を全ての元データセットで合計した長さは、他の方向に比べて最も長くなる。

次に、ステップＳ１４において、切断機能２３は、保存指示機能２５を介して、決定した共用切り出し方向ｚ１の情報を医用画像保管装置１０２に保存させる。

次に、ステップＳ１５において、切断機能２３は、複数の元データセットの各ボリューム画像３０を、共用切り出し方向ｚ１に沿ってＭＰＲ処理することにより、切り出し方向ｚ１に沿った複数のＭＰＲ画像データを生成する。

以上の手順により、複数の元データセットに対して共用の切り出し方向ｚ１を設定しつつ学習用画像を数多く収集することができる。全ての元データセットは、共通する関連情報を有するとともに、切り出し方向ｚ１を共用する。このため、図８の手順により生成される学習用画像データは、全て同一方向から観察した断層像データとすることができる。

（実施形態３）
アノテーション３４を含むＭＰＲ画像データ４１のそれぞれを、ＭＰＲ画像データ４１に含まれる臓器３１のサイズとアノテーション３４のサイズに応じて分類する方法について説明する。

図１０に示すように、処理回路１５は、記憶回路１３に記憶されたプログラムを読み出して実行することによって、さらに分類機能２６を実現してもよい。

分類機能２６は、学習画像取得機能２４によって取得された医用画像に含まれるアノテーションの大きさに基づいて、医用画像を分類する。例えば、分類機能２６は、アノテーション３４を含む複数のＭＰＲ画像データのそれぞれについて、各ＭＰＲ画像データ内における臓器３１のサイズに対するアノテーション３４のサイズを示す指標値を求める。また、分類機能２６は、この指標値にもとづいて複数のＭＰＲ画像データを複数のグループに分類する。分類機能２６によって複数のＭＰＲ画像データが複数のグループに分類された場合は、保存指示機能２５は、学習用画像データをこれらのグループごとに医用画像保管装置１０２に保存させる。

臓器３１におけるアノテーション３４の位置またはサイズに応じて患部３１ａの状態を分類する際の手順の一例を図１０および図１１を参照して説明する。なお、図４と同等のステップには同一符号を付し、重複する説明を省略する。

図４に示したステップＳ１からＳ５までの手順によって、アノテーション３４を含むＭＰＲ画像データ４１が抽出される。

次に、ステップＳ２１において、分類機能２６は、エッジ検出等の画像処理により、ＭＰＲ画像データ４１に含まれる臓器３１の輪郭を取得する。そして、分類機能２６は、アノテーション３４を含む複数のＭＰＲ画像データ４１のそれぞれについて、各ＭＰＲ画像データ４１内における臓器３１のサイズに対するアノテーション３４のサイズを示す指標値を求める。

指標値としては、例えば、ｘ１方向における臓器３１の幅と、ｘ１方向におけるアノテーション３４の幅との比率Ｒを用いることができる。このとき、ｘ１方向における臓器３１の幅は、アノテーション３４と同位置における幅を用いてもよいし、ｘ１方向における臓器３１の幅の最大値を用いてもよい。臓器３１の幅は、画像処理で取得した臓器３１の輪郭から求めることができる。アノテーション３４の幅は、医用画像保管装置１０２から取得したアノテーション３４の情報から容易に求めることができる。

次に、分類機能２６は、あらかじめ記憶回路１３や医用画像保管装置１０２などに記憶されていた閾値を用いて、指標値にもとづいて、学習用画像データとして利用される複数のＭＰＲ画像データ４１を複数のグループに分類する。

例えば、分類機能２６は、ノイズ閾値を用いて、指標値がノイズ閾値以下のＭＰＲ画像データ４１をノイズ学習用のグループ（データセット）に分類する。また、指標値がノイズ閾値より大きいＭＰＲ画像データ４１は、患部３１ａのサイズが大きいほど症状が進行しているグループに分類されるように、指標値の閾値を用いて、症状の進行状態に応じてさらに複数のグループに分類されるとよい。症状の進行状態に応じた複数のグループとしては、例えば初期ステージ、中期ステージ、および後期ステージの３つのグループなどが考えられる（図１１参照）。

なお、分類機能２６は、指標値としてｘ１方向におけるアノテーション３４の幅そのものを用いてもよい。この場合、グループに分類するための閾値は、臓器３１の種別ごとにあらかじめ定めておけばよい。

次に、ステップＳ２３において、保存指示機能２５は、これらのグループごとに、アノテーション３４を含む複数のＭＰＲ画像データ４１を学習用画像データとして医用画像保管装置１０２に保存させる。

以上の手順により、臓器３１のサイズとアノテーション３４のサイズに応じてアノテーション３４を含むＭＰＲ画像データ４１を分類することができる。

このように、医用画像処理装置１０によれば、アノテーション３４のサイズに応じて、ノイズと考えられる学習用画像データを容易に収集することができる。機械学習においては、ノイズをノイズとして学習させることにも十分に意味がある。ノイズと判定すべき画像データを学習させることで、ＣＮＮはノイズにロバストとなる。また、症状の進行状態に応じて自動的に学習用画像データを分類することができる。

また、特徴構造を高精度に抽出させるためには、ボリューム画像３０を生成したモダリティ１００の情報、モダリティ１００のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報などによって、学習用画像データを細分化することが好ましい。この点、医用画像処理装置１０は、学習用画像データを細分化する場合であっても、学習用画像データを十分に収集することができる。学習用画像データを細分化する場合は、分類機能２６は、アノテーション３４を含むＭＰＲ画像データ４１を、撮影条件の情報や被検体の情報などの分類条件に従って分類するとよい。この場合、保存指示機能２５は、ＭＰＲ画像データ４１を分類ごとに保存するよう医用画像保管装置１０２に指示する。

以上説明した少なくとも１つの実施形態によれば、患部が含まれた医用画像データを機械学習の学習用に容易に数多く収集することができる。

なお、処理回路１５の領域抽出機能２２、切断機能２３、学習画像取得機能２４、保存指示機能２５および分類機能２６は、それぞれ特許請求の範囲における領域抽出部、切断部、取得部、保存指示部および分類部の一例である。また、医用画像保管装置１０２は、特許請求の範囲における保管装置の一例である。

なお、上記実施形態において、「プロセッサ」という文言は、例えば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…医用画像処理装置
１５…処理回路
２２…領域抽出機能
２３…切断機能
２４…学習画像取得機能
２５…保存指示機能
２６…分類機能
３０…ボリューム画像
３１…臓器
３１ａ…患部
３２…断層像データ
３３…アノテーション付帯断層像データ
３４…アノテーション
４１…ＭＰＲ画像データ
１０２…医用画像保管装置
ｚ１…切り出し方向
ｚ１…共用切り出し方向

Claims

所見情報が付与された領域を３次元医用画像から抽出する領域抽出部と、
前記領域抽出部によって抽出された前記領域に基づいて前記領域を切り出す方向を設定し、当該設定した切り出し方向に沿って、前記３次元医用画像を前記領域に交差する方向に切断する切断部と、
前記切断部によって切断された医用画像のうち前記所見情報の一部が含まれる医用画像を、機械学習に用いるための医用画像として、前記３次元医用画像から取得する取得部と、
前記所見情報が属する臓器のサイズに対する前記所見情報が付与された領域のサイズの比率に応じて前記医用画像を分類する分類部と、
を備え、
前記領域抽出部は、
撮像条件の情報及び被検体の情報が共通する複数の前記３次元医用画像と前記所見情報との複数の組み合わせを取得し、前記３次元医用画像のそれぞれから前記所見情報が付与された領域を抽出し、
前記切断部は、
前記複数の組み合わせにおいて、前記所見情報の一部が含まれる医用画像の合計数が最大となる方向、あるいは、抽出された前記領域の幅が最大となる方向を共用切り出し方向として設定し、前記複数の組み合わせのそれぞれについて、設定した前記共用切り出し方向に沿って前記３次元医用画像を切断し、
前記取得部は、
前記複数の組み合わせのそれぞれについて、前記所見情報の一部が含まれる前記医用画像を取得する、
医用画像処理装置。
前記分類部は、
前記所見情報の大きさが閾値以下であるものをノイズデータのグループに分類する、
請求項１に記載の医用画像処理装置。
前記分類部は、
前記取得部によって取得された前記医用画像に含まれる前記所見情報の大きさが大きいほど症状が進行していると分類されるように、前記所見情報の大きさにもとづいて、前記医用画像を症状の進行状態に応じたグループに分類する、
請求項１または２に記載の医用画像処理装置。
前記分類部は、
前記３次元医用画像の撮影条件の情報および前記３次元医用画像の被検体の情報の少なくとも一方を含む関連情報にもとづいて、前記取得部によって取得された前記医用画像を分類する、
請求項１ないし３のいずれか１項に記載の医用画像処理装置。
前記取得部によって取得された前記所見情報の一部が含まれる前記医用画像を、機械学習用の画像として保管装置への保存を指示する保存指示部をさらに備える、
請求項１ないし４のいずれか１項に記載の医用画像処理装置。
所見情報が付与された領域を３次元医用画像から抽出する領域抽出ステップと、
前記領域抽出ステップで抽出された前記領域に基づいて前記領域を切り出す方向を設定し、当該設定した切り出し方向に沿って、前記３次元医用画像を前記領域に交差する方向に切断する切断ステップと、
前記切断ステップで切断された医用画像のうち前記所見情報の一部が含まれる医用画像を、機械学習に用いるための医用画像として、前記３次元医用画像から取得する取得ステップと、
前記所見情報が属する臓器のサイズに対する前記所見情報が付与された領域のサイズの比率に応じて前記医用画像を分類する分類ステップと、を有し、
前記領域抽出ステップは、
撮像条件の情報及び被検体の情報が共通する複数の前記３次元医用画像と前記所見情報との複数の組み合わせを取得し、前記３次元医用画像のそれぞれから前記所見情報が付与された領域を抽出するステップを含み、
前記切断ステップは、
前記複数の組み合わせにおいて、前記所見情報の一部が含まれる医用画像の合計数が最大となる方向、あるいは、抽出された前記領域の幅が最大となる方向を共用切り出し方向として設定し、前記複数の組み合わせのそれぞれについて、設定した前記共用切り出し方向に沿って前記３次元医用画像を切断するステップを含み、
前記取得ステップは、
前記複数の組み合わせのそれぞれについて、前記所見情報の一部が含まれる前記医用画像を取得するステップを含む、
医用画像処理方法。