JP7323885B2 - 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム - Google Patents

画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム Download PDF

Info

Publication number
JP7323885B2
JP7323885B2 JP2022504437A JP2022504437A JP7323885B2 JP 7323885 B2 JP7323885 B2 JP 7323885B2 JP 2022504437 A JP2022504437 A JP 2022504437A JP 2022504437 A JP2022504437 A JP 2022504437A JP 7323885 B2 JP7323885 B2 JP 7323885B2
Authority
JP
Japan
Prior art keywords
data
region
medical image
interest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504437A
Other languages
English (en)
Other versions
JPWO2021177374A5 (ja
JPWO2021177374A1 (ja
Inventor
玄顕 ▲高▼橋
健仁 道家
遼平 ▲高▼橋
太一 金
季 斎藤
尚人 國井
博史 小山
延人 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kompath
Original Assignee
Kompath
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kompath filed Critical Kompath
Publication of JPWO2021177374A1 publication Critical patent/JPWO2021177374A1/ja
Publication of JPWO2021177374A5 publication Critical patent/JPWO2021177374A5/ja
Application granted granted Critical
Publication of JP7323885B2 publication Critical patent/JP7323885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

開示の技術は、画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラムに関する。
従来から、術中画像のセマンティックセグメンテーションに関する技術が知られている（例えば、特許文献１：特表２０１８－５１５１９７号公報）。特許文献１に開示されている技術は、トレーニングフェーズとテストフェーズとを用いる。具体的には、トレーニングフェーズでは、教師あり機械学習コンセプトを使用して、ラベリングされたトレーニングデータに基づき分類器をトレーニングし、テストフェーズ中、トレーニングされた分類器を適用し、腹腔鏡画像または内視鏡画像を新たに入力して、セマンティックセグメンテーションを実行する（特許文献１の段落［０００９］）。
また、術前３Ｄ画像データを用いた術中画像ストリームにおけるシーン解析方法が知られている（例えば、特許文献２：特表２０１８－５２２６２２号公報）。この方法によれば、セマンティックにラベリングされた画像を生成し、セマンティックセグメンテーションのために機械学習ベースの分類器をトレーニングする目的で、術中画像ストリームのフレームが変換され、フレームに対しセマンティックセグメンテーションが実施される（特許文献２の段落［００１０］）。
また、ＭＲ画像から疑似ＣＴ画像を生成する技術が知られている（例えば、特許文献３：特表２０１８－５３５７３２号公報）。この技術では、ＭＲ画像から疑似ＣＴ画像（合成ＣＴ画像又は誘導ＣＴ画像とも称される）を作成するために、訓練モジュール及び予測モジュールを含む学習ベースの手法が提供される。訓練モジュールは、選択された位置についてひとつ又はそれ以上のＭＲ画像から抽出された特徴に基づいて任意の所与のボクセルのＣＴ値を予測するのに使用できる予測モデル（回帰モデルとも呼ばれる）を構築する（段落［００３４］）。なお、予測モデルは、訓練データを使用して訓練することができ、訓練段階の間、収集された訓練データに回帰法（例えば、統計学習、回帰分析、機械学習など）を使用してモデルを訓練することができる（段落［００３５］）。
また、医用画像から得られた注目領域の複数の抽出結果から適切な抽出結果を選択する際のユーザの負担を軽減する情報処理装置が知られている（例えば、特許文献４：特開２０１７－１８９３９４号公報）。この情報処理装置は、各パラメータセットの値を、機械学習を用いて、肺結節領域の抽出精度に基づいて事前に決める（特許文献４の段落［００３４］）。
しかし、上記特許文献１～上記特許文献４に記載の技術においては、患者から得られる医用画像のばらつき、例えば撮像機器による画像特性の違い等が考慮されていない。このため、患者から撮像された医用画像を学習用データとして用いたとしても、精度の良い学習済みモデルを生成することができない。したがって、そのような学習用データから生成された学習済みモデルを用いたとしても、精度の良い結果を得ることができない、という課題がある。
開示の技術は、上記の事情に鑑みてなされたもので、医用画像から関心領域を精度良く抽出することができる、画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラムを提供することを目的とする。
上記の目的を達成するために開示の技術に係る画像処理装置は、関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、を含む。
開示の技術の前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データであるようにすることができる。
開示の技術の前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データであるようにすることができる。
開示の技術の前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データであるようにすることができる。
開示の技術の前記学習済みモデルは、学習用の３次元医用画像データと該学習用の３次元医用画像データに含まれる関心領域との組み合わせである学習用データに基づいて、予め学習されたモデルであるようにすることができる。
開示の技術の前記学習用データは、前記標準データとの一致度が大きくなるように前記変換処理がなされた前記学習用の３次元医用画像データと、該学習用の３次元医用画像データのうちの関心領域と、が対応付けられたデータであるようにすることができる。
開示の技術においては、前記学習用データのうちの前記学習用の３次元医用画像データは、第１種類の医用画像であり、前記学習用データのうちの前記関心領域は、第２種類の医用画像から抽出された関心領域であるようにすることができる。
開示の技術の第１種類の医用画像は、患者に対して造影剤を投与しない場合に撮像された医用画像であり、第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、ようにすることができる。
開示の技術の第１種類の医用画像及び第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、ようにすることができる。
開示の技術の前記対象データは、第１種類の医用画像及び第２種類の医用画像とは異なる種類の医用画像であり、前記変換部は、前記対象データの輝度値の階調を補正する変換処理を行うと共に、前記対象データに対して前記変換処理を行うことにより、前記変換済データを生成するようにすることができる。
開示の技術の前記対象データの輝度値の階調を補正する変換処理は、γ補正処理であるようにすることができる。
開示の技術は、前記領域抽出部によって得られた前記関心領域に対し、前記対象データに対する前記変換処理に応じた逆変換処理を行い、変換前の前記対象データと前記逆変換処理がなされた前記関心領域との対応付けにより、前記対象データから関心領域を抽出し、該関心領域に基づいて、前記関心領域の３次元オブジェクトを生成する３次元オブジェクト生成部を更に含むようにすることができる。
開示の技術の前記３次元オブジェクト生成部は、前記変換前の前記対象データと前記逆変換処理がなされた前記関心領域とのアダマール積によって、前記変換前の前記対象データと前記関心領域との対応付けを行うことにより、前記対象データから関心領域を抽出し、該関心領域に基づくボリュームレンダリングにより、前記関心領域の３次元オブジェクトを表示するようにすることができる。
開示の技術の前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を、前記対象データへ統合することにより、前記対象データを補完して、前記変換済データを生成するようにすることができる。
開示の技術の前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を前記対象データへ統合する際に、前記標準データの輝度値の平均又は分散と、前記対象データの輝度値の平均又は分散とが近づくような補正処理を前記標準データに対して行って、前記統合をすることにより、前記変換済データを生成するようにすることができる。
開示の技術の画像処理モデル生成装置は、標準を表す３次元画像データである標準データを設定するデータ設定部と、複数の学習用の３次元医用画像データの各々について、前記データ設定部により生成された前記標準データとの間の一致度が大きくなるように、複数の学習用の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部と、前記学習用データ生成部によって生成された前記学習用データに基づいて、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための学習済みモデルを生成する学習部と、を含む。
開示の技術の学習用データ生成装置は、複数の学習用の３次元医用画像データの各々について、標準を表す３次元画像データである標準データと前記学習用の３次元医用画像データとの間の一致度が大きくなるように、前記学習用の３次元医用画像データの大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部を含む。
また、開示の技術のプログラムは、コンピュータを、開示の技術の画像処理装置、開示の技術の画像処理モデル生成装置、及び学習用データ生成装置の各部として機能させるためのプログラムである。
開示の技術によれば、医用画像から関心領域を精度良く抽出することができる、という効果が得られる。
本実施形態の医用画像処理システムの概略構成の一例を示す図である。 本実施形態の医用画像処理システムの概要を説明するための説明図である。 本実施形態の脳の各断面の医用画像を説明するための説明図である。 本実施形態の脳の３次元オブジェクトを説明するための説明図である。 T1強調画像とCEFIESTA画像とが対応付けられたデータの一例を示す図である。 本実施形態の頭部の平均データを説明するための説明図である。 ３次元医用画像データを平均データへ近づける処理を説明するための説明図である。 データ毎にばらつきのある３次元医用画像データの、位置、大きさ、向きを揃えた医用画像の学習用データを説明するための説明図である。 画像処理装置として機能するコンピュータの概略ブロック図である。 平均データ生成処理ルーチンの一例を示す図である。 学習用データ生成処理ルーチンの一例を示す図である。 学習処理ルーチンの一例を示す図である。 画像処理ルーチンの一例を示す図である。 実施例の結果を示す図である。 本実施形態の変形例を説明するための説明図である。
以下、図面を参照して、開示の技術の一例である実施形態を詳細に説明する。
＜第１実施形態に係る医用画像処理システム１００＞
図１は、第１実施形態の医用画像処理システム１００を示すブロック図である。図１に示されるように、第１実施形態の医用画像処理システム１００は、外部装置１０と、画像処理装置２０と、出力装置４０とを備える。
医用画像の一種として、T1強調画像とCEFIESTA(contrast enhanced fast imaging employing steady - state acquisition)画像とが知られている。T1強調画像は、核磁気共鳴画像法(MRI: Magnetic Resonance Imager)によって撮像される医用画像の一種であり、患者に対して造影剤を投与しない場合に撮像される医用画像の一例である。CEFIESTA画像は、GE(General Electric)社によるFast Imaging Employing Steady state Acquisitionと称される撮像方式によって撮像される医用画像であり、患者に対して造影剤を投与した場合に撮像される医用画像の一例である。
T1強調画像は患者に対して造影剤を投与しなくとも得られるのに対し、CEFIESTA画像は患者に対して造影剤を投与する必要がある。患者に対して造影剤が投与されることにより、人体の所定部位の画像信号が強調されるため、T1強調画像よりもCEFIESTA画像の方が人体の所定部位が鮮明に映る。しかし、造影剤は人体に対して侵襲性を有しているため、患者に対してはなるべく造影剤を投与しないほうが好ましい。
そこで、第１実施形態の医用画像処理システム１００は、患者に対し造影剤を投与しなくとも得られるT1強調画像から関心領域を抽出する。具体的には、第１実施形態の医用画像処理システム１００は、患者に造影剤を投与した際に得られるCEFIESTA画像を用いた機械学習によって得られる学習済みモデルによって、T1強調画像から関心領域を抽出する。そして、第１実施形態の医用画像処理システム１００は、関心領域が抽出されたT1強調画像を用いて、患者の対象部位の３次元オブジェクトを生成する。なお、本実施形態における関心領域は、頭部を撮像した医用画像のうちの大脳領域である。また、第１実施形態においては、T1強調画像は第１種類の医用画像の一例であり、CEFIESTA画像は第２種類の医用画像の一例である。
図２に、本実施形態の医用画像処理システム１００が実行する処理の概要を説明するための説明図を示す。
図２に示されるように、本実施形態では、人体の頭部の画像を対象とする。本実施形態の医用画像処理システム１００は、図２に示される学習フェーズLP（Learning Phase）において、学習用のT1強調画像のグレースケール画像ImL1と学習用のCEFIESTA画像の２値化画像ImL2とが対応付けられた学習用データに基づいて、ニューラルネットワークＭを機械学習させる。そして、医用画像処理システム１００は、T1強調画像から大脳領域を抽出するための学習済みのニューラルネットワークLMを生成する。
なお、１つのデータは、同一の患者から撮像されたT1強調画像のグレースケール画像（以下、単に「T1強調画像」と称する。）とCEFIESTA画像の２値化画像（以下、単に「CEFIESTA画像」と称する。）との組み合わせである。なお、CEFIESTA画像の２値化画像は、医師等によって大脳領域が予め抽出された画像である。また、本実施形態においては、図３に示されるように、患者Ｐの脳の各断面を表す複数の画像Imを１つの３次元医用画像データとする。
医用画像処理システム１００は、図２に示される利用フェーズUP（Using Phase）において、大脳領域抽出対象のT1強調画像である３次元医用画像データImU1を、学習済みのニューラルネットワークLMへ入力して、３次元医用画像データの関心領域である大脳領域ImU2を生成する。そして、医用画像処理システム１００は、大脳領域ImU2に基づいて、患者の対象部位の３次元オブジェクトを生成する。図４に、患者の脳の３次元オブジェクトの一例を示す。図４に示されるように、本実施形態では、患者の大脳の３次元オブジェクトBRが生成される。
以下、具体的に説明する。
外部装置１０は、同一の患者から撮像されたT1強調画像とCEFIESTA画像とが対応付けられたデータを画像処理装置２０へ入力する。また、外部装置１０は、患者から撮像された大脳領域抽出対象のT1強調画像を画像処理装置２０へ入力する。大脳領域抽出対象のT1強調画像は、後述する画像処理装置２０において、大脳領域の抽出処理が行われる。
画像処理装置２０は、CPU(Central Processing Unit)、各処理ルーチンを実現するためのプログラム等を記憶したROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、記憶手段としてのメモリ、ネットワークインタフェース等を含んだコンピュータによって実現される。図１に示されるように、画像処理装置２０は、機能的には、取得部２１と、医用画像記憶部２２と、データ設定部の一例である平均データ生成部２３と、平均データ記憶部２３Ａと、学習用データ生成部２４と、学習用データ記憶部２５と、学習部２６と、学習済みモデル記憶部２７と、変換部２８と、領域抽出部３０と、オブジェクト生成部３２とを備えている。
取得部２１は、外部装置１０から入力された、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータを取得する。そして、取得部２１は、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータを、医用画像記憶部２２へ格納する。また、取得部２１は、外部装置１０から入力された、大脳領域抽出対象のT1強調画像を取得する。T1強調画像は、開示の技術の対象データの一例である。
医用画像記憶部２２には、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータが格納される。本実施形態のCEFIESTA画像は、大脳領域と大脳領域とは異なる領域とが２値化されている。CEFIESTA画像における大脳領域の抽出は、医師等の人手によって予め行われる。例えば、図２に示されるように、CEFIESTA画像のうちの大脳領域が白画素によって表現され、大脳領域とは異なる領域が黒画素によって表現される。
例えば、図５に示されるように、医用画像記憶部２２には、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられて格納される。
図５に示される「患者ID」は患者を識別するための識別情報である。また、「画像ID」は画像を識別するための識別情報であり、１つの画像IDが１つの断面に対応する。このため、１枚の画像は脳の１つの断面を表す画像である。本実施形態では、1人の患者から得られた各断面のT1強調画像又はCEFIESTA画像を、１つの３次元医用画像データとして取り扱う。
本実施形態においては、医用画像記憶部２２に格納されたデータに基づいて、標準データの一例である平均データを生成した後、学習用データを生成する。図６に、平均データの生成を説明するための説明図を示す。
図６に示されるように、患者Xの頭部の３次元医用画像データHXと、患者Yの頭部の３次元医用画像データHYと、患者Zの頭部の３次元医用画像データHZとを比較すると、個人差に起因して、大きさ及び形状等が異なる。更に、医用画像の撮像機器による特性の違いから、３次元医用画像データの大きさ、形状、向き、及び位置は、ばらばらなものとなる。このため、これら複数の患者の医用画像をそのまま学習用データとしてニューラルネットワークを学習させたとしても、精度の良い結果を得ることはできない。
そこで、本実施形態においては、ばらつきのある３次元医用画像データ及び３次元医用画像データの関心領域の各々について、位置、大きさ、向きを揃えて学習用データを生成する。
具体的には、本実施形態では、図６に示されるように、複数の患者の各々の３次元医用画像データから、平均の頭部の３次元医用画像データである平均データHAVを生成する。そして、本実施形態では、複数の患者の頭部の３次元医用画像データの各々を、平均データに近づけるようにアフィン変換等の変換処理を行う。これにより、複数の患者の３次元医用画像データ（T1強調画像及びCIFIESTA画像等）の各々は、位置、大きさ、及び向きの違いが抑えられ、位置、大きさ、及び向きが揃えられたデータとなる。
以下、具体的に説明する。
平均データ生成部２３は、標準を表す３次元画像データである標準データの一例である平均データを設定する。具体的には、平均データ生成部２３は、３次元医用画像データである複数のT1強調画像の各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均して、複数のT1強調画像の平均データを生成する。
具体的には、平均データ生成部２３は、以下の（１）～（４）に示される手順に従って、患者のT1強調画像の平均データを生成する。
（１）平均データ生成部２３は、医用画像記憶部２２に格納された複数のデータから、頭部の３次元医用画像データであるT1強調画像を取得する。例えば、平均データ生成部２３は、医用画像記憶部２２に格納されたデータの中から、１０件のT1強調画像を読み出す。
（２）平均データ生成部２３は、読み出した１０件のT1強調画像の中から、基準となるT1強調画像である基準データを１つ選択する。なお、基準データは、ユーザによって選択されてもよい。
（３）平均データ生成部２３は、基準データとは異なる９件のT1強調画像の各々を、１つの基準データに近づけるようにアフィン変換等の変換を行う。
（４）平均データ生成部２３は、基準データのT1強調画像と、アフィン変換等の変換処理が施された９件のT1強調画像とを加算平均することにより、頭部の平均データを得る。そして、平均データ生成部２３は、T1強調画像の平均データを、平均データ記憶部２３Ａに格納する。
これにより、複数の３次元医用画像データの大きさ、向き、及び位置が揃えられた平均データが得られたことになる。例えば、図６に示されるように、複数の患者の各々の頭部の大きさ、向き、及び位置が異なるT1強調画像HX，HY，HZの、大きさ、向き、及び位置が揃えられ、平均データHAVが得られる。
学習用データ生成部２４は、平均データ記憶部２３Ａに格納された頭部の平均データを用いて、医用画像記憶部２２に格納された複数の患者の各々のデータを平均データへ近づけることにより、学習用データを生成する。
具体的には、学習用データ生成部２４は、医用画像記憶部２２に格納された複数の学習用の３次元医用画像データである学習用のT1強調画像の各々について、平均データ記憶部２３Ａに格納されたT1強調画像の平均データとの間の一致度が大きくなるように、複数の学習用のT1強調画像の各々の大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行う。
本実施形態の学習用データ生成部２４は、変換処理として、既知の技術である異方性スケーリングの一例であるアフィン変換を用いる。なお、アフィン変換によって変換処理が行われる場合には、一致度の一例である相関値が大きくなるように、アフィン変換処理がなされる。なお、１つの学習用のT1強調画像に対してアフィン変換処理が行われた場合には、１つのアフィン変換行列が得られる。
また、学習用データ生成部２４は、該学習用のT1強調画像の関心領域が抽出されているCEFIESTA画像の各々について、同様の変換処理を行う。具体的には、学習用データ生成部２４は、学習用のT1強調画像を変換する際に得られたアフィン変換行列を用いて、関心領域が抽出されているCEFIESTA画像を変換する。
そして、学習用データ生成部２４は、変換された学習用の３次元医用画像データであるT1強調画像と、変換された関心領域であるCEFIESTA画像とを対応付けて学習用データを生成する。
これにより、位置、大きさ、及び向きがばらばらであった複数のT1強調画像及び複数のCEFIESTA画像各々の大きさ、向き、及び位置が揃えられた状態となる。
図７に、学習用のT1強調画像と学習用のCEFIESTA画像の大きさ、向き、及び位置を揃える処理を説明するための説明図を示す。図７(A)(B)には、ある患者P1の頭部の３次元医用画像データであるT1強調画像H1と、患者P1の大脳領域のCEFIESTA画像B1とが示されている。
まず、学習用データ生成部２４は、図７（A）に示されるように、ある患者P1の頭部のT1強調画像H1に対して、頭部の平均データHAVとの間の一致度が大きくなるように、アフィン変換Tを行い、変換処理がなされた患者P1の頭部のT1強調画像H1’を生成する。このときのアフィン変換Tにより、アフィン変換行列が得られる。
次に、学習用データ生成部２４は、図７（B）に示されるように、患者P1の大脳領域が抽出されたCEFIESTA画像B1に対し、頭部のT1強調画像H1を頭部の平均データHAVへ一致させた際に得られたアフィン変換行列を用いて変換処理を実施し、変換処理がなされた患者P1の大脳領域のCEFIESTA画像B1’を生成する。ただし、頭部のT1強調画像H1とCEFIESTA画像B1の元となるCEFIESTA画像の頭部の大きさ、向き、及び位置は既に揃っているものとする。
これにより、ある患者P1のデータが平均データに近づけられた、患者P1の頭部のT1強調画像H1’と患者P1の大脳領域のCEFIESTA画像B1’とが得られる。
そして、学習用データ生成部２４は、変換された頭部のT1強調画像H1’に対応する３次元医用画像データと、変換された大脳領域のCEFIESTA画像B1’に対応する大脳領域とを対応付けて学習用データを生成する。
学習用データ生成部２４は、医用画像記憶部２２に格納された複数のデータの各々に対して、上記の変換処理を実施し、大きさ、向き、及び位置が揃えられた学習用データを生成し、学習用データ記憶部２５へ格納する。なお、学習用データを生成する際には、医用画像記憶部２２に格納された複数のデータから、平均データを生成する際に用いたデータを除くようにしてもよい。
学習用データ生成部２４によって、患者毎の頭部の大きさ、向き、及び位置の差が吸収され、患者毎の脳の大きさ及び形状等のばらつきが低減された複数の患者の学習用データが得られる。更に、撮像条件の異なりによって発生したばらつきが低減された複数の患者の学習用データが得られる。
学習用データ記憶部２５には、学習用データ生成部２４によって生成された、複数の患者の学習用データが格納される。具体的には、学習用データ記憶部２５には、複数の患者の各々についての、大きさ、向き、及び位置が揃えられたT1強調画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データが格納される。
例えば、図８に示されるように、学習用データ記憶部２５には、複数の患者の各々についての大きさ、向き、及び位置が揃えられたT1強調画像と、大きさ、向き、及び位置が揃えられたCEFIESTA画像とが対応付けられて格納される。
学習部２６は、学習用データ記憶部２５に格納された複数の学習用データに基づいて、T1強調画像から大脳領域を抽出するための学習済みモデルを生成する。本実施形態では、上記図２に示されるような学習済みのニューラルネットワークLMを生成する。なお、本実施形態においては学習アルゴリズムの一例としてディープラーニングを用いる。そして、学習部２６は、学習済みのニューラルネットワークLMを学習済みモデル記憶部２７へ格納する。
変換部２８は、取得部２１により取得された大脳領域抽出対象のT1強調画像に対し、平均データ記憶部２３Ａに格納された頭部の平均データとの間の一致度が大きくなるように、対象データの大きさ、向き、及び位置の少なくとも１つを平均データと揃えるようにアフィン変換処理を行う。そして、変換部２８は、大脳領域抽出対象のT1強調画像に対して当該変換処理がされた変換済データを生成する。
本実施形態においては、頭部のばらつき等を低減させるために、頭部の平均のデータを生成し、その頭部の平均データとの一致度が大きくなるように各患者のデータを平均化して学習用データを生成した。そして、それらの学習用データから学習済みモデルが生成されているため、大脳領域抽出対象のT1強調画像に対しても同様の変換処理を実施する必要がある。このため、変換部２８は、大脳領域抽出対象のT1強調画像と頭部の平均データとの間の一致度が大きくなるように、アフィン変換処理を行う。そして、変換部２８は、アフィン変換処理が施された変換済データを得る。
領域抽出部３０は、学習済みモデル記憶部２７に格納された学習済みのニューラルネットワークLMを読み出す。そして、領域抽出部３０は、変換部２８によって変換処理が行われた変換済データを学習済みのニューラルネットワークLMへ入力して、大脳領域を抽出する。これにより、造影剤を投与せずに撮像されたT1強調画像から、大脳領域が自動的に抽出されたことになる。
オブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域に基づいて、患者の対象部位の３次元オブジェクトを生成する。なお、学習済みのニューラルネットワークLMから出力される画像は、大脳領域が「１」で表現され、大脳以外の領域が「０」で表現されている２値化画像である。本実施形態では、大脳の３次元オブジェクトを描画する際に既知の技術であるボリュームレンダリングを用いるため、グレースケール画像が必要となる。
そこで、オブジェクト生成部３２は、２値化画像うち「１」で表現されている大脳領域に基づいて、変換前の元の３次元医用画像データであるT1強調画像から大脳領域を抽出する。
具体的には、オブジェクト生成部３２は、領域抽出部３０によって得られた大脳領域に対し、変換部２８によって実施された、大きさ、向き、及び位置を合わせる変換処理に応じた逆変換処理を行う。
例えば、図７(C)に示されるように、ある患者P2の頭部の３次元オブジェクトH2が、変換部２８によるアフィン変換処理によって変換済データH2となった場合、その変換済データH2を学習済みのニューラルネットワークLMへ入力して、大脳領域B2が得られる。なお、大脳領域B2はボリュームデータである。
オブジェクト生成部３２は、大脳領域B2に対し、変換部２８によって実施されたアフィン変換処理に応じた逆変換処理INVTを行い、変換前のT1強調画像と逆変換処理がなされた大脳領域B2との対応付けにより、T1強調画像から大脳領域を抽出する。具体的には、オブジェクト生成部３２は、逆変換処理がなされた大脳領域B2と元の３次元医用画像データであるT1強調画像との間のアダマール積をとることにより、T1強調画像から大脳領域を抽出する。これにより、グレースケールの大脳領域が抽出される。
そして、オブジェクト生成部３２は、変換前の元のT1強調画像から抽出された大脳領域に基づいて、既知の技術であるボリュームレンダリングを用いて、患者の脳の３次元オブジェクトを表示する。具体的には、オブジェクト生成部３２は、患者の脳のボリュームデータから生成された患者の脳の３次元オブジェクトを出力装置４０へ出力する。
出力装置４０は、オブジェクト生成部３２から出力された３次元オブジェクトを結果として出力する。出力装置４０は、例えばディスプレイ等によって構成される。出力装置４０からは、例えば、図４に示されるような、大脳の３次元オブジェクトBRが表示される。
画像処理装置２０は、例えば、図９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、外部装置１０及び出力装置４０等が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。
＜医用画像処理システム１００の作用＞
次に、図１０～図１２を参照して、本実施形態の医用画像処理システム１００の作用について説明する。医用画像処理システム１００が稼動し、外部装置１０から、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータが入力されると、取得部２１は、そのデータの各々を医用画像記憶部２２へ格納する。そして、平均データ生成の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１０に示す平均データ生成処理ルーチンを実行する。
＜平均データ生成処理ルーチン＞
ステップＳ５０において、平均データ生成部２３は、例えば、医用画像記憶部２２に格納された１０件のT1強調画像を読み出す。
ステップＳ５２において、平均データ生成部２３は、上記ステップＳ５０で読み出された複数の患者のT1強調画像から、１つの基準データを選択する。
ステップＳ５４において、平均データ生成部２３は、上記ステップＳ５２で選択された基準データとは異なる９件のT1強調画像の各々について、上記ステップＳ５２で選択された基準データとT1強調画像との間の大きさ、向き、及び位置の少なくとも１つを揃えるように、アフィン変換を行う。
ステップＳ５６において、平均データ生成部２３は、上記ステップＳ５２で選択された基準データに対応するT1強調画像と、上記ステップＳ５４でアフィン変換が行われたT1強調画像とを加算平均して、平均データを生成する。
ステップＳ５８において、平均データ生成部２３は、上記ステップＳ５６で生成された平均データを、平均データ記憶部２３Ａへ格納する。
＜学習用データ生成処理ルーチン＞
次に、学習用データ生成の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１１に示す学習用データ生成処理ルーチンを実行する。
ステップＳ７０において、学習用データ生成部２４は、医用画像記憶部２２へ格納された、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータから、１つのデータを読み出す。
ステップＳ７２において、学習用データ生成部２４は、平均データ記憶部２３Ａに格納されている平均データを読み出す。
ステップＳ７４において、学習用データ生成部２４は、上記ステップＳ７０で読み出されたデータのうちのT1強調画像と上記ステップＳ７２で読み出された平均データとの間の大きさ、向き、及び位置の少なくとも１つを揃えるように、T1強調画像に対してアフィン変換を行う。このとき、アフィン変換行列が得られる。
ステップＳ７６において、学習用データ生成部２４は、上記ステップＳ７０で読み出されたデータのうちのCEFIESTA画像を、上記ステップＳ７２で読み出された平均データと揃えるように、上記ステップＳ７４で得られたアフィン変換行列を用いて、アフィン変換を行う。
ステップＳ７８において、学習用データ生成部２４は、上記ステップＳ７４で変換処理がなされたT1強調画像と、上記ステップＳ７６で変換処理がなされたCEFIESTA画像とを対応付けて、学習用データ記憶部２５へ１つの学習用データとして格納する。
ステップＳ８０において、学習用データ生成部２４は、医用画像記憶部２２に格納されている全てのデータについて、上記ステップＳ７０～ステップＳ７８の処理が実行されたか否かを判定する。全てのデータについて、上記ステップＳ７０～ステップＳ７８の処理が実行されている場合には、学習用データ生成処理ルーチンを終了する。一方、上記ステップＳ７０～ステップＳ７８の処理が実行されていないデータが存在する場合には、ステップＳ７０へ戻る。なお、医用画像記憶部２２に格納された複数のデータのうちの平均データを生成する際に用いられたデータについては、学習用データの生成から除外するようにしてもよい。
＜学習処理ルーチン＞
上記学習用データ生成処理ルーチンによって、複数の患者の各々についての学習用データが生成され、学習用データ記憶部２５に学習用データが格納されると、ニューラルネットワークMに対する機械学習処理の実行が可能となる。このため、学習処理の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１２に示す学習処理ルーチンを実行する。
ステップＳ１００において、学習部２６は、学習用データ記憶部２５に格納された複数の学習用データを取得する。
ステップＳ１０２において、学習部２６は、上記ステップＳ１００で取得された複数の学習用データに基づいて、T1強調画像から大脳領域を抽出するための学習済みニューラルネットワークLMを機械学習によって生成する。
ステップＳ１０４において、学習部２６は、上記ステップＳ１０２で生成された学習済みニューラルネットワークLMを、学習済みモデル記憶部２７へ格納して、学習処理ルーチンを終了する。
＜画像処理ルーチン＞
上記学習処理ルーチンによって、学習済みのニューラルネットワークLMが、学習済みモデル記憶部２７に格納されると、学習済みのニューラルネットワークLMを用いての大脳領域の抽出が可能となる。このため、外部装置１０から、大脳領域抽出対象のT1強調画像が画像処理装置２０へ入力されると、画像処理装置２０は、図１３に示す画像処理ルーチンを実行する。
ステップＳ２００において、取得部２１は、大脳領域抽出対象のT1強調画像を取得する。
ステップＳ２０１において、変換部２８は、上記ステップＳ２００で取得された大脳領域抽出対象のT1強調画像に対し、当該T1強調画像と平均データ記憶部２３Ａに格納された頭部の平均データとの間の一致度が大きくなるようにアフィン変換処理を行い、変換済データを生成する。
ステップＳ２０２において、領域抽出部３０は、学習済みモデル記憶部２７に格納された学習済みのニューラルネットワークLMを読み出す。
ステップＳ２０４において、領域抽出部３０は、上記ステップＳ２０１で生成された変換済データを、上記ステップＳ２０２で読み出された学習済みのニューラルネットワークLMへ入力して、大脳領域のボリュームデータを抽出する。
ステップＳ２０６において、オブジェクト生成部３２は、上記ステップＳ２０４で抽出された大脳領域のボリュームデータに対し、上記ステップＳ２０１で実施されたアフィン変換処理に応じた逆変換処理を行う。そして、オブジェクト生成部３２は、アフィン変換前のT1強調画像のボリュームデータと逆変換処理がなされた大脳領域のボリュームデータとのアダマール積により、元のT1強調画像から大脳領域を抽出する。これにより、グレースケールの大脳領域が抽出される。
ステップＳ２０８において、オブジェクト生成部３２は、上記ステップＳ２０６で得られたグレースケールの大脳領域のボリュームデータに基づいて、既知の技術であるボリュームレンダリングを用いて、患者の脳の３次元オブジェクトを生成する。
ステップＳ２１０において、オブジェクト生成部３２は、患者の脳の３次元オブジェクトを出力装置４０へ出力して、画像処理ルーチンを終了する。
出力装置４０は、オブジェクト生成部３２から出力された患者の脳の３次元オブジェクトを結果として出力する。
以上説明したように、第１実施形態に係る画像処理装置２０は、関心領域抽出対象の３次元医用画像データである対象データと、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元医用画像データである平均データとの間の一致度が大きくなるように、対象データの大きさ、向き、及び位置の少なくとも１つを平均データと揃えるように変換処理を行う。そして、画像処理装置２０は、対象データに対して変換処理がされた３次元医用画像データである変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、学習済みモデルによる演算によって変換済データに含まれる関心領域を抽出する。これにより、医用画像から関心領域を精度良く抽出することができる。また、患者から得られる医用画像のばらつきを低減させた学習用データから生成された学習済みモデルによって、医用画像から精度良く関心領域を抽出することができる。
また、本実施形態によれば、医用画像毎のばらつきが低減された学習用データを生成することができるため、少ない学習データで精度の良い学習済みモデルを得ることができる。
また、本実施形態によれば、１人の患者の各断面を表す複数の医用画像の組み合わせを１つの学習用データとして取り扱うことにより、学習用データに、高さ方向の情報が反映される。このため、その学習用データが学習済みモデルへ反映され、患者の３次元オブジェクトを精度良く生成することができる。
また、本実施形態によれは、患者への造影剤の投与が不要であるT1強調画像から、患者へ造影剤を投与して撮像されるCEFIESTA画像から関心領域を抽出した結果と同等に関心領域を抽出することができる。このため、患者の負担を低減させ、かつ精度良く関心領域が抽出されたデータを得ることができる。
また、そのようにして得られた関心領域抽出画像から、患者の対象部位の３次元オブジェクトを精度良く生成することができる。特に、本実施形態によれば、学習済みモデルを用いて、T1強調画像の関心領域を抽出する。そして、本実施形態によれば、その関心領域が抽出されたT1強調画像に基づいて、ボリュームレンダリングにより、患者の対象部位の３次元オブジェクトを精度良く表示すことができる。
＜第２実施形態に係る医用画像処理システム＞
次に、第２実施形態について説明する。なお、第２実施形態に係る医用画像処理システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。第２実施形態では、FIESTA画像から大脳領域を抽出する点が、第１実施形態と異なる。第２実施形態においては、FIESTA強調画像は第１種類の医用画像の一例であり、CEFIESTA画像は第２種類の医用画像の一例である。
上述したように、FIESTA画像は、GE(General Electric)社によるFast Imaging Employing Steady state Acquisitionと称される撮像方式によって撮像される医用画像である。しかし、「CE」が付与されていないFIESTA画像は、患者に対して造影剤を投与しない場合に撮像される医用画像の一例である。第２実施形態によれば、患者へ造影剤を投与して撮像されるCEFIESTA画像から大脳領域を抽出することと同程度に、患者への造影剤の投与が不要であるFIESTA画像から大脳領域を精度良く抽出することができる。このため、第１実施形態と同様に、患者の負担を低減させて大脳領域を精度良く抽出することができる。
第２実施形態の医用画像記憶部２２には、第１実施形態でのT1強調画像とCEFIESTA画像とが対応付けられたデータに替えて、FIESTA画像とCEFIESTA画像とが対応付けられたデータが格納される。
また、第２実施形態の学習用データ記憶部２５には、第１実施形態での複数の患者の各々についての、大きさ、向き、及び位置が揃えられたT1強調画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データに替えて、複数の患者の各々についての、大きさ、向き、及び位置が揃えられたFIESTA画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データが格納される。
また、第２実施形態の領域抽出部３０は、関心領域抽出対象の３次元医用画像データであるFIESTA画像を、第２実施形態の学習済みのニューラルネットワークへ入力して、FIESTA画像から大脳領域を抽出する。これにより、大脳領域が精度良く抽出される。
第２実施形態のオブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域の情報に基づいて、アダマール積を行わずに、領域抽出部３０から出力された「０」、「１」の２値化画像をマーチングキューブ法でサーフェスレンダリングすることにより、大脳領域の３次元オブジェクトを表示する。
なお、第２実施形態に係る医用画像処理システムの他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
以上説明したように、第２実施形態に係る画像処理装置によれば、関心領域抽出対象の３次元医用画像データである対象データとは異なる種類の医用画像により予め学習された学習済みモデルを用いて、対象データから関心領域を抽出することができる。
＜第３実施形態に係る医用画像処理システム＞
次に、第３実施形態について説明する。なお、第３実施形態に係る医用画像処理システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。第３実施形態では、学習用データとして、CEFIESTA画像とCEFIESTA画像との組み合わせを用いる点が、第１実施形態及び第２実施形態と異なる。第３実施形態においては、CEFIESTA画像は第１種類の医用画像及び第２種類の医用画像の一例である。なお、CEFIESTA画像は、患者に対して造影剤を投与した場合に撮像される医用画像である。
第３実施形態の医用画像記憶部２２には、第１実施形態でのT1強調画像とCEFIESTA画像とが対応付けられたデータに替えて、大脳領域が抽出されていないCEFIESTA画像と大脳領域が抽出されているCEFIESTA画像とが対応付けられたデータが格納される。
また、第３実施形態の領域抽出部３０は、関心領域抽出対象の３次元医用画像データであるCEFIESTA画像を、第３実施形態の学習済みのニューラルネットワークへ入力して、CEFIESTA画像から大脳領域を抽出する。これにより、大脳領域が精度良く抽出される。
第３実施形態のオブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域の情報に基づいて、アダマール積を行わずに、領域抽出部３０から出力された「０」、「１」の２値化画像をマーチングキューブ法でサーフェスレンダリングすることにより、大脳領域の３次元オブジェクトを表示する。
なお、第３実施形態に係る医用画像処理システムの他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
以上説明したように、第３実施形態に係る画像処理装置によれば、関心領域抽出対象の３次元医用画像データである対象データとは異なる種類の医用画像により予め学習された学習済みモデルを用いて、対象データから関心領域を抽出することができる。
次に、実施例を説明する。図１４は、本実施形態の画像処理装置２０によって生成された大脳の３次元オブジェクトである。図１４に示されるように、大脳領域が精度良く抽出されていることがわかる。特に、脳溝及び脳回に関して精度良く抽出されていることがわかる。
また、本実施形態によって生成された患者の大脳のボリュームデータと、医師によるCEFIESTA画像に対するラベル付け結果から生成された大脳のボリュームデータとの間の一致度（ダイス係数）を、以下の表に示す。以下の表に示されている結果は、大脳領域が抽出されていないCEFIESTA画像と大脳領域が抽出されているCEFIESTA画像とが対応付けられた学習用データに基づき学習済みモデルを生成し、未知のCEFIESTA画像に対して大脳領域を抽出した結果である。

上記表に示されるように、複数の患者の各々についてのダイス係数は、何れも0.9以上の値となっている。この結果は、従来よりも高精度に大脳の３次元オブジェクトが生成されていることを示している。このため、医用画像から大脳領域が精度良く生成され、大脳の３次元オブジェクトが高精度に生成されているといえる。
なお、開示の技術は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記第１実施形態では、第１種類の医用画像がT1強調画像であり、第２種類の医用画像がCEFIESTA画像である場合を例に説明した。また、上記第２実施形態では、第１種類の医用画像がFIESTA画像であり、第２種類の医用画像がCEFIESTA画像である場合を例に説明した。また、上記第３実施形態では、第１種類の医用画像がCEFIESTA画像であり、第２種類の医用画像もCEFIESTA画像である場合を例に説明した。
しかし、第１種類の医用画像及び第２種類の医用画像の組み合わせは、これに限定されるものではなく、脳領域を医師の手で抽出することが出来得る医用画像であればどのような組み合わせであってもよい。例えば、第１種類の医用画像及び第２種類の医用画像としては、T2強調画像及びCT画像等、医用画像であればどのようなものであってもよい。また、本実施形態では、CEFIESTA画像の２値化画像を用いる場合を例に説明したが、これに限定されるものではなく、グレースケール画像等を用いるようにしてもよい。
また、図１５に示されるように、複数種類の医用画像Im1,Im2,Im3,Im4を用いて学習済みモデルを生成し、任意の種類の医用画像から異なる種類の医用画像を生成する、又は、医用画像から対象の領域を抽出して、対象部位の３次元オブジェクトBRを生成するようにしてもよい。
また、本実施形態においては、患者の対象部位の一例として脳を用いる場合を例に説明したが、これに限定されるものではなく、他の部位であってもよい。例えば、動脈の３次元オブジェクトを生成する際に、本実施形態を用いるようにしてもよい。
また、本実施形態では、異方性スケーリングの一例としてアフィン変換を用いる場合を例に説明したが、これに限定されるものではなく、他の手法を用いて変換処理を行っても良い。
また、上記実施形態では、平均データ生成処理ルーチンと、学習用データ生成処理ルーチンと、学習処理ルーチンと、画像処理ルーチンとが同一の画像処理装置２０内で実行される場合を例に説明したが、これに限定されるものではない。例えば、平均データ生成処理ルーチンを実行する平均データ生成装置、学習用データ生成処理ルーチンを実行する学習用データ生成装置、学習処理ルーチンを実行する画像処理モデル生成装置、及び画像処理ルーチンのみを実行する画像処理装置のように、別々の装置として構成するようにしてもよい。
例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。
また、本実施形態では、第１種類の医用画像と第２種類の医用画像とを用いて学習済みモデルを生成し、関心領域抽出対象の３次元医用画像データである対象データを学習済みモデルへ入力して、関心領域を抽出する場合を例に説明したが、これに限定されるものではなく、対象データに対して所定の変換処理を施してもよい。
例えば、関心領域抽出対象の３次元医用画像データがT2強調画像であり、第３実施形態の画像処理装置２０を用いてT2強調画像から関心領域を抽出する場合を例に考える。この場合、T2強調画像はCEFIESTA画像とは異なる種類の医用画像であるものの、T2強調画像の撮像方式はCEFIESTA画像の撮像方式と似ている。このため、T2強調画像に何らかの変換処理を施し、CEFIESTA画像に似させたうえで、CEFIESTA画像によって予め学習された学習済みモデルへ入力することにより、T2強調画像から関心領域を抽出することができる。このため、この場合には、変換部２８は、対象データであるT2強調画像に対して平均データと揃える変換処理を行った後に、T2強調画像の輝度値の階調を補正する変換処理を行うことにより変換済データを生成する。例えば、変換部２８は、T2強調画像に対してγ補正処理を施すことにより、CEFIESTA画像に似させたうえで、γ補正処理がなされたT2強調画像を学習済みモデルへ入力して関心領域を抽出することもできる。なお、変換部２８は、T2強調画像の輝度値の階調を補正する変換処理を行った後に、T2強調画像に対して平均データと揃える変換処理を行ってもよい。
また、関心領域抽出対象の３次元医用画像データである対象データの一部が欠落していている場合には、その部分を補完して学習済みモデルへ入力するようにしてもよい。
例えば、医療現場においては、患者の頭部全体ではなく、患部付近のみを撮像する場合がある。この場合、そのような患部のみが写った３次元医用画像データである対象データを、頭部全体が写った３次元医用画像データの学習用データから生成された学習済みモデルへ入力したとしても、対象データの患部以外の欠落している部分が原因となり、関心領域の抽出に失敗する場合がある。
このため、対象データの一部が欠落していている場合には、その部分を平均データから補完するようにしてもよい。具体的には、この場合、変換部２８は、対象データを平均データと揃えるように変換処理を行う際に、対象データと一致した平均データの領域とは異なる領域を、対象データへ統合することにより、対象データを補完して、変換済データを生成する。なお、この場合、変換部２８は、平均データの輝度値の平均又は分散と、対象データの輝度値の平均又は分散とが近づくような補正処理を平均データに対して行って統合をすることにより、変換済データを生成するようにしてもよい。そして、領域抽出部３０は、補完された対象データを学習済みモデルへ入力して関心領域を抽出する。なお、この場合、領域抽出部３０は、抽出された関心領域から、対象データに対応する患部の箇所のみ抽出結果とする。
また、上記実施形態では、標準を表す３次元画像データとして平均データを用いる場合を例に説明したが、これに限定されるものではない。
例えば、複数の３次元医用画像データから予め選定された３次元医用画像データを標準データとしてもよい。この場合には、例えば、標準的な頭部を有している患者の３次元医用画像データが、標準データとして予め設定される。
または、例えば、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データを標準データとしてもよい。この場合には、例えば、複数の３次元医用画像データに対して統計的処理の一例である主成分分析を実施し、それにより得られた第１主成分等に相当する３次元画像データを標準データとすることができる。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
２０２０年３月４日に出願された日本国特許出願２０２０－０３７１３５号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

  1. 関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、
    前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、
    前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、
    を含み、
    前記学習済みモデルは、学習用の３次元医用画像データと該学習用の３次元医用画像データに含まれる関心領域との組み合わせである学習用データに基づいて、予め学習されたモデルであり、
    前記学習用データのうちの前記学習用の３次元医用画像データは、第１種類の医用画像であり、
    前記学習用データのうちの前記関心領域は、第２種類の医用画像から抽出された関心領域であり、
    第１種類の医用画像及び第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像であり、
    前記対象データは、第１種類の医用画像及び第２種類の医用画像とは異なる種類の医用画像であり、
    前記変換部は、前記対象データの輝度値の階調を補正する変換処理を行うと共に、前記対象データに対して前記変換処理を行うことにより、前記変換済データを生成する、
    画像処理装置。
  2. 関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、
    前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、
    前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、
    前記領域抽出部によって得られた前記関心領域に対し、前記対象データに対する前記変換処理に応じた逆変換処理を行い、変換前の前記対象データと前記逆変換処理がなされた前記関心領域との対応付けにより、前記対象データから関心領域を抽出し、該関心領域に基づいて、前記関心領域の３次元オブジェクトを生成する３次元オブジェクト生成部と、 を含む画像処理装置。
  3. 関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、
    前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、
    前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、
    を含み、
    前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を、前記対象データへ統合することにより、前記対象データを補完して、前記変換済データを生成する、
    画像処理装置。
  4. 前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データである、
    請求項１に記載の画像処理装置。
  5. 前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データである、
    請求項１に記載の画像処理装置。
  6. 前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データである、
    請求項１に記載の画像処理装置。
  7. 前記学習済みモデルは、学習用の３次元医用画像データと該学習用の３次元医用画像データに含まれる関心領域との組み合わせである学習用データに基づいて、予め学習されたモデルである、
    請求項２又は請求項３に記載の画像処理装置。
  8. 前記学習用データは、
    前記標準データとの一致度が大きくなるように前記変換処理がなされた前記学習用の３次元医用画像データと、該学習用の３次元医用画像データのうちの関心領域と、が対応付けられたデータである、
    請求項７に記載の画像処理装置。
  9. 前記対象データの輝度値の階調を補正する変換処理は、γ補正処理である、
    請求項１に記載の画像処理装置。
  10. 前記３次元オブジェクト生成部は、前記変換前の前記対象データと前記逆変換処理がなされた前記関心領域とのアダマール積によって、前記変換前の前記対象データと前記関心領域との対応付けを行うことにより、前記対象データから関心領域を抽出し、該関心領域に基づくボリュームレンダリングにより、前記関心領域の３次元オブジェクトを表示する、
    請求項２に記載の画像処理装置。
  11. 前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を前記対象データへ統合する際に、前記標準データの輝度値の平均又は分散と、前記対象データの輝度値の平均又は分散とが近づくような補正処理を前記標準データに対して行って、前記統合をすることにより、前記変換済データを生成する、
    請求項３に記載の画像処理装置。
  12. コンピュータを、請求項１～請求項１１の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。
JP2022504437A 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム Active JP7323885B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020037135 2020-03-04
JP2020037135 2020-03-04
PCT/JP2021/008263 WO2021177374A1 (ja) 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021177374A1 JPWO2021177374A1 (ja) 2021-09-10
JPWO2021177374A5 JPWO2021177374A5 (ja) 2023-02-21
JP7323885B2 true JP7323885B2 (ja) 2023-08-09

Family

ID=77613434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504437A Active JP7323885B2 (ja) 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP7323885B2 (ja)
WO (1) WO2021177374A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190030371A1 (en) 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019044078A1 (ja) 2017-08-28 2019-03-07 富士フイルム株式会社 脳画像正規化装置、方法およびプログラム
JP2019525786A (ja) 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
JP2019531783A (ja) 2016-08-26 2019-11-07 エレクタ、インク.Elekta, Inc. 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
WO2019216125A1 (ja) 2018-05-09 2019-11-14 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
JP2019534763A (ja) 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
CN110766652A (zh) 2019-09-06 2020-02-07 上海联影智能医疗科技有限公司 网络训练方法、装置、分割方法、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525786A (ja) 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
JP2019531783A (ja) 2016-08-26 2019-11-07 エレクタ、インク.Elekta, Inc. 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
JP2019534763A (ja) 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
US20190030371A1 (en) 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019044078A1 (ja) 2017-08-28 2019-03-07 富士フイルム株式会社 脳画像正規化装置、方法およびプログラム
WO2019216125A1 (ja) 2018-05-09 2019-11-14 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
CN110766652A (zh) 2019-09-06 2020-02-07 上海联影智能医疗科技有限公司 网络训练方法、装置、分割方法、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021177374A1 (ja) 2021-09-10
JPWO2021177374A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
US11195277B2 (en) Systems and methods for generating normative imaging data for medical image processing using deep learning
Jog et al. Random forest regression for magnetic resonance image synthesis
US10692198B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images
Ebner et al. An automated localization, segmentation and reconstruction framework for fetal brain MRI
US20130136322A1 (en) Image-Based Detection Using Hierarchical Learning
US20140126789A1 (en) Image diagnosis assisting apparatus, and method
JP7203978B2 (ja) 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
KR102178803B1 (ko) 흉부 의료 영상 판독 지원 시스템 및 방법
CN108074270A (zh) 一种pet衰减校正方法和装置
US20160292844A1 (en) Medical image registration apparatus, medical image registration method, and medical image registration program
Zhang et al. PTNet3D: A 3D high-resolution longitudinal infant brain MRI synthesizer based on transformers
Despotovic et al. Brain volume segmentation in newborn infants using multi-modal MRI with a low inter-slice resolution
Lu et al. Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images
Torbati et al. MISPEL: A supervised deep learning harmonization method for multi-scanner neuroimaging data
US20070223796A1 (en) Method and system for automatic evaluation of an image data set of a subject
JP7323885B2 (ja) 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
WO2019044077A1 (ja) 医用画像処理装置、方法およびプログラム
KR101801376B1 (ko) 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
JP6041781B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
US11138736B2 (en) Information processing apparatus and information processing method
US20150016701A1 (en) Pulse sequence-based intensity normalization and contrast synthesis for magnetic resonance imaging
Souvenir et al. Isomap and nonparametric models of image deformation
US20210304425A1 (en) Image processing apparatus, image processing method, and storage medium
Zhao et al. Using anatomic magnetic resonance image information to enhance visualization and interpretation of functional images: a comparison of methods applied to clinical arterial spin labeling images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220902

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R150 Certificate of patent or registration of utility model

Ref document number: 7323885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150