JP7387270B2 - 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7387270B2
JP7387270B2 JP2019040876A JP2019040876A JP7387270B2 JP 7387270 B2 JP7387270 B2 JP 7387270B2 JP 2019040876 A JP2019040876 A JP 2019040876A JP 2019040876 A JP2019040876 A JP 2019040876A JP 7387270 B2 JP7387270 B2 JP 7387270B2
Authority
JP
Japan
Prior art keywords
image data
data
medical image
subject
mammography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019040876A
Other languages
English (en)
Other versions
JP2020141867A (ja
Inventor
由昌 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019040876A priority Critical patent/JP7387270B2/ja
Priority to US16/809,673 priority patent/US11615270B2/en
Publication of JP2020141867A publication Critical patent/JP2020141867A/ja
Application granted granted Critical
Publication of JP7387270B2 publication Critical patent/JP7387270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、医用画像処理装置、学習方法、Ｘ線診断装置、医用画像処理方法、およびプログラムに関する。
被検体に対して複数の角度からＸ線を照射することによって複数の投影データを順次取得するトモシンセシス撮影が知られている。トモシンセシス撮影により取得された複数の投影データを再構成して得られるボリュームデータによれば、基準方向（例えば撮影台の法線方向）と直交する方向の複数の断層像（スライス画像）が得られる。乳房のトモシンセシス撮影の場合、乳腺の重なりが少ない断層像が得られるため、マンモグラフィ撮影では描出困難な高濃度乳腺に臨床的な有用性がある。
一方、トモシンセシス撮影により取得された複数の断層像から１枚の２次元画像（合成２Ｄ画像）を生成する技術が知られている。例えば、複数の断層像のスライス方向に並ぶ各画素について、当該スライス方向と直交する方向に並ぶ画素群の中で最小値を投影することにより２次元画像を生成する、いわゆるＭｉｎＩＰ（Minimum Intensity Projection）と呼ばれる技術が知られている。この種の技術により生成される２次元画像によれば、トモシンセシス撮影により得られた複数の断層像を１枚の要約画像として提供できる。
しかし、上記技術により生成される２次元画像（合成２Ｄ画像）は、複数の断層像のスライス方向に並ぶ各画素について、当該スライス方向と直交する方向に並ぶ画素群の中で１つの画素値（ＭｉｎＩＰの場合は最小値）のみが反映され、その他の画素値は反映されない。そのため、例えば石灰化の背景にある乳腺の情報等が含まれない。また、トモシンセシス撮影で照射されるＸ線はマンモグラフィ撮影で照射されるＸ線よりも低い。そのため、上記技術により生成される２次元画像は、マンモグラフィ撮影により得られる画像と比べてコントラストが大きく異なる。さらに、トモシンセシス撮影は、Ｘ線管を移動させながらＸ線を照射させて行うので、トモシンセシス撮影により得られる断層像には、Ｘ線管の移動に伴うアーチファクトが含まれてしまう。これは、上記技術により生成される２次元画像にも影響を与える。
米国特許第９７９２７０３号明細書
本発明が解決しようとする課題は、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることである。
実施形態の医用画像処理装置は、画像取得部と、画像生成部とを備える。画像取得部は、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する。画像生成部は、前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する。
第１の実施形態に係る医用画像処理装置１０の一構成例を示すブロック図。 第１の実施形態に係る学習機能２４の学習時におけるデータフローの一例を示す図。 第１の実施形態に係る学習機能２４の学習時におけるデータフローの他の一例を示す図。 第１の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 第１の実施形態に係る画像生成機能２２の運用時におけるデータフローの他の一例を示す図。 第２の実施形態に係る学習機能２４の学習時におけるデータフローの一例を示す図。 第２の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 第３の実施形態に係る学習機能２４の学習時におけるデータフローの一例を示す図。 第３の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 第３の実施形態に係る画像生成機能２２の運用時におけるデータフローのより詳細な一例を示す図。 第４の実施形態に係る医用画像処理装置１０の一構成例を示すブロック図。 第４の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 第５の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 ミニバッチ領域について説明するための図。 第６の実施形態に係る学習機能２４の学習時におけるデータフローの一例を示す図。 第６の実施形態に係る画像生成機能２２の運用時におけるデータフローの一例を示す図。 第７の実施形態に係るＸ線診断装置１００Ｆの構成の一例を示す図。 Ｘ線診断装置１による投影データの取得手法の一例を示す図。
以下、図面を参照して、実施形態の医用画像処理装置、学習方法、Ｘ線診断装置、医用画像処理方法、およびプログラムを説明する。
（第１の実施形態）
図１は、第１の実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。医用画像処理装置１０は、入力回路１１、ディスプレイ１２、記憶回路１３、ネットワーク接続回路１４および処理回路１５を備える。
入力回路１１は、たとえばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路１５に出力する。ディスプレイ１２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成される。
記憶回路１３は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、処理回路１５が利用するプログラムやパラメータデータやその他のデータを記憶する。なお、記憶回路１３の記録媒体内のプログラムおよびデータの一部または全部は、ネットワーク１００を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路１３に与えられてもよい。
また、記憶回路１３は、ネットワーク１００を介して取得した被検体のトモシンセシス撮影にもとづく投影データまたはこの投影データにもとづいて再構成されたボリュームデータを記憶してもよい。
ネットワーク接続回路１４は、ネットワーク１００の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路１４は、この各種プロトコルに従ってネットワーク１００を介して他の電気機器と接続する。ネットワーク１００は、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
医用画像処理装置１０は、Ｘ線診断装置１０１および画像サーバ１０２とネットワーク１００を介して互いにデータ送受信可能に接続される。
Ｘ線診断装置１０１は、例えば、乳房のトモシンセシス撮影やマンモグラフィ撮影を行うマンモグラフィ装置や、長尺のトモシンセシス撮影を行うＸ線ＴＶ装置等から構成される。
処理回路１５は、医用画像処理装置１０を統括制御する機能を実現する。また、処理回路１５は、記憶回路１３に記憶されたプログラムを読み出して実行するプロセッサである。処理回路１５は、トモシンセシス撮影に対応する医用画像データに基づいて２次元画像データを生成する。トモシンセシス撮影に対応する医用画像データは、具体的には、トモシンセシス撮影により取得された投影データ、または、当該投影データを再構成したボリュームデータである。
図１に示すように、処理回路１５は、画像取得機能２１、画像生成機能２２、出力機能２３、学習機能２４を実現する。これらの各機能は、それぞれプログラムの形態で記憶回路１３に記憶されている。画像取得機能２１、画像生成機能２２は、学習済みモデル３２が生成された後に機能し、出力機能２３、学習機能２４は、学習済みモデル３２の生成のために機能する。
画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する。なお、画像取得機能２１は画像取得部の一例である。
画像生成機能２２は、画像取得機能２１により取得された第１の医用画像データに基づいて、被検体の２次元画像データを第２の医用画像データとして生成する。画像生成機能２２は、第１の医用画像データを入力することで第２の医用画像データを出力する学習済みモデル（後述の学習済みモデル３２）を用いる。画像生成機能２２は、学習済みモデルに対して、被検体のトモシンセシス撮影に対応する医用画像データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成する。なお、画像生成機能２２は画像生成部の一例である。
出力機能２３は、Ｘ線診断装置１０１で行われた、被検体のトモシンセシス撮影に対応する医用画像データ（第１の医用画像データ）と、同一被検体のＸ線撮影に対応する２次元画像データである医用画像データ（第２の医用画像データ）とを学習用のデータセットとして出力する。
例えば、乳房のマンモグラフィ撮影は、乳房のトモシンセシス撮影において照射されるＸ線よりも大きい線量で行われる。また、一般的に、乳房のトモシンセシス撮影が行われる場合には、乳房のマンモグラフィ撮影も行われる。そのため、従来のワークフローにより得られる第１および第２の医用画像データを学習用データセットとして利用することができ、効率がよい。なお、出力機能２３は出力部の一例である。
学習機能２４は、出力機能２３により出力された学習用データセットに基づき深層学習を行う。図２に示すように、学習機能２４は、トレーニング入力データとして、被検体のトモシンセシス撮影に対応する複数の投影データ（第１の医用画像データ）を用いる。また、学習機能２４は、トレーニング出力データとして、同一被検体のＸ線撮影に対応する２次元画像データ（第２の医用画像データ）を用いる。
なお、トレーニング入力データとして用いられる第１の医用画像データは、トモシンセシス撮影により取得された投影データに代えて、当該投影データを再構成したボリュームデータでもよい。つまり、図３に示すように、学習機能２４は、トレーニング入力データとして、被検体の複数の投影データを再構成したボリュームデータ（第１の医用画像データ）を用いてもよい。また、トレーニング入力データとして用いられる第１の医用画像データは、トモシンセシス撮影により取得された投影データと、当該投影データを再構成したボリュームデータとの組み合わせでもよい。
学習機能２４は、学習用データセットが入力されるごとに、トレーニング入力データ（被検体のトモシンセシス撮影に対応する医用画像データ）をニューラルネットワーク３１で処理した結果がトレーニング出力データ（同一被検体のＸ線撮影に対応する２次元画像データ）に近づくようにニューラルネットワーク３１のパラメータデータを更新していく、いわゆる学習を行う。ニューラルネットワーク３１のパラメータデータは、例えば、ＣＮＮ（Convolution Neural Network）の誤差逆伝播（バックプロパゲーション）等の手法によって調整され、更新される。学習機能２４は、パラメータデータの変化割合が閾値以内に収束すると、学習が終了したと判断する。学習機能２４は、学習後のパラメータデータに基づいて、例えば、ＤＮＮ（Deep Neural Network）の形態を有する学習済みモデル３２を生成する。なお、学習済みモデル３２は、記憶回路１３に記憶され、運用時に記憶回路１３から読み出される。また、学習済みモデル３２は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。
また、トレーニング入力データの種類と図４や図５に示す運用時の入力データの種類とは一致させるべきである。たとえば、学習時のトレーニング入力データとしての投影データ群の角度範囲および角度刻み（たとえばマイナス７．５度からプラス７．５まで１度刻みで計１６枚など）は、運用時の入力データの角度範囲および角度刻みと一致させるべきである。
以上のように構成された医用画像処理装置１０について、運用時における動作を以下に説明する。
画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する。画像生成機能２２は、画像取得機能２１により取得された第１の医用画像データに基づいて、被検体の２次元画像データを第２の医用画像データとして生成する。
例えば、図４に示したように、画像生成機能２２は、学習済みモデル３２に対して、被検体のトモシンセシス撮影に対応する複数の投影データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成する。なお、図５に示したように、画像生成機能２２は、学習済みモデル３２に対して、被検体の複数の投影データを再構成したボリュームデータ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成してもよい。
画像生成機能２２により生成される２次元画像データは、マンモグラフィ撮影等の２次元画像のＸ線撮影に対応しているので、実際にマンモグラフィ撮影により得られる画像と比べてもコントラストは同様である。また、画像生成機能２２により生成される２次元画像データは、ＭｉｎＩＰ等の技術により生成される２次元画像（合成２Ｄ画像）と比べて、スライス方向と直交する方向に並ぶ情報量は多く、例えば石灰化の背景にある乳腺の情報等も確認できる。さらに、画像生成機能２２により生成される２次元画像データは、トモシンセシス撮影におけるＸ線管の移動に伴うアーチファクトの影響も除外されている。
以上、第１の実施形態によれば、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する画像取得機能２１と、第１の医用画像データに基づいてＸ線撮影に対応する２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、第１の医用画像データを入力することで、同一被検体の第２の医用画像データを生成する画像生成機能２２と、を備えることにより、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることができる。
（第２の実施形態）
以下、第２の実施形態について説明する。第２の実施形態は、第１の医用画像データの内容が第１の実施形態と異なるものである。
第２の実施形態における出力機能２３は、Ｘ線診断装置１０１で行われた、被検体のトモシンセシス撮影に対応する医用画像データ、より具体的には、トモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ（第１の医用画像データ）と、同一被検体のＸ線撮影に対応する２次元画像データである医用画像データ（第２の医用画像データ）とを学習用のデータセットとして出力する。なお、出力機能２３は、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データを第１の医用画像データとして出力してもよい。
学習機能２４は、出力機能２３により出力された学習用データセットに基づき深層学習を行う。図６に示すように、学習機能２４は、トレーニング入力データとして、被検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ（第１の医用画像データ）を用いる。また、学習機能２４は、トレーニング出力データとして、同一被検体のＸ線撮影に対応する２次元画像データ（第２の医用画像データ）を用いる。なお、学習機能２４は、トレーニング入力データとして、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データ（第１の医用画像データ）を用いてもよい。
学習機能２４は、学習用データセットが入力されるごとに、トレーニング入力データ（被検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ）をニューラルネットワーク３１で処理した結果がトレーニング出力データ（同一被検体のＸ線撮影に対応する２次元画像データ）に近づくようにニューラルネットワーク３１のパラメータデータを更新していく、いわゆる学習を行う。ニューラルネットワーク３１のパラメータデータは、例えば、ＣＮＮの誤差逆伝播等の手法によって調整され、更新される。学習機能２４は、パラメータデータの変化割合が閾値以内に収束すると、学習が終了したと判断する。学習機能２４は、学習後のパラメータデータに基づいて、例えば、ＤＮＮの形態を有する学習済みモデル３２を生成する。なお、学習済みモデル３２は、記憶回路１３に記憶され、運用時に記憶回路１３から読み出される。また、学習済みモデル３２は、ＡＳＩＣ、ＦＰＧＡなどの集積回路によって構築されてもよい。
また、トレーニング入力データの種類と図７に示す運用時の入力データの種類とは一致させるべきである。たとえば、学習時のトレーニング入力データとしての一部の投影データまたは断層画像データにおける角度（たとえばマイナス１．５度、マイナス０．５度、プラス０．５度、プラス１．５度など）は、運用時の入力データの角度と一致させるべきである。
以上のように構成された医用画像処理装置１０について、運用時における動作を以下に説明する。
画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データを、第１の医用画像データとして取得する。画像生成機能２２は、画像取得機能２１により取得された第１の医用画像データに基づいて、被検体の２次元画像データを第２の医用画像データとして生成する。なお、画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データを、第１の医用画像データとして取得してもよい。
例えば、図７に示すように、画像生成機能２２は、学習済みモデル３２に対して、被検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成する。なお、画像生成機能２２は、学習済みモデル３２に対して、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成してもよい。
画像生成機能２２により生成される２次元画像データは、マンモグラフィ撮影等の２次元画像のＸ線撮影に対応しているので、実際にマンモグラフィ撮影により得られる画像と比べてもコントラストは同様である。また、画像生成機能２２により生成される２次元画像データは、ＭｉｎＩＰ等の技術により生成される２次元画像（合成２Ｄ画像）と比べて、スライス方向と直交する方向に並ぶ情報量は多く、例えば石灰化の背景にある乳腺の情報等も確認できる。さらに、画像生成機能２２により生成される２次元画像データは、トモシンセシス撮影におけるＸ線管の移動に伴うアーチファクトの影響も除外されている。
以上、第２の実施形態によれば、被検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データを第１の医用画像データとして取得する画像取得機能２１と、第１の医用画像データに基づいてＸ線撮影に対応する２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、第１の医用画像データを入力することで、同一被検体の第２の医用画像データを生成する画像生成機能２２と、を備えることにより、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることができる。
また、第２の実施形態によれば、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータの断層画像のうち、２次元画像データに対応する角度が０度付近の一部の断層画像データを第１の医用画像データとして取得する画像取得機能２１と、第１の医用画像データに基づいてＸ線撮影に対応する２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、第１の医用画像データを入力することで、同一被検体の第２の医用画像データを生成する画像生成機能２２と、を備えることにより、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることができる。
（第３の実施形態）
以下、第３の実施形態について説明する。第３の実施形態は、第１の医用画像データの内容が第１または第２の実施形態と異なるものである。
第３の実施形態における出力機能２３は、Ｘ線診断装置１０１で行われた、被検体のトモシンセシス撮影に対応する医用画像データ、および、トモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ（第１の医用画像データ）と、同一被検体のＸ線撮影に対応する２次元画像データである医用画像データ（第２の医用画像データ）とを学習用のデータセットとして出力する。なお、出力機能２３は、被検体のトモシンセシス撮影に対応する医用画像データ、および、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データを第１の医用画像データとして出力してもよい。
学習機能２４は、出力機能２３により出力された学習用データセットに基づき深層学習を行う。図８に示すように、学習機能２４は、トレーニング入力データとして、被検体のトモシンセシス撮影により取得された複数の投影データと、複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データとを第１の医用画像データとして用いる。また、学習機能２４は、トレーニング出力データとして、同一被検体のＸ線撮影に対応する２次元画像データ（第２の医用画像データ）を用いる。なお、学習機能２４は、トレーニング入力データとして、複数の投影データを再構成したボリュームデータと、ボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データとを第１の医用画像データとして用いてもよい。
学習機能２４は、学習用データセットが入力されるごとに、トレーニング入力データ（被検体のトモシンセシス撮影に対応する医用画像データ、および、トモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ）をニューラルネットワーク３１で処理した結果がトレーニング出力データ（同一被検体のＸ線撮影に対応する２次元画像データ）に近づくようにニューラルネットワーク３１のパラメータデータを更新していく、いわゆる学習を行う。ニューラルネットワーク３１のパラメータデータは、例えば、ＣＮＮの誤差逆伝播等の手法によって調整され、更新される。学習機能２４は、パラメータデータの変化割合が閾値以内に収束すると、学習が終了したと判断する。学習機能２４は、学習後のパラメータデータに基づいて、例えば、ＤＮＮの形態を有する学習済みモデル３２を生成する。なお、学習済みモデル３２は、記憶回路１３に記憶され、運用時に記憶回路１３から読み出される。また、学習済みモデル３２は、ＡＳＩＣ、ＦＰＧＡなどの集積回路によって構築されてもよい。
また、トレーニング入力データの種類と図９に示す運用時の入力データの種類とは一致させるべきである。たとえば、学習時のトレーニング入力データとしての一部の投影データまたは断層画像データにおける角度（たとえばマイナス１．５度、マイナス０．５度、プラス０．５度、プラス１．５度など）は、運用時の入力データの角度と一致させるべきである。
以上のように構成された医用画像処理装置１０について、運用時における動作を以下に説明する。
画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影により取得された複数の投影データ、および、複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データを、第１の医用画像データとして取得する。画像生成機能２２は、画像取得機能２１により取得された第１の医用画像データに基づいて、被検体の２次元画像データを第２の医用画像データとして生成する。なお、画像取得機能２１は、Ｘ線診断装置１０１または画像サーバ１０２から、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータ、および、ボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データを、第１の医用画像データとして取得してもよい。
例えば、図９に示すように、画像生成機能２２は、学習済みモデル３２に対して、被検体のトモシンセシス撮影により取得された複数の投影データ、および、複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成する。なお、画像生成機能２２は、学習済みモデル３２に対して、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータ、および、ボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データ（第１の医用画像データ）を入力することで、当該被検体の２次元画像データを生成してもよい。
画像生成機能２２により生成される２次元画像データは、マンモグラフィ撮影等の２次元画像のＸ線撮影に対応しているので、実際にマンモグラフィ撮影により得られる画像と比べてもコントラストは同様である。また、画像生成機能２２により生成される２次元画像データは、ＭｉｎＩＰ等の技術により生成される２次元画像（合成２Ｄ画像）と比べて、スライス方向と直交する方向に並ぶ情報量は多く、例えば石灰化の背景にある乳腺の情報等も確認できる。さらに、画像生成機能２２により生成される２次元画像データは、トモシンセシス撮影におけるＸ線管の移動に伴うアーチファクトの影響も除外されている。
以上、第３の実施形態によれば、被検体のトモシンセシス撮影により取得された複数の投影データと、複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データとを第１の医用画像データとして取得する画像取得機能２１と、第１の医用画像データに基づいてＸ線撮影に対応する２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、第１の医用画像データを入力することで、同一被検体の第２の医用画像データを生成する画像生成機能２２と、を備えることにより、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることができる。
また、第３の実施形態によれば、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータと、ボリュームデータの断層画像データのうち、２次元画像データに対応する角度が０度付近の一部の断層画像データとを第１の医用画像データとして取得する画像取得機能２１と、第１の医用画像データに基づいてＸ線撮影に対応する２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、第１の医用画像データを入力することで、同一被検体の第２の医用画像データを生成する画像生成機能２２と、を備えることにより、トモシンセシス撮影に対応する画像から高画質な２次元画像を得ることができる。
（第３の実施形態の詳細例）
第３の実施形態における学習済みモデル２２は、例えば、以下のような形態で生成される。図１０は、第３の実施形態に係る学習済みモデル２２の内容の一例を示す図である。学習済みモデル２２は、ＣＮＮを利用したネットワークである。図示するように、学習済みモデル２２は、例えば、コンボリューション層とプーリング層を有するＣＮＮのパラメータをバックプロパゲーションによって求めるディープラーニングによって生成される。コンボリューション層とプーリング層の間には、ＲｅＬＵなどの活性化関数が挟まれてもよい。学習済モデル２２は、例えば、入力層において、被検体のトモシンセシス撮影に対応する医用画像データに適用するＣＮＮと、参照投影データに適用するＣＮＮとを分離させている。参照投影データとは、検体のトモシンセシス撮影により取得された複数の投影データのうち、２次元画像データに対応する角度が０度付近の一部の投影データ、または、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータの断層画像データのうち、２次元画像データに対応する角度が０度付近の一部の断層画像データである。そして、出力層までの任意の層（ある程度、特徴が抽出されてきた層）において、それぞれのＣＮＮの出力が結合（コンカチネット）され、結合されたデータを更にＣＮＮに入力することで２次元画像データが得られるように学習されたものである。図では、被検体のトモシンセシス撮影に対応する医用画像データに適用されるＣＮＮはｎ層で構成され、参照投影データに適用されるＣＮＮはｍ層で構成されるものとしている。層の数ｎとｍは同じ値であってもよいし、異なる値であってもよい。また、参照投影データにはＣＮＮが適用されず、被検体のトモシンセシス撮影に対応する医用画像データ側のＣＮＮの中間層に参照投影データが結合されるようにしてもよい。なお、一般的なＣＮＮでは、出力層に近づくにつれて次元が小さくなるが、実施形態では、適宜、外枠部分を外挿により追加していくことで、同じ次元を維持して処理を進行させてよい。
（第４の実施形態）
以下、第４の実施形態について説明する。図１１は、第４の実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。医用画像処理装置１０は、入力回路１１、ディスプレイ１２、記憶回路１３、ネットワーク接続回路１４および処理回路１５を備える。処理回路１５以外の構成要素は、第１～第３の実施形態で説明したものと同様である。
図１１に示すように、第４の実施形態に係る処理回路１５は、画像取得機能２１、画像生成機能２２、出力機能２３、学習機能２４、抽出機能２５、強調機能２６を実現する。
これらの各機能は、それぞれプログラムの形態で記憶回路１３に記憶されている。画像取得機能２１、画像生成機能２２は、学習済みモデル３２が生成された後に機能し、出力機能２３、学習機能２４は、学習済みモデル３２の生成のために機能する。また、抽出機能２５、強調機能２６は、学習済みモデル３２を用いて二次元画像データを生成する際に機能する。
画像取得機能２１、画像生成機能２２、出力機能２３、学習機能２４は、第１～第３の実施形態のいずれかと同様の構成および機能を有する。すなわち、第１の医用画像データおよび学習済みモデルは、第１～第３の実施形態のいずれかと同様であってよい。従って、学習時の処理についての説明を省略する。
図１２に示すように、運用時において抽出機能２５は、被検体のトモシンセシス撮影により取得された複数の投影データ（第１の医用画像データ）に対して画像処理を行い、画像中の病変候補の位置を抽出し、病変種類を特定する。抽出機能２５の画像処理においては、機械学習、モルフォロジー演算、エッジ抽出など任意の手法が用いられてよい。なお、抽出機能２５は、被検体のトモシンセシス撮影により取得された複数の投影データを再構成したボリュームデータ（第１の医用画像データ）に対して画像処理を行い、画像中の病変候補の位置を抽出し、病変種類を特定してもよい。
強調機能２６は、画像生成機能２２によって、被検体のトモシンセシス撮影により取得された複数の投影データを学習済みモデル２２に入力することで生成された２次元画像データに対して、抽出機能２５によって抽出された病変候補の位置を認識可能にするための画像処理を行い、処理後の画像をディスプレイ１２に表示させる。強調機能２６による画像処理は、病変候補の位置を強調するエフェクト画像を画像に追加したり、病変種類を示す情報（文字、図形等のアノテーションを含む）を付加したりする処理である。係る処理を行うことで、より分かりやすい形態で２次元画像データをディスプレイ１２に表示させることができる。
以上、第４の実施形態によれば、抽出機能２５および強調機能２６を更に備えることにより、より分かりやすい形態で２次元画像データをディスプレイ１２に表示させることができる。
（第５の実施形態）
以下、第５の実施形態について説明する。第５の実施形態の医用画像処理装置１０は、第４の実施形態の医用画像処理装置１０と同様の構成を有する。但し、第５の実施形態の医用画像処理装置１０は、強調機能２６を有してもよいし、有さなくてもよい。また、
第５の実施形態において、第１の医用画像データおよび学習済みモデルは、第１～第３の実施形態のいずれかと同様であってよい。従って、学習時の処理についての説明を省略する。
図１３に示すように、第５の実施形態に係る画像生成機能２２は、出力画像を生成する際に、学習済モデル３２によって出力された２次元画像データに、トモシンセシス撮影により得られた複数の投影データを再構成したボリュームデータの任意の断層画像データを所定のブレンド比でブレンドして２次元画像データを生成する。任意の断層画像データとは、例えば、抽出機能２５によって抽出された病変候補の位置を含む断層画像データである。病変候補の位置がある程度の大きさを有する場合、例えば、病変候補の位置の範囲の中心部を貫通する断層画像のデータが、任意の断層画像データとして選択される。なお、これに限らず、利用者によって選択された断層画像データが選択されてもよいし、一律にボリュームデータの中心部を貫通する断層画像データが選択されてもよい。
画像生成機能２２は、抽出機能２５によって抽出された病変候補の位置を含む断層画像データにαを乗算した画像データと、学習済モデル２２が出力した２次元画像データに１マイナスαを乗算した画像データと、を加算して、ブレンドされた２次元画像データを生成する。αは、ゼロから１の間の値をとる係数である。
以上、第５の実施形態によれば、トモシンセシス撮影により得られた複数の投影データを再構成したボリュームデータの断層画像をブレンドすることで、被検体Ｐの内部状態の視認性を向上させることができる。
（第６の実施形態）
以下、第６の実施形態について説明する。第６の実施形態では、被検体のトモシンセシス撮影により得られた複数の投影データ、または複数の投影データを再構成したボリュームデータと、複数の投影データのうち２次元画像データに対応する角度が０度付近の一部の投影データ、またはボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データとのそれぞれを、スライス平面で分割したミニバッチ領域を対象として学習時および運用時の処理を行う。
図１４に示すように、第６の実施形態における出力機能２３は、トレーニング入力データを生成するために、被検体の被検体のトモシンセシス撮影により得られた複数の投影データと、複数の投影データのうち２次元画像データに対応する角度が０度付近の一部の投影データとのそれぞれについて、ｋ個のミニバッチ領域に対応するデータを切り出す処理を行う。ｋは自然数である。これに代えて、出力機能２３は、複数の投影データを再構成したボリュームデータと、ボリュームデータから抽出される、２次元画像データに対応する角度が０度付近の一部の断層画像データとのそれぞれについて、ｋ個のミニバッチ領域に対応するデータを切り出す処理を行ってもよい。ミニバッチ領域ｔ（１）～ｔ（ｋ）は、それぞれが、スライス方向に直交する方向の情報を全て包含するように、複数の投影データをスライス平面内で分割した空間領域である。また、ミニバッチ領域ｒ（１）～ｒ（ｋ）は、スライス平面においてミニバッチ領域ｔ（１）～ｔ（ｋ）に対応する位置にある領域である。また、出力機能２３はトレーニング出力データを生成するために、同一被検体のＸ線撮影に対応する２次元画像データについても同様に、ミニバッチ領域ｏ（１）～ｏ（ｋ）に対応するデータを切り出す処理を行う。ミニバッチ領域ｏ（１）～ｏ（ｋ）は、スライス平面においてミニバッチ領域ｔ（１）～ｔ（ｋ）に対応する位置にある領域である。
第６の実施形態に係る学習機能２４は、ミニバッチ領域のそれぞれについて、学習処理を行う。図１５に示すように、第６の実施形態におけるニューラルネットワーク３１は、被検体のトモシンセシス撮影により得られた複数の投影データにおけるミニバッチ領域ｔ（ｎ）が入力される部分と、複数の投影データのうち２次元画像データに対応する角度が０度付近の一部の投影データにおけるミニバッチ領域ｒ（ｎ）が入力される部分とで入力層が分かれており、任意の層までは別々に情報が伝播するモデルである。図中、ｎは１～ｋであり、ミニバッチ領域の識別子である。ニューラルネットワーク３１は、任意の層において、両方向から伝播する情報が結合され、以降は、結合データから例えば全結合で情報が伝播するようになっている。学習機能２４は、学習用データセットが入力されるごとに、トレーニング入力データ（ミニバッチ領域ｔ（ｎ）およびミニバッチ領域ｒ（ｎ）のデータ）をニューラルネットワーク３１で処理した結果がトレーニング出力データ（ミニバッチ領域ｏ（ｎ）のデータ）に近づくようにニューラルネットワーク３１のパラメータデータを更新していく、いわゆる学習を行う。ニューラルネットワーク３１のパラメータデータは、例えば、ＣＮＮの誤差逆伝播等の手法によって調整され、更新される。学習機能２４は、パラメータデータの変化割合が閾値以内に収束すると、学習が終了したと判断する。学習機能２４は、学習後のパラメータデータに基づいて、例えば、ＤＮＮの形態を有する学習済みモデル３２を生成する。なお、学習済みモデル３２は、記憶回路１３に記憶され、運用時に記憶回路１３から読み出される。また、学習済みモデル３２は、ＡＳＩＣ、ＦＰＧＡなどの集積回路によって構築されてもよい。
以上のように構成された医用画像処理装置１０について、運用時における動作を以下に説明する。
図１６に示すように、画像生成機能２２は、被検体のトモシンセシス撮影により得られた複数の投影データにおけるミニバッチ領域ｔ（ｎ）のデータと、複数の投影データのうち２次元画像データに対応する角度が０度付近の一部の投影データにおけるミニバッチ領域ｒ（ｎ）のデータとを学習済みモデル２２に入力することで、当該被検体の２次元画像データのミニバッチ領域ｏ（ｎ）の部分を生成する。
以上、第６の実施形態によれば、、第１～第３の実施形態と同様の効果を奏するのに加えて、学習データの数を増やすことができ、更に、プロセッサの処理負担を軽減することができる。
また、第６の実施形態によれば、画像における特徴部分が、周辺領域との関係で隠蔽されてしまうのを抑制することができる。
（第７の実施形態）
以下、第７の実施形態について説明する。第７の実施形態は、上記説明した第１～第６の実施形態の医用画像処理装置を、Ｘ線診断装置に内蔵させたものである。以下の説明では、代表して第１の実施形態の医用画像処理装置１がＸ線診断装置に内蔵された例について説明する。
図１７は、第７の実施形態に係る医用画像処理を含むＸ線診断装置１００Ｆの構成の一例を示す図である。Ｘ線診断装置１００Ｆは、例えば、スタンド１１０と、Ｘ線管１２０と、高電圧発生器１２２と、撮影台１３０と、圧迫板１３２と、昇降駆動回路１３４と、Ｘ線検出器１４０と、信号処理回路１４２と、入力装置１５０と、表示装置１６０と、処理回路２００とを備える。
スタンド１１０は、撮影台１３０と、圧迫板１３２と、Ｘ線検出器１４０及び信号処理回路１４２とを、上下方向に（図中、Ｚ方向に）移動可能に支持する。
Ｘ線管１２０は、高電圧発生器１２２から供給される高電圧を用いて、Ｘ線を発生させる。Ｘ線管１２０により発生させられたＸ線は、被検体Ｐの乳房の位置（照射目標位置）に照射される。Ｘ線管１２０は、照射目標位置に対する照射角度を変化させられるように、図中、Ｙ軸回りに円弧を描くように移動可能である。高電圧発生器１２２は、Ｘ線管１２０に接続され、処理回路２００による制御に従って、Ｘ線を発生するための高電圧をＸ線管１２０に供給する。
撮影台１３０は、被検体Ｐの乳房を支持する台である。撮影台１３０は、被検体Ｐの乳房が載せられる支持面を有する。圧迫板１３２は、撮影台１３０の指示面に対向するように、撮影台１３０上方に（図中、＋Ｚ方向に）取り付けられている。圧迫板１３２は、撮影台１３０の指示面に対向する状態を維持したまま、撮影台１３０に対して離間または接近する方向に（図中、Ｚ方向に）移動可能である。
撮影台１３０と圧迫板１３２との間には、被検体Ｐの乳房が載置される。このため、圧迫板１３２が撮影台１３０に接近する方向に移動すると、被検体Ｐの乳房が圧迫される。これによって、被検体Ｐの乳房が薄く押し広げられ、乳腺の重なりが減少することで、より鮮明な画像を得ることができる。
昇降駆動回路１３４は、撮影台１３０に接続され、処理回路２００による制御に従って、撮影台１３０を上下方向に移動させる。また、昇降駆動回路１３４は、圧迫板１３２に接続され、処理回路２００による制御に従って、圧迫板１３２を上下方向に移動させる。
Ｘ線診断装置１００Ｆは、撮影台１３０及び圧迫板１３２の位置を、ＭＬＯ（Mediolateral-Oblique：内外斜位）方向やＣＣ（Cranio-Caudal：頭尾）方向で固定し、被検体Ｐの乳房への照射角度を一定に保った状態でＸ線を照射して収集された投影データに基づいて、ＭＬＯ画像やＣＣ画像等のマンモグラフィ画像を生成することができる。
Ｘ線検出器１４０は、例えば、ＦＰＤ（Flat Panel Detector）である。Ｘ線検出器１４０は、被検体Ｐを透過したＸ線を検出して電気信号に変換する。Ｘ線検出器１４０は、例えば、ＴＦＴ（Thin Film Transisor）センサ画素を有する。Ｘ線検出器１４０は、検出結果である電気信号を内部に保持する。信号処理回路１４２は、Ｘ線検出器１４０によって変換された電気信号を読み出し、電気信号に基づいて投影データを生成し、記憶回路１７０に格納する。
入力装置１５０は、Ｘ線診断装置１００Ｆを操作するオペレータによる入力操作を受け付ける。例えば、入力装置１５０は、マウス、キーボード、ボタン、トラックボール、ジョイスティック、タッチパネルなどを有する。入力装置１５０は、入力操作の内容を電気信号に変換して処理回路２００に出力する。
表示装置１６０は、処理回路２００によって生成された各種画像を表示する。各種画像には、オペレータのタッチ操作を受け付けるためのＧＵＩ（Graphical User Interface）画像や、トモシンセシスから生成される断面画像、２次元画像などが含まれる。
記憶回路１７０は、例えば、ＨＤＤやフラッシュメモリ、ＲＯＭなどの非一時的記憶媒体を有する記憶回路と、ＲＡＭやレジスタなどの記憶回路とを含む。記憶回路１７０は、投影データやトモシンセシス、２次元画像の、処理回路２００が実行するプログラム、学習済モデル１７２などを記憶する。なお、学習済モデル１７２はプログラムに埋め込まれる形で記述されてもよい。
処理回路２００は、例えば、システム制御機能２１０と、画像取得機能２２０と、画像再構成機能２３０と、画像生成機能２４０と、表示制御機能２５０とを備える。処理回路２００は、例えば、ハードウェアプロセッサが記憶回路１７０に記憶されたプログラムを実行することにより、これらの機能を実現するものである。ハードウェアプロセッサに関しては前述の通りである。
システム制御機能２１０は、Ｘ線診断装置１００Ｆの全体を制御する。例えば、システム制御機能２１０は、高電圧発生器１２２や昇降駆動回路１３４、Ｘ線検出器１４０などに対する制御信号を生成し、これらに出力する。
システム制御機能２１０による制御内容の一例について説明する。図１８は、Ｘ線診断装置１００Ｆによるトモシンセシス撮影の動作の一例を示す図である。例えば、撮影段階において、Ｘ線管１２０は、Ｘ線検出器１４０の検出面のＸ方向に関する中心点４０Ａを通る、検出面に対する法線ＣＬ上にある位置（中立位置）を中心に、マイナス７．５度からプラス７．５度の範囲内で円弧を描いて移動するように、図示しない駆動機構によって駆動される。前述した「角度がゼロ度」とは、Ｘ線管１２０が中立位置にある状態を指している。この過程で、Ｘ線検出器１４０および信号処理回路１４２は、Ｘ線管１２０の中心点４０Ａに対する角度幅が均等になるように、１７枚の投影データを生成する。この１７枚の投影データには、例えば、Ｘ線管１２０が法線ＣＬ上にある場合に生成される投影データが含まれる。このような動作によって、トモシンセシスを生成するための複数の投影データが取得される。
画像取得機能２２０は、記憶回路１７０から各種画像を読み出し、他の機能に提供する。例えば、画像取得機能２２０は、信号処理回路１４２によって記憶回路１７０に格納された投影データに対し、対数変換処理、オフセット補正処理、感度補正処理、ビームハードニング補正処理の処理を行なって、補正済の投影データを他の機能に提供する。
画像再構成機能２３０は、画像取得機能２２０により補正処理が行われた補正済の投影データに対して再構成処理を行い、トモシンセシスを生成する。例えば、画像再構成機能２３０は、例えば、複数の投影データに対して、逆ラドン変換に基づく画像逆投影処理を行うことで、トモシンセシスを生成する。画像逆投影処理の具体例としては、フィルタ補正逆投影法、逐次近似法（期待値最大化）、シフト加算法などが知られており、その具体的手法に関してＸ線診断装置１００Ｆは、任意の手法を採用することができる。
画像生成機能２４０は、被検体のトモシンセシス撮影に対応する医用画像データを学習済モデル１７２に入力することで、２次元画像を生成する。
表示制御機能２５０は、画像生成機能２４０によって生成された２次元画像などを表示装置１６０に表示させるための画像信号を生成し、表示装置１６０に出力する。
以上説明した第７の実施形態によれば、Ｘ線診断装置を第１～第６の実施形態のいずれかの医用画像処理装置として動作させることができる。
（その他）
上記実施形態では、Ｘ線診断装置としてマンモグラフィ装置を例に説明したが、Ｘ線ＴＶ装置に適用する場合、Ｘ線ＴＶ装置において行われるトモシンセシス撮影で得られたデータから２次元画像（０度のＸ線撮影により得られるＸ線画像に相当する画像）を生成するようにしてもよい。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得し、前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する、
ように構成されている、医用画像処理装置。
以上説明した少なくともひとつの実施形態によれば、被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する画像取得部２１と、前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデル３２に対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する画像生成部２２と、を持つことにより、より視認性の良い２次元画像を生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０ 医用画像処理装置
１０ 入力回路
１２ ディスプレイ
１３ 記憶回路
１４ ネットワーク接続回路
１５ 処理回路
２１ 画像取得機能
２２ 画像生成機能
２３ 出力機能
２４ 学習機能
２５ 抽出機能
２６ 強調機能
１００、１００Ｆ Ｘ線診断装置
１２０ Ｘ線管
１４０ Ｘ線検出器
１４２ 信号処理回路
１７０ 記憶回路
１７２ 学習済モデル
２００ 処理回路
２２０ 画像取得機能
２３０ 画像再構成機能
２４０ 画像生成機能

Claims (10)

  1. 被検体のトモシンセシス撮影に対応する医用画像データを第１の医用画像データとして取得する画像取得部と、
    前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する画像生成部と、を備え、
    前記学習済みモデルは、トモシンセシス撮影に基づく複数の画像データに含まれる一部の画像データと、当該トモシンセシス撮影された人物と同一人物に対するマンモグラフィ撮影に基づく画像データとを組にしたデータセットを学習することにより生成されたモデルであり、前記一部の画像データは、前記マンモグラフィ撮影の角度に対応する角度の画像データであり、
    前記画像取得部は、前記トモシンセシス撮影により取得された複数の投影データから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の投影データを抽出するか、或いは、前記複数の投影データを再構成したボリュームデータから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の断層画像データを抽出することにより、前記第１の医用画像データを取得し、
    前記画像生成部は、前記学習済みモデルに対して、抽出された前記一部の投影データまたは前記一部の断層画像データである前記第１の医用画像データを入力することで、前記被検体のマンモグラフィ画像である前記第２の医用画像データを生成する、
    医用画像処理装置。
  2. 前記画像生成部は、前記学習済みモデルに対して、前記複数の投影データと抽出された前記一部の投影データとを組み合わせたデータ、或いは、前記ボリュームデータと前記一部の断層画像データとを組み合わせたデータを入力することで、前記被検体の第２の医用画像データを生成する、
    請求項１に記載の医用画像処理装置。
  3. 前記画像取得部により取得された前記第１の医用画像データに含まれる注目部位を抽出する抽出部と、
    前記画像生成部により生成された前記被検体の第２の医用画像データにおいて、前記抽出部により抽出された前記注目部位に対応する部位を強調する強調部と、をさらに備える、
    請求項１または２に記載の医用画像処理装置。
  4. 前記抽出部は、コンピュータ支援診断（CAD；Computer Aided Detection）によって検出される病変を前記注目部位として抽出する、
    請求項３に記載の医用画像処理装置。
  5. 前記画像生成部は、前記学習済みモデルの出力と、前記第１の医用画像データの断層画像データとを所定割合でブレンドして前記被検体の第２の医用画像データを生成する、
    請求項１から４のいずれか１項に記載の医用画像処理装置。
  6. 被検体のトモシンセシス撮影により取得された投影データ、または、当該投影データを再構成したボリュームデータを第１の医用画像データとし、前記被検体のマンモグラフィ撮影により取得された２次元画像データを第２の医用画像データとして、当該第１の医用画像データと前記第２の医用画像データとを組にしたデータセットに基づき、前記第１の医用画像データに基づいて前記第２の医用画像データを出力する学習済みモデルを生成する、
    学習方法であって、
    前記学習済みモデルは、トモシンセシス撮影に基づく複数の画像データに含まれる一部の画像データと、当該トモシンセシス撮影された人物と同一人物に対するマンモグラフィ撮影に基づく画像データとを組にしたデータセットを学習することにより生成され、前記一部の画像データは、前記マンモグラフィ撮影の角度に対応する角度の画像データであり、
    前記学習済みモデルは、前記トモシンセシス撮影により取得された前記投影データまたは前記ボリュームデータから抽出された、前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の投影データまたは一部の断層画像データが入力されたときに、前記被検体のマンモグラフィ画像である前記第２の医用画像データを出力する、
    学習方法。
  7. 前記２次元画像データは、前記被検体のトモシンセシス撮影において照射されたＸ線よりも大きい線量で前記マンモグラフィ撮影が行われることにより取得される、
    請求項６に記載の学習方法。
  8. 被検体に対して複数の角度からＸ線を照射することによりトモシンセシス撮影を行う撮影部と、
    前記トモシンセシス撮影により取得された投影データ、または、当該投影データを再構成したボリュームデータを第１の医用画像データとして取得する画像取得部と、
    前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する画像生成部と、を備え、
    前記学習済みモデルは、トモシンセシス撮影に基づく複数の画像データに含まれる一部の画像データと、当該トモシンセシス撮影された人物と同一人物に対するマンモグラフィ撮影に基づく画像データとを組にしたデータセットを学習することにより生成されたモデルであり、前記一部の画像データは、前記マンモグラフィ撮影の角度に対応する角度の画像データであり、
    前記画像取得部は、前記トモシンセシス撮影により取得された複数の投影データから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の投影データを抽出するか、或いは、前記複数の投影データを再構成したボリュームデータから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の断層画像データを抽出することにより、前記第１の医用画像データを取得し、
    前記画像生成部は、前記学習済みモデルに対して、抽出された前記一部の投影データまたは前記一部の断層画像データである前記第１の医用画像データを入力することで、前記被検体のマンモグラフィ画像である前記第２の医用画像データを生成する、
    Ｘ線診断装置。
  9. コンピュータが、被検体のトモシンセシス撮影により取得された投影データ、または、当該投影データを再構成したボリュームデータを第１の医用画像データとして取得し、
    コンピュータが、前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する、
    医用画像処理方法であって、
    前記学習済みモデルは、トモシンセシス撮影に基づく複数の画像データに含まれる一部の画像データと、当該トモシンセシス撮影された人物と同一人物に対するマンモグラフィ撮影に基づく画像データとを組にしたデータセットを学習することにより生成されたモデルであり、前記一部の画像データは、前記マンモグラフィ撮影の角度に対応する角度の画像データであり、
    前記トモシンセシス撮影により取得された複数の投影データから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の投影データを抽出するか、或いは、前記複数の投影データを再構成したボリュームデータから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の断層画像データを抽出することにより、前記第１の医用画像データを取得し、
    前記学習済みモデルに対して、抽出された前記一部の投影データまたは前記一部の断層画像データである前記第１の医用画像データを入力することで、前記被検体のマンモグラフィ画像である前記第２の医用画像データを生成する、
    医用画像処理方法。
  10. コンピュータを、
    被検体のトモシンセシス撮影により取得された投影データ、または、当該投影データを再構成したボリュームデータを第１の医用画像データとして取得する画像取得部、
    前記第１の医用画像データに基づいて２次元画像データである第２の医用画像データを生成する学習済みモデルに対して、前記第１の医用画像データを入力することで、前記被検体の第２の医用画像データを生成する画像生成部、として機能させる、
    プログラムであって、
    前記学習済みモデルは、トモシンセシス撮影に基づく複数の画像データに含まれる一部の画像データと、当該トモシンセシス撮影された人物と同一人物に対するマンモグラフィ撮影に基づく画像データとを組にしたデータセットを学習することにより生成されたモデルであり、前記一部の画像データは、前記マンモグラフィ撮影の角度に対応する角度の画像データであり、
    前記トモシンセシス撮影により取得された複数の投影データから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の投影データを抽出するか、或いは、前記複数の投影データを再構成したボリュームデータから前記被検体のマンモグラフィ撮影の角度に対応する角度の一部の断層画像データを抽出することにより、前記第１の医用画像データを取得させ、
    前記学習済みモデルに対して、抽出された前記一部の投影データまたは前記一部の断層画像データである前記第１の医用画像データを入力することで、前記被検体のマンモグラフィ画像である前記第２の医用画像データを生成させる、
    プログラム。
JP2019040876A 2019-03-06 2019-03-06 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム Active JP7387270B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019040876A JP7387270B2 (ja) 2019-03-06 2019-03-06 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
US16/809,673 US11615270B2 (en) 2019-03-06 2020-03-05 Medical image processing apparatus, learning method, X-ray diagnostic apparatus, and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019040876A JP7387270B2 (ja) 2019-03-06 2019-03-06 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020141867A JP2020141867A (ja) 2020-09-10
JP7387270B2 true JP7387270B2 (ja) 2023-11-28

Family

ID=72336428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019040876A Active JP7387270B2 (ja) 2019-03-06 2019-03-06 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11615270B2 (ja)
JP (1) JP7387270B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076114A1 (en) * 2020-09-04 2022-03-10 NEC Laboratories Europe GmbH Modular-related methods for machine learning algorithms including continual learning algorithms
CN113506334B (zh) * 2021-06-07 2023-12-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统
JP2023051400A (ja) 2021-09-30 2023-04-11 富士フイルム株式会社 学習装置、画像生成装置、学習方法、画像生成方法、学習プログラム、及び画像生成プログラム
US20230115941A1 (en) 2021-10-12 2023-04-13 Canon Medical Systems Corporation X-ray diagnostic apparatus and medical information processing method
JP2023105688A (ja) 2022-01-19 2023-07-31 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2023105689A (ja) 2022-01-19 2023-07-31 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN115861462B (zh) * 2022-10-17 2023-11-03 北京百度网讯科技有限公司 图像生成模型的训练方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012512669A (ja) 2008-11-21 2012-06-07 ホロジック インコーポレイティッド トモシンセシスデータセットから２ｄ画像を生成するためのシステムおよび方法
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10610182B2 (en) * 2014-01-15 2020-04-07 Alara Systems, Inc Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes
US9792703B2 (en) 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
US10679384B2 (en) * 2017-09-29 2020-06-09 General Electric Company Systems and methods for deep learning-based image reconstruction
US10607122B2 (en) * 2017-12-04 2020-03-31 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US11090017B2 (en) * 2018-09-13 2021-08-17 Hologic, Inc. Generating synthesized projection images for 3D breast tomosynthesis or multi-mode x-ray breast imaging
US11227418B2 (en) * 2018-12-28 2022-01-18 General Electric Company Systems and methods for deep learning-based image reconstruction
US11386592B2 (en) * 2019-12-20 2022-07-12 Varian Medical Systems International Ag Tomographic image analysis using artificial intelligence (AI) engines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012512669A (ja) 2008-11-21 2012-06-07 ホロジック インコーポレイティッド トモシンセシスデータセットから２ｄ画像を生成するためのシステムおよび方法
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shuyue Guan, et al.，Breast cancer detection using synthetic mammograms from generative adversarial networks in convolutional neural networks，PROCEEDINGS VOLUME 10718 14th International Workshop on BreastImaging(IWBI 2018) Table of Contents，2018年，2/4

Also Published As

Publication number Publication date
US11615270B2 (en) 2023-03-28
JP2020141867A (ja) 2020-09-10
US20200285902A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP7387270B2 (ja) 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
JP6379785B2 (ja) 断層画像生成システム
EP1750584B1 (en) System and method for diagnosing breast cancer
US9613440B2 (en) Digital breast Tomosynthesis reconstruction using adaptive voxel grid
US9123108B2 (en) Image processing device, radiographic image capture system, image processing method, and image processing storage medium
US9898839B2 (en) Medical image diagnosis apparatus and mammography apparatus
CN108352078A (zh) 图像重建系统和方法
JP2013081765A (ja) Ｘ線ｃｔ装置、画像処理装置及びプログラム
US10143433B2 (en) Computed tomography apparatus and method of reconstructing a computed tomography image by the computed tomography apparatus
KR20130069506A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독 가능 저장 매체
US10631810B2 (en) Image processing device, radiation imaging system, image processing method, and image processing program
JP3987024B2 (ja) 横方向のフィルタリング処理を用いたトモシンセシス画像を強調する方法及びシステム
KR101665513B1 (ko) 컴퓨터 단층 촬영 장치 및 그에 따른 ct 영상 복원 방법
JP6526669B2 (ja) 画像データからの骨の区分化
CN105659296A (zh) 图像可视化
CN111540025A (zh) 预测用于图像处理的图像
US20160078620A1 (en) Image processing apparatus and method, computer program product, and stereoscopic image display apparatus
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
US11039807B2 (en) System and method for dark-field-imaging
EP4292051A1 (en) Metal artifact reduction algorithm for ct-guided interventional procedures
US20210282733A1 (en) Edge noise reduction
US20230115941A1 (en) X-ray diagnostic apparatus and medical information processing method
CN107644447A (zh) 用于基于运动补偿的ct数据重建的设备和方法
JP2020054761A (ja) 医用画像処理装置、ｘ線診断装置、およびプログラム
WO2018050462A1 (en) Edge noise reduction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R150 Certificate of patent or registration of utility model

Ref document number: 7387270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150