JP7389233B2 - 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル - Google Patents

画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル Download PDF

Info

Publication number
JP7389233B2
JP7389233B2 JP2022514447A JP2022514447A JP7389233B2 JP 7389233 B2 JP7389233 B2 JP 7389233B2 JP 2022514447 A JP2022514447 A JP 2022514447A JP 2022514447 A JP2022514447 A JP 2022514447A JP 7389233 B2 JP7389233 B2 JP 7389233B2
Authority
JP
Japan
Prior art keywords
image
tomographic
dimensional
coordinate information
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022514447A
Other languages
English (en)
Other versions
JPWO2021205990A1 (ja
JPWO2021205990A5 (ja
Inventor
卓也 淵上
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021205990A1 publication Critical patent/JPWO2021205990A1/ja
Publication of JPWO2021205990A5 publication Critical patent/JPWO2021205990A5/ja
Application granted granted Critical
Publication of JP7389233B2 publication Critical patent/JP7389233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、３次元画像に対する画像処理装置、方法およびプログラム、学習装置、方法およびプログラム並びに導出モデルに関する。
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等の３次元画像を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
ところで、３次元画像に含まれる臓器等の構造物を抽出するために、構造物の範囲を示す直方体（すなわちバウンディングボックス）を３次元画像に設定することが提案されている。例えば特表２０１６－５２７９９４号公報には、３次元画像の１つの断層画像において同定された位置において、中間的な３次元表現を生成し、中間的な３次元表現から構造物の３次元モデルを生成することにより、その３次元モデルの範囲を示すバウンディングボックスを描画する手法が提案されている。
しかしながら、３次元画像において構造物の範囲を示すバウンディングボックスの３次元座標を設定する処理は演算量が多いため、処理に長時間を要する。
本開示は上記事情に鑑みなされたものであり、３次元画像において構造物の範囲を示す３次元座標を効率よく設定することを目的とする。
本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、構造物を含む断層画像から、構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する。
なお、本開示による画像処理装置においては、プロセッサは、複数の断層画像を含む３次元画像から構造物を含む少なくとも１つの断層画像を選択するものであってもよい。
また、本開示による画像処理装置においては、３次元座標情報は、構造物を囲む直方体を規定する複数の頂点の３次元座標を含むものであってもよい。
また、本開示による画像処理装置においては、複数の頂点は、直方体を規定する頂点のうちの、最も離れた位置にある２つの頂点を含むものであってもよい。
「最も離れた位置にある２つの頂点を含む」とは、最も離れた位置にある２つの頂点のみならず、２つの頂点以外の他の頂点を含んでいてもよいことを意味する。
また、本開示による画像処理装置においては、プロセッサは、共通の構造物を含む複数の断層画像のそれぞれから構造物についての仮の３次元座標情報を導出し、仮の３次元座標情報を統合して、３次元座標情報を導出するものであってもよい。
この場合、プロセッサは、複数の断層画像のそれぞれについての仮の３次元座標情報を共通の座標系に変換し、変換された仮の３次元座標情報を統合することにより３次元座標情報を導出するものであってもよい。
またこの場合、プロセッサは、同一の構造物の上端または下端を含む断層画像について導出した仮の３次元座標情報に対しては、上端または下端に近い方の仮の３次元座標情報を高い優先度で統合して、３次元座標情報を導出するものであってもよい。
「統合」とは、複数の仮の３次元座標情報から１つの３次元座標情報を導出することを意味する。例えば、「統合」としては、加算平均および重み付け加算平均等を用いることができる。
また、本開示による画像処理装置においては、プロセッサは、それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像を取得し、
第１の３次元画像に含まれる構造物についての第１の３次元座標情報および第２の３次元画像に含まれる構造物についての第２の３次元座標情報を導出し、
第１の３次元座標情報および第２の３次元座標情報を用いて、第１の３次元画像および第２の３次元画像にそれぞれ含まれる共通の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
この場合、第１の３次元画像および第２の３次元画像は、同一被検体についての撮影装置が異なる３次元画像であってもよい。
また、この場合、第１の３次元画像および第２の３次元画像は、同一被検体についての撮影時期が異なる３次元画像であってもよい。
また、この場合、プロセッサは、第１および第２の３次元画像のそれぞれについて、異なる手法により第１および第２の３次元座標情報を導出するものであってもよい。
また、本開示による画像処理装置においては、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを有するものであってもよい。
本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力する導出モデルを、教師データを用いての機械学習を行うことにより構築する。
なお、本開示による学習装置においては、教師データは、教師用断層画像、および教師用断層画像に含まれる構造物の断層面内の位置を規定し、かつ教師用断層画像と交わる方向における構造物の端部の断層面外の位置を規定する教師用３次元座標情報を含むものであってもよい。
本開示による導出モデルは、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いての機械学習を行うことにより構築されている。
本開示による画像処理方法は、構造物を含む断層画像から、構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する。
本開示による学習方法は、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力する導出モデルを、教師データを用いての機械学習を行うことにより構築する。
なお、本開示による画像処理方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、３次元画像において構造物の範囲を示す３次元座標を効率よく設定することができる。
本開示の実施形態による画像処理装置および学習装置を適用した医療情報システムの概略構成を示す図 本実施形態による画像処理装置の概略構成を示す図 本実施形態による画像処理装置の機能構成図 人体の胴体部分のコロナル断面を模式的に示す図 断層画像の選択を説明するための図 ３次元座標情報の導出を説明するための図 バウンディングボックスを３次元的に示す図 本実施形態における導出モデルに用いられるネットワークの構成を示すブロック図 教師データの例を示す図 バウンディングボックスと３次元座標情報との関係を説明するための図 肺が見切れている３次元画像を示す図 肝臓の断層面の位置に応じた教師データの導出を説明するための図 ３次元座標情報の導出の精度を説明するための図 ある臓器から見た断層画像の相対位置と、損失に対する重みとの関係を示す図 ３次元座標情報の導出を説明するための図 ３次元座標情報の導出を説明するための図 仮の３次元座標情報の統合を説明するための図 位置合わせを説明するための図 表示画面を示す図 本実施形態において行われる学習処理を示すフローチャート 本実施形態において行われる画像処理を示すフローチャート 断層画像の選択を説明するための図
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置および学習装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。本実施形態においては、撮影装置２において、複数のスライス画像からなる３次元画像を医用画像として取得するものとする。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による画像処理装置および学習装置を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像の読影、読影結果に基づく読影レポートの作成、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。ストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、本実施形態においては、画像ＤＢ６には、同一患者についての撮影日時が異なる複数の医用画像、または同一患者についての撮影装置が異なる複数の医用画像を保管して管理しているものとする。例えば、画像ＤＢ６は、同一患者について、ＣＴ装置およびＭＲＩ装置により同時期に取得されたＣＴ画像およびＭＲＩ画像を保管して管理している。
また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。なお、本実施形態においては、画像サーバ５には、後述する導出モデル２３Ａを学習するための多数の教師データが保存されている。画像サーバ５は、教師データの取得要求をネットワーク１０経由で受信すると、教師データを要求元の読影ＷＳ３に送信する。
レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
なお、本実施形態においては、ＣＴ画像およびＭＲＩ画像等の３次元画像を読影の対象とする。しかしながら、読影の対象は、ＣＴ画像およびＭＲＩ画像に限定されるものではなく、単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次いで、本開示の実施形態による画像処理装置および学習装置について説明する。図２は、本実施形態による画像処理装置および学習装置のハードウェア構成を説明する。図２に示すように、画像処理装置および学習装置（以下、画像処理装置で代表させる）２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２Ａおよび学習プログラム１２Ｂが記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２Ａおよび学習プログラム１２Ｂを読み出してメモリ１６に展開し、展開した画像処理プログラム１２Ａおよび学習プログラム１２Ｂを実行する。
次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図３に示すように画像処理装置２０は、ＣＰＵ１１が、画像処理プログラム１２Ａおよび学習プログラム１２Ｂを実行することにより、画像取得部２１、選択部２２、導出部２３、学習部２４、位置合わせ部２５、表示制御部２６、保存制御部２７および通信部２８として機能する。
画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するためのＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を取得する。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は同一患者を同時期に撮影することにより取得されたものである。なお、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は、複数の断層画像を含む３次元画像である。このため、本実施形態においては、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を区別しない場合には、単に３次元画像と称する場合があるものとする。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２が、本開示の第１の３次元画像および第２の３次元画像の一例である。
選択部２２は、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から断層画像を選択する。ここで、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は３次元画像であり、患者の体軸に交わるアキシャル断面を表す複数の断層画像からなる。図４は、人体の胴体部分のコロナル断面を模式的に示す図である。コロナル断面は患者を正面から見た断面である。人体内には、図４に示す肺、心臓、肝臓、胃、小腸、大腸および腎臓（破線で示す）に加えて、脳、骨および血管等の構造物が存在し、アキシャル断面の位置に応じて、断層画像に含まれる構造物が異なる。例えば、断層面Ｄ０１の断層画像は肺および心臓等を含み、断層面Ｄ０２の断層画像は肝臓および胃等を含み、断層面Ｄ０３の断層画像は腎臓、大腸および小腸等を含む。
本実施形態においては、選択部２２は、上述したように画像取得部２１が取得したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれから、予め定められた間隔により複数の断層画像を選択する。図５は断層画像の選択を説明するための図である。図５に示すように、選択部２２は、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を構成する断層画像を等間隔で間引くことにより、複数の断層面Ｄｋのそれぞれを表す断層画像ＤＧｋ（ここではｋ＝１～８）を選択する。なお、以降の説明においては、図５に示すように人体を正面から見た場合の左右方向をｘ方向、奥行き方向をｙ方向、上下方向すなわち体軸方向をｚ方向とする。断層画像により表される断層面は、３次元画像におけるｘｙ方向の断層面となる。
導出部２３は、３次元画像Ｇ１，Ｇ２において、選択部２２が選択した断層画像ＤＧｋから、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する。例えば、図５に示す断層面Ｄ３を表す断層画像ＤＧ３に関して、導出部２３は、３次元画像Ｇ１，Ｇ２において、選択した断層画像ＤＧ３に含まれる左右の肺のそれぞれの断層面内の位置を規定し、かつ断層画像ＤＧ３と交わる方向における左右の肺の断層面外にある上下端部を規定する３次元座標情報を導出する。本実施形態において、断層画像ＤＧ３と交わる方向は体軸方向であるｚ方向である。３次元座標情報は、図６に示すように、３次元画像Ｇ１，Ｇ２において、断層画像ＤＧ３に含まれる左右の肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する複数の頂点の座標値である。なお、図６および以降の説明においては、３次元画像Ｇ１，Ｇ２を２次元で、バウンディングボックスを矩形の領域で表す場合があるものとする。
図７はバウンディングボックスを３次元的に示す図である。図７に示すように、断層画像ＤＧ３には、左右の肺の断層像４１Ｒ，４１Ｌが含まれている。３次元画像Ｇ１，Ｇ２においては、左右の肺は図７における破線４２Ｒ，４２Ｌに示すように存在する。導出部２３は、断層画像ＤＧ３から、３次元画像において、肺に外接することにより肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する複数の頂点の３次元座標を、３次元座標情報として導出する。
ここで、バウンディングボックス４０Ｒ，４０Ｌは、ｘ方向、ｙ方向およびｚ方向に平行な辺を有する直方体である。バウンディングボックス４０Ｒ，４０Ｌを規定する８つの頂点のうち、最も離れた位置にある２つの頂点が規定されれば、直方体の形状を規定できる。例えば、図７に示す頂点４３Ｒ，４４Ｒが規定されれば、バウンディングボックス４０Ｒの直方体の形状を規定できる。本実施形態においては、導出部２３は、３次元画像内において構造物である肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する８つの頂点のうちの、最も離れた位置にある２つの頂点の３次元座標を、３次元座標情報として導出するものとする。
本実施形態においては、３次元座標情報を導出するために、導出部２３は、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いての機械学習を行うことに構築された導出モデル２３Ａを有する。
以下、導出モデル２３Ａを構築するための機械学習について説明する。導出モデル２３Ａを構築するための機械学習は、学習部２４が行う。本実施形態においては、学習部２４は、教師用３次元画像に含まれる教師用断層画像、および教師用３次元画像に含まれる構造物の断層面内の位置を規定し、かつ教師用断層画像と交わる方向における構造物の端部の断層面外の位置を規定する教師用３次元座標情報を含む教師データを用いて、ニューラルネットワークを機械学習することにより、導出モデル２３Ａを構築する。
ここで、ニューラルネットワークとして、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）を用いたＦａｓｔｅｒ－ＲＣＮＮ（Regions with CNN features）が知られている（例えば、米国特許第９８５８４９６号明細書および「Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.」参照）。本実施形態においては、導出モデル２３Ａは、Ｆａｓｔｅｒ－ＲＣＮＮをベースにしたネットワークを機械学習することにより構築されるものとする。
なお、導出モデル２３Ａを構築するネットワークは、Ｆａｓｔｅｒ－ＲＣＮＮをベースとしたものに限定されない。例えば、「Wei Liu et al., "SSD: Single Shot MultiBox Detector", ECCV, 2016」、「Joseph Redmon et al., "You Only Look Once: Unified, Real-Time Object Detection", arXiv, 2016」、「Mingxing Tan et al., "EfficientDet: Scalable and Efficient Object Detection", arXiv, 2020」、または「Nicolas Carion et al., "End-to-End Object Detection with Transformers", arXiv, 2020」等の他の物体検出モデルをベースにして導出モデル２３Ａを構築してもよい。
ここで、Ｆａｓｔｅｒ－ＲＣＮＮは、入力画像から特徴量を抽出して特徴マップを生成する畳み込み層と、入力画像における物体の候補領域を特定するＲＰＮ（Region Proposal Networks）と、特徴マップおよび物体候補領域を入力として、物体のカテゴリの分類および回帰の結果を出力する分類ネットワークとから構成される。図８は、本実施形態における導出モデル２３Ａに用いられるＦａｓｔｅｒ－ＲＣＮＮをベースにしたネットワークの構成を示すブロック図である。図８に示すように、ネットワーク３０は、入力画像である断層画像ＤＧ０から特徴マップＭ０を生成する畳み込み層３１、特徴マップＭ０に含まれる構造物の候補領域を特定するＲＰＮ３２、および特徴マップＭ０と構造物の候補領域とに基づいて候補領域を分類し、分類した構造物の３次元座標情報を出力する分類ネットワーク３３を含む。
畳み込み層３１は、入力された断層画像ＤＧ０に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層３１は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層３１は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＭ０を出力する。
ＲＰＮ３２においては、複数種類のアスペクト比およびサイズを有するアンカーと呼ばれる矩形領域が予め定義される。ＲＰＮ３２においては、複数種類のアンカーを断層画像ＤＧ０から生成された特徴マップＭ０の各画素位置に適用し、断層画像ＤＧ０に含まれる物体候補との重なり率が最も大きいアンカーが選択される。そして、ＲＰＮ３２においては、選択されたアンカーを用いて、物体候補を囲む矩形（正解ボックス）と一致するようにアンカーを回帰させる（すなわち変形および移動させる）処理を、特徴マップＭ０の全画素において行い、正解ボックスと一致するように回帰されたアンカーの位置およびサイズが、入力された断層画像ＤＧ０における物体候補領域Ａ０としてＲＰＮ３２から出力される。
分類ネットワーク３３は、全結合層からなり、物体候補領域Ａ０および特徴マップＭ０に基づいて、断層画像ＤＧ０における物体候補領域の分類および分類した構造物の３次元座標情報の導出が行われる。具体的には、断層画像ＤＧ０の画素毎に、物体候補領域Ａ０がある特定の領域であることのスコアを導出し、スコアが最大となる構造物にその画素を分類する。なお、スコアは０～１の値をとる。また、分類された画素からなる領域を囲むバウンディングボックスを規定する３次元座標情報を出力する。
次いで、導出モデル２３Ａにおけるネットワーク３０を機械学習するための教師データについて説明する。図９は、教師データの例を示す図である。図９に示すように、教師データ５０は、教師用３次元画像に含まれる教師用断層画像５１、教師用断層画像５１に含まれる構造物を表すラベル５２、および教師用３次元画像において、教師用断層画像５１に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する教師用３次元座標情報５３を含む。なお、教師データ５０に含まれる教師用断層画像５１は１つに限定されるものではなく、複数であってもよい。
図９に示すように、教師用断層画像５１は構造物として左右の肺を含む。ラベル５２の内容は「肺」である。教師用３次元座標情報５３は、教師用３次元画像に含まれる右肺を囲むバウンディングボックスを規定する３次元座標Ｐ１（ｘ１，ｙ１，ｚ１）、Ｐ２（ｘ２，ｙ２，ｚ２）、および左肺を囲む３次元座標Ｐ３（ｘ３，ｙ３，ｚ３）、Ｐ４（ｘ４，ｙ４，ｚ４）を含む。３次元座標Ｐ１，Ｐ２は、図１０に示すように、教師用断層画像５１に含まれる右肺を囲むバウンディングボックスの最も離れた２点の教師用３次元画像内における位置を規定する。３次元座標Ｐ３，Ｐ４は、教師用断層画像５１に含まれる左肺を囲むバウンディングボックスの最も離れた２点の教師用３次元画像内における位置を規定する。ここで、バウンディングボックスを規定する３次元座標Ｐ１～Ｐ４のｚ座標は、教師用３次元画像を基準とした値を有するものであってもよいが、本実施形態においては、教師用断層画像５１を基準とした値を有するものとする。例えば、本実施形態においては、教師用断層画像５１の各画素のｚ座標の値を０としてバウンディングボックスの３次元座標Ｐ１～Ｐ４のｚ座標の値が定められる。
なお、本実施形態において、３次元画像はＣＴ画像およびＭＲＩ画像である。ここで、人体に含まれる各種構造物は、同一の構造物であってもＣＴ画像とＭＲＩ画像とで輝度値の分布範囲が異なる。このため、教師データに含まれる教師用断層画像５１は、それがＣＴ画像であってもＭＲＩ画像であっても、輝度値の分布範囲を一致させるための処理が施されている。輝度値の分布範囲を一致させるための処理としては、例えばＭＲＩ画像の輝度値をＣＴ画像の輝度値に一致させるものであってもよく、ＣＴ画像の輝度値をＭＲＩ画像の輝度値に一致させるものであってもよい。なお、輝度値の分布範囲を一致させる処理は、例えば輝度値を変換するための変換テーブルあるいは変換式等を用いて行えばよい。また、ＣＴ画像およびＭＲＩ画像のそれぞれにおいて、画像内の輝度値分布が０から１までの範囲内に収まるように正規化処理を行うことにより、輝度値の分布範囲を一致させるようにしてもよい。正規化は、ＣＴ画像およびＭＲＩ画像のそれぞれについて、画像内の輝度値分布の標準偏差を求め、画像内の各ボクセルの輝度値をその標準偏差または標準偏差の定数倍の値で除算する等により行えばよい。
学習部２４は、教師データ５０に含まれる教師用断層画像５１をネットワーク３０に入力し、教師用断層画像５１に含まれる構造物の分類結果を表すスコア、および構造物の端部を規定する３次元座標情報を出力させる。この場合、教師用断層画像５１に含まれうる複数種類の構造物のそれぞれについてスコアが０～１の値の範囲で導出される。学習部２４は、ラベル５２に規定された構造物のスコアが１となるように、導出されたスコアと１との誤差を損失として導出する。そして、導出した損失により、確率的勾配降下法または誤差逆伝播法を用いて、ネットワーク３０を構成する畳み込み層３１、ＲＰＮ３２および分類ネットワーク３３を学習する。
また、学習部２４は、導出された３次元座標情報と、教師データ５０に含まれる教師用３次元座標情報５３との誤差を損失として導出する。そして損失が最小となるように、確率的勾配降下法または誤差逆伝播法を用いて、ネットワーク３０を構成する畳み込み層３１、ＲＰＮ３２および分類ネットワーク３３を学習する。具体的には、ネットワーク３０に含まれる畳み込み層３１における層の数、プーリング層の数、カーネルの係数およびカーネルの大きさ等を導出し、ＲＰＮ３２におけるアンカーの位置および大きさ等を導出し、かつ分類ネットワーク３３を構成する全結合層における結合の重み等を導出することにより、ネットワーク３０を学習する。
これにより、ネットワーク３０は、断層画像が入力されると、断層画像に含まれる構造物の分類結果、および分類された構造物を３次元画像内において囲むバウンディングボックスの３次元座標情報を出力するものとなる。
なお、３次元画像に含まれる構造物が、その３次元画像内で見切れている場合がある。例えば、図１１に示すように肝臓を中心に撮影を行うことにより取得された３次元画像の場合、肺の上側が見切れている。このような３次元画像を教師用３次元画像として用いて肺についての教師データを導出する場合、肺の下側（足側）については、肺を囲むバウンディングボックスの教師用３次元座標情報を得ることができる。しかしながら、肺の上側（頭側）についてはバウンディングボックスの教師用３次元座標情報を得ることができない。
このような肺が見切れている教師用３次元画像から教師データを生成する場合、教師用３次元画像に含まれる範囲内において、肺を囲むバウンディングボックスについての３次元座標情報を、教師用３次元座標情報として用いる。具体的には、図１１に示すように、右肺については、バウンディングボックス４６Ｒについての最も離れた２つの頂点Ｐ１１，Ｐ１２の３次元座標情報を教師用３次元座標情報として用いる。また、左肺については、バウンディングボックス４６Ｌについての最も離れた２つの頂点Ｐ１３，Ｐ１４の３次元座標情報を教師用３次元座標情報として用いる。さらに、教師データには、肺の上側が見切れていることを表すフラグを付与する。
そして、このような教師データを用いてネットワーク３０の学習を行う際には、学習部２４は、ネットワーク３０から出力された３次元座標情報に関して、肺の上側の３次元座標については、教師データとの誤差すなわち損失に対する重みを小さくして、ネットワーク３０の学習を行う。これにより、教師データを生成した教師用３次元画像において、構造物がｚ方向において見切れている場合であっても、見切れている構造物の影響を小さくしてネットワーク３０の学習を行うことができる。
また、断層画像に含まれる構造物について、構造物のｚ方向における断層面の位置に応じて、ネットワーク３０を用いての３次元座標情報の導出の精度が異なる。例えば、図１２に示すように、肝臓の上部の断層面Ｄ１１、中部の断層面Ｄ１２および下部の断層面Ｄ１３のそれぞれについて教師データを導出する場合を考える。図１３は３次元座標情報の導出の精度を説明するための図である。なお、図１３には肝臓を囲むバウンディングボックス６０を実線で示し、ネットワーク３０が出力した３次元座標情報に基づくバウンディングボックス（以下出力バウンディングボックスとする）６１を破線で示している。図１３に示すように、肝臓の上部の断層面Ｄ１１を表す断層画像ＤＧ１１をネットワーク３０に入力した場合、出力された肝臓の上部側の３次元座標情報の精度は高いが、下部側の３次元座標情報の精度は低くなる。このため、肝臓の上部において、出力バウンディングボックス６１はバウンディングボックス６０と略一致するが、肝臓の下部において、出力バウンディングボックス６１はバウンディングボックス６０との相違が大きくなる。逆に、肝臓の下部の断層面Ｄ１３を表す断層画像ＤＧ１３をネットワーク３０に入力した場合、出力された肝臓の下部側の３次元座標情報の精度は高いが、上部側の３次元座標情報の精度は低くなる。
このため、ネットワーク３０の学習を行う際に、ネットワーク３０により出力された３次元座標情報のｚ座標に関して、学習部２４は、教師データに含まれる教師用断層画像に含まれる構造物の、ｚ方向における断層面の位置に応じて、教師データとの損失の重みを変更して、ネットワーク３０の学習を行う。図１４は、ある臓器から見た断層画像の相対位置と、損失に対する重みとの関係を示す図である。図１４において、実線Ｒ１は、断層画像から予測される「構造物の下端の３次元座標」と正解となる教師用３次元座標との誤差（すなわち損失）に対する重み係数を表す。破線Ｒ２は、断層画像から予測される「構造物の上端の３次元座標」と正解となる教師用３次元座標との誤差に対する重み係数を表す。ここで、重み係数は、その値が大きいほど、学習時における損失、すなわち正解との誤差に対するペナルティが大きいものとなる。
実線Ｒ１に示すように、断層画像が臓器の上端付近であれば、下端の３次元座標の予測は難しいため重みは小さくなる。逆に断層画像が臓器の下端付近であれば、下端の３次元座標の予測は容易であるため、重みは大きくなる。一方、破線Ｒ２に示すように、断層画像が臓器の上端付近であれば、上端の３次元座標の予測は容易であるため重みは大きくなる。逆に断層画像が臓器の下端付近であれば、上端の３次元座標の予測は難しいため重みは小さくなる。
図１４に示すような重みを用いることにより、上述した図１２に示す肝臓の上部の断層面Ｄ１１を表す断層画像ＤＧ１１を教師用断層画像として用いる場合、導出モデル２３Ａにおけるネットワーク３０から出力された３次元座標情報について、上端側の３次元座標情報に対しては損失に対する重みが大きくなり、下端側の３次元座標情報に対しては損失に対する重みが小さくなる。また、上述した図１２に示す肝臓の下部の断層面Ｄ１３を表す断層画像ＤＧ１３を教師用断層画像として用いる場合、ネットワーク３０から出力された３次元座標情報について、下端側の３次元座標情報に対しては損失に対する重みが大きくなり、上端側の３次元座標情報に対しては損失に対する重みが小さくなる。
これにより、３次元座標情報を導出する精度がそれほどよくない教師用断層画像を含む教師データを用いる場合であっても、そのような教師データのネットワーク３０の学習に対する影響を小さくすることができる。このため、構造物の上端および下端を規定する３次元座標情報をより精度よく導出できるように、ネットワーク３０の学習を行うことができる。
導出モデル２３Ａは、上記のように機械学習により構築される。このため、導出モデル２３Ａは、断層画像が入力されると、入力された断層画像に含まれる構造物を囲むバウンディングボックスを規定する３次元座標情報を出力する。例えば、選択部２２によって図５に示す断層面Ｄ５を表す断層画像ＤＧ５が選択されたとすると、導出部２３は、断層画像ＤＧ５に含まれる左肺、右肺および肝臓についての３次元画像Ｇ１，Ｇ２内の３次元座標情報を導出する。なお、ＣＴ画像Ｇ１について導出した３次元座標情報が、本開示の第１の３次元座標情報に対応し、ＭＲＩ画像Ｇ２について導出した３次元座標情報が、本開示の第２の３次元座標情報に対応する。
ここで、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標は、導出モデル２３Ａに入力される断層画像を基準としたものとなる。すなわち、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標は、断層画像のｚ座標の値を０としたときの値を有するものとなる。このため、バウンディングボックスを規定する３次元座標情報に含まれるｚ座標を３次元画像Ｇ１，Ｇ２の座標系と一致させるために、導出部２３は、導出モデル２３Ａが出力した３次元座標情報に含まれるｚ座標を、導出モデル２３Ａに入力された断層画像の３次元画像Ｇ１，Ｇ２内におけるｚ座標に基づいて修正する。修正は、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標に、断層画像の３次元画像Ｇ１，Ｇ２におけるｚ座標の値を加算することにより行えばよい。
このようにして導出された３次元座標情報を用いることにより、図１５に示すように、３次元画像Ｇ１，Ｇ２に右肺を囲むバウンディングボックス６２、左肺を囲むバウンディングボックス６３および肝臓を囲むバウンディングボックス６４を設定することができる。
ここで、導出部２３は、３次元座標情報を導出する際に、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との輝度値の分布範囲を一致させるための前処理を行う。前処理は、上述した教師データの教師用断層画像を生成する場合と同様に行えばよい。
なお、導出部２３は、図５に示すように選択された複数の断層画像ＤＧ１～ＤＧ８のそれぞれについて、断層画像ＤＧ１～ＤＧ８に含まれる構造物の上端および下端を規定する３次元座標情報を導出する。この場合、導出部２３は、例えば、肺を含む複数の断層画像ＤＧ２～ＤＧ６のそれぞれについて、３次元画像内の肺を囲むバウンディングボックスを規定する３次元座標情報を導出する。しかしながら、導出モデル２３Ａが出力する３次元座標情報は、構造物が同一であってもすべての断層画像において必ずしも一致するものではない。例えば、右肺について、断層画像ＤＧ２から導出した３次元座標情報により規定されるバウンディングボックス（以下、断層画像ＤＧ２に基づくバウンディングボックスとする）、および断層画像ＤＧ５から導出した３次元座標情報により定められるバウンディングボックス（以下、断層画像ＤＧ５に基づくバウンディングボックスとする）を考える。図１６に示すように、断層画像ＤＧ２に基づくバウンディングボックス６５と、断層画像ＤＧ５に基づくバウンディングボックス６６とでは、その位置は完全には一致しない。
このため、導出部２３は、導出モデル２３Ａにより、共通の構造物を含む複数の断層画像のそれぞれについての複数の仮の３次元座標情報を出力する。そして、導出部２３は、導出モデル２３Ａが出力した複数の仮の３次元座標情報を統合して、共通の構造物についての３次元座標情報を導出する。具体的には、導出部２３は、複数の断層画像のそれぞれについて導出モデル２３Ａが出力した仮の３次元座標情報の平均値を導出し、導出した平均値を複数の断層画像に含まれる共通の構造物についての３次元座標情報とする。この場合、平均値としては加算平均値でもよい。
なお、仮の３次元座標情報に含まれる座標は、仮の３次元座標情報を導出した断層画像のそれぞれが基準となっている。このため、統合に際しては、複数の仮の３次元座標情報の座標系を共通の座標系、例えば３次元画像Ｇ１，Ｇ２の座標系に変換した上で、複数の仮の３次元座標情報の平均値等を算出する必要がある。以下、統合について詳細に説明する。図１７は仮の３次元座標情報の統合を説明するための図である。なお、以下では、図５に示す２つの断層画像ＤＧ６，ＤＧ７を用いることにより、肝臓を囲むバウンディングボックスの３次元座標情報が求められたものとして説明を行う。また、図１７においては説明のために、アキシャル断面の断層画像を用いた統合の処理を示している。
図１７に示すように、断層画像ＤＧ６に基づいてバウンディングボックス６７が導出され、断層画像ＤＧ７に基づいてバウンディングボックス６８が導出されたとする。バウンディングボックス６７の座標系を、断層画像ＤＧ６を基準としたｘ６－ｚ６座標系とする。バウンディングボックス６８の座標系を、断層画像ＤＧ７を基準としたｘ７－ｚ７座標系とする。バウンディングボックス６７の仮の３次元座標情報に基づく上側および下側のｚ座標をそれぞれｚｓ１，ｚｅ１とし、左側および右側のｘ座標をそれぞれｘｓ１，ｘｅ１とする。ｘ６－ｚ６座標系においては断層画像ＤＧ６の位置のｚ座標の値が０となる。また、バウンディングボックス６８の仮の３次元座標情報に基づく上側および下側のｚ座標をそれぞれｚｓ２，ｚｅ２とし、左側および右側のｘ座標をそれぞれｘｓ２，ｘｅ２とする。ｘ７－ｚ７座標系においては断層画像ＤＧ７の位置のｚ座標の値が０となる。
導出部２３は、統合に際してバウンディングボックス６７，６８の座標系を３次元画像Ｇ１，Ｇ２の座標系に変換する。ここで、３次元画像Ｇ１，Ｇ２の座標系において、断層画像ＤＧ６のｚ座標をｚ＿Ｄ６、断層画像ＤＧ７のｚ座標をｚ＿Ｄ７とすると、導出部２３は、バウンディングボックス６７の上側および下側のｚ座標にｚ＿Ｄ６を加算し、バウンディングボックス６８の上側および下側のｚ座標にｚ＿Ｄ７を加算することにより、座標系を変換する。これにより、バウンディングボックス６７の上側および下側のｚ座標はそれぞれｚｓ１＋ｚ＿Ｄ６，ｚｅ１＋ｚ＿Ｄ６となる。また、バウンディングボックス６８の上側および下側のｚ座標はそれぞれｚｓ２＋ｚ＿Ｄ７，ｚｅ２＋ｚ＿Ｄ７となる。なお、バウンディングボックス６７，６８のｘ座標およびｙ座標については変換されない。
そして、導出部２３は、バウンディングボックス６７，６８のそれぞれについての座標変換後の仮の３次元座標情報の平均値を算出することにより、仮の３次元座標情報を統合する。具体的には、座標変換後のバウンディングボックス６７，６８のｚ座標およびｘ座標の加算平均を算出することにより、仮の３次元座標情報を統合する。これにより、統合されたバウンディングボックス６９の上側のｚ座標は｛（ｚｓ１＋ｚ＿Ｄ６）＋（ｚｓ２＋ｚ＿Ｄ７）｝／２となり、下側のｚ座標は｛（ｚｅ１＋ｚ＿Ｄ６）＋（ｚｅ２＋ｚ＿Ｄ７）｝／２となる。なお、バウンディングボックス６９の左側のｘ座標は（ｘｓ１＋ｘｓ２）／２となり、右側のｘ座標は（ｘｅ１＋ｘｅ２）／２となる。なお、バウンディングボックス６９のｙ軸方向の座標値については、ｘ軸方向と同様に算出すればよい。
一方、上述したように導出モデル２３Ａを構成するネットワーク３０を学習する場合と同様に、断層画像に含まれる構造物のｚ方向における断層面の位置に応じて、導出モデル２３Ａが出力する３次元座標情報の精度が異なる。例えば、図５に示す断層面Ｄ２を表す断層画像ＤＧ２を用いた場合、肺の上端側の３次元座標情報の精度は高いが、肺の下端側の３次元座標情報の精度は上端ほど高くない。一方、断層面Ｄ５を表す断層画像ＤＧ５を用いた場合、肺の下端側の３次元座標情報の精度は高いが、肺の上端側の３次元座標情報の精度は下端ほど高くない。このため、各断層画像について導出した構造物の仮の３次元座標情報を統合するに際して、各断層画像に含まれる構造物のｚ方向における断層面の位置に応じた重み付け平均値を、最終的な３次元座標情報として導出することが好ましい。
例えば、説明のために、４つの断層面Ｄ２～Ｄ５のそれぞれを表す４つの断層画像ＤＧ２～ＤＧ５について、導出モデル２３Ａが出力し、かつ共通の座標系に変換した右肺の上端側の３次元座標情報をＰｕ２２～Ｐｕ２５とした場合、下記の式（１）により、最終的な右肺の上端側の３次元座標情報Ｐｕ０を導出する。また、導出モデル２３Ａが出力し、かつ共通の座標系に変換した右肺の下端側の３次元座標情報をＰｌ２２～Ｐｌ２５とした場合、下記の式（２）により、最終的な右肺の下端の３次元座標情報Ｐｌ０を導出する。
Pu0=w12*Pu22+w13*Pu23+w14*Pu24+w15*Pu25 （１）
Pl0=w22*Pl22+w23*Pl23+w24*Pl24+w25*Pl25 （２）
式（１）においてｗ１２～ｗ１５は重み係数であり、ｗ１２＋ｗ１３＋ｗ１４＋ｗ１５＝１かつｗ１２＞ｗ１３＞ｗ１４＞ｗ１５である。式（２）において、ｗ２２～ｗ２５は重み係数であり、ｗ２２＋ｗ２３＋ｗ２４＋ｗ２５＝１かつｗ２２＜ｗ２３＜ｗ２４＜ｗ２５である。これにより、複数の断層画像に共通の構造物が含まれる場合であっても、構造物のｚ方向における断層面の位置に拘わらず、精度よく３次元座標情報を導出することができる。
位置合わせ部２５は、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。このために、位置合わせ部２５は、導出部２３が導出した、ＣＴ画像Ｇ１に含まれる構造物の３次元座標情報と、ＭＲＩ画像Ｇ２に含まれる構造物の３次元座標情報とを用いて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２にバウンディングボックスを設定する。そして、位置合わせ部２５は、バウンディングボックスを用いてＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。
図１８は、ＣＴ画像とＭＲＩ画像との位置合わせを説明するための図である。なお、ここでは、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれにおいて、右肺、左肺および肝臓に対してのみ、バウンディングボックス７１Ａ～７１Ｃ、７２Ａ～７２Ｃが設定されているものとして説明する。
位置合わせ部２５は、ＣＴ画像Ｇ１において、バウンディングボックス７１Ａ～７１Ｃのそれぞれの重心位置ｇ１Ａ～ｇ１Ｃを導出する。また、位置合わせ部２５は、ＭＲＩ画像Ｇ２において、バウンディングボックス７２Ａ～７２Ｃのそれぞれの重心位置ｇ２Ａ～ｇ２Ｃを導出する。そして、互いに対応する重心位置ｇ１Ａ～ｇ１Ｃおよび重心位置ｇ２Ａ～ｇ２Ｃの、ｘ方向、ｙ方向およびｚ方向の位置が一致するように、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを行う。具体的には、位置合わせ部２５は、重心位置ｇ１Ａと重心位置ｇ２Ａとの相違、重心位置ｇ１Ｂと重心位置ｇ２Ｂとの相違、および重心位置ｇ１Ｃと重心位置ｇ２Ｃとの相違の和が最小となるように、例えば最小自乗法を用いてＣＴ画像Ｇ１に対するＭＲＩ画像Ｇ２の平行移動量、拡大率および回転量の少なくとも１つを含む位置合わせ量を導出する。そして位置合わせ部２５は、導出した位置合わせ量に基づいて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の一方を他方に対して平行移動、拡大縮小および／または回転させることにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。
なお、ＣＴ画像Ｇ１について導出した重心位置ｇ１Ａ～ｇ１Ｃを統合した第１の統合重心位置と、ＭＲＩ画像Ｇ２について導出した重心位置ｇ２Ａ～ｇ２Ｃを統合した第２の統合重心位置とをそれぞれ導出し、導出した第１の統合重心位置と第２の統合重心位置とが一致するように位置合わせを行うようにしてもよい。また、注目する構造物を囲むバウンディングボックスの重心のみを用いて位置合わせを行うようにしてもよい。また、重心位置ｇ１Ａ～ｇ１Ｃのそれぞれと、重心位置ｇ２Ａ～ｇ２Ｃのそれぞれとが一致するように、ＣＴ画像Ｇ１に対してＭＲＩ画像Ｇ２を非線形に変形することにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うようにしてもよい。
表示制御部２６は、３次元画像Ｇ１，Ｇ２をディスプレイ１４に表示する。図１９は３次元画像の表示画面を示す図である。図１９に示すように３次元画像の表示画面８０は、画像表示領域８１および文章表示領域８２を含む。画像表示領域８１は、ＣＴ画像Ｇ１を表示するための第１表示領域８３、およびＭＲＩ画像Ｇ２を表示するための第２表示領域８４を含む。第１表示領域８３および第２表示領域８４には、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる断層画像が表示される。表示される断層画像は、入力デバイス１５を用いてＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のいずれかを選択し、入力デバイス１５のマウスが備えるスクロールホイール等を用いて切り替え表示することができる。なお、第１表示領域８３に表示されるＣＴ画像Ｇ１と第２表示領域８４に表示されるＭＲＩ画像Ｇ２とのｘｙ方向の位置は、位置合わせ部２５により位置合わせがなされている。このため、第１表示領域８３および第２表示領域８４に表示される、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる被写体の断層面の画像上の位置は一致しているものとなる。
なお、読影医によって、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで別々の断層面を読影したい場合もあれば、表示される断層面を同期させたい場合もある。このため、本実施形態においては、表示される断層画像のｚ方向の位置、すなわち断層面の位置に関しては、後述する同期ボタンにより、表示する断層面の同期および非同期を切り替えるようにしている。
文章表示領域８２には、読影医によるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の読影結果を表す所見文が、入力デバイス１５を用いて入力される。
画像表示領域８１の下方には、同期ボタン８６が表示されている。同期ボタン８６は、画像表示領域８１に表示されているＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層面の位置の同期および非同期を切り替えるためのものである。読影医は、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２における所望とする断層面の断層画像を表示し、同期ボタン８６を選択することにより、表示されるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層面の位置を一致させることができる。断層面の位置の一致は、位置合わせ部２５による位置合わせ量のうちのｚ方向の平行移動量についての位置合わせ量を用いる。これにより、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２における表示される断層画像が同一の断層面を表すものとなる。したがって、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２のいずれか一方の断層面を切り替えることによって、他方の断層面も同期して切り替えることができる。また、断層面を同期させた後に同期ボタン８６が再度選択されると、同期が解除される。これにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで別々の断層面の断層画像を表示することが可能となる。
文章表示領域８２の下方には確定ボタン８７が表示されている。読影医は、所見文の入力後、入力デバイス１５を用いて確定ボタン８７を選択することにより、所見文の入力内容を確定することができる。
保存制御部２７は、読影医による確定ボタン８７の選択により、文章表示領域８２に記述された所見文を読影レポートに転記し、読影レポートおよび読影レポートを生成する際に参照したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層画像を併せて、ストレージ１３に保存する。
通信部２８は、文章表示領域８２に記述された所見文が転記された読影レポート、および読影レポートを生成する際に参照したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層画像を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送する。レポートサーバ７は、読影レポートおよびスライス画像を併せて保存する。
次いで、本実施形態において行われる処理について説明する。図２０は本実施形態において行われる学習処理を示すフローチャートである。なお、複数の教師データが画像サーバ５から取得されて、ストレージ１３に保存されているものとする。まず、学習部２４が、ネットワーク３０に対して教師データに含まれる教師用断層画像を入力し（ステップＳＴ１）、教師データに含まれるラベルおよび教師用３次元座標情報と、ネットワーク３０から出力された構造物についてのスコアおよび３次元座標情報とに基づいて、損失を導出する（ステップＳＴ２）。
そして、学習部２４は、損失が予め定められたしきい値以下となるように、ネットワーク３０を学習する（ステップＳＴ３）。その後、ステップＳＴ１にリターンし、次の教師データをストレージ１３から取得して、ステップＳＴ１～ステップＳＴ３の処理を繰り返す。なお、ステップＳＴ１～ステップＳＴ３の処理は、損失が予め定められたしきい値以下となるまで繰り返してもよく、予め定められた回数繰り返してもよい。これにより、学習済みの導出モデル２３Ａが構築される。
次いで、本実施形態において行われる画像処理について説明する。図２１は本実施形態において行われる画像処理を示すフローチャートである。なお、読影の対象となるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、選択部２２が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から、断層画像ＤＧｋを選択する（ステップＳＴ１１）。次いで、導出部２３が、選択部２２が選択した断層画像ＤＧｋから、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する（ステップＳＴ１２）。
次いで、位置合わせ部２５が、３次元座標情報に基づくバウンディングボックスをＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に設定し（ステップＳＴ１３）、設定したバウンディングボックスを用いて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを行う（ステップＳＴ１４）。次いで、表示制御部２６が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を表示画面８０に表示する（ステップＳＴ１５）。続いて、同期ボタン８６が選択されたか否かの監視が開始される（ステップＳＴ１６）。ステップＳＴ１６が肯定されると、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のｚ方向の位置を同期させて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を表示し（同期表示切り替え；ステップＳＴ１７）、ステップＳＴ１６に戻る。この状態において、読影医は、表示されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を読影して、文章表示領域８２に所見文を入力することができる。なお、同期表示中に同期ボタン８６が再度選択されると、同期表示から非同期表示に切り替えられることとなる。
ステップＳＴ１６が否定されると、表示制御部２６が、確定ボタン８７が選択されたか否かを判定し（ステップＳＴ１８）、ステップＳＴ１８が否定されると、ステップＳＴ１６に戻る。ステップＳＴ１８が肯定されると、保存制御部２７が、所見文をＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２についての読影レポートに転記し、読影レポート、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を併せて、ストレージ１３に保存する（読影レポート等保存；ステップＳＴ１９）。そして、通信部２８が、読影レポート、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送し（読影レポート等転送；ステップＳＴ２０）、処理を終了する。
このように、本実施形態においては、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２のような３次元画像から選択された２次元の断層画像ＤＧｋから、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出するようにした。このため、３次元画像そのものを用いて３次元画像に含まれる構造物の３次元座標情報を導出する場合と比較して、処理が必要な情報量が少なくなる。これにより、少ない演算量により３次元座標情報を導出することができる。したがって、本実施形態によれば、３次元画像において構造物の範囲を示す３次元座標を効率よく設定することができる。
また、本実施形態においては、導出された３次元座標情報を用いることにより、３次元画像に含まれる構造物に対して、効率よくバウンディングボックスを設定することができる。また、設定されたバウンディングボックスを用いることにより、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを効率よく行うことができる。
なお、上記実施形態においては、導出部２３において、１つの断層画像の入力により、その断層画像に含まれる構造物の３次元座標情報を導出するようにしているが、これに限定されるものではない。複数の断層画像を１つの組として導出モデル２３Ａに入力することにより、複数の断層画像のそれぞれに含まれる共通の構造物について１つの３次元座標情報を導出するようにしてもよい。例えば、図２２に示すように、断層画像ＤＧ３および断層画像ＤＧ３に隣接する複数の断層画像（図２２においては合計５つ）を１組として導出モデル２３Ａに入力することにより、左肺についての１つの３次元座標情報を導出するようにしてもよい。すなわち、５つの断層画像の入力により、左肺を囲む１つのバウンディングボックスを規定する２点の３次元座標を導出するようにしてもよい。
この場合、導出モデル２３Ａは、共通する構造物を含む複数の教師用断層画像、複数の教師用断層画像に共通する構造物についてのラベル、およびその構造物についての教師用３次元座標情報からなる教師データを用いた機械学習により構築される。これにより、複数の断層画像の組が入力されると、複数の断層画像に含まれる共通の構造物の端部を規定する３次元座標情報を出力する導出モデル２３Ａを構築することができる。
なお、この場合、導出モデル２３Ａに入力される断層画像の数はいくつであってもよいが、３次元画像を構成するすべての断層画像の数よりも少ないものとする。これにより、３次元画像そのものを用いる場合よりも、少ない演算量により３次元座標情報を導出することができる。
また、上記実施形態において、ＣＴ画像Ｇ１からの３次元座標情報の導出と、ＭＲＩ画像Ｇ２からの３次元座標情報の導出とをそれぞれ異なる導出モデルにより行うようにしてもよい。例えば、ＣＴ画像Ｇ１から３次元座標情報を導出する導出モデルとして、１つの断層画像の入力により３次元座標情報を導出するモデルを使用し、ＭＲＩ画像Ｇ２から３次元座標情報を導出する導出モデルとして、複数の断層画像の入力により複数の断層画像に共通する構造物についての１つの３次元座標情報を導出するモデルを使用してもよい。
また、上記実施形態においては、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２からそれぞれ同数の断層画像を選択しているが、これに限定されるものではない。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれから異なる数の断層画像を選択してもよい。例えば、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のいずれか一方からは、１枚の断層画像のみを選択するようにしてもよい。ここで、ＣＴ画像Ｇ１から１枚の断層画像のみを選択したとすると、選択した１枚の断層画像を用いて、選択した１枚の断層画像に含まれる構造物を囲むバウンディングボックスをＣＴ画像Ｇ１に設定できる。一方、ＭＲＩ画像Ｇ２については、上記実施形態と同様に、複数の断層画像のそれぞれに含まれる構造物を囲むバウンディングボックスをＭＲＩ画像Ｇ２に設定できる。したがって、ＭＲＩ画像Ｇ２については、ＣＴ画像Ｇ１において３次元座標情報を導出した構造物を含むすべての構造物について３次元座標情報を導出してバウンディングボックスを設定できる。このため、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで異なる数の断層画像を選択したとしても、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うことができる。したがって、より少ない演算量により、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うことができる。
また、上記実施形態においては、選択部２２が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から断層画像を選択しているが、これに限定されるものではない。表示制御部２６が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２をディスプレイ１４に表示し、表示されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から操作者による所望とする断層面の選択を受け付けることにより、選択部２２が断層画像を選択するようにしてもよい。
また、上記実施形態においては、導出部２３が、バウンディングボックスにおける８つの頂点のうち、最も離れた位置にある２つの頂点を３次元座標情報として導出しているが、これに限定されるものではない。導出部２３は、最も離れた位置にある２つの頂点以外の、バウンディングボックスを規定することが可能な複数の頂点を３次元座標情報として導出するものとしてもよい。例えば、バウンディングボックスを規定する８つの頂点のすべての３次元座標を３次元座標情報として導出するものとしてもよい。この場合、導出モデル２３Ａは、断層画像が入力されると、構造物を囲むバウンディングボックスおける予め定められた複数の頂点についての３次元座標情報を出力するものとなるように構築すればよい。このような導出モデル２３Ａの学習は、バウンディングボックスにおける予め定められた複数の頂点についての教師用３次元座標情報を含む教師データを用いて行えばよい。
また、上記実施形態においては、導出部２３が、構造物の向きの情報を導出するものとしてもよい。この場合、導出モデル２３Ａは構造物の向きの情報を含む教師データを用いて機械学習を行うことにより、断層画像が入力されると、構造物の端部を規定する３次元座標情報に加えて、構造物の向きの情報を出力するものとなるように構築すればよい。
このように導出モデル２３Ａを構築した場合、以下のような処理を行うことが可能となる。すなわち、例えば、ＭＲＩ画像を撮影する１回の検査において、アキシャル方向のＭＲＩ画像とサジタル方向のＭＲＩ画像とが混在している場合がある。このような場合、双方の画像を用いて、構造物の３次元座標情報を決定する。すなわち、アキシャル方向のＭＲＩ画像とサジタル方向のＭＲＩ画像のそれぞれの断層画像から、構造物の向きの情報も出力するように構築された導出モデル２３Ａを用いて、構造物の仮の３次元座標情報と向きとを導出する。ここで、両方向のＭＲＩ画像には、画像に付帯する付帯情報（例えばＤＩＣＯＭ情報）にアキシャル画像とサジタル画像との断面間の相対的な位置と向きとの関係を表す情報が含まれる。このため、導出モデル２３Ａが導出した仮の３次元座標情報および向きと、アキシャル画像およびサジタル画像の断面間の相対的な位置および向きの関係を表す情報とに基づいて、仮の３次元座標情報を統合することにより、より精度よく構造物の端部を規定する３次元座標情報を求めることができる。
また、上記実施形態においては、異なる撮影装置により取得されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせのために、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる構造物についての３次元座標情報を導出しているが、処理対象の画像はこれらに限定されるものではない。例えば、同一患者についての最新の３次元画像（対象３次元画像とする）と、過去に撮影することにより取得された過去３次元画像との位置合わせを行う場合にも、本開示の技術を適用することができる。
この場合、選択部２２は、対象３次元画像および過去３次元画像のそれぞれから少なくとも１つの断層画像を選択し、導出部２３は、対象３次元画像および過去３次元画像のそれぞれにおいて、選択した断層画像と交わる方向における構造物の端部を規定する３次元座標情報を導出するものとすればよい。なお、対象３次元画像および過去３次元画像は、同一の撮影装置により取得されたものであってもよく、異なる撮影装置により取得されたものであってもよい。例えば、対象３次元画像がＣＴ画像であり、過去３次元画像がＭＲＩ画像であってもよい。これにより、同一患者についての経過観察を行う場合にも、対象３次元画像と過去３次元画像との断層面の位置合わせを効率よく行うことができる。
また、本実施形態においては、例えば造影剤を用いて撮影を行う場合における、造影前のＣＴ画像および造影後のＣＴ画像を位置合わせの対象とすることもできる。この場合、選択部２２は、造影前のＣＴ画像および造影後のＣＴ画像のそれぞれから少なくとも１つの断層画像を選択し、導出部２３は、造影前のＣＴ画像および造影後のＣＴ画像のそれぞれにおいて、選択した断層画像と交わる方向における構造物の端部を規定する３次元座標情報を導出するものとすればよい。これにより、造影前後の患者の状態の観察を行う場合にも、造影前のＣＴ画像と造影後のＣＴ画像との表示される断層面の位置合わせを効率よく行うことができる。
また、上記実施形態においては、ｘ方向、ｙ方向およびｚ方向の位置合わせを行っているが、これに限定されるものではない。ｘ方向およびｙ方向については、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで撮影時に概ね位置合わせがなされている。このため、ｚ方向のみの位置合わせを行うようにしてもよい。
また、上記実施形態においては、複数の３次元画像の位置合わせを行うために、複数の断層画像のそれぞれから選択された断層画像を用いて、選択した断層画像と交わる方向における構造物の端部を規定する３次元座標情報を導出しているが、これに限定されるものではない。１つの３次元画像から対象とする構造物を抽出する処理を行う場合にも、本実施形態により導出した３次元座標情報を用いることができる。
例えば、３次元画像から肝臓を抽出する処理を行う場合、抽出処理の前に本実施形態によって肝臓の端部を規定する３次元座標情報を導出する。そして、導出した３次元座標情報に基づいて、肝臓を囲むバウンディングボックスを設定する。次いで、バウンディングボックス付近において肝臓の抽出処理を行う。ここで、３次元画像の全体に対して抽出処理を行うよりも、バウンディングボックス付近の画像のみを用いて抽出処理を行った方が、演算量が少なくて済む。このため、３次元画像から構造物を抽出する処理を行う際に、本実施形態により導出される３次元座標情報を用いてバウンディングボックスを設定することにより、３次元画像からの所望とする構造物の抽出を、少ない演算量で効率よく行うことができる。
また、上記実施形態においては、３次元画像から選択する断層画像として、アキシャル断面の断層画像を選択しているが、これに限定されるものではない。コロナル断面またはサジタル断面の断層画像を選択するようにしてもよい。この場合、導出部２３における導出モデル２３Ａは、コロナル断面またはサジタル断面の断層画像の入力により、３次元画像において、コロナル断面またはサジタル断面に交わる方向における構造物の端部を規定する３次元座標情報を導出するものとなるように構築すればよい。この場合、導出モデル２３Ａの学習には、コロナル断面またはサジタル断面の教師用断層画像を含む教師データが用いられることとなる。
また、上記実施形態において、１つの断層画像に構造物の断層面の全体が含まれず、その断層画像内において構造物が見切れている場合がある。このような場合、断層画像と交わる方向に加えて、断層画像により表される断層面内における構造物の端部を規定する３次元座標情報を導出するようにすればよい。
また、上記実施形態において、例えば、画像取得部２１、選択部２２、導出部２３、学習部２４、位置合わせ部２５、表示制御部２６、保存制御部２７および通信部２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２Ａ 画像処理プログラム
１２Ｂ 学習プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 画像処理装置
２１ 画像取得部
２２ 選択部
２３ 導出部
２３Ａ 導出モデル
２４ 学習部
２５ 位置合わせ部
２６ 表示制御部
２７ 保存制御部
２８ 通信部
３０ ネットワーク
３１ 畳み込み層
３２ ＲＰＮ
３３ 分類ネットワーク
４０Ｒ、４０Ｌ、４６Ｒ、４６Ｌ、６０～６８、７１Ａ～７１Ｃ、７２Ａ～７２Ｃ バウンディングボックス
４１Ｒ、４１Ｌ 断層像
４２Ｒ、４２Ｌ 破線
４３Ｒ、４４Ｒ 頂点
５０ 教師データ
５１ 教師用断層画像
５２ ラベル
５３ 教師用３次元座標情報
８０ 表示画面
８１ 画像表示領域
８２ 文章表示領域
８３ 第１表示領域
８４ 第２表示領域
８６ 同期ボタン
８７ 確定ボタン
Ｄ０１～Ｄ０３、Ｄ１～Ｄ８、Ｄ１１～Ｄ１３ 断層面
ＤＧ１～ＤＧ８、ＤＧ１１～ＤＧ１３ 断層画像
Ｇ１ ＣＴ画像
Ｇ２ ＭＲＩ画像
ｇ１Ａ～ｇ１Ｃ、ｇ２Ａ～ｇ２Ｃ 重心位置
Ｐ１１～Ｐ１４ 頂点

Claims (27)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    共通の構造物を含む複数の断層画像のそれぞれから、前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する仮の３次元座標情報を導出し、前記仮の３次元座標情報を統合して前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する画像処理装置。
  2. 前記プロセッサは、前記複数の断層画像のそれぞれについての前記仮の３次元座標情報を共通の座標系に変換し、変換された前記仮の３次元座標情報を統合することにより前記３次元座標情報を導出する請求項１に記載の画像処理装置。
  3. 前記プロセッサは、同一の前記構造物の上端または下端を含む断層画像について導出した仮の３次元座標情報に対しては、前記上端または前記下端に近い方の仮の３次元座標情報を高い優先度で統合して、前記３次元座標情報を導出する請求項１または２に記載の画像処理装置。
  4. 前記プロセッサは、それぞれ複数の断層画像を含み、共通の前記構造物を含む第１の３次元画像および第２の３次元画像を取得し、
    前記第１の３次元画像に含まれる前記構造物についての第１の３次元座標情報および前記第２の３次元画像に含まれる前記構造物についての第２の３次元座標情報を導出し、
    前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像にそれぞれ含まれる前記共通の構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影装置が異なる３次元画像である請求項４に記載の画像処理装置。
  6. 前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影時期が異なる３次元画像である請求項４または５に記載の画像処理装置。
  7. 前記プロセッサは、前記第１および前記第２の３次元画像のそれぞれについて、異なる手法により前記第１および前記第２の３次元座標情報を導出する請求項４から６のいずれか１項に記載の画像処理装置。
  8. 前記断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを有する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    それぞれ複数の断層画像を含み、かつ共通の構造物を含む第１の３次元画像および第２の３次元画像を取得し、
    前記第１の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第１の３次元座標情報を導出し、
    前記第２の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第２の３次元座標情報を導出し、
    前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像のそれぞれに含まれる前記共通の構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像処理装置。
  10. 前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影装置が異なる３次元画像である請求項９に記載の画像処理装置。
  11. 前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影時期が異なる３次元画像である請求項９または１０に記載の画像処理装置。
  12. 前記プロセッサは、前記第１および前記第２の３次元画像のそれぞれについて、異なる手法により前記第１および前記第２の３次元座標情報を導出する請求項９から１１のいずれか１項に記載の画像処理装置。
  13. 前記断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを有する請求項９から１２のいずれか１項に記載の画像処理装置。
  14. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    構造物を含む断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを用いて、処理対象となる断層画像から、前記処理対象となる断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記処理対象となる断層画像と交わる方向における構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する画像処理装置。
  15. 前記プロセッサは、複数の断層画像を含む３次元画像から前記構造物を含む少なくとも１つの断層画像を選択する請求項１から１４のいずれか１項に記載の画像処理装置。
  16. 前記３次元座標情報は、前記構造物を囲む直方体を規定する複数の頂点の３次元座標を含む請求項１から１５のいずれか１項に記載の画像処理装置。
  17. 前記複数の頂点は、前記直方体を規定する頂点のうちの、最も離れた位置にある２つの頂点を含む請求項１６に記載の画像処理装置。
  18. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力する導出モデルを、教師データを用いての機械学習を行うことにより構築する学習装置。
  19. 前記教師データは、教師用断層画像、および前記教師用断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記教師用断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する教師用３次元座標情報を含む請求項１８に記載の学習装置。
  20. コンピュータが、共通の構造物を含む複数の断層画像のそれぞれから、前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する仮の３次元座標情報を導出し、前記仮の３次元座標情報を統合して前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する画像処理方法。
  21. コンピュータが、それぞれ複数の断層画像を含み、かつ共通の構造物を含む第１の３次元画像および第２の３次元画像を取得し、
    前記第１の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第１の３次元座標情報を導出し、
    前記第２の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第２の３次元座標情報を導出し、
    前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像のそれぞれに含まれる前記共通の構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像処理方法。
  22. コンピュータが、構造物を含む断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを用いて、処理対象となる断層画像から、前記処理対象となる断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記処理対象となる断層画像と交わる方向における構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する画像処理方法。
  23. コンピュータが、断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力する導出モデルを、教師データを用いての機械学習を行うことにより構築する学習方法。
  24. 共通の構造物を含む複数の断層画像のそれぞれから、前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する仮の３次元座標情報を導出し、前記仮の３次元座標情報を統合して前記構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する手順をコンピュータに実行させる画像処理プログラム。
  25. それぞれ複数の断層画像を含み、かつ共通の構造物を含む第１の３次元画像および第２の３次元画像を取得する手順と、
    前記第１の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第１の３次元座標情報を導出する手順と、
    前記第２の３次元画像に含まれる前記構造物についての断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する第２の３次元座標情報を導出する手順と、
    前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像のそれぞれに含まれる前記共通の構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う手順とをコンピュータに実行させる画像処理プログラム。
  26. 構造物を含む断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いて学習がなされた導出モデルを用いて、処理対象となる断層画像から、前記処理対象となる断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記処理対象となる断層画像と交わる方向における構造物の端部の前記断層面外の位置を規定する３次元座標情報を導出する手順をコンピュータに実行させる画像処理プログラム。
  27. 断層画像が入力されると、前記入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ前記断層画像と交わる方向における前記構造物の端部の前記断層面外の位置を規定する３次元座標情報を出力する導出モデルを、教師データを用いての機械学習を行うことにより構築する手順をコンピュータに実行させる学習プログラム。
JP2022514447A 2020-04-09 2021-04-01 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル Active JP7389233B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020070312 2020-04-09
JP2020070312 2020-04-09
JP2020186787 2020-11-09
JP2020186787 2020-11-09
PCT/JP2021/014212 WO2021205990A1 (ja) 2020-04-09 2021-04-01 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル

Publications (3)

Publication Number Publication Date
JPWO2021205990A1 JPWO2021205990A1 (ja) 2021-10-14
JPWO2021205990A5 JPWO2021205990A5 (ja) 2022-12-20
JP7389233B2 true JP7389233B2 (ja) 2023-11-29

Family

ID=78024139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514447A Active JP7389233B2 (ja) 2020-04-09 2021-04-01 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル

Country Status (3)

Country Link
US (1) US20230022549A1 (ja)
JP (1) JP7389233B2 (ja)
WO (1) WO2021205990A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283483A (ja) 2003-03-25 2004-10-14 Hitachi Medical Corp 磁気共鳴イメージング装置
JP2013102889A (ja) 2011-11-11 2013-05-30 Toshiba Corp 磁気共鳴イメージング装置
US20180315188A1 (en) 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
US20190050981A1 (en) 2017-08-09 2019-02-14 Shenzhen Keya Medical Technology Corporation System and method for automatically detecting a target object from a 3d image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283483A (ja) 2003-03-25 2004-10-14 Hitachi Medical Corp 磁気共鳴イメージング装置
JP2013102889A (ja) 2011-11-11 2013-05-30 Toshiba Corp 磁気共鳴イメージング装置
US20180315188A1 (en) 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
US20190050981A1 (en) 2017-08-09 2019-02-14 Shenzhen Keya Medical Technology Corporation System and method for automatically detecting a target object from a 3d image

Also Published As

Publication number Publication date
JPWO2021205990A1 (ja) 2021-10-14
WO2021205990A1 (ja) 2021-10-14
US20230022549A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
JP7225295B2 (ja) 医用画像表示装置、方法およびプログラム
US8953856B2 (en) Method and system for registering a medical image
Meinzer et al. Computerized planning of liver surgery—an overview
EP3164075B1 (en) Unified coordinate system for multiple ct scans of patient lungs
EP3355273B1 (en) Coarse orientation detection in image data
US10268802B2 (en) Medical image processing apparatus and medical image processing system
WO2022037696A1 (zh) 基于深度学习的骨骼分割方法和系统
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
JP2018175366A (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP7389233B2 (ja) 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
JP7389234B2 (ja) 画像位置合わせ装置、方法およびプログラム
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
JPWO2020090445A1 (ja) 領域修正装置、方法およびプログラム
Amara et al. Augmented Reality for medical practice: a comparative study of Deep learning models for Ct-scan segmentation
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US11501442B2 (en) Comparison of a region of interest along a time series of images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7389233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150