JPWO2019146356A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2019146356A1
JPWO2019146356A1 JP2019567935A JP2019567935A JPWO2019146356A1 JP WO2019146356 A1 JPWO2019146356 A1 JP WO2019146356A1 JP 2019567935 A JP2019567935 A JP 2019567935A JP 2019567935 A JP2019567935 A JP 2019567935A JP WO2019146356 A1 JPWO2019146356 A1 JP WO2019146356A1
Authority
JP
Japan
Prior art keywords
target area
measurement target
measurement
measurement object
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019567935A
Other languages
English (en)
Other versions
JP6920477B2 (ja
Inventor
晶路 一ノ瀬
晶路 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019146356A1 publication Critical patent/JPWO2019146356A1/ja
Application granted granted Critical
Publication of JP6920477B2 publication Critical patent/JP6920477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

機械学習に用いられる質の高い正解データを簡便な方法で収集し得る、画像処理装置、画像処理方法、及びプログラムを提供する。測定対象領域の正解データを用いて学習した学習結果を用いて、医用画像から測定対象領域を抽出する第１抽出器（５２）、測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定部（５４）、ユーザの指示に応じて測定オブジェクトを修正する測定オブジェクト修正部（５６）、測定オブジェクトの修正結果を用いて、第１抽出器を用いて抽出された測定対象領域を修正する測定対象領域修正部（５８）を備え、第１抽出器は、測定対象領域修正部を用いて修正された測定対象領域を正解データとして学習する。

Description

本発明は画像処理装置、画像処理方法、及びプログラムに係り、特に医用画像の画像処理と機械学習との連携に関する。
近年、医療分野においてもデジタル化が進み、デジタル形式の医用画像から特定の領域の自動抽出が可能となっている。また、医用画像から抽出した領域の自動測定が可能となっている。
また、デジタル形式の医用画像から特定の領域を抽出した結果を利用した機械学習を行い、学習結果を用いて、デジタル形式の医用画像から特定の領域の抽出を行うことが可能となっている。医療分野における深層学習を利用した領域抽出等の画像処理は、高精度の処理が可能となっている。
特許文献１は、デジタル形式の医用画像を受信し、デジタル形式の医用画像内の幾何学的特徴の演算に関連する画像内の測定要素を自動的に識別し、幾何学的特徴を自動的に演算する画像解釈システムが記載されている。同文献に記載の画像解釈システムは、デジタル形式の胸部Ｘ写真から、胸中心線、心臓の尖端点、心臓の横方向の極値点、右肺の横方向の極値点、及び左肺の横方向の極値点を自動的に識別し、心胸郭比を演算する。
特許文献２は、ＣＴ画像から臓器領域、及び腫瘍領域を抽出する画像処理装置が記載されている。同文献に記載の画像処理装置は、ＣＴ画像を基準とするＰＥＴ画像の変位を算出し、ＣＴ画像を基準としてＰＥＴ画像を変形させる。なお、ＣＴは、Computed Tomographyの省略語である。ＰＥＴは、positron emission tomographyの省略語である。
特許文献３は、医用画像上に計測線を表示させる画像計測装置が記載されている。同文献に記載の画像計測装置は、医用画像の画像ファイル、及び画像ファイルに対応するアノテーション情報を取得し、取得した画像ファイル、及びアノテーション情報に基づいて、医用画像上に計測線、及び計測値を付加して表示する。なお、アノテーション情報は、計測線に関する画像ファイルの付帯情報である。同文献に記載の画像計測装置は、計測線を移動させた場合、移動後の計測線に基づいて計測値を算出する。
特許文献４は、ディスプレイ装置に表示させて曲線の任意の点を移動させた場合に、点の移動に追従して、曲線全体の軌道が滑らかに連続する曲線に修正する曲線修正プログラムが記載されている。
特許文献５は、空間的、又は時間的に連なる複数枚の画像から、各画像における臓器領域を自動的に抽出する医用画像診断装置が記載されている。同文献に記載の医用画像診断装置は、心臓の断層画像における心筋領域の移動、領域の変形、領域の局所的な削除、及び領域の局所的な付加等が可能である。
特許文献６は、医用画像から特定領域を抽出する画像処理方法が記載されている。同文献に記載の画像処理方法は、複数枚の関連した画像において、複数枚の画像を領域の内外に区分する際に、関連画像の１枚について領域の内外の区分を実施し、区分結果を学習する。他の関連画像において、学習結果を利用して領域を自動抽出している。
特表２０１４−５０２１７６号公報 特開２０１４−５０５２７号公報 特開２０１０−２３３８７９号公報 特開２００８−２６２２５３号公報 特開２００５−２２４４６０号公報 特開平４−１２５７７９号公報
機械学習を利用した高精度の画像処理には、質の高い正解データが必要となる。しかしながら、正解画像の選別、及び正解画像の記憶処理等における作業負荷の観点等から、質の高い正解データの収集は困難である。
特許文献１から特許文献５に記載の発明は、医用画像における領域抽出、領域の自動測定、及び領域修正に関する発明であり、特許文献１から特許文献５には、機械学習に用いられる正解データの収集に関する記載はない。
特許文献６に記載の発明は、機械学習を利用した医用画像の領域抽出を行う発明であるが、特許文献６は、機械学習の正解データの収集に関する記載はない。
本発明はこのような事情に鑑みてなされたもので、機械学習に用いられる質の高い正解データを簡便な方法で収集し得る、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る画像処理装置は、測定対象領域の正解データを用いて学習した学習結果を用いて、医用画像から測定対象領域を抽出する第１抽出器と、測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定部と、ユーザの指示に応じて測定オブジェクトを修正する測定オブジェクト修正部と、測定オブジェクトの修正結果を用いて、第１抽出器を用いて抽出された測定対象領域を修正する測定対象領域修正部と、を備え、第１抽出器は、測定対象領域修正部を用いて修正された測定対象領域を正解データとして学習する画像処理装置である。
第１態様によれば、測定オブジェクトの修正結果に基づく測定対象領域の修正結果が第１抽出器の正解データとされる。これにより、機械学習に用いられる質の高い正解データを簡便な方法で収集することが可能となる。
医用画像は、医用画像の撮像信号から生成される画像である。医用画像の例としてデジタル形式のＸ線画像が挙げられる。
測定対象領域は、医用画像に含まれる臓器、骨、腱、筋、及び腫瘍を表す領域であり、代表値等の測定値を算出する対象の領域である。測定対象領域は１つでもよいし、複数でもよい。
測定オブジェクトは、測定対象領域の測定位置を確定させる線分、点、矩形、及び記号等である。
測定対象領域の抽出を学習する際の正解データは、修正前の測定対象領域と、測定対象領域の修正結果との組を適用可能である。
第１態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のメモリを備えた画像処理装置であって、プロセッサは測定対象領域の正解データを用いて学習した学習結果を用いて、医用画像から測定対象領域を抽出し、測定対象領域の測定に用いる測定オブジェクトを決定し、ユーザの指示に応じて測定オブジェクトを修正し、修正された測定対象領域を正解データとして学習する。メモリは、各処理におけるデータを記憶する画像処理装置として構成し得る。
第２態様は、第１態様の画像処理装置において、測定対象領域修正部は、修正後の測定オブジェクトと、測定オブジェクトの修正に応じた測定対象領域の修正結果とを学習した学習結果を用いて、測定オブジェクトの修正に応じて測定対象領域を修正する第２抽出器を備えた構成としてもよい。
第２態様によれば、測定対象領域の修正結果を用いた学習結果を用いて、高精度の測定対象領域の修正が可能である。
第２抽出器は、測定オブジェクトの修正結果と、測定対象領域の修正結果との組を正解データとして、測定オブジェクトの修正を学習し得る。
第３態様は、第１態様又は第２態様の画像処理装置において、測定対象領域修正部は、測定対象領域における修正後の測定オブジェクトの外側の領域を非測定対象領域に変更する測定対象領域の修正を行う構成としてもよい。
第３態様によれば、測定オブジェクトの位置に応じた測定対象領域を削除する修正が可能となる。
第４態様は、第１態様又は第２態様の画像処理装置において、測定対象領域修正部は、非測定対象領域における修正後の測定オブジェクトの内側の領域を測定対象領域に変更する測定対象領域の修正を行う構成としてもよい。
第４態様によれば、測定オブジェクトの位置に応じた測定対象領域を追加する修正が可能となる。
第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、測定オブジェクト決定部は、第１方向に平行な複数の第１線分を測定オブジェクトとして決定し、かつ第１方向と直交する第２方向における測定対象領域の一方の端の位置、測定対象領域の他方の端の位置を第１線分の位置として決定する構成としてもよい。
第５態様によれば、線分が適用された測定オブジェクトを用いた、測定対象領域の測定対象位置の特定が可能である。
第６態様は、第５態様の画像処理装置において、測定対象領域修正部は、測定オブジェクト修正部を用いて修正した測定オブジェクトの位置を、第２方向における測定対象領域の一方の端の位置、又は他方の端の位置として、測定対象領域の輪郭を修正する構成としてもよい。
第６態様によれば、測定対象領域の輪郭を構成する多数の点を指定するといった処理を適用せずに、簡便な処理を適用した測定対象領域の修正が可能である。
第７態様は、第５態様又は第６態様の画像処理装置において、測定対象領域を測定する測定部を含み、第１抽出器は、肺野領域、及び心臓領域を測定対象領域として抽出し、測定オブジェクト決定部は、第２方向における肺野領域の一方の端の位置、第２方向における肺野領域の他方の端の位置、第２方向における心臓領域の一方の端の位置、及び第２方向における心臓領域の他方の端の位置のそれぞれを第１線分の位置として決定し、測定部は、複数の第１線分の位置に基づいて心胸郭比を測定する構成としてもよい。
第７態様によれば、第２方向における肺野領域の両端を特定する測定オブジェクト、及び第２方向における心臓領域の両端を特定する測定オブジェクトに基づいて、心胸郭比の測定が可能となる。
第８態様は、第１態様から第７態様のいずれか一態様の画像処理装置において、第１抽出器は、第１測定対象領域、及び第２測定対象領域を抽出し、測定対象領域修正部は、修正後の第１測定対象領域と修正後の第２測定対象領域とが重複する場合に、第１測定対象領域の修正結果に応じて、第２測定対象領域を修正する構成としてもよい。
第８態様によれば、複数の測定対象領域が抽出された場合に、一方の修正結果に応じて他方が修正される。
第９態様は、第１態様から第７態様のいずれか一態様の画像処理装置において、第１抽出器は、第１測定対象領域、及び第２測定対象領域を抽出し、測定対象領域修正部は、修正前の第１測定対象領域と修正前の第２測定対象領域とが接触するか、又は重複する場合に、第１測定対象領域の修正結果に応じて、第２測定対象領域を修正する構成としてもよい。
第９態様によれば、複数の測定対象領域が抽出された場合に、一方の測定対象領域の修正結果に応じて、他方の測定対象領域の修正が可能となる。
第１０態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、測定オブジェクト決定部は、第３方向における測定対象領域の両端を結ぶ第２線分、及び第３方向と交差する第４方向における測定対象領域の両端を結ぶ第３線分の少なくともいずれかを測定オブジェクトとして決定する構成としてもよい。
第１０態様によれば、第３方向における測定対象の全長、及び第４方向における測定対象の全長の少なくともいずれかの測定が可能となる。
第１１態様は、第１０態様の画像処理装置において、測定対象領域修正部は、測定オブジェクト修正部を用いて修正した第２線分の端の位置を、第３方向における測定対象領域の一方の端の位置、又は他方の端の位置として、測定対象領域の輪郭を修正する構成としてもよい。
第１１態様によれば、第３方向おける測定オブジェクトの修正に応じた、第３方向における測定対象領域の修正が可能となる。
第１２態様は、第１０態様又は第１１態様の画像処理装置において、測定対象領域修正部は、測定オブジェクト修正部を用いて修正した第３線分の端の位置を、第４方向における測定対象領域の一方の端の位置、又は他方の端の位置として、測定対象領域の輪郭を修正する構成としてもよい。
第１２態様によれば、第４方向における測定オブジェクトの修正に応じた、第４方向おける測定対象領域の修正が可能となる。
第１３態様は、第１０態様から第１２態様のいずれか一態様の画像処理装置において測定対象領域修正部は、修正後の第２線分、及び修正後の第３線分の少なくともいずれかに応じて、測定対象領域を非測定対象領域に変更する測定対象領域の修正、及び非測定対象領域を測定対象領域に変更する測定対象領域の修正の少なくともいずれかを行う構成としてもよい。
第１３態様によれば、修正後の第２線分、及び修正後の第３線分の少なくともいずれかに応じた、測定対象領域と非測定対象領域の置き替えが可能である。
第１４態様は、第１０態様から第１３態様のいずれか一態様の画像処理装置において、測定対象領域を測定する測定部を備え、第１抽出器は、腫瘍領域を測定対象領域として抽出し、測定部は、腫瘍領域の第３方向の全長、及び第４方向の全長を測定する構成としてもよい。
第１４態様によれば、腫瘍領域の第３方向の全長、及び第４方向の全長の測定が可能となる。
第１５態様は、第１態様から第１４態様のいずれか一態様の画像処理装置において、測定対象領域修正部は、修正前の測定オブジェクトを用いた測定値と、修正後の測定オブジェクトを用いた測定値との比率を用いて、測定対象領域の輪郭を拡大、又は縮小させる構成としてもよい。
第１５態様によれば、測定オブジェクトの修正に応じた測定対象領域の修正が可能となる。
第１６態様は、第１態様又は第１５態様のいずれか一態様の画像処理装置において、医用画像を表示する表示装置へ、測定オブジェクトを表す信号を送信する信号送信部を備える構成としてもよい。
第１６態様によれば、医用画像に測定オブジェクトを重畳表示させることが可能となる。
第１７態様に係る画像処理方法は、測定対象領域の正解データを用いて学習した第１抽出器を用いて、医用画像から測定対象領域を抽出する第１抽出工程と、測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定工程と、ユーザの指示に応じて測定オブジェクトを修正する測定オブジェクト修正工程と、測定オブジェクトの修正結果を用いて、測定対象領域の抽出結果を修正する測定対象領域修正工程と、測定対象領域の修正結果を正解データとして第１抽出器を学習させる第１学習工程と、を含む画像処理方法である。
第１７態様によれば、第１態様と同様の効果を得ることができる。
第１７態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
第１８態様に係るプログラムは、コンピュータに、測定対象領域の正解データを用いて学習した第１抽出器を用いて、医用画像から測定対象領域を抽出する第１抽出機能、測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定機能、ユーザの指示に応じて測定オブジェクトを修正する測定オブジェクト修正機能、測定オブジェクトの修正結果を用いて、測定対象領域の抽出結果を修正する測定対象領域修正機能、及び測定対象領域の修正結果を正解データとして第１抽出器を学習させる第１学習機能を実現させるプログラムである。
第１８態様によれば、第１態様と同様の効果を得ることができる。
第１８態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、測定オブジェクトの修正結果に基づく測定対象領域の修正結果が第１抽出器の正解データとされる。これにより、機械学習に用いられる質の高い正解データを簡便な方法で収集することが可能となる。
図１は実施形態に係る医療情報システムの構成例を示すブロック図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は画像処理装置の機能を示す機能ブロック図である。 図４は図３に示した画像処理部の機能を示す機能ブロック図である。 図５は実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図６は胸部Ｘ線画像を用いた心胸郭比測定における画面構成例を示す説明図である。 図７は測定対象領域修正の手順を示す模式図である。 図８は測定対象領域修正における削除処理の第１例を示す模式図である。 図９は測定対象領域修正における削除処理の第２例を示す模式図である。 図１０は測定対象領域修正における削除処理の第３例を示す模式図である。 図１１は複数の測定対象領域が隣接する場合の修正処理の模式図である。 図１２は胸部Ｘ線画像を用いた腫瘍測定における画面構成例を示す説明図である。 図１３は腫瘍測定における領域修正処理の模式図である。 図１４は実施形態に係る情報処理システムの構成例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
［医療情報システムの全体構成］
図１は実施形態に係る医療情報システムの構成例を示すブロック図である。医療情報システム１０は、画像処理装置１２、モダリティ１４、及び画像データベース１６を備える。画像処理装置１２、モダリティ１４、及び画像データベース１６は、ネットワーク１８を介して通信可能に接続される。医療情報システム１０の例として、ＰＡＣＳ（Picture Archiving and Communication System）が挙げられる。
画像処理装置１２は、医療機関に備えられるコンピュータを適用可能である。画像処理装置１２は、入力装置としてマウス２０、及びキーボード２２が接続される。また、画像処理装置１２は、表示装置２４が接続される。
モダリティ１４は、被写体の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティの例として、Ｘ線撮像装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ装置が挙げられる。
ＣＴはコンピュータ断層撮影を表すComputed Tomographyの省略語である。ＭＲＩは磁気共鳴画像撮影を表すMagnetic Resonance Imagingの省略語である。ＰＥＴ装置は陽電子放射断層撮影を表すPositron Emission Tomographyの省略語である。平面Ｘ線検出器はＦＰＤ(flat panel detector)と呼ばれることがある。ＣＲはコンピュータＸ線撮影装置を表すComputed Radiographyの省略語である。
医用画像のフォーマットは、ＤＩＣＯＭ規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定された付帯情報が付加されてもよい。なお、ＤＩＣＯＭはDigital Imaging and Communications in Medicineの省略語である。
画像データベース１６は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。データベース管理システムは、ＤＢＭＳ（Data Base Management System）と呼ばれることがある。
ネットワーク１８は、ＬＡＮ（Local Area Network）を適用可能である。ネットワーク１８はＷＡＮ（Wide Area Network）を適用してもよい。ネットワーク１８の通信プロトコルは、ＤＩＣＯＭ規格を適用可能である。なお、ネットワーク１８は公衆回線網に接続可能に構成されてもよいし、専用回線網に接続可能に構成されてもよい。
［画像処理装置の構成］
〔ハードウェア構成〕
図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１２は、制御部３０、メモリ３２、ハードディスク装置３４、通信インターフェース３６、入力コントローラ３８、及びディスプレイコントローラ３９を備える。
〈制御部〉
制御部３０は、画像処理装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。制御部３０は、メモリ３２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部３０は、通信インターフェース３６を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１８を介して画像処理装置１２と通信可能に接続されていてもよい。
制御部３０は、メモリ３２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１２の各種機能が実現される。
制御部３０は、ハードディスク装置３４からのデータの読み出し、及びハードディスク装置３４へのデータの書き込みを制御する。制御部３０は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。
プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。
プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
制御部３０は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部３０は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部３０は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部３０は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。
複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。
複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、制御部３０は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
〈メモリ〉
メモリ３２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１２において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部３０のワーク領域等として機能する。
〈ハードディスク装置〉
ハードディスク装置３４は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３４は医用画像等を記憶する。ハードディスク装置３４は、画像処理装置１２の外部に外付けされてもよい。ハードディスク装置３４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〈通信インターフェース〉
通信インターフェース３６は、図１に示したモダリティ１４、及び画像データベース１６などの外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略後である。
〈入力コントローラ〉
入力コントローラ３８は、マウス２０、及びキーボード２２等の入力装置２６から送信される信号を受信し、画像処理装置１２に適用される形式の信号に変換するインターフェースである。
〈ディスプレイコントローラ〉
ディスプレイコントローラ３９は、画像処理装置１２において生成された画像を表す信号を、表示装置２４を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ３９は、画像を表す映像信号を表示装置２４へ送信する。
なお、図２に示した画像処理装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
〔画像処理装置の機能〕
図３は画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１２は、全体制御部４０、画像取得部４１、画像処理部４２、表示制御部４４、測定部４５、入力制御部４６、及び記憶部４７を備える。
全体制御部４０、画像取得部４１、画像処理部４２、表示制御部４４、測定部４５、入力制御部４６、及び記憶部４７は、通信信号線５０を介して相互に通信可能に接続される。以下、各部について詳細に説明する。
〈全体制御部〉
全体制御部４０は、画像処理装置１２の制御プログラムの実行に基づき、画像取得部４１、画像処理部４２、表示制御部４４、測定部４５、入力制御部４６、及び記憶部４７を統括的に制御する。
〈画像取得部〉
画像取得部４１は、図１に示した画像データベース１６に記憶される画像データベース１６に記憶される医用画像を取得する。画像データベース１６は、モダリティ１４を用いて撮像され医用画像が記憶される。本実施形態では、Ｘ線撮像装置を用いて撮像された胸部Ｘ線画像を医用画像として例示する。
〈画像処理部〉
画像処理部４２は、深層学習アルゴリズム４３に基づく深層学習を用いて、画像取得部４１を用いて取得した医用画像の解析処理を実行する。医用画像の解析処理の詳細は後述する。
深層学習アルゴリズム４３は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。
コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。コンボリューションニューラルネットワークはＣＮＮと表されることがある。ＣＮＮは、Convolutional Neural Networkの省略語である。
〈表示制御部〉
表示制御部４４は、表示装置２４を用いて医用画像を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、表示装置２４を用いて、医用画像に各種情報を重畳表示させてもよい。
表示制御部４４は、医用画像を表示する表示装置へ測定オブジェクトを表す信号を送信する信号送信部の一例に相当する。なお、医用画像の表示の詳細は後述する。
〈測定部〉
測定部４５は、医用画像に含まれる臓器、骨、腱、筋、及び腫瘍等の測定対象領域について、代表値、及び解析値等の測定値を算出する。測定値の例として、心胸郭比、及び腫瘍全長が挙げられる。測定部４５は、測定を補助する測定オブジェクトの位置に基づいて、測定値を算出する。測定オブジェクト、及び測定オブジェクトを用いた測定の詳細は後述する。なお、測定値という用語は、同一の測定対象に対して複数回の測定を行って得られた複数の測定値を統計処理した値を適用してもよい。統計処理をした値の例として、算術平均値、及び偏差等が挙げられる。
また、測定部４５は、測定オブジェクトの修正結果に基づいて、修正前の測定オブジェクトに基づいて算出された測定値を修正する。測定部４５の測定結果、及び修正結果は、記憶部４７に記憶される。画像処理装置１２は、表示装置２４を用いて測定部４５の測定結果、及び修正結果を表示させてもよい。
〈入力制御部〉
入力制御部４６は、入力装置２６から入力された信号を、画像処理装置１２に適用される形式の信号に変換し、変換後の信号を全体制御部４０へ送信する。全体制御部４０は、入力装置２６から入力された情報に基づいて、画像処理装置１２の各部を制御する。
〈記憶部〉
記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。画像記憶部４８は、画像取得部４１を用いて取得した医用画像を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像処理部４２へ読み出される。
プログラム記憶部４９は、画像処理装置１２を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。
〔画像処理部の構成例〕
図４は図３に示した画像処理部の機能を示す機能ブロック図である。画像処理部４２は、医用画像を入力として、測定対象領域である臓器領域等を自動的に抽出する。画像処理部４２は、測定対象領域の抽出結果に基づいて代表値、及び解析値等を求めるための測定オブジェクトを決定する。画像処理部４２は、測定オブジェクトを修正する構成要素を有し、測定オブジェクトの修正結果に基づいて測定対象領域の抽出結果を修正する。画像処理部４２は、修正前の測定対象領域と測定対象領域の修正結果との組を正解データとして、測定対象領域を抽出する抽出器へ入力する。
また、画像処理部４２は、測定オブジェクトの修正結果と測定対象領域の修正結果との組を正解データとして、測定対象領域を修正する抽出器へ入力する。正解データは、教師あり判別器における教師データと同義である。
測定オブジェクトは、代表値、及び解析値等を算出する際に用いられる測定対象の測定対象領域の測定値を定める線、点、及び矩形等である。測定オブジェクトとして矢印等の記号を用いてもよい。測定オブジェクトは、測定対象領域の輪郭線の代表的な１点を表すものである。なお、測定対象領域の輪郭は、測定対象領域の外形と読み替えてもよい。
換言すると、画像処理部４２は、測定対象領域に関する特徴量を予め学習する構成要素を備える。測定対象領域をセグメンテーションする構成要素は、学習結果に基づいて測定対象領域をセグメンテーションする。
画像処理部４２は、測定対象領域抽出部５２、測定オブジェクト決定部５４、測定オブジェクト修正部５６、及び測定対象領域修正部５８を備える。以下、上記の各部について詳細に説明する。
〈測定対象領域抽出部〉
測定対象領域抽出部５２は、医用画像から測定対象領域を抽出する。例えば、測定対象領域抽出部５２は、医用画像であるデジタルＸ線画像から、測定対象領域のセグメンテーションを行う。
測定対象領域抽出部５２は、第１機械学習器５３が適用される。すなわち、第１機械学習器５３は測定対象領域の抽出結果を入力として学習を行う。第１機械学習器５３は、学習結果を用いて測定対象領域抽出部５２の処理規則である抽出規則を更新する。第１機械学習器５３は第１抽出器の一例に相当する。なお、抽出規則の更新は抽出器の更新、及び機械学習器の更新と同義である。また、本明細書では、機械学習を単に学習と呼ぶことがあり得る。
〈測定オブジェクト決定部〉
測定オブジェクト決定部５４は、測定対象領域抽出部５２の抽出結果を用いて測定オブジェクトの位置を決定する。測定オブジェクト決定部５４を用いて決定された測定オブジェクトは、表示制御部４４を介して表示装置２４に表示される。
〈測定オブジェクト修正部〉
測定オブジェクト修正部５６は、測定オブジェクト決定部５４を用いて決定された測定オブジェクトを修正する。測定オブジェクト修正部５６は、入力装置２６を用いて入力された測定オブジェクトの修正情報に基づいて、測定オブジェクトを修正する。
〈測定対象領域修正部〉
測定対象領域修正部５８は、測定オブジェクト修正部５６を用いて修正された測定オブジェクトの位置に基づき、測定対象領域を修正する。測定対象領域修正部５８は、測定対象領域の拡大、及び縮小等の測定対象領域の修正を行う。測定対象領域修正部５８を用いて修正された測定対象領域は、表示制御部４４を介して表示装置２４に表示される。
測定対象領域修正部５８は、第２機械学習器５９が適用される。すなわち、第２機械学習器５９は、測定対象領域の修正結果を入力として学習を行う。第２機械学習器５９の学習は、解剖学的な測定対象領域のデータを参照してもよい。第２機械学習器５９は、学習結果を用いて測定対象領域修正部５８の処理規則である修正規則を更新する。第２機械学習器５９は第２抽出器の一例に相当する。
表示制御部４４は、測定オブジェクトが修正された場合、修正後の測定オブジェクトに基づく修正後の測定対象領域を、表示装置２４を用いて表示させる。なお、本明細書における画像処理部の構成要素は、医用画像の解析処理部の構成要素と読み替えることが可能である。
〔画像処理方法の手順〕
図５は実施形態に係る画像処理方法の手順の流れを示すフローチャートである。医用画像取得工程Ｓ１０では、図３に示した画像取得部４１は医用画像を取得する。医用画像取得工程Ｓ１０において医用画像を取得した後に、測定対象領域抽出工程Ｓ１２へ進む。
測定対象領域抽出工程Ｓ１２では、図４に示した測定対象領域抽出部５２は医用画像から測定対象領域を抽出する。測定対象領域が抽出された後に、測定オブジェクト決定工程Ｓ１４へ進む。測定対象領域抽出工程Ｓ１２は第１抽出工程の一例に相当する。
測定オブジェクト決定工程Ｓ１４では、測定オブジェクト決定部５４は測定オブジェクトを決定する。測定オブジェクト決定工程Ｓ１４において測定オブジェクトが決定された後に、測定工程Ｓ１５へ進む。
測定工程Ｓ１５は、測定部４５は測定対象領域を測定する。測定結果は記憶部４７へ記憶される。測定工程Ｓ１５において、測定対象領域の測定値が算出された後に、測定オブジェクト修正判定工程Ｓ１６へ進む。
測定オブジェクト修正判定工程Ｓ１６では、測定オブジェクト修正部５６は測定オブジェクトが修正されたか否かを判定する。測定オブジェクト修正判定工程Ｓ１６において、測定オブジェクト修正部５６が、測定オブジェクトが修正されていないと判定した場合はＮｏ判定とされる。Ｎｏ判定の場合は、機械学習器更新工程Ｓ２０へ進む。
一方、測定オブジェクト修正判定工程Ｓ１６において、測定オブジェクト修正部５６が、測定オブジェクトが修正されたと判定した場合はＹｅｓ判定とされる。Ｙｅｓ判定の場合は、測定対象領域修正工程Ｓ１８へ進む。測定オブジェクト修正判定工程Ｓ１６は測定オブジェクト修正工程が構成要素として含まれる。
測定対象領域修正工程Ｓ１８では、測定対象領域修正部５８は測定オブジェクトの修正結果に基づいて測定対象領域を修正する。測定対象領域修正工程Ｓ１８において測定対象領域が修正された後に、測定値修正工程Ｓ１９へ進む。
測定値修正工程Ｓ１９では、図３に示した測定部４５は、測定オブジェクトの修正結果に基づいて、測定工程Ｓ１５において算出された測定値を修正する。修正後の測定値は、図４に示した記憶部４７に記憶される。測定値修正工程Ｓ１９において測定値が修正された後に、機械学習器更新工程Ｓ２０へ進む。
機械学習器更新工程Ｓ２０では、第１機械学習器５３は、修正前の測定対象領域と、測定対象領域の修正結果との組を正解データとして、測定対象領域抽出の機械学習を行う。第１機械学習器５３は、機械学習の結果を用いて測定対象領域抽出工程Ｓ１２における測定対象領域の抽出規則を更新する。機械学習器更新工程Ｓ２０の後に、終了判定工程Ｓ２２へ進む。機械学習器更新工程Ｓ２０は第１学習工程の一例に相当する。
終了判定工程Ｓ２２では、画像処理部４２は、画像処理方法を終了するか否かを判定する。終了判定工程Ｓ２２において画像処理方法を継続する場合はＮｏ判定となる。Ｎｏ判定の場合は、医用画像取得工程Ｓ１０へ進む。以降、終了判定工程Ｓ２２においてＹｅｓ判定となるまで、医用画像取得工程Ｓ１０から終了判定工程Ｓ２２までの各工程を繰り返し実行する。
一方、終了判定工程Ｓ２２において画像処理方法を終了する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像処理部４２は画像処理方法を終了する。なお、本明細書における画像処理方法の手順は、医用画像の解析処理の手順と読み替えることが可能である。
〔心胸郭比測定の説明〕
〈全体構成〉
次に、画像処理の具体例として心胸郭比測定について説明する。図６は胸部Ｘ線画像を用いた心胸郭比測定における画面構成例を示す説明図である。心胸郭比測定では、図４に示した測定対象領域抽出部５２は、胸部Ｘ線画像１００から肺野領域１０２を自動的に抽出し、かつ心臓領域１０４を自動的に抽出する。
測定オブジェクト決定部５４は、肺野領域１０２、及び心臓領域１０４の抽出結果に基づいて測定オブジェクト１１０を決定する。心胸郭比測定では、測定オブジェクト決定部５４は、肺野領域１０２の左端、及び肺野領域１０２の右端、並びに心臓領域１０４の右端、及び心臓領域１０４の左端に、測定オブジェクト１１０である平行な線分を自動的に引く。
すなわち、測定オブジェクト決定部５４は、肺野領域１０２の左端を表す第１測定オブジェクト１１０Ａ、肺野領域１０２の右端を表す第２測定オブジェクト１１０Ｂを決定する。また、測定オブジェクト決定部５４は、心臓領域１０４の左端を表す第３測定オブジェクト１１０Ｃ、及び心臓領域１０４の左端を表す第４測定オブジェクト１１０Ｄを決定する。
なお、測定オブジェクト１１０は、図６に示した第１測定オブジェクト１１０Ａ、第２測定オブジェクト１１０Ｂ、第３測定オブジェクト１１０Ｃ、及び第４測定オブジェクト１１０Ｄの総称である。
本明細書における平行という用語は、厳密には非平行であるものの、平行と同様の作用効果を奏することが可能な実質的な平行が含まれ得る。また、本明細書における直交という用語は、厳密には非直交であるものの、直交と同様の作用効果を奏することが可能な実質的な直交が含まれ得る。非直交とは、２方向のなす角度が９０度未満の場合、又は２方向のなす角度が９０度を超える場合を表す。
画像処理部４２は、正中線を表す補助オブジェクト１１２を胸部Ｘ線画像１００に重畳表示させてもよい。正中線とは、生体物の全面の中央、又は背面の中央を頭頂から縦方向にまっすぐ通る線である。正中線は胸部Ｘ線画像１００の表示画面に対する被撮影者の姿勢を表す。
すなわち、画像処理部４２は、正中線を表す補助オブジェクト１１２を決定する補助オブジェクト決定部を備えてもよい。測定オブジェクト決定部５４は、補助オブジェクト決定部と兼用されてもよい。測定オブジェクト決定部５４は、正中線に平行となる測定オブジェクト１１０を定めてもよい。
図３に示した測定部４５は、図６に示した第１測定オブジェクト１１０Ａ、第２測定オブジェクト１１０Ｂ、第３測定オブジェクト１１０Ｃ、及び第４測定オブジェクト１１０Ｄを用いて、心胸郭比の測定値を算出する。
測定オブジェクトの方向を第１方向とし、かつ第１方向と直交する方向を第２方向とした場合に、心胸郭比は、第２方向における第３測定オブジェクト１１０Ｃと第４測定オブジェクト１１０Ｄとの間の距離を、第２方向における第１測定オブジェクト１１０Ａと第２測定オブジェクト１１０Ｂとの間の距離で除算した値に１００を乗じて算出される。心胸郭比の単位はパーセントである。
ユーザである医師は、胸部Ｘ線画像１００に重畳表示された測定オブジェクト１１０が肺野領域１０２に正しく引かれていないと判断した場合に、測定オブジェクト１１０を正しい位置に修正する指示を入力する。測定オブジェクト１１０が心臓領域１０４に正しく引かれていない場合も同様である。
図６に図示した第１測定オブジェクト１１０Ａ、第２測定オブジェクト１１０Ｂ、第３測定オブジェクト１１０Ｃ、及び第４測定オブジェクト１１０Ｄは、第１線分の一例に相当する。
図７は測定対象領域修正の手順を示す模式図である。図７に示した符号１００Ａは、測定オブジェクト１１０が表示された胸部Ｘ線画像を表す。図７に示した符号１００Ｂは、心臓領域１０４の右端を表す第３測定オブジェクト１１０Ｃが修正された場合の胸部Ｘ線画像を表す。修正後の第３測定オブジェクト１１０Ｅのデータは規定の記憶部に記憶される。
胸部Ｘ線画像１００Ｂでは、実線を用いて移動前の第３測定オブジェクト１１０Ｃを図示する。また、胸部Ｘ線画像１００Ｂでは、二点鎖線を用いて修正後の第３測定オブジェクト１１０Ｅを図示する。
測定オブジェクト１１０の移動方向は、測定オブジェクト１１０と直交する方向に沿う方向である。図７に示した修正後の第３測定オブジェクト１１０Ｅは、移動前の第３測定オブジェクト１１０Ｃと平行である。
測定オブジェクト１１０の修正の例として、移動させる測定オブジェクト１１０上の任意の位置をクリックして指定し、ドラッグアンドドロップを用いて測定オブジェクト１１０を移動先へ移動させる例が挙げられる。
図７に示した符号１００Ｃは、実線を用いて修正後の第３測定オブジェクト１１０Ｅを図示した胸部Ｘ線画像を表す。胸部Ｘ線画像１００Ｃは、修正後の第３測定オブジェクト１１０Ｅに基づいて心臓領域１０４が修正されている。図７に示した心臓領域１０４は、修正前と比較して拡大処理が施されている。
図３に示した測定部４５は、修正後の第３測定オブジェクト１１０Ｅに基づいて、心胸郭比の測定値を修正する。以下に、測定対象領域の修正処理の具体例について詳細に説明する。
〈測定対象領域の削除処理〉
図８は測定対象領域修正における削除処理の第１例を示す模式図である。図８に示した測定対象領域１２０Ａの削除処理は、測定オブジェクト１１０を修正した際に、測定対象領域１２０Ａにおける修正後の測定オブジェクト１１０Ｆの外側の領域を非測定対象領域１２０Ｂとする削除処理を模式的に示す。測定対象領域１２０Ａが臓器の場合、非測定対象領域１２０Ｂは非臓器領域である。
測定対象領域１２０Ａにおける修正後の測定オブジェクト１１０Ｆの外側の領域とは、測定対象領域１２０Ａと修正後の測定オブジェクト１１０Ｆとが交差する場合に、修正後の測定オブジェクト１１０Ｆを基準として、測定対象領域１２０Ａの重心１２１と反対側の測定対象領域１２０Ａである。
図８には、斜線ハッチを付して非測定対象領域１２０Ｂを図示する。図８の符号１２０Ｃは、修正後の測定対象領域を表す。修正後の測定対象領域１２０Ｃの輪郭は、修正後の測定オブジェクト１１０Ｆと平行であり、かつ修正後の測定オブジェクト１１０Ｆと接触する線分部１２０Ｄを有している。
測定対象領域修正部５８は、表示装置２４を用いて修正後の測定対象領域１２０Ｃを表示させてもよい。測定対象領域修正部５８は、表示装置２４を用いて修正後の測定対象領域１２０Ｃを表示させずに、修正後の測定対象領域１２０Ｅのデータを記憶してもよい。以下に説明する第２例、第３例、及び腫瘍領域の修正においても同様である。
図９は測定対象領域修正における削除処理の第２例を示す模式図である。図９に示した測定対象領域の削除処理は、測定オブジェクトを修正した際に測定オブジェクトの外側の領域を削除し、かつ測定対象領域の輪郭を平均的な形状に調整する処理を模式的に示す。
削除処理の第２例は、グラフカット、濃度プロファイルの探索、最も適した輪郭の探索等の公知の画像処理手法を適用可能である。以下に説明する腫瘍領域の修正においても同様である。
図９に示す例では、修正後の測定対象領域１２０Ｅは、任意の１点において修正後の測定オブジェクト１１０Ｆと接触する形状を有している。修正後の測定対象領域１２０Ｅにおける修正後の測定オブジェクト１１０Ｆとの接点は、符号１２０Ｆを付して図示する。
図９に示す削除処理は、測定オブジェクト１１０と測定対象領域との関係を予め学習し、学習結果を用いて更新された測定対象領域の修正規則が適用される。すなわち、図４に示した第２機械学習器５９は、測定オブジェクト１１０の修正結果と、測定対象領域の修正結果との組を正解データとして、測定対象領域の修正の機械学習を行い、第２機械学習器５９に適用される測定対象領域の修正規則を更新する。
図１０は測定対象領域修正における削除処理の第３例を示す模式図である。図１０に示した測定対象領域の削除処理は、測定オブジェクト１１０の移動前後の測定オブジェクト１１０間の距離の比に応じて測定対象領域の輪郭を修正する。
図１０に示した符号ａ１は、測定オブジェクト１１０の移動前の測定オブジェクト１１０間の距離である。図１０に示した符号ａ２は、測定オブジェクト１１０の修正後の測定オブジェクト１１０間の距離である。修正前の測定オブジェクト１１０が、修正後の測定オブジェクト１１０Ｆに修正され場合、修正前の測定対象領域１２０Ａは比率ａ２／ａ１を用いて変形され、修正後の測定対象領域１２０Ｅとされる。
なお、図４に示した測定対象領域抽出部５２は、測定対象領域の修正として、変更後の測定オブジェクト１１０を制約条件とする測定対象領域の再抽出を実行してもよい。すなわち、図４に示した測定対象領域抽出部５２と測定対象領域修正部５８とを共通化し、かつ第１機械学習器５３と第２機械学習器５９とを共通化してもよい。
〈測定対象領域の拡大処理〉
測定対象領域の拡大処理は、上記した測定対象領域の削除処理を応用し得る。すなわち、測定対象領域の拡大処理では、図９に示した修正後の測定オブジェクト１１０Ｆが修正前の測定オブジェクトとなり、修正前の測定オブジェクト１１０が修正後の測定オブジェクトとなる。
また、測定対象領域の拡大処理では、修正後の測定対象領域１２０Ｅが修正前の測定対象領域となり、修正前の測定対象領域１２０Ａが修正後の測定対象領域となる。図１０に示した第３例も同様である。
〈複数の測定対象領域が隣接する場合の修正処理〉
図１１は複数の測定対象領域が隣接する場合の修正処理の模式図である。図１１に示す胸部Ｘ線画像１００Ｄは、肺野領域１０２と心臓領域１０４とが隣接する場合であり、心臓領域１０４が削除された場合の処理を示す。符号１０４Ａは、修正前の心臓領域１０４の輪郭線を示す。符号１０４Ｂは、修正後の心臓領域１０４の輪郭線を示す。
図１１に示す胸部Ｘ線画像１００Ｅは、削除された心臓領域１０４が肺野領域１０２に置換されている。すなわち、心臓領域１０４の削除処理とリンクして、肺野領域１０２の拡大処理が実行されている。
換言すると、抽出された第１測定対象領域、及び第２測定対象領域が隣接する場合に、第１測定対象領域、及び第２測定対象領域の少なくともいずれかに対する１つの修正処理に基づき、第１測定対象領域、及び第２測定対象領域の両者の測定対象領域が一斉に修正される。
図４に示した第２機械学習器５９は、肺野領域１０２と心臓領域１０４との関係を予め学習し、学習結果に基づく肺野領域１０２、又は心臓領域１０４の一方の修正とリンクさせた他方の修正を行う修正規則を適用する。また、第２機械学習器５９は、修正結果を用いて修正規則を更新する。
〔腫瘍測定の説明〕
〈全体構成〉
次に、画像処理の他の具体例として腫瘍測定について説明する。図１２は胸部Ｘ線画像を用いた腫瘍測定における画面構成例を示す説明図である。図１２に示した胸部Ｘ線画像２００は、肺野領域１０２に腫瘍領域２０２が抽出されている。
図４に示した測定対象領域抽出部５２は腫瘍領域２０２を自動抽出する。図１２には、測定オブジェクトとして、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径を決定する例を示す。なお、図１２に図示した符号２０４は腫瘍領域２０２の輪郭を表す、腫瘍領域２０２を囲む閉曲線である。腫瘍領域２０２の長径を表す線分は符号２０６を付して図１３に図示する。腫瘍領域２０２の短径を表す線分は符号２０８を付して図１３に図示する。
測定部４５は腫瘍領域２０２の長径、及び腫瘍領域２０２の短径を自動測定する。測定部４５の測定結果は記憶部４７に記憶される。腫瘍領域２０２の長径は、腫瘍領域２０２の重心を通過し、かつ腫瘍領域２０２の輪郭と２点において接触する線分の長さの最大値とし得る。腫瘍領域２０２の短径は、腫瘍領域２０２の重心を通過し、かつ腫瘍領域２０２の輪郭と２点において接触する線分の長さの最小値とし得る。なお、腫瘍領域２０２の重心は符号２０２Ａを付して図１３に図示する。
測定オブジェクト決定部５４は、腫瘍領域２０２を楕円近似して、楕円の長径を腫瘍領域２０２の長径とし、楕円の短径を腫瘍領域２０２の短径としてもよい。図１２では図示を省略するが、腫瘍領域２０２の長径を表す線分、及び腫瘍領域２０２の短径を表す線分を胸部Ｘ線画像２００に重畳表示させてもよい。
腫瘍領域２０２を楕円近似して、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径を測定し、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径を胸部Ｘ線画像２００、及び腫瘍領域２０２の輪郭２０４に重畳表示させた例を図１３に図示する。
医師は、胸部Ｘ線画像２００に重畳表示された腫瘍領域２０２の輪郭２０４が正しく表示されていないと判断した場合に、腫瘍領域２０２の長径を表す線分の端の位置、及び腫瘍領域２０２の短径を表す線分の端の位置の少なくともいずれかを、正しく修正する。腫瘍領域２０２の長径を表す線分の端は、腫瘍領域２０２の長径を表す線分の両端のうち、少なくともいずれか一方を表す。腫瘍領域２０２の短径を表す線分も同様である。
腫瘍領域２０２の長径を表す線分、及び腫瘍領域２０２の短径を表すが修正された場合、測定部４５は腫瘍領域２０２の長径、及び腫瘍領域２０２の短径を再測定する。測定部４５の再測定結果は、記憶部４７に記憶される。以下に、腫瘍領域測定における測定対象領域の修正について具体的に説明する。
〈領域修正の具体例〉
図１３は腫瘍測定における領域修正処理の模式図である。図１３に図示した符号２０４Ａは、胸部Ｘ線画像２００に重畳表示された腫瘍領域２０２の輪郭を示す。符号２０６は、腫瘍領域２０２の長径を表す線分を示す。符号２０８は腫瘍領域２０２の短径を表す線分を示す。
医師は、線分２０６の端の位置、及び線分２０８の端の位置のうち、少なくともいずれかを正しく修正する。
図１３図示した符号２０６Ａは、修正後の腫瘍領域２０２の長径を表す線分を示す。符号２０８Ａは修正後の腫瘍領域２０２の短径を表す線分を示す。図１３に示した符号２０４Ｂは、修正後の腫瘍領域２０２の輪郭を表す。
すなわち、図４に示した測定対象領域修正部５８は、修正後の線分２０６Ａ、及び修正後の線分２０８Ａに基づいて、修正前の腫瘍領域２０２の輪郭２０４Ａを、修正後の腫瘍領域２０２の輪郭２０４Ｂへ修正する。その際に、修正前の腫瘍領域２０２から領域２１０を削除し、修正前の腫瘍領域２０２に対して領域２１２を追加する。
換言すると、測定対象領域修正部５８は、修正前の腫瘍領域２０２のうち、修正後の線分２０６Ａ、及び修正後の線分２０８Ａの少なくともいずれかの外側となる領域を非腫瘍領域とする。また、測定対象領域修正部５８は、修正前の非腫瘍領域のうち、修正後の線分２０６Ａ、及び修正後の線分２０８Ａの少なくともいずれかの内側となる領域を、修正後の腫瘍領域２０２に追加する。
すなわち、修正後の線分２０６Ａ、及び修正後の線分２０８Ａの少なくともいずれかに応じて、測定対象領域である腫瘍領域２０２と、非測定対象領域である非腫瘍領域との置き替えが可能である。
修正後の線分２０６Ａ、及び修正後の線分２０８Ａの少なくともいずれかの外側とは、修正後の線分２０６Ａ、及び修正後の線分２０８Ａを用いて決められる楕円の輪郭２０２Ｂよりも外側を表す。
修正後の線分２０６Ａ、及び修正後の線分２０８Ａの少なくともいずれかの内側とは、修正後の線分２０６Ａ、及び修正後の線分２０８Ａを用いて決められる楕円の輪郭よりも内側を表す。
外側とは、楕円の輪郭２０２Ｂを基準として、楕円の重心の反対側である。内側とは、楕円の輪郭２０２Ｂを基準として、楕円の重心の側である。なお、楕円の輪郭２０２Ｂは、修正後の腫瘍領域２０２の輪郭２０４Ｂと一致する。
図１３には腫瘍領域２０２の修正処理の一例として、修正後の線分２０６Ａ、及び線分２０８Ａに基づいて楕円形状の領域を作成する場合を例示した。腫瘍領域２０２の修正処理は、修正後の線分２０６Ａ、及び腫瘍領域２０２の線分２０８Ａに基づいて四角形等の多角形の領域を生成してもよい。すなわち、腫瘍領域２０２の抽出は、腫瘍領域２０２の輪郭を、円、楕円、及び多角形に近似してもよい。また、腫瘍領域２０２の修正も同様である。
腫瘍領域２０２の修正処理の他の例として、図４に示した第２機械学習器５９を用いて、腫瘍領域２０２の形状と、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径との関係を学習し、学習結果を用いた腫瘍領域２０２の修正処理も可能である。
腫瘍領域２０２の長径方向は第３方向の一例に相当する。腫瘍領域２０２の短径方向は第３方向と交差する第４方向の一例に相当する。また、腫瘍領域２０２の長径は、第３方向における腫瘍領域２０２の全長の一例に相当する。腫瘍領域２０２の短径は、第４方向における腫瘍領域２０２の全長の一例に相当する。
腫瘍領域２０２の長径を表す線分２０６は、第３方向における測定対象領域である腫瘍領域２０２の両端を結ぶ第２線分の一例に相当する。腫瘍領域２０２の短径を表す線分２０８は、第４方向における測定対象領域である腫瘍領域２０２の両端を結ぶ第３線分の一例に相当する。
本実施形態に示した腫瘍領域２０２の抽出は、腫瘤、及び病変などの特徴領域の抽出にも適用可能である。また、腫瘍領域２０２の修正は、腫瘤、及び病変などの特徴領域の修正にも適用可能である。
本実施形態では、腫瘍領域２０２の測定として、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径の両者を測定する態様を例示したが、腫瘍領域２０２の測定は、腫瘍領域２０２の長径、及び腫瘍領域２０２の短径の少なくともいずれか一方を測定すればよい。
〔ネットワークシステムへの適用例〕
図１４は実施形態に係る情報処理システムの構成例を示すブロック図である。図１４に示した情報処理システム３００は、サーバ装置３０２、及び医療機関３０４に具備される端末装置３０６を備える。サーバ装置３０２と端末装置３０６とはネットワーク３０８を介して通信可能に接続される。
医療機関３０４は、図１４に図示した第１医療機関３０４Ａ、第２医療機関３０４Ｂ、及び第３医療機関３０４Ｃの総称である。また、端末装置３０６は、図１４に図示した第１医療機関３０４Ａに具備される端末装置３０６Ａ、第２医療機関３０４Ｂに具備される端末装置３０６Ｂ、及び第３医療機関３０４Ｃに具備される端末装置３０６Ｃの総称である。
端末装置３０６は、図１から図４を用いて説明した画像処理装置１２と同様の構成、及び機能を有している。ここでは、端末装置３０６の構成、及び機能等の説明は省略する。端末装置３０６は、医療機関３０４が備えるモダリティと通信可能に接続されてもよい。図１４ではモダリティの図示を省略する。モダリティは図１に符号１４を付して図示する。
サーバ装置３０２は、図１に示した画像データベース１６等の医用画像データベース３１０を備える。サーバ装置３０２は、端末装置３０６との間で医用画像を高速で送受信可能に構成される。図１４に示したＤＢはData Baseの省略語である。
医用画像データベース３１０は、ネットワーク３０８に接続されるＮＡＳ（Network Attached Storage）を適用し得る。医用画像データベース３１０は、ＳＡＮ（Storage Area Network）に接続されたディスク装置を適用し得る。
サーバ装置３０２は第３機械学習器３１２を備える。第３機械学習器３１２は、図４に示した第１機械学習器５３、及び第２機械学習器５９と同様に、コンボリューションニューラルネットワークを適用可能である。
第３機械学習器３１２は、図４に示した第１機械学習器５３、及び第２機械学習器５９の少なくともいずれかの機能を備えることが可能である。サーバ装置３０２に具備される第３機械学習器３１２は、第１機械学習器５３を更新する機械学習器更新部として機能し得る。第３機械学習器３１２は、第２機械学習器５９を更新する機械学習器更新部として機能し得る。
すなわち、第３機械学習器３１２は、図４に示した測定対象領域抽出部５２の抽出結果を用いた機械学習を行い、測定対象領域抽出部５２に適用される抽出規則を更新して、第１機械学習器５３を更新してもよい。
同様に、第３機械学習器３１２は、図４に示した測定対象領域修正部５８の修正結果を用いた機械学習を行い、測定対象領域修正部５８に適用される修正規則を更新して、第２機械学習器５９を更新してもよい。
ネットワーク３０８は、公衆回線網を適用してもよいし、専用回線網を適用してもよい。ネットワーク３０８は、光ファイバー等の高速通信ケーブルが適用される。ネットワーク３０８はＤＩＣＯＭ規格に準拠した通信プロトコルを適用可能である。
［作用効果］
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
〔１〕
胸部Ｘ線画像１００から測定対象領域が抽出される。測定対象領域の測定を補助する測定オブジェクト１１０が決められる。測定オブジェクト１１０が修正された場合、測定オブジェクト１１０の修正結果に基づき、測定対象領域が修正される。測定対象領域の修正結果は、測定オブジェクト１１０の修正結果と関連付けされて第１機械学習器５３へフィードバックされる。これにより、測定対象抽出における機械学習に使用される質の高い正解データを簡便な方法を用いて取得することが可能である。
〔２〕
修正前の測定対象領域と、測定対象領域の修正結果との組を正解データとする機械学習の結果を用いて、測定対象領域の抽出が行われる。これにより、精度の高い測定対象領域の抽出が可能である。
〔３〕
測定対象領域の修正結果は、測定オブジェクト１１０の修正結果と関連付けされて第２機械学習器５９へフィードバックされる。これにより、測定対象領域の修正における機械学習に使用される質の高い正解データを簡便な方法を用いて取得することが可能である。
〔４〕
測定対象領域の修正結果と、測定オブジェクトの修正結果との組を正解データとする機械学習の結果を用いて、測定対象領域の修正が行われる。これにより、測定オブジェクトの修正結果に応じた精度の高い測定対象領域の修正が可能である。
〔５〕
測定オブジェクト１１０として線分が適用される。測定対象領域の第１方向の両端の位置が測定オブジェクト１１０の位置として決定される。これにより、線分が適用された測定オブジェクト１１０を用いた、測定対象領域の測定対象位置の特定が可能である。
〔６〕
修正後の測定オブジェクト１１０の位置を測定対象領域の１つの端として、測定対象領域が修正される。これにより、修正後の測定対象領域の輪郭を構成する多数の点を指定するといった処理を適用せずに、簡便な処理を適用した測定対象領域の修正が可能である。
〔７〕
修正前の測定対象領域における修正後の測定オブジェクト１１０Ｆの外側の領域は、非測定対象領域とされる。修正前の非測定対象領域における修正後の測定オブジェクト１１０Ｆの内側の領域は、測定対象領域とされる。これにより、修正後の測定オブジェクト１１０Ｆの位置に基づく測定対象領域の削除、及び追加の少なくともいずれかが可能となる。
〔８〕
測定オブジェクト１１０として第１方向に沿う線分を適用する。第１方向と直交する第２方向における測定対象領域の両端位置を測定オブジェクト１１０の位置として決定する。これにより、第２方向における測定対象領域の全長の測定が可能となる。
〔９〕
修正後の測定オブジェクト１１０Ｆの位置が、第２方向における測定対象領域の端とされる測定対象領域の修正が行われる。これにより、修正後の測定オブジェクト１１０Ｆの位置に基づく、測定対象領域の修正が可能となる。
〔１０〕
第２方向における肺野領域１０２の両端位置、及び第２方向における心臓領域１０４の両端位置を測定オブジェクト１１０の位置に決定する。これにより、測定オブジェクト１１０の位置に基づく心胸郭比の測定が可能となる。
〔１１〕
測定対象領域として腫瘍領域２０２を抽出する。腫瘍領域２０２の長径、及び腫瘍領域２０２の短径の少なくともいずれかを測定オブジェクトとして決定する。これにより腫瘍領域２０２の長径、及び腫瘍領域２０２の短径の少なくともいずれかの測定が可能となる。
〔１２〕
腫瘍領域２０２の長径、及び腫瘍領域２０２の短径の少なくともいずれかを修正する。これにより、腫瘍領域２０２の修正が可能となる。
〔１３〕
修正後の腫瘍領域２０２の長径、及び修正後の腫瘍領域２０２の短径の少なくともいずれかを修正した場合、修正前の腫瘍領域２０２における、修正後の長径、及び修正後の短径を用いて規定される輪郭の外側の領域は、非測定対象領域とされる。修正前の非測定対象領域における、修正後の長径、及び修正後の短径を用いて規定される輪郭の内側の領域は、測定対象領域とされる。これにより、修正後の長径、及び修正後の短径に基づく測定対象領域の削除、及び追加の少なくともいずれかが可能となる。
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、医用画像から測定対象領域を抽出する第１抽出機能、測定オブジェクトを決定する測定オブジェクト決定機能、測定オブジェクトを修正する測定オブジェクト修正機能、測定オブジェクトの修正結果を用いて測定対象領域を修正する測定対象領域修正機能、及び測定対象領域の修正結果を学習する第１学習機能を実現させるプログラムを構成し得る。
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０ 医療情報システム
１２ 画像処理装置
１４ モダリティ
１６ 画像データベース
１８ ネットワーク
２０ マウス
２２ キーボード
２４ 表示装置
２６ 入力装置
３０ 制御部
３２ メモリ
３４ ハードディスク装置
３６ 通信インターフェース
３８ 入力コントローラ
３９ ディスプレイコントローラ
４０ 全体制御部
４１ 画像取得部
４２ 画像処理部
４３ 深層学習アルゴリズム
４４ 表示制御部
４５ 測定部
４６ 入力制御部
４７ 記憶部
４８ 画像記憶部
４９ プログラム記憶部
５０ 通信信号線
５２ 測定対象領域抽出部
５３ 第１機械学習器
５４ 測定オブジェクト決定部
５６ 測定オブジェクト修正部
５８ 測定対象領域修正部
５９ 第２機械学習器
１００ 胸部Ｘ線画像
１００Ａ 胸部Ｘ線画像
１００Ｂ 胸部Ｘ線画像
１００Ｃ 胸部Ｘ線画像
１００Ｄ 胸部Ｘ線画像
１００Ｅ 胸部Ｘ線画像
１０２ 肺野領域
１０４ 心臓領域
１０４Ａ 心臓領域
１１０ 測定オブジェクト
１１０Ａ 第１測定オブジェクト
１１０Ｂ 第２測定オブジェクト
１１０Ｃ 第３測定オブジェクト
１１０Ｄ 第４測定オブジェクト
１１０Ｅ 修正後の第３測定オブジェクト
１１０Ｆ 修正後の測定オブジェクト
１１２ 補助オブジェクト
１２０Ａ 測定対象領域
１２０Ｂ 非測定対象領域
１２０Ｃ 修正後の測定対象領域
１２０Ｄ 線分部
１２０Ｅ 修正後の測定対象領域
１２０Ｆ 接点
１２１ 重心
２００ 胸部Ｘ線画像
２０２ 腫瘍領域
２０４ 輪郭
２０４Ａ 修正前の腫瘍領域の輪郭
２０４Ｂ 修正後の腫瘍領域の輪郭
２０６ 線分
２０６Ａ 修正後の線分
２０８ 線分
２０８Ａ 修正後の線分
２１０ 領域
２１２ 領域
３００ 情報処理システム
３０２ サーバ装置
３０４ 医療機関
３０４Ａ 第１医療機関
３０４Ｂ 第２医療機関
３０４Ｃ 第３医療機関
３０６ 端末装置
３０６Ａ 端末装置
３０６Ｂ 端末装置
３０６Ｃ 端末装置
３０８ ネットワーク
３１０ 医用画像データベース
３１２ 第３機械学習器
Ｓ１０からＳ２２ 画像処理方法の各工程
第１０態様によれば、第３方向における測定対象の全長、及び第４方向における測定対象領域の全長の少なくともいずれかの測定が可能となる。
第１６態様は、第１態様から第１５態様のいずれか一態様の画像処理装置において、医用画像を表示する表示装置へ、測定オブジェクトを表す信号を送信する信号送信部を備える構成としてもよい。
〈通信インターフェース〉
通信インターフェース３６は、図１に示したモダリティ１４、及び画像データベース１６などの外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略語である。
〈画像取得部〉
画像取得部４１は、図１に示した画像データベース１６に記憶される医用画像を取得する。画像データベース１６は、モダリティ１４を用いて撮像され医用画像が記憶される。本実施形態では、Ｘ線撮像装置を用いて撮像された胸部Ｘ線画像を医用画像として例示する。
〈測定対象領域の削除処理〉
図８は測定対象領域修正における削除処理の第１例を示す模式図である。図８に示した測定対象領域１２０Ａの削除処理は、測定オブジェクト１１０を修正した際に、測定対象領域１２０Ａにおける修正後の測定オブジェクト１１０Ｆの外側の領域を非測定対象領域１２０Ｂとする。測定対象領域１２０Ａが臓器の場合、非測定対象領域１２０Ｂは非臓器領域である。
図９は測定対象領域修正における削除処理の第２例を示す模式図である。図９に示した測定対象領域の削除処理は、測定オブジェクトを修正した際に測定オブジェクトの外側の領域を削除し、かつ測定対象領域の輪郭を平均的な形状に調整する。

Claims (19)

  1. 測定対象領域の正解データを用いて学習した学習結果を用いて、医用画像から測定対象領域を抽出する第１抽出器と、
    前記測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定部と、
    ユーザの指示に応じて前記測定オブジェクトを修正する測定オブジェクト修正部と、
    前記測定オブジェクトの修正結果を用いて、前記第１抽出器を用いて抽出された前記測定対象領域を修正する測定対象領域修正部と、
    を備え、
    前記第１抽出器は、前記測定対象領域修正部を用いて修正された前記測定対象領域を正解データとして学習する画像処理装置。
  2. 前記測定対象領域修正部は、修正後の前記測定オブジェクトと、前記測定オブジェクトの修正に応じた前記測定対象領域の修正結果とを学習した学習結果を用いて、前記測定オブジェクトの修正に応じて前記測定対象領域を修正する第２抽出器を備えた請求項１に記載の画像処理装置。
  3. 前記測定対象領域修正部は、前記測定対象領域における修正後の前記測定オブジェクトの外側の領域を非測定対象領域に変更する前記測定対象領域の修正を行う請求項１又は２に記載の画像処理装置。
  4. 前記測定対象領域修正部は、非測定対象領域における修正後の前記測定オブジェクトの内側の領域を前記測定対象領域に変更する前記測定対象領域の修正を行う請求項１又は２に記載の画像処理装置。
  5. 前記測定オブジェクト決定部は、第１方向に平行な複数の第１線分を前記測定オブジェクトとして決定し、かつ前記第１方向と直交する第２方向における前記測定対象領域の一方の端の位置、前記測定対象領域の他方の端の位置を前記第１線分の位置として決定する請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記測定対象領域修正部は、前記測定オブジェクト修正部を用いて修正した前記測定オブジェクトの位置を、前記第２方向における前記測定対象領域の一方の端の位置、又は他方の端の位置として、前記測定対象領域の輪郭を修正する請求項５に記載の画像処理装置。
  7. 前記測定対象領域を測定する測定部を含み、
    前記第１抽出器は、肺野領域、及び心臓領域を前記測定対象領域として抽出し、
    前記測定オブジェクト決定部は、前記第２方向における前記肺野領域の一方の端の位置、前記第２方向における前記肺野領域の他方の端の位置、前記第２方向における前記心臓領域の一方の端の位置、及び前記第２方向における前記心臓領域の他方の端の位置のそれぞれを前記第１線分の位置として決定し、
    前記測定部は、複数の前記第１線分の位置に基づいて心胸郭比を測定する請求項５又は６に記載の画像処理装置。
  8. 前記第１抽出器は、第１測定対象領域、及び第２測定対象領域を抽出し、
    前記測定対象領域修正部は、修正後の前記第１測定対象領域と修正後の前記第２測定対象領域とが重複する場合に、前記第１測定対象領域の修正結果に応じて、前記第２測定対象領域を修正する請求項１から７のいずれか一項に記載の画像処理装置。
  9. 前記第１抽出器は、第１測定対象領域、及び第２測定対象領域を抽出し、
    前記測定対象領域修正部は、修正前の前記第１測定対象領域と修正前の前記第２測定対象領域とが接触するか、又は重複する場合に、前記第１測定対象領域の修正結果に応じて、前記第２測定対象領域を修正する請求項１から７のいずれか一項に記載の画像処理装置。
  10. 前記測定オブジェクト決定部は、第３方向における前記測定対象領域の両端を結ぶ第２線分、及び前記第３方向と交差する第４方向における前記測定対象領域の両端を結ぶ第３線分の少なくともいずれかを前記測定オブジェクトとして決定する請求項１から４のいずれか一項に記載の画像処理装置。
  11. 前記測定対象領域修正部は、前記測定オブジェクト修正部を用いて修正した前記第２線分の端の位置を、前記第３方向における前記測定対象領域の一方の端の位置、又は他方の端の位置として、前記測定対象領域の輪郭を修正する請求項１０に記載の画像処理装置。
  12. 前記測定対象領域修正部は、前記測定オブジェクト修正部を用いて修正した前記第３線分の端の位置を、前記第４方向における前記測定対象領域の一方の端の位置、又は他方の端の位置として、前記測定対象領域の輪郭を修正する請求項１０又は１１に記載の画像処理装置。
  13. 前記測定対象領域修正部は、修正後の前記第２線分、及び修正後の前記第３線分の少なくともいずれかに応じて、前記測定対象領域を非測定対象領域に変更する前記測定対象領域の修正、及び非測定対象領域を前記測定対象領域に変更する前記測定対象領域の修正の少なくともいずれかを行う請求項１０から１２のいずれか一項に記載の画像処理装置。
  14. 前記測定対象領域を測定する測定部を備え、
    前記第１抽出器は、腫瘍領域を前記測定対象領域として抽出し、
    前記測定部は、前記腫瘍領域の前記第３方向の全長、及び前記第４方向の全長を測定する請求項１０から１３のいずれか一項に記載の画像処理装置。
  15. 前記測定対象領域修正部は、修正前の前記測定オブジェクトを用いた測定値と、修正後の前記測定オブジェクトを用いた測定値との比率を用いて、前記測定対象領域の輪郭を拡大、又は縮小させる請求項１から１４のいずれか一項に記載の画像処理装置。
  16. 前記医用画像を表示する表示装置へ、前記測定オブジェクトを表す信号を送信する信号送信部を備える請求項１から１５のいずれか一項に記載の画像処理装置。
  17. 測定対象領域の正解データを用いて学習した第１抽出器を用いて、医用画像から測定対象領域を抽出する第１抽出工程と、
    前記測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定工程と、
    ユーザの指示に応じて前記測定オブジェクトを修正する測定オブジェクト修正工程と、
    前記測定オブジェクトの修正結果を用いて、前記測定対象領域の抽出結果を修正する測定対象領域修正工程と、
    前記測定対象領域の修正結果を正解データとして前記第１抽出器を学習させる第１学習工程と、
    を含む画像処理方法。
  18. コンピュータに、
    測定対象領域の正解データを用いて学習した第１抽出器を用いて、医用画像から測定対象領域を抽出する第１抽出機能、
    前記測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定機能、
    ユーザの指示に応じて前記測定オブジェクトを修正する測定オブジェクト修正機能、
    前記測定オブジェクトの修正結果を用いて、前記測定対象領域の抽出結果を修正する測定対象領域修正機能、及び
    前記測定対象領域の修正結果を正解データとして前記第１抽出器を学習させる第１学習機能を実現させるプログラム。
  19. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    測定対象領域の正解データを用いて学習した第１抽出器を用いて、医用画像から測定対象領域を抽出する第１抽出機能、
    前記測定対象領域の測定に用いる測定オブジェクトを決定する測定オブジェクト決定機能、
    ユーザの指示に応じて前記測定オブジェクトを修正する測定オブジェクト修正機能、
    前記測定オブジェクトの修正結果を用いて、前記測定対象領域の抽出結果を修正する測定対象領域修正機能、及び
    前記測定対象領域の修正結果を正解データとして前記第１抽出器を学習させる第１学習機能をコンピュータに実現させる記録媒体。
JP2019567935A 2018-01-29 2018-12-26 画像処理装置、画像処理方法、及びプログラム Active JP6920477B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018012780 2018-01-29
JP2018012780 2018-01-29
PCT/JP2018/047852 WO2019146356A1 (ja) 2018-01-29 2018-12-26 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019146356A1 true JPWO2019146356A1 (ja) 2021-01-28
JP6920477B2 JP6920477B2 (ja) 2021-08-18

Family

ID=67395879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019567935A Active JP6920477B2 (ja) 2018-01-29 2018-12-26 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11244458B2 (ja)
JP (1) JP6920477B2 (ja)
WO (1) WO2019146356A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007222325A (ja) * 2006-02-22 2007-09-06 Canon Inc 情報処理装置及びその制御方法、プログラム
JP2010233879A (ja) * 2009-03-31 2010-10-21 Konica Minolta Medical & Graphic Inc 画像計測装置及びプログラム
JP2010259656A (ja) * 2009-05-08 2010-11-18 Toshiba Corp 医用画像処理装置、超音波診断装置および医用画像診断装置
JP2014502176A (ja) * 2010-11-02 2014-01-30 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 幾何学的特徴の自動算出方法、非一時的なコンピュータ可読媒体および画像解釈システム
JP6246287B1 (ja) * 2016-08-31 2017-12-13 Ｐｓｐ株式会社 医用画像処理装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5479896A (en) 1977-12-06 1979-06-26 Inoue Japax Res Inc Wire-cut electrical discharge machine
US5072384A (en) * 1988-11-23 1991-12-10 Arch Development Corp. Method and system for automated computerized analysis of sizes of hearts and lungs in digital chest radiographs
JPH04125779A (ja) 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
WO2004068406A2 (en) * 2003-01-30 2004-08-12 Chase Medical, L.P. A method and system for image processing and contour assessment
JP4497951B2 (ja) 2004-02-16 2010-07-07 株式会社日立メディコ 医用画像診断装置
US7382907B2 (en) * 2004-11-22 2008-06-03 Carestream Health, Inc. Segmenting occluded anatomical structures in medical images
JP4540123B2 (ja) * 2007-04-10 2010-09-08 富士フイルム株式会社 曲線修正方法および装置並びにプログラム
JP2014050527A (ja) 2012-09-06 2014-03-20 Toshiba Corp 画像処理装置及び画像処理方法
KR102325345B1 (ko) * 2014-12-15 2021-11-11 삼성전자주식회사 대화형 영상 분할 장치 및 방법
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
JP6738305B2 (ja) * 2017-06-30 2020-08-12 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6797088B2 (ja) * 2017-08-17 2020-12-09 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6985856B2 (ja) * 2017-08-31 2021-12-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007222325A (ja) * 2006-02-22 2007-09-06 Canon Inc 情報処理装置及びその制御方法、プログラム
JP2010233879A (ja) * 2009-03-31 2010-10-21 Konica Minolta Medical & Graphic Inc 画像計測装置及びプログラム
JP2010259656A (ja) * 2009-05-08 2010-11-18 Toshiba Corp 医用画像処理装置、超音波診断装置および医用画像診断装置
JP2014502176A (ja) * 2010-11-02 2014-01-30 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 幾何学的特徴の自動算出方法、非一時的なコンピュータ可読媒体および画像解釈システム
JP6246287B1 (ja) * 2016-08-31 2017-12-13 Ｐｓｐ株式会社 医用画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP6920477B2 (ja) 2021-08-18
US11244458B2 (en) 2022-02-08
US20200342606A1 (en) 2020-10-29
WO2019146356A1 (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
Rehman et al. A region-based deep level set formulation for vertebral bone segmentation of osteoporotic fractures
US10997466B2 (en) Method and system for image segmentation and identification
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
EP3424017B1 (en) Automatic detection of an artifact in patient image data
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107752979B (zh) 人工投影的自动生成方法、介质和投影图像确定装置
JP2007526033A (ja) 構造化オブジェクトの画像を登録するための装置及び方法
EP3971830B1 (en) Pneumonia sign segmentation method and apparatus, medium and electronic device
JP6820043B2 (ja) 画像の閲覧を支援する方法およびこれを利用した装置
JPWO2012073769A1 (ja) 画像処理装置及び画像処理方法
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
JP7170000B2 (ja) 学習システム、方法及びプログラム
WO2022056297A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
JP6920477B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114255235A (zh) 用于自动定位三维图像中的器官分段的方法和布置
CN107610772A (zh) 一种甲状腺结节ct图像诊断系统设计方法
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
Zhang et al. Enhancing the depth perception of DSA images with 2D–3D registration
KR102099350B1 (ko) 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CN113657420A (zh) 身体表示
JP2019500114A (ja) 位置合わせ精度の決定

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6920477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150