JP7101809B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7101809B2
JP7101809B2 JP2020558346A JP2020558346A JP7101809B2 JP 7101809 B2 JP7101809 B2 JP 7101809B2 JP 2020558346 A JP2020558346 A JP 2020558346A JP 2020558346 A JP2020558346 A JP 2020558346A JP 7101809 B2 JP7101809 B2 JP 7101809B2
Authority
JP
Japan
Prior art keywords
class
image
global feature
segmentation
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558346A
Other languages
English (en)
Other versions
JPWO2020110774A1 (ja
Inventor
ディーパック ケシュワニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020110774A1 publication Critical patent/JPWO2020110774A1/ja
Application granted granted Critical
Publication of JP7101809B2 publication Critical patent/JP7101809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は画像処理装置、画像処理方法、及びプログラムに係り、特に医用画像のセグメンテーションに関する。
深層学習を用いた解剖学的特徴に基づく医用画像のセグメンテーションが知られている。医用画像のセグメンテーションは、医用画像から病変等を自動的に検出するコンピュータ支援診断装置等に利用される。深層学習を用いることにより、複雑な医用画像のセグメンテーションが可能となっている。
特許文献１は、医学知識データとユーザの入力操作を基に、診断結果を修正する診断支援装置が記載されている。同文献に記載の装置は、医師による所見と病変候補取得部による病変名とが異なる場合、マウスの操作に応じて診断結果の修正候補が表示され、修正候補を採用するか否かをたずねるメッセージが表示される。修正候補を採用することを表す操作に応じて、修正された診断結果が表示される。
特許文献２は、肺のＣＴ画像から病変部を自動識別し、識別結果をユーザの入力操作によって修正する制御方法が記載されている。同文献に記載の方法は、指定対象画像に候補領域と修正領域とが重畳表示された医用画像において、ユーザの操作情報に基づき小領域を選択する。
同文献に記載の方法は、小領域が候補領域の内側にあると判定された場合は、小領域に含まれる画素を候補領域から除外する。一方、小領域が候補領域の内側にないと判定された場合は、小領域に含まれる画素を候補領域に加える。このようにして、小領域を選択するユーザの操作に従って候補領域が修正され、最終的に病変領域が決定される。
特許文献３は、ユーザの入力に応じて病変疑い領域に関する画像特徴量抽出処理を調整し得る画像処理装置が記載されている。同文献に記載の装置は、病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行い、学習の結果として得られる画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像の画像特徴量を抽出する。
また、特許文献３には、ユーザ入力部からの入力に応じて、画像特徴ラベルの学習パラメータを更新する旨の記載がある。
特許文献４は、臨床免疫プロファイルの調査を支援する自動免疫細胞検出システムが記載されている。同文献には、オペレータが細胞等をラベル付けするユーザインターフェースが記載されている。
特開２０１５－９７１２７号公報 特開２０１８－１０２９１６号公報 特開２０１８－６１７７１号公報 特開２０１７－５１６９９２号公報
しかしながら、深層学習を適用した医用画像のセグメンテーションは、タスクが複雑であるという深層学習の性質上、不正確になる場合があり得る。医用画像のセグメンテーションに誤りがある場合は修正が必要となる。一方、医用画像のセグメンテーションの誤りを医師が一ピクセル単位で修正することは手間がかかるため、効率的にセグメンテーションの修正を行う手法が必要である。
特許文献１に記載の装置は、病変候補関連データとして、医用検査データの上に病変候補を指摘するマーク、及び検出結果の根拠となる画像特徴量等を出力するものである。すなわち、特許文献１には医用画像のセグメンテーションの結果を出力する旨の記載はない。
また、特許文献１には、医師の所見と病変候補取得部を用いて得られた病変名とが異なる場合に、医師のマウス操作に応じて診断結果の修正候補を表示することが記載されているが、特許文献１は医用画像のセグメンテーションの修正を開示していない。
特許文献２には、医用画像のセグメンテーションに関する記載はない。また、特許文献２に記載の方法は、候補領域を修正する際にユーザが修正領域をクリックして選択する必要があり、ユーザの手間がかかる。
特許文献３には、ユーザ入力部からの入力に応じて、画像特徴ラベルの学習パラメータを更新する旨の記載があるが、画像特徴ラベルの修正に関する記載はない。すなわち、特許文献３は医用画像のセグメンテーションの修正を開示していない。
特許文献４は、オペレータが細胞等をラベル付けするユーザインターフェースが記載されているが、医用画像のセグメンテーションの修正に関する記載はない。
本発明はこのような問題点に鑑みてなされたもので、医用画像のセグメンテーションの修正における手間を削減し得る画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る画像処理装置は、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像のセグメンテーションを実施して、医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション部と、医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得部と、医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、グローバル特徴とクラスとの関係を参照し、グローバル特徴に応じて修正する修正部と、を備えた画像処理装置である。
第１態様によれば、医用画像の全体の特徴を表すグローバル特徴と医用画像の局所の特徴を表すクラスとの関係を参照し、グローバル特徴に応じて修正対象領域を特定し、修正対象領域のクラスを修正する。これにより、グローバル特徴に応じたクラスの修正が自動化され、セグメンテーションの修正の手間を削減し得る。
セグメンテーション部は、医用画像から局所の特徴を抽出し、局所の特徴ごとに分類した分類マップを生成し得る。
局所領域又は局所は、一ピクセルから構成される態様が含まれ得る。局所領域ごと又は局所ごとは、ピクセルごとの概念が含まれ得る。
グローバル特徴の一例として疾患名が挙げられる。疾患名は病名、病気名、及び診断名等の概念を含み得る。
クラスの一例として病変が挙げられる。病変は所見及び病変パターン等の概念を含み得る。
第２態様は、第１態様の画像処理装置において、グローバル特徴に対応する複数のクラスにおける各クラスらしさを表すスコアを、局所領域ごとに算出するスコア算出部を備え、セグメンテーション部は、局所領域ごとのクラスとして、スコアが最も高いクラスを適用する構成としてもよい。
第２態様によれば、クラスらしさを表すスコアが最も高いクラスが、局所領域ごとのクラスとして採用される。これにより、スコアに基づくセグメンテーションが可能となり、医用画像のセグメンテーションが高精度化される。
第３態様は、第２態様の画像処理装置において、修正部は、修正対象領域のクラスを修正する際に、グローバル特徴に対応するクラスのうちスコアが最も高いクラスを、修正対象領域のクラスに適用する構成としてもよい。
第３態様によれば、修正対象領域はグローバル特徴に対応するクラスのうちスコアが最も高いクラスに修正される。これにより、クラスの修正が高精度化される。
第４態様は、第２態様又は第３態様の画像処理装置において、スコア算出部は、スコアとしてクラスらしさを表す確率を算出する構成としてもよい。
第４態様によれば、クラスらしさを表す確率を用いたクラスの修正が可能となる。
第５態様は、第１態様又は第２態様の画像処理装置において、修正部は、修正対象領域のクラスを、修正対象領域のクラスと異なるクラスであり、修正対象領域からの距離が最小となる局所領域のクラスに修正する構成としてもよい。
第５態様によれば、クラスが間違っている局所領域の近傍に、正しいクラスとして認識された局所領域が存在することが多いので、修正対象領域のクラスとして、修正対象領域との距離が最小となる局所領域のクラスを適用し得る。これにより、クラス修正処理の期間の短縮化及び処理負荷の低減化の少なくともいずれかを実現し得る。
第６態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、修正部は、グローバル特徴取得部が否定的なグローバル特徴を取得した場合に、グローバル特徴のみに対応するクラスの局所領域を修正対象領域とする構成としてもよい。
第６態様によれば、グローバル特徴における疾患名等の主要部に対応するクラスであり、セグメンテーションの結果に存在し得ないクラスの修正が可能である。
否定的なグローバル特徴の一例として、主要部にｎｏｔ及びではない等の特徴を否定する用語が付加され、主要部を否定する意味を表すグローバル特徴が挙げられる。
第７態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、修正部は、グローバル特徴取得部が肯定的なグローバル特徴を取得した場合に、グローバル特徴に非対応のクラスの局所領域を修正対象領域とする構成としてもよい。
第７態様によれば、グローバル特徴に非対応のクラスであり、セグメンテーションの結果に存在し得ないクラスの修正が可能である。
第８態様は、第１態様から第７態様のいずれか一態様の画像処理装置において、修正部は、複数のグローバル特徴に応じて、修正対象領域のクラスを修正する構成としてもよい。
第８態様によれば、複数のグローバル特徴に応じて、修正対象領域のクラスの修正がされる。これにより、クラス修正を高精度化し得る。
複数のグローバル特徴の論理積に応じて修正対象領域のクラスを修正してもよいし、複数のグローバル特徴の論理和に応じて修正対象領域のクラスを修正してもよい。
第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、修正部は、グローバル特徴とクラスとの関係が記憶されたテーブルを参照する構成としてもよい。
第９態様によれば、グローバル特徴と局所領域ごとのクラスとの関係が記憶されたテーブルを参照したクラスの修正が可能となる。
第１０態様は、第１態様から第９態様のいずれか一態様の画像処理装置において、セグメンテーション部は機械学習器が適用され、機械学習器は、セグメンテーションの結果が修正された医用画像とクラスの修正結果との組を学習データとして再学習を実施する構成としてもよい。
第１０態様によれば、セグメンテーション部の性能が向上し得る。
第１１の態様に係る画像処理方法は、医用画像を取得する画像取得工程と、画像取得工程において取得した医用画像のセグメンテーションを実施して、医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション工程と、医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得工程と、医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、グローバル特徴とクラスとの関係を参照し、グローバル特徴に応じて修正する修正工程と、を含む画像処理方法である。
第１１態様によれば、第１態様と同様の効果を得ることが可能である。
第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
第１２態様に係るプログラムは、コンピュータに、医用画像を取得する画像取得機能、画像取得機能を用いて取得した医用画像のセグメンテーションを実施して、医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション機能、医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得機能、及び医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、グローバル特徴とクラスとの関係を参照し、グローバル特徴に応じて修正する修正機能を実現させるプログラムである。
第１２態様によれば、第１態様と同様の効果を得ることが可能である。
第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、医用画像の全体の特徴を表すグローバル特徴と医用画像の局所の特徴を表すクラスとの関係を参照し、グローバル特徴に応じて修正対象領域を特定し、修正対象領域のクラスを修正する。これにより、グローバル特徴に応じたクラスの修正が自動化され、セグメンテーションの修正の手間を削減し得る。
図１は実施形態に係る医療情報システムの概略構成図である。 図２は図１に示す画像処理装置の機能ブロック図である。 図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。 図４はクラス分類の模式図である。 図５は確率マップの一例を示す図である。 図６はクラス修正の模式図である。 図７は疾患名と病変との対応関係を示すテーブルの一例を示す図である。 図８は画像処理方法の手順を示すフローチャートである。 図９は図８に示すセグメンテーション工程の手順を示すフローチャートである。 図１０は図８に示すクラス修正工程の手順を示すフローチャートである。 図１１は畳み込みニューラルネットワークを適用したセグメンテーション部のブロック図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
［医用画像処理システムの全体構成］
図１は実施形態に係る医療情報システムの概略構成図である。医療情報システム１０は、画像処理装置１２、モダリティ１４、及び画像データベース１６を備える。画像処理装置１２、モダリティ１４、及び画像データベース１６は、ネットワーク１８を介して通信可能に接続される。
画像処理装置１２は、医療機関に備えられるコンピュータを適用可能である。画像処理装置１２は、入力装置としてマウス２０及びキーボード２２が接続される。また、画像処理装置１２は表示装置２４が接続される。
モダリティ１４は、被写体の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティ１４の例として、Ｘ線撮像装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ装置が挙げられる。モダリティ１４として内視鏡装置を適用してもよい。
なお、ＣＴはコンピュータ断層撮影を表すComputed Tomographyの省略語である。ＭＲＩは磁気共鳴画像を表すMagnetic Resonance Imagingの省略語である。ＰＥＴ装置は陽電子放射断層撮影を表すPositron Emission Tomographyの省略語である。平面Ｘ線検出器はＦＰＤ(flat panel detector)と呼ばれることがある。ＣＲはコンピュータＸ線撮影装置を表すComputed Radiographyの省略語である。
医用画像のフォーマットは、ＤＩＣＯＭ規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定された付帯情報が付加されてもよい。なお、ＤＩＣＯＭはDigital Imaging and COmmunicationsinMedicineの省略語である。
本明細書おける画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。
画像データベース１６は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。データベース管理システムは、ＤＢＭＳ（Data Base Management System）と呼ばれることがある。
ネットワーク１８は、ＬＡＮ（Local Area Network）を適用可能である。ネットワーク１８はＷＡＮ（Wide Area Network）を適用してもよい。ネットワーク１８の通信プロトコルは、ＤＩＣＯＭ規格を適用可能である。なお、ネットワーク１８は公衆回線網に接続可能に構成されてもよいし、専用回線網に接続可能に構成されてもよい。ネットワーク１８は、有線でもよいし、無線でもよい。
［画像処理装置］
〔画像処理装置の機能〕
図２は図１に示す画像処理装置の機能ブロック図である。図２に示す画像処理装置１２は、深層学習等を適用して医用画像のセグメンテーションマスクを効率的に修正する。なお、セグメンテーションマスクの修正はセグメンテーションの修正と同義である。医用画像のセグメンテーションの一例として、肺組織を気管支拡張症、蜂巣肺、すりガラス影、網状肺、及び線状肺等の病変に分類する例が挙げられる。
セグメンテーションされた医用画像は、病変ごとの体積計算等に利用される。病変ごとの体積変化は、間質性肺疾患等の肺疾患の進行の指標となる。
本実施形態では、画像処理装置１２として、肺のＣＴ画像が入力された場合に、肺のＣＴ画像における各ピクセルが、医学的に知られている画像パターンであるクラスに属するか否かを自動的に分類する判別装置を説明する。医学的に知られている画像パターンの例として、蜂巣肺、すりガラス影、網状肺、線状肺等の病変が挙げられる。
画像処理装置１２は、画像取得部４０、セグメンテーション部４２、修正部４４、及びグローバル特徴取得部４６を備える。画像処理装置１２は、記憶部５０、表示制御部６０、及び入力制御部６２を備える。
画像取得部４０、セグメンテーション部４２、修正部４４、グローバル特徴取得部４６、記憶部５０、表示制御部６０、及び入力制御部６２は、バス５２を介して通信可能に接続される。以下、画像処理装置１２の各部について詳細に説明する。
画像取得部４０は処理対象の医用画像を取得する。画像処理装置１２は、取得した医用画像を記憶部５０へ記憶する。図２には画像データベース１６から医用画像を取得する態様を例示する。
画像取得部４０は図１に示すモダリティ１４から医用画像を取得してもよいし、ネットワーク１８を経由して図示しないストレージ装置から医用画像を取得してもよい。また、画像取得部４０は情報記憶媒体を介して医用画像を取得してもよい。
セグメンテーション部４２は、特徴量抽出部７０、確率マップ生成部７２、及び分類マップ生成部７４を備える。セグメンテーション部４２は、画像取得部４０を用いて取得した医用画像に対してセグメンテーションを実施する。
すなわち、セグメンテーション部４２は、医用画像におけるピクセルごとの特徴量を抽出し、ピクセルごとの特徴量に基づきクラス分類を実施し、分類マップを生成する。複数の連続するピクセルは医用画像の局所領域を構成する。すなわち、セグメンテーション部４２は、医用画像の局所領域ごとにクラス分類を実施し得る。以下、ピクセルごとの処理は、局所領域ごとの処理と読み替えが可能である。
本実施形態ではクラスとして病変を例示する。本明細書における病変は、病変パターン及び所見等と呼ばれる場合がある。なお、セグメンテーション部４２を用いたセグメンテーションの詳細は後述する。
修正部４４は、医療データベース９０に記憶されているグローバル特徴とクラスとの関係を表すテーブルを参照して、医用画像のセグメンテーションを修正する。具体的には、医用画像における局所領域のクラスが間違っている場合に、グローバル特徴とクラスとの関係に基づいて、間違っているクラスを修正する。医用画像のセグメンテーションの修正の詳細は後述する。
グローバル特徴取得部４６は、医用画像のセグメンテーションを修正する際に用いられる医用画像のグローバル特徴を取得する。医用画像のグローバル特徴は、入力装置２１を用いて入力された情報を適用してもよいし、医用画像の付帯情報を適用してもよい。また、診断が確定している医用画像であれば、図示しない電子カルテ等のシステムからグローバル特徴を取得してもよい。本実施形態ではグローバル特徴として疾患名を例示する。
記憶部５０は画像処理装置１２における各種データを記憶する。記憶部５０は、画像記憶部８０、確率マップ記憶部８２、分類マップ記憶部８４、グローバル特徴記憶部８６、及びプログラム記憶部８８を備える。記憶部５０は、複数の記憶装置を適用してもよいし、複数の記憶領域に区画された一つの記憶装置を適用してもよい。記憶部５０は画像処理装置１２の外部に具備される一つ以上の記憶装置を適用してもよい。
画像記憶部８０は、画像取得部４０を用いて取得した医用画像を記憶する。確率マップ記憶部８２はピクセルごとのクラスらしさを表す確率が医用画像の局所領域ごとにマッピングされた確率マップを記憶する。確率マップは符号２１０を付して図４に示す。
分類マップ記憶部８４はセグメンテーションの結果として生成される分類マップを記憶する。分類マップは符号２２０を付して図４に示す。グローバル特徴記憶部８６はグローバル特徴取得部４６を用いて取得されるグローバル特徴を記憶する。グローバル特徴は符号２３０を付して図６に示す。
プログラム記憶部８８は画像処理装置１２において実行される各種プログラムが記憶される。画像処理装置１２は、図３に示すハードウェアを用いて各種プログラムを実行して、画像処理装置１２の各種機能を実現する。
表示制御部６０は、表示装置２４を用いて表示させる情報を表す信号を、表示装置２４へ送信する。表示装置２４を用いて表示させる情報の一例として、セグメンテーションが実施された医用画像を表す分類マップが挙げられる。
入力制御部６２は、入力装置２１から送信される入力情報を表す信号を、画像処理装置１２に適用される形式の信号に変換する。入力情報を表す信号は装置各部へ適宜送信される。
〔画像処理部のハードウェア構成〕
〈全体構成〉
図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置１２は、図３に示すハードウェアを用いて規定のプログラムを実行し、各種機能を実現し得る。
画像処理装置１２は、プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、及び電源装置１０８を備える。また、画像処理装置１２は、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４を備える。
プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４は、バス５２を介してデータ通信が可能に接続される。
〈プロセッサ〉
プロセッサ１００は、画像処理装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ１００は、メモリ１０２に具備されるＲＯＭ（read only memory）に記憶されるプログラムを実行する。
プロセッサ１００は、ネットワークコントローラ１０６を介して外部の記憶装置からダウンロードされたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１８を介して画像処理装置１２と通信可能に接続されていてもよい。
プロセッサ１００は、メモリ１０２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１２の各種機能が実現される。
プロセッサ１００は、ストレージ装置１０４からのデータの読み出し、及びストレージ装置１０４へのデータの書き込みを制御する。プロセッサ１００は、ネットワークコントローラ１０６を介して、外部の記憶装置から各種データを取得してもよい。プロセッサ１００は、取得した各種データを用いて、演算等の各種処理を実行可能である。
プロセッサ１００は、一つ又は二つ以上のデバイスが含まれてもよい。プロセッサ１００の例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
プロセッサ１００の他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
プロセッサ１００は、同じ種類の二つ以上のデバイスを適用可能である。例えば、プロセッサ１００は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。プロセッサ１００は、異なる種類の二つ以上のデバイスを適用してもよい。例えば、プロセッサ１００は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
複数のプロセッサ１００を備える場合、複数のプロセッサ１００は一つのデバイスを用いて構成してもよい。複数のプロセッサ１００を一つのデバイスで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数のプロセッサ１００として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
ＣＰＵに代わり又はＣＰＵと併用して、画像処理に特化したデバイスであるＧＰＵ（Graphics Processing Unit）を適用してもよい。複数のプロセッサ１００が一つのデバイスを用いて構成される代表例として、コンピュータが挙げられる。
一つのデバイスを用いて複数のプロセッサ１００を構成する他の例として、複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスを使用する形態が挙げられる。複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、プロセッサ１００は、ハードウェア的な構造として、各種のデバイスを一つ以上用いて構成される。
〈メモリ〉
メモリ１０２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１２において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及びプロセッサ１００のワーク領域等として機能する。
〈ストレージ装置〉
ストレージ装置１０４は、各種データを非一時的に記憶する。ストレージ装置１０４は、画像処理装置１２の外部に外付けされてもよい。ストレージ装置１０４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〈ネットワークコントローラ〉
ネットワークコントローラ１０６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１０６を介して接続されるネットワーク１８は、ＬＡＮ（Local Area Network）などの公知のネットワークを適用し得る。
〈電源装置〉
電源装置１０８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１０８は停電等に起因して商用電源が遮断された際に、画像処理装置１２へ電源を供給する。
〈ディスプレイコントローラ〉
ディスプレイコントローラ１１０は、プロセッサ１００から送信される指令信号に基づいて表示装置２４を制御するディスプレイドライバーとして機能する。
〈入出力インターフェース〉
入出力インターフェース１１２は、画像処理装置１２と外部機器とを通信可能に接続する。入出力インターフェース１１２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
〈入力コントローラ〉
入力コントローラ１１４は、入力装置２１を用いて入力された信号の形式を画像処理装置１２の処理に適した形式に変換する。入力コントローラ１１４を介して入力装置２１から入力された情報は、プロセッサ１００を介して各部へ送信される。
なお、図３に示す画像処理装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
〔クラス分類の詳細な説明〕
次に、図２に示すセグメンテーション部４２を用いて実施される医用画像のセグメンテーションについて説明する。図４はクラス分類の模式図である。セグメンテーション部４２は、医用画像のセグメンテーションとして、医用画像２００を構成するピクセルの少なくとも一部を、複数のクラスのいずれかに分類するマルチクラス分類を実施する。
セグメンテーション部４２は、医用画像２００から確率マップ２１０を生成し、医用画像２００に対して確率マップ２１０を適用して分類マップ２２０を生成する。セグメンテーション部４２は、畳み込みニューラルネットワーク等の機械学習器が適用される。なお、図４に示すＣＮＮは、畳み込みニューラルネットワークの英語表記であるConvolutional Neural Networkの省略語である。
セグメンテーション部４２は、ピクセルごとにクラスらしさを表すスコアとして、クラスらしさを表す確率を算出し、確率マップ２１０を生成する。図４には、病変をクラスに適用した例を示す。図４に示す確率マップ２１０は、第一クラス２１２として肺気腫が適用され、第二クラス２１４と気管支拡張が適用され、第三クラス２１６として蜂巣肺が適用され、第四クラス２１８として網状肺が適用される。なお、クラス数は二以上であればよい。
セグメンテーション部４２は、ピクセルごとに第一クラス２１２に属する確率、第二クラス２１４属する確率、第三クラス２１６に属する確率、及び第四クラス２１８に属する確率を算出する。
図５は確率マップの一例を示す説明図である。図５にはテーブル形式の確率マップ２１０を示す。図５には、図４に示す第三クラス２１６の確率が最大となる局所領域を示す。図５に示す確率マップ２１０は、図４に示す第一領域２２２、第二領域２２４、第三領域２２６、及び第四領域２２８における各クラスの確率が含まれる。
図４に示すように、セグメンテーション部４２は、確率マップ２１０において確率が最大となるクラスを各ピクセルのクラスに決定するクラス分類を実施して、分類マップ２２０を生成する。図４に示す分類マップ２２０では、第一領域２２２、第二領域２２４、第三領域２２６、及び第四領域２２８は、第三クラス２１６である蜂巣肺に分類される。
本実施形態では、クラスらしさを表すスコアとして、クラスらしさを表す確率を例示したが、クラスらしさを表すスコアは、クラスらしさを表す値であればよく確率に限定されない。
〔クラス修正の詳細な説明〕
次に、図２に示す修正部４４を用いて実施されるクラス修正について詳細に説明する。図６はクラス修正の模式図である。分類マップ２２０のクラスに誤りがあった場合、クラス修正が必要である。クラスの誤りを修正した修正分類マップ２４０を用いた再学習を実施することで、より高精度のクラス分類が可能となる。すなわち、クラスの誤りを修正した修正分類マップ２４０は非常に有用なデータである。
図７は疾患名と病変との対応関係を示すテーブルの一例を示す図である。医用画像２００の全体の特徴に基づき決められる疾患名と、医用画像２００の局所の特徴に基づき決められる病変とは密接な関係がある。図７に示すように、疾患名にごとに存在し得る病変、及び疾患名にごとに存在し得ない病変がある。
そこで、図７に示す疾患名と存在し得る病変との関係を対応付けたテーブル２５０及び図示しない疾患名と存在し得ない病変との関係を対応付けたテーブルの少なくともいずれかを用意する。テーブル２５０又は図示しないテーブルは、図２に示す医療データベース９０に記憶される。なお、疾患名は疾病名、病名、及び診断名等と呼ばれる場合がある。
なお、図７に示すＲＡは関節リウマチの英語表記である、Rheumatoid arthritisの省略語である。ＳＳｃは、全身性強皮症の英語表記である、Systemic sclerosisの省略語である。ＰＳＳは、進行性全身性強皮症の英語表記である、Progressive Systemic Sclerosisの省略語である。
ＯＰは、器質性肺炎の英語表記である、Organizing Pneumoniaの省略語である。ＣＯＰは、特発性器質性肺炎の英語表記である、Cryptogenic Organizing Pneumoniaの省略語である。
ＤＩＰは、剥離性間質性肺炎の英語表記である、DesquamativeInterstitial Pneumoniaeの省略語である。ＣＮＰＡは、慢性壊死性肺アスペルギルス症の英語表記である、Chronic Necrotizing Pulmonary Aspergillosisの省略語である。ＩＰＦは、特発性肺線維症の英語表記である、Idiopathic Pulmonary Fibrosisの省略語である。ＵＩＰは、通常型間質性肺炎の英語表記である、Usual Interstitial Pneumoniaの省略語である。
修正部４４は、図６に示すグローバル特徴２３０を取得した場合に、本来は分類マップ２２０に存在し得ないクラスの置き替えを実施し、修正分類マップ２４０を生成する。グローバル特徴２３０は、ユーザである医師が図２に示す入力装置２１を用いて入力される。
図６には、グローバル特徴２３０として、Ｎｏｔ ＩＰＦを例示する。Ｎｏｔ ＩＰＦは、特発性肺線維症でないことを表すグローバル特徴２３０である。なお、実施形態に記載の特発性肺線維症でないことを表すグローバル特徴２３０は、否定的なグローバル特徴の一例である。
修正部４４は、分類マップ２２０における本来はＩＰＦ以外の疾患名には存在し得ないクラスを、本来はＩＰＦ以外の疾患名に存在し得るクラスのうち、クラスらしさを表す確率が最も高いクラスに置き替える。すなわち、修正部４４は、図６に示す分類マップ２２０のクラスのうち、ＩＰＦにのみ存在し得る病変を抽出し、ＩＰＦ以外の病気に存在し得る病変のうち、病変らしさを表す確率が最も高い病変に抽出した病変を置き替える。
ここで、ＩＰＦにのみ存在し得る病変とは、ＩＰＦ以外の疾患名において存在し得る病変のうち、他の条件から除外することが可能な疾患名に存在し得る病変が除外されてもよい。例えば、図７に示すテーブル２５０における膠原病肺ＲＡ、分類不能間質性肺炎、及びＩＰＳ急性増悪が除外される場合に、グローバル特徴２３０としてＮｏｔ ＩＰＦを取得した際に、蜂巣肺を他の病変に置き替える。
図６に示す分類マップ２２０は、第一領域２２２、第二領域２２４、第三領域２２６、及び第四領域２２８がＩＰＦにのみ存在する病変である蜂巣肺に分類されている。そこで、修正部４４は、第一領域２２２Ａ及び第四領域２２８Ａを網状肺へ置き替え、第二領域２２４Ａを肺気腫に置き替え、第三領域２２６Ａを気管支拡張に置き替えた修正分類マップ２４０を生成する。
修正部４４は、複数のグローバル特徴２３０に応じて、局所領域ごとのクラスを修正してもよい。グローバル特徴２３０として、過敏性肺臓炎夏型及び過敏性肺臓炎鳥関連のいずれでもないと医師が入力した場合、過敏性肺臓炎夏型及び過敏性肺臓炎鳥関連のみに存在する地図状に分類された領域のクラスは、地図状以外のクラスのうち確率が最も高いクラスに置き替えられる。
すなわち、修正部４４は、複数のグローバル特徴２３０の論理積に応じて、局所領域ごとのクラスを修正し得る。修正部４４は、複数のグローバル特徴２３０の論理和に応じて、局所領域ごとのクラスを修正してもよい。かかる態様において、図７に示すテーブル２５０は、複数のグローバル特徴２３０の論理積及び複数のグローバル特徴２３０の論理和と病変との関係を記憶してもよい。
グローバル特徴２３０として、特発性肺線維症であることを表すＩＰＦを取得してもよい。なお、特発性肺線維症であることを表すグローバル特徴２３０は、肯定的なグローバル特徴の一例である。
修正部４４は、グローバル特徴２３０としてＩＰＦを取得した場合、分類マップ２２０における本来はＩＰＦでは存在し得ないクラスを、本来はＩＰＦに存在し得るクラスのうち、確率が最も高いクラスに置き替える。
肯定的なグローバル特徴の他の例として、図７に示す膠原病肺をグローバル特徴２３０として取得した例を説明する。図４に示す分類マップ２２０を見た医師が、グローバル特徴２３０として膠原病肺ＳＳｃを入力する。修正部４４は気管支拡張、牽引性気管支拡張、及びすりガラス影以外のクラスに分類されている領域のクラスを、気管支拡張、牽引性気管支拡張、及びすりガラス影のうち確率が最も高いクラスに置き替える。
なお、肯定的なグローバル特徴が適用される場合も、複数のグローバル特徴２３０の論理積及び複数のグローバル特徴２３０の論理和に応じて、局所領域ごとのクラスを修正してもよい。
［画像処理方法の手順］
〔画像処理方法全体のフローチャート〕
次に、図２に示す画像処理装置１２に適用される画像処理方法の手順について説明する。図８は画像処理方法の手順を示すフローチャートである。画像処理装置１２は、プログラムを実行して、図８に示す各工程に対応する機能を実現させる。
医用画像取得工程Ｓ１０では、図２に示す画像取得部４０は画像データベース１６等から医用画像を記憶する。画像取得部４０は画像記憶部８０へ医用画像を取得する。医用画像取得工程Ｓ１０の後に、セグメンテーション工程Ｓ１２へ進む。
セグメンテーション工程Ｓ１２では、セグメンテーション部４２は医用画像のセグメンテーションを実施し、図４に示す分類マップ２２０を生成する。セグメンテーション部４２は確率マップ記憶部８２へ分類マップ２２０を記憶する。セグメンテーション工程Ｓ１２の後に、分類マップ表示工程Ｓ１４へ進む。
分類マップ表示工程Ｓ１４では、表示制御部６０は図４に示す分類マップ２２０を表す表示信号を表示装置２４へ送信する。表示装置２４は分類マップ２２０を表示する。分類マップ表示工程Ｓ１４の後に、クラス修正判定工程Ｓ１６へ進む。
クラス修正判定工程Ｓ１６では、修正部４４は、分類マップ２２０におけるクラス修正の指示を取得したか否かを判定する。修正部４４が分類マップ２２０におけるクラス修正の指示を取得していない場合はＮｏ判定となり、セグメンテーション結果表示工程Ｓ２４へ進む。
一方、クラス修正判定工程Ｓ１６において修正部４４が分類マップ２２０におけるクラス修正の指示を取得した場合はＹｅｓ判定となり、グローバル特徴取得工程Ｓ１８へ進む。すなわち、クラス修正判定工程Ｓ１６では、表示装置２４に表示された分類マップ２２０を見た医師が行う、分類マップ２２０を修正することを表す入力待ちを実施する。
クラス修正判定工程Ｓ１６では、表示制御部６０は分類マップ２２０の修正の要否を問う画面を表示装置２４に表示させてもよい。
グローバル特徴取得工程Ｓ１８では、グローバル特徴取得部４６は入力制御部６２を介して入力装置２１から入力されるグローバル特徴２３０を取得する。グローバル特徴取得部４６はグローバル特徴記憶部８６へグローバル特徴２３０を記憶する。グローバル特徴取得工程Ｓ１８の後に、テーブル参照工程Ｓ２０へ進む。
テーブル参照工程Ｓ２０では、修正部４４は医療データベース９０に記憶されているテーブル２５０を参照して修正対象領域を特定する。修正対象領域とは、修正対象のピクセル及び修正対象の局所領域の包括概念である。テーブル参照工程Ｓ２０の後に、クラス修正工程Ｓ２２へ進む。
クラス修正工程Ｓ２２では、修正部４４は分類マップ２２０を修正して修正分類マップ２４０を生成する。修正部４４は修正分類マップ２４０を分類マップ記憶部８４へ記憶する。クラス修正工程Ｓ２２の後に、セグメンテーション結果表示工程Ｓ２４へ進む。
セグメンテーション結果表示工程Ｓ２４では、表示制御部６０は修正が不要な分類マップ２２０又は修正分類マップ２４０を表す表示信号を表示装置２４へ送信する。表示装置２４は修正が不要な分類マップ２２０又は修正分類マップ２４０を表示する。セグメンテーション結果表示工程Ｓ２４の後に、画像処理装置１２は画像処理方法の手順を終了する。
〔セグメンテーション工程の手順〕
図９は図８に示すセグメンテーション工程の手順を示すフローチャートである。特徴量抽出工程Ｓ１００では、特徴量抽出部７０は医用画像２００のピクセルごとの特徴量を抽出する。特徴量抽出工程Ｓ１００の後に、確率マップ生成工程Ｓ１０２へ進む。
確率マップ生成工程Ｓ１０２では、確率マップ生成部７２は確率マップ２１０を生成する。確率マップ生成部７２は確率マップ２１０を確率マップ記憶部８２へ記憶する。確率マップ生成工程Ｓ１０２の後に、分類マップ生成工程Ｓ１０４へ進む。なお、実施形態に示す確率マップ生成部７２はスコア算出部の一例である。
分類マップ生成工程Ｓ１０４では、分類マップ生成部７４は分類マップ２２０を生成する。分類マップ生成部７４は分類マップ２２０を分類マップ記憶部８４へ記憶する。分類マップ生成工程Ｓ１０４の後に、画像処理装置１２はセグメンテーション工程Ｓ１２を終了し、分類マップ表示工程Ｓ１４を実施する。
〔クラス修正工程の手順〕
図１０は図８に示すクラス修正工程の手順を示すフローチャートである。グローバル特徴判定工程Ｓ１２０では、修正部４４は取得したグローバル特徴２３０が否定的なグローバル特徴であるか肯定的なグローバル特徴であるかを判定する。
肯定的なグローバル特徴の場合はＮｏ判定となり、肯定情報クラス抽出工程Ｓ１２２へ進む。一方、否定的なグローバル特徴の場合はＹｅｓ判定となり、否定情報クラス抽出工程Ｓ１２４へ進む。
肯定情報クラス抽出工程Ｓ１２２では、修正部４４は、テーブル２５０を参照して、分類マップ２２０からグローバル特徴２３０に本来は存在し得ないクラスを抽出する。
例えば、グローバル特徴２３０がＩＰＦの場合、修正部４４はＩＰＦでは本来は存在し得ないクラスを分類マップ２２０から抽出する。肯定情報クラス抽出工程Ｓ１２２の後にクラス置替工程Ｓ１２６へ進む。なお、実施形態に記載のグローバル特徴２３０に本来は存在し得ないクラスは、グローバル特徴に非対応のクラスの一例である。
否定情報クラス抽出工程Ｓ１２４では、修正部４４は、本来はグローバル特徴２３０のみに存在するクラスを抽出する。例えば、図５から図８を用いて説明したように、グローバル特徴２３０がＮｏｔ ＩＰＦの場合、分類マップ２２０から蜂巣肺を抽出する。否定情報クラス抽出工程Ｓ１２４の後に、クラス置替工程Ｓ１２６へ進む。
クラス置替工程Ｓ１２６では、修正部４４は修正対象領域のクラスを、グローバル特徴２３０に存在し得るクラスのうち、クラスらしさを表す確率が最も高いクラスに置き替える。クラス置替工程Ｓ１２６の後に、画像処理装置１２はクラス修正工程Ｓ２２を終了し、セグメンテーション結果表示工程Ｓ２４を実施する。
［機械学習の一例の説明］
図２に示すセグメンテーション部４２に適用される機械学習の一例について説明する。図１１は畳み込みニューラルネットワークを適用したセグメンテーション部のブロック図である。
図１１に示す、畳み込みニューラルネットワークが適用されるセグメンテーション部４２は、入力層３００、中間層３０２、及び出力層３０４を備える。中間層３０２は、畳み込み層３１０とプーリング層３１２とから構成された複数セット、及び全結合層３１４を備える。各層は複数のノードがエッジを用いて結ばれる構造となっている。
入力層３００は、図４に示す医用画像２００が入力される。中間層３０２は、入力層３００を用いて入力した医用画像２００から特徴を抽出する。畳み込み層３１０は、前の層で近くにあるノードにフィルタ処理を施して特徴マップを取得する。畳み込み層３１０は、フィルタ処理として、フィルタを使用した畳み込み演算を実施する。
プーリング層３１２は、畳み込み層３１０から出力された特徴マップを縮小して新たな特徴マップとする。畳み込み層３１０は、医用画像２００からのエッジ抽出等の特徴抽出の役割を担う。プーリング層３１２は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
中間層３０２は、畳み込み層３１０が連続する態様、及び正規化層を備える態様を採用し得る。また、各畳み込み層３１０にて使用されるフィルタの重み及びバイアスは、予め多数の学習データを用いて自動的に学習されている。
畳み込みニューラルネットワークを用いたセグメンテーション部４２は、医用画像２００と分類マップ２２０とのペアを学習データとし、数千ペアから数万ペア程度の大量の正解ペアを用いて学習を実施して、分類マップを生成する。
また、畳み込みニューラルネットワークを用いたセグメンテーション部４２は、医用画像２００と修正分類マップ２４０とのペアを再学習用の学習データとして、再学習用の学習データを用いて学習を実施することで、高精度の分類マップ２２０の生成が可能となる。なお、実施形態に記載の修正分類マップ２４０は、クラスの修正結果の一例である。
畳み込みニューラルネットワークを用いたセグメンテーション部４２を備えた画像処理装置１２は、学習データの生成に適用してもよい。例えば、大量の医用画像２００を用いて学習データを生成する際に、医用画像２００から生成した分類マップ２２０の正当性の検証が必要となる。
分類マップ２２０の修正を医師が手動で行うことは手間がかかる。そこで、補助的に機械学習を実施して医用画像２００から分類マップ２２０を生成する。医師が分類マップ２２０とグローバル特徴２３０とを画像処理装置１２へ入力する。画像処理装置１２は分類マップ２２０を修正し、修正分類マップ２４０を生成し得る。
なお、図１１に示した畳み込みニューラルを適用したセグメンテーション部４２の構成は一例であり、適宜、構成要素の追加、削除、及び修正が可能である。
［プログラムへの適用例］
上述した画像処理装置１２及び画像処理方法は、コンピュータを用いて、画像処理装置１２における各部に対応する機能、又は画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。
各工程等に対応する機能の例として、医用画像取得機能、セグメンテーション機能、分類マスク修正機能、及びグローバル特徴取得機能が挙げられる。また、各工程等に対応する機能として、確率マップ生成機能、確率マップ記憶機能、分類マップ記憶機能、グローバル特徴記憶機能、修正分類マップ記憶機能、表示信号送信機能等が挙げられる。
医用画像取得機能は、図２に示す画像取得部４０に対応する。セグメンテーション機能は、セグメンテーション部４２に対応する。グローバル特徴取得機能はグローバル特徴取得部４６に対応する。分類マスク修正機能は修正部４４に対応する。確率マップ生成機能は、確率マップ生成部７２に対応する。
確率マップ記憶機能は、確率マップ記憶部８２への確率マップ２１０の記憶に対応する。分類マップ記憶機能は、分類マップ記憶部８４への分類マップ２２０の記憶に対応する。グローバル特徴記憶機能は、グローバル特徴記憶部８６へのグローバル特徴２３０の記憶に対応する。
修正分類マップ記憶機能は、分類マップ記憶部８４への修正分類マップ２４０の記憶に対応する。表示信号送信機能は、表示制御部６０を用いた表示装置２４への分類マップ２２０を表す表示信号の送信、及び表示制御部６０を用いた表示装置２４への修正分類マップ２４０を表す表示信号の送信に対応する。
上述した情報処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
［作用効果］
上記の如く構成された画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。
〔１〕
医用画像２００の全体の特徴を表す疾患名等のグローバル特徴２３０と、医用画像２００の局所の特徴に基づく病変等のクラスとの関係を表すテーブル２５０を参照し、グローバル特徴２３０に応じて医用画像２００のクラス分類を表す分類マップ２２０を修正する。これにより、グローバル特徴２３０に応じた分類マップ２２０の修正が自動化され、分類マップ２２０の修正の手間を削減し得る。
例えば、ユーザである医師がレポートを作成する際に分類マップ２２０の誤りに気付いた場合、医師がグローバル特徴２３０を入力して分類マップ２２０から修正分類マップ２４０を自動的に生成することが可能となる。これにより、医師のレポート作成が効率化され得る。
〔２〕
局所ごとのクラスらしさを表すスコアが最も高いクラスが、局所ごとのクラスとして採用される。これにより、高精度のクラス分類が可能となる。
〔３〕
修正対象領域のクラスは、グローバル特徴２３０に対応するクラスのうちスコアが最も高いクラスに修正される。これにより、高精度のクラスの修正が可能となる。
〔４〕
クラスらしさを表すスコアとして、クラスらしさを表す確率が適用される。これにより、クラスらしさを表す確率を用いたクラスの修正が可能となる。
〔５〕
グローバル特徴２３０は、否定的なグローバル特徴又は肯定的なグローバル特徴のいずれかを適用し得る。これにより、グローバル特徴２３０とクラスとの様々な対応関係に応じたクラスの修正が可能となる。
〔６〕
医用画像２００と修正分類マップ２４０とを学習データとして、畳み込みニューラルネットワークが適用されるセグメンテーション部４２の再学習を実施する。これにより、更に高精度のセグメンテーションが可能となる。
［変形例］
〔クラス修正の変形例〕
修正対象ピクセルの周辺のピクセルには、修正対象ピクセルが本来分類されるべきクラスに分類されているピクセルが存在し得る。そこで、修正対象ピクセルからの距離が最小となるピクセルであり、修正対象ピクセルと異なるクラスに分類されているピクセルのクラスを、修正対象ピクセルのクラスに適用し得る。なお、クラス修正の変形例は、連続する複数のピクセルから構成される局所領域に適用し得る。
かかる変形例によれば、クラス修正処理の期間の短縮化及び処理負荷の低減化の少なくともいずれかを実現し得る。
〔医用画像の変形例〕
本実施形態では、医用画像として肺のＣＴ画像を例示したが、肺以外の臓器の医用画像を用いてもよい。また、医用画像は二次元画像に限定されない。医用画像は三次元画像でもよい。三次元画像の場合、ボクセルごとにクラス分類が実施され、ボクセルごとにクラス修正が実施される。
〔グローバル特徴の変形例〕
本実施形態では、グローバル特徴２３０として疾患名を例示したが、グローバル特徴２３０は、対象とする医用画像に関連する情報であって、ボクセル等の局所領域のクラスと関連する特徴を表す情報、又はクラス分類に影響する特徴を表す情報であればよい。
例えば、グローバル特徴２３０は、あるクラスに分類されたボクセル又は局所領域とは異なる位置の一以上のボクセル又は一以上の局所領域のクラスに基づく情報であってもよい。かかるグローバル特徴２３０は、対象のボクセル又は対象の局所領域と距離が近いボクセル又は局所領域におけるグローバル特徴２３０の修正に適用し得る。
更に、グローバル特徴２３０は、対象となる医用画像の被検体に関連する情報であってもよい。被検体に関連する情報は、対象となる医用画像を解析した結果から取得してもよいし、医師が手動で入力した情報を取得してもよいし、画像処理装置１２と接続された他のシステムから取得してもよい。他のシステムの例として電子カルテシステム等が挙げられる。
グローバル特徴２３０の具体例として、疾患名、体格、年齢、性別、既往症、及び撮像状態等が挙げられる。体格、年齢、性別、及び既往症は、被検体に関連する情報の例である。体格の例として、身長及び体重等が挙げられる。撮像状態の例として、肺を撮像する際の呼気の状態又は吸気の状態等が挙げられる。
〔クラスの変形例〕
本実施形態では、クラスとして病変を例示したが、クラスは炎症、腫瘍、及び非腫瘍等の画像パターンの特徴等を適用し得る。また、医用画像を生成するモダリティごとに標準分類が存在する場合は、モダリティごとの標準分類をクラスに適用し得る。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０ 医療情報システム
１２ 画像処理装置
１４ モダリティ
１６ 画像データベース
１８ ネットワーク
２０ マウス
２１ 入力装置
２２ キーボード
２４ 表示装置
４０ 画像取得部
４２ セグメンテーション部
４４ 修正部
４６ グローバル特徴取得部
５０ 記憶部
５２ バス
６０ 表示制御部
６２ 入力制御部
７０ 特徴量抽出部
７２ 確率マップ生成部
７４ 分類マップ生成部
８０ 画像記憶部
８２ 確率マップ記憶部
８４ 分類マップ記憶部
８６ グローバル特徴記憶部
８８ プログラム記憶部
９０ 医療データベース
１００ プロセッサ
１０２ メモリ
１０４ ストレージ装置
１０６ ネットワークコントローラ
１０８ 電源装置
１１０ ディスプレイコントローラ
１１２ 入出力インターフェース
１１４ 入力コントローラ
２００ 医用画像
２１０ 確率マップ
２１２ 第一クラス
２１４ 第二クラス
２１６ 第三クラス
２１８ 第四クラス
２２０ 分類マップ
２２２ 第一領域
２２２Ａ 第一領域
２２４ 第二領域
２２４Ａ 第二領域
２２６ 第三領域
２２６Ａ 第三領域
２２８ 第四領域
２２８Ａ 第四領域
２４０ 修正分類マップ
２５０ テーブル
３００ 入力層
３０２ 中間層
３０４ 出力層
３１０ 畳み込み層
３１２ プーリング層
３１４ 全結合層
Ｓ１０からＳ２４ 画像処理方法の各工程
Ｓ１００からＳ１０４ セグメンテーション工程の各工程
Ｓ１２０からＳ１２６ クラス修正工程の各工程

Claims (13)

  1. 医用画像を取得する画像取得部と、
    前記画像取得部を用いて取得した前記医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション部と、
    前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得部と、
    前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正部と、
    を備えた画像処理装置。
  2. 前記グローバル特徴に対応する複数のクラスにおける各クラスらしさを表すスコアを、前記局所領域ごとに算出するスコア算出部を備え、
    前記セグメンテーション部は、前記局所領域ごとのクラスとして、前記スコアが最も高いクラスを適用する請求項１に記載の画像処理装置。
  3. 前記修正部は、前記修正対象領域のクラスを修正する際に、前記グローバル特徴に対応するクラスのうち前記スコアが最も高いクラスを、前記修正対象領域のクラスに適用する請求項２に記載の画像処理装置。
  4. 前記スコア算出部は、前記スコアとしてクラスらしさを表す確率を算出する請求項２又は３に記載の画像処理装置。
  5. 前記修正部は、前記修正対象領域のクラスを、前記修正対象領域のクラスと異なるクラスであり、前記修正対象領域からの距離が最小となる局所領域のクラスに修正する請求項１又は２に記載の画像処理装置。
  6. 前記修正部は、前記グローバル特徴取得部が否定的な前記グローバル特徴を取得した場合に、前記グローバル特徴のみに対応するクラスの局所領域を前記修正対象領域とする請求項１から５のいずれか一項に記載の画像処理装置。
  7. 前記修正部は、前記グローバル特徴取得部が肯定的な前記グローバル特徴を取得した場合に、前記グローバル特徴に非対応のクラスの局所領域を前記修正対象領域とする請求項１から５のいずれか一項に記載の画像処理装置。
  8. 前記修正部は、複数の前記グローバル特徴に応じて、前記修正対象領域のクラスを修正する請求項１から７のいずれか一項に記載の画像処理装置。
  9. 前記修正部は、前記グローバル特徴と前記クラスとの関係が記憶されたテーブルを参照する請求項１から８のいずれか一項に記載の画像処理装置。
  10. 前記セグメンテーション部は機械学習器が適用され、
    前記機械学習器は、セグメンテーションの結果が修正された医用画像とクラスの修正結果との組を学習データとして再学習を実施する請求項１から９のいずれか一項に記載の画像処理装置。
  11. 医用画像を取得する画像取得工程と、
    前記画像取得工程において取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション工程と、
    前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得工程と、
    前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正工程と、
    を含む画像処理方法。
  12. コンピュータに、
    医用画像を取得する画像取得機能、
    前記画像取得機能を用いて取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション機能、
    前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得機能、及び
    前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正機能を実現させるプログラム。
  13. 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
    医用画像を取得する画像取得機能、
    前記画像取得機能を用いて取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション機能、
    前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得機能、及び
    前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正機能をコンピュータに実行させる記憶媒体。
JP2020558346A 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム Active JP7101809B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018225019 2018-11-30
JP2018225019 2018-11-30
PCT/JP2019/044867 WO2020110774A1 (ja) 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020110774A1 JPWO2020110774A1 (ja) 2021-10-14
JP7101809B2 true JP7101809B2 (ja) 2022-07-15

Family

ID=70851993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558346A Active JP7101809B2 (ja) 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210271914A1 (ja)
JP (1) JP7101809B2 (ja)
WO (1) WO2020110774A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552147B1 (ko) * 2022-08-29 2023-07-11 한국과학기술원 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295430B2 (en) * 2020-05-20 2022-04-05 Bank Of America Corporation Image analysis architecture employing logical operations
CN111932545A (zh) * 2020-07-14 2020-11-13 浙江大华技术股份有限公司 图像处理方法、目标计数方法及其相关装置
WO2024048509A1 (ja) * 2022-08-30 2024-03-07 株式会社Preferred Networks 病態評価装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045256A (ja) 2010-08-30 2012-03-08 Fujifilm Corp 領域分割結果修正装置、方法、及びプログラム
WO2018172169A1 (en) 2017-03-20 2018-09-27 Koninklijke Philips N.V. Image segmentation using reference gray scale values

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0766205B1 (fr) * 1995-09-29 2003-12-03 Koninklijke Philips Electronics N.V. Procédé et dispositif de traitement d'image, pour la détection automatique de régions d'un type prédéterminé de cancer dans une image d'intensité
US8170306B2 (en) * 2007-04-25 2012-05-01 Siemens Aktiengesellschaft Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
DE102013218437A1 (de) * 2013-09-13 2015-03-19 Siemens Aktiengesellschaft Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung
EP3100205B1 (en) * 2014-01-28 2021-03-10 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
CN105022719B (zh) * 2014-04-23 2019-06-28 Ge医疗系统环球技术有限公司 医学造影系统及方法
JP6503382B2 (ja) * 2014-06-16 2019-04-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
KR101754291B1 (ko) * 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
WO2019051356A1 (en) * 2017-09-08 2019-03-14 The General Hospital Corporation SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
EP3657514A1 (en) * 2018-11-22 2020-05-27 Koninklijke Philips N.V. Interactive iterative image annotation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045256A (ja) 2010-08-30 2012-03-08 Fujifilm Corp 領域分割結果修正装置、方法、及びプログラム
WO2018172169A1 (en) 2017-03-20 2018-09-27 Koninklijke Philips N.V. Image segmentation using reference gray scale values

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552147B1 (ko) * 2022-08-29 2023-07-11 한국과학기술원 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Also Published As

Publication number Publication date
US20210271914A1 (en) 2021-09-02
WO2020110774A1 (ja) 2020-06-04
JPWO2020110774A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10304198B2 (en) Automatic medical image retrieval
Rehman et al. A region-based deep level set formulation for vertebral bone segmentation of osteoporotic fractures
US8334878B2 (en) Medical image processing apparatus and medical image processing program
JP5954769B2 (ja) 医用画像処理装置、医用画像処理方法および異常検出プログラム
EP3355273B1 (en) Coarse orientation detection in image data
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
US10685438B2 (en) Automated measurement based on deep learning
US9336457B2 (en) Adaptive anatomical region prediction
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning
JP2018175226A (ja) 医用画像分類装置、方法およびプログラム
CN111311655B (zh) 多模态图像配准方法、装置、电子设备、存储介质
US20220028510A1 (en) Medical document creation apparatus, method, and program
Reeves et al. Large-scale image region documentation for fully automated image biomarker algorithm development and evaluation
US8938107B2 (en) System and method for automatic segmentation of organs on MR images using a combined organ and bone atlas
US9286688B2 (en) Automatic segmentation of articulated structures
JP7456928B2 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
US20230274439A1 (en) Method and system for determining a change of an anatomical abnormality depicted in medical image data
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN116052846A (zh) 医学图像生成方法、装置、设备及计算机可读存储介质
CN117711576A (zh) 用于提供医学报告的模板数据结构的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150