JPWO2020110775A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2020110775A1
JPWO2020110775A1 JP2020558347A JP2020558347A JPWO2020110775A1 JP WO2020110775 A1 JPWO2020110775 A1 JP WO2020110775A1 JP 2020558347 A JP2020558347 A JP 2020558347A JP 2020558347 A JP2020558347 A JP 2020558347A JP WO2020110775 A1 JPWO2020110775 A1 JP WO2020110775A1
Authority
JP
Japan
Prior art keywords
segmentation
image
unit
image processing
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020558347A
Other languages
English (en)
Other versions
JP7114737B2 (ja
Inventor
ディーパック ケシュワニ
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020110775A1 publication Critical patent/JPWO2020110775A1/ja
Application granted granted Critical
Publication of JP7114737B2 publication Critical patent/JP7114737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

医用画像のセグメンテーションにおける誤りを抑制し得る画像処理装置、画像処理方法、及びプログラムを提供する。深層学習を適用して、医用画像（２００）の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部（４２）と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部（４６）と、を備え、セグメンテーション部は、低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する。

Description

本発明は画像処理装置、画像処理方法、及びプログラムに係り、特に医用画像のセグメンテーションに関する。
深層学習を用いた解剖学的特徴に基づく医用画像のセグメンテーションが知られている。医用画像のセグメンテーションは、ピクセル又はボクセルの周辺の局所領域の特徴に基づき、ピクセル等を特定のクラスに分類する。
特許文献１は、被検体の医用画像から傷病部位の検出を行うシステムが記載されている。同文献に記載のシステムは、別々の方式を用いて生成された二種類の医用画像に対して傷病部位の特徴を指定し、指定された特徴に対応する領域等を傷病部位として検出する。
特許文献２は、医用画像を取得し、医用画像の画像特性を取得し、画像特性に依存して医用画像をカテゴリ化し、カテゴリに依存してセグメンテーションアルゴリズムを選択し、選択されたセグメンテーションアルゴリズムを用いて医用画像をセグメント化するシステムが記載されている。
特許文献３は、画像分類用のＣＮＮ（Convolutional Neural Network）が記載されている。同文献に記載のＣＮＮは、画像データを受信し、粗いカテゴリＣＮＮを用いて、画像の粗いカテゴリ又は粗いカテゴリの重みを決定し、一以上の精密カテゴリＣＮＮを用いて画像の精密カテゴリを決定する分類モジュールを備える。
特許文献４は、第一階層の機械学習認識装置と第二階層の機械学習認識装置と階層的に接続したシステムが記載されている。同文献に記載の第二階層の機械学習認識装置は、第一階層の機械学習認識装置における中間層のデータを入力としている。
特表２００９−５０２２３０号公報 特表２０１４−５０２１６９号公報 特表２０１７−５３８１９５号公報 国際公開第２０１７／１８７５１６号
しかしながら、医用画像のセグメンテーションにおいて、分類したクラスに誤りが発生することがあり得る。例えば、局所的な大きさの領域の情報に基づくセグメンテーションを実施した場合、不正確でノイズの多いセグメンテーションの結果が生成されることが懸念される。
具体的には、肺のＧＧＯパターンは、正常な肺よりも高いＣＴ値を持つ領域として定義される。一方、ＩＰＦ患者は呼吸を十分にすることができないため、ＩＰＦ患者の肺のＣＴ値は高くなり、局所的な大きさの領域のみの情報に基づくセグメンテーションを実施した場合に、正常な肺の領域がＧＧＣパターンとして認識されてしまうことがある。
すなわち、ＣＴ値のみを用いて正常な肺領域であるか又はＧＧＯ領域であるかを判定することは困難である。なお、ＧＧＯは擦りガラス影を表す英語表記であるGround Glass Opacityの省略語である。ＣＴはコンピュータ断層撮影を表す英語表記であるComputed Tomographyの省略語である。
特許文献１に記載のシステムは、医用画像から特定の傷病部位を検出するものである。すなわち、特許文献１は医用画像の全体の特徴から医用画像の傷病名を特定するクラシフィケーションを開示するものであって、医用画像をピクセルごとに特定のクラスに分類するセグメンテーションを開示ものではない。
特許文献２に記載のシステムは、医用画像のセグメンテーションを実施する際に、医用画像の画像特性に基づきセグメンテーションアルゴリズムを選択しているが、セグメンテーションアルゴリズムがピクセル等の局所領域の特徴に基づきセグメンテーションを実施する場合は、セグメンテーションの結果に誤りが生じ得る。
特許文献３には、医用画像の処理に関する記載はなく、また、画像をピクセルごとに特定のクラスに分類するセグメンテーションに関する記載はない。特許文献４についても同様である。
本発明はこのような問題点に鑑みてなされたもので、医用画像のセグメンテーションにおける誤りを抑制し得る画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る画像処理装置は、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部と、を備え、セグメンテーション部は、低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理装置である。
第１態様によれば、グローバル特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
医用画像を取得する医用画像取得部を備える態様が好ましい。取得した医用画像を記憶する医用画像記憶部を備える態様が好ましい。
セグメンテーション部は、医用画像から局所領域の特徴を抽出し、局所の特徴ごとに分類した特徴量マップを生成し得る。
局所領域又は局所は、一ピクセルから構成される態様が含まれ得る。局所領域ごと又は局所ごとは、ピクセルごとの概念が含まれ得る。
第一低次層は、セグメンテーション部の中間層のうち、入力層の次層を含む一以上の層を適用し得る。第二低次層は、グローバル特徴分類部の中間層のうち、医用画像から特徴を抽出する際に、セグメンテーション部の第一低次層と同じ特徴を抽出する層を適用し得る。
第２態様は、第１態様の画像処理装置において、セグメンテーション部は、クラスとして病変を適用する構成としてもよい。
第２態様によれば、医用画像の病変を抽出するセグメンテーションを実施し得る。
病変は、正常な人体組織と区別し得る特徴を有する画像パターンを適用し得る。
第３態様は、第１態様又は第２態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、グローバル特徴として疾患名を適用する構成としてもよい。
第３態様によれば、医用画像に対応する疾患名が反映されたセグメンテーションが実施される。
第４態様は、第１態様から第３態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、グローバル特徴として医用画像の撮像条件を適用する構成としてもよい。
第４態様によれば、医用画像に対応する撮像条件が反映されたセグメンテーションが実施される。
グローバル特徴分類部は、一つの医用画像について、異なる複数の種類のグローバル特徴を適用してもよい。
第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、セグメンテーション部は、医用画像の特徴を圧縮する第一エンコーダ部、及び第一エンコーダ部を用いて圧縮した医用画像の特徴を復元するデコーダ部を備え、グローバル特徴分類部は、医用画像の特徴を圧縮する第二エンコーダ部を備え、セグメンテーション部は、第一低次層の重みとして第一エンコーダ部に適用される重みを、第二エンコーダ部に適用される重みと共有する構成としてもよい。
第５態様によれば、セグメンテーション部は、ノイズ等が含まれる不要な次元が削減された医用画像の特徴を抽出し得る。
第６態様は、第５態様の画像処理装置において、第一エンコーダ部の出力画像よりも圧縮させた第二エンコーダ部の出力画像を、第一エンコーダ部の出力画像に対応して伸長させる変換部と、第一エンコーダ部の出力画像と変換部の出力画像とを結合する結合部と、を備えた構成としてもよい。
第６態様によれば、第二エンコーダ部の出力画像を第一エンコーダ部の出力画像に対応して伸長させる。これにより、第一エンコーダ部の出力画像と第二エンコーダ部の出力画像とを結合し得る。
第７態様は、第６態様の画像処理装置において、第二エンコーダ部は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、前記第一エンコーダ部と重みを非共有の中間層の出力画像を前記変換部へ送信する構成としてもよい。
第７態様によれば、出力部よりも前段の中間層の出力画像は、第二エンコーダ部の出力部から出力される一次元ベクトルに対して情報量が落ちていない。これにより、一定の情報量が維持された出力画像を伸長し、第一エンコーダ部の出力画像へ結合し得る。
第８態様は、第６態様又は第７態様の画像処理装置において、変換部は、前記変換部の入力画像及び前記結合部の出力画像を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。
第８態様によれば、変換部及び結合部の処理を高精度化し得る。
第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、セグメンテーション部は、グローバル特徴分類部と重みを共有した層について、セグメンテーション部のセグメンテーション結果、グローバル特徴分類部の分類結果、及びセグメンテーション部に入力される医用画像を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。
第９態様によれば、グローバル特徴を参照してロバスト性を向上させたセグメンテーション部を実現し得る。
第１０態様は、第９態様の画像処理装置において、セグメンテーション部は、グローバル特徴分類部と重みを共有しない層について、医用画像及びセグメンテーション部を適用したセグメンテーション結果を学習セットとして再学習を実施した深層学習器を適用する構成としてもよい。
第１０態様によれば、効率的なセグメンテーション部の再学習を実施し得る。
第１１態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果をセットとして学習を実施した深層学習器を適用する構成としてもよい。
第１１態様によれば、学習セットの情報量が抑制された効率のよい学習が可能となる。
第１２の態様に係る画像処理方法は、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション工程と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類工程と、を含み、セグメンテーション工程は、セグメンテーション部の低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理方法である。
第１２態様によれば、第１態様と同様の効果を得ることが可能である。
第１２態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
第１３態様に係るプログラムは、コンピュータに、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能、及び深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能を実現させるプログラムであって、セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有するプログラムである。
第１３態様によれば、第１態様と同様の効果を得ることが可能である。
第１３態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、グローバル特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
図１は実施形態に係る医療情報システムの概略構成図である。 図２は図１に示す画像処理装置の機能ブロック図である。 図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。 図４は第一実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。 図５は図４に示す第一エンコーダ部の一例を示す模式図である。 図６は第一実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。 図７は第二実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。 図８は第二実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。 図９は疾患名と病変との対応関係を示すテーブルの一例を示す図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
［医用画像処理システムの全体構成］
図１は実施形態に係る医療情報システムの概略構成図である。医療情報システム１０は、画像処理装置１２、モダリティ１４、及び画像データベース１６を備える。画像処理装置１２、モダリティ１４、及び画像データベース１６は、ネットワーク１８を介して通信可能に接続される。
画像処理装置１２は、医療機関に具備されるコンピュータを適用可能である。画像処理装置１２は、入力装置としてマウス２０及びキーボード２２が接続される。また、画像処理装置１２は表示装置２４が接続される。
モダリティ１４は、被写体の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティ１４の例として、Ｘ線撮像装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ装置が挙げられる。モダリティ１４として内視鏡装置を適用してもよい。
なお、ＭＲＩは磁気共鳴画像を表すMagnetic Resonance Imagingの省略語である。ＰＥＴ装置は陽電子放射断層撮影を表すPositron Emission Tomographyの省略語である。平面Ｘ線検出器はＦＰＤ(flat panel detector)と呼ばれることがある。ＣＲはコンピュータＸ線撮影装置を表すComputed Radiographyの省略語である。
医用画像のフォーマットは、ＤＩＣＯＭ規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定された付帯情報が付加されてもよい。なお、ＤＩＣＯＭはDigital Imaging and COmmunicationsin Medicineの省略語である。
ここで、本明細書おける画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。
画像データベース１６は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。データベース管理システムは、ＤＢＭＳ（Data Base Management System）と呼ばれることがある。
ネットワーク１８は、ＬＡＮ（Local Area Network）を適用可能である。ネットワーク１８はＷＡＮ（Wide Area Network）を適用してもよい。ネットワーク１８の通信プロトコルは、ＤＩＣＯＭ規格を適用可能である。なお、ネットワーク１８は公衆回線網に接続可能に構成されてもよいし、専用回線網に接続可能に構成されてもよい。ネットワーク１８は、有線でもよいし、無線でもよい。
［画像処理装置］
〔画像処理装置の機能〕
図２は図１に示す画像処理装置の機能ブロック図である。図２に示す画像処理装置１２は、深層学習等を適用して医用画像のセグメンテーションマスクを生成する。医用画像のセグメンテーションの一例として、肺組織を気管支拡張症、蜂巣肺、すりガラス影、網状肺、及び線状肺など、正常な組織と区別し得る組織である病変に分類する例が挙げられる。
セグメンテーションされた医用画像は、病変ごとの体積計算等に利用される。病変ごとの体積変化は、間質性肺疾患等の肺疾患の進行の指標となる。
本実施形態では、画像処理装置１２として、肺のＣＴ画像が入力された場合に、肺のＣＴ画像における各ピクセルが、医学的に知られている画像パターンであるクラスに属するか否かを自動的に分類する判別装置を説明する。医学的に知られている画像パターンの例として、先に列挙した病変が挙げられる。
画像処理装置１２は、画像取得部４０、セグメンテーションネットワーク４２、及びクラシフィケーションネットワーク４６を備える。画像処理装置１２は、記憶部５０、表示制御部６０、及び入力制御部６２を備える。
画像取得部４０、セグメンテーションネットワーク４２、クラシフィケーションネットワーク４６、記憶部５０、表示制御部６０、及び入力制御部６２は、バス５２を介して通信可能に接続される。以下、画像処理装置１２の各部について詳細に説明する。
画像取得部４０は処理対象の医用画像を取得する。画像処理装置１２は、取得した医用画像を記憶部５０へ記憶する。図２には画像データベース１６から医用画像を取得する態様を例示する。
画像取得部４０は図１に示すモダリティ１４から医用画像を取得してもよいし、ネットワーク１８を経由して図示しないストレージ装置から医用画像を取得してもよい。また、画像取得部４０は情報記憶媒体を介して医用画像を取得してもよい。
セグメンテーションネットワーク４２は、特徴量抽出部７０及びセグメンテーションマスク生成部７４を備える。セグメンテーションネットワーク４２は、画像取得部４０を用いて取得した医用画像に対してセグメンテーションを実施するニューラルネットワークである。実施形態に示すセグメンテーションネットワーク４２は、セグメンテーション部の一例である。
すなわち、セグメンテーションネットワーク４２は、医用画像におけるピクセルごとの特徴量を抽出し、ピクセルごとの特徴量であるローカル特徴に基づき、各ピクセルの分類を実施し、医用画像のセグメンテーションマスクを生成する。セグメンテーションマスクは符号２１０を付して図４に示す。
なお、複数の連続するピクセルは医用画像の局所領域を構成する。すなわち、セグメンテーションネットワーク４２は、医用画像の局所領域ごとのローカル特徴に基づき、局所領域ごとに分類を実施し得る。以下、ピクセルごとの処理は、局所領域ごとの処理と読み替えが可能である。
本実施形態ではローカル特徴として病変を例示する。本明細書における病変は、病変パターン及び所見等と呼ばれる場合がある。
クラシフィケーションネットワーク４６は、医用画像の全体の特徴を表すグローバル特徴を適用して、医用画像を分類するニューラルネットワークである。実施形態に示すクラシフィケーションネットワーク４６は、グローバル特徴分類部の一例である。
医用画像のグローバル特徴は、入力装置２１を用いて入力された情報を適用してもよいし、医用画像の付帯情報を適用してもよい。本実施形態は、グローバル特徴の例として、疾患名及び医用画像の撮像条件を示す。グローバル特徴は一つ以上であれば種類数に制限はない。
記憶部５０は画像処理装置１２における各種データを記憶する。記憶部５０は、画像記憶部８０、セグメンテーションマスク記憶部８４、グローバル特徴記憶部８６、及びプログラム記憶部８８を備える。記憶部５０は、複数の記憶装置を適用してもよいし、複数の記憶領域に区画された一つの記憶装置を適用してもよい。記憶部５０は画像処理装置１２の外部に具備される一つ以上の記憶装置を適用してもよい。
画像記憶部８０は、画像取得部４０を用いて取得した医用画像を記憶する。セグメンテーションマスク記憶部８４はセグメンテーションの結果として生成されるセグメンテーションマスクを記憶する。グローバル特徴記憶部８６はクラシフィケーションネットワーク４６を用いて分類される医用画像ごとのグローバル特徴を記憶する。
プログラム記憶部８８は画像処理装置１２において実行される各種プログラムが記憶される。画像処理装置１２は、図３に示すハードウェアを用いて各種プログラムを実行して、画像処理装置１２の各種機能を実現する。
表示制御部６０は、表示装置２４を用いて表示させる情報を表す信号を、表示装置２４へ送信する。表示装置２４を用いて表示させる情報の一例として、セグメンテーションが実施された医用画像を表す分類マップが挙げられる。
分類マップは、入力されたに医用画像に対して適用して、セグメンテーションマスクを生成し得る。セグメンテーションマスク記憶部８４はセグメンテーションの結果として分類マップを記憶してもよい。
入力制御部６２は、入力装置２１から送信される入力情報を表す信号を、画像処理装置１２に適用される形式の信号に変換する。入力情報を表す信号は装置各部へ適宜送信される。
〔画像処理部のハードウェア構成〕
〈全体構成〉
図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置１２は、図３に示すハードウェアを用いて規定のプログラムを実行し、各種機能を実現し得る。
画像処理装置１２は、プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、及び電源装置１０８を備える。また、画像処理装置１２は、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４を備える。
プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４は、バス５２を介してデータ通信が可能に接続される。
〈プロセッサ〉
プロセッサ１００は、画像処理装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ１００は、メモリ１０２に具備されるＲＯＭ（read only memory）に記憶されるプログラムを実行する。
プロセッサ１００は、ネットワークコントローラ１０６を介して外部の記憶装置からダウンロードされたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１８を介して画像処理装置１２と通信可能に接続されていてもよい。
プロセッサ１００は、メモリ１０２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して各種処理を実行する。これにより、画像処理装置１２の各種機能が実現される。
プロセッサ１００は、ストレージ装置１０４からのデータの読み出し、及びストレージ装置１０４へのデータの書き込みを制御する。プロセッサ１００は、ネットワークコントローラ１０６を介して、外部の記憶装置から各種データを取得してもよい。プロセッサ１００は、取得した各種データを用いて、演算等の各種処理を実行可能である。
プロセッサ１００は、一つ又は二つ以上のデバイスが含まれてもよい。プロセッサ１００の例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
プロセッサ１００の他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
プロセッサ１００は、同じ種類の二つ以上のデバイスを適用可能である。例えば、プロセッサ１００は二つ以上のＦＰＧＡを用いてもよいし、二つ以上のＰＬＤを用いてもよい。プロセッサ１００は、異なる種類の二つ以上デバイスを適用してもよい。例えば、プロセッサ１００は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
複数のプロセッサ１００を備える場合、複数のプロセッサ１００は一つのデバイスを用いて構成してもよい。複数のプロセッサ１００を一つのデバイスで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数のプロセッサ１００として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
ＣＰＵに代わり又はＣＰＵと併用して、画像処理に特化したデバイスであるＧＰＵ（Graphics Processing Unit）を適用してもよい。複数のプロセッサ１００が一つのデバイスを用いて構成される代表例として、コンピュータが挙げられる。
一つのデバイスを用いて複数のプロセッサ１００を構成する他の例として、複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスを使用する形態が挙げられる。複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、プロセッサ１００は、ハードウェア的な構造として、各種のデバイスを一つ以上用いて構成される。
〈メモリ〉
メモリ１０２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１２において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及びプロセッサ１００のワーク領域等として機能する。
〈ストレージ装置〉
ストレージ装置１０４は、各種データを非一時的に記憶する。ストレージ装置１０４は、画像処理装置１２の外部に外付けされてもよい。ストレージ装置１０４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〈ネットワークコントローラ〉
ネットワークコントローラ１０６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１０６を介して接続されるネットワーク１８は、ＬＡＮ（Local Area Network）などの公知のネットワークを適用し得る。
〈電源装置〉
電源装置１０８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１０８は停電等に起因して商用電源が遮断された際に、画像処理装置１２へ電源を供給する。
〈ディスプレイコントローラ〉
ディスプレイコントローラ１１０は、プロセッサ１００から送信される指令信号に基づいて表示装置２４を制御するディスプレイドライバーとして機能する。
〈入出力インターフェース〉
入出力インターフェース１１２は、画像処理装置１２と外部機器とを通信可能に接続する。入出力インターフェース１１２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
〈入力コントローラ〉
入力コントローラ１１４は、入力装置２１を用いて入力された信号の形式を画像処理装置１２の処理に適した形式に変換する。入力コントローラ１１４を介して入力装置２１から入力された情報は、プロセッサ１００を介して各部へ送信される。
なお、図３に示す画像処理装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
〔第一実施形態に係るセグメンテーションの詳細な説明〕
次に、第一実施形態に係る医用画像のセグメンテーションについて説明する。例えば、肺のＣＴ画像から一つ以上の病変を抽出するセグメンテーションは、熟練した観察者でも非常に困難な作業である。一方、疾患名及び撮像の際の呼吸の状態等のグローバル情報を使用した場合、グローバル情報と病変との関連付けを利用して、セグメンテーションマスクから特定の病変の存在を除外することが可能である。
そこで、病変が適用されるローカル情報と、疾患名等が適用されるグローバル情報とを組み合わせた学習セットを用いて学習を実施した判別装置を適用して、良好なロバスト性を有する医用画像のセグメンテーションを実施し得る。
図４は第一実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。セグメンテーションネットワーク４２は、医用画像である肺のＣＴ画像２００のセグメンテーションを実施して、セグメンテーションマスク２１０を生成する。なお、以下の説明では、肺のＣＴ画像２００はＣＴ画像２００と記載する。
セグメンテーションネットワーク４２は、第一エンコーダ部２２０及びデコーダ部２２２を備える。ＣＴ画像２００は、図２に示す画像取得部４０を介して第一エンコーダ部２２０の入力画像として設定される。
セグメンテーションネットワーク４２の入力として設定されたＣＴ画像２００は、第一低次層２２０Ａ及び第一高次層２２０Ｂの処理を経て、デコーダ部２２２の入力として設定される。セグメンテーションネットワーク４２の第一エンコーダ部２２０の第一低次層２２０Ａは、クラシフィケーションネットワーク４６の第二エンコーダ部２３０の第二低次層２３０Ａ及び第三エンコーダ部２４０の第三低次層２４０Ａのそれぞれと重みを共有する。なお、重みはウエイト、パラメータ、及び係数等と呼ばれる場合があり得る。
すなわち、第一エンコーダ部２２０の第一低次層２２０Ａと、第二エンコーダ部２３０の第二低次層２３０Ａとは、同一の重みを適用してＣＴ画像２００の処理を実施する。換言すると、第一エンコーダ部２２０の第一低次層２２０Ａと、第二エンコーダ部２３０の第二低次層２３０Ａとは、ＣＴ画像２００に対して同一の処理を実施し、同一の処理結果を生成する。第一エンコーダ部２２０の第一低次層２２０Ａと、第三エンコーダ部２４０の第三低次層２４０Ａとについても同様である。
第一エンコーダ部２２０及びデコーダ部２２２は、畳み込みフィルタと活性化ユニットとを組み合わせて構成される。第一エンコーダ部２２０は、ＣＴ画像２００から低解像度の特徴量マップを生成する。すなわち、第一エンコーダ部２２０の第一高次層２２０Ｂは、第一低次層２２０Ａの処理結果に対して、セグメンテーションに特化した処理を実施して特徴量マップを生成する。
デコーダ部２２２は、第一エンコーダ部２２０を用いて生成した特徴量マップをＣＴ画像２００と同じサイズに変換する。セグメンテーションネットワーク４２から出力されるセグメンテーションマスク２１０は、ピクセルごとの病変が存在する確率を表す確率マップを適用し得る。
図５は図４に示す第一エンコーダ部の一例を示す模式図である。図５に示す第一エンコーダ部２２０の出力部２２４は、ＣＴ画像２００における病変を表す特徴量マップを出力する。
図５には、特徴量マップに適用されるＣＴ画像２００における病変を列挙した病変情報２０２を示す。図４に示すデコーダ部２２２は、特徴量マップをＣＴ画像２００と同じサイズに変換したセグメンテーションマスク２１０を出力する。
ここでいう同じという概念は、完全同一に限定されない。例えば、処理が可能な範囲の違いを有するサイズを、同じサイズに含めることが可能である。本明細書における同じ及び同一という概念は、特に説明をしない場合は上記の概念を適用する。
図４に示すクラシフィケーションネットワーク４６は、複数のニューラルネットワークを備える。複数のニューラルネットワークとして、第二エンコーダ部２３０を備えるニューラルネットワーク、及び第三エンコーダ部２４０を備えるニューラルネットワークを例示する。クラシフィケーションネットワーク４６は、異なるグローバル特徴が適用される三つ以上のエンコーダを備えてもよいし、一つのエンコーダを備えてもよい。
クラシフィケーションネットワーク４６は、医用画像の全体の特徴を表すグローバル特徴を出力する。第二エンコーダ部２３０は、グローバル特徴として疾患名が適用される。すなわち、第二エンコーダ部２３０の第二高次層２３０Ｂは、第二低次層２３０Ａの処理結果に対して、第二エンコーダ部２３０に適用されるクラシフィケーションに特化した処理を実施して、ＣＴ画像２００の疾患名を抽出する。第二出力層２３２は、ＣＴ画像２００の疾患名を出力する。
図４には、疾患名の例として、特発性肺線維症、サルコイドーシス、非特異性間質性肺炎を図示する。なお、図４に示すＩＰＦは、特発性肺線維症を表す英語表記であるIdiopathic Pulmonary Fibrosisの省略語である。ＮＳＩＰは、非特異性間質性肺炎を表す英語表記であるNonspecific interstitial pneumo- niaの省略語である。
第三エンコーダ部２４０は、グローバル特徴としてＣＴ画像２００を撮像する際の呼吸条件が適用される。第三エンコーダ部２４０の第三高次層２４０Ｂは、第三低次層２４０Ａの処理結果に対して、第三エンコーダ部２４０に適用されるクラシフィケーションに特化した処理を実施して、ＣＴ画像２００を撮像する際の呼吸条件を抽出する。第三出力層２４２は、ＣＴ画像２００を撮像する際の呼吸条件を出力する。図４には、ＣＴ画像２００を撮像における呼吸条件として、呼気及び吸気を例示する。
第二エンコーダ部２３０及び第三エンコーダ部２４０は、第一エンコーダ部２２０と同様に、畳み込みフィルタと活性化ユニットとを組み合わせて構成される。セグメンテーションネットワーク４２の出力が確率マップであるのに対して、クラシフィケーションネットワーク４６の出力は、ＣＴ画像２００の全体に対応するグローバル特徴の存在確率を表す確率ベクトルである。
すなわち、第二エンコーダ部２３０の第二出力層２３２は、ＣＴ画像２００の全体に対応する疾患名の存在確率を出力する。また、第三エンコーダ部２４０の第三出力層２４２は、ＣＴ画像２００の全体に対応する撮像の際における呼吸条件の存在確率を出力する。
クラシフィケーションネットワーク４６は、セグメンテーションネットワーク４２におけるデコーダ部２２２を使用せず、全結合層を適用して低解像度の特徴量マップを一次元の特徴ベクトルに変換する。
セグメンテーションネットワーク４２の学習に適用されるセグメンテーションの誤差は、セグメンテーションネットワーク４２から出力されるセグメンテーションマスク２１０と、セグメンテーションの正解データとの比較から計算される。
クラシフィケーションネットワーク４６の学習に適用されるクラシフィケーションの誤差は、クラシフィケーションの結果であるグローバル特徴と、クラシフィケーションの正解データとの比較から計算される。
セグメンテーションネットワーク４２及びクラシフィケーションネットワーク４６の総誤差は、セグメンテーションネットワーク４２及びクラシフィケーションネットワーク４６のそれぞれの誤差を使用して計算される。
セグメンテーションネットワーク４２の重み及びクラシフィケーションネットワーク４６の重みは、バックプロパゲーションを適用して更新される。このように、画像処理装置１２は、ピクセルごとの特徴を表すローカル特徴と、医用画像全体の特徴を表すグローバル特徴とを一括して学習し得る。
例えば、セグメンテーションネットワーク４２の再学習の際に、クラシフィケーションネットワーク４６と重みを共有した層は、セグメンテーションの結果、クラシフィケーションの結果、及びＣＴ画像２００を学習セットとし得る。
一方、セグメンテーションネットワーク４２の低次層の重みとクラシフィケーションネットワーク４６の低次層の重みが共有されるように、セグメンテーションネットワーク４２、及びクラシフィケーションネットワーク４６の再学習を個別に実施してもよい。
セグメンテーションネットワーク４２の再学習の際に、クラシフィケーションネットワーク４６と重みを共有していない層は、セグメンテーションの結果及びＣＴ画像２００を学習セットとし得る。
再学習が実施されたセグメンテーションネットワーク４２は、セグメンテーション部のセグメンテーション結果、グローバル特徴分類部の分類結果、及び入力医用画像を学習セットとして再学習を実施した深層学習器の一例である。
クラシフィケーションネットワーク４６に適用される第二エンコーダ部２３０及び第三エンコーダ部２４０は、同一の構成を適用し得る。第二エンコーダ部２３０及び第三エンコーダ部２４０は、異なる構成を適用してもよい。
〔畳み込みニューラルネットワークの適用例〕
図６は第一実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。畳み込みニューラルネットワークは、英語表記であるConvolutional Neural Networkの省略語を用いてＣＮＮと表現される場合があり得る。なお、説明の簡素化のために、図６では図５に示すクラシフィケーションネットワーク４６のうち第三エンコーダ部２４０の図示を省略する。
符号ＤはＣＴ画像２００のアキシャル数を表す。なお、図６の簡素化のために、ＣＴ画像２００の処理を模式的に示す部分ではアキシャル数Ｄの図示を省略する。図８も同様である。
符号ＨはＣＴ画像２００の縦方向のサイズを表す。符号ＷはＣＴ画像２００の横方向のサイズを表す。Ｈ×ＷはＣＴ画像２００のサイズを表す。ＣＴ画像２００のサイズは画素数を適用し得る。例えば、Ｈは縦方向の画素数と、Ｗは横方向の画素数とし得る。
セグメンテーションネットワーク４２の第一エンコーダ部２２０は、入力層２２００、第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３を備える。第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３を総称して中間層と呼ぶ場合がある。中間層は畳み込み層とプーリング層とを繰り返す構成を適用し得る。
第一中間層２２０１は、入力層２２００を介して取得したＣＴ画像２００を畳み込む。第一中間層２２０１は、（Ｈ／２）×（Ｗ／２）のサイズを有する画像を生成する。
同様に、第二中間層２２０２は、第一中間層２２０１から出力された画像を畳み込み、（Ｈ／４）×（Ｗ／４）のサイズを有する画像を生成する。
更に、第三中間層２２０３は、第二中間層２２０２から出力された画像を畳み込み、（Ｈ／８）×（Ｗ／８）のサイズを有する画像を生成する。図６に示す第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３は、図４に示す第一低次層２２０Ａに相当する。なお、図６では図４に示す第一高次層２２０Ｂの図示を省略する。
デコーダ部２２２は、第五中間層２２０５及び出力層２２１０を備える。図示を省略するが、デコーダ部２２２は第五中間層２２０５の前段に図示しない第四中間層を備える。
デコーダ部２２２は、第一エンコーダ部２２０の出力画像をＣＴ画像２００と同じサイズに変換する。例えば、第五中間層２２０５は、（Ｈ／２）×（Ｗ／２）のサイズを有する画像を、Ｈ×Ｗのサイズを有する画像に変換する。
クラシフィケーションネットワーク４６の第二エンコーダ部２３０は、入力層２３００、第一中間層２３０１、第二中間層２３０２、第三中間層２３０３、第四中間層２３０４、第五中間層２３０５、及び出力層２３１０を備える。
第一中間層２３０１、第二中間層２３０２、及び第三中間層２３０３は、図４に示す第二低次層２３０Ａ及び第三低次層２４０Ａに相当する。第四中間層２３０４及び第五中間層２３０５は、図４に示す第二高次層２３０Ｂ及び第三高次層２４０Ｂに相当する。また、図６に示すクラシフィケーションネットワーク４６の出力層２３１０は図５に示す第二出力層２３２に相当する。
第二エンコーダ部２３０の第一中間層２３０１から第三中間層２３０３までは、第一エンコーダ部２２０の第一中間層２２０１から第三中間層２３０３までと同様のシーケンスを適用して畳み込みを実施する。一方、第二エンコーダ部２３０の第四中間層２３０４及び第五中間層２３０５は、第二エンコーダ部２３０に適用されるクラシフィケーションに特化したシーケンスを適用して畳み込みを実施する。
出力層２３１０は全結合層を適用して、ＣＴ画像２００のグローバル特徴を表す一次元ベクトルを出力する。図６に示す出力層２３１０は、ＣＴ画像２００のグローバル特徴らしさを表す確率ベクトル２６０を出力する。図６に示す確率ベクトル２６０は、ＩＰＦである確率が６０．５パーセント、ＣＯＰ（Cryptogenic Organizing Pneumonia）である確率が２０．２パーセント、ＬＩＰ（Iymphocyitc interstitiaI pneumonia）である確率が１０パーセントであることを表す。
図６に示すように、セグメンテーションネットワーク４２の第一中間層２２０１は、クラシフィケーションネットワーク４６の第一中間層２３０１と重みを共有する。また、セグメンテーションネットワーク４２の第二中間層２２０２は、クラシフィケーションネットワーク４６の第二中間層２３０２と重みを共有する。
更に、セグメンテーションネットワーク４２の第三中間層２２０３は、クラシフィケーションネットワーク４６の第三中間層２３０３と重みを共有する。すなわち、セグメンテーションネットワーク４２の低次層は、クラシフィケーションネットワーク４６の低次層と重みを共有する。
すなわち、セグメンテーションネットワーク４２の中間層の少なくとも一部は、クラシフィケーションネットワーク４６の対応する中間層と重みを共有する。例えば、セグメンテーションネットワーク４２の中間層は、同じ畳み込みを実施するクラシフィケーションネットワーク４６の中間層と重みを共有し得る。
ＣＴ画像２００から病変を抽出する場合と、ＣＴ画像２００から疾患名を抽出する場合とは、入力層により近い中間層では同じ特徴に注目する。そこで、セグメンテーションネットワーク４２の入力層により近い中間層である低次層において、クラシフィケーションネットワーク４６の低次層と重みを共有する。これにより、ＣＴ画像２００のセグメンテーションにおいて、ＣＴ画像２００のグローバル特徴の抽出に適用される情報を利用することができ、ＣＴ画像２００のセグメンテーションのロバスト性を向上し得る。
各ネットワークにおける低次層は、実験及びシミュレーション等を適用して規定し得る。すなわち、重みを共有する層を適宜変更しながら、良好な結果が得られた場合に重みを共有した一以上の層を低次層として規定し得る。
また、セグメンテーションネットワーク４２の再学習を実施する際に、ローカル情報とグローバル情報とを一緒に学習する。これにより、セグメンテーションネットワーク４２はより高いロバスト性を確保し得る。
［第一実施形態に係る画像処理装置の作用効果］
上記の如く構成された第一実施形態に係る画像処理装置１２によれば、以下の作用効果を得ることが可能である。
〔１〕
セグメンテーションネットワーク４２の第一エンコーダ部２２０は、クラシフィケーションネットワーク４６の第二エンコーダ部２３０及び第三エンコーダ部２４０の少なくともいずれかと重みを共有する。これにより、セグメンテーションネットワーク４２は、クラシフィケーションネットワーク４６に適用される医用画像の特徴抽出が利用でき、セグメンテーションのロバスト性を向上し得る。
〔２〕
セグメンテーションネットワーク４２の再学習の際に、セグメンテーションネットワーク４２に適用されるローカル情報と、クラシフィケーションネットワーク４６に適用されるグローバル情報とを一緒に学習する。これにより、セグメンテーションネットワーク４２はより高いロバスト性を確保し得る。
〔３〕
セグメンテーションネットワーク４２の低次層は、クラシフィケーションネットワーク４６の低次層と重みを共有する。これにより、クラシフィケーションネットワーク４６の低次層において抽出される医用画像の特徴をセグメンテーションネットワーク４２の低次層が利用し得る。
［第二実施形態に係る画像処理装置］
〔第二実施形態に係るセグメンテーションの詳細な説明〕
図７は第二実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。図７に示すセグメンテーションネットワーク４２Ａは、第一エンコーダ部２２０とデコーダ部２２２との間に結合部２２６を備える。
結合部２２６は、第一エンコーダ部２２０の出力画像と第二エンコーダ部２３０出力画像とを結合する。また、結合部２２６は、第一エンコーダ部２２０の出力画像と第三エンコーダ部２４０の出力画像とを結合する。
結合部２２６は、出力画像をデコーダ部２２２へ送信する。デコーダ部２２２は、入力画像のサイズ変換を実施して、ＣＴ画像２００と同じサイズのセグメンテーションマスク２１０を生成する。
セグメンテーションの誤差は、クラシフィケーションの誤差、及びセグメンテーションとクラシフィケーションとの総誤差は、第一実施形態に係る画像処理装置１２と同様に計算される。
セグメンテーションネットワーク４２Ａの重み及びクラシフィケーションネットワーク４６の重みは、バックプロパゲーションを適用して更新される。第二実施形態に係る画像処理装置は、第一実施形態に係る画像処理装置１２と同様に、ピクセルごとの特徴を表すローカル特徴と、医用画像全体の特徴を表すグローバル特徴とを一括して学習し得る。
もちろん、セグメンテーションネットワーク４２Ａの低次層の重みとクラシフィケーションネットワーク４６の低次層の重みが共有されるように、セグメンテーションネットワーク４２Ａ、及びクラシフィケーションネットワーク４６の再学習を個別に実施してもよい。
〔畳み込みニューラルネットワークの適用例〕
図８は第二実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。第二エンコーダ部２３０の第五中間層２３０５の出力画像は、アップサンプリング部２４００へ送信される。なお、第五中間層２３０５は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、第一エンコーダ部と重みを非共有の中間層の一例である。
アップサンプリング部２４００は、第五中間層２３０５の出力画像のサイズ変換を実施して、第五中間層２３０５の出力画像を第三中間層２２０３の出力画像と同じサイズに変換する。アップサンプリング部２４００はサイズ変換がされた第五中間層２３０５の出力画像を結合部２２６へ送信する。
結合部２２６は、第三中間層２２０３の出力画像とアップサンプリング部２４００の出力画像とを結合させ、結合させた画像をデコーダ部２２２の第四中間層２２０４へ送信する。デコーダ部２２２は、結合部２２６の出力画像のサイズ変換を実施して、ＣＴ画像２００と同じサイズを有するセグメンテーションマスク２１０を生成する。
クラシフィケーションネットワーク４６の高次層の出力画像は、セグメンテーションネットワーク４２に適用される画像よりも圧縮させており、小サイズである。そこで、アップサンプリング部２４００は、クラシフィケーションネットワーク４６の出力画像を拡大させる。結合部２２６は、サイズを変換したクラシフィケーションネットワーク４６の高次層の出力画像とセグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像とを結合する。
なお、実施形態に示すアップサンプリング部２４００は、第二エンコーダ部の出力画像を第一エンコーダ部の出力画像に対応して伸長させる変換部の一例である。
本実施形態では、第五中間層２３０５の出力画像をアップサンプリング部２４００へ送信する態様を例示したが、第四中間層２３０４など、第二エンコーダ部２３０の第二低次層２３０Ａの出力画像であり、出力層２３１０よりも前段の層の出力画像をアップサンプリング部２４００へ送信してもよい。
出力層２３１０よりも前段の層である第五中間層２３０５等の出力画像は、出力層２３１０から出力される一次元特徴ベクトルと比較して情報量が落ちていないので、一定の情報量が維持された画像を、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
アップサンプリング部２４００の入力画像は、学習を用いて規定し得る。すなわち、各中間層の出力画像と、結合部２２６から出力される画像とを学習セットとして学習を実施して、アップサンプリング部２４００の入力画像を出力させる中間層を規定し得る。
［第二実施形態に係る画像処理装置の作用効果］
上記の如く構成された第二実施形態に係る画像処理装置によれば、以下の作用効果を得ることが可能である。
〔１〕
セグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像と、クラシフィケーションネットワーク４６の第二エンコーダ部２３０の出力画像とを結合する結合部２２６を備える。これにより、クラシフィケーションネットワーク４６が抽出した医用画像の特徴を用いた、セグメンテーションネットワーク４２の医用画像のセグメンテーションが可能となる。
〔２〕
第二エンコーダ部２３０の出力画像を、セグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像と同じサイズに変換するアップサンプリング部２４００を備える。これにより、第一エンコーダ部２２０の出力画像と第二エンコーダ部２３０の出力画像との結合が可能となる。
〔３〕
第二エンコーダ部２３０の出力層２３１０よりも前段の中間層であり、第一エンコーダ部２２０の中間層と重みが非共有の中間層の出力画像に対してアップサンプリングを実施し、第一エンコーダ部２２０の出力画像と結合させる。これにより、一定の情報量が維持された第二エンコーダ部２３０の中間層の出力画像をアップサプリングして、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
［ローカル特徴とグローバル特徴との対応関係］
図９は疾患名と病変との対応関係を示すテーブルの一例を示す図である。図９に示すテーブル２５０は、図１に示す画像データベース１６に記憶し得る。
医用画像のグローバル特徴である疾患名と、医用画像の局所領域の特徴である病変とは密接な関係がある。図９に示すように、疾患名にごとに存在し得る病変、及び疾患名にごとに存在し得ない病変がある。
図９に示すテーブル２５０を参照して、セグメンテーションネットワーク４２を学習させることで、セグメンテーションネットワーク４２のロバスト性を向上し得る。ＣＴ画像２００のグローバル情報としてＩＰＦ以外の疾患名が抽出された場合を考える。ＩＰＦに特有の蜂巣肺をローカル特徴として抽出しないように、セグメンテーションネットワーク４２を構成し得る。
なお、図９に示すＲＡは関節リウマチの英語表記である、Rheumatoid arthritisの省略語である。ＳＳｃは、全身性強皮症の英語表記である、Systemic sclerosisの省略語である。ＰＳＳは、進行性全身性強皮症の英語表記である、Progressive Systemic Sclerosisの省略語である。
ＯＰは、器質性肺炎の英語表記である、Organizing Pneumoniaの省略語である。ＣＯＰは、特発性器質性肺炎の英語表記である、Cryptogenic Organizing Pneumoniaの省略語である。
ＤＩＰは、剥離性間質性肺炎の英語表記である、DesquamativeInterstitial Pneumoniaeの省略語である。ＣＮＰＡは、慢性壊死性肺アスペルギルス症の英語表記である、Chronic Necrotizing Pulmonary Aspergillosisの省略語である。ＩＰＦは、特発性肺線維症の英語表記である、Idiopathic Pulmonary Fibrosisの省略語である。ＵＩＰは、通常型間質性肺炎の英語表記である、Usual Interstitial Pneumoniaの省略語である。
［画像処理方法への適用例］
第一実施形態に画像処理装置１２及び第二実施形態に係る画像処理装置は、画像処理装置１２等における各部に対応する工程を含む画像処理方法として構成可能である。
ＣＴ画像２００のセグメンテーションを実施する画像処理方法は、ＣＴ画像２００を取得する医用画像取得工程を含み得る。画像処理方法は、ＣＴ画像２００のクラシフィケーションを実施するクラシフィケーション工程を含み得る。ＣＴ画像２００のセグメンテーションを実施するセグメンテーション工程は、第一低次層の重みをクラシフィケーション工程における第二低次層の重みと共有する。
セグメンテーション工程は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００のピクセルごとの特徴を抽出する第一エンコード工程を含み得る。セグメンテーション工程は、第一エンコード工程において抽出した特徴を復元してセグメンテーションマスクを生成するデコード工程を含み得る。クラシフィケーション工程は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００の全体の特徴を抽出する第二エンコード工程を含み得る。
画像処理方法は、クラシフィケーション工程における中間層の出力画像をセグメンテーション工程における中間層の出力画像のサイズに変換する変換工程を含み得る。また、画像処理方法は、変換工程の出力画像をセグメンテーション工程における中間層の出力画像に結合する結合工程を含み得る。なお、実施形態に示すクラシフィケーション工程は、グローバル特徴分類工程の一例である。
［プログラムへの適用例］
第一実施形態に画像処理装置１２及び第二実施形態に係る画像処理装置は、コンピュータを用いて、画像処理装置１２等における各部に対応する機能を実現させるプログラムとして構成可能である。
各部に対応する機能の例として、ＣＴ画像２００を取得する医用画像取得機能、ＣＴ画像２００のクラシフィケーションを実施するクラシフィケーション機能が挙げられる。また、各部に対応する機能の例として、ＣＴ画像２００のセグメンテーションを実施するセグメンテーション機能であり、第一低次層の重みをクラシフィケーション機能における第二低次層の重みと共有するセグメンテーション機能が挙げられる。
セグメンテーション機能は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００のピクセルごとの特徴を抽出する第一エンコード機能を備え得る。セグメンテーション機能は、第一エンコード機能を用いて抽出した特徴を復元してセグメンテーションマスクを生成するデコード機能を備え得る。
クラシフィケーション機能は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００の全体の特徴を抽出する第二エンコード機能を備え得る。
更に、各部に対応する機能の例として、クラシフィケーションネットワーク４６中間層の出力画像を、セグメンテーションネットワーク４２における中間層の出力画像と同じサイズに変換する変換機能が挙げられる。
更に、各部に対応する機能の例として、変換機能を用いて変換した画像をセグメンテーションネットワーク４２における中間層の出力画像に結合する結合機能が挙げられる。なお、実施形態に示すクラシフィケーション機能は、グローバル特徴分類機能の一例である。
［他の医用画像への適用例］
本実施形態では、医用画像として肺のＣＴ画像を例示したが、脳、胃、及び腸など肺以外の臓器の医用画像を用いてもよい。また、医用画像は二次元画像に限定されない。医用画像は三次元画像でもよい。三次元画像の場合、ボクセルごとの特徴に基づくセグメンテーションが実施される。
〔グローバル特徴の変形例〕
本実施形態では、グローバル特徴として疾患名及び撮像の際の呼吸条件を例示したが、グローバル特徴は、クラスのセグメンテーションと関連する特徴又はクラス分類に影響する特徴等を表す情報であればよい。例えば、体格、年齢、性別、及び既往症等の被検体に関する情報をグローバル特徴として適用してもよい。体格は、身長及び体重等の身体のサイズ表す情報を適用し得る。
〔クラスの変形例〕
本実施形態では、セグメンテーションのクラスとして病変を例示したが、クラスは炎症、腫瘍、及び非腫瘍等の画像パターンの特徴等を適用し得る。また、医用画像を生成するモダリティごとに標準分類が存在する場合は、モダリティごとの標準分類をクラスに適用し得る。
また、セグメンテーションはマルチクラス分類を適用し得る。マルチクラス分類は、ピクセルごとに、複数のクラスのそれぞれのクラスらしさを表す確率をピクセルごとに算出する。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０ 医療情報システム
１２ 画像処理装置
１４ モダリティ
１６ 画像データベース
１８ ネットワーク
２０ マウス
２１ 入力装置
２２ キーボード
２４ 表示装置
４０ 画像取得部
４２ セグメンテーションネットワーク
４２Ａ セグメンテーションネットワーク
４６ クラシフィケーションネットワーク
５０ 記憶部
５２ バス
６０ 表示制御部
６２ 入力制御部
７０ 特徴量抽出部
７４ セグメンテーションマスク生成部
８０ 画像記憶部
８４ セグメンテーションマスク記憶部
８６ グローバル特徴記憶部
８８ プログラム記憶部
１００ プロセッサ
１０２ メモリ
１０４ ストレージ装置
１０６ ネットワークコントローラ
１０８ 電源装置
１１０ ディスプレイコントローラ
１１２ 入出力インターフェース
１１４ 入力コントローラ
２００ ＣＴ画像
２１０ セグメンテーションマスク
２２０ 第一エンコーダ部
２２２ デコーダ部
２２４ 出力部
２２６ 結合部
２３０ 第二エンコーダ部
２３２ 第二出力層
２４０ 第三エンコーダ部
２４２ 第三出力層
２５０ テーブル
２２００ 入力層
２２０１ 第一中間層
２２０２ 第二中間層
２２０３ 第三中間層
２２０４ 第四中間層
２２０５ 第五中間層
２２１０ 出力層
２３００ 入力層
２３０１ 第一中間層
２３０２ 第二中間層
２３０３ 第三中間層
２３０４ 第四中間層
２３０５ 第五中間層
２３１０ 出力層
２４００ アップサンプリング部
第１態様によれば、グローバル特徴分類部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
第７態様によれば、出力部よりも前段の中間層の出力画像は、第二エンコーダ部の出力部から出力される一次元の特徴ベクトルに対して情報量が落ちていない。これにより、一定の情報量が維持された出力画像を伸長し、第一エンコーダ部の出力画像へ結合し得る。
第１１態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。
本発明によれば、グローバル分類特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
第一中間層２３０１、第二中間層２３０２、及び第三中間層２３０３は、図４に示す第二低次層２３０Ａ及び第三低次層２４０Ａに相当する。第四中間層２３０４及び第五中間層２３０５は、図４に示す第二高次層２３０Ｂ及び第三高次層２４０Ｂに相当する。また、図６に示すクラシフィケーションネットワーク４６の出力層２３１０は図４に示す第二出力層２３２に相当する。
第二エンコーダ部２３０の第一中間層２３０１から第三中間層２３０３までは、第一エンコーダ部２２０の第一中間層２２０１から第三中間層２２０３までと同様のシーケンスを適用して畳み込みを実施する。一方、第二エンコーダ部２３０の第四中間層２３０４及び第五中間層２３０５は、第二エンコーダ部２３０に適用されるクラシフィケーションに特化したシーケンスを適用して畳み込みを実施する。
出力層２３１０は全結合層を適用して、ＣＴ画像２００のグローバル特徴を表す一次元の特徴ベクトルを出力する。図６に示す出力層２３１０は、ＣＴ画像２００のグローバル特徴らしさを表す確率ベクトル２６０を出力する。図６に示す確率ベクトル２６０は、ＩＰＦである確率が６０．５パーセント、ＣＯＰ（Cryptogenic Organizing Pneumonia）である確率が２０．２パーセント、ＬＩＰ（Iymphocyitc interstitiaI pneumonia）である確率が１０パーセントであることを表す。
セグメンテーションの誤差、クラシフィケーションの誤差、及びセグメンテーションとクラシフィケーションとの総誤差は、第一実施形態に係る画像処理装置１２と同様に計算される。
〔３〕
第二エンコーダ部２３０の出力層２３１０よりも前段の中間層であり、第一エンコーダ部２２０の中間層と重みが非共有の中間層の出力画像に対してアップサンプリングを実施し、第一エンコーダ部２２０の出力画像と結合させる。これにより、一定の情報量が維持された第二エンコーダ部２３０の中間層の出力画像をアップサンプリングして、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
図９に示すテーブル２５０を参照して、セグメンテーションネットワーク４２を学習させることで、セグメンテーションネットワーク４２のロバスト性を向上し得る。ＣＴ画像２００のグローバル特徴としてＩＰＦ以外の疾患名が抽出された場合を考える。ＩＰＦに特有の蜂巣肺をローカル特徴として抽出しないように、セグメンテーションネットワーク４２を構成し得る。
また、セグメンテーションはマルチクラス分類を適用し得る。マルチクラス分類は、複数のクラスのそれぞれのクラスらしさを表す確率をピクセルごとに算出する。

Claims (14)

  1. 深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部と、
    深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部と、
    を備え、
    前記セグメンテーション部は、低次層である第一低次層の重みを、前記グローバル特徴分類部における低次層である第二低次層と共有する画像処理装置。
  2. 前記セグメンテーション部は、前記クラスとして病変を適用する請求項１に記載の画像処理装置。
  3. 前記グローバル特徴分類部は、前記グローバル特徴として疾患名を適用する請求項１又は２に記載の画像処理装置。
  4. 前記グローバル特徴分類部は、前記グローバル特徴として医用画像の撮像条件を適用する請求項１から３のいずれか一項に記載の画像処理装置。
  5. 前記セグメンテーション部は、前記医用画像の特徴を圧縮する第一エンコーダ部、及び前記第一エンコーダ部を用いて圧縮した医用画像の特徴を復元するデコーダ部を備え、
    前記グローバル特徴分類部は、前記医用画像の特徴を圧縮する第二エンコーダ部を備え、
    前記セグメンテーション部は、前記第一低次層の重みとして前記第一エンコーダ部に適用される重みを、前記第二エンコーダ部に適用される重みと共有する請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記第一エンコーダ部の出力画像よりも圧縮させた前記第二エンコーダ部の出力画像を、前記第一エンコーダ部の出力画像に対応して伸長させる変換部と、
    第一エンコーダ部の出力画像と前記変換部の出力画像とを結合する結合部と、
    を備えた請求項５に記載の画像処理装置。
  7. 前記第二エンコーダ部は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、前記第一エンコーダ部と重みを非共有の中間層の出力画像を前記変換部へ送信する請求項６に記載の画像処理装置。
  8. 前記変換部は、前記変換部の入力画像及び前記結合部の出力画像を学習セットとして学習を実施した深層学習器を適用する請求項６又は７に記載の画像処理装置。
  9. 前記セグメンテーション部は、前記グローバル特徴分類部と重みを共有した層について、前記セグメンテーション部のセグメンテーション結果、前記グローバル特徴分類部の分類結果、及び前記セグメンテーション部に入力される前記医用画像を学習セットとして学習を実施した深層学習器を適用する請求項１から８のいずれか一項に記載の画像処理装置。
  10. 前記セグメンテーション部は、前記グローバル特徴分類部と重みを共有しない層について、前記医用画像及び前記セグメンテーション部を適用したセグメンテーション結果を学習セットとして再学習を実施した深層学習器を適用する請求項９に記載の画像処理装置。
  11. 前記グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果をセットとして学習を実施した深層学習器を適用する請求項１から８のいずれか一項に記載の画像処理装置。
  12. 深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション工程と、
    深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類工程と、
    を含み、
    前記セグメンテーション工程は、セグメンテーション部の低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理方法。
  13. コンピュータに、
    深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能、及び
    深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能を実現させるプログラムであって、
    前記セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有するプログラム。
  14. 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
    深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能と、
    深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能と、を含む画像処理機能であって、
    前記セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する、画像処理機能をコンピュータに実行させる記憶媒体。
JP2020558347A 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム Active JP7114737B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018225020 2018-11-30
JP2018225020 2018-11-30
PCT/JP2019/044868 WO2020110775A1 (ja) 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020110775A1 true JPWO2020110775A1 (ja) 2021-10-14
JP7114737B2 JP7114737B2 (ja) 2022-08-08

Family

ID=70852978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558347A Active JP7114737B2 (ja) 2018-11-30 2019-11-15 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11983879B2 (ja)
JP (1) JP7114737B2 (ja)
WO (1) WO2020110775A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842497B2 (en) * 2020-12-09 2023-12-12 Elekta Limited Automatic contour adaptation using neural networks
CN113421276B (zh) * 2021-07-02 2023-07-21 深圳大学 一种图像处理方法、装置及存储介质
CN115187819B (zh) * 2022-08-23 2023-05-16 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018175226A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像分類装置、方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738683B2 (en) 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
JP5307605B2 (ja) 2009-04-10 2013-10-02 アイカ工業株式会社 水性樹脂組成物およびそれを用いた接着方法
WO2012056362A1 (en) 2010-10-25 2012-05-03 Koninklijke Philips Electronics N.V. System for the segmentation of a medical image
US9767385B2 (en) * 2014-08-12 2017-09-19 Siemens Healthcare Gmbh Multi-layer aggregation for object detection
US10387773B2 (en) 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
US10049451B2 (en) * 2015-12-02 2018-08-14 The Cleveland Clinic Foundation Automated lesion segmentation from MRI images
JP6714690B2 (ja) 2016-04-26 2020-06-24 株式会社日立製作所 情報処理システム、情報処理システムの運用方法、および機械学習演算器
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10846326B2 (en) * 2016-11-30 2020-11-24 Optim Corporation System and method for controlling camera and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018175226A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像分類装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SATOSHI IIZUKA EA AL: "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image", ACM TRANSACTIONS ON GRAPHICS (TOG), vol. 35, no. 4, JPN6022013557, July 2016 (2016-07-01), pages 110, ISSN: 0004744701 *

Also Published As

Publication number Publication date
US20210272290A1 (en) 2021-09-02
WO2020110775A1 (ja) 2020-06-04
JP7114737B2 (ja) 2022-08-08
US11983879B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
JP7118606B2 (ja) 医用画像処理装置及び医用画像処理プログラム
Gang et al. Dimensionality reduction in deep learning for chest X-ray analysis of lung cancer
US10304198B2 (en) Automatic medical image retrieval
US10580159B2 (en) Coarse orientation detection in image data
EP3611699A1 (en) Image segmentation using deep learning techniques
Rehman et al. A region-based deep level set formulation for vertebral bone segmentation of osteoporotic fractures
US11983879B2 (en) Image processing apparatus, image processing method, and program
US10803354B2 (en) Cross-modality image synthesis
US20190131012A1 (en) Image search device, image search method, and image search program
US10685438B2 (en) Automated measurement based on deep learning
JP2018175226A (ja) 医用画像分類装置、方法およびプログラム
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11327773B2 (en) Anatomy-aware adaptation of graphical user interface
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
CN107980149A (zh) 用于脊椎标记的方法、装置和系统
JP7444382B2 (ja) 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム
US9286688B2 (en) Automatic segmentation of articulated structures
US20210212647A1 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
Lee et al. MGB-net: orbital bone segmentation from head and neck CT images using multi-graylevel-bone convolutional networks
Al-Antari et al. A rapid deep learning computer-aided diagnosis to simultaneously detect and classify the novel COVID-19 pandemic
US11989880B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
WO2023276432A1 (ja) 画像検索装置、方法およびプログラム
US20230368880A1 (en) Learning apparatus, learning method, trained model, and program
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
US20240127613A1 (en) Disease label creation device, disease label creation method, disease label creation program, learning device, and disease detection model

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150