JP7084494B2 - 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 - Google Patents

重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 Download PDF

Info

Publication number
JP7084494B2
JP7084494B2 JP2020553410A JP2020553410A JP7084494B2 JP 7084494 B2 JP7084494 B2 JP 7084494B2 JP 2020553410 A JP2020553410 A JP 2020553410A JP 2020553410 A JP2020553410 A JP 2020553410A JP 7084494 B2 JP7084494 B2 JP 7084494B2
Authority
JP
Japan
Prior art keywords
region
interest
image
medical image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553410A
Other languages
English (en)
Other versions
JPWO2020085336A1 (ja
Inventor
剛幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020085336A1 publication Critical patent/JPWO2020085336A1/ja
Application granted granted Critical
Publication of JP7084494B2 publication Critical patent/JP7084494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本開示は、医用画像に含まれる関心領域に対する重みを表す重み画像を生成する重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器に関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元の医用画像を用いての画像診断が可能となってきている。このような３次元の医用画像に含まれる臓器および病変等の関心領域をＡＩ(Artificial Intelligence）技術を用いて学習がなされた判別器を用いて自動で抽出することも行われている。しかしながら、自動で関心領域を抽出する場合、過抽出および抽出不足が発生する可能性がある。このような場合、自動で抽出された関心領域の境界を修正する必要がある。
このように抽出された関心領域の境界を自動で修正する手法が提案されている（特開２００９－９５６４４号公報参照）。一方、既存の判別器により自動で抽出した関心領域を学習データとして用いて、より高度な抽出を行うことが可能な判別器を学習させる場合がある。このような場合には、学習の精度を高めるために、既存の判別器により抽出された関心領域の境界を修正して，より精度が高い学習データとして使用する必要がある。しかしながら、特開２００９－９５６４４号公報に記載された手法を用いて関心領域の境界を修正したとしても、関心領域の境界を正確に設定することは困難である。このため、実際には関心領域が抽出された医用画像を表示し、ユーザによるマニュアル操作により関心領域の境界の修正を行うことが多い。マニュアル操作により関心領域の境界を修正するに際しては、医用画像を表示し、表示された医用画像において、円形等のカーソルをドラッグすることにより、過抽出された領域を削除したり、抽出不足があった領域を追加したりして境界を編集することが行われている。
しかしながら、抽出の対象となる関心領域の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域の境界が変化する場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このため、関心領域の境界が不明瞭な場合、境界において領域の追加および削除が繰り返されて、関心領域の境界が設定されることとなる。一方、このようにして境界が設定された関心領域を学習データとして用いて判別器を学習させた場合、その判別器により抽出される関心領域についても領域の境界が不安定になりやすい。このため、そのように学習された判別器を用いた場合、関心領域が誤検出される可能性がある。
本発明は上記事情に鑑みなされたものであり、境界の修正を反映させて医用画像に領域を設定できるようにすることを目的とする。
本開示による重み画像生成装置は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正部と、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備える。
なお、本開示による重み画像生成装置においては、画像生成部は、修正指示の内容に応じて異なる修正重み係数を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、修正指示が領域の追加の指示である場合、修正領域に対して正の修正重み係数を設定し、修正指示が領域の削除の指示である場合、修正領域に対して負の修正重み係数を設定するものであってもよい。
また、本開示による重み画像生成装置においては、複数の関心領域が医用画像から抽出されてなる場合、
修正部は、複数の関心領域のそれぞれに対する修正指示により、複数の関心領域のそれぞれの境界を修正し、
画像生成部は、複数の関心領域のそれぞれに対して重み係数を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの少なくとも１つの関心領域の重み係数に対して設定されたしきい値に応じて、複数の関心領域の境界を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域が隣接する場合、複数の関心領域のそれぞれに対して設定された重み係数に応じて、重み画像における複数の関心領域の境界を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの１つの関心領域に対する修正指示により、１つの関心領域以外の他の関心領域に対して修正重み係数を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、関心領域の種類に応じて、異なる修正重み係数を設定するものであってもよい。
また、本開示による重み画像生成装置においては、画像生成部は、医用画像が３次元画像である場合、表示部に表示された医用画像において、視認できる画素に対する修正重み係数を、視認できない画素よりも大きくするものであってもよい。
また、本開示による重み画像生成装置においては、重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
重み画像において重み係数がしきい値以上となる領域に対応する対応領域を、医用画像から抽出する対応領域抽出部をさらに備えるものであってもよい。
本開示による判別器学習装置は、本開示による重み画像生成装置により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得する学習データ取得部と、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備える。
本開示による判別器は、本開示の判別器学習装置により学習がなされたものである。
本開示による領域抽出装置は、関心領域の判別対象となる医用画像を取得する画像取得部と、
医用画像における関心領域を判別する本開示の判別器とを備える。
なお、本開示による領域抽出装置においては、判別器による関心領域の判別結果を表示する表示制御部をさらに備えるものであってもよい。
本開示による重み画像生成方法は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する。
本開示による判別器学習方法は、本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された、重み画像において重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する。
本開示による領域抽出方法は、関心領域の判別対象となる医用画像を取得し、
本開示の判別器により、医用画像における関心領域を判別する。
なお、本開示による重み画像生成方法、判別器学習方法および領域抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の重み画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する処理を実行する。
本開示による他の判別器学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得し、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する処理を実行する。
本開示による他の領域抽出装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
関心領域の判別対象となる医用画像を取得し、
本開示の判別器により、医用画像における関心領域を判別する処理を実行する。
本開示によれば、境界の修正を適切に反映させて医用画像に関心領域を設定することができる。
本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による重み画像生成装置の概略構成を示す図 表示部に表示された断層画像を示す図 関心領域の境界の修正を説明するための図 抽出不足となった場合における関心領域の境界の修正を説明するための図 過抽出となった場合における関心領域の境界の修正を説明するための図 初期重み係数のみが設定された重み画像を示す図 重み係数の修正後の重み画像を示す図 重み係数の修正後の重み画像を示す図 関心領域の境界付近における重み係数の値の分布を説明するための図 対応領域が抽出された断層画像においてスライダが表示された状態を示す図 抽出された第１の関心領域および第２の関心領域が隣接している状態を示す図 第１の関心領域および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図 第１の関心領域および第２の関心領域が隣接する場合における、カーソルを用いての重み係数の修正を説明するための図 第１の関心領域および第２の関心領域が隣接する場合における重み係数の修正を説明するための図 本実施形態において行われる重み画像生成処理を示すフローチャート ３次元画像における境界の修正を説明するための図 球状のカーソル内における断層画像を示す図 ３次元画像において重み係数を修正する場合における重み係数の相違を説明するための図 本開示の実施形態による判別器学習装置を内包する領域抽出装置の概略構成を示す図 関心領域の判別結果を示す図 本実施形態において行われる学習処理を示すフローチャート 本実施形態において行われる領域判別処理を示すフローチャート
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による重み画像生成装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像Ｇ０として生成する。また、３次元画像Ｇ０は複数の断層画像からなる。３次元画像Ｇ０および３次元画像Ｇ０を構成する複数の断層画像が、本開示の医用画像に対応する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｇ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
重み画像生成装置１は、１台のコンピュータに、本実施形態の重み画像生成プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。重み画像生成プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに重み画像生成プログラムをインストールすることにより実現される、本実施形態による重み画像生成装置の概略構成を示す図である。図２に示すように、重み画像生成装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、重み画像生成装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｇ０および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、重み画像生成プログラムが記憶されている。重み画像生成プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像Ｇ０を取得する画像取得処理、３次元画像Ｇ０から関心領域を抽出する関心領域抽出処理、３次元画像Ｇ０を表示部１４に表示する表示制御処理、表示された３次元画像Ｇ０から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正処理、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０における修正指示がなされた修正領域に対して修正重み係数を設定することにより、３次元画像Ｇ０内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成処理、重み係数に対するしきい値を設定するしきい値設定処理、並びに重み画像において重み係数がしきい値以上となる画素からなる領域に対応する対応領域を、３次元画像Ｇ０から抽出する対応領域抽出処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６および対応領域抽出部２７として機能する。
画像取得部２１は、関心領域を含む３次元画像Ｇ０を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、病変、骨および軟骨等の構造物の領域である。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出する。このために、関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、病変、骨および軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされたニューラルネットワークからなる。学習済みモデルは、３次元画像Ｇ０が入力されると３次元画像Ｇ０の各画素が関心領域であるか否かを表す判別結果を出力する。そして関心領域抽出部２２は、関心領域であると判別された画素からなる領域を関心領域として抽出する。
なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。また、関心領域抽出部２２は、機械学習がなされた学習済みモデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
表示制御部２３は、３次元画像Ｇ０を表示部１４に表示する。本実施形態においては、３次元画像Ｇ０を構成する複数の断層画像Ｄｊ（ｊ＝１～ｎ；ｎは断層画像の数）を，入力部１５からの指示に応じて、順次表示するものとする。そして本実施形態においては、ユーザは、順次表示される断層画像Ｄｊに対して、関心領域の境界の修正を行う。図３は表示部１４に表示された断層画像を示す図である。なお、表示する断層画像は、アキシャル断面、サジタル断面およびコロナル断面のいずれの断面の断層画像であってもよい。本実施形態においては、図３に示すように、例えば腹部のアキシャル断面の１つの断層画像Ｄｋが表示されるものとする。
修正部２４は、表示部１４に表示された断層画像Ｄｋにおける関心領域の境界に対する、ユーザによる修正指示により、関心領域の境界を修正する。図４は関心領域の境界の修正を説明するための図である。なお、図４においては、説明のために関心領域を拡大して示している。図４に示すように、断層画像Ｄｋには、抽出された関心領域３０の境界３０Ｌが含まれている。なお、関心領域３０はマスクとして断層画像Ｄｋに含まれる。マスクは、関心領域３０の輪郭のみを表すものであってもよく、領域内にハッチングが施されたものであってもよく、領域内が予め定められた色により塗りつぶされたものであってもよい。以降の説明において、関心領域３０は、断層画像Ｄｋにおいて、マスクされた領域を意味するものとする。ここで、関心領域抽出部２２による関心領域３０の抽出結果は必ずしも正確ではなく、断層画像Ｄｋに含まれる実際の関心領域と一致しない場合がある。例えば、過抽出により実際の関心領域よりも大きい関心領域３０が抽出される場合がある。逆に、抽出不足により、実際の関心領域よりも小さい関心領域３０が抽出される場合がある。
このような場合、ユーザは、入力部１５を用いて、抽出された関心領域３０の境界３０Ｌを修正する。具体的には、入力部１５から修正指示が入力されると、修正部２４により表示部１４に円形のカーソル４０が表示される。ユーザは入力部１５のマウスを用いてカーソル４０を移動して、関心領域３０の境界３０Ｌを実際の関心領域の境界と一致させるように修正指示を行う。修正部２４は、ユーザによる修正指示に従って、関心領域３０の境界３０Ｌを修正する。なお、カーソル４０の形状は円形に限定されるものではなく、矩形、三角形および矢印形状等、任意の形状とすることができる。
図５は抽出不足となった場合における関心領域の境界の修正を説明するための図である。図５に示すように、実際の関心領域３１に対して、関心領域３０の抽出が不足している領域Ａ１０については、領域を加える指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って例えば矢印Ｂの方向に移動させることにより、不足している領域Ａ１０を関心領域３０に追加する指示を行う。なお、領域を追加する指示は、例えば入力部１５を構成するマウスの左クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
図６は過抽出となった場合における関心領域の境界の修正を説明するための図である。図６に示すように、実際の関心領域３１に対して第１の関心領域３０が過抽出されている領域Ａ１１については、領域を削除する指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って移動させることにより、過抽出された領域Ａ１１を関心領域３０から削除する指示を行う。なお、領域を削除する指示は、例えば入力部１５を構成するマウスの右クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
画像生成部２５は、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０、すなわち断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数を設定する。そしてこれにより、画像生成部２５は、関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像Ｗ０を生成する。なお、重み画像Ｗ０の各画素は３次元画像Ｇ０の各画素に対応する。本実施形態においては、例えば初期重み係数を１００、修正により追加された領域に対して設定する修正重み係数を＋４、修正により削除された領域に対して設定する修正重み係数を－４とする。なお、初期重み係数および修正重み係数の値はこれらの値に限定されるものではない。例えば、初期重み係数として負の値を設定してもよい。また、例えば追加された領域に対して負の修正重み係数を、削除された領域に対して正の修正重み係数を設定してもよい。また、修正重み係数を正の値とし、追加された領域に対する修正重み係数を削除された領域に対する修正重み係数よりも大きい値を有するものとしてもよい。
図７は初期重み係数のみが設定された重み画像Ｗ０を示す図である。図７に示すように、重み画像Ｗ０においては、境界３０Ｌにより囲まれている関心領域３０に対応する領域の重み係数が１００、それ以外の領域の重み係数が０となっている。
一方、図７に示す重み画像Ｗ０において、図５に示すように領域Ａ１０を追加する修正を行った場合、カーソル４０が通過した領域に対して＋４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は１０４となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は４となる。その結果、重み画像Ｗ０における重み係数は図８に示すものとなる。
また、図７に示す重み画像Ｗ０において、図６に示すように領域Ａ１１を削除する修正を行った場合、カーソル４０が通過した領域に対して－４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、－４の修正重み係数が設定されるため、その部分の重み係数は９６となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、－４の修正重み係数が設定されるため、その部分の重み係数は－４となる。その結果、重み画像Ｗ０における重み係数は図９に示すものとなる。
ここで、断層画像Ｄｋにおいて、抽出の対象となる関心領域３０の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域３０の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域３０の境界が変わる場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このような場合には、関心領域抽出部２２が備えるような判別器の学習の精度を高めるために、関心領域３０の境界を修正してより精度が高い学習データを取得する必要がある。このため、断層画像から抽出された関心領域３０の境界が不明瞭な場合、ユーザは、関心領域３０の境界において領域を追加したり、領域を削除したりする編集を繰り返して、関心領域３０の境界を確定することとなる。その結果、重み画像Ｗ０は、図１０に示すように、関心領域の境界付近において、重み係数の値が等高線状に分布するものとなる。
しきい値設定部２６は、重み画像Ｗ０における関心領域の抽出のためのしきい値を設定する。具体的には、ユーザによる入力部１５からの入力によりしきい値を設定すればよい。
対応領域抽出部２７は、重み画像Ｗ０において、しきい値設定部２６が設定したしきい値以上となる領域の境界を、関心領域３０の境界に設定し、重み画像Ｗ０を生成した断層画像Ｄｋ（または３次元画像Ｇ０）から、重み画像Ｗ０における重み係数がしきい値以上となる画素からなる領域に対応する領域を対応領域として抽出する。例えば、重み画像Ｗ０における重み係数が図１０に示すものであり、しきい値を１００に設定した場合、重み係数が１００となる領域と９６となる領域との境界を、関心領域の境界として、断層画像Ｄｋ（または３次元画像Ｇ０）から対応領域を抽出する。
なお、対応領域抽出部２７が抽出した対応領域を表示部１４に表示し、表示された対応領域を見たユーザによる、しきい値の変更を受け付けるようにしてもよい。この場合、図１１に示すように、表示部１４にスライダ２６Ａを表示し、入力部１５によるスライダ２６Ａをスライドさせる指示により、しきい値の変更を受け付けるようにしてもよい。ここで、図１１に示すスライダ２６Ａにおいては、５０から１００の間でしきい値を設定可能とされている。この場合、スライダ２６Ａによりしきい値を変更すると、抽出された対応領域２９のサイズが、設定したしきい値に応じて変更されることとなる。すなわち、しきい値を小さくすれば、抽出される対応領域２９のサイズは大きくなり、しきい値を大きくすれば，抽出される対応領域２９のサイズは小さくなる。
対応領域抽出部２７は、画像生成部２５が生成した重み画像Ｗ０と対応領域とを対応づけて、ストレージ１３に保存する。あるいは、ネットワーク４を介して、画像保管サーバ３等の外部の保管装置に保管する。なお、重み画像Ｗ０は３次元画像Ｇ０に含まれる断層画像Ｄｊのそれぞれに対して生成されるため、保管される重み画像Ｗ０は３次元画像となる。また、対応領域も重み画像Ｗ０と同様に３次元画像である。
なお、断層画像Ｄｋにおいて複数の関心領域が抽出される場合がある。このように、複数の関心領域が抽出された場合において、関心領域同士が隣接する場合がある。このような場合、隣接する複数の関心領域のそれぞれに対して修正指示を行うようにすればよい。例えば図１２に示すように、第１の関心領域３１および第２の関心領域３２が隣接する場合、修正部２４により、第１の関心領域３１および第２の関心領域３２のそれぞれに対して別個に修正を行う。これにより、画像生成部２５は、重み画像Ｗ０において、第１の関心領域３１についての第１の重み係数を設定し、第２の関心領域３２についての第２の重み係数を設定する。図１３は第１の関心領域３１および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図である。
一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分において、第１の関心領域３１および第２の関心領域３２のいずれか一方の境界の修正を、他方の境界の修正に反映させてもよい。例えば、図１４に示すように、第１の関心領域３１に対して、カーソル４０を用いて領域Ａ１２を追加した場合、第１の関心領域３１に関しては、領域Ａ１２の重み係数は１０４となる。一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分においては、第２の関心領域３２におけるカーソル４０が通過した領域（図１４において破線で示す）の重み係数を、例えば－２とする。これにより、図１５に示す重み画像Ｗ０においては、第１の関心領域３１に関して、第１の関心領域３１に対応する領域の中央付近の重み係数は１００、その外側の重み係数は１０４となる。一方、第２の関心領域３２に関して、第２の関心領域３２に対応する領域の中央付近の重み係数は１００、斜線で示すカーソル４０が通過した領域の重み係数は９８となる。なお、図１５においては、第１の関心領域３１と第２の関心領域３２とが接する部分においては、第２の関心領域３２における重み係数である「９８」のみを示している。
このように重み画像Ｗ０を生成した場合、関心領域を抽出するためのしきい値に応じて、第１の関心領域３１と第２の関心領域３２との境界が異なるものとなる。すなわち、第２の関心領域３２に対する境界のしきい値を１００とすれば、第１の関心領域３１と第２の関心領域３２とが隣接する部分における境界は、線Ｌ１で示すものとなる。また、第２の関心領域３２に対する境界のしきい値を９８とすれば、第１の関心領域３１と第２の関心領域３２とが接する部分における境界は、線Ｌ２で示すものとなる。
次いで、本実施形態において行われる重み画像生成処理について説明する。図１６は本実施形態において行われる重み画像生成処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０を取得する（ステップＳＴ１）。次いで、関心領域抽出部２２が、３次元画像Ｇ０から関心領域を抽出する（ステップＳＴ２）。そして、表示制御部２３が３次元画像Ｇ０を構成する複数の断層画像Ｄｊのうちの１つの断層画像Ｄｋを表示部１４に表示する（ステップＳＴ３）。
そして、修正部２４が、ユーザによる入力部１５を用いての、抽出された関心領域３０の境界３０Ｌに対する修正指示により、断層画像Ｄｋにおいて抽出された関心領域３０の境界３０Ｌを修正する（ステップＳＴ４）。修正部２４による修正指示により、画像生成部２５が、重み画像を生成する（ステップＳＴ５）。そして、修正の終了の指示がなされたか否かが判定され（ステップＳＴ６）、ステップＳＴ６が否定されるとステップＳＴ４に戻る。ステップＳＴ６が肯定されると、しきい値設定部２６が、ユーザによる指示により、重み係数に対するしきい値を設定する（ステップＳＴ７）。そして、対応領域抽出部２７が、重み画像Ｗ０におけるしきい値以上となる重み係数となる画素からなる領域に対応する対応領域を、断層画像Ｄｋから抽出し（ステップＳＴ８）、処理を終了する。
このように、本実施形態においては、３次元画像Ｇ０，すなわち断層画像Ｄｋが表示部１４に表示され、表示された断層画像Ｄｋにおける関心領域の境界に対する修正指示が受け付けられる。また、抽出された関心領域に初期重み係数が設定され、断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数が設定され、これにより、断層画像Ｄｋ内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像Ｗ０が生成される。このように生成された重み画像Ｗ０においては、関心領域が修正指示に応じた画素値を有するものとなる。このため、重み画像Ｗ０の画素値に応じて、重み画像Ｗ０における関心領域であることの確からしさを認識することができる。したがって、本開示によれば、重み画像Ｗ０を参照することにより、境界の修正を反映させて断層画像Ｄｋ、さらには３次元画像Ｇ０に関心領域を設定することができる。
なお、上記実施形態においては、３次元画像Ｇ０を構成する断層画像Ｄｋを順次表示して、関心領域の修正および重み画像の生成を行っている。しかしながら、３次元画像Ｇ０を例えば周知の投影法により投影して表示部１４に表示し、表示された３次元画像Ｇ０に対して関心領域の修正および重み画像Ｗ０の生成を行うようにしてもよい。
図１７は３次元画像Ｇ０おける境界の修正を説明するための図である。図１７に示すように、３次元画像Ｇ０の投影画像Ｇ１には、３次元形状をなす関心領域３０が２次元状に投影されている。ユーザは表示された投影画像Ｇ１において球状のカーソル４１を用いて境界を修正するが、実際に表示部１４に表示されるのは２次元の投影画像Ｇ１であるため、投影画像Ｇ１上においてはカーソル４１は円形に見えることとなる。このため、ユーザは円形に見えるカーソル４１を用いて、投影画像Ｇ１において関心領域３０の境界を修正することとなる。
このように境界の修正を行う場合、３次元画像Ｇ０上においては、図１８に示すように、球状のカーソル４１内において、奥行き方向に複数の断層画像（ここでは４つ）Ｄ１～Ｄ４が含まれることとなる。この場合、表示された投影画像Ｇ１において視認できる画素に対する重み係数を、視認できない画素よりも大きくすればよい。例えば、図１９に示すように、投影画像Ｇ１において視認できる断層画像Ｄ１においては、追加された領域の修正重み係数を＋１０、視認できない断層画像Ｄ２～Ｄ４については、断層画像Ｄ１から離れるほど、修正重み係数を＋８、＋６、＋４と順に小さくしてもよい。
また、上記実施形態においては、関心領域の種類に応じて異なる修正重み係数を設定するようにしてもよい。例えば、肺に関する疾患は数十種類あるが、数十種類の疾患を，小分類、中分類および大分類と分類することができる。この場合、大分類に対する修正は、小分類に対する修正よりも関心領域の分類に対する影響が大きい。このため、大分類に対する修正重み係数を小分類に対する修正重み係数よりも大きくすることが好ましい。
次いで、本開示の判別器学習装置、判別器および領域抽出装置の実施形態について説明する。図２０は、コンピュータに判別器学習プログラムおよび領域抽出プログラムをインストールすることにより実現される判別器学習装置を内包する領域抽出装置の概略構成を示す図である。図２０に示すように、領域抽出装置５０は、標準的なワークステーションの構成として、ＣＰＵ５１、メモリ５２およびストレージ５３を備えている。また、領域抽出装置５０には、液晶ディスプレイ等の表示部５４、並びにキーボードおよびマウス等の入力部５５が接続されている。
メモリ５２には、判別器学習プログラムおよび領域抽出プログラムが記憶されている。判別器学習プログラムは、ＣＰＵ５１に実行させる処理として、本実施形態による重み画像生成装置１により生成された重み画像Ｗ０および重み画像Ｗ０から抽出された対応領域の画像を学習データとして取得する学習データ取得処理、並びに複数の学習データにより、３次元画像Ｇ０が入力されると３次元画像Ｇ０に含まれる関心領域の判別結果を出力する判別器を学習する学習処理を規定する。また、領域抽出プログラムは、ＣＰＵ５１に実行させる処理として、関心領域の判別対象となる３次元画像Ｇ０を取得する画像取得処理、および判別器による関心領域の判別結果を表示する表示制御処理を規定する。
そして、ＣＰＵ５１がプログラムに従いこれらの処理を実行することで、コンピュータは、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４および表示制御部６５として機能する。
学習データ取得部６１は、重み画像生成装置１により生成された重み画像Ｗ０および３次元画像Ｇ０から抽出された対応領域の画像を学習データとして画像保管サーバ３から取得する。なお、学習データが既にストレージ５３に記憶されている場合には、学習データ取得部６１は、ストレージ５３から学習データを取得するようにしてもよい。
学習部６２は、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別するための判別器６３を、複数の学習データにより学習する。本実施形態においては、判別器６３は、関心領域の抽出の対象となる３次元画像Ｇ０が入力されると、３次元画像Ｇ０に含まれる関心領域の判別結果を出力する。具体的には、判別器６３は、判別対象となる３次元画像Ｇ０の各ボクセルが、関心領域にあるか関心領域以外の領域にあるかを判別し、その判別結果を出力する。このため、学習部６２は、複数の学習データ（すなわち重み画像Ｗ０および対応領域の画像）から、予め定められたサイズ（例えば３×３等）の領域内の特徴量を取得し、取得した特徴量を判別器６３に入力し、関心領域の判別結果を出力するように、判別器６３の学習、すなわち機械学習を行う。なお、判別結果は、３次元画像Ｇ０に含まれる各画素が関心領域であることの確からしさを、例えば百分率で表した数値となる。また、学習は予め定められた回数または関心領域の判別結果が予め定められた確からしさ（例えば９９％）となるまで行われる。
このように学習が行われることにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０のボクセルを、関心領域と関心領域以外の領域とに分類して、３次元画像Ｇ０における関心領域を判別する判別器６３が生成される。
なお、判別器６３としては、サポートベクタマシン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等を用いることができる。
画像取得部６４は、関心領域抽出の対象となる３次元画像Ｇ０を画像保管サーバ３から取得する。なお、３次元画像Ｇ０が既にストレージ５３に記憶されている場合には、画像取得部６４は、ストレージ５３から３次元画像Ｇ０を取得するようにしてもよい。
表示制御部６５は、判別器６３による関心領域の判別結果を表示部５４に表示する。具体的には、判別された関心領域を、３次元画像Ｇ０において強調表示する。図２１は関心領域の判別結果を示す図である。図２１に示すように、３次元画像Ｇ０のうちの１つの断層画像Ｄｋにおいて、判別された関心領域７０にハッチングが付与されることにより、関心領域７０が強調表示されている。なお、ハッチングの付与に代えて、輪郭線により関心領域７０を囲むことにより関心領域を強調表示してもよく、関心領域７０以外の領域をマスクすることにより、関心領域７０を強調表示してもよい。
次いで、本実施形態における学習処理について説明する。図２２は、本実施形態において行われる学習処理を示すフローチャートである。まず、学習データ取得部６１が、学習データを取得する（ステップＳＴ１１）。次いで、学習部６２が、複数の学習データにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別する判別器６３を学習し（ステップＳＴ１２）、処理を終了する。
次いで、本実施形態における領域判別処理について説明する。図２３は、本実施形態による領域判別処理のフローチャートである。まず、画像取得部６４が、関心領域の判別対象となる３次元画像Ｇ０を取得する（ステップＳＴ２１）。そして、判別器６３が、３次元画像Ｇ０における関心領域を判別する（ステップＳＴ２２）。次いで、表示制御部６５が、判別器６３による関心領域の判別結果を表示し（ステップＳＴ２３）、処理を終了する。
なお、上記実施形態においては、重み画像生成装置が、関心領域抽出部２２を備えるものとしているが、これに限定されるものではない。重み画像生成装置とネットワーク４を介して接続された別個の装置において関心領域を抽出してもよい。また、取得する３次元画像Ｇ０が既に関心領域が抽出されたものであってもよい。
また、上記実施形態において、例えば、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６、対応領域抽出部２７、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４、および表示制御部６５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 重み画像生成装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１，５１ ＣＰＵ
１２，５２ メモリ
１３，５３ ストレージ
１４，５４ 表示部
１５，５５ 入力部
２１ 画像取得部
２２ 関心領域抽出部
２３ 表示制御部
２４ 修正部
２５ 画像生成部
２６ しきい値設定部
２６Ａ スライダ
２７ 対応領域抽出部
２９ 対応領域
３０ 関心領域
３０Ｌ 関心領域の境界
３１ 第１の関心領域
３２ 第２の関心領域
５０ 領域抽出装置
６１ 学習データ取得部
６２ 学習部
６３ 判別器
６４ 画像取得部
６５ 表示制御部
７０ 判別された関心領域
Ａ１０ 不足している領域
Ａ１１ 過抽出の領域
Ａ１２ 追加された領域
Ｄｋ，Ｄ１～Ｄ４ 断層画像
Ｌ１，Ｌ２ 境界を表す線
Ｗ０ 重み画像

Claims (20)

  1. 少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
    表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する修正部と、
    前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備えた重み画像生成装置。
  2. 前記画像生成部は、前記修正指示の内容に応じて異なる前記修正重み係数を設定する請求項１に記載の重み画像生成装置。
  3. 前記画像生成部は、前記修正指示が領域の追加の指示である場合、前記修正領域に対して正の修正重み係数を設定し、前記修正指示が領域の削除の指示である場合、前記修正領域に対して負の修正重み係数を設定する請求項２に記載の重み画像生成装置。
  4. 複数の前記関心領域が前記医用画像から抽出されてなる場合、
    前記修正部は、前記複数の関心領域のそれぞれに対する前記修正指示により、前記複数の関心領域のそれぞれの境界を修正し、
    前記画像生成部は、前記複数の関心領域のそれぞれに対して前記重み係数を設定する請求項１から３のいずれか１項に記載の重み画像生成装置。
  5. 前記画像生成部は、前記複数の関心領域が隣接する場合、前記複数の関心領域のそれぞれに対して設定された前記重み係数に応じて、前記重み画像における前記複数の関心領域の境界を設定する請求項４に記載の重み画像生成装置。
  6. 前記画像生成部は、前記複数の関心領域のうちの１つの関心領域に対する修正指示により、該１つの関心領域以外の他の関心領域に対して前記修正重み係数を設定する請求項４または５に記載の重み画像生成装置。
  7. 前記画像生成部は、前記複数の関心領域のうちの少なくとも１つの関心領域の前記重み係数に対して設定されたしきい値に応じて、前記複数の関心領域の境界を設定する請求項４から６のいずれか１項に記載の重み画像生成装置。
  8. 前記画像生成部は、前記関心領域の種類に応じて、異なる前記修正重み係数を設定する請求項１から７のいずれか１項に記載の重み画像生成装置。
  9. 前記画像生成部は、前記医用画像が３次元画像である場合、前記表示部に表示された前記医用画像において、視認できる画素に対する前記修正重み係数を、視認できない画素よりも大きくする請求項１から８のいずれか１項に記載の重み画像生成装置。
  10. 前記重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
    前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域を、前記医用画像から抽出する対応領域抽出部をさらに備えた請求項１から９のいずれか１項に記載の重み画像生成装置。
  11. 請求項１０に記載の重み画像生成装置により生成された前記重み画像および前記医用画像から抽出された前記対応領域の画像を学習データとして取得する学習データ取得部と、
    複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備えた判別器学習装置。
  12. 請求項１１に記載の判別器学習装置により学習がなされた判別器。
  13. 関心領域の判別対象となる医用画像を取得する画像取得部と、
    前記医用画像における前記関心領域を判別する請求項１２に記載の判別器とを備えた領域抽出装置。
  14. 前記判別器による前記関心領域の判別結果を表示する表示制御部をさらに備えた請求項１３に記載の領域抽出装置。
  15. 少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
    表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正し、
    前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する重み画像生成方法。
  16. 請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
    複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する判別器学習方法。
  17. 関心領域の判別対象となる医用画像を取得し、
    請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する領域抽出方法。
  18. 少なくとも１つの関心領域が抽出された医用画像を表示部に表示する手順と、
    表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する手順と、
    前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する手順とをコンピュータに実行させる重み画像生成プログラム。
  19. 請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得する手順と、
    複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する手順とをコンピュータに実行させる判別器学習プログラム。
  20. 関心領域の判別対象となる医用画像を取得する手順と、
    請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する手順とをコンピュータに実行させる領域抽出プログラム。
JP2020553410A 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 Active JP7084494B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018201071 2018-10-25
JP2018201071 2018-10-25
PCT/JP2019/041401 WO2020085336A1 (ja) 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器

Publications (2)

Publication Number Publication Date
JPWO2020085336A1 JPWO2020085336A1 (ja) 2021-09-09
JP7084494B2 true JP7084494B2 (ja) 2022-06-14

Family

ID=70330452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553410A Active JP7084494B2 (ja) 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器

Country Status (5)

Country Link
US (1) US11715279B2 (ja)
JP (1) JP7084494B2 (ja)
CN (1) CN112912008B (ja)
DE (1) DE112019005308T5 (ja)
WO (1) WO2020085336A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048760B2 (ja) * 2018-10-31 2022-04-05 富士フイルム株式会社 領域修正装置、方法およびプログラム
JPWO2022059799A1 (ja) * 2020-09-18 2022-03-24

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002210027A (ja) 2001-01-16 2002-07-30 Mitsubishi Electric Corp 放射線治療装置
WO2008107970A1 (ja) 2007-03-06 2008-09-12 Shimadzu Corporation エッジ評価方法とエッジ検出方法と画像補正方法と画像処理システム
JP2011030911A (ja) 2009-08-05 2011-02-17 Dainippon Printing Co Ltd Ｃｎｒ測定装置，方法及びコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4268695B2 (ja) * 1997-10-31 2009-05-27 株式会社東芝 画像診断装置及び超音波診断装置
JP2007104250A (ja) * 2005-10-04 2007-04-19 Seiko Epson Corp 画像表示方法、画像表示システム、画像表示プログラム。
US8081811B2 (en) 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
KR100952817B1 (ko) * 2008-11-28 2010-04-14 서울대학교산학협력단 반자동 의료 영상 분할 방법 및 그 장치
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002210027A (ja) 2001-01-16 2002-07-30 Mitsubishi Electric Corp 放射線治療装置
WO2008107970A1 (ja) 2007-03-06 2008-09-12 Shimadzu Corporation エッジ評価方法とエッジ検出方法と画像補正方法と画像処理システム
JP2011030911A (ja) 2009-08-05 2011-02-17 Dainippon Printing Co Ltd Ｃｎｒ測定装置，方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US20210241016A1 (en) 2021-08-05
CN112912008A (zh) 2021-06-04
CN112912008B (zh) 2024-04-09
WO2020085336A1 (ja) 2020-04-30
JPWO2020085336A1 (ja) 2021-09-09
DE112019005308T5 (de) 2021-07-22
US11715279B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108701370B (zh) 基于机器学习的基于内容的医学成像渲染
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
Kalra Developing fe human models from medical images
KR102102255B1 (ko) 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
EP2401719A1 (fr) Méthodes de segmentation d'images et de détection de structures particulières
JP7084494B2 (ja) 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器
CN116797612A (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
JP7479546B2 (ja) 表示装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
EP3651117B1 (en) Methods, systems and use for detecting irregularities in medical images by means of a machine learning model
KR102222816B1 (ko) 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치
US20230368913A1 (en) Uncertainty Estimation in Medical Imaging
KR102556646B1 (ko) 의료 영상 생성 방법 및 장치
JP7048760B2 (ja) 領域修正装置、方法およびプログラム
CN113614788A (zh) 计算机辅助读取和分析的深度强化学习
JP7204781B2 (ja) 画像処理装置、方法及びプログラム
JP7083427B2 (ja) 修正指示領域表示装置、方法およびプログラム
US20230306605A1 (en) Image generation apparatus, method, and program, learning apparatus, method, and program, segmentation model, and image processing apparatus, method, and program
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
KR102177567B1 (ko) 골 영상 생성 방법 및 이를 이용한 장치
Li Computer generative method on brain tumor segmentation in MRI images
JP2024018562A (ja) 画像処理装置、方法およびプログラム
Neumann Localization and Classification of Teeth in Cone Beam Computed Tomography using 2D CNNs
JP2023143628A (ja) 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、セグメンテーションモデル、並びに画像処理装置、方法およびプログラム
CN117541742A (zh) 图像处理方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220602

R150 Certificate of patent or registration of utility model

Ref document number: 7084494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150