JP7307166B2 - 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム - Google Patents

学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム Download PDF

Info

Publication number
JP7307166B2
JP7307166B2 JP2021527754A JP2021527754A JP7307166B2 JP 7307166 B2 JP7307166 B2 JP 7307166B2 JP 2021527754 A JP2021527754 A JP 2021527754A JP 2021527754 A JP2021527754 A JP 2021527754A JP 7307166 B2 JP7307166 B2 JP 7307166B2
Authority
JP
Japan
Prior art keywords
learning
teacher data
image
variation
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021527754A
Other languages
English (en)
Other versions
JPWO2020262571A5 (ja
JPWO2020262571A1 (ja
Inventor
貞登 赤堀
卓也 淵上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020262571A1 publication Critical patent/JPWO2020262571A1/ja
Publication of JPWO2020262571A5 publication Critical patent/JPWO2020262571A5/ja
Application granted granted Critical
Publication of JP7307166B2 publication Critical patent/JP7307166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムに関する。
近年、ディープラーニング（深層学習）を用いた機械学習の技術が注目を集めている。機械学習においては、分類の精度をより向上させるために様々な技術が開発されている。特開２０１８－５６４０号公報には、欠陥が写った複数の第１画像を含む第１教師データに基づいて深層学習により畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を生成し、ＣＮＮの中間層に、欠陥が写った複数の第２画像それぞれを入力して、この中間層から複数の第２画像それぞれについての複数種類の特徴量を取得して、複数種類の特徴量を用いてさらに機械学習させることにより、分類精度を向上させたモデルを構築する方法が開示されている。
一方、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを用いて、Ｅｎｄ-ｔｏ-Ｅｎｄ（エンドツーエンド）深層学習によって、モデルを学習させる方法も知られている。Ｅｎｄ-ｔｏ-Ｅｎｄ深層学習は、入力が与えられてから結果を出力するまで、途中で発生する中間処理を全て学習させる方法である。Ｅｎｄ-ｔｏ-Ｅｎｄ深層学習によって学習された学習モデルにおいては、学習モデルに画像を入力することによって、入力された画像全体をピクセル単位でラベリングすることによりクラス分類を行うセマンティックセグメンテーションを行うことができる。
一般的に、Ｅｎｄ-ｔｏ-Ｅｎｄ深層学習においては、入力側と出力側に各々多くの学習用画像及び正解学習用画像があるほど、より精度の高い出力結果が得られることが知られている。しかしながら、入力対象となる画像が、例えば、脳卒中等の疾患を発症した脳の脳画像である場合、セグメンテーションの対象となる梗塞領域及び出血領域等の疾患領域は、形状、大きさ、及び発症箇所等が不定である。また、疾患の発症からの経過時間によって脳画像中の疾患領域の画素値の値が変化する。そのため、脳画像においては多様な症例が存在することとなり、多様な症例を全てカバーできる程度の学習用画像を用意するのは困難である。
本開示は、限られた学習用画像を用いて、セグメンテーションの対象となる画像領域の画素値の多様性をカバーできる、学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムを提供する。
本開示の第１に態様は、学習用画像生成装置であって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを取得する教師データ取得部と、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させた変動学習用画像を生成する変動学習用画像生成部と、を含む。
本開示の第２の態様は、第１の態様において、制約範囲を取得する制約範囲取得部を含んでいてもよい。
本開示の第３の態様は、第１又は第２の態様において、変動学習用画像生成部は、正解領域に属する画素のうちの１以上の画素の画素値を、一定の値で変動させてもよい。
本開示の第４の態様は、第１又は第２の態様において、変動学習用画像生成部は、正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させてもよい。
本開示の第５の態様は、第１又は第２の態様において、変動学習用画像生成部は、正解領域に属する画素の画素値に基づいて設定された正規分布に応じて、正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させてもよい。
本開示の第６の態様は、学習用画像生成方法であって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを取得し、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させた変動学習用画像を生成する。
本開示の第７の態様は、学習用画像生成プログラムであって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを取得する教師データ取得部と、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させた変動学習用画像を生成する変動学習用画像生成部として、コンピュータを機能させる。
本開示の他の態様は、学習用画像生成装置であって、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを取得し、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させた変動学習用画像を生成する処理を実行する。
本開示の第８の態様は、学習方法であって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データを用いてモデルを学習させる。
なお、上記の態様において、正解領域に属する画素のうちの１以上の画素の画素値を、一定の値で変動させてもよいし、正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させてもよいし、正解領域に属する画素の画素値に基づいて設定された正規分布に応じて、正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させてもよい。
本開示の第９の態様は、第８の態様において、１回目の学習において、複数の第１教師データを用いてモデルを学習させ、２回目以降の学習において、複数の第１教師データのうちの少なくとも１つの第１教師データを第２教師データに換えてモデルを学習させてもよい。
本開示の第１０の態様は、第８の態様において、１回目の学習において、複数の第１教師データを用いてモデルを学習させ、２回目以降の学習において、少なくとも１つの第２教師データを追加してモデルを学習させてもよい。
本開示の第１１の態様は、第９又は第１０の態様において、２回目以降の学習において、学習の回毎に、使用する第２教師データ及び第２教師データの数の少なくとも一方をランダムに設定してもよい。
本開示の第１２の態様は、第９又は第１０の態様において、２回目以降の学習において、使用する第２教師データ及び第２教師データの数の少なくとも一方を予め設定してもよい。
本開示の第１３の態様は、第９から第１２の何れかの態様において、２回目以降の学習において、少なくとも１回、複数の第１教師データのみを用いてモデルを学習させてもよい。
本開示の第１４の態様は、学習装置であって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データとを取得する教師データ取得部と、教師データ取得部により取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部と、を含む。
本開示の他の態様は、学習装置であって、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データを用いてモデルを学習させる処理を実行する。
本開示の第１５の態様は、第１４の態様において、学習部は、上記の学習方法によってモデルを学習させることができる。
本開示の第１６の態様は、学習プログラムであって、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データとを取得する教師データ取得部と、教師データ取得部により取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部として、コンピュータを機能させる。
上記態様によれば、本開示の学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムは、限られた学習用画像を用いて、セグメンテーションの対象となる画像領域の画素値の多様性をカバーできる。
本開示の一例示的実施形態である学習用画像生成装置及び学習装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の一例示的実施形態である学習装置の構成を示す概略ブロック図 ＣＴ画像と正解ＣＴ画像とを組にした第１教師データを説明するための図 梗塞領域を説明するための図 梗塞領域に属する画素の画素値の分布を示すグラフ 梗塞領域に属する画素の画素値の変動を説明するためのグラフ ＣＴ画像に変動を加えて生成した変動ＣＴ画像を説明するための図 変動ＣＴ画像を生成する処理を示すフローチャート 第２の例示的実施形態における画素値の変動方法を説明するための図 第３の例示的実施形態における画素値の変動方法を説明するための図 第４の例示的実施形態における画素値の変動方法を説明するための図 第５の例示的実施形態における画素値の変動方法を説明するための図 変動ＣＴ画像と正解ＣＴ画像とを組にした第２教師データを説明するための図 学習モデルを説明するための図 第６の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 学習時に行われる処理を示すフローチャート 第７の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第８の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第９の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第１０の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図
以下、図面を参照して本開示の第１の例示的実施形態について説明する。図１は、本開示の第１の例示的実施形態による学習用画像生成装置及び学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本例示的実施形態による学習装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、学習装置１には、本例示的実施形態による学習モデル及び学習用画像生成装置が内包される。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置である。具体的には、３次元画像撮影装置２は、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及びＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された医用画像は、画像保管サーバ３に送信され、保存される。なお、本例示的実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置である。そして、ＣＴ装置において、被検体の脳を含む３次元のＣＴ画像Ｂｃ０を生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には、画像保管サーバ３は、３次元画像撮影装置２で生成されたＣＴ画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本例示的実施形態においては、画像保管サーバ３は、後述する学習モデル２５の学習のための学習用画像となるＣＴ画像Ｂｃ０を含む第１教師データＤ（後述する）も保管して管理している。
本例示的実施形態の学習用画像生成装置及び学習モデルを含む学習装置１は、１台のコンピュータに、本開示の学習用画像生成プログラム及び学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習用画像生成プログラム及び学習プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに学習用画像生成プログラム及び学習プログラムをインストールすることにより実現される本開示の一例示的実施形態である学習装置１の概略構成を示す図である。図２に示すように、学習装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、学習装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボード及びマウス等からなる入力部１５が接続されている。入力部１５は、ユーザによる種々の設定入力を受け付ける。なお、タッチパネルを用いることによって表示部１４と入力部１５とを兼用するようにしてもよい。
ストレージ１３は、ハードディスクドライブ及びＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、後述する学習モデル２５の学習のための学習用画像となるＣＴ画像Ｂｃ０を含む第１教師データＤ、及び処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、学習用画像生成プログラム及び学習プログラムが記憶されている。学習用画像生成プログラムは、ＣＰＵ１１に実行させる処理として、教師データ取得処理と、制約範囲取得処理、変動学習用画像生成処理を規定する。教師データ取得処理では、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした第１教師データＤを取得する。制約範囲取得処理では、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲を取得する。変動学習用画像生成処理では、制約範囲内で、正解領域に属する画素の画素値を変動させた変動学習用画像を生成する。
また、学習プログラムは、ＣＰＵ１１に実行させる処理として、教師データ取得処理、学習処理、判別処理、表示制御処理を規定する。教師データ取得処理では、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像において、正解領域に属する画素の取り得る画素値の制約範囲内で、正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データとを取得する。学習処理では、取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる。判別処理では、学習用画像又は判別の対象となる対象画像が入力された場合に、入力された画像における正解領域を出力する。表示制御処理では、学習用画像、正解学習用画像、及び正解領域等を表示部１４に表示する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、教師データ取得部２１、制約範囲取得部２２、変動学習用画像生成部２３、学習部２４、学習モデル２５、及び表示制御部２６として機能する。ここで、教師データ取得部２１、制約範囲取得部２２、及び変動学習用画像生成部２３が、本例示的実施形態の学習用画像生成装置を構成する。
教師データ取得部２１は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、第１教師データＤを取得する。図３は、ＣＴ画像Ｂｃ０と正解マスクＢｃ１とを組にした第１教師データＤを説明するための図である。図３に示すように、第１教師データＤは、後述する学習モデル２５の学習のための学習用画像となるＣＴ画像Ｂｃ０及びこのＣＴ画像Ｂｃ０において正解領域として梗塞領域Ａが定義された正解マスクＢｃ１とを組にした教師データである。なお、図３において、ＣＴ画像Ｂｃ０は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｃ０の１つの断層面における２次元の断層画像を用いて説明する。また、図３において、正解マスクＢｃ１は、正解領域である梗塞領域Ａを白色に塗り潰して描画することにより定義しているが、正解マスクＢｃ１はこれに限られない。例えば、梗塞領域Ａの内部を塗り潰すことなく、梗塞領域Ａの境界を白色で描画することにより梗塞領域Ａを定義してもよい。また、白色以外の色で描画してもよい。また、梗塞領域Ａの内部と、梗塞領域Ａの外部とを異なる画素値を有する画素で構成した画像とすることにより梗塞領域Ａを定義してもよい。
なお、本例示的実施形態のＣＴ画像Ｂｃ０は本開示の学習用画像に、本例示的実施形態の正解マスクＢｃ１は本開示の正解学習用画像にそれぞれ対応する。また、ＣＴ画像Ｂｃ０及び正解マスクＢｃ１、すなわち第１教師データＤが既にストレージ１３に記憶されている場合には、教師データ取得部２１は、ストレージ１３から第１教師データＤを取得するようにしてもよい。また、教師データ取得部２１は、後述する学習モデル２５の学習のために、多数の被検体についての第１教師データＤを取得する。また、教師データ取得部２１は、ストレージ１３から後述する第２教師データＦを取得する。
表示制御部２６は、教師データ取得部２１が取得した第１教師データＤ及び第２教師データＦを各々構成するＣＴ画像Ｂｃ０、正解マスクＢｃ１、及び変動ＣＴ画像Ｂｃ２を表示部１４に表示させる。
制約範囲取得部２２は、ＣＴ画像Ｂｃ０において、梗塞領域Ａに属する画素の取り得る画素値の制約範囲を取得する。本例示的実施形態においては、ＣＴ画像Ｂｃ０はＣＴ画像である。一般的に、人間の体の約６０％は水からできているため、ＣＴ値は水を原点の０、空気の状態を最低値である－１０００で各々表現している。空気の－１０００はＣＴ画像Ｂｃ０上においては黒色で表現されるように設定される。すなわち、２次元画像の場合には画像を構成する各画素、３次元画像の場合には画像を構成する各ボクセルに、白黒の濃淡値（画素値ともいう）が与えられることによりＣＴ画像Ｂｃ０が表現される。
ＣＴ画像Ｂｃ０上において急性期における梗塞領域Ａの取り得る画素値は、２０～３０程度である。従って、本例示的実施形態において、制約範囲取得部２２は、梗塞領域Ａの取り得る画素値の制約範囲の下限値Ｌを２０、及び上限値Ｕを３２として取得する。下限値Ｌ及び上限値Ｕの値は、ユーザが入力部１５を操作することにより入力される。なお、本例示的実施形態においては、下限値Ｌ及び上限値Ｕの値は、ユーザによって入力されるものとしたが、本開示の技術はこれに限られない。例えば、ＣＴ画像、ＭＲＩ画像、及びＰＥＴ画像等、画像の種類毎に下限値Ｌ及び上限値Ｕの値を設定した対応表を予めストレージ１３に保存しておき、教師データ取得部２１が取得した第１教師データＤを構成する学習用画像の種類に応じて、上記対応表により下限値Ｌ及び上限値Ｕの値を導出してもよい。また、学習用画像の種類から下限値Ｌ及び上限値Ｕの値を導出することができれば対応表に限られず、例えば式等により導出してもよい。
また、本例示的実施形態においては、正解領域を梗塞領域Ａとしたため、制約範囲取得部２２は、梗塞領域Ａの取り得る画素値の制約範囲の下限値Ｌを２０、及び上限値Ｕを３２として取得した。しかしながら、下限値Ｌ及び上限値Ｕの値、すなわち上記制約範囲は、検出したい対象に応じて適宜設定される。例えば、学習用画像がＣＴ画像の場合、脳画像において脳出血を検出したい場合には、正解領域は出血領域となるため、出血領域の取り得る画素値の制約範囲は、５０～８０程度となる。
なお、画素値の下限値Ｌ及び上限値Ｕの値は、例えば、学習用画像を撮影した装置の種類、型番、メーカー、撮影した施設、及び検出対象となる病変の種類毎に予め統計をとって、統計によって得られた数値データに基づいて設定するようにしてもよい。
変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０において、梗塞領域Ａに属する画素の取り得る画素値の制約範囲内で、梗塞領域Ａに属する画素の画素値を変動させた変動学習用画像である変動ＣＴ画像Ｂｃ２を生成する。図４は梗塞領域Ａを説明するための図である。なお、図４においては、実際の梗塞領域Ａの形状とは異なるが説明を分かり易くするために、梗塞領域Ａを４行４列の１６個の画素で構成された正方形の領域として説明する。
梗塞領域Ａは、図４に示すように、４行４列に配列されたＰ１１からＰ４４の１６個の画素で構成されている。梗塞領域Ａを構成する各画素Ｐ１１～Ｐ４４は、各々の画素が梗塞領域を示す画素であるため、２０以上３２以下の画素値となる。図５は梗塞領域Ａに属する画素Ｐ１１～Ｐ４４の画素値の分布を示すグラフ、図６は梗塞領域Ａに属する画素の画素値の変動を説明するためのグラフである。なお、図５及び図６において、横軸は画素値、縦軸は出現度数を示す。
梗塞領域Ａを構成する各画素Ｐ１１～Ｐ４４の画素値は、図５に示すように、梗塞領域Ａの取り得る画素値の制約範囲の下限値Ｌ（２０）から上限値Ｕ（３２）の間で分布する。例えば、梗塞領域Ａを構成する各画素Ｐ１１～Ｐ４４の画素値の最大値が２５である場合には、上記制約範囲の上限値Ｕの３２に到達する「７」の値まで加えることが可能である。そのため、０以上７以下の数値をランダムに選択して、選択された数値を、梗塞領域Ａを構成する全ての画素Ｐ１１～Ｐ４４の画素値に加える。これにより、図６に示すように、梗塞領域Ａに属する画素Ｐ１１～Ｐ４４の画素値の点線で示す分布は、加えた数値の分だけ右矢印方向にシフトして、実線で示す分布となる。
一方、梗塞領域Ａを構成する各画素Ｐ１１～Ｐ４４の画素値の最小値が２２である場合には、上記制約範囲の下限値Ｌの２０に到達する「２」の値まで減算することが可能である。そのため、０以上２以下の数値をランダムに選択して、選択された数値を、梗塞領域Ａを構成する全ての画素Ｐ１１～Ｐ４４の画素値から減算する。これにより、図６に示すように、梗塞領域Ａに属する画素Ｐ１１～Ｐ４４の画素値の点線で示す分布は、減算した数値の分だけ左矢印方向にシフトして、実線で示す分布となる。
なお、０以上７以下の数値、及び０以上２以下の数値からランダムに選択する数値の個数は、予め設定された生成すべき変動ＣＴ画像Ｂｃ２（後述する）の数に基づいて決定される。例えば変動ＣＴ画像Ｂｃ２を３枚生成したい場合には、０以上７以下の数値、及び０以上２以下の数値からランダムに３つの数値が選択される。なお、生成すべき変動ＣＴ画像Ｂｃ２の数は、ユーザが入力部１５を使用して任意に設定することができる。
変動学習用画像生成部２３は、選択された数値、すなわちシフト量に基づいて、梗塞領域Ａに属する画素の画素値を変動させることにより変動ＣＴ画像Ｂｃ２を生成する。図７はＣＴ画像Ｂｃ０に変動を加えて生成した変動ＣＴ画像Ｂｃ２を説明するための図である。なお、図７において、変動ＣＴ画像Ｂｃ２は、ＣＴ画像Ｂｃ０との違いを明確に表すために、梗塞領域Ａの画素値を誇張して変化させている。
変動学習用画像生成部２３は、図７に示すように、ＣＴ画像Ｂｃ０において、梗塞領域Ａに属する全ての画素の画素値に０以上７以下の数値から選択された数値を加えるか、又はＣＴ画像Ｂｃ０における梗塞領域Ａに属する全ての画素の画素値から、０以上２以下の数値から選択された数値を減算する。これにより、変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０の梗塞領域Ａの画素値に変動を与えた変動ＣＴ画像Ｂｃ２を生成する。
次いで、本例示的実施形態における変動ＣＴ画像Ｂｃ２を生成する処理について説明する。図８は変動ＣＴ画像Ｂｃ２を生成する処理を示すフローチャートである。先ず、教師データ取得部２１が、ＣＴ画像Ｂｃ０と正解マスクＢｃ１とを組にした第１教師データＤを取得する（ステップＳＴ１）。次に、制約範囲取得部２２が、ＣＴ画像Ｂｃ０において、梗塞領域Ａに属する画素の取り得る画素値の制約範囲を取得する（ステップＳＴ２）。そして、変動学習用画像生成部２３が、ＣＴ画像Ｂｃ０の梗塞領域Ａの画素値に、上述したようにして変動を与えることにより変動ＣＴ画像Ｂｃ２を生成して（ステップＳＴ３）、一連の処理を終了する。
教師データ取得部２１、制約範囲取得部２２、及び変動学習用画像生成部２３で構成される本例示的実施形態の学習用画像生成装置、本例示的実施形態の学習用画像生成方法、並びに本例示的実施形態の学習用画像生成プログラムによれば、ＣＴ画像Ｂｃ０における梗塞領域Ａに属する画素の取り得る画素値の制約範囲内で、梗塞領域Ａに属する画素の画素値を変動させることにより、容易にＣＴ画像Ｂｃ０とは梗塞領域Ａに属する画素の画素値が異なる変動ＣＴ画像Ｂｃ２を生成することができる。また、変動させる値を替えることにより、梗塞領域Ａに属する画素の画素値が異なる複数の変動ＣＴ画像Ｂｃ２を生成することができる。これにより、限られたＣＴ画像Ｂｃ０を用いて、梗塞領域Ａの画素値の異なる変動ＣＴ画像Ｂｃ２を生成することができるので、セグメンテーションの対象となる梗塞領域Ａの画素値の多様性をカバーすることができる。
なお、上記第１の例示的実施形態においては、教師データ取得部２１、制約範囲取得部２２、及び変動学習用画像生成部２３により学習用画像生成装置が構成されるものとした。しかしながら、本開示の技術はこれに限られず、制約範囲取得部２２を備えていなくてもよい。この場合、変動学習用画像生成部２３は、予め定められた制約範囲に基づいて、梗塞領域Ａに属する画素の画素値を変動させればよい。
また、上記第１の例示的実施形態においては、変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０において梗塞領域Ａに属する全ての画素の画素値を一定の値で変動させたが、本開示の技術はこれに限られない。例えば、梗塞領域Ａに属する画素のうちの一部の画素の画素値を一定の値で変動させてもよい。図９は第２の例示的実施形態における画素値の変動方法を説明するための図である。
変動学習用画像生成部２３は、図９に示すように、一例として、斜線で示す画素Ｐ１１、画素Ｐ２３、及び画素Ｐ４１の３つの画素の画素値を一定の値で変動させる。なお、画素値を変動させる画素及び画素値を変動させる画素の個数は予め設定してもよいし、ランダムに設定されるようにしてもよい。
また、上記第１の例示的実施形態及び第２の例示的実施形態においては、変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０において梗塞領域Ａに属する画素の画素値を全て一定の値で変動させた。しかしながら、本開示の技術はこれに限られない。例えば、画素毎に異なる値で変動させてもよい。図１０は第３の例示的実施形態における画素値の変動方法を説明するための図である。
変動学習用画像生成部２３は、図１０に示すように、一例として、斜線で示す画素Ｐ２３、画素Ｐ３３、及び画素Ｐ４１の３つの画素の画素値を第１の値で変動させる。また、網掛けで示す画素Ｐ１１及び画素Ｐ４４の２つの画素の画素値を第２の値で変動させる。
なお、第１の値で画素値を変動させる画素及び第１の値で画素値を変動させる画素の個数、並びに第２の値で画素値を変動させる画素及び第２の値で画素値を変動させる画素の個数は予め設定してもよいし、ランダムに設定されるようにしてもよい。
また、上記第１から第３の例示的実施形態においては、変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０において梗塞領域Ａに属する画素の画素値を変動させることにより、図５に示す分布のグラフが移動又は変形する。しかしながら、本開示の技術はこれに限られない。例えば、梗塞領域Ａに属する画素を入れ換えてもよい。図１１は第４の例示的実施形態における画素値の変動方法を説明するための図である。
変動学習用画像生成部２３は、図１１に示すように、一例として、右上から左下へ向かう斜線で示す画素Ｐ４１の画素値を、網掛けで示す画素Ｐ４４の画素値に替える。また、左上から右下へ向かう斜線で示す画素Ｐ３３の画素値を、右上から左下へ向かう斜線で示す画素Ｐ４１の画素値に替える。また、網掛けで示す画素Ｐ４４の画素値を左上から右下へ向かう斜線で示す画素Ｐ３３の画素値に替える。本例示的実施形態においては、梗塞領域Ａに属する画素を入れ替えただけなので、図５に示す分布のグラフを保持したままで梗塞領域Ａに属する画素の画素値を変動させることができる。なお、画素値を入れ替える画素及び画素値を入れ替える画素の個数は予め設定してもよいし、ランダムに設定されるようにしてもよい。
また、予め梗塞領域Ａの画素値の平均と標準偏差とを設定して、正規分布を決定し、決定した正規分布に基づいて画素値を変動させてもよい。図１２は第５の例示的実施形態における画素値の変動方法を説明するための図である。変動学習用画像生成部２３は、図１２に示すように、梗塞領域Ａの取り得る画素値の制約範囲の下限値Ｌから上限値Ｕの間で、平均と標準偏差とを設定することにより、梗塞領域Ａの画素値の正規分布を決定する。変動学習用画像生成部２３は、梗塞領域Ａにおいて図１２のグラフに基づいて、各画素値の画素が存在するように、画素値を変動させる。
以上のようにして変動学習用画像生成部２３により生成された変動ＣＴ画像Ｂｃ２は、第２教師データＦを構成する画像データとしてストレージ１３に記憶される。図１３は変動ＣＴ画像Ｂｃ２と正解ＣＴ画像Ｂｃ１とを組にした第２教師データＦを説明するための図である。第２教師データＦは、図１３に示すように、変動ＣＴ画像Ｂｃ２と、変動ＣＴ画像Ｂｃ２の変動前のＣＴ画像Ｂｃ０において梗塞領域Ａが定義された正解マスクＢｃ１とを組にした教師データである。なお、本例示的実施形態において第２教師データＦは、変動ＣＴ画像Ｂｃ２と変動前のＣＴ画像Ｂｃ０において梗塞領域Ａが定義された正解マスクＢｃ１とを組にしたが、変動ＣＴ画像Ｂｃ２と、変動ＣＴ画像Ｂｃ２において新たに梗塞領域Ａを定義した正解マスクＢｃ３とを組にしてもよい。ただし、変動ＣＴ画像Ｂｃ２は、変動前のＣＴ画像Ｂｃ０において、梗塞領域Ａに属する画素の画素値を梗塞領域Ａの取り得る画素値の制約範囲内において変動させているので、正解マスクＢｃ１と、変動ＣＴ画像Ｂｃ２において新たに梗塞領域Ａを定義した正解マスクＢｃ３とは同じ正解マスクとなる。
次に、図２に戻り、学習部２４は、教師データ取得部２１により取得された１以上の第１教師データＤ及び１以上の第２教師データＦを用いて学習モデル２５を学習させる。図１４は学習モデルの学習方法を説明するための図である。なお、本例示的実施形態において学習モデル２５は、本開示のモデルに対応する。
学習モデル２５は、梗塞領域を検出する対象となるＣＴ画像が入力された場合に、ＣＴ画像における梗塞領域を出力するように学習されたモデルである。本例示的実施形態においては、学習モデル２５は、Ｕ-Ｎｅｔ（U Networks)の構造を有する。Ｕ-Ｎｅｔは、全層畳み込みネットワーク（Fully Convolution Network；ＦＣＮ）の１つであり、画像のセグメンテーションに特化したネットワークである。
学習部２４は、図１４に示すように、第１教師データＤすなわちＣＴ画像Ｂｃ０及び正解マスクＢｃ１を学習モデルＭに入力することにより、学習モデルＭにＣＴ画像Ｂｃ０における梗塞領域Ａを学習させる。これにより、ＣＴ画像Ｂｃ０が入力された場合に、正解マスクＢｃ１と一致する領域が梗塞領域Ａとして出力されるように学習モデルＭを学習させる。また、学習部２４は、第２教師データＦすなわち変動ＣＴ画像Ｂｃ２及び正解マスクＢｃ１を学習モデルＭに入力することにより、学習モデルＭに変動ＣＴ画像Ｂｃ２における梗塞領域Ａを学習させる。これにより、変動ＣＴ画像Ｂｃ２が入力された場合に、正解マスクＢｃ１と一致する領域が梗塞領域Ａとして出力されるように学習モデルＭを学習させる。
次に、１以上の第１教師データＤ及び１以上の第２教師データＦを用いた学習モデル２５の学習方法について説明する。一般的に学習モデル２５を学習させる場合には、例えばｎ個の教師データを順に学習モデル２５に学習させる。そして、ｎ個の教師データが全て学習されると、２回目として再度ｎ個の教師データを順に学習モデル２５に学習させて、予め定められた回数、同じ教師データを使用して繰り返し学習モデル２５に学習させることが行われている。
本例示的実施形態においては、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる際に、１回目はｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる。次に、２回目以降は、ｎ個の第１教師データＤ１～Ｄｎのうちの少なくとも１つの第１教師データＤを第２教師データＦに換えて学習モデル２５を学習させる。図１５は第６の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。なお、第１教師データＤ及び第２教師データＦは、ＣＴ画像Ｂｃ０又は変動ＣＴ画像Ｂｃ２と、正解マスクＢｃ１との組で、すなわち２つの画像データで構成されているが、図１５において第１教師データＤ及び第２教師データＦは説明の都合上、１枚の画像で表してある。なお、以下の図面においても同様に表すことがある。
学習部２４は、図１５に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる。２回目の学習時（２Ｔ）には、第１教師データＤ１を第２教師データＦ１に換えて学習モデル２５を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ１を第１教師データＤ１に戻して、かつ、第１教師データＤ２を第２教師データＦ２に換えて学習モデル２５を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ２を第１教師データＤ２に戻して、かつ、第１教師データＤ３を第２教師データＦ３に換えて学習モデル２５を学習させる。
このように、第６の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎのうちの１つの第１教師データＤを第２教師データＦに換えて学習モデル２５を学習させる。ｎ＋１回の学習が終了すると、１回目の学習（１Ｔ）に戻り、設定された回数の学習が終了するまで上記学習を繰り返し行う。
次いで、第６の例示的実施形態における一連の処理について説明する。図１６は学習時に行われる処理を示すフローチャートである。先ず、教師データ取得部２１が、画像保管サーバ３及びストレージ１３から第１教師データＤ及び第２教師データＦを取得する（ステップＳＴ１１）。次いで、学習部２４が、取得した第１教師データＤ及び第２教師データＦを用いて、学習モデル２５を上述のようにして学習させて（ステップＳＴ１２）、一連の処理を終了する。
第６の例示的実施形態においては、ＣＴ画像Ｂｃ０における梗塞領域Ａに属する画素の取り得る画素値の制約範囲内で、梗塞領域Ａに属する画素の画素値を変動させることにより生成された、ＣＴ画像Ｂｃ０とは梗塞領域Ａに属する画素の画素値が異なる変動ＣＴ画像Ｂｃ２と正解マスクＢｃ１とを組にした第２教師データＦを学習に使用する。このように、第１教師データＤのみを使用して学習モデル２５を学習させるよりも、第２教師データＦを使用することにより、第１教師データＤの梗塞領域Ａの画素値とは異なる画素値の梗塞領域Ａが定義された変動ＣＴ画像Ｂｃ２が教師データとして使用される。したがって、本例示的実施形態では、セグメンテーションの対象となる梗塞領域Ａの画素値の多様性をカバーすることができる。
なお、第６の例示的実施形態においては、２回目以降の学習において、回毎に１つの第１教師データＤを第２教師データＦに換えて学習モデル２５を学習させたが、本開示の技術はこれに限られない。２つの第１教師データＤを第２教師データＦに換えてもよいし、３つ、４つ等、任意の数の第１教師データＤを第２教師データＦに替えることができる。また、予め定められた第１教師データＤのみを回毎に異なる第２教師データＦに換えてもよい。また、第２教師データＦに変更する第１教師データＤはランダムに選択されるようにしてもよい。また、第２教師データＦに変更する第１教師データＤの個数はランダムに決定されるようにしてもよい。また、第２教師データＦに変更する第１教師データＤ及び第２教師データＦに変更する第１教師データＤの個数の両方を、ランダムに決定するようにしてもよい。図１７は第７の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。
学習部２４は、図１７に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる。２回目の学習時（２Ｔ）には、第１教師データＤ１を第２教師データＦ１に換えて学習モデル２５を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ１を第１教師データＤ１に戻して、かつ、第１教師データＤ２を第２教師データＦ２に、第１教師データＤ４を第２教師データＦ４に、第１教師データＤ５を第２教師データＦ５に、それぞれ換えて学習モデル２５を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ２を第１教師データＤ２に、第２教師データＦ４を第１教師データＤ４に、第２教師データＦ５を第１教師データＤ５に、それぞれ戻して、かつ、第１教師データＤ１を第２教師データＦ１に、第１教師データＤ３を第２教師データＦ３に換えて学習モデル２５を学習させる。
なお、第６の例示的実施形態及び第７の例示的実施形態においては、２回目以降の学習において、回毎に第１教師データＤを第２教師データＦに換えて学習モデル２５を学習させたが、本開示の技術はこれに限られない。回毎にｎ個の第１教師データＤｎに第２教師データＦを追加して学習モデル２５を学習させてもよい。図１８は第８の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。
学習部２４は、図１８に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる。２回目の学習時（２Ｔ）には、第２教師データＦ１を加えて学習モデル２５を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ２を加えて学習モデル２５を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ３を加えて学習モデル２５を学習させる。
このように、第８の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎに、さらに第２教師データＦを１つ加えて学習モデル２５を学習させる。ｎ＋１回の学習が終了すると、１回目の学習（１Ｔ）に戻り、設定された回数の学習が終了するまで上記学習を繰り返し行う。
なお、第８の例示的実施形態においては、２回目以降の学習において、回毎に１つの第２教師データＦ加えて学習モデル２５を学習させた。しかしながら、本開示の技術はこれに限られない。２つの第２教師データＦを加えてもよいし、３つ、４つ等、任意の数の第２教師データＦを加えることができる。また、加える第２教師データＦはランダムに選択されるようにしてもよい。図１９は第９の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。
学習部２４は、図１９に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２５を学習させる。２回目の学習時（２Ｔ）には、第２教師データＦ２、第２教師データＦ３、及び第２教師データＦ５を加えて学習モデル２５を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ４を加えて学習モデル２５を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ１及び第２教師データＦ４を加えて学習モデル２５を学習させる。
このように、第９の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎに、さらに第２教師データＦをランダムの個数加えて、設定された回数の学習が終了するまで学習モデル２５を学習させる。
なお、本開示の学習モデル２５の学習方法は上記第６～第９の例示的実施形態に示す学習方法に限られない。図２０は第１０の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。
学習部２４は、図２０に示すように、２回目以降の学習において、少なくとも１回、本例示的実施形態においては７回目の学習において、ｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２５を学習させる。なお、ｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２５を学習させる回は、７回目に限られず何れの回であってもよい。また、２回、３回とｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２５を学習させてもよい。
なお、上記例示的実施形態においては、疾患を梗塞としたが、本開示の技術はこれに限られず、例えば疾患は出血等であってもよい。
また、上記例示的実施形態においては、本開示の学習用画像としてＣＴ画像を用いている。しかしながら、本開示の技術はこれに限定されるものではなく、本開示の学習用画像は例えばＰＥＴ画像、超音波画像、及びＭＲＩ画像等の他の医用画像であってもよい。ＭＲＩ画像は、Ｔ１画像、Ｔ２画像、及び拡散強調画像の何れの画像であってもよい。
また、上記例示的実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身及び四肢等の医用画像に含まれる疾患領域及び関心領域等を判別する場合にも、本開示を適用することができる。
また、上記例示的実施形態においては、学習装置１は、学習用画像生成装置が内包されているが、本開示の技術はこれに限られず、学習用画像生成装置が内包されていなくてもよい。ただし、この場合、学習装置１は教師データ取得部２１を備えるものとし、教師データ取得部２１が、外部の学習用生成装置によって生成された変動学習用画像を含む第２教師データを取得するようにすればよい。
また、上記例示的実施形態においては、学習モデル２５は、Ｕ-Ｎｅｔの構造を有するものとしたが、本開示の技術はこれに限定されるものではない。Ｕ-Ｎｅｔ以外の、全層畳み込みネットワーク（Fully Convolution Network；ＦＣＮ）を使用してもよい。なお、セグメンテーションの問題をＥｎｄ-ｔｏ-Ｅｎｄ深層学習により学習するモデルを利用する際に、Ｕ-Ｎｅｔ及びＦＣＮに限られず、広く応用することができる。
また、上述した例示的実施形態において、例えば、教師データ取得部２１、制約範囲取得部２２、変動学習用画像生成部２３、学習部２４、学習モデル２５、及び表示制御部２６といった各種の処理を実行する処理部（Processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
２０１９年６月２８日出願の日本国特許出願２０１９－１２１３２５号の開示は、その全体が参照により本明細書に取り込まれる。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

  1. 学習用画像と、前記学習用画像において定義された正解領域とを組にした教師データを取得する教師データ取得部と、
    前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させた変動学習用画像を生成する変動学習用画像生成部と、
    を含む、学習用画像生成装置。
  2. 前記制約範囲を取得する制約範囲取得部を含む、請求項１に記載の学習用画像生成装置。
  3. 前記変動学習用画像生成部は、前記正解領域に属する画素のうちの１以上の画素の画素値を、一定の値で変動させる、請求項１又は２に記載の学習用画像生成装置。
  4. 前記変動学習用画像生成部は、前記正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させる、請求項１又は２に記載の学習用画像生成装置。
  5. 前記変動学習用画像生成部は、前記正解領域に属する画素の画素値に基づいて設定された正規分布に応じて、前記正解領域に属する画素のうちの１以上の画素の画素値を、画素毎に異なる値で変動させる、請求項１又は２に記載の学習用画像生成装置。
  6. 学習用画像と、前記学習用画像において定義された正解領域とを組にした教師データを取得し、
    前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させた変動学習用画像を生成する、
    学習用画像生成方法。
  7. 学習用画像と、前記学習用画像において定義された正解領域とを組にした教師データを取得する教師データ取得部と、
    前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させた変動学習用画像を生成する変動学習用画像生成部として、
    コンピュータを機能させる、学習用画像生成プログラム。
  8. 学習用画像と、前記学習用画像において定義された正解領域とを組にした１以上の第１教師データ、及び、前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像において定義された正解領域とを組にした１以上の第２教師データを用いてモデルを学習させる、学習方法。
  9. １回目の学習において、複数の前記第１教師データを用いて前記モデルを学習させ、２回目以降の学習において、複数の前記第１教師データのうちの少なくとも１つの前記第１教師データを前記第２教師データに換えて前記モデルを学習させる、請求項８に記載の学習方法。
  10. １回目の学習において、複数の前記第１教師データを用いて前記モデルを学習させ、２回目以降の学習において、少なくとも１つの前記第２教師データを追加して前記モデルを学習させる、請求項８に記載の学習方法。
  11. 前記２回目以降の学習において、前記学習の回毎に、使用する前記第２教師データ及び前記第２教師データの数の少なくとも一方をランダムに設定する、請求項９又は１０に記載の学習方法。
  12. 前記２回目以降の学習において、使用する前記第２教師データ及び前記第２教師データの数の少なくとも一方を予め設定する、請求項９又は１０に記載の学習方法。
  13. 前記２回目以降の学習において、少なくとも１回、複数の前記第１教師データのみを用いて前記モデルを学習させる、請求項９から１２の何れか１項に記載の学習方法。
  14. 学習用画像と、前記学習用画像において定義された正解領域とを組にした１以上の第１教師データ、及び、前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像において定義された正解領域とを組にした１以上の第２教師データとを取得する教師データ取得部と、
    前記教師データ取得部により取得された１以上の前記第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部と、
    を含む、学習装置。
  15. 前記学習部は、請求項９から請求項１３の何れか１項に記載の学習方法によって前記モデルを学習させる、請求項１４に記載の学習装置。
  16. 学習用画像と、前記学習用画像において定義された正解領域とを組にした１以上の第１教師データ、及び、前記学習用画像において、前記正解領域に属する画素の取り得る画素値の制約範囲内で、前記正解領域に属する画素の画素値を変動させて生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像において定義された正解領域とを組にした１以上の第２教師データとを取得する教師データ取得部と、
    前記教師データ取得部により取得された１以上の前記第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部として、
    コンピュータを機能させる学習プログラム。
JP2021527754A 2019-06-28 2020-06-26 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム Active JP7307166B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019121325 2019-06-28
JP2019121325 2019-06-28
PCT/JP2020/025121 WO2020262571A1 (ja) 2019-06-28 2020-06-26 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2020262571A1 JPWO2020262571A1 (ja) 2020-12-30
JPWO2020262571A5 JPWO2020262571A5 (ja) 2022-03-16
JP7307166B2 true JP7307166B2 (ja) 2023-07-11

Family

ID=74061763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021527754A Active JP7307166B2 (ja) 2019-06-28 2020-06-26 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム

Country Status (3)

Country Link
US (1) US20220122350A1 (ja)
JP (1) JP7307166B2 (ja)
WO (1) WO2020262571A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP2019091308A (ja) 2017-11-15 2019-06-13 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
JP2019088243A (ja) 2017-11-15 2019-06-13 大日本印刷株式会社 画像解析装置
JP2020021228A (ja) 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282822A (ja) * 1998-03-26 1999-10-15 Toshiba Corp 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置
WO2006114003A1 (en) * 2005-04-27 2006-11-02 The Governors Of The University Of Alberta A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system
US11419584B2 (en) * 2017-06-28 2022-08-23 Tokitae, LLC Devices, systems, and methods for diagnosis of pulmonary conditions through detection of b-lines in lung sonography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP2019091308A (ja) 2017-11-15 2019-06-13 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
JP2019088243A (ja) 2017-11-15 2019-06-13 大日本印刷株式会社 画像解析装置
JP2020021228A (ja) 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤 立登 外，深層学習を用いた道路標識検出のための３次元都市モデルに基づく学習用画像の生成，ＦＩＴ２０１８ 第１７回情報科学技術フォーラム 講演論文集，2018年09月12日

Also Published As

Publication number Publication date
US20220122350A1 (en) 2022-04-21
WO2020262571A1 (ja) 2020-12-30
JPWO2020262571A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
Antonelli et al. The medical segmentation decathlon
JP2022025095A (ja) 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
EP3685350A1 (en) Image reconstruction using machine learning regularizers
US6978039B2 (en) Method and system for segmentation of medical images
CN108701370A (zh) 基于机器学习的基于内容的医学成像渲染
Khader et al. Medical diffusion: denoising diffusion probabilistic models for 3D medical image generation
US10956635B1 (en) Radiologist-assisted machine learning with interactive, volume subtending 3D cursor
US11238197B1 (en) Generating a 3D dataset containing a simulated surgical device
CN111462020A (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
JP2021056995A (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理方法
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
JP2019101485A (ja) 情報処理方法、情報処理装置、情報処理システム及びプログラム
US11580673B1 (en) Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
KR102067412B1 (ko) 치매 평가 방법 및 이를 이용한 장치
JP7339270B2 (ja) 医用画像処理装置、方法およびプログラム
JP7321271B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
US20240005498A1 (en) Method of generating trained model, machine learning system, program, and medical image processing apparatus
KR20190114229A (ko) 영상 처리 장치 및 방법
JP7307166B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
US20230089212A1 (en) Image generation device, image generation method, image generation program, learning device, learning method, and learning program
JP2023114463A (ja) 表示装置、方法およびプログラム
JP7334256B2 (ja) 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
JP7170897B2 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R150 Certificate of patent or registration of utility model

Ref document number: 7307166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150