JP7196529B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7196529B2
JP7196529B2 JP2018196330A JP2018196330A JP7196529B2 JP 7196529 B2 JP7196529 B2 JP 7196529B2 JP 2018196330 A JP2018196330 A JP 2018196330A JP 2018196330 A JP2018196330 A JP 2018196330A JP 7196529 B2 JP7196529 B2 JP 7196529B2
Authority
JP
Japan
Prior art keywords
label
learning
correct
data
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018196330A
Other languages
English (en)
Other versions
JP2020064476A (ja
Inventor
寛威 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018196330A priority Critical patent/JP7196529B2/ja
Priority to US16/596,402 priority patent/US11176664B2/en
Publication of JP2020064476A publication Critical patent/JP2020064476A/ja
Priority to US17/505,249 priority patent/US11694126B2/en
Application granted granted Critical
Publication of JP7196529B2 publication Critical patent/JP7196529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
近年、医療分野において、機械学習（ＡＩ）を診断支援に用いようとする試みがある。機械学習とは、大量のデータを使用して機械にデータのパターンや相関を学習させ、識別、認識、検出、予測等を行うものである。機械学習により精度の高い機械学習モデル（識別器）を作成するためには、学習に用いる学習用データの量及び学習用データに対応する正解ラベルの質が重要である。
そこで、例えば、特許文献１には、データと正解ラベルの組み合わせの集合である第１のデータセットと第２のデータセットを用意し、教師セットとして用いるデータセットと評価セットとして用いるデータセットを交互に入れ替えながらデータセットを更新していくことで、学習に用いるラベルの質を向上させる技術が提案されている。
特開２０１５－８７９０３号公報
特許文献１では、予めデータと正解ラベルの組み合わせの集合である第１のデータセットと第２のデータセットを用意しておく必要がある。しかし、大量のデータに対する正解ラベルの作成は多大な時間・労力を伴い、近年の機械学習においては、特にこの正解ラベルの作成のコスト削減が大きな課題となっている。また、画像データの領域認識（セグメンテーション）を行うような学習に用いる正解ラベルの作成は、ユーザーが領域の詳細な輪郭に沿って領域を指定する必要があるため、煩雑で多大な労力を要する。
本発明の課題は、機械学習に用いる学習用データの正解ラベルの作成を効率的に行えるようにすることである。
上記課題を解決するため、請求項１に記載の発明の情報処理装置は、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段と、
を備える。
請求項２に記載の情報処理装置は、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段と、
を備える。
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記問題を複数の選択肢の中からユーザーが選択するための問題選択手段を備える。
請求項４に記載の発明は、請求項１～３のいずれか一項に記載の発明において、
前記機械学習モデルの種類を、少なくともディープラーニングの複数のネットワークを含む複数の選択肢の中からユーザーが選択するためのモデル選択手段を備える。
請求項５に記載の発明のプログラムは、
コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段、
として機能させる。
請求項６に記載の発明のプログラムは、
コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段、
として機能させる。
本発明によれば、機械学習に用いる学習用データの正解ラベルの作成を効率的に行うことが可能となる。
（ａ）は、学習用データの一例を示す図であり、（ｂ）は、機械学習の問題設定が領域認識である場合の（ａ）の正解ラベルを示す図である。 本発明の実施形態における情報処理装置の機能的構成を示すブロック図である。 図１の制御部により実行されるラベル作成処理を示すフローチャートである。 選択画面の一例を示す図である。 図３のステップＳ１２～Ｓ１８を繰り返し実行することによる学習用データセットと推定用データセットの量の変化を模式的に示す図である。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
〔情報処理装置１の構成〕
まず、本発明に係る情報処理装置１の構成について説明する。
情報処理装置１は、機械学習に用いるデータ（学習用データ）に対する正解ラベルの作成、複数の学習用データからなる学習用データセットを用いた学習による機械学習モデルの作成、入力されたデータ（正解ラベルが対応付けられていない未知のデータ）に対する機械学習モデルを用いた正解の推定等を行う装置である。情報処理装置１が機械学習により扱うデータは、特に限定されず、画像、音、文書等の様々なデータを用いることができるが、本実施形態では、医用画像を用いる場合を例にとり説明する。
ここで、正解ラベルとは、機械学習により処理する問題（識別、認識、検出、予測等）の正解を示す情報である。図１（ａ）は、学習用データの一例を示す図であり、図１（ｂ）は、機械学習に学習させる問題が領域認識である場合の、（ａ）の学習用データに対応する正解ラベルを示す図である。なお、（ｂ）の色分けされた各領域にはその領域が何の領域かを示す情報が対応付けられている。
図２は、第１の実施形態に係る情報処理装置１の機能的構成を示すブロック図である。図２に示すように、情報処理装置１は、制御部１１、記憶部１２、学習部１３、推定部１４、表示部１５、操作部１６、通信部１７等を備えて構成され、各部はバス１８により接続されている。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部１１のＣＰＵは、操作部１６の操作に応じて、記憶部１２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って、情報処理装置１各部の動作を集中制御する。例えば、制御部１１は、後述するラベル作成処理を実行し、ラベル確定手段、登録手段、制御手段、問題選択手段、モデル選択手段、ラベル作成補助手段として機能する。
記憶部１２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部１２は、システムプログラムや制御部１１で実行される各種プログラム、プログラムにより処理の実行に必要なパラメーター等のデータを記憶する。例えば、記憶部１２は、後述するラベル作成プログラムを実行するためのプログラム等を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部１１は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部１２は、学習用ＤＳ（Data Set）記憶部１２１、推定用ＤＳ記憶部１２２、確定待ちデータ記憶部１２３、登録待ちデータ記憶部１２４を有している。
学習用ＤＳ記憶部１２１は、学習部１３における機械学習に用いる学習用データセットを記憶する。
ここで、機械学習により精度の高い機械学習モデルを作成するためには大量の学習用データからなる学習用データセットが必要となるが、初期の（図３に示すラベル作成処理開始前）の学習用データセットとしては、要求される精度の機械学習モデルの作成に必要な量の学習用データを含んでいる必要はなく、その一部の少量の学習用データが記憶されていればよい。また、初期の段階においては、学習用ＤＳ記憶部１２１に正解ラベルが対応付けられた学習用データが記憶されていても、正解ラベルが対応付けられていない学習用データが記憶されていてもよい。
推定用ＤＳ記憶部１２２は、図３に示すラベル作成処理において推定部１４における推定の対象となる、正解ラベルが対応付けられていない未知のデータ（推定用データと呼ぶ）を記憶する。
ここで、図３に示すラベル作成処理開始前においては、推定用ＤＳ記憶部１２２には大量の推定用データセットが記憶されており、ラベル作成処理において推定部１４により推定用データの正解が推定され、推定結果を示すラベルが正解ラベルとして確定されると、その推定用データに確定した正解ラベルが対応付けられ、学習用データとして学習用ＤＳ１２１に登録される。
確定待ちデータ記憶部１２３は、後述するラベル作成処理において確定待ちの推定用データ及びラベルを一時的に格納するための領域である。
登録待ちデータ記憶部１２４は、学習用ＤＳ記憶部１２１への登録を待機している推定用データ及び対応する正解ラベルを一時的に格納するための領域である。
学習部１３は、学習用データセットを用いて学習を行い、推定部１４において入力されたデータに対し予め設定された問題についての正解を推定するための機械学習モデルを作成し、推定部１４に出力する。学習部１３は、制御部１１のＣＰＵと学習部１３内に記憶されている各種学習プログラムとの協働により実現されることとするが、専用のハードウエアにより構成されることとしてもよい。
推定部１４は、学習部１３により生成された機械学習モデルを用いて、入力されたデータに対する、予め設定された問題についての正解を推定する。ラベル作成処理において、推定部１４は、推定用ＤＳ記憶部１２２に記憶されている推定用データを入力データとして推定用データの正解を推定する。推定部１４は、制御部１１のＣＰＵと機械学習モデルとの協働により実現されることとするが、専用のハードウエアにより構成されることとしてもよい。
表示部１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成され、制御部１１から入力される表示信号の指示に従って、操作部１６からの入力指示やデータ等を表示する。
操作部１６は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１６は、表示部１５の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。
通信部１７は、ＬＡＮアダプターやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークに接続された外部装置との間のデータ送受信を制御する。
〔情報処理装置１の動作〕
次に、本実施形態における情報処理装置１の動作について説明する。
図３に、撮影用コンソール２の制御部１１において実行されるラベル作成処理のフローチャートを示す。ラベル作成処理は、制御部１１と記憶部１２に記憶されているプログラムとの協働により実行される。
まず、制御部１１は、図４に示す選択画面１５１を表示部１５に表示させ、操作部１６による機械学習の問題設定（機械学習により処理する問題）、作成する機械学習モデルの種類、問題設定が領域認識の場合の抽出傾向等の選択を受け付ける（ステップＳ１０）。
機械学習の問題設定の選択肢としては、例えば、領域認識、識別、検出、予測等が挙げられる。処理対象のデータが医用画像である場合、領域認識では、例えば、構造物領域（肺野、心臓、骨等）や病変領域を認識する。識別では、例えば、撮影部位（頭部、胸部、腹部等）を識別する。検出では、例えば、特定の部位や病変を検出する。予測では、例えば、余命や疾病等を予測する。
機械学習モデルの種類の選択肢としては、例えば、Deep Learning（ディープラーニング）の各種ネットワークモデル（例えば、AlexNet、GoogleNet、ResNet等）、RandomForest、SVM（サポートベクターマシン）等が挙げられる。
抽出傾向の選択肢としては、例えば、過抽出、抽出不足、指定なし等が挙げられる。
次いで、制御部１１は、学習用ＤＳ記憶部１２１に記憶されている学習用データの正解ラベルを作成する（ステップＳ１１）。
ステップＳ１１においては、学習用ＤＳ記憶部１２１に記憶されている学習用データのうち、正解ラベルが対応付けられていないものについての正解ラベルの作成を行う。正解ラベルが対応付けられている学習用データについては、正解ラベルの作成は行わない。なお、正解ラベルの作成は、医用画像全体に対するものであってもよいし、医用画像の一部分に対するものであってもよい。
ステップＳ１１において、正解ラベルが対応付けられていない学習用データに正解ラベルを作成する際、表示部１５に学習用データを表示してユーザー操作に応じて正解ラベルを作成してもよいが、例えば、問題設定が領域認識である場合、ユーザー操作による正解ラベルの作成は、画像内の物（構造物や病変）の領域を目視で認識し、認識した領域をマウス等で指定（所定の色で塗り潰す等）し、各領域が何の領域であるかを示す情報を付与する等の作業が必要となり労力と時間がかかる。また、例えば、医用画像における病変の辺縁は、認識に苦慮することがあり、また医師間でも認識に差異が生じる可能性がある。そこで、記憶部１２にラベル作成補助アルゴリズム（プログラム）を記憶しておき、制御部１１は、操作部１６による指示に基づいて、記憶部１２に記憶されたアルゴリズムを用いて正解ラベルを作成することが好ましい。
ラベル作成補助アルゴリズムとしては、例えば、同一被写体を異なる時期に撮影した複数の医用画像に経時差分処理を行ってラベルを作成するアルゴリズムを用いることができる。例えば、正解ラベルの作成対象の学習用データと同一被写体の、病変がなかったときの医用画像を用いて経時差分処理を行うことにより、正解ラベル作成対象の学習用データの病変の領域を自動で認識して正解ラベルを作成することができる。
また、例えば、同一被写体を複数回連続的に撮影することにより得られた動画像のうちユーザー操作により任意の１のフレームについて正解ラベルを作成させ、他のフレームについては、１フレームについて作成した正解ラベルにワーピング処理を施して他のフレーム画像の領域ラベルを作成するアルゴリズムをラベル作成補助アルゴリズムとして用いてもよい。
その他、二値化処理、判別分析法等の閾値処理等の領域認識アルゴリズムをラベル作成補助アルゴリズムとして用いてもよい。
また、医師が判断した病変位置等を示すレポートの情報に基づいて自動的に正解ラベルを作成してもよい。
次いで、制御部１１は、学習用データとその学習用データについて作成した正解ラベルとを対応付けて学習用ＤＳ記憶部１２１に登録する（ステップＳ１２）。
次いで、制御部１１は、学習部１３に対し、学習用ＤＳ記憶部１２１に登録された学習用データセットに基づいて学習を行わせ、推定部１４において入力されたデータに対しステップＳ１０で選択された問題についての正解を推定するための機械学習モデルを作成させる（ステップＳ１３）。
次いで、制御部１１は、推定用ＤＳ記憶部１２２に推定用データが存在するか否かを判断する（ステップＳ１４）。
推定用ＤＳ記憶部１２２に推定用データが存在すると判断した場合（ステップＳ１４；ＹＥＳ）、制御部１１は、操作部１６により終了指示が入力されたか否かを判断する（ステップＳ１５）。
操作部１６により終了指示が入力されていないと判断した場合（ステップＳ１５；ＮＯ）、制御部１１は、推定部１４に対し、推定用ＤＳ記憶部１２２に記憶されている推定用データを入力データとしてステップＳ１３で作成された機械学習モデルを用いて順次正解の推定を行わせ、推定結果を示すラベルを推定用データに対応付けて確定待ちデータ記憶部１２３に記憶させる（ステップＳ１６）。なお、推定済みの推定用データは推定用ＤＳ記憶部１２２から削除する。
確定待ちデータ記憶部１２３にラベルが対応付けられた推定用データが記憶されると、制御部１１は、表示部１５に推定用データ及び推定結果を示すラベルを表示し、操作部１６による推定結果を示すラベルの正解ラベルとしての確定指示、又は、推定結果を示すラベルの修正及び正解ラベルとしての確定の指示を受け付ける（ステップＳ１７）。
ユーザーは、表示部１５に表示された推定用データ及びラベルを確認し、推定結果を示すラベルが正解である場合は、操作部１６により確定指示を入力する。推定結果を示すラベルが間違っている場合は、操作部１６によりラベルを修正した後、確定指示を入力する。ここで、設定された問題が領域認識である場合、ユーザーの好み（領域を狭める（消す）修正が好みか領域を広げる（塗り潰す）修正が好みか）に応じて抽出傾向として過抽出又は抽出不足を選択しておくことで、ラベルの修正を行いやすくすることができる。ラベルの確定の指示が入力されると、制御部１１は、確定したラベルを正解ラベルとして推定用データに対応付けて登録待ちデータ記憶部１２４に記憶する。なお、確定した推定用データは確定待ちデータ記憶部１２３から削除する。
ステップＳ１７において確定待ちデータ記憶部１２３に記憶されている推定用データ及び推定結果を示すラベルを表示部１５に表示する際、制御部１１は、ユーザーが操作部１６により修正を行うためのツールや確定指示を行うための確定ボタンを表示するとともに、表示されているラベルへの処理をスキップするためのスキップボタンを表示する。これにより、ユーザーは、修正に手間がかかるものは後回しにし、一見して正解のものから確定していくことができ、後段の学習用データセットへの追加登録及び機械学習モデルの更新を効率よく行うことが可能となる。
次いで、制御部１１は、操作部１６により、正解ラベルが確定した推定用データを学習用ＤＳ記憶部１２１に登録する指示が入力されたか否かを判断する（ステップＳ１８）。
正解ラベルが確定した推定用データを学習用ＤＳ記憶部１２１に登録する指示が入力されていないと判断した場合（ステップＳ１８；ＮＯ）、制御部１１はステップＳ１７に戻り、確定待ちデータ記憶部１２３に順次記憶される、推定部１４による推定結果を示すラベルの正解ラベルとしての確定指示、又は、推定結果を示すラベルの修正及び正解ラベルとしての確定の指示を受け付ける。
正解ラベルが確定した推定用データの学習用ＤＳ記憶部１２１への登録指示が入力されたと判断した場合（ステップＳ１８；ＹＥＳ）、制御部１１は、ステップＳ１２に戻り、登録待ちデータ記憶部１２４に記憶されている、正解ラベルが対応付けられた推定用データを学習用データとして学習用ＤＳ記憶部１２１に登録（追加登録）し、登録待ちデータ記憶部１２４から削除する。そして、制御部１１は、追加登録された学習用データを含めた学習用データセットに基づいて、学習部１３に学習を行わせ、推定部１４において入力されたデータに対し予め設定された問題についての正解を推定するための機械学習モデルを作成させる。
制御部１１は、ステップＳ１４において推定用ＤＳ記憶部１２２に推定用データがなくなったと判断するか、又は操作部１６によりラベル作成の終了指示が入力されるまで、ステップＳ１２～Ｓ１８の処理を繰り返し実行する。ステップＳ１４において推定用ＤＳ記憶部１２２に推定用データがなくなった（すなわち推定用ＤＳ記憶部１２２に記憶されていた推定用データの全てに正解ラベルが対応付けられた）と判断した場合（ステップＳ１４；ＮＯ）、又は操作部１６によりラベル作成の終了指示が入力された場合（ステップＳ１５；ＹＥＳ）、制御部１１は、ラベル作成処理を終了する。
ラベル作成処理で作成された機械学習モデルは、推定部１４に入力され、未知のデータに対する正解の推定に用いられる。
以上説明したように、本実施形態のラベル作成処理では、制御部１１は、学習部１３による、学習用データセットを用いた機械学習モデルの作成、推定部１４による、作成された機械学習モデルを用いた未知の推定用データの正解の推定、推定結果を示すラベルのユーザーによる正解ラベルとしての確定（修正及び確定）、確定した正解ラベルが対応付けられた推定用データの学習用データセットへの追加登録（ステップＳ１２～Ｓ１８の処理）を繰り返し実行させる。ステップＳ１２～Ｓ１８の処理を繰り返していくにつれて、図５に示すように、学習用データセットの量は増加していく。
したがって、初期の学習用データとして正解ラベルが対応付けられた少量の学習用データを用意すれば、あとはユーザーが正解ラベルの付与されていないデータに対して機械学習モデルで推定された推定結果をそのまま正解ラベルとして確定、または軽微な修正の後、正解ラベルとして確定する作業をするだけで正解ラベルが対応付けられた学習用データを作成することができるため、機械学習に用いる学習用データの正解ラベルの作成を効率的に行うことが可能となる。特に、画像データに対する領域認識等の正解ラベルの作成は、煩雑で多大な労力を要していたが、大幅に工数を低減することが可能となる。また、処理を繰り返すにつれて、機械学習に用いる学習用データセットの量が増加し、機械学習モデルによる推定用データに対する推定精度が向上していくため、ユーザーによる機械学習の推定結果の修正が減少し、より効率的に正解ラベルの作成を行うことが可能となる。
また、機械学習モデルが処理する問題を複数の選択肢の中から選択することができるので、ユーザーが所望する問題に対する正解ラベルを効率的に作成することが可能となる。また、問題の処理に適用する機械学習モデルの種類をユーザーが選択することができるので、ユーザーが所望する機械学習モデルで正解ラベルを作成することができる。
また、正解ラベルが対応付けられていない学習用データの正解ラベルの作成を補助するアルゴリズムを有し、自動又は半自動で正解ラベルを作成するので、ユーザーが操作部１６を操作して学習用データの正解ラベルを手動で作成する手間を低減することができる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態では、正解ラベルが対応付けられた学習用データを効率的に取得することを目的として図３に示すラベル作成処理を行ったが、精度の良い機械学習モデルを作成することを目的として図３に示すラベル作成処理を行うこととしてもよい。
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、情報処理装置を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１ 情報処理装置
１１ 制御部
１２ 記憶部
１２１ 学習用ＤＳ記憶部
１２２ 推定用ＤＳ記憶部
１２３ 確定待ちデータ記憶部
１２４ 登録待ちデータ記憶部
１３ 学習部
１４ 推定部
１５ 表示部
１６ 操作部
１７ 通信部
１８ バス

Claims (6)

  1. 予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
    前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
    ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
    前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
    前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
    前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段と、
    を備える情報処理装置。
  2. 予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
    前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
    ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
    前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
    前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
    前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段と、
    を備える情報処理装置。
  3. 前記問題を複数の選択肢の中からユーザーが選択するための問題選択手段を備える請求項１又は２に記載の情報処理装置。
  4. 前記機械学習モデルの種類を、少なくともディープラーニングの複数のネットワークを含む複数の選択肢の中からユーザーが選択するためのモデル選択手段を備える請求項１～３のいずれか一項に記載の情報処理装置。
  5. コンピューターを、
    予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
    前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
    ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
    前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
    前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
    前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段、
    として機能させるためのプログラム。
  6. コンピューターを、
    予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
    前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
    ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
    前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
    前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
    前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段、
    として機能させるためのプログラム。
JP2018196330A 2018-10-18 2018-10-18 情報処理装置及びプログラム Active JP7196529B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018196330A JP7196529B2 (ja) 2018-10-18 2018-10-18 情報処理装置及びプログラム
US16/596,402 US11176664B2 (en) 2018-10-18 2019-10-08 Information processing apparatus and recording medium
US17/505,249 US11694126B2 (en) 2018-10-18 2021-10-19 Information processing apparatus and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018196330A JP7196529B2 (ja) 2018-10-18 2018-10-18 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020064476A JP2020064476A (ja) 2020-04-23
JP7196529B2 true JP7196529B2 (ja) 2022-12-27

Family

ID=70280988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018196330A Active JP7196529B2 (ja) 2018-10-18 2018-10-18 情報処理装置及びプログラム

Country Status (2)

Country Link
US (2) US11176664B2 (ja)
JP (1) JP7196529B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523839B1 (ko) * 2020-06-16 2023-04-20 (주) 씨이랩 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법
KR102548203B1 (ko) * 2021-01-20 2023-06-29 프로메디우스 주식회사 인공 신경망 기반의 의료 영상 분석 장치, 방법 및 이의 학습 방법
WO2023097639A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 用于图像分割的数据标注方法和系统以及图像分割装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107743A (ja) 2003-09-29 2005-04-21 Nec Corp 学習システム
JP2005293264A (ja) 2004-03-31 2005-10-20 Olympus Corp 学習型分類装置及び学習型分類方法
JP2015511140A (ja) 2012-02-01 2015-04-16 コーニンクレッカ フィリップス エヌ ヴェ 被写体画像ラベリング装置、方法及びプログラム
US20190073447A1 (en) 2017-09-06 2019-03-07 International Business Machines Corporation Iterative semi-automatic annotation for workload reduction in medical image labeling

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115198A1 (ja) * 2013-01-22 2014-07-31 Ｎｅｃソフト株式会社 入力支援システム、入力支援方法および入力支援プログラム
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP2015087903A (ja) 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
JP6985856B2 (ja) * 2017-08-31 2021-12-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6821048B2 (ja) * 2017-10-06 2021-01-27 富士フイルム株式会社 画像処理装置、学習済みモデル生成方法、及び評価装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107743A (ja) 2003-09-29 2005-04-21 Nec Corp 学習システム
JP2005293264A (ja) 2004-03-31 2005-10-20 Olympus Corp 学習型分類装置及び学習型分類方法
JP2015511140A (ja) 2012-02-01 2015-04-16 コーニンクレッカ フィリップス エヌ ヴェ 被写体画像ラベリング装置、方法及びプログラム
US20190073447A1 (en) 2017-09-06 2019-03-07 International Business Machines Corporation Iterative semi-automatic annotation for workload reduction in medical image labeling

Also Published As

Publication number Publication date
JP2020064476A (ja) 2020-04-23
US20220036551A1 (en) 2022-02-03
US20200126217A1 (en) 2020-04-23
US11176664B2 (en) 2021-11-16
US11694126B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
US11694126B2 (en) Information processing apparatus and recording medium
US11854205B2 (en) Medical image segmentation method and apparatus, computer device, and storage medium
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
KR102298412B1 (ko) 수술영상데이터 학습시스템
JP5946221B2 (ja) 輪郭修正装置、方法およびプログラム
JP6645810B2 (ja) 医用画像処理装置、医用画像処理方法、医用画像処理システム、及び医用画像処理プログラム
US9905006B2 (en) Medical image processing apparatus, medical image processing method, and medical imaging system
JP2021535484A (ja) 自動的な腫瘍検出及び分類のためのシステム
US10007514B2 (en) Management apparatus, management system, management method, and non-transitory computer readable medium
US8897517B2 (en) Imaging system with reporting function and method of operation thereof
US11113577B1 (en) Systems and methods for detecting laterality of a medical image
CN111063422A (zh) 一种医学图像标注方法、装置、设备及介质
US9454814B2 (en) PACS viewer and a method for identifying patient orientation
CN113744843A (zh) 医疗影像数据处理方法、装置、计算机设备和存储介质
EP4296945A1 (en) Labeling method and computing device therefor
EP4258282A1 (en) Method for analyzing output of neural network, and system therefor
JP2009061174A (ja) 医用画像診断支援装置
CN111784705B (zh) 感兴趣区域的勾画方法、装置、设备和存储介质
WO2010026788A1 (ja) 医用画像処理装置及び医用画像処理方法
Chakravarty et al. An assistive annotation system for retinal images
JP2016105796A (ja) 医療診断支援装置及び医療診断支援方法
EP3654251A1 (en) Determining a processing sequence for processing an image
JP7434923B2 (ja) 画像診断支援装置及びプログラム
WO2023188160A1 (ja) 入力支援装置、入力支援方法、及び非一時的なコンピュータ可読媒体
JP7383684B2 (ja) 情報処理装置、情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7196529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150