WO2020262682A1 - 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル - Google Patents

学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル Download PDF

Info

Publication number
WO2020262682A1
WO2020262682A1 PCT/JP2020/025400 JP2020025400W WO2020262682A1 WO 2020262682 A1 WO2020262682 A1 WO 2020262682A1 JP 2020025400 W JP2020025400 W JP 2020025400W WO 2020262682 A1 WO2020262682 A1 WO 2020262682A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
neural network
image
target image
feature
Prior art date
Application number
PCT/JP2020/025400
Other languages
English (en)
French (fr)
Inventor
ディーパック ケシュワニ
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021528289A priority Critical patent/JP7342120B2/ja
Publication of WO2020262682A1 publication Critical patent/WO2020262682A1/ja
Priority to US17/556,983 priority patent/US20220114393A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
    • G01T1/2914—Measurement of spatial distribution of radiation
    • G01T1/2985—In depth localisation, e.g. using positron emitters; Tomographic imaging (longitudinal and transverse section imaging; apparatus for radiation diagnosis sequentially in different planes, steroscopic radiation diagnosis)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Definitions

  • the first learning unit 22 extracts a feature vector in each pixel of a target image including a plurality of objects (vertebrates in the present embodiment), and in the feature space which is the space of the feature vector, each individual included in the target image.
  • the feature vectors of the pixels belonging to the object are clustered, and the first neural network N1 that outputs the feature maps distributed as a plurality of feature vector groups is trained.
  • the first learning unit 22 outputs a feature map in which feature vectors for individual objects included in the target image are clustered in the feature space and distributed as a cluster consisting of a plurality of feature vector groups.
  • the first neural network N1 is trained.
  • FIG. 4 is a conceptual diagram of the generation of the feature map.
  • FIG. 4 shows the feature vectors for each of the three objects by circles, squares, and triangles. Feature vectors represented by the same shape correspond to the same object.
  • feature maps are generated such that the feature vectors of the same object are closer together as shown by the single arrow and the feature vectors of different objects are farther apart as shown by the double double arrow.
  • the feature vector is clustered and distributed in the feature space in the three clusters C1 to C3 shown by the middle circle in FIG.
  • the three clusters C1 to C3 in the feature space are standardized so as to be distributed within a predetermined range in the feature space.

Abstract

第１学習部が、複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、特徴ベクトルの空間である特徴空間において、対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークを学習する。第２学習部が、対象画像の特徴ベクトルの入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークを学習する。

Description

学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル
　本開示は、画像に含まれる物体を識別するニューラルネットワークを学習する学習装置、方法およびプログラム、画像に含まれる物体のクラスを分類するクラス分類装置、方法およびプログラム、並びに学習済みモデルに関するものである。
　近年、ディープラーニング（深層学習）を用いた機械学習の技術が注目を集めている。特に、画像に含まれる物体を識別するクラス分類の分野における様々な技術が提案されている。例えば、画像の全ピクセルをピクセル単位でラベリングすることによりクラス分類を行うセマンティックセグメンテーションが公知である。しかしながら、セマンティックセグメンテーションは、同一カテゴリの物体であれば個々を区別しないでセグメンテーションを行うことから、同一カテゴリの物体が重なっている場合、個々の物体を区別することができない。このため、個々の物体を区別してセグメンテーションするインスタンスセグメンテーションの手法が提案されている（例えば、下記の非特許文献１～３参照）。インスタンスセグメンテーションを用いることにより、同一カテゴリの物体であっても、個々の物体を区別してセグメンテーションを行うことが可能となるため、同一カテゴリの物体が重なっていても、物体を個別にセグメンテーションすることができる。
　非特許文献１：Semantic Instance Segmentation with a Discriminative Loss Function、Bert De Brabandere, Davy Neven, Luc Van Gool、Computer Vision and Pattern Recognition、"Deep Learning for Robotic Vision", workshop at CVPR 2017、Submitted on 8 Aug 2017
　非特許文献２：Semantic Instance Segmentation via Deep Metric Learning、Alireza Fathi, Zbigniew Wojna, Vivek Rathod, Peng Wang, Hyun Oh Song, Sergio Guadarrama, Kevin P. Murphy、Computer Vision and Pattern Recognition、Submitted on 30 Mar 2017
　非特許文献３：Recurrent Pixel Embedding for Instance Grouping、Shu Kong, Charless Fowlkes、Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Multimedia (cs.MM)、Submitted on 22 Dec 2017
　上述したインスタンスセグメンテーションの手法により、同一カテゴリの個々の物体を区別してセグメンテーションできる。一方、画像に含まれる同一カテゴリの複数の物体が、複数のクラスに分類できる場合がある。例えば、人体の脊椎を構成する複数の椎骨は、頸椎、胸椎および腰椎の３つのクラスに分類することができる。しかしながら、インスタンスセグメンテーションの手法は、画像に含まれる個々の椎骨を区別してセグメンテーションできるが、セグメンテーションした椎骨を、頸椎、胸椎および腰椎のような個々のクラスに分類することができない。
　本開示は上記事情に鑑みなされたものであり、画像に含まれる同一カテゴリに属する複数の物体をさらにクラス分類できるようにすることを目的とする。
　本開示による学習装置は、複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、特徴ベクトルの空間である特徴空間において、対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、学習用画像についての学習用特徴マップを出力し、学習用特徴マップにおける複数の特徴ベクトル群の分布および正解データに基づいて、学習用画像における画素間の第１損失を、学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、第１損失に基づいて第１ニューラルネットワークを学習する第１学習部と、
　対象画像の特徴ベクトルの入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、学習用クラス分類結果および正解データに基づいて、クラス分類結果についての第２損失を導出し、第２損失に基づいて第２ニューラルネットワークを学習する第２学習部とを備える。
　なお、本開示による学習装置においては、特徴ベクトルの代表値は、学習用画像に含まれる同一カテゴリに属する個々の物体のそれぞれに対応する特徴ベクトル群に含まれる特徴ベクトルの代表値であってもよい。
　また、本開示による学習装置においては、特徴ベクトルの代表値は、学習用画像に含まれる同一カテゴリに属するすべての物体の特徴ベクトルの代表値であってもよい。
　また、本開示による学習装置においては、代表値は、特徴ベクトルの平均値、重み付け平均値、中央値、最小値および最大値の少なくとも１つであってもよい。
　また、本開示による学習装置においては、第１ニューラルネットワークは、全層畳み込みニューラルネットワークであってもよい。
　また、本開示による学習装置においては、第２ニューラルネットワークは、全結合ニューラルネットワークであってもよい。
　また、本開示による学習装置においては、対象画像および学習用画像は医用３次元画像であってもよい。
　また、本開示による学習装置においては、物体は椎骨であり、クラス分類結果は、椎骨の頸椎、胸椎および腰椎の少なくとも１つへの分類結果であってもよい。
　本開示によるクラス分類装置は、本開示による学習装置により学習された、第１ニューラルネットワークおよび第２ニューラルネットワークを含む学習済みモデルが適用されてなり、対象画像の入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力するクラス分類部を備える。
　なお、本開示によるクラス分類装置においては、クラス分類結果に応じて、対象画像に含まれる物体にラベリングを行うラベリング部と、
　ラベリングされた対象画像を表示部に表示する表示制御部とをさらに備えるものであってもよい。
　本開示による学習済みモデルは、本開示による学習装置により学習された第１ニューラルネットワークおよび第２ニューラルネットワークを含む。
　本開示による学習方法は、複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、特徴ベクトルの空間である特徴空間において、対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、学習用画像についての学習用特徴マップを出力し、学習用特徴マップにおける複数の特徴ベクトル群の分布および正解データに基づいて、学習用画像における画素間の第１損失を、学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、第１損失に基づいて第１ニューラルネットワークを学習し、
　対象画像の特徴ベクトルの入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、学習用クラス分類結果および正解データに基づいて、クラス分類結果についての第２損失を導出し、第２損失に基づいて第２ニューラルネットワークを学習する。
　本開示によるクラス分類方法は、本開示の学習方法により学習された、第１ニューラルネットワークおよび第２ニューラルネットワークを含む学習済みモデルを用いて、対象画像の入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する。
　なお、本開示による学習方法およびクラス分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、特徴ベクトルの空間である特徴空間において、対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、学習用画像についての学習用特徴マップを出力し、学習用特徴マップにおける複数の特徴ベクトル群の分布および正解データに基づいて、学習用画像における画素間の第１損失を、学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、第１損失に基づいて第１ニューラルネットワークを学習し、
　対象画像の特徴ベクトルの入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、学習用クラス分類結果および正解データに基づいて、クラス分類結果についての第２損失を導出し、第２損失に基づいて第２ニューラルネットワークを学習する処理を実行する。
　本開示による他のクラス分類装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　本開示による学習装置により学習された、第１ニューラルネットワークおよび第２ニューラルネットワークを学習済みモデルを用いて、対象画像の入力により、対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する処理を実行する。
　本開示によれば、対象画像に含まれる同一カテゴリに属する複数の物体をさらにクラス分類できる。
本開示の実施形態による学習装置およびクラス分類装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態によるクラス分類装置の概略構成を示す図 第１のニューラルネットワークおよび第２ニューラルネットワークの構成および学習処理を説明するための概略ブロック図 特徴マップの生成の概念図 特徴マップを模式的に示す図 ラベリングされた対象画像を示す図 椎骨を構成する頸椎、胸椎および腰椎のラベルを示す図 ラベリングされた対象画像を示す図 本実施形態において行われる学習処理を示すフローチャート 本実施形態において行われるクラス分類処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による学習装置およびクラス分類装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による学習装置およびクラス分類装置（以下、単にクラス分類装置とする）１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被写体の診断対象となる部位を含むＣＴ画像を３次元画像として生成する。なお、３次元画像は複数の断層画像からなる。また、本実施形態においては、３次元画像に含まれる脊椎を構成する複数の椎骨をクラス分類の対象とする。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述するニューラルネットワークの学習のための学習用画像も保管して管理している。
　本実施形態の学習装置を含むクラス分類装置１は、１台のコンピュータに、本実施形態の学習プログラムおよびクラス分類プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラムおよびクラス分類プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
　図２は、コンピュータに学習プログラムおよびクラス分類プログラムをインストールすることにより実現されるクラス分類装置の概略構成を示す図である。図２に示すように、クラス分類装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、クラス分類装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得したクラス分類の対象となる対象画像、後述するようにニューラルネットワークの学習を行うための学習用画像、および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、学習プログラムおよびクラス分類プログラムが記憶されている。学習プログラムは、ＣＰＵ１１に実行させる処理として、後述する第１および第２ニューラルネットワークを学習するための学習用画像およびクラス分類を行う対象となる対象画像を取得する画像取得処理、第１ニューラルネットワークの学習のための第１損失を導出し、第１損失に基づいて第１ニューラルネットワークを学習する第１学習処理、および後述する第２ニューラルネットワークの学習のための第２損失を導出し、第２損失に基づいて第２ニューラルネットワークを学習する第２学習処理を規定する。
　クラス分類プログラムは、ＣＰＵ１１に実行させる処理として、画像取得処理により取得したクラス分類の対象となる対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力するクラス分類処理、クラス分類結果に応じて、対象画像に含まれる物体にラベリングを行うラベリング処理、およびラベリングされた対象画像を表示部１４に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１が学習プログラムおよびクラス分類プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、第１学習部２２、第２学習部２３、クラス分類部２４、ラベリング部２５および表示制御部２６として機能する。
　画像取得部２１は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、椎骨を含む３次元画像を対象画像として取得する。また、学習のための学習用画像および後述する正解データを取得する。
　第１学習部２２は、複数の物体（本実施形態においては椎骨）が含まれる対象画像の各画素における特徴ベクトルを抽出し、特徴ベクトルの空間である特徴空間において、対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークＮ１の学習を行う。具体的には、第１学習部２２は、対象画像に含まれる個々の物体についての特徴ベクトルが、特徴空間においてクラスタリングされて、複数の特徴ベクトル群からなるクラスタとして分布する特徴マップを出力するように、第１ニューラルネットワークＮ１の学習を行う。
　第２学習部２３は、対象画像の特徴ベクトルの入力により、対象画像に含まれる同一カテゴリに属する複数の物体が、複数のクラスのうちのいずれのクラスに属するかのクラス分類結果を出力する第２ニューラルネットワークＮ２の学習を行う。具体的には、第２学習部２３は、対象画像の特徴ベクトルの入力により、特徴マップに含まれる個々の物体に対応するクラスタが複数のクラスのそれぞれに属する確率を出力するように、第２ニューラルネットワークＮ２の学習を行う。
　図３は第１のニューラルネットワークＮ１および第２ニューラルネットワークＮ２の構成および学習処理を説明するための概略ブロック図である。図３に示すように、第１学習部２２は、第１ニューラルネットワークＮ１に学習用画像３１および正解データ３２を入力し、学習用特徴マップ３３を出力させる。学習用特徴マップ３３は、学習用画像３１における各ボクセルの特徴ベクトルが、学習用画像３１に含まれる個々の物体毎にクラスタリングされて分布されてなる。
　ここで、学習用画像３１は、人体の脊椎を構成する椎骨の全部または一部を含む。また、正解データ３２は、学習用画像３１に含まれる個々の椎骨が区別されてなるデータである。なお、図３においては、個々の椎骨が区別されていることを、各椎骨に異なるハッチングを付与することにより示している。また、正解データ３２は、各椎骨が、頸椎、胸椎および腰椎のいずれかのクラスへの分類結果の情報も含む。
　第１ニューラルネットワークＮ１は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）からなる。また、第１ニューラルネットワークＮ１が有する処理層は、入力される全層が畳み込み層からなるため、第１ニューラルネットワークＮ１は、全層畳み込みニューラルネットワークである。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップを出力する。
　本実施形態において、第１学習部２２は、第１ニューラルネットワークＮ１に、学習用画像３１および学習用画像３１に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データ３２を入力することにより、第１ニューラルネットワークＮ１から学習用画像３１についての学習用特徴マップ３３を出力させる。本実施形態において、第１ニューラルネットワークＮ１は、学習用画像３１に含まれる同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなるように学習用特徴マップ３３を生成する。このため、第１の学習部２２は、学習用特徴マップ３３における複数の特徴ベクトル群の分布および正解データ３２に基づいて、学習用画像３１における画素間の第１損失Ｌinstを、学習用画像３１における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出する。
　図４は特徴マップの生成の概念図である。なお、図４は、３つの物体のそれぞれについての特徴ベクトルを、丸、四角および三角により示している。同一形状により表される特徴ベクトルは同一の物体に対応する。図４に示すように、同一物体の特徴ベクトルは片矢印に示すようにより近づき、異なる物体の特徴ベクトルは二重両矢印に示すようにより離れるように、特徴マップが生成される。これにより、特徴ベクトルは特徴空間において図４中円で示す３つのクラスタＣ１～Ｃ３にクラスタリングされて分布することとなる。なお、本実施形態においては、特徴空間における３つのクラスタＣ１～Ｃ３は、特徴空間における予め定められた範囲内に分布するように規格化される。
　学習用画像３１における同一の物体に属する画素間の特徴ベクトルの距離が小さくなる関数を、下記の式（１）に示す。また、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数を、下記の式（２）に示す。さらに、規格化のための関数を、下記の式（３）に示す。関数（１）は同一物体の特徴ベクトルが近づく場合における特徴ベクトルと正解データに基づく損失Ｌvarを表す。関数（２）は異なる物体の特徴ベクトルが離れる場合における特徴ベクトルと正解データに基づく損失Ｌdistを表す。関数（３）は正規化の損失Ｌregを表す。第１損失Ｌinstは、式（４）により表される。
Figure JPOXMLDOC01-appb-M000001
 
Figure JPOXMLDOC01-appb-M000002
　このように、第１ニューラルネットワークＮ１を学習することにより、第１ニューラルネットワークＮ１に対象画像が入力されると、対象画像に含まれる同一カテゴリに属する個々の物体についての特徴ベクトルが、特徴空間においてクラスタリングされて分布する特徴マップが出力される。図５は特徴マップを模式的に示す図である。なお、図５においては、特徴ベクトルが２次元であるものとして２次元の特徴空間の特徴マップを示しているが、実際には特徴ベクトルの次元に対応する次元の特徴空間において特徴マップが出力される。また、図５においては円はクラスタを、クラスタ内の点は特徴ベクトルを表す。図５に示す特徴マップにおいては、特徴空間に同一の物体の特徴ベクトルが５つのクラスタＣ１～Ｃ５にまとまり、かつ５つのクラスタＣ１～Ｃ５が互いに離れるように分布している。これは、対象画像に５つの物体（すなわち椎骨）が含まれ、５つの物体がセグメンテーションされていることを表す。
　第１学習部２２は、第１損失Ｌinstが予め定められたしきい値以下となるように、第１ニューラルネットワークＮ１を構成する畳み込み層の数、カーネルの係数およびカーネルの大きさ等を導出することにより、第１ニューラルネットワークＮ１の学習を行う。これにより、第１ニューラルネットワークＮ１に対象画像が入力されると、第１ニューラルネットワークＮ１は、対象画像に含まれる同一カテゴリに属する複数の物体（本実施形態においては椎骨）のそれぞれに対応する特徴ベクトル群がクラスタリングされて分布する特徴マップを出力するものとなる。
　第２ニューラルネットワークＮ２は、複数の処理層を有し、処理層に含まれるすべてのノードが隣接する処理層のすべてのノードと結合している全結合ニューラルネットワークである。第２ニューラルネットワークＮ２の入力層には、入力された画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値が入力される。ここで、第１ニューラルネットワークＮ１が出力した特徴マップにおいては、同一カテゴリに属する個々の物体についての特徴ベクトルがまとまって、クラスタとして分布する。本実施形態においては、特徴マップにおける各クラスタに含まれる複数の特徴ベクトルの平均値を、特徴ベクトルの代表値として用いるものとする。代表値として平均値を用いた場合、代表値は特徴マップにおけるクラスタのほぼ中心の値となる。なお、平均値に代えて、重み付け平均値、中央値、最小値および最大値の少なくとも１つを代表値として用いるようにしてもよい。また、各クラスタに含まれる特徴ベクトルの代表値に代えて、同一カテゴリに属するすべての特徴ベクトルの代表値を用いてもよい。
　また、図３に示すように、第２ニューラルネットワークＮ２の出力層は３つのノードを有し、３つのノードのそれぞれから、特徴マップに含まれる個々の物体に対応する特徴ベクトルのクラスタが、頸椎、胸椎および腰椎であることの確率をそれぞれクラス分類結果として出力する。
　本実施形態において、第２学習部２３は、第２ニューラルネットワークＮ２に、学習用特徴マップ３３および学習用画像３１に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データ３２を入力することにより、第２ニューラルネットワークＮ２から、学習用特徴マップ３３に含まれる特徴ベクトルの各クラスタについてのクラス分類結果を出力させる。第２学習部２３は、クラス分類結果に基づいて第２の損失Ｌclsを導出する。第２の損失Ｌclsを下記の式（５）に示す。式（５）において、ｉはクラスタ、ｔｉはクラスタｉについての目標とする確率、ｐｉは第２ニューラルネットワークＮ２が出力したクラスタｉについてのクラス分類結果を表す確率である。
Figure JPOXMLDOC01-appb-M000003
 
　第２学習部２３は、第２損失Ｌclsが予め定められたしきい値以下となるように、第２ニューラルネットワークＮ２における処理層間の結合重みを導出することにより、第２ニューラルネットワークＮ２の学習を行う。すなわち、第２学習部２３は、学習用特徴マップ３３に含まれる特徴ベクトルについての各クラスタの分類結果が、正解データ３２と一致するように第２ニューラルネットワークＮ２の学習を行う。これにより、第２ニューラルネットワークＮ２は、対象画像の特徴マップが入力されると、特徴ベクトルに含まれるクラスタが頸椎であれば頸椎の確率が最大となり、胸椎であれば胸椎の確率が最大となり、腰椎であれば腰椎の確率が最大となるように出力を行うものとなる。
　上記のように第１学習部２２が第１ニューラルネットワークＮ１の学習を行い、第２学習部２３が第２ニューラルネットワークＮ２の学習を行うことにより、対象画像が入力されると、対象画像に含まれる同一カテゴリの物体のクラス分類結果を出力する学習済みモデル４０が構築される。学習済みモデル４０はクラス分類部２４に適用される。
　クラス分類部２４は、対象画像が入力されると、学習済みモデル４０により、対象画像に含まれる椎骨を、頸椎、胸椎および腰椎のいずれかのクラスへのクラス分類を出力する。すなわち、クラス分類部２４は、対象画像を学習済みモデル４０に入力し、学習済みモデル４０から対象画像に含まれる同一カテゴリに属する個々の椎骨が、頸椎、胸椎および腰椎であることのそれぞれの確率を出力させる。そして、クラス分類部２４は、確率が最大となるクラスを対象画像に含まれる個々の椎骨のクラス分類結果として出力する。
　ラベリング部２５は、クラス分類部２４が出力したクラス分類結果に基づいて、対象画像に含まれる椎骨のラベリングを行う。例えば、図６に示すように頸椎と腰椎のみを含む対象画像５１がクラス分類部２４に入力された場合、クラス分類部２４は、対象画像５１に含まれる椎骨を頸椎Ｃｅおよび胸椎Ｔｈにクラス分類する。ここで、図７に示すように、脊椎は７個の頸椎Ｃｅ１～Ｃｅ７、１２個の胸椎Ｔｈ１～Ｔｈ１２および５個の腰椎Ｌ１～Ｌ５からなる。なお、Ｓ１は仙骨である。このように、脊椎を構成する頸椎、胸椎および腰椎はそれぞれ椎骨の数が決まっている。このため、椎骨を頸椎、胸椎および腰椎のそれぞれにクラス分類できれば、個々の椎骨にラベルを付与することができる。ラベリング部２５は、対象画像５１に含まれる頸椎および胸椎に対して、それぞれの椎骨を特定するラベルを付与することにより、ラベリングを行う。例えば、図６に示すように、横向きのハッチングが付与されている頸椎に対して上から順にＣｅ１～Ｃｅ７のラベルを付与し、左上から右下に向かうハッチングが付与されている胸椎に対して上から順にＴｈ１～Ｔｈ１２のラベルを付与する。
　また、図８に示すように胸椎および腰椎のみを含む対象画像５２が入力された場合、クラス分類部２４は、対象画像５２に含まれる椎骨を、胸椎Ｔｈおよび腰椎Ｌにクラス分類する。ラベリング部２５は、対象画像５２に含まれる胸椎および腰椎にそれぞれ異なるラベルを付与することにより、ラベリングを行う。例えば、図８に示すように、左上から右下に向かうハッチングが付与されている胸椎に対して上から順にＴｈ１～Ｔｈ１２のラベルを付与し、右上から左下に向かうハッチングが付与されている腰椎に対して上から順にＬ１～Ｌ５のラベルを付与する。
　表示制御部２６は、ラベリングされた対象画像を表示部１４に表示する。
　次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる学習処理を示すフローチャートである。なお、学習用画像および正解データは画像保管サーバ３から画像取得部２１により取得されて、ストレージ１３に保存されているものとする。まず、第１学習部２２がストレージ１３に保存された複数の学習用画像および正解データから１組の学習用画像および正解データを取得する（ステップＳＴ１）。第１学習部２２は、第１ニューラルネットワークＮ１に対して、学習用画像３１および正解データ３２を入力して学習用特徴マップ３３を出力させ、第１損失Ｌinstを導出する。そして、第１学習部２２は、第１損失Ｌinstが予め定められたしきい値以下となるように、第１ニューラルネットワークＮ１を学習する（第１学習；ステップＳＴ２）。
　次いで、第２学習部２３が、第１ニューラルネットワークＮ１が出力した学習用特徴マップ３３を第２ニューラルネットワークＮ２に入力し、学習用画像３１に含まれる複数の椎骨のクラス分類結果を出力させ、第２損失Ｌclsを導出する。そして、第２学習部２３は、第２損失Ｌclsが予め定められたしきい値以下となるように、第２ニューラルネットワークＮ２を学習する（第２学習；ステップＳＴ３）。
　そして、ステップＳＴ１にリターンし、次の学習用画像３１および正解データ３２をストレージ１３から取得して、ステップＳＴ２およびステップＳＴ３の処理を繰り返す。これにより、学習済みモデル４０が構築される。
　なお、第１学習部２２は、第１損失Ｌinstが予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。第２学習部２３は、第２損失Ｌclsが予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。
　次いで、本実施形態において行われるクラス分類処理について説明する。図１０は本実施形態において行われるクラス分類処理のフローチャートである。画像取得部２１が対象画像を取得し（ステップＳＴ１１）、クラス分類部２４が対象画像に含まれる複数の椎骨のクラス分類結果を出力する（ステップＳＴ１２）。次いで、ラベリング部２５が、クラス分類結果に基づいて対象画像５１に含まれる椎骨のラベリングを行う（ステップＳＴ１３）。そして、表示制御部２６がラベリングされた対象画像を表示部１４に表示し（ステップＳＴ１４）、処理を終了する。
　このように、本実施形態においては、対象画像のクラス分類を行う場合、学習済みモデル４０に含まれる第１ニューラルネットワークＮ１に対象画像を入力することにより、対象画像に含まれる同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなるように特徴マップが出力される。また、学習済みモデル４０に含まれる第２ニューラルネットワークＮ２に、対象画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、同一カテゴリに属する複数の物体についてのクラス分類結果が出力される。したがって、本実施形態によれば、対象画像に含まれる同一カテゴリに属する複数の物体をさらにクラス分類できる。
　なお、上記実施形態においては、対象画像に含まれる複数の椎骨のそれぞれをラベリングしているが、これに限定されるものではない。複数の椎骨を、頸椎、胸椎および腰椎の３つに分類するためのラベリングを行ってもよい。
　また、上記実施形態においては、対象画像に含まれる椎骨をクラス分類しているが、これに限定されるものではない。椎骨の他、肋骨をクラス分類する際にも本開示の技術を適用することが可能である。また、手首および足首等の関節を構成する複数の骨をクラス分類する際にも、本開示の技術を適用することができる。さらに、例えばふくらはぎの筋肉は曲げるための筋肉および伸ばすための筋肉の２種類のみではなく、ヒラメ筋、前脛骨筋、腓腹筋および腓骨筋等の複数の筋肉が含まれる。このように、複数の筋肉をクラス分類する際にも、本開示の技術を適用できる。なお、学習用画像は、クラス分類の対象となる物体に応じて用意されて、第１ニューラルネットワークＮ１および第２ニューラルネットワークＮ２の学習が行われることとなる。
　また、上記実施形態においては、対象画像として３次元の医用画像を用いているがこれに限定されるものではない。３次元の医用画像を構成する個々の断層画像を対象画像として用いてもよい。また、単純Ｘ線撮影により取得された２次元のＸ線画像を対象画像として用いてもよい。この場合、対象画像の種類に応じた学習用画像が用意されて、第１ニューラルネットワークＮ１および第２ニューラルネットワークＮ２の学習が行われることとなる。
　また、上記実施形態においては、対象画像として医用画像を用いているがこれに限定されるものではない。例えば、同一カテゴリの物体を複数含む写真画像を対象画像として用いてもよい。
　また、上記実施形態において、例えば、画像取得部２１、第１学習部２２、第２学習部２３、クラス分類部２４、ラベリング部２５および表示制御部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　クラス分類装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　第１学習部
　　　２３　　第２学習部
　　　２４　　クラス分類
　　　２５　　ラベリング部
　　　２６　　表示制御部
　　　３１　　学習用画像
　　　３２　　正解データ
　　　３３　　学習用特徴マップ
　　　４０　　学習済みモデル
　　　５１　　対象画像
　　　５２　　対象画像
　　　Ｃ１～Ｃ５　　クラスタ
　　　Ｎ１　　第１ニューラルネットワーク
　　　Ｎ２　　第２ニューラルネットワーク

Claims (15)

  1. 　複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、該特徴ベクトルの空間である特徴空間において、前記対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および該学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、該学習用画像についての学習用特徴マップを出力し、該学習用特徴マップにおける複数の特徴ベクトル群の分布および前記正解データに基づいて、前記学習用画像における画素間の第１損失を、前記学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、前記第１損失に基づいて前記第１ニューラルネットワークを学習する第１学習部と、
    　前記対象画像の特徴ベクトルの入力により、前記対象画像に含まれる前記同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、前記学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、該同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、該学習用クラス分類結果および前記正解データに基づいて、前記クラス分類結果についての第２損失を導出し、該第２損失に基づいて前記第２ニューラルネットワークを学習する第２学習部とを備えた学習装置。
  2. 　前記特徴ベクトルの代表値は、前記学習用画像に含まれる同一カテゴリに属する個々の物体のそれぞれに対応する特徴ベクトル群に含まれる特徴ベクトルの代表値である請求項１に記載の学習装置。
  3. 　前記特徴ベクトルの代表値は、前記学習用画像に含まれる同一カテゴリに属するすべての物体の特徴ベクトルの代表値である請求項１に記載の学習装置。
  4. 　前記代表値は、前記特徴ベクトルの平均値、重み付け平均値、中央値、最小値および最大値の少なくとも１つである請求項２または３に記載の学習装置。
  5. 　前記第１ニューラルネットワークは、全層畳み込みニューラルネットワークである請求項１から４のいずれか１項に記載の学習装置。
  6. 　前記第２ニューラルネットワークは、全結合ニューラルネットワークである請求項１から５のいずれか１項に記載の学習装置。
  7. 　前記対象画像および前記学習用画像は、医用３次元画像である請求項１から６のいずれか１項に記載の学習装置。
  8. 　前記物体は椎骨であり、前記クラス分類結果は、前記椎骨の頸椎、胸椎および腰椎の少なくとも１つへの分類結果である請求項１から７のいずれか１項に記載の学習装置。
  9. 　請求項１から８のいずれか１項に記載の学習装置により学習された、前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを含む学習済みモデルが適用されてなり、前記対象画像の入力により、該対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力するクラス分類部を備えたクラス分類装置。
  10. 　前記クラス分類結果に応じて、前記対象画像に含まれる前記物体にラベリングを行うラベリング部と、
    　前記ラベリングされた対象画像を表示部に表示する表示制御部とをさらに備えた請求項９に記載のクラス分類装置。
  11. 　請求項１から８のいずれか１項に記載の学習装置により学習された前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを含む学習済みモデル。
  12. 　複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、該特徴ベクトルの空間である特徴空間において、前記対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および該学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、該学習用画像についての学習用特徴マップを出力し、該学習用特徴マップにおける複数の特徴ベクトル群の分布および前記正解データに基づいて、前記学習用画像における画素間の第１損失を、前記学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、前記第１損失に基づいて前記第１ニューラルネットワークを学習し、
    　前記対象画像の特徴ベクトルの入力により、前記対象画像に含まれる前記同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、前記学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、該同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、該学習用クラス分類結果および前記正解データに基づいて、前記クラス分類結果についての第２損失を導出し、該第２損失に基づいて前記第２ニューラルネットワークを学習する学習方法。
  13. 　請求項１２に記載の学習方法により学習された、前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを含む学習済みモデルを用いて、前記対象画像の入力により、該対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力するクラス分類方法。
  14. 　複数の物体が含まれる対象画像の各画素における特徴ベクトルを抽出し、該特徴ベクトルの空間である特徴空間において、前記対象画像に含まれる個々の物体に属する画素の特徴ベクトルがクラスタリングされて、複数の特徴ベクトル群として分布する特徴マップを出力する第１ニューラルネットワークに、学習用画像および該学習用画像に含まれる同一カテゴリに属する複数の物体に関するクラス分類結果についての正解データを入力することにより、該学習用画像についての学習用特徴マップを出力し、該学習用特徴マップにおける複数の特徴ベクトル群の分布および前記正解データに基づいて、前記学習用画像における画素間の第１損失を、前記学習用画像における同一の物体に属する画素間の特徴ベクトルの距離が小さくなり、異なる物体に属する画素間の特徴ベクトルの距離が大きくなる関数として導出し、前記第１損失に基づいて前記第１ニューラルネットワークを学習する手順と、
    　前記対象画像の特徴ベクトルの入力により、前記対象画像に含まれる前記同一カテゴリに属する複数の物体のクラス分類結果を出力する第２ニューラルネットワークに、前記学習用画像に含まれる同一カテゴリに属する物体についての特徴ベクトルの代表値を入力することにより、該同一カテゴリに属する複数の物体についての学習用クラス分類結果を出力し、該学習用クラス分類結果および前記正解データに基づいて、前記クラス分類結果についての第２損失を導出し、該第２損失に基づいて前記第２ニューラルネットワークを学習する手順とをコンピュータに実行させる学習プログラム。
  15. 　請求項１２に記載の学習方法により学習された、前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを含む学習済みモデルを用いて、前記対象画像の入力により、該対象画像に含まれる同一カテゴリに属する複数の物体のクラス分類結果を出力する手順をコンピュータに実行させるクラス分類プログラム。
PCT/JP2020/025400 2019-06-27 2020-06-26 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル WO2020262682A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021528289A JP7342120B2 (ja) 2019-06-27 2020-06-26 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル
US17/556,983 US20220114393A1 (en) 2019-06-27 2021-12-20 Learning apparatus, learning method, and learning program, class classification apparatus, class classification method, and class classification program, and learned model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-119982 2019-06-27
JP2019119982 2019-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/556,983 Continuation US20220114393A1 (en) 2019-06-27 2021-12-20 Learning apparatus, learning method, and learning program, class classification apparatus, class classification method, and class classification program, and learned model

Publications (1)

Publication Number Publication Date
WO2020262682A1 true WO2020262682A1 (ja) 2020-12-30

Family

ID=74060404

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025400 WO2020262682A1 (ja) 2019-06-27 2020-06-26 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル

Country Status (3)

Country Link
US (1) US20220114393A1 (ja)
JP (1) JP7342120B2 (ja)
WO (1) WO2020262682A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067610A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 椎骨セグメンテーション装置、方法およびプログラム
JP2019028616A (ja) * 2017-07-27 2019-02-21 トヨタ自動車株式会社 識別装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067610A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 椎骨セグメンテーション装置、方法およびプログラム
JP2019028616A (ja) * 2017-07-27 2019-02-21 トヨタ自動車株式会社 識別装置

Also Published As

Publication number Publication date
JP7342120B2 (ja) 2023-09-11
JPWO2020262682A1 (ja) 2020-12-30
US20220114393A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP7118606B2 (ja) 医用画像処理装置及び医用画像処理プログラム
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
US20210383534A1 (en) System and methods for image segmentation and classification using reduced depth convolutional neural networks
US11189367B2 (en) Similarity determining apparatus and method
CN105760874A (zh) 面向尘肺的ct图像处理系统及其ct图像处理方法
Oliveira et al. Deep transfer learning for segmentation of anatomical structures in chest radiographs
JP7467336B2 (ja) 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム
US11568625B2 (en) Targeted object detection in image processing applications
Abdullah et al. Multi-sectional views textural based SVM for MS lesion segmentation in multi-channels MRIs
Das et al. A machine learning based approach for detection of pneumonia by analyzing chest X-ray images
Valizadeh et al. The Progress of Medical Image Semantic Segmentation Methods for Application in COVID-19 Detection
Zhao et al. Deep learning in cortical surface-based neuroimage analysis: a systematic review
Abdikerimova et al. Detection of chest pathologies using autocorrelation functions
US20230005158A1 (en) Medical image segmentation and atlas image selection
Verma et al. Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends
Deserno Fundamentals of medical image processing
WO2020262682A1 (ja) 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル
US20220148286A1 (en) Learning apparatus, learning method, and learning program, graph structure extraction apparatus, graph structure extraction method, and graph structure extraction program, and learned extraction model
JP7321271B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
Chedid et al. Synthesis of fracture radiographs with deep neural networks
JP7170868B2 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
Hachaj et al. Nowadays and future computer application in medicine
WO2021060461A1 (ja) 画像処理装置、方法およびプログラム
JP7121191B2 (ja) 構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
Kora Venu Improving the generalization of deep learning classification models in medical imaging using transfer learning and generative adversarial networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528289

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832372

Country of ref document: EP

Kind code of ref document: A1