JP7383010B2 - 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム - Google Patents

医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム Download PDF

Info

Publication number
JP7383010B2
JP7383010B2 JP2021508060A JP2021508060A JP7383010B2 JP 7383010 B2 JP7383010 B2 JP 7383010B2 JP 2021508060 A JP2021508060 A JP 2021508060A JP 2021508060 A JP2021508060 A JP 2021508060A JP 7383010 B2 JP7383010 B2 JP 7383010B2
Authority
JP
Japan
Prior art keywords
medical image
recognition
recognition target
target
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508060A
Other languages
English (en)
Other versions
JP2021518966A (ja
Inventor
▲凱▼文 肖
▲鐘▼前 ▲孫▼
▲陳▼ 程
巍 ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2021518966A publication Critical patent/JP2021518966A/ja
Application granted granted Critical
Publication of JP7383010B2 publication Critical patent/JP7383010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Description

本願は、2018年11月1日に提出された、出願番号が2018112962636、発明の名称が「医用画像認識方法、モデルトレーニング方法及びサーバ」である中国特許出願に基づく優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。
本願は、人工知能の分野に関し、特に医用画像認識方法、モデルトレーニング方法及びコンピュータ装置に関する。
コンピュータ断層撮影(computed tomography、CT)、核磁気共鳴イメージング(magnetic resonance imaging、MRI)及び超音波(ultrasonic、US)などの医用イメージング技術の出現や飛躍的な発展に伴い、病院には臨床診断と分析に利用可能な大量の医用画像が発生し、蓄積されている。近年、コンピュータ及びその関連技術の急速な発展やグラフィックス技術の日々の成熟に伴い、医療従事者は、医用画像を多方面、多階層、多角度から観察することにより、医師が病変変異体及び他の関心領域を重点的に分析することを支援できるようになり、臨床診断の正確性を向上させている。
現在、医用画像の認識につき、主に医療従事者が医用画像をアノテーションして異常状況を取得してから、異常状況を医療機関又は医学専門家にフィードバックして確認させ、最後に、大型の映像センターが確認後の医用画像を分類して記憶して、分析と研究に供する。
しかしながら、大量の医療画像は、医療従事者が多くの時間を消費してアノテーションする必要があるため、アノテーションのコストが高くなる。また、医用画像を手動でアノテーションするときに間違いが生じやすいため、医用画像の認識の確実性と正確性が低下する。
本願の実施例は、医用画像認識方法、モデルトレーニング方法及びコンピュータ装置を提供し、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と正確性を有する。
一態様では、
コンピュータ装置が実行する医用画像認識方法であって、
認識対象医用画像集合を取得するステップであって、前記認識対象医用画像集合は、少なくとも1つの認識対象医用画像を含む、ステップと、
前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである、ステップと、を含む医用画像認識方法を提供する。
一態様では、
コンピュータ装置が実行するモデルのトレーニング方法であって、
トレーニング対象の医用画像サンプル集合を取得するステップであって、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
前記医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、前記トレーニング対象領域は、前記医用画像サンプル中の一部の画像である、ステップと、
前記各医用画像サンプルに対応するトレーニング対象領域と、前記各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップと、を含むモデルのトレーニング方法を提供する。
一態様では、
認識対象医用画像集合を取得する取得モジュールであって、前記認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる取得モジュールと、
前記取得モジュールによって取得された前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出する抽出モジュールであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である抽出モジュールと、
医用画像認識モデルで、前記抽出モジュールによって抽出された各認識対象領域の認識結果を決定する決定モジュールであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである決定モジュールと、を含むコンピュータ装置を提供する。
一態様では、
トレーニング対象の医用画像サンプル集合を取得する取得モジュールであって、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものである取得モジュールと、
前記取得モジュールによって取得された前記医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出する抽出モジュールであって、前記トレーニング対象領域は、前記医用画像サンプル中の一部の画像である抽出モジュールと、
前記抽出モジュールによって抽出された前記各医用画像サンプルに対応するトレーニング対象領域と、前記各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するトレーニングモジュールと、を含むコンピュータ装置を提供する。
一態様では、
プログラムを記憶しているメモリと、
プロセッサと、を含むコンピュータ装置であって、
前記プロセッサは、前記メモリに記憶されているプログラムを実行して、
認識対象医用画像集合を取得するステップであって、前記認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる、ステップと、
前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実行するコンピュータ装置を提供する。
一態様では、
プログラムを記憶しているメモリと、
プロセッサと、を含むコンピュータ装置であって、
前記プロセッサは、前記メモリに記憶されているプログラムを実行して、
トレーニング対象の医用画像サンプル集合を取得するステップであって、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
前記医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、前記トレーニング対象領域は、前記医用画像サンプル中の一部の画像である、ステップと、
前記各医用画像サンプルに対応するトレーニング対象領域と、前記各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップとを実行するコンピュータ装置を提供する。
一態様では、
画像処理装置と、
医用画像を走査し、前記画像処理装置に前記医用画像を送信するための画像走査装置と、を含む医用画像認識システムであって、
前記画像処理装置は、
認識対象医用画像集合を取得するステップであって、前記認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる、ステップと、
前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実行し、
もしくは、前記画像処理装置は、
トレーニング対象の医用画像サンプル集合を取得するステップであって、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
前記医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、前記トレーニング対象領域は、前記医用画像サンプル中の一部の画像である、ステップと、
前記各医用画像サンプルに対応するトレーニング対象領域と、前記各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップとを実行する医用画像認識システムを提供する。
一態様では、プロセッサによってロードされ実行されると、
認識対象医用画像集合を取得するステップであって、前記認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる、ステップと、
前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実現する少なくとも1つのプログラムコードが記憶されているコンピュータ可読記憶媒体を提供する。
一態様では、プロセッサによってロードされ実行されると、
トレーニング対象の医用画像サンプル集合を取得するステップであって、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
前記医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、前記トレーニング対象領域は、前記医用画像サンプル中の一部の画像である、ステップと、
前記各医用画像サンプルに対応するトレーニング対象領域と、前記各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップとを実現する少なくとも1つのプログラムコードが記憶されているコンピュータ可読記憶媒体を提供する。
本願の実施例における医用画像認識システムのアーキテクチャ概略図である。 本願の実施例が肺癌早期スクリーニング項目に適用される適用シーンの概略図である。 本願の実施例が映像センターのデータ整理に適用されるシーンの概略図である。 本願の実施例における医用画像認識方法の一実施例の概略図である。 本願の実施例における医用画像の認識フローの概略図である。 本願の実施例におけるモデルトレーニング方法の一実施例の概略図である。 本願の実施例における医用画像認識モデルのトレーニングフローの概略図である。 本願の実施例における医用画像サンプルの決定フローの概略図である。 本願の実施例におけるトレーニング対象領域の抽出フローの概略図である。 本願の実施例におけるトレーニング対象領域の調整フローの概略図である。 本願の実施例における医用画像認識モデルの構築フローの概略図である。 本願の実施例における医用画像認識モデルのロードフローの概略図である。 本願の実施例におけるコンピュータ装置の一実施例の概略図である。 本願の実施例におけるコンピュータ装置の別の実施例の概略図である。 本願の実施例におけるコンピュータ装置の別の実施例の概略図である。 本願の実施例におけるコンピュータ装置の別の実施例の概略図である。 本願の実施例におけるコンピュータ装置の別の実施例の概略図である。 本願の実施例におけるコンピュータ装置の概略構成図である。
本願の実施例は、医用画像認識方法、モデルトレーニング方法及びコンピュータ装置を提供し、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と信頼性を有する。
本願の明細書、特許請求の範囲及び上記図面における「第1」、「第2」、「第3」、「第4」など(存在すれば)の用語は、類似の対象を区別するためのもので、特定の順序又は前後順を限定するものではない。なお、ここで説明する本願の実施例が図面に示すか又は説明した順とは異なる順でも実現できるように、このように使用されるデータは適切な状況で交換可能である。また、「含む」、「有する」及びそれらの任意の変形は、非排他的に含むことをカバーするものであり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、それらのステップ又はユニットを明確に例示したものに限定されず、明確に例示していない又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよいことを表す。
なお、本願の実施例は、医用画像処理のシーンに適用することができる。医療検査装置の継続的な研究発展と検査技術の継続的な進歩に伴い、医用画像データは爆発的に急増している。大量の医用画像データの需要下で、多くの無関係な画像データが混入したり、自体の研究に反するサンプルが混入したりすることが避けられない。これらのデータを効果的に削除してこそ、データセット全体を研究計算、トレーニング及び推定に用いることができるため、実際の過程において、人々は大量の人力、物力及び財力を消費して、既存のデータに再スクリーニング及び削除を行い、精確なアノテーションの方法でデータに「二次加工」を行って、データの精度の要求を満足させざるを得ない。
具体的には、図1を参照して、図1は、本願の実施例における医用画像認識システムのアーキテクチャ概略図であり、図1に示すように、医療検査装置により大量の医用画像を取得することができ、なお、医用画像は、CT画像、MRI画像及びUS画像を含むが、これらに限定されない。
CT画像は、黒から白まで異なる階調の画素が一定数でマトリクス配列されて構成される。これらの画素は、対応するボクセルのX線吸収係数を反映する。CT画像は、異なる階調で表され、器官や組織のX線を吸収する度合いを反映する。したがって、X線画像に示す黒白画像と同様に、黒い影は、気体を多く含む肺部などの低吸収領域、即ち低密度領域を表し、白い影は、骨格などの高吸収領域、即ち高密度領域を表す。しかしながら、CT画像は、X線画像に比べて、CTの密度解像度が高く、つまり、高い密度解像度を有する。したがって、CT画像は、脳、脊髄、縦隔、肺、肝、胆、膵臓及び骨盤部器官などの軟組織からなる器官をよりよく表示し、良好な解剖画像背景上に病変の画像を表示することができる。
MRI画像は、全身各系統のイメージング診断に適用されている。効果が最適であるのは、頭蓋脳、脊髄、心臓大血管、関節骨格、軟組織及び骨盤腔などである。心血管疾患に対して、各腔室、大血管及び弁膜の解剖的変化を観察するだけでなく、心室分析について撮影し、定性及び半定量的な診断を行うことができ、複数の断面図を撮影することができ、空間解像度が高く、心臓及び病変全体、それと周囲構造との関係を表示し、他のX線イメージング、二次元超音波、核種及びCT検査よりも優れている。脳脊髄の病変を診断するときに、冠状面、矢状面及び横断面の画像を撮影することができる。
US画像は、媒質中の音響パラメータの違いを反映することができ、光学、X線及びγ線などと異なる情報を取得することができる。超音波は、人体の軟組織に対して良好な解像度を有するため、生体組織の微小な病変の認識に有利である。超音波画像は、生体組織を表示する際に染色処理を行なわなくても、必要な画像を得ることができる。
医療検査装置は、医用画像をコンピュータ装置に送信し、コンピュータ装置中のトレーニングして得られるモデルで、これらの医用画像を認識し分類してから、サーバにより画像認識結果を端末装置に送信し、端末装置は認識結果に基づいてレポートを生成しプリントアウトすることができ、表示画面に直接認識結果を表示することもできる。なお、端末は、パームトップ型パソコン、携帯電話、プリンター、パーソナルコンピュータ、ノート型コンピュータ及びタブレットコンピュータを含むが、これらに限定されない。
なお、医用画像認識システムに含まれる医療検査装置、コンピュータ装置及び端末装置は、3台の独立した装置であってもよく、同一のシステム内に集積されてもよく、ここで限定しない。
なお、本願は、具体的には、肺癌早期スクリーニング項目のデータスクリーニング、及び医療映像センターに行われる医用画像データのアーカイブ及び確認又は履歴データの整理に適用することができる。
理解を容易にするために、図2を参照して、図2は本願の実施例を肺癌早期スクリーニング項目に適用したシーンの概略図であり、図2に示すように、ステップA1において、まず、医療検査装置により肺部に関する生データセットを大量収集し、その後にステップA2において、生データセットを肺部CT画像異常検査システムに入力し、該システムにおいて本願に係る医用画像認識モデルが実行しており、該医用画像認識モデルを用いて生データセットを分類することができる。ステップA3において、分類した結果を肺癌スクリーニングシステムに入力し、肺癌スクリーニングシステムにより分類結果を統計しスクリーニングすることにより、肺癌リスクを有する状況を推定する。それに応じて、肺部CT画像異常検査システムを用いて検査するときに、さらに、分類条件を満足しない画像をスクリーニングすることができ、つまり、ステップA4において異常の肺部画像をスクリーニングし削除することにより、検査の信頼性を保証する。
図3を参照して、図3は本願の実施例が映像センターのデータ整理に適用されるシーンの概略図であり、図3に示すように、ステップB1において、まず、医療検査装置により肺部に関する生データセットを大量収集し、その後にステップB2において、生データセットを肺部CT画像異常検査システムに入力し、該システムにおいて本願に係る医用画像認識モデルが実行しており、該医用画像認識モデルを用いて生データセットを分類することができる。ステップB3において、肺部CT画像を、「正常肺部」と「異常肺部」に応じて区分し、その後に、「異常肺部」のCT画像を疾患特性及び疾患タイプに応じて具体的に分類することにより、肺部CT画像の疾患による分類を実現し、肺癌早期スクリーニングにおいて発生可能なノイズエイリアシングの問題を減少させる。各種類の肺部画像を、気管支拡張、肺気腫、無気肺、滲出、硬化、異形成症、線維症、石灰化、腫物、結節、空洞、空腔、胸膜滲出液、水気胸及び気胸などの症状に分けることができる。これにより、医師が各種類の疾患の肺部画像を分類することを支援又は代行し、医師が仕事量を減らし効率を向上させることを支援すると共に、アノテーション結果の正確性を向上させる。
理解できるように、本願は肺部画像を例として説明するが、実際の適用において、医用画像は、胃部画像、腹部画像又は脳部画像などであってもよく、ここで、肺部画像を医用画像とすることは一例に過ぎず、本願を限定するものと理解すべきではない。
本願に係る医用画像認識方法は、コンピュータ装置に適用され、該コンピュータ装置はサーバであってよく、以下、サーバの角度から該医用画像認識方法を説明し、図4を参照して、本願の実施例における医用画像認識方法の一実施例は、101~103を含む。
101、少なくとも1つの認識対象医用画像を含む認識対象医用画像集合を取得する。
本実施例では、サーバは認識対象医用画像集合を取得し、なお、ここの認識対象医用画像集合は、1つのみの認識対象医用画像を含んでもよく、複数の認識対象医用画像を含んでもよく、該医用画像はCT画像、MRI画像又はUS画像であってよい。認識対象医用画像は、具体的には、肺部画像、胃部画像、脳部画像、肝臓画像又は心臓画像などであってよく、本願の実施例は肺部画像を例として説明するが、これが本願を限定するものと理解すべきではない。
102、認識対象医用画像集合中の各認識対象医用画像に対応する、認識対象医用画像中の一部である認識対象領域を抽出する。
本実施例では、サーバは、認識対象医用画像集合を取得した後、各認識対象医用画像に対して特徴抽出を行うことにより、認識対象医用画像中の、病状特徴を反映できる一部である認識対象領域を取得する。
103、医用画像認識モデルで、各認識対象領域の認識結果を決定し、医用画像認識モデルが医用画像サンプル集合に基づいてトレーニングして得られたものであり、医用画像サンプル集合が少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、アノテーション情報が医用画像サンプルのタイプを示すためのものであり、認識結果が認識対象医用画像のタイプを示すためのものである。
本実施例では、サーバは各認識対象領域を医用画像モデルに入力し、該医用画像モデルで、各認識対象領域に対応する認識結果を出力し、該認識結果は、認識対象医用画像のタイプ、例えば、「正常」、「肺気腫」、「気管支拡張」又は「石灰化」などを示すことができる。医用画像認識モデルは、大量の医用画像サンプルでトレーニングして得られ、各医用画像サンプルに、対応するアノテーション情報が含まれ、例えば、1番の肺部画像サンプルのアノテーション情報が「正常」であり、2番の肺部画像サンプルのアノテーション情報が「肺気腫」であり、3番の肺部画像サンプルのアノテーション情報が「石灰化」であり、ここのアノテーション情報は、通常、手動アノテーションで取得される。
説明を容易にするために、図5を参照して、図5は、本願の実施例における医用画像の認識フローの概略図であり、具体的には、ステップC1において、まず、サーバは医療検査装置により肺部に関する生データセットを大量収集し、ステップC2において、ラベル情報とテンプレートマッチングにより生データセット中の各医用画像を判断することにより、認識に利用可能な肺部画像を取得しステップC3において、認識可能な肺部画像に対して肺部領域の分割と抽出を行い、ステップC4において、分割抽出後の肺部領域に対して画像補間処理と正規化処理を行い、ステップC5において、深層学習ネットワークを用いて、ステップC5で得られた肺部領域に対して分類推定を行い、最後に、ステップC6において、例えば、「正常」、「気管支拡張」、「肺気腫」又は「肺部空洞」など、対応する認識結果を得ることである。
本願の実施例では、医用画像認識方法を提供し、まず、サーバは、少なくとも1つの認識対象医用画像を含む認識対象医用画像集合を取得し、その後に、認識対象医用画像集合中の各認識対象医用画像に対応する、認識対象医用画像中の一部である認識対象領域を抽出し、最後に、医用画像認識モデルで、各認識対象領域の認識結果を決定し、医用画像認識モデルが医用画像サンプル集合に基づいてトレーニングして得られ、医用画像サンプル集合が少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、アノテーション情報が医用画像サンプルのタイプを示し、認識結果が認識対象医用画像のタイプを示す。上記方式で、医用画像認識モデルで手動アノテーションを代替すると、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と正確性を有する。
任意選択で、上記図4に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第1の好ましい実施例では、認識対象医用画像集合を取得するステップの前に、
認識対象オリジナル医用画像集合を取得するステップであって、認識対象オリジナル医用画像集合は、少なくとも1つの認識対象オリジナル医用画像を含む、ステップと、
認識対象オリジナル医用画像集合中の各認識対象オリジナル医用画像のラベル情報を取得するステップであって、ラベル情報は、認識対象オリジナル医用画像に関連する情報を含む、ステップと、
認識対象オリジナル医用画像集合から認識対象医用画像集合を取得するまで、認識対象オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、認識対象オリジナル医用画像を認識対象医用画像として決定するステップとを更に含んでよい。
本実施例では、医用画像の前処理方法を説明し、医用画像認識のシーンでも、医用画像トレーニングのシーンでも、まず、認識のシーン又はトレーニングのシーンを満足しない医用画像を削除する必要がある。具体的には、まず、サーバは、少なくとも1つの認識対象オリジナル医用画像を含む認識対象オリジナル医用画像集合を取得し、次に各認識対象オリジナル医用画像がトレーニングのシーン又は認識のシーンを満足するか否かをそれぞれ判断する必要があり、最後に、これらのシーンを満足しない認識対象オリジナル医用画像を削除する。
判断過程において、認識対象オリジナル医用画像に情報照合を行って、つまり、各認識対象オリジナル医用画像に対応するラベル情報(Meta情報とも呼ばれる)がサンプル抽出条件を満足するか否かを判断することができる。ラベル情報は、該認識対象オリジナル医用画像に対応する患者識別子、病院識別子、検査装置識別子、検査部位情報及び検査医師情報を含むが、これらに限定されない。ラベル情報の属性には、関連する名称と値のペアが定義されている。
当然のことながら、実際の適用において、認識対象オリジナル医用画像集合に非CT画像が混入していれば、これらの認識対象オリジナル医用画像を削除する必要があり、或いは、認識対象オリジナル医用画像自体が記憶などの問題により損傷していれば、同様にこれらの認識対象オリジナル医用画像を削除する必要がある。
任意選択で、上記図4に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第2の好ましい実施例では、認識対象医用画像集合を取得するステップの前に、
認識対象オリジナル医用画像集合を取得するステップであって、認識対象オリジナル医用画像集合は、少なくとも1つの認識対象オリジナル医用画像を含む、ステップと、
認識対象オリジナル医用画像集合中の各認識対象オリジナル医用画像のラベル情報を取得するステップであって、ラベル情報は、認識対象オリジナル医用画像に関連する情報を含む、ステップと、
認識対象オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、認識対象オリジナル医用画像を目標医用画像とマッチングするステップであって、目標医用画像は、予め設定された画像テンプレートである、ステップと、
認識対象オリジナル医用画像集合から認識対象医用画像集合を取得するまで、認識対象オリジナル医用画像と目標医用画像とのマッチングに成功すれば、認識対象オリジナル医用画像を認識対象医用画像として決定するステップとを更に含んでよい。
本実施例では、別の医用画像の前処理方法を説明するが、医用画像認識のシーンでも、医用画像トレーニングのシーンでも、まず、認識のシーン又はトレーニングのシーンを満足しない医用画像を削除する必要がある。具体的には、まず、サーバは、少なくとも1つの認識対象オリジナル医用画像を含む認識対象オリジナル医用画像集合を取得し、次に各認識対象オリジナル医用画像がトレーニングのシーン又は認識のシーンを満足するか否かをそれぞれ判断する必要があり、最後に、これらのシーンを満足しない認識対象オリジナル医用画像を削除する。
当然のことながら、実際の適用において、認識対象オリジナル医用画像集合に非CT画像が混入していれば、これらの認識対象オリジナル医用画像を削除する必要があり、或いは、認識対象オリジナル医用画像自体が記憶などの問題により損傷していれば、同様にこれらの認識対象オリジナル医用画像を削除する必要がある。検証過程において、ピクチャ分類モデルをトレーニングすることにより、肺部領域と他の領域の分けを行うか、ピクチャ画素統計分布の方式で認識対象オリジナル医用画像が肺部領域であるか否かを決定してもよい。
任意選択で、上記図4に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第3の好ましい実施例では、認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップは、
所定の反射値に基づいて認識対象医用画像集合中の各認識対象医用画像を二値化処理し、各認識対象医用画像に対応する二値医用画像を取得するステップと、
目標医用画像を用いて各二値医用画像をマッチングして、各二値医用画像に対応する処理対象領域を抽出するステップであって、目標医用画像は、予め設定された画像テンプレートである、ステップと、
各処理対象領域に対して画像平滑化処理を行って、各処理対象領域に対応する抽出対象輪郭を生成するステップであって、画像平滑化処理は、各処理対象領域に対するオープニング処理又はクロージング処理のうちの少なくとも一方を含む、ステップと、
各抽出対象輪郭を用いて各認識対象医用画像から、対応する認識対象領域をそれぞれ抽出するステップとを含んでよい。
本実施例では、認識対象オリジナル医用画像に有効性検証を行われば、認識対象医用画像を取得することができ、少なくとも1つの認識対象医用画像が認識対象医用画像サンプル集合を構成することができる。次に、さらに、各認識対象医用画像から、認識対象領域(例えば、肺部領域)を抽出する必要がある。肺野以外の領域により発生可能なノイズを効果的に除去し、後続のモデルの判断をより正確し、肺野以外の計算量を低減するためである。
認識対象医用画像から認識対象領域(又はトレーニング対象領域)を抽出することを例として、まず、医用画像サンプルに対して二値化分離を行い、つまり、医用画像サンプルに適切な閾値方法で二値化分離を行う。異なる器官組織は、異なる反射値(例えば、CT値)を有し、CT値に基づいて医用画像サンプルから肺部の概形を見つけ出すことができる。肺部に対する所定の反射値が30ハンスフィールド単位(Hu)であれば、Huが30の二値医用画像を抽出する。
続いて、肺葉領域を抽出した処理対象領域を平滑化処理して、処理対象領域に対応する抽出対象輪郭を得て、具体的には、各処理対象領域に対してオープニング処理又はクロージング処理を行うこと、又はオープニング処理とクロージング処理を同時に行うことを含む。オープニングは、画像の輪郭を滑らかにし、狭い結合部分を分離し、細い突起部分を除去することができる。構造要素Bを用いて集合Aに対してオープニングを行うことは、
Figure 0007383010000001
と定義され、
まず、Bを用いてAに対して収縮を行い、その後にBを用いて結果に対して膨張を行うという意味である。
クロージングは、同様に画像の輪郭を滑らかにするが、オープニングとは逆に、狭い途切れと細長い凹みを埋め、小さい穴を除去すると共に、輪郭線中の隙間を埋めることができる。構造要素Bを用いて集合Aにクロージングを行うことは、
Figure 0007383010000002
と定義され、
まず、Bを用いてAに対して膨張を行い、その後にBを用いて結果に対して収縮を行うという意味である。
オープニングとクロージングは、処理対象領域中の孤立点ノイズと空洞を除去することにより、処理対象領域をより滑らかにすることができる。
最後に、各抽出対象輪郭を用いて各医用画像サンプルから、対応するトレーニング対象領域をそれぞれ抽出する。具体的には、抽出対象輪郭を得た後に、該抽出対象輪郭をインデックスとして、医用画像サンプルに戻って認識対象領域(又はトレーニング対象領域)を取り出す。
任意選択で、上記図4に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第4の好ましい実施例では、認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップの後、さらに、
認識対象領域が第1の所定領域以上であれば、認識対象領域を縮小処理し、
認識対象領域が第2の所定領域以下であれば、認識対象領域を拡大処理するステップを含んでよい。
本実施例では、分割して認識対象領域を得た後に、また認識対象領域に対して補間処理を行う必要がある。画像の3次元画像における各方向の単位物理長さを等距離状態にして、測定とモデル計算を容易にすることを目的とする。
実際の場合に、異なる認識対象医用画像の認識対象領域の大きさが異なり、例えば、子供の肺部画像サイズが一般的に通常の大人の肺部画像サイズよりも小さいため、この場合に、例えば、1つの画素が1ミリメートルに等しいとか、縮尺が必要である。認識対象領域が第1の所定領域以上であれば、該認識対象領域のサイズが大きい可能性のあることを示し、この場合に比例により該認識対象領域を縮小処理して、認識対象領域中の各画素の長さをできるだけ1ミリメートルにする必要がある。逆に、認識対象領域が第2の所定領域以下であれば、認識対象領域のサイズが小さい可能性のあることを示し、この場合に比例により該処理対象領域を拡大処理して、認識対象領域中の各画素の長さをできるだけ1ミリメートルにする必要がある。
任意選択で、上記図4に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第5の好ましい実施例では、認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップの後、
各認識対象領域に対応する反射値の区間を取得するステップであって、反射値の区間の最大値は第1の反射値で、反射値の区間の最小値は第2の反射値である、ステップと、
反射値の区間に基づいて各認識対象領域を正規化処理して、正規化領域を得るステップとを含んでよく、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップは、
医用画像認識モデルで、各認識対象領域の正規化領域に対応する認識結果を決定するステップを含み、
反射値の区間に基づいて各認識対象領域を正規化処理して、正規化領域を得るステップは、
Figure 0007383010000003
という式により正規化領域を得るステップであって、xoutは正規化領域を表し、xは認識対象領域の画素点の値を表し、xmaxは第1の反射値を表し、xminは第2の反射値を表す、ステップを含む。
本実施例では、分割して認識対象領域を得た後に、またトレーニング対象領域を正規化処理する必要がある。全ての認識対象領域を次元的に統一状態にして、測定とモデル計算を容易にすることを目的とする。
具体的には、正規化処理は、画像の全ての画素を肺野条件が-600Hu~1024Huの区間に集中し、その後に画像全体を0.0~1.0に線形にスケーリングすることができる。肺野条件のウインドウ幅は可視化CT値の範囲を表し、異なるウインドウ幅から異なるコンテンツ詳細が見られる。画像の方式で正規化領域を得ることができ、
Figure 0007383010000004
ただし、xoutは正規化領域を表し、xは認識対象領域の画素点の値を表し、xmaxは第1の反射値を表し、xminは第2の反射値を表す。
上記肺野条件が-600Hu~1024Huであることを例とすれば、xmaxが1024であり、xminが-600であり、xが1000であり、得られるxoutの正規化領域が0.985で表される。
本願に係るモデルトレーニング方法は、コンピュータ装置に適用され、該コンピュータ装置はサーバであってよく、以下、サーバの角度から該モデルトレーニング方法を説明し、図6を参照して、本願の実施例におけるモデルトレーニング方法の一実施例は、201~203を含む。
201、トレーニング対象の医用画像サンプル集合を取得し、医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、アノテーション情報は、医用画像サンプルのタイプを示すためのものである。
本実施例では、まず、サーバによりトレーニング対象の医用画像サンプル集合を取得し、なお、ここのトレーニング対象の医用画像サンプル集合は、1つのみのトレーニング対象医用画像サンプルを含んでもよく、複数のトレーニング対象医用画像サンプルを含んでもよく、該トレーニング対象の医用画像サンプルはCT画像サンプル、MRI画像サンプル又はUS画像サンプルであってよい。医用画像サンプルは、具体的には、肺部画像、胃部画像、脳部画像、肝臓画像又は心臓画像などであってよく、本願の実施例は肺部画像を例として説明するが、これが本願を限定するものと理解すべきではない。
202、医用画像サンプル集合中の各医用画像サンプルに対応する、医用画像サンプル中の一部であるトレーニング対象領域を抽出する。
本実施例では、サーバは、トレーニング対象の医用画像サンプル集合を取得した後、各医用画像サンプルに対して特徴抽出を行うことにより、医用画像サンプル中の、病状特徴を反映できる一部であるトレーニング対象領域を得る。
203、各医用画像サンプルに対応するトレーニング対象領域と、各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得する。
本実施例では、サーバは深層学習ネットワークを構築し、各医用画像サンプルに含まれる対応するアノテーション情報と各医用画像サンプルに対応するトレーニング対象領域とを用いて、医用画像認識モデルをトレーニングし保存する。なお、深層学習ネットワークは、畳み込みニューラルネットワーク(convolutional neural networks、CNN)、深い畳み込みニューラルネットワーク(deep convolutional neural networks、DCNN)、逆畳み込みニューラルネットワーク(deconvolutional networks、DN)、敵対的生成ネットワーク(generative adversarial networks、GAN)、リカレントニューラルネットワーク(recurrent neural networks、RNN)、長期短期記憶ネットワーク(long short term memory、LSTM)、ニューラルチューリングマシン(neural turing machines、NTM)及び深い残差ネットワーク(deep residual networks、DRN)などのニューラルネットワークのうちの少なくとも1種を含むが、これらに限定されない。
説明を容易にするために、図7を参照して、図7は、本願の実施例における医用画像認識モデルのトレーニングフローの概略図であり、具体的には、ステップD1において、まず、サーバは医療検査装置により肺部に関する生データセットを大量収集し、ステップD2において、ラベル情報とテンプレートマッチングにより生データセット中の各医用画像を判断することにより、トレーニング用の肺部画像を取得しステップD3において、トレーニング可能な肺部画像に対して肺部領域の分割と抽出を行い、ステップD4において、分割抽出後の肺部領域に対して画像補間処理と正規化処理を行い、ステップD5において、さらに、追加の肺部画像のアノテーション情報を取得することができ、ここのアノテーション情報は、通常、手動アノテーションで取得され、例えば、1番の肺部画像サンプルをアノテーションして得られるアノテーション情報が「正常」であり、2番の肺部画像サンプルをアノテーションして得られるアノテーション情報が「肺気腫」であり、ステップD6において、ステップD4で処理して得られた肺部領域とステップD5で取得されたアノテーション情報をトレーニングすることにより、医用画像認識モデルを取得し、最後に、ステップD7において、さらに該医用画像認識モデルを評価することにより、医用画像認識モデルを最適化してよい。
本願の実施例では、医用画像サンプルのタイプを示す対応するアノテーション情報をそれぞれ含む少なくとも1つの医用画像サンプルを含むトレーニング対象の医用画像サンプル集合を取得し、その後に、医用画像サンプル集合中の各医用画像サンプルに対応する、医用画像サンプル中の一部であるトレーニング対象領域を抽出し、最後に、各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得する。上記方式で、トレーニングして医用画像の認識モデルを取得し、該モデルで手動アノテーションを代替することができ、手動アノテーションのコストと時間コストを大幅に節約することができる。また、モデルは、実際のニーズに応じてトレーニングし、出力した結果を最適化してもよく、手動による結果出力に比べてより高いフォールトトレランスを有する。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第1の好ましい実施例では、トレーニング対象の医用画像サンプル集合を取得するステップの前に、
オリジナル医用画像集合を取得するステップであって、オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含む、ステップと、
オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得するステップであって、ラベル情報は、オリジナル医用画像に関連する情報を含む、ステップと、
オリジナル医用画像集合からトレーニング対象の医用画像サンプル集合を取得するまで、オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、オリジナル医用画像を医用画像サンプルとして決定するステップとを更に含んでよい。
本実施例では、医用画像の前処理方法を説明し、医用画像認識のシーンでも、医用画像トレーニングのシーンでも、まず、認識のシーン又はトレーニングのシーンを満足しない医用画像を削除する必要がある。具体的には、まず、サーバは、少なくとも1つのオリジナル医用画像を含むオリジナル医用画像集合を取得し、次に各オリジナル医用画像がトレーニングのシーン又は認識のシーンを満足するか否かをそれぞれ判断する必要があり、最後に、これらのシーンを満足しないオリジナル医用画像を削除する。
判断過程において、オリジナル医用画像に対して情報照合を行って、つまり、各オリジナル医用画像に対応するラベル情報(Meta情報とも呼ばれる)がサンプル抽出条件を満足するか否かを判断する。ラベル情報は、該オリジナル医用画像に対応する患者識別子、病院識別子、検査装置識別子、検査部位情報及び検査医師情報を含むが、これらに限定されない。ラベル情報の属性には、関連する名称と値のペアが定義されている。
説明を容易にするために、表1を参照して、表1はオリジナル医用画像中のラベル情報の一例である。
Figure 0007383010000005
表1から分かるように、認識すべきオリジナル医用画像が肺部画像であれば、ラベル情報中の検査部位情報に基づいて、オリジナル医用画像集合からオリジナル医用画像3及びオリジナル医用画像5を削除することができる。
当然のことながら、実際の適用において、オリジナル医用画像集合に非CT画像が混入していれば、これらのオリジナル医用画像を削除する必要があり、或いは、オリジナル医用画像自体が記憶などの問題により損傷していれば、同様にこれらのオリジナル医用画像を削除する必要がある。
次に、本願の実施例では、オリジナル医用画像集合を取得するにあたって、オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を分析する必要があり、ラベル情報がサンプル抽出条件を満足するオリジナル医用画像のみ、医用画像サンプルとすることができる。上記方式で、ラベル情報を用いて無関係なオリジナル医用画像を大量除去できるため、トレーニングの時間コストを節約して、データ全体をより純粋にして、モデルトレーニングの品質と効果を向上させる。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第2の好ましい実施例では、トレーニング対象の医用画像サンプル集合を取得するステップの前に、
オリジナル医用画像集合を取得するステップであって、オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含む、ステップと、
オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得するステップであって、ラベル情報は、オリジナル医用画像に関連する情報を含む、ステップと、
オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、オリジナル医用画像を目標医用画像とマッチングするステップであって、目標医用画像は、予め設定された画像テンプレートである、ステップと、
オリジナル医用画像集合からトレーニング対象の医用画像サンプル集合を取得するまで、オリジナル医用画像と目標医用画像とのマッチングに成功すれば、オリジナル医用画像を医用画像サンプルとして決定するステップとを更に含んでよい。
本実施例では、別の医用画像の前処理方法を説明するが、医用画像認識のシーンでも、医用画像トレーニングのシーンでも、まず、認識のシーン又はトレーニングのシーンを満足しない医用画像を削除する必要がある。具体的には、まず、サーバは、少なくとも1つのオリジナル医用画像を含むオリジナル医用画像集合を取得し、次に各オリジナル医用画像がトレーニングのシーン又は認識のシーンを満足するか否かをそれぞれ判断する必要があり、最後に、これらのシーンを満足しないオリジナル医用画像を削除する。
説明を容易にするために、図8を参照して、図8は、本願の実施例における医用画像サンプルの決定フローの概略図であり、図8に示すように、判断過程において、オリジナル医用画像に対して情報照合を行って、つまり、各オリジナル医用画像に対応するラベル情報がサンプル抽出条件を満足するか否かを判断する(即ち、Meta情報照合を行う)。ラベル情報は、該オリジナル医用画像に対応する患者識別子、病院識別子、検査装置識別子、検査部位情報及び検査医師情報を含むが、これらに限定されない。ラベル情報の属性には、関連する名称と値のペアが定義されている。同時に、オリジナル医用画像をテンプレートとマッチングする(即ち、肺部テンプレートマッチングを行う)必要があり、まず、肺部画像を読み取り、テンプレート(即ち、目標医用画像)を照合して肺部マッチングを行う。多くの正常な肺部は、いずれも左右2つの肺野(肺野は、即ち気体で満たされた2つの肺が胸部写真において現われる一致して少し透明になっている領域である)からなり、オリジナル医用画像集合からトレーニング対象の医用画像サンプル集合を取得するまで、目標CT画像の全体形状と肺部テンプレートとのマッチングに成功すれば、医用画像サンプルとして決定される。この2つの検証により、入力データ全体の後続の処理での有効性を保証し、無関係なデータが全体システムに混入することを回避し、全体的な異常検査及び分類に極めて重要である。有効性検証を行った後、さらにデータ処理を行うことができる。
当然のことながら、実際の適用において、オリジナル医用画像集合に非CT画像が混入していれば、これらのオリジナル医用画像を削除する必要があり、或いは、オリジナル医用画像自体が記憶などの問題により損傷していれば、同様にこれらのオリジナル医用画像を削除する必要がある。検証過程において、ピクチャ分類モデルをトレーニングすることにより、肺部領域と他の領域の分けを行うか、ピクチャ画素統計分布の方式でオリジナル医用画像が肺部領域であるか否かを決定してもよい。
本願の実施例では、まず、サーバは、オリジナル医用画像集合を取得し、その後に、オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得し、オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、オリジナル医用画像と目標医用画像を継続してマッチングし、オリジナル医用画像集合からトレーニング対象の医用画像サンプル集合を取得するまで、オリジナル医用画像と目標医用画像とのマッチングに成功した場合のみ、オリジナル医用画像が医用画像サンプルであると決定する。上記方式で、ラベル情報及びテンプレートを同時に用いてオリジナル医用画像をマッチングし、二重検証により、入力データ全体の後続の処理での有効性を保証し、無関係なデータが全体システムに混入することを回避し、全体的な異常検査及び分類に極めて重要であるため、さらにトレーニングの時間コストを節約することで、モデルトレーニングの品質と効果を向上させる。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第3の好ましい実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップは、
所定の反射値に基づいて医用画像サンプル集合中の各医用画像サンプルを二値化処理し、各医用画像サンプルに対応する二値医用画像を取得するステップと、
目標医用画像を用いて各二値医用画像をマッチングして、各二値医用画像に対応する処理対象領域を抽出するステップであって、目標医用画像は、予め設定された画像テンプレートである、ステップと、
各処理対象領域に対して画像平滑化処理を行って、各処理対象領域に対応する抽出対象輪郭を生成するステップであって、画像平滑化処理は、各処理対象領域に対するオープニング処理又はクロージング処理のうちの少なくとも一方を含む、ステップと、
各抽出対象輪郭を用いて各医用画像サンプルから、対応するトレーニング対象領域をそれぞれ抽出するステップとを含んでよい。
本実施例では、オリジナル医用画像に有効性検証を行われば、医用画像サンプルを取得することができ、少なくとも1つの医用画像サンプルがトレーニング対象の医用画像サンプル集合を構成することができる。次に、さらに、各医用画像サンプルから、トレーニング対象領域(例えば、肺部領域)を抽出する必要がある。肺野以外の領域により発生可能なノイズを効果的に除去し、後続のモデルの判断をより正確にし、肺野以外の計算量を低減するためである。
説明を容易にするために、図9を参照して、図9は、本願の実施例におけるトレーニング対象領域の抽出フローの概略図であり、図9に示すように、具体的には、医用画像サンプルからトレーニング対象領域(又は認識対象領域)を抽出することを例として、まず、医用画像サンプルに対して二値化分離を行い、つまり、医用画像サンプルに適切な閾値方法で二値化分離を行う。異なる器官組織は、異なる反射値(例えば、CT値)を有し、CT値に基づいて医用画像サンプルから肺部の概形を見つけ出すことができる。肺部に対する所定の反射値が30ハンスフィールド単位(Hu)であれば、Huが30の二値医用画像を抽出する。
CT値は、CT画像画素内の組織構造線減衰係数相対値を反映する数値であり、ある物質のCT値は、該物質の減衰係数と水の減衰係数の差を水の減衰係数で除算してスケール因子を乗算して得る値に等しい。物質のCT値は、物質の密度を反映し、即ち、物質のCT値が高いほど物質の密度が高くなり、即ち、
CT値=α×(μm-μw)/μw
μmが物質の減衰係数であり、μwが水の減衰係数であり、αがスケール因子であり、その値が1000であるときに、CT値の単位はHuである。人体内の異なる組織は、異なる減衰係数を有するため、それらのCT値もそれぞれ異なる。CT値の高低に応じて、それぞれ骨組織、軟組織、脂肪、水、気体であり、水のCT値は約0Huである。
なお、実際の適用において、他の閾値方法で二値化を行ってもよく、例えば、画像結合度を計算し、また2つの最大の連通量を計算することで肺部領域を決定してもよい。領域拡張などの方法で肺部凸包領域を計算して肺部領域を決定してもよく、ここで限定しない。
二値化分離後の二値医用画像から肺葉領域を抽出し、抽出方式は、肺部CTテンプレート(即ち、上記図6に対応する第2の実施例に係る目標医用画像)により対応する肺部領域を抽出することである。即ち、予め設定された画像テンプレートである目標医用画像を用いて各二値医用画像をマッチングして、各二値医用画像に対応する処理対象領域を抽出する。
肺部領域に常に肺紋理があり、肺紋理は肺門から外部に放射状に分布する樹枝状影である樹枝状影であり、主に肺動脈と肺静脈で構成された映像であり、気管支とリンパ管も肺紋理の構成に参加する。肺の上部鈍い先端は肺尖と呼ばれ、上向きに胸郭の上の口から首付け根部に突入し、底部が膈の上面にあり、肋と肋間隙に対向している面は肋骨面と呼ばれ、縦隔に面する面は内側面と呼ばれ、該面の中央の気管支、血管、リンパ管及び神経が出入りする場所は肺門と呼ばれ、これらの肺門に出入りする構造は、結合組織に包まれて肺根と呼ばれる。左肺は斜裂で上葉と下葉の2つの肺葉に分かれ、右肺は斜裂に加えて水平裂で上葉、中葉、下葉の3つの肺葉に分かれる。
続いて、肺葉領域を抽出した処理対象領域を平滑化処理して、処理対象領域に対応する抽出対象輪郭を得て、具体的には、各処理対象領域にオープニング処理又はクロージング処理を行うこと、又はオープニング処理とクロージング処理を同時に行うことを含む。オープニングは、画像の輪郭を滑らかにし、狭い結合部分を分離し、細い突起部分を除去することができる。構造要素Bを用いて集合Aに対してオープニングを行うことは、
Figure 0007383010000006
と定義され、
まず、Bを用いてAに対して収縮を行い、その後にBを用いて結果に対して膨張を行うという意味である。
クロージングは、同様に画像の輪郭を滑らかにするが、オープニングとは逆に、狭い途切れと細長い凹みを埋め、小さい穴を除去すると共に輪郭線中の隙間を埋めることができる。構造要素Bを用いて集合Aにクロージングを行うことは、
Figure 0007383010000007
と定義され、
まず、Bを用いてAに対して膨張を行い、その後にBを用いて結果に対して収縮を行うという意味である。
オープニングとクロージングは、処理対象領域中の孤立点ノイズと空洞を除去することにより、処理対象領域をより滑らかにすることができる。
なお、実際の適用において、オープニングとクロージングを用いて処理対象領域を平滑化処理する以外に、異なるフィルタ方法を用いてもよい。例えば、
(1)平均値フィルタ
平均値フィルタは、典型的な線形フィルタアルゴリズムであり、画像において目標画素にその周囲の隣接画素(目標画素を中心とする周囲の8つの画素がフィルタテンプレートを構成し、即ち目標画素自体を除去する)を含むテンプレートを与え、テンプレート中の全ての画素の平均値で元の画素値を代替することである。それは、ノイズ画像、特に大きい孤立点を有する画像に対して非常に敏感であり、非常に少ない点に大きな差があっても平均値の明らかな変動を引き起こす。
(2)メディアンフィルタ
メディアンフィルタは、非線形平滑化技術であり、各画素点の階調値を、該点のある近傍ウィンドウ内の全ての画素点の階調値の中央値に設定し、つまり、中心画素の値を全ての画素値の中間値(平均値ではない)に換えることである。メディアンフィルタでは、中間値を選択することにより画像孤立点ノイズの影響を回避し、インパルス性ノイズに良好な除去作用を有し、特にノイズを除去すると共に、信号のエッジを保存し、ぼやけないようにすることができる。これらの優れた特性は、線形フィルタ方法が有しないものである。また、メディアンフィルタのアルゴリズムは簡単であり、ハードウェアで実現しやすい。したがって、メディアンフィルタ方法が提案された直後、デジタル信号処理の分野において重要に応用されている。
(3)ガウスフィルタ
ガウスフィルタは、線形平滑化フィルタであり、ガウスノイズの除去に適用され、画像処理のノイズ低減プロセスに広く適用される。平易に言えば、ガウスフィルタは、画像全体に対して加重平均を行うプロセスであり、各画素点の値はそれら自体と近傍内の他の画素値を加重平均して得られる。ガウスフィルタの具体的な操作は、画像中の各画素を1つのテンプレート(又は畳み込み、マスクと呼ばれる)を用いて走査し、テンプレートによって決定された近傍内画素の加重平均階調値でテンプレートの中心画素点の値を替わることである。ガウスフィルタを行う一般的な原因は、実画像の空間内の画素は緩やかに変化するため、隣接点の画素変化が目立ちにくいが、ランダムな2つの点が大きな画素差を形成する可能性があるからである。この点に基づいて、ガウスフィルタは信号を保留したままノイズを低減する。残念なことに、この方法は、エッジに近い場所では無効となるため、ガウスフィルタはエッジをぼかすことになる。しかしながら、ガウス平滑化フィルタは、正規分布に従うノイズの抑制には、依然として非常に有効である。
(4)バイラテラルフィルタ
バイラテラルフィルタ(Bilateral filter)は、非線形フィルタ方法であり、画像の空間的近接度と画素値類似度を組み合わせる折衷した処理であり、空間領域情報と階調類似性を同時に考慮して、エッジを保存しノイズを除去するという目的を達成する。簡単、非反復、局所的な特徴を有する。バイラテラルフィルタは、エッジを平滑化しない方法を提供できるが、より多くの処理時間が必要とすることが犠牲になる。バイラテラルフィルタは、ガウスフィルタと同様に、各画素及びそれらの領域ごとに加重平均値を構成し、加重計算は2つの部分を含み、第1の部分の加重方式がガウスフィルタ平滑化の方式と同じであり、第2の部分もガウス加重に属するが、中心画素点と他の画素点の空間距離に基づく加重ではなく、他の画素と中心画素の輝度差分値に基づく加重である。バイラテラルフィルタをガウス平滑化と見なしてよく、類似する画素に高い重みを付与し、類似しない画素に小さい重みを付与して、画像分類に用いてもよい。
バイラテラルフィルタは、エッジ保存(edge preserving)を行うことができるという利点を有し、過去に用いられているウィーナフィルタ又はガウスフィルタによるノイズ低減は、一般にエッジを明らかにぼやけて、高周波のディテールに対する保護効果は明らかではない。その名の示すとおり、バイラテラルフィルタは、ガウスフィルタよりもう1つのガウス分散を有し、空間分布に基づくガウスフィルタ関数であるため、エッジの近傍で、離れている画素はエッジ上の画素値にあまり影響を与えず、エッジ近傍の画素値の保存を保証する。しかしながら、多すぎる高周波情報を保存しているため、バイラテラルフィルタはカラー画像における高周波ノイズを完全に除去できず、低周波情報のみに良好なフィルタを行う。
各抽出対象輪郭を用いて各医用画像サンプルから、対応するトレーニング対象領域をそれぞれ抽出する。具体的には、抽出対象輪郭を得た後に、該抽出対象輪郭をインデックスとして、医用画像サンプルに戻ってトレーニング対象領域(又は認識対象領域)を取り出す。
本願の実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップは、具体的には、まず、所定の反射値に基づいて医用画像サンプル集合中の各医用画像サンプルを二値化処理し、各医用画像サンプルに対応する二値医用画像を取得するステップと、その後に目標医用画像を用いて各二値医用画像をマッチングして、各二値医用画像に対応する処理対象領域を抽出するステップと、各処理対象領域に対して画像平滑化処理を行って、各処理対象領域に対応する抽出対象輪郭を生成するステップと、最後に各抽出対象輪郭を用いて各医用画像サンプルから、対応するトレーニング対象領域をそれぞれ抽出するステップとを含んでよい。上記方式で、医用画像サンプルからトレーニング対象領域をより正確に抽出することができるため、大量の計算時間コストを節約することにより、医用画像認識モデルは具体的な領域の検査に集中して、誤った情報検出を回避し、モデル正確率を向上させる。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第4の好ましい実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップの後、さらに、
トレーニング対象領域が第1の所定領域以上であれば、トレーニング対象領域を縮小処理し、
トレーニング対象領域が第2の所定領域以下であれば、トレーニング対象領域を拡大処理するステップを含んでよい。
本実施例では、分割してトレーニング対象領域を得た後に、モデルで高いトレーニング効果を取得させるために、さらにトレーニング対象領域に対して補間処理を行う必要がある。画像の3次元画像における各方向の単位物理長さを等距離状態にして、測定とモデル計算を容易にすることを目的とする。
実際の場合に、異なる医用画像サンプルのトレーニング対象領域の大きさが異なり、例えば、子供の肺部画像サイズが一般的に通常の大人の肺部画像サイズよりも小さいため、この場合に、例えば、1つの画素が1ミリメートルに等しいとか、縮尺が必要である。トレーニング対象領域が第1の所定領域以上であれば、該トレーニング対象領域のサイズが大きい可能性のあることを示し、この場合に比例により該処理対象領域を縮小処理して、トレーニング対象領域中の各画素の長さをできるだけ1ミリメートルにする必要がある。逆に、トレーニング対象領域が第2の所定領域以下であれば、該トレーニング対象領域のサイズが小さい可能性のあることを示し、この場合に比例により該処理対象領域を拡大処理して、トレーニング対象領域中の各画素の長さをできるだけ1ミリメートルにする必要がある。
上記画像処理を実現する方式は、縦軸(z軸)方向に補間を行うことであり、本願は一般的な線形補間を用いて、画像のxyzの3つの方向での単位物理距離を同じにする。
補間は画像内補間と画像間補間に分かられ、主に画像の拡大及び回転などの動作に適用され、低解像度画像に基づいて別の高解像度画像を再生することは、画像内補間である。画像間補間は画像の超解像再構成とも呼ばれ、画像シーケンス間に幾つかの新しい画像を再生することであり、医用画像シーケンスとビデオシーケンスの間の補間に適用可能である。画像内補間は、実際にシングルフレーム画像の画像再構成プロセスであり、これは、生画像にないデータを生成することを意味する。
なお、本願で用いる補間方法は、近傍補間、スプライン補間、バイリニア補間、二乗補間、バイキュービック補間及び他の高次方法であってよく、ここで限定しない。
そのうち、最近傍補間は、即ち各元画素を拡張後の対応する複数の画素にそのままコピーしてマッピングすることである。このような方法は、画像を拡大すると共に全ての元画像の全ての情報を保留する。従来の画像補間アルゴリズムでは、最近傍画素補間は簡単であり、実現しやすい。
バイリニア補間法は平滑化機能を有し、最近傍画素補間の欠点を効果的に克服することができる。
拡大倍率が高い場合に、高次補間、例えば、バイキュービック補間と三次スプライン補間などは、低次補間よりも効果が高い。
本願の実施例では、サーバは、さらに、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後、トレーニング対象領域に対して対応する処理を行ってよく、トレーニング対象領域が第1の所定領域以上であれば、トレーニング対象領域を縮小処理し、逆に、トレーニング対象領域が第2の所定領域以下であれば、トレーニング対象領域を拡大処理する。上記方式で、トレーニング対象領域に対して画像補間処理を行って、低解像度画像から高解像度画像を生成して、画像中の失われた情報を回復して、トレーニング対象領域の3次元画像における各方向の単位物理長さを等距離状態にして、モデルの測定と計算を容易にすることができる。
任意選択で、上記図6又は図6に対応する第4の実施例を基に、本願の実施例に係るモデルトレーニング方法の第5の好ましい実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップの後、
各トレーニング対象領域に対応する反射値の区間を取得するステップであって、反射値の区間の最大値は第1の反射値で、反射値の区間の最小値は第2の反射値である、ステップと、
反射値の区間に基づいて各トレーニング対象領域を正規化処理して、正規化領域を得るステップとを更に含んでよく、
各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得するステップは、
各医用画像サンプルに対応する正規化領域と各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得するステップを含んでよく、
反射値の区間に基づいて各トレーニング対象領域を正規化処理して、正規化領域を得るステップは、
Figure 0007383010000008
という式により正規化領域を得るステップであって、xoutは正規化領域を表し、xはトレーニング対象領域の画素点の値を表し、xmaxは第1の反射値を表し、xminは第2の反射値を表す、ステップを含んでよい。
本実施例では、分割してトレーニング対象領域を得た後に、モデルで高いトレーニング効果を取得させるために、さらにトレーニング対象領域を正規化処理する必要がある。全てのトレーニング対象領域を次元的に統一状態にして、測定とモデル計算を容易にすることを目的とする。
説明を容易にするために、図10を参照して、図10は、本願の実施例におけるトレーニング対象領域の調整フローの概略図であり、図10に示すように、トレーニング対象領域を得た後に、反射値の区間に基づいてトレーニング対象領域を正規化処理することにより、正規化領域を得る必要がある。後続のモデルトレーニングプロセスにおいて、正規化処理後の正規化領域と各医用画像サンプルに含まれる対応するアノテーション情報を用いてトレーニングすることにより、医用画像認識モデルを取得する。
具体的には、正規化処理は、画像の全ての画素を肺野条件が-600Hu~1024Huの区間に集中し、その後に画像全体を0.0~1.0に線形にスケーリングすることができる。肺野条件のウインドウ幅は可視化CT値の範囲を表し、異なるウインドウ幅から異なるコンテンツ詳細が見られる。画像の方式で正規化領域を得ることができ、
Figure 0007383010000009
ただし、xoutは正規化領域を表し、xはトレーニング対象領域の画素点の値を表し、xmaxは第1の反射値を表し、xminは第2の反射値を表す。
上記肺野条件が-600Hu~1024Huであることを例とすれば、xmaxが1024であり、xminが-600であり、xが1000であり、得られるxoutの正規化領域が0.985で表される。
理解できるように、画像正規化は、画像に対して一連の標準的な処理変換を行うことにより、一定した標準形式に変換するプロセスであり、該標準画像は正規化画像と呼ばれる。オリジナル画像に対して幾つかの処理又は攻撃を行って様々なコピー画像を得ることができ、これらのコピー画像に対してパラメータが同じ画像正規化処理を行って同じ形式の標準画像を得ることができる。
画像正規化は、画像の不変モーメントを用いて、他の変換関数による画像変換への影響を解消する1セットのパラメータを見つけ、処理対象オリジナル画像を対応する唯一の標準形式(該標準形式画像は平行移動、回転及びスケーリングなどのアフィン変換において不変特性を有する)に変換する。
モーメントに基づく画像正規化技術の基本的な動作原理は、まず画像中の、アフィン変換において不変特性を有するモーメントを用いて変換関数のパラメータを決定し、その後にこのパラメータによって決定された変換関数を用いてオリジナル画像を標準形式画像(該画像がアフィン変換とは関係がない)に変換することである。一般的に、モーメントに基づく画像正規化プロセスは、座標センタリング、x-shearing正規化、スケーリング正規化及び回転正規化の4つのステップを含む。画像正規化により画像は幾何学変換による攻撃に抵抗することができ、画像中の不変量を見つけることにより、これらの画像が本来同じであるか又は同一のシリーズに属することを知る。
正規化は簡単な計算方式であり、次元を持つ表現式を変換により次元をもたない表現式にして、スカラーとなる。その目的は以下のとおりである:1、異なる物理的な意味と次元を持つ入力変量を平等に使用できないことを回避し、2、ニューラルネットワークには、伝達関数としてsigmoid関数がよく用いられ、正規化は正味の入力絶対値の過大によるニューロン出力飽和の現象を防止することができ、3、出力データのうちの数値が小さいデータが取り込まれないことを保証する。
ニューラルネットワークにおける正規化の原因は、具体的には、トレーニングネットワークの収束性を加速することであり、正規化処理を行わなくてもよく、正規化の具体的な作用は、サンプルの統計的分布を帰納することである。正規化は0~1の間では統計的な確率分布である。モデル化のためにも、計算のためにも、まず、基本的な測定単位を同一にする必要があり、ニューラルネットワークは、サンプルのイベントにおける統計的な分布確率でトレーニング(確率計算)と予測を行い、正規化は、0~1の間に同一した統計的な確率分布である。全てのサンプルの入力信号がいずれも正の値であると、第1の隠れ層ニューロンに接続された重みは同時に増減又は減少することしかできないため、学習速度が遅くなる。このような状況を回避し、ネットワーク学習速度を加速するために、入力信号に正規化を行うことにより、全てのサンプルの入力信号の平均値が0に近いか又は平均二乗偏差に比べて小さいようにする。正規化はsigmoid関数の値が0~1であるからであり、ネットワークの最後のノードの出力も同様であるため、常にサンプルの出力に正規化処理を行う必要がある。
線形正規化は、オリジナル画像の長さと幅を拡大し縮小させ、画像の線形性を保留することができる。場合によっては特徴ブロック画像が所望の形式ではない可能性があり、この場合にカット後の画像中心の位置を適切に補正して、同じ位置に統一する必要があるため、非線形正規化技術を採用する。
画像正規化は、以下の利点を有する:1、標準モードに変換して、アフィン変換の影響を防止する。2、幾何学変換の影響を低減する。3、勾配降下により最適解を求める速度を加速する。
本願の実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後、モデルで高いトレーニング効果を取得させるために、サーバは、さらに、各トレーニング対象領域に対応する反射値の区間を取得し、反射値の区間に基づいて各トレーニング対象領域を正規化処理して、正規化領域を得てよい。上記方式で、トレーニング対象領域を正規化処理して、トレーニング対象領域全体を0~1に線形スケーリングし、次元を持つ表現式を次元をもたない表現式にし、全てのトレーニング対象領域に対応する画像を次元的に統一状態にすることにより、データ処理を容易にし、データの演算をより迅速かつ効率的にする。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第6の好ましい実施例では、各医用画像サンプルに対応するトレーニング対象領域と、各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得するステップは、
確率的勾配降下アルゴリズム(stochastic gradient descent、SGD)で、残差ネットワークresnet-18構造により、各医用画像サンプルに対応するトレーニング対象領域と、各医用画像サンプルに含まれる対応するアノテーション情報とをトレーニングして、トレーニング結果を取得するステップと、
トレーニング結果に基づいて、複数の検証セット損失値を取得するステップと、
複数の検証セット損失値に基づいて、医用画像認識モデルを決定するステップとを含んでよい。
本実施例では、処理済みの医用画像サンプルを取得した後、各医用画像サンプルに含まれる対応するアノテーション情報を組み合わせて異常検査及び分類ネットワークトレーニングを行ってよい。医用画像認識モデルは、異なる画像のアノテーション情報に基づいて、各種類の画像を、気管支拡張、肺気腫、無気肺、滲出、硬化、異形成症、線維症、石灰化、腫物、結節、空洞、空腔、胸膜滲出液、水気胸及び気胸などの症状に応じて分ける。該医用画像認識モデルは深層学習における残差ネットワークresnet-18構造を用いて、SGDによりモデル最適化を行う。最後にモデル評価を行って指標に適合するモデル結果を選択し保存する。
説明を容易にするために、図11を参照して、図11は、本願の実施例における医用画像認識モデルの構築フローの概略図であり、図11に示すように、まず深層学習ニューラルネットワーク--残差ネットワークresnet-18構造を構築する。残差関数の最適化がより容易であり、ネットワーク層数を顕著に増加させ、残差学習はネットワーク深度の増加による劣化の問題を解決し、残差ネットワークは最適化がより容易であり、収束がより速い。本願は、resnet-18構造を用いて深層学習を行うと、より高いコストパフォーマンスを有する。
続いて、関数SGDをトレーニングし最適化し、学習率と反復回数を設定する必要があり、学習率が高いほど収束が速いことを示し、トレーニング結果に基づいて各組の検証セットに対応する検証セット損失値を得ることができ、そのうちの最小値を最適解として選択することにより、対応するモデルを導出する。
簡単な二次元関数を例とすると、二次元関数の極値を求めようとすれば、一般に、まず該二次元関数の導函数を求め、その後にそれを0とし、この時の独立変数の値を求め、該独立変数を関数式に代入すれば、該関数の極値を求めることができる。確率的勾配降下アルゴリズムは、深層学習における多変数目標関数の最適値の問題を解決するためのものであり、該アルゴリズムのバリエーションアルゴリズムが多くある。深層学習において、実際の問題に対して、まずモデルを構築し、その後に目標関数を決定する。通常、目標関数は、ネットワーク出力値と目標との誤差であり、誤差の形式は様々であり、例えば、一般的なのは、二乗差と交差エントロピーなどである。モデルトレーニングは目標関数を極小値にすることを目的とする。ディープニューラルネットワークの場合、そのパラメータの数が膨大であるため、目標関数は、通常、多くのパラメータを含む非線形関数である。この非線形関数に対して、我々は確率的勾配降下アルゴリズムを用いてパラメータを更新する。具体的なステップは、(1)~(5)のとおりである:(1)ネットワークパラメータを初期化し、一般的には、重みを平均値が0、分散が0.01のガウス分布の乱数値に初期化し、オフセットを0に一括して初期化する;(2)パラメータをネットワーク計算フィードフォワード出力値に代入することにより、既存のターゲットタブに基づいて目標関数値を求める;(3)目標関数値及び各パラメータと目標関数とからなる木構造に基づいて、逆伝播アルゴリズムを用いて各パラメータの勾配を算出する;(4)学習率を設定し(反復のステップの増加に伴い、学習率が通常、徐々に小さくなるようにすることで、トレーニング中に誤差ショックが生じる状況を効果的に回避することができる)、パラメータを更新し、最も一般的な更新方式は新しいパラメータ=古いパラメータ-学習率×勾配である;(5)ネットワークが収束するまで、ステップ(2)~(4)を繰り返することにより、モデルを決定する。
なお、実際の適用において、resnet-18構造を用いてモデルトレーニングを行う以外に、畳み込みニューラルネットワークに基づく様々なモデル構造を用いて分類してよく、実質的に、いずれもニューラルネットワークによる画像の特徴抽出、特徴融合及び特徴判別に属する。
また、特徴抽出には、スケール不変特徴変換(scale-invariant feature transform、SIFT)又は勾配方向ヒストグラム(histogram of oriented gradient、HOG)などの画像処理アルゴリズムが用いられてよく、サポートベクターマシン(support vector machine、SVM)、多層パーセプトロン(multi-layer perceptron、MLP)又は反復アルゴリズム(adaboost)などの分類器を用いて分類処理を行い、ここで限定しない。
次に、本願の実施例では、トレーニングして医用画像認識モデルを取得する方式を説明し、具体的には、SGD方式でresnet-18構造により、各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報をトレーニングしてトレーニング結果を取得し、その後にトレーニング結果に基づいて複数の検証セット損失値を取得し、最後に複数の検証セット損失値に基づいて医用画像認識モデルを決定してよい。上記方式で、SGDを用いてパラメータを更新することにより、モデルトレーニングの性能を保証することができ、その一方では、resnet-18構造は高いコストパフォーマンスを有するため、同時にモデルトレーニングの性能の最適化に有利である。
任意選択で、上記図6に対応する第6の実施例を基に、本願の実施例に係るモデルトレーニング方法の第7の好ましい実施例では、複数の検証セット損失値に基づいて、医用画像認識モデルを決定するステップは、
複数の検証セット損失値から、目標検証セット損失値を決定するステップであって、目標検証セット損失値は、複数の検証セット損失値のうちの最小値である、ステップと、
目標検証セット損失値に対応するトレーニング結果を医用画像認識モデルとして決定するステップとを含んでよい。
本実施例では、医用画像認識モデルを最適化する方式が説明される。サーバは、複数の検証セット損失値から、複数の検証セット損失値のうちの最小値である目標検証セット損失値を決定し、その後に、目標検証セット損失値に対応するトレーニング結果を医用画像認識モデルとして決定する必要がある。
具体的には、モデルをトレーニングする前に目標関数を予め設定し、かつ全てのトレーニングセットをできるだけ該目標関数にする。しかしながら、実際に必ずしもこれらのトレーニングセットをいずれも目標関数にフィッティングさせることができるとは限らないため、該目標関数を繰り返して調整したり修正したりする必要がある。これらのトレーニングセットと目標関数の間の距離が最小となると、フィッティング効果が最適になったことを示すため、最小値状態における目標関数を最後に必要なトレーニング結果とすることにより、医用画像認識モデルを取得することができる。
フィッティングは、平面上の一連の点を滑らかな曲線で結ぶことである。この曲線は無数の可能性があるため、様々なフィッティング方法がある。多くの要因は曲線フィッティングに影響を与えるため、フィッティング効果が低い場合も高い場合もあり、フィッティング品質を改善するために、以下の方式(1)~(6)を採用してよい。
(1)モデルの選択:これは最も主要な一つの要因であり、様々な異なるモデルを用いてデータをフィッティングして比較する;
(2)データ前処理:フィッティング前にデータに対して前処理を行うことは非常に有用であり、応答データに対して変換と明らかな誤りの除去を含む;
(3)合理的なフィッティングは、特異が発生して予測が無限大となる場合を処理する能力をもつべきである;
(5)データを幾つかのサブセットに分解し、異なるサブセットに対して異なる曲線フィッティングを用いる;
(6)複雑な問題を進化の方式で解決することは好ましく、即ち、1つの問題の少量の独立変数を先解決する。通常、低次元問題の解は、近似マッピングにより高次元問題解の開始点とする。
また、本願の実施例では、医用画像認識モデルを最適化する方式を説明し、即ち、サーバは、まず複数の検証セット損失値から、複数の検証セット損失値のうちの最小値である目標検証セット損失値を決定し、その後に、目標検証セット損失値に対応するトレーニング結果を医用画像認識モデルとして決定する。上記方式で、検証セット損失値のうちの最小値を得ると、現在のモデルがより実際の状況に即することを示し、モデルの真実性により近いことも示すため、最適化後の医用画像認識モデルを取得し、指標に適合するモデル結果を選択し保存する。
任意選択で、上記図6に対応する実施例を基に、本願の実施例に係るモデルトレーニング方法の第8の好ましい実施例では、各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得するステップの後に、
認識対象医用画像集合を取得するステップであって、認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる、ステップと、
認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、認識対象領域は、認識対象医用画像中の一部である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを更に含んでよい。
本実施例では、医用画像認識モデルを用いて医用画像を認識する方式を説明する。肺部画像を例として説明し、図12を参照して、図12は、本願の実施例における医用画像認識モデルのロードフローの概略図であり、図12に示すように、医用画像認識シーンにおいて、サーバは、まず認識対象医用画像集合を取得し、なお、ここの認識対象医用画像集合は、1つのみの認識対象医用画像を含んでもよく、複数の認識対象医用画像を含んでもよい。続いて、サーバは、各認識対象医用画像に対して特徴抽出を行うことで、認識対象領域を得て、特徴抽出プロセスは認識対象医用画像に画像補間と正規化処理を行うことを含む。サーバは各認識対象領域を医用画像モデルに入力し、該医用画像モデルで各認識対象領域に対応する認識結果を出力し、該認識結果は、認識対象医用画像のタイプ、例えば、「正常」、「肺気腫」、「気管支拡張」又は「石灰化」などを示すことができる。
医用画像認識モデルは、大量の医用画像サンプルでトレーニングして得られ、各医用画像サンプルが対応するアノテーション情報を含み、例えば、1番の肺部画像サンプルのアノテーション情報が「正常」であり、2番の肺部画像サンプルのアノテーション情報が「肺気腫」であり、3番の肺部画像サンプルのアノテーション情報が「石灰化」であり、ここのアノテーション情報は、通常、手動でアノテーションして取得される。
本願の実施例では、サーバは、トレーニングして医用画像認識モデルを取得した後に、さらに該医用画像認識モデルで認識対象医用画像集合を認識してよく、即ち、まず認識対象医用画像集合中の各認識対象医用画像に対応する、認識対象医用画像中の一部である認識対象領域を抽出し、その後に、医用画像認識モデルで各認識対象領域の認識結果を決定する。上記方式で、医用画像認識モデルで手動アノテーションを代替すると、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と信頼性を有する。
以下、本願の一実施例に対応するコンピュータ装置を詳細に説明し、図13を参照して、図13は、本願の実施例におけるコンピュータ装置の一実施例の概略図であり、コンピュータ装置30は、
認識対象医用画像集合を取得する取得モジュールであって、該認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれる取得モジュール301と、
該取得モジュール301によって取得された該認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出する抽出モジュールであって、該認識対象領域は、該認識対象医用画像中の一部の画像である抽出モジュール302と、
医用画像認識モデルで、該抽出モジュール302によって抽出された各認識対象領域の認識結果を決定する決定モジュールであって、該医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、該医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、該認識結果は、認識対象医用画像のタイプを示すためのものである決定モジュール303とを含む。
本願の実施例では、取得モジュール301は、少なくとも1つの認識対象医用画像を含む認識対象医用画像集合を取得し、抽出モジュール302は、該取得モジュール301によって取得された該認識対象医用画像集合中の各認識対象医用画像に対応し、該認識対象医用画像中の一部である認識対象領域を抽出し、決定モジュール303は、医用画像認識モデルで、該抽出モジュール302によって抽出された各認識対象領域の認識結果を決定し、該医用画像認識モデルが医用画像サンプル集合に基づいてトレーニングして得られ、該医用画像サンプル集合が少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報が医用画像サンプルのタイプを示し、該認識結果が認識対象医用画像のタイプを示す。
本願の実施例では、医用画像認識方法が提供され、まず、コンピュータ装置は、少なくとも1つの認識対象医用画像を含む認識対象医用画像集合を取得し、その後に、認識対象医用画像集合中の各認識対象医用画像に対応する、認識対象医用画像中の一部である認識対象領域を抽出し、最後に、医用画像認識モデルで、各認識対象領域の認識結果を決定し、医用画像認識モデルが医用画像サンプル集合に基づいてトレーニングして得られたものであり、医用画像サンプル集合が少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、アノテーション情報が医用画像サンプルのタイプを示すためのものであり、認識結果が認識対象医用画像のタイプを示すためのものである。上記方式で、医用画像認識モデルで手動アノテーションを代替すると、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と信頼性を有する。
以下、本願の別の実施例に対応するコンピュータ装置を詳細に説明し、図14を参照して、図14は、本願の実施例におけるコンピュータ装置の一実施例の概略図であり、コンピュータ装置40は、
トレーニング対象の医用画像サンプル集合を取得する取得モジュールであって、該医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものである取得モジュール401と、
該取得モジュール401によって取得された該医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出する抽出モジュールであって、該トレーニング対象領域は、該医用画像サンプル中の一部の画像である抽出モジュール402と、
該抽出モジュールによって抽出された該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するトレーニングモジュール403とを含む。
本願の実施例では、取得モジュール401は、医用画像サンプルのタイプを示す対応するアノテーション情報をそれぞれ含む少なくとも1つの医用画像サンプルを含むトレーニング対象の医用画像サンプル集合を取得し、抽出モジュール402は、該取得モジュール401によって取得された該医用画像サンプル集合中の各医用画像サンプルに対応する、該医用画像サンプル中の一部であるトレーニング対象領域を抽出し、トレーニングモジュール403は、該抽出モジュールによって抽出された該各医用画像サンプルに対応するトレーニング対象領域と該各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得する。
本願の実施例では、医用画像サンプルのタイプを示す対応するアノテーション情報をそれぞれ含む少なくとも1つの医用画像サンプルを含むトレーニング対象の医用画像サンプル集合を取得し、その後に、医用画像サンプル集合中の各医用画像サンプルに対応する、医用画像サンプル中の一部であるトレーニング対象領域を抽出し、最後に、各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得する。上記方式で、トレーニングして医用画像の認識モデルを取得し、該モデルで手動アノテーションを代替することができ、手動アノテーションのコストと時間コストを大幅に節約することができる。また、モデルは、実際のニーズに応じてトレーニングを行い、出力した結果を最適化し、結果の手動出力に比べてより高いフォールトトレランスを有する。
任意選択で、上記図14に対応する実施例を基に、図15を参照して、本願の実施例に係るコンピュータ装置40の別の実施例では、該コンピュータ装置40は、さらに決定モジュール404を含み、
該取得モジュール401は、さらに、トレーニング対象の医用画像サンプル集合を取得する前に、オリジナル医用画像集合を取得し、該オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含み、
該取得モジュール401は、さらに、該オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得し、該ラベル情報は、該オリジナル医用画像に関連する情報を含み、
該決定モジュール404は、該オリジナル医用画像集合から該トレーニング対象の医用画像サンプル集合を取得するまで、該取得モジュール401によって取得された該オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該オリジナル医用画像が該医用画像サンプルであると決定する。
本願の実施例では、オリジナル医用画像集合を取得するにあたって、オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を分析する必要があり、ラベル情報がサンプル抽出条件を満足するオリジナル医用画像のみ、医用画像サンプルとすることができる。上記方式で、ラベル情報を用いて無関係なオリジナル医用画像を大量除去できるため、トレーニングの時間コストを節約して、データ全体をより純粋にして、モデルトレーニングの品質と効果を向上させる。
任意選択で、上記図14に対応する実施例を基に、図16を参照して、本願の実施例に係るコンピュータ装置40の別の実施例では、該コンピュータ装置40は、さらに決定モジュール404及びマッチングモジュール405を含み、
該取得モジュール401は、さらに、オリジナル医用画像集合を取得し、該オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含み、
該取得モジュール401は、さらに、該オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得し、該ラベル情報は、該オリジナル医用画像に関連する情報を含み、
該マッチングモジュール405は、該取得モジュール401によって取得された該オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該オリジナル医用画像を目標医用画像とマッチングし、該目標医用画像は、予め設定された画像テンプレートであり、
該決定モジュール404は、該オリジナル医用画像集合から該トレーニング対象の医用画像サンプル集合を取得するまで、該取得モジュール401によって取得された該オリジナル医用画像と該目標医用画像とのマッチングに成功すれば、該オリジナル医用画像が該医用画像サンプルであると決定する。
本願の実施例では、まず、コンピュータ装置は、オリジナル医用画像集合を取得し、その後に、オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得し、オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、オリジナル医用画像と目標医用画像を継続してマッチングし、オリジナル医用画像集合からトレーニング対象の医用画像サンプル集合を取得するまで、オリジナル医用画像と目標医用画像とのマッチングに成功した場合のみ、オリジナル医用画像が医用画像サンプルであると決定する。上記方式で、ラベル情報及びテンプレートを同時に用いてオリジナル医用画像をマッチングし、二重検証により、入力データ全体の後続の処理での有効性を保証し、無関係なデータが全体システムに混入することを回避し、全体的な異常検査及び分類に極めて重要であるため、さらにトレーニングの時間コストを節約することで、モデルトレーニングの品質と効果を向上させる。
任意選択で、上記図14に対応する実施例を基に、本願の実施例に係るコンピュータ装置40の別の実施例では、
該抽出モジュール402は、具体的には、所定の反射値に基づいて該医用画像サンプル集合中の各医用画像サンプルを二値化処理し、該各医用画像サンプルに対応する二値医用画像を取得し、予め設定された画像テンプレートである目標医用画像を用いて各二値医用画像をマッチングして、該各二値医用画像に対応する処理対象領域を抽出し、各処理対象領域に対して、オープニング処理又はクロージング処理のうちの少なくとも一方を含む画像平滑化処理を行って、該各処理対象領域に対応する抽出対象輪郭を生成し、各抽出対象輪郭を用いて該各医用画像サンプルから、対応する該トレーニング対象領域をそれぞれ抽出する。
次に、本願の実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップは、具体的には、まず、所定の反射値に基づいて医用画像サンプル集合中の各医用画像サンプルを二値化処理し、各医用画像サンプルに対応する二値医用画像を取得するステップと、その後に目標医用画像を用いて各二値医用画像をマッチングして、各二値医用画像に対応する処理対象領域を抽出するステップと、各処理対象領域に対して画像平滑化処理を行って、各処理対象領域に対応する抽出対象輪郭を生成するステップと、最後に各抽出対象輪郭を用いて各医用画像サンプルから、対応するトレーニング対象領域をそれぞれ抽出するステップとを含んでよい。上記方式で、医用画像サンプルからトレーニング対象領域をより正確に抽出することができるため、大量の計算時間コストを節約することにより、医用画像認識モデルは具体的な領域の検査に集中して、誤った情報検出を回避し、モデル正確率を向上させる。
任意選択で、上記図14に対応する実施例を基に、図17を参照して、本願の実施例に係るコンピュータ装置40の別の実施例では、該コンピュータ装置40は、さらに処理モジュール406を含み、
該処理モジュール406は、該抽出モジュール402が該医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後に、該トレーニング対象領域が第1の所定領域以上であれば、該トレーニング対象領域を縮小処理し、
該処理モジュール406は、該抽出モジュール402によって抽出された該トレーニング対象領域が第2の所定領域以下であれば、該トレーニング対象領域を拡大処理する。
本願の実施例では、コンピュータ装置は、さらに、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後、トレーニング対象領域に対して対応する処理を行ってよく、トレーニング対象領域が第1の所定領域以上であれば、トレーニング対象領域を縮小処理し、逆に、トレーニング対象領域が第2の所定領域以下であれば、トレーニング対象領域を拡大処理する。上記方式で、トレーニング対象領域に対して画像補間処理を行ってよく、低解像度画像から高解像度画像を生成して、画像中の失われた情報を回復して、トレーニング対象領域の3次元画像における各方向の単位物理長さを等距離状態にして、モデルの測定と計算を容易にすることができる。
任意選択で、上記図14又は図17に対応する実施例を基に、本願の実施例に係るコンピュータ装置40の別の実施例では、
該取得モジュール401は、さらに、該抽出モジュール402が該医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後に、各トレーニング対象領域に対応する反射値の区間を取得し、該反射値の区間の最大値は第1の反射値で、該反射値の区間の最小値は第2の反射値であり、
該処理モジュール406は、さらに、該取得モジュール401によって取得された該反射値の区間に基づいて該各トレーニング対象領域を正規化処理して、正規化領域を得て、
該トレーニングモジュール403は、具体的には、該各医用画像サンプルに対応する正規化領域と該各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして該医用画像認識モデルを取得し、
該処理モジュール406は、具体的には、
Figure 0007383010000010
という式により該正規化領域を得て、
ただし、該xoutは該正規化領域を表し、該xは該トレーニング対象領域の画素点の値を表し、該xmaxは該第1の反射値を表し、該xminは該第2の反射値を表す。
本願の実施例では、医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出した後、モデルで高いトレーニング効果取得させるために、コンピュータ装置は、さらに、各トレーニング対象領域に対応する反射値の区間を取得し、反射値の区間に基づいて各トレーニング対象領域を正規化処理して、正規化領域を得てよい。上記方式で、トレーニング対象領域を正規化処理して、トレーニング対象領域全体を0~1に線形スケーリングし、次元を持つ表現式を次元をもたない表現式にし、全てのトレーニング対象領域に対応する画像を次元的に統一状態にすることにより、データ処理を容易にし、データの演算をより迅速かつ効率的にする。
任意選択で、上記図14に対応する実施例を基に、本願の実施例に係るコンピュータ装置40の別の実施例では、
該トレーニングモジュール403は、具体的には、確率的勾配降下アルゴリズムSGDで、残差ネットワークresnet-18構造により、該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報とをトレーニングして、トレーニング結果を取得し、
該トレーニング結果に基づいて、複数の検証セット損失値を取得し、
該複数の検証セット損失値に基づいて、該医用画像認識モデルを決定する。
次に、本願の実施例では、トレーニングして医用画像認識モデルを取得する方式を説明し、具体的には、SGD方式でresnet-18構造により、各医用画像サンプルに対応するトレーニング対象領域と各医用画像サンプルに含まれる対応するアノテーション情報をトレーニングしてトレーニング結果を取得し、その後にトレーニング結果に基づいて複数の検証セット損失値を取得し、最後に複数の検証セット損失値に基づいて医用画像認識モデルを決定してよい。上記方式で、SGDを用いてパラメータを更新することにより、モデルトレーニングの性能を保証することができ、その一方では、resnet-18構造は高いコストパフォーマンスを有するため、同時にモデルトレーニングの性能の最適化に有利である。
任意選択で、上記図14に対応する実施例を基に、本願の実施例に係るコンピュータ装置40の別の実施例では、
該決定モジュール404は、具体的には、該複数の検証セット損失値から、目標検証セット損失値を決定し、該目標検証セット損失値は、該複数の検証セット損失値のうちの最小値であり、
該目標検証セット損失値に対応するトレーニング結果を該医用画像認識モデルとして決定する。
また、本願の実施例では、医用画像認識モデルを最適化する方式を説明し、即ち、コンピュータ装置は、まず複数の検証セット損失値から、複数の検証セット損失値のうちの最小値である目標検証セット損失値を決定し、その後に、目標検証セット損失値に対応するトレーニング結果を医用画像認識モデルとして決定する。上記方式で、検証セット損失値のうちの最小値を得ると、現在のモデルがより実際の状況に即することを示し、モデルの真実性により近いことも示すため、最適化後の医用画像認識モデルを取得し、指標に適合するモデル結果を選択し保存する。
任意選択で、上記図14に対応する実施例を基に、本願の実施例に係るコンピュータ装置40の別の実施例では、
該取得モジュール401は、さらに、該トレーニングモジュール403が該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報に基づいて、トレーニングして医用画像認識モデルを取得した後に、認識対象医用画像集合を取得し、該認識対象医用画像集合に、少なくとも1つの認識対象医用画像が含まれ、
該抽出モジュール402は、さらに、該取得モジュール401によって取得された該認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出し、該認識対象領域は、該認識対象医用画像中の一部の画像であり、
該決定モジュール404は、さらに、該医用画像認識モデルで、該抽出モジュール402によって抽出された各認識対象領域の認識結果を決定し、該認識結果は、認識対象医用画像のタイプを示すためのものである。
本願の実施例では、コンピュータ装置は、トレーニングして医用画像認識モデルを取得した後に、さらに該医用画像認識モデルで認識対象医用画像集合を認識してよく、即ち、まず認識対象医用画像集合中の各認識対象医用画像に対応する、認識対象医用画像中の一部である認識対象領域を抽出し、その後に、医用画像認識モデルで各認識対象領域の認識結果を決定する。上記方式で、医用画像認識モデルで手動アノテーションを代替すると、手動アノテーションのコストと時間コストを大幅に節約することができる。また、該モデルを用いる医用画像の認識は、様々なシーンに適用することができ、認識の正確率は使用者によってばらつくことがなく、高い確実性と信頼性を有する。
図18は、本願の実施例に係るコンピュータ装置の概略構成図であり、該コンピュータ装置500は、構成又は性能によって大きく異なる可能性があり、1つ以上の中央処理装置(central processing units、CPU)522(例えば、1つ以上のプロセッサ)と、メモリ532と、アプリケーションプログラム542又はデータ544を記憶する1つ以上の記憶媒体530(例えば、1つ以上の大容量記憶装置)と、を含んでよい。メモリ532及び記憶媒体530は、一時的記憶装置でも永続的記憶装置でもよい。記憶媒体530に記憶されたプログラムは、それぞれコンピュータ装置に対する一連の命令操作を含む1つ以上のモジュール(図示せず)を含んでよい。さらに、中央処理装置522は、記憶媒体530と通信して、記憶媒体530における一連の命令操作をコンピュータ装置500で実行するように構成されてよい。
コンピュータ装置500は、1つ以上の電源526、1つ以上の有線又は無線ネットワークインタフェース550、1つ以上の入出力インタフェース558、及び/又は1つ以上のオペレーティングシステム541、例えば、Windows Server(登録商標)、Mac OS X(登録商標)、Unix(登録商標)、Linux(登録商標)、FreeBSD(登録商標)などをさらに含んでよい。
上記実施例では、コンピュータ装置によって実行されたステップは、該図18に示されるコンピュータ装置の構造に基づくことができる。
本願の実施例では、CPU 522は、
認識対象医用画像集合を取得するステップであって、該認識対象医用画像集合は、少なくとも1つの認識対象医用画像を含む、ステップと、
該認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、該認識対象領域は、該認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、該医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、該医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、該認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
認識対象オリジナル医用画像集合を取得するステップであって、該認識対象オリジナル医用画像集合は、少なくとも1つの認識対象オリジナル医用画像を含む、ステップと、
該認識対象オリジナル医用画像集合中の各認識対象オリジナル医用画像のラベル情報を取得するステップであって、該ラベル情報は、該認識対象オリジナル医用画像に関連する情報を含む、ステップと、
該認識対象オリジナル医用画像集合から該認識対象医用画像集合を取得するまで、該認識対象オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該認識対象オリジナル医用画像を該認識対象医用画像として決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
認識対象オリジナル医用画像集合を取得するステップであって、該認識対象オリジナル医用画像集合は、少なくとも1つの認識対象オリジナル医用画像を含む、ステップと、
該認識対象オリジナル医用画像集合中の各認識対象オリジナル医用画像のラベル情報を取得するステップであって、該ラベル情報は、該認識対象オリジナル医用画像に関連する情報を含む、ステップと、
認識対象オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該認識対象オリジナル医用画像を目標医用画像とマッチングするステップであって、該目標医用画像は、予め設定された画像テンプレートである、ステップと、
該認識対象オリジナル医用画像集合から該認識対象医用画像集合を取得するまで、該認識対象オリジナル医用画像と該目標医用画像とのマッチングに成功すれば、該認識対象オリジナル医用画像を該認識対象医用画像として決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、具体的には、
所定の反射値に基づいて該認識対象医用画像集合中の各認識対象医用画像を二値化処理し、該各認識対象医用画像に対応する二値医用画像を取得するステップと、
目標医用画像を用いて各二値医用画像をマッチングして、該各二値医用画像に対応する処理対象領域を抽出するステップであって、該目標医用画像は、予め設定された画像テンプレートである、ステップと、
各処理対象領域に対して画像平滑化処理を行って、該各処理対象領域に対応する抽出対象輪郭を生成するステップであって、該画像平滑化処理は、該各処理対象領域に対するオープニング処理又はクロージング処理のうちの少なくとも一方を含む、ステップと、
各抽出対象輪郭を用いて該各認識対象医用画像から、対応する該認識対象領域をそれぞれ抽出するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
該認識対象領域が第1の所定領域以上であれば、該認識対象領域を縮小処理し、
該認識対象領域が第2の所定領域以下であれば、該認識対象領域を拡大処理するステップを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
各認識対象領域に対応する反射値の区間を取得するステップであって、該反射値の区間の最大値は第1の反射値で、該反射値の区間の最小値は第2の反射値である、ステップと、
該反射値の区間に基づいて該各認識対象領域を正規化処理して、正規化領域を得るステップとを実行し、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップは、
該医用画像認識モデルで、該各認識対象領域の正規化領域に対応する認識結果を決定するステップを含み、
該反射値の区間に基づいて該各認識対象領域を正規化処理して、正規化領域を得るステップは、
Figure 0007383010000011
という式により該正規化領域を得るステップであって、該xoutは該正規化領域を表し、該xは該認識対象領域の画素点の値を表し、該xmaxは該第1の反射値を表し、該xminは該第2の反射値を表す、ステップを含む。
本願の実施例では、CPU 522は、
トレーニング対象の医用画像サンプル集合を取得するステップであって、医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
該医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、該トレーニング対象領域は、該医用画像サンプル中の一部の画像である、ステップと、
該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
オリジナル医用画像集合を取得するステップであって、該オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含む、ステップと、
該オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得するステップであって、該ラベル情報は、該オリジナル医用画像に関連する情報を含む、ステップと、
該オリジナル医用画像集合から該トレーニング対象の医用画像サンプル集合を取得するまで、該オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該オリジナル医用画像を該医用画像サンプルとして決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
オリジナル医用画像集合を取得するステップであって、該オリジナル医用画像集合は、少なくとも1つのオリジナル医用画像を含む、ステップと、
該オリジナル医用画像集合中の各オリジナル医用画像のラベル情報を取得するステップであって、該ラベル情報は、該オリジナル医用画像に関連する情報を含む、ステップと、
該オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、該オリジナル医用画像を目標医用画像とマッチングするステップであって、該目標医用画像は、予め設定された画像テンプレートである、ステップと、
該オリジナル医用画像集合から該トレーニング対象の医用画像サンプル集合を取得するまで、該オリジナル医用画像と該目標医用画像とのマッチングに成功すれば、該オリジナル医用画像を該医用画像サンプルとして決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、具体的には、
所定の反射値に基づいて該医用画像サンプル集合中の各医用画像サンプルを二値化処理し、該各医用画像サンプルに対応する二値医用画像を取得するステップと、
目標医用画像を用いて各二値医用画像をマッチングして、該各二値医用画像に対応する処理対象領域を抽出するステップであって、該目標医用画像は、予め設定された画像テンプレートである、ステップと、
各処理対象領域に対して画像平滑化処理を行って、該各処理対象領域に対応する抽出対象輪郭を生成するステップであって、該画像平滑化処理は、該各処理対象領域に対応するオープニング処理又はクロージング処理のうちの少なくとも一方を含む、ステップと、
各抽出対象輪郭を用いて該各医用画像サンプルから、対応する該トレーニング対象領域をそれぞれ抽出するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
該トレーニング対象領域が第1の所定領域以上であれば、該トレーニング対象領域を縮小処理し、
該トレーニング対象領域が第2の所定領域以下であれば、該トレーニング対象領域を拡大処理するステップを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
各トレーニング対象領域に対応する反射値の区間を取得するステップであって、該反射値の区間の最大値は第1の反射値で、該反射値の区間の最小値は第2の反射値である、ステップと、
該反射値の区間に基づいて該各トレーニング対象領域を正規化処理して、正規化領域を得るステップとを実行し、
CPU 522は、具体的には、
該各医用画像サンプルに対応する正規化領域と該各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして該医用画像認識モデルを取得するステップを実行し、
CPU 522は、具体的には、
Figure 0007383010000012
という式により該正規化領域を得るステップであって、該xoutは該正規化領域を表し、該xは該トレーニング対象領域の画素点の値を表し、該xmaxは該第1の反射値を表し、該xminは該第2の反射値を表す、ステップを実行する。
任意選択で、本願の実施例では、CPU 522は、具体的には、
確率的勾配降下アルゴリズムSGDで、残差ネットワークresnet-18構造により、該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報とをトレーニングして、トレーニング結果を取得するステップと、
該トレーニング結果に基づいて、複数の検証セット損失値を取得するステップと、
該複数の検証セット損失値に基づいて、該医用画像認識モデルを決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、具体的には、
該複数の検証セット損失値から、目標検証セット損失値を決定するステップであって、該目標検証セット損失値は、該複数の検証セット損失値のうちの最小値である、ステップと、
該目標検証セット損失値に対応するトレーニング結果を該医用画像認識モデルとして決定するステップとを実行する。
任意選択で、本願の実施例では、CPU 522は、さらに、
認識対象医用画像集合を取得するステップであって、該認識対象医用画像集合は、少なくとも1つの認識対象医用画像を含む、ステップと、
該認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、該認識対象領域は、該認識対象医用画像中の一部の画像である、ステップと、
該医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、該認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実行する。
本願の実施例は、さらに、プロセッサによってロードされ実行されると、
認識対象医用画像集合を取得するステップであって、該認識対象医用画像集合は、少なくとも1つの認識対象医用画像を含む、ステップと、
該認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、該認識対象領域は、該認識対象医用画像中の一部の画像である、ステップと、
医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、該医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、該医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、該認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを実現する少なくとも1つのプログラムコードが記憶されているコンピュータ可読記憶媒体であってよい記憶媒体を提供する。
本願の実施例は、さらに、プロセッサによってロードされ実行されると、
トレーニング対象の医用画像サンプル集合を取得するステップであって、該医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、該アノテーション情報は、医用画像サンプルのタイプを示すためのものである、ステップと、
該医用画像サンプル集合中の各医用画像サンプルに対応するトレーニング対象領域を抽出するステップであって、該トレーニング対象領域は、該医用画像サンプル中の一部の画像である、ステップと、
該各医用画像サンプルに対応するトレーニング対象領域と、該各医用画像サンプルに含まれる対応するアノテーション情報とに基づいて、トレーニングして医用画像認識モデルを取得するステップとを実現する少なくとも1つのプログラムコードが記憶されているコンピュータ可読記憶媒体であってよい記憶媒体を提供する。
上記実施例では、全て又は部分的にソフトウェア、ハードウェア、ファームウェア又は他の任意の組み合わせにより実現してよい。ソフトウェアで実現する場合、全て又は部分的にコンピュータプログラム製品の形態で実現してよい。
該コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータに該コンピュータプログラム命令をロードし実行するときに、本願の実施例に記載のフロー又は機能に基づいて全て又は部分的に生成される。該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であってよい。該コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、該コンピュータ命令は、有線(例えば、同軸ケーブル、光ファイバー、デジタル加入者線(Digital Subscriber Line、DSL)又は無線(例えば、赤外線、無線、マイクロ波など)方式で、1つのウェブサイト、コンピュータ、コンピュータ装置又はデータセンターから別のウェブサイト、コンピュータ、コンピュータ装置又はデータセンターに送信されてよい。該コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体、又は1つ又は複数の利用可能な媒体で集積されたサーバ、データセンターなどを含むデータ記憶装置であってよい。該利用可能な媒体は、磁気媒体(例えば、フロッピー(登録商標)ディスク、ハードディスク、磁気テープ)、光学媒体(例えば、デジタル・バーサタイル・ディスク(Digital Versatile Disc、DVD))又は半導体媒体(例えば、ソリッドステートディスク(Solid State Disk、SSD))などであってよい。当業者が明確に理解できるように、容易かつ簡潔に説明するために、上述したシステム、装置及びユニットの具体的な動作過程は前述の方法の実施例における対応プロセスを参照すればよく、ここで説明を省略する。
本願に係る一部の実施例では、理解すべきことは、開示されたシステム、装置及び方法は他の方式で実現することができる。例えば、以上に説明された装置の実施例は例示的なものに過ぎず、例えば、該ユニットの分割は論理的な機能の分割に過ぎず、実際の実施においては他の分割仕様があってもよく、例えば、複数のユニット又は構成要素は組み合わせるか又は他のシステムに集積されてもよく、或いは一部の特徴を無視するか又は実行しなくてもよい。また、図示又は検討された互いの結合、直接的な結合又は通信接続は、いくつかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
分離した部材として説明された該ユニットは、物理的に分離してもよいし、分離しなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもよいし、物理的なユニットでなくてもよく、即ち、1つの場所に位置してもよく、複数のネットワークユニット上に分布してもよい。実際のニーズに応じて、それらのうちの一部又は全部のユニットを選択して本実施例の技術手段の目的を達成することができる。
また、本願の各実施例中の各機能ユニットは、すべてが1つの処理ユニットに集積されてもよいし、それぞれが物理的に独立してもよいし、2つ以上のユニットが1つのユニットに集積されてもよい。上記集積されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。
該集積されたユニットは、ソフトウェア機能ユニットの形態で実現されて独立な製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶することができる。このような理解に基づいて、本願の技術手段は、本質的に従来技術に対する貢献のある部分又は該技術手段の全部又は一部をソフトウェア製品の形態で実現することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、一つのコンピュータ装置(パーソナルコンピュータ、サーバ又はネットワーク装置などであってよい)に本願の各実施例における該方法の全部又は一部のステップを実行させる幾つかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ(read-only memory、ROM)、ランダムアクセスメモリ(random access memory、RAM)、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる様々な媒体を含む。
以上の実施例は、本願の技術手段を説明するためのものに過ぎず、それを制限するものではない。前述した実施例を参照しながら本願を詳細に説明したが、当業者であれば理解できるように、依然として前述した各実施例に記載の技術手段を変更し、又はその一部の技術的特徴に等価置換を行うことができ、これらの修正又は置換により、対応する技術手段の本質は、本願の各実施例の技術手段の主旨及び範囲から逸脱することにならない。
30 コンピュータ装置
301 取得モジュール
302 抽出モジュール
303 決定モジュール
40 コンピュータ装置
401 取得モジュール
402 抽出モジュール
403 トレーニングモジュール
404 決定モジュール
405 マッチングモジュール
406 処理モジュール
500 コンピュータ装置
522 中央処理装置
526 電源
530 記憶媒体
532 メモリ
541 オペレーティングシステム
542 アプリケーションプログラム
544 データ
550 有線又は無線ネットワークインタフェース
558 入出力インタフェース

Claims (6)

  1. コンピュータ装置が実行する医用画像認識方法であって、
    認識対象オリジナル医用画像集合を取得するステップであって、前記認識対象オリジナル医用画像集合は、少なくとも1つの認識対象オリジナル医用画像を含む、ステップと、
    前記認識対象オリジナル医用画像集合中の各認識対象オリジナル医用画像のラベル情報を取得するステップであって、前記ラベル情報は、前記認識対象オリジナル医用画像に関連する情報を含む、ステップと、
    前記認識対象オリジナル医用画像のラベル情報がサンプル抽出条件を満足すれば、前記認識対象オリジナル医用画像を目標医用画像とマッチングするステップであって、前記目標医用画像は、予め設定された画像テンプレートである、ステップと、
    前記認識対象オリジナル医用画像集合から前記認識対象医用画像集合を取得するまで、前記認識対象オリジナル医用画像と前記目標医用画像とのマッチングに成功すれば、前記認識対象オリジナル医用画像を前記認識対象医用画像として決定するステップと、
    認識対象医用画像集合を取得するステップであって、前記認識対象医用画像集合は、少なくとも1つの認識対象医用画像を含む、ステップと、
    前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出するステップであって、前記認識対象領域は、前記認識対象医用画像中の一部の画像である、ステップと、
    前記認識対象領域のサイズが第1の所定サイズ以上であれば、前記認識対象領域を縮小処理し、前記認識対象領域のサイズが第2の所定サイズ以下であれば、前記認識対象領域を拡大処理するステップと、
    医用画像認識モデルで、各認識対象領域の認識結果を決定するステップであって、前記医用画像認識モデルは、医用画像サンプル集合に基づいてトレーニングして得られたものであり、前記医用画像サンプル集合は、少なくとも1つの医用画像サンプルを含み、各医用画像サンプルに、対応するアノテーション情報が含まれ、前記アノテーション情報は、医用画像サンプルのタイプを示すためのものであり、前記認識結果は、認識対象医用画像のタイプを示すためのものである、ステップとを含む、ことを特徴とする認識方法。
  2. 前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出する前記ステップは、
    所定の反射値に基づいて前記認識対象医用画像集合中の各認識対象医用画像を二値化処理し、前記各認識対象医用画像に対応する二値医用画像を取得するステップと、
    目標医用画像を用いて各二値医用画像をマッチングして、前記各二値医用画像に対応する処理対象領域を抽出するステップであって、前記目標医用画像は、予め設定された画像テンプレートである、ステップと、
    各処理対象領域に対して画像平滑化処理を行って、前記各処理対象領域に対応する抽出対象輪郭を生成するステップであって、前記画像平滑化処理は、前記各処理対象領域に対するオープニング処理又はクロージング処理のうちの少なくとも一方を含む、ステップと、
    各抽出対象輪郭を用いて前記各認識対象医用画像から、対応する前記認識対象領域をそれぞれ抽出するステップとを含む、ことを特徴とする請求項1に記載の認識方法。
  3. 前記認識対象医用画像集合中の各認識対象医用画像に対応する認識対象領域を抽出する前記ステップの後、前記方法は、
    各認識対象領域に対応する反射値の区間を取得するステップであって、前記反射値の区間の最大値は第1の反射値であり、前記反射値の区間の最小値は第2の反射値である、ステップと、
    前記反射値の区間に基づいて前記各認識対象領域を正規化処理して、正規化領域を得るステップと、を更に含み、
    医用画像認識モデルで、各認識対象領域の認識結果を決定する前記ステップは、
    前記医用画像認識モデルで、前記各認識対象領域の正規化領域に対応する認識結果を決定するステップを含み、
    前記反射値の区間に基づいて前記各認識対象領域を正規化処理して、正規化領域を得る前記ステップは、
    という式により前記正規化領域を得るステップであって、前記xoutは前記正規化領域を表し、前記xは前記認識対象領域の画素点の値を表し、前記xmaxは前記第1の反射値を表し、前記xminは前記第2の反射値を表す、ステップを含む、ことを特徴とする請求項1または2に記載の認識方法。
  4. プログラムを記憶しているメモリと、
    前記メモリに接続されるプロセッサと、を含み、
    前記プロセッサは、前記プログラムを実行して、請求項1からのいずれか一項に記載の認識方法を実現するように構成される、ことを特徴とするコンピュータ装置。
  5. 画像処理装置と、
    医用画像を走査し、前記画像処理装置に前記医用画像を送信するための画像走査装置と、を含む医用画像認識システムであって、
    前記画像処理装置は、求項1からのいずれか一項に記載の認識方法を実行するように構成されることを特徴とする医用画像認識システム。
  6. コンピュータに、請求項1からのいずれか一項に記載の認識方法を実行させるためのプログラム。
JP2021508060A 2018-11-01 2019-10-29 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム Active JP7383010B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811296263.6 2018-11-01
CN201811296263.6A CN109461495B (zh) 2018-11-01 2018-11-01 一种医学图像的识别方法、模型训练的方法及服务器
PCT/CN2019/114090 WO2020088469A1 (zh) 2018-11-01 2019-10-29 一种医学图像的识别方法、模型训练的方法及计算机设备

Publications (2)

Publication Number Publication Date
JP2021518966A JP2021518966A (ja) 2021-08-05
JP7383010B2 true JP7383010B2 (ja) 2023-11-17

Family

ID=65609213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508060A Active JP7383010B2 (ja) 2018-11-01 2019-10-29 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム

Country Status (5)

Country Link
US (1) US11961226B2 (ja)
EP (1) EP3770850A4 (ja)
JP (1) JP7383010B2 (ja)
CN (1) CN109461495B (ja)
WO (1) WO2020088469A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461495B (zh) * 2018-11-01 2023-04-14 腾讯科技(深圳)有限公司 一种医学图像的识别方法、模型训练的方法及服务器
CN109820507B (zh) * 2019-03-25 2024-03-08 钟霁媛 疾病辅助诊断方法及装置
CN109978860B (zh) * 2019-03-27 2021-07-16 北京青燕祥云科技有限公司 胸水判别方法、装置和计算机设备
CN109934841A (zh) * 2019-03-27 2019-06-25 上海宽带技术及应用工程研究中心 肝部轮廓的检测方法、系统、存储介质、终端及显示系统
CN110009645B (zh) * 2019-04-11 2023-06-23 东北大学 一种肝癌病灶影像的双层轮廓分割方法
CN110176302A (zh) * 2019-04-17 2019-08-27 南京医科大学 利用生成对抗网络模型的下肢力线智能标定确认方法
US11195277B2 (en) * 2019-04-25 2021-12-07 GE Precision Healthcare LLC Systems and methods for generating normative imaging data for medical image processing using deep learning
CN110135508B (zh) * 2019-05-21 2022-11-29 腾讯科技(深圳)有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN110491480B (zh) * 2019-05-22 2021-04-30 腾讯科技(深圳)有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110377779B (zh) * 2019-05-29 2021-01-22 腾讯科技(深圳)有限公司 图像标注的方法、基于病理图像的标注展示方法及装置
CN110390665B (zh) * 2019-05-30 2021-11-02 哈尔滨工业大学(深圳) 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法
CN110363744B (zh) * 2019-06-10 2021-08-06 深圳市智影医疗科技有限公司 一种肺部年龄检测方法及设备
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技(深圳)有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110378313B (zh) * 2019-07-26 2021-05-18 玖壹叁陆零医学科技南京有限公司 细胞团识别方法、装置及电子设备
KR102078876B1 (ko) * 2019-09-03 2020-02-20 주식회사 루닛 기흉 검출 방법 및 시스템
CN110766652B (zh) * 2019-09-06 2022-12-20 上海联影智能医疗科技有限公司 网络训练方法、装置、分割方法、计算机设备和存储介质
CN110517783B (zh) * 2019-09-18 2023-02-03 东软集团股份有限公司 模型训练方法、装置以及心脏疾病诊断装置、设备、介质
CN110633385B (zh) * 2019-09-24 2023-05-12 天津医科大学 一种医学影像的检索与压缩方法
CN110717910B (zh) * 2019-10-16 2020-09-08 太原华瑞星辰医药科技有限公司 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN112855127A (zh) * 2019-11-28 2021-05-28 北京国双科技有限公司 气井积液识别方法及装置
CN111191062B (zh) * 2019-12-11 2023-08-04 中国平安财产保险股份有限公司 图片处理方法、装置、计算机设备和存储介质
CN111079753B (zh) * 2019-12-20 2023-08-22 长沙千视通智能科技有限公司 一种基于深度学习与大数据结合的车牌识别方法及装置
CN111163265A (zh) * 2019-12-31 2020-05-15 成都旷视金智科技有限公司 图像处理方法、装置、移动终端及计算机存储介质
CN111311589A (zh) * 2020-03-05 2020-06-19 上海市肺科医院(上海市职业病防治院) 一种肺部结节检测及性质判定系统及方法
US11599742B2 (en) * 2020-04-22 2023-03-07 Dell Products L.P. Dynamic image recognition and training using data center resources and data
CN111640127B (zh) * 2020-05-29 2023-08-22 成都金盘电子科大多媒体技术有限公司 一种用于骨科的精准临床诊断导航方法
CN111640126B (zh) * 2020-05-29 2023-08-22 成都金盘电子科大多媒体技术有限公司 基于医学影像的人工智能诊断辅助方法
CN113515988B (zh) * 2020-07-09 2023-05-23 腾讯科技(深圳)有限公司 掌纹识别方法、特征提取模型训练方法、设备及介质
CN112053292A (zh) * 2020-07-21 2020-12-08 深圳先进技术研究院 医学图像的处理方法、处理装置及计算机可读存储介质
CN111861926B (zh) * 2020-07-24 2023-09-29 南京信息工程大学滨江学院 一种基于空域组增强机制与长短时记忆网络的图像去雨方法
CN112233125B (zh) * 2020-10-15 2023-06-02 平安科技(深圳)有限公司 图像分割方法、装置、电子设备及计算机可读存储介质
CN112259199A (zh) * 2020-10-29 2021-01-22 西交利物浦大学 医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置
CN112257638A (zh) * 2020-10-30 2021-01-22 重庆紫光华山智安科技有限公司 一种图像比对方法、系统、设备及计算机可读存储介质
TWI777319B (zh) * 2020-12-03 2022-09-11 鴻海精密工業股份有限公司 幹細胞密度確定方法、裝置、電腦裝置及儲存介質
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
CN112967778B (zh) * 2021-03-17 2024-02-02 复旦大学附属华山医院 基于机器学习的炎症性肠病精准用药方法及系统
CA3212928A1 (en) * 2021-04-02 2022-10-06 John Chen Systems and methods to process electronic medical images for diagnostic or interventional use
CN113688788B (zh) * 2021-04-02 2023-04-25 四川大学 基于深度学习的头侧片上气道图像自动识别方法和系统
CN112991320B (zh) * 2021-04-07 2022-04-01 德州市人民医院 脑出血患者血肿扩大风险预测系统及方法
CN112948952B (zh) * 2021-04-08 2023-05-23 郑州航空工业管理学院 一种盾构隧道衬砌背后空洞的演化预测方法
CN112927230A (zh) * 2021-04-26 2021-06-08 常州市第一人民医院 一种影像图像的处理分析系统
IT202100012116A1 (it) * 2021-05-11 2022-11-11 Lightscience Srl Sistema e metodo di controllo qualità di campioni biologici
CN113362225B (zh) * 2021-06-03 2022-06-14 太原科技大学 基于残差递归补偿和特征融合的多描述压缩图像增强方法
CN113361435A (zh) * 2021-06-16 2021-09-07 中国农业大学 一种卷积神经网络实现的信号曲线自动解卷积方法
CN113610764A (zh) * 2021-07-12 2021-11-05 深圳市银星智能科技股份有限公司 地毯识别方法、装置、智能设备及存储介质
CN113380381A (zh) * 2021-07-13 2021-09-10 深圳市中科微光医疗器械技术有限公司 获取医学诊断信息的方法、装置、电子设备及存储介质
CN113762285A (zh) * 2021-09-10 2021-12-07 程明霞 一种分析和处理医学影像的系统及方法
US11521321B1 (en) * 2021-10-07 2022-12-06 Qure.Ai Technologies Private Limited Monitoring computed tomography (CT) scan image
CN113903433B (zh) * 2021-10-14 2022-11-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置和电子设备
CN113786214B (zh) * 2021-11-16 2022-03-08 深圳迈瑞软件技术有限公司 一种超声成像设备及其超声图像的快速标注方法
US11861832B2 (en) * 2021-12-03 2024-01-02 Qure.Ai Technologies Private Limited Automatically determining a brock score
CN114092470B (zh) * 2021-12-08 2022-08-09 之江实验室 一种基于深度学习的肺裂自动检测方法及装置
CN114429638B (zh) * 2022-04-06 2022-07-08 四川省大数据中心 一种施工图审查管理系统
CN114881937B (zh) * 2022-04-15 2022-12-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
CN115272328B (zh) * 2022-09-28 2023-01-24 北京核信锐视安全技术有限公司 一种面向新冠肺炎的肺部超声影像检测模型训练系统
CN116152246B (zh) * 2023-04-19 2023-07-25 之江实验室 一种图像识别方法、装置、设备及存储介质
CN116597988B (zh) * 2023-07-18 2023-09-19 济南蓝博电子技术有限公司 一种基于医疗信息的智慧医院运营方法及系统
CN116681701B (zh) * 2023-08-02 2023-11-03 青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心) 一种儿童肺部超声图像处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015851A1 (ja) 2013-07-30 2015-02-05 コニカミノルタ株式会社 医用画像システム及び関節軟骨状態のスコア判定方法
JP2015106307A (ja) 2013-11-29 2015-06-08 セコム株式会社 物体検出装置
JP2017227993A (ja) 2016-06-20 2017-12-28 日本電信電話株式会社 画像正規化装置、方法、及びコンピュータ読み取り可能な記録媒体
US20180033144A1 (en) 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
WO2018098077A1 (en) 2016-11-23 2018-05-31 General Electric Company Deep learning medical systems and methods for medical procedures
JP2018117883A (ja) 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3852998B2 (ja) * 1996-12-25 2006-12-06 シャープ株式会社 画像処理装置
US7400757B2 (en) * 2001-10-04 2008-07-15 Siemens Medical Solutions Usa, Inc. System and method for segmenting the left ventricle in a cardiac image
CN104462738B (zh) * 2013-09-24 2018-10-30 西门子公司 一种标注医学图像的方法、装置和系统
CN105488044A (zh) * 2014-09-16 2016-04-13 华为技术有限公司 数据处理的方法和设备
WO2017101142A1 (zh) * 2015-12-17 2017-06-22 安宁 一种医学图像标注方法及系统
CN105975793A (zh) * 2016-05-23 2016-09-28 麦克奥迪(厦门)医疗诊断系统有限公司 一种基于数字病理图像的癌症辅助诊断方法
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
JP6801490B2 (ja) * 2017-02-14 2020-12-16 日本電気株式会社 画像認識システム
US10169873B2 (en) * 2017-03-23 2019-01-01 International Business Machines Corporation Weakly supervised probabilistic atlas generation through multi-atlas label fusion
CN107563983B (zh) * 2017-09-28 2020-09-01 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
CN108427951B (zh) * 2018-02-08 2023-08-04 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN112384892A (zh) * 2018-07-09 2021-02-19 富士通株式会社 信息处理装置、信息处理方法以及信息处理程序
CN109461495B (zh) * 2018-11-01 2023-04-14 腾讯科技(深圳)有限公司 一种医学图像的识别方法、模型训练的方法及服务器
JP2022113972A (ja) * 2021-01-26 2022-08-05 株式会社エヌ・ティ・ティ・ロジスコ 画像認識を用いた検品システム、検品方法及び検品システム用プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015851A1 (ja) 2013-07-30 2015-02-05 コニカミノルタ株式会社 医用画像システム及び関節軟骨状態のスコア判定方法
JP2015106307A (ja) 2013-11-29 2015-06-08 セコム株式会社 物体検出装置
JP2017227993A (ja) 2016-06-20 2017-12-28 日本電信電話株式会社 画像正規化装置、方法、及びコンピュータ読み取り可能な記録媒体
US20180033144A1 (en) 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
WO2018098077A1 (en) 2016-11-23 2018-05-31 General Electric Company Deep learning medical systems and methods for medical procedures
JP2018117883A (ja) 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
野村 香織 KAORI NOMURA,FMD検査支援のためのH型プローブを用いた超音波画像の3次元再構成と動脈検出の頑健化 Reconstruction of 3D Ultrasound Images and Robust Artery Region Extraction for a Computer Aided FMD Test System with a H-type Probe,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM) 2016-CVIM-201 [online] ,日本,情報処理学会,2016年02月25日,p.1-p.8

Also Published As

Publication number Publication date
JP2021518966A (ja) 2021-08-05
EP3770850A4 (en) 2021-08-18
US20210042564A1 (en) 2021-02-11
EP3770850A1 (en) 2021-01-27
CN109461495A (zh) 2019-03-12
CN109461495B (zh) 2023-04-14
US11961226B2 (en) 2024-04-16
WO2020088469A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7383010B2 (ja) 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
JP7102531B2 (ja) コンピュータ断層撮影血管造影における解剖学的構造のセグメンテーションのための方法、コンピュータ・プログラム、コンピュータ可読記憶媒体、および装置
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
US20200320685A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN112288786B (zh) 电子装置及非暂态计算机可读存储介质
JP7346553B2 (ja) 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定
JP2010207572A (ja) 障害のコンピュータ支援検出
Tan et al. Segmentation of lung airways based on deep learning methods
Osadebey et al. Three-stage segmentation of lung region from CT images using deep neural networks
Li et al. Automatic quantification of epicardial adipose tissue volume
Nurmaini et al. An improved semantic segmentation with region proposal network for cardiac defect interpretation
US20240062498A1 (en) Systems and methods for rendering models based on medical imaging data
JP7456928B2 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
Baumgartner et al. Fully convolutional networks in medical imaging: Applications to image enhancement and recognition
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
Mousavi Moghaddam et al. Lung parenchyma segmentation from CT images with a fully automatic method
Akkasaligar et al. Analysis of polycystic kidney disease in medical ultrasound images
Qiu et al. A despeckling method for ultrasound images utilizing content-aware prior and attention-driven techniques
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质
CN114119447A (zh) 肺结节多属性分类模型的构建方法、系统、介质及装置
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
WO2021197176A1 (en) Systems and methods for tumor characterization
US20230162493A1 (en) Method for the automatic detection of aortic disease and automatic generation of an aortic volume

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231107

R150 Certificate of patent or registration of utility model

Ref document number: 7383010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150