JP6895508B2 - 医療映像のメタデータ予測装置および方法 - Google Patents

医療映像のメタデータ予測装置および方法 Download PDF

Info

Publication number
JP6895508B2
JP6895508B2 JP2019229213A JP2019229213A JP6895508B2 JP 6895508 B2 JP6895508 B2 JP 6895508B2 JP 2019229213 A JP2019229213 A JP 2019229213A JP 2019229213 A JP2019229213 A JP 2019229213A JP 6895508 B2 JP6895508 B2 JP 6895508B2
Authority
JP
Japan
Prior art keywords
medical image
information
medical
input
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229213A
Other languages
English (en)
Other versions
JP2020191063A (ja
Inventor
パク，ジョンチャン
ユ，ドングン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lunit Inc
Original Assignee
Lunit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lunit Inc filed Critical Lunit Inc
Publication of JP2020191063A publication Critical patent/JP2020191063A/ja
Application granted granted Critical
Publication of JP6895508B2 publication Critical patent/JP6895508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/166—Normalisation of pattern dimensions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pulmonology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Description

本開示は、ニューラルネットワーク（神経網）を利用して、医療映像とメタデータとの関係を機械学習し、医療映像に機械学習モデルを適用してメタデータを獲得する装置および方法に関する。
医療映像のデータ標準であるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）によると、ＤＩＣＯＭデータは大きく２種の情報を含んでいる。一つは撮影された医療映像の原本（ｒａｗ ｐｉｘｅｌ ａｒｒａｙ）であり、他の一つはＤＩＣＯＭヘッダに記録されたメタデータである。
医療映像分析には、一次的に、ＤＩＣＯＭヘッダに記録されている値を活用する。例えば、医療関係者はＤＩＣＯＭヘッダの「ＢｏｄｙＰａｒｔＥｘａｍｉｎｅｄ」という属性値を見て医療映像が、判読対象である患者の身体部位であるかを判断し、医療映像の判読を進行する。また、医療関係者はＤＩＣＯＭヘッダの「Ｗｉｎｄｏｗ Ｃｅｎｔｅｒ／Ｗｉｄｔｈ」属性を利用して、多様な環境から来た原本映像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。
このようなＤＩＣＯＭヘッダに保存された医療映像のメタデータは、病院別に異なるプロトコルが存在し、放射線関連の会社などの会社別に、互いに異なる主観的な値が入力される場合がある。場合によってはＤＩＣＯＭヘッダに値が存在しないか、誤って入力されているか、それとも互いに異なる基準で保存されていることもある。このような場合、医療関係者は医療映像を判読できないか、誤った判読をする可能性がある。また、医療映像を機械学習するためには正規化された医療映像が必要であるが、メタデータが互いに異なる基準で保存されていれば、医療映像を正しく機械学習できないという問題点がある。
本開示の一実施例に係る医療映像分析方法は、学習（ｔｒａｉｎｉｎｇ）のための、複数の医療映像と、複数の医療映像のそれぞれにマッチングされたメタデータとに基づいて、医療映像のメタデータを予測する予測モデルを学習する段階、および、学習された予測モデルを利用して、入力された医療映像に対するメタデータを予測する段階を含む。
本開示の一実施例に係る医療映像分析方法のメタデータは、医療映像に含まれた客体に関連した情報、医療映像の撮影環境についての情報、および、医療映像の表示方法に関連した情報のうちの少なくとも一つを含む。
本開示の一実施例に係る医療映像分析方法の医療映像に含まれた客体に関連した情報は、医療映像に含まれた身体部位の情報、および、患者についての情報のうちの少なくとも一つを含み、医療映像の撮影環境についての情報は、医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、および、医療映像の撮影方式についての情報のうちの少なくとも一つを含み、医療映像の表示方法に関連した情報は、医療映像のウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ；ウインドウでの中心値）情報、ウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報、色相反転情報、映像の回転情報、および、映像の反転情報のうちの少なくとも一つを含むことを特徴とする。
本開示の一実施例に係る医療映像分析方法の予測モデルを学習する段階は、学習のための複数の医療映像における、それぞれのＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダの標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）から、複数の医療映像のそれぞれにマッチングされる複数のメタデータを獲得する段階、および、学習のための複数の医療映像、および、獲得された複数のメタデータを利用して、予測モデルを学習する段階を含む。
本開示の一実施例に係る医療映像分析方法の予測モデルを学習する段階は、入力された医療映像について予測されたメタデータを、入力された医療映像にマッチングさせて保存する段階をさらに含む。
本開示の一実施例に係る医療映像分析方法の保存する段階は、予測されたメタデータを、入力された医療映像のＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダに保存する段階を含む。
本開示の一実施例に係る医療映像分析方法は、入力された医療映像で異常（ａｎｏｍａｌｙ）を検出するために、予測されたメタデータに基づいて、入力された医療映像を調整（ａｄｊｕｓｔ）する段階をさらに含む。
本開示の一実施例に係る医療映像分析方法における、入力された医療映像を調整する段階は、予測されたメタデータに基づいて、入力された医療映像についてのウインドウセンター、ウインドウ幅、色相および出力方向のうちの少なくとも一つを調整する段階を含む。
本開示の一実施例に係る医療映像分析方法における、学習のための複数の医療映像および入力された医療映像は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）標準に対応する映像である。
本開示の一実施例に係る医療映像分析装置はプロセッサおよびメモリを含み、プロセッサはメモリに保存された命令語に基づき、学習（ｔｒａｉｎｉｎｇ）のための複数の医療映像、および、複数の医療映像のそれぞれにマッチングされたメタデータに基づいて、医療映像のメタデータを予測する予測モデルを学習する段階、および、学習された予測モデルを利用して、入力された医療映像に対するメタデータを予測する段階を遂行する。
本開示の一実施例に係る医療映像分析装置のメタデータは、医療映像に含まれた客体に関連した情報、医療映像の撮影環境についての情報、および、医療映像の表示方法に関連した情報のうちの少なくとも一つを含む。
本開示の一実施例に係る医療映像分析装置の医療映像に含まれた客体に関連した情報は、医療映像に含まれた身体部位情報および患者についての情報のうちの少なくとも一つを含み、医療映像の撮影環境についての情報は、医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、および、医療映像の撮影方式についての情報のうちの少なくとも一つを含み、医療映像の表示方法に関連した情報は、医療映像についてのウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ）情報、ウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報、色相反転情報、映像の回転情報、および、映像の反転情報のうちの少なくとも一つを含むことを特徴とする。
本開示の一実施例に係る医療映像分析装置のプロセッサは、メモリに保存された命令語に基づいて、学習のための複数の医療映像におけるそれぞれのＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダの標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）から、複数の医療映像のそれぞれにマッチングされる複数のメタデータを獲得する段階、および、学習のための複数の医療映像および獲得された複数のメタデータを利用して、予測モデルを学習する段階をさらに遂行する。
本開示の一実施例に係る医療映像分析装置のプロセッサは、メモリに保存された命令語に基づいて、入力された医療映像に対して予測されたメタデータを、入力された医療映像にマッチングさせて保存する段階をさらに遂行する。
本開示の一実施例に係る医療映像分析装置のプロセッサは、メモリに保存された命令語に基づいて、予測されたメタデータを、入力された医療映像のＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダに保存する段階をさらに遂行する。
本開示の一実施例に係る医療映像分析装置のプロセッサはメモリに保存された命令語に基づいて、入力された医療映像から異常（ａｎｏｍａｌｙ）を検出するために、予測されたメタデータに基づいて、入力された医療映像を調整（ａｄｊｕｓｔ）する段階をさらに遂行する。
本開示の一実施例に係る医療映像分析装置のプロセッサは、メモリに保存された命令語に基づき、予測されたメタデータに基づいて、入力された医療映像についてのウインドウセンター、ウインドウ幅、色相および出力方向のうちの少なくとも一つを調整する段階をさらに遂行する。
本開示の一実施例に係る医療映像分析装置の学習のための複数の医療映像および入力された医療映像は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）標準に対応する映像である。
また、前述したような医療映像分析方法を具現するためのプログラムは、コンピュータで読み出し可能な記録媒体に記録され得る。
本開示の一実施例に係る医療映像分析装置１００のブロック図である。 本開示の一実施例に係る医療映像分析装置を示した図面である。 本開示の一実施例にしたがって医療映像分析装置の動作を示したフローチャートである。 本開示の一実施例に係るＤＩＣＯＭファイルの構造を示す図面である。 本開示の一実施例にしたがって、ウインドウセンター情報およびウインドウ幅情報によるＣＴ情報を示した図面である。 本開示の一実施例に係る医療映像分析装置の動作を示したフローチャートである。 本開示の一実施例にしたがって予測モデルを学習する過程を示した図面である。 本開示の一実施例に係る医療映像分析装置の動作を示したフローチャートである。 本開示の一実施例にしたがって予測モデルを利用する過程を示した図面である。 本開示の一実施例にしたがって病変を検出する過程を示したフローチャートである。
開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に、後述されている実施例を参照すれば明確になるであろう。しかし、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現され得るのであり、単に本実施例は、本開示を完全にし、本開示が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものに過ぎない。
本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。
本明細書で使われる用語は、本開示での機能を考慮しつつ、できる限り現在広く使われている一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合には出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載する。したがって、本開示で使われる用語は単なる用語の名称ではなく、その用語が有する意味と本開示の全般に亘る内容に基づいて定義されなければならない。
本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。
明細書全体である部分がある構成要素を「含む」とする時、これは特に反対の記載がない限り他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。
また、明細書で使われる「部」という用語は、ソフトウェアまたはハードウェアの構成要素を意味し、「部」はある役割を遂行する。ところが「部」はソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングできる保存媒体に存在するように構成されてもよく、またはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「部」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素といった構成要素、並びに、プロセス、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。複数の構成要素及び「部」の中で提供される機能は、より小さい数の複数の構成要素及び「部」に結合されたり、追加的な複数の構成要素及び「部」へと、さらに分離されたりし得る。
本開示の一実施例によると、「部」は、プロセッサおよびメモリで具現され得る。用語「プロセッサ」は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロ・プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器（controller）、マイクロコントローラ（microcontroller）、状態マシン（StateMachine；ステートマシン）などを含むように、広く解釈されなければならない。いくつかの環境では、「プロセッサ」はエーシック（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等を指し示し得る。用語「プロセッサ」は、例えば、ＤＳＰとマイクロ・プロセッサの組み合わせ、複数のマイクロ・プロセッサの組み合わせ、ＤＳＰコアと結合した一つ以上のマイクロ・プロセッサの組み合わせ、または任意の他のそのような構成の組み合わせといった処理デバイスの組み合わせを指し示し得る。
用語「メモリ」は、電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されなければならない。メモリとの用語は、任意のアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性任意アクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去・プログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気的または光学的なデータ保存装置、レジスターなどといった、プロセッサ読み出しが可能な媒体の多様な類型を指し示し得る。プロセッサが、メモリから情報を読み出すことができるか、または、読み出したりメモリに情報を記録したりすることができるのであれば、メモリはプロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリは、プロセッサと電子通信状態にある。
以下では添付した図面を参照して、実施例について本開示が属する技術分野で通常の知識を有する者が容易に実施できるように詳細に説明する。そして、図面で本開示を明確に説明するために、説明と関係のない部分は省略する。
図１は、本開示の一実施例に係る医療映像分析装置１００のブロック図である。
図１を参照すると、一実施例に係る医療映像分析装置１００は、データ学習部１１０およびデータ認識部１２０を含むことができる。前述したような医療映像分析装置１００は、プロセッサおよびメモリを含むことができる。
データ学習部１１０は、データセットを利用して、ターゲットタスク（ｔａｒｇｅｔ ｔａｓｋ）を遂行するための機械学習モデルを学習させることができる。データ学習部１１０は、データセットおよびターゲットタスクと関連したラベル情報を受信することができる。データ学習部１１０は、データセットとラベル情報との関係について機械学習を遂行して、機械学習モデルを獲得することができる。一実施例として、データ学習部１１０が獲得した機械学習モデルは、データセットを利用してラベル情報を生成するためのモデルであり得る。
データ認識部１２０は、データ学習部１１０の機械学習モデルを保存することができる。データ認識部１２０は、入力データに機械学習モデルを適用してラベル情報を出力することができる。また、データ認識部１２０は、入力データ、ラベル情報、および、機械学習モデルによって出力された結果を、機械学習モデルの更新に利用することができる。
データ学習部１１０およびデータ認識部１２０のうち少なくとも一つは、少なくとも一つのハードウェアチップの形態で製作されて電子装置に搭載され得る。例えば、データ学習部１１０およびデータ認識部１２０のうちの少なくとも一つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形態で製作されてもよく、または既存の汎用プロセッサ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として製作されて、多様な電子装置に搭載されてもよい。
また、データ学習部１１０およびデータ認識部１２０は、別個の電子装置にそれぞれ搭載されてもよい。例えば、データ学習部１１０およびデータ認識部１２０のうちの一つは電子装置に含まれ、残りの一つはサーバーに含まれ得る。また、データ学習部１１０およびデータ認識部１２０は、有線または無線の通信を通じて、データ学習部１１０が構築した機械学習モデル情報を、データ認識部１２０に提供してもよく、データ認識部１２０に入力されたデータが、追加学習データとしてデータ学習部１１０に提供されてもよい。
一方、データ学習部１１０およびデータ認識部１２０のうちの少なくとも一つは、ソフトウェアモジュールで具現され得る。データ学習部１１０およびデータ認識部１２０のうちの少なくとも一つが、ソフトウェアモジュール（またはインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で具現される場合、ソフトウェアモジュールは、メモリ、または、コンピュータで読み出すことができる非一過性可読記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）に保存され得る。また、この場合、少なくとも一つのソフトウェアモジュールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供されたり、所定のアプリケーションによって提供され得る。または少なくとも一つのソフトウェアモジュールのうち一部はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供され、残りの一部は所定のアプリケーションによって提供され得る。
本開示の一実施例に係るデータ学習部１１０は、データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５を含むことができる。
データ獲得部１１１は、機械学習に必要なデータを獲得することができる。学習のためには多くのデータが必要であるので、データ獲得部１１１は複数のデータを含むデータセットを受信することができる。
複数のデータのそれぞれに対し、ラベル情報が割り当てられ得る。ラベル情報は、複数のデータのそれぞれを説明する情報であり得る。ラベル情報は、ターゲットタスク（ｔａｒｇｅｔ ｔａｓｋ）が導き出そうとする情報であり得る。ラベル情報は、使用者入力から獲得されたり、メモリから獲得されたり、機械学習モデルの結果から獲得され得る。例えばターゲットタスクが映像から特定物体の存在の有無を決定するものであるとすれば、複数のデータは複数の映像データとなり、ラベル情報は、複数の映像のそれぞれに、特定物体があるか否かの存否となるであろう。
前処理部１１２は、受信されたデータが機械学習に利用されるように、獲得されたデータを前処理することができる。前処理部１１２は、後述するモデル学習部１１４が利用できるように、獲得されたデータセットをあらかじめ設定されたフォーマットで加工することができる。
学習データ選択部１１３は、前処理されたデータの中から、学習に必要なデータを選択することができる。選択されたデータは、モデル学習部１１４に提供され得る。学習データ選択部１１３は、既設定された基準により、前処理されたデータの中から学習に必要なデータを選択することができる。また、学習データ選択部１１３は、後述するモデル学習部１１４による学習によって既設定された基準によりデータを選択してもよい。
モデル学習部１１４は、データセットに基づいて、どのようなラベル情報を出力するかに関する基準を学習することができる。また、モデル学習部１１４は、データセットおよびデータセットに対するラベル情報を学習データとして利用して機械学習を遂行できる。また、モデル学習部１１４は、既に獲得された機械学習モデルを追加的に利用して機械学習を遂行できる。この場合、既に獲得された機械学習モデルは、あらかじめ構築されたモデルであり得る。例えば、機械学習モデルは、基本学習データの入力を受けてあらかじめ構築されたモデルであり得る。
機械学習モデルは、学習モデルの適用分野、学習の目的または装置のコンピュータ性能などを考慮して構築され得る。機械学習モデルは、例えば、ニューラルネットワーク（神経網；Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を基盤とするモデルであり得る。例えば、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ）、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）、Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ ｍｏｄｅｌｓ（ＬＳＴＭ）、ＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＣＮＮ）といったモデルが、機械学習モデルとして使われ得るが、これに限定されない。
多様な実施例によると、モデル学習部１１４は、あらかじめ構築された機械学習モデルが複数個存在する場合、入力された学習データと基本学習データとの関連性が大きい機械学習モデルを、学習する機械学習モデルに決定することができる。この場合、基本学習データは、データのタイプ別に既分類されていてもよく、機械学習モデルはデータのタイプ別に、あらかじめ構築されていてもよい。例えば、基本学習データは学習データが生成された場所、学習データが生成された時間、学習データの大きさ、学習データの生成者、学習データ内の客体の種類などといった、多様な基準で既分類されていてもよい。
また、モデル学習部１１４は、例えば、誤差逆伝播法（ｅｒｒｏｒ ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）または傾斜下降法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を含む学習アルゴリズムなどを利用して機械学習モデルを学習させることができる。
また、モデル学習部１１４は、例えば、学習データを入力値とする指導学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を通じて、機械学習モデルを学習することができる。また、モデル学習部１１４は、例えば、特に指導することなくターゲットタスク（ｔａｒｇｅｔ ｔａｓｋ）のために必要なデータの種類を自ら学習することによって、ターゲットタスクのための基準を発見する、非指導学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を通じて、機械学習モデルを獲得することができる。また、モデル学習部１１４は、準指導学習（ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、能動的学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を通じて、機械学習モデルを獲得することもできる。また、モデル学習部１１４は、例えば、学習によるターゲットタスクの結果が正しいかに対するフィードバックを利用する強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）を通じて、機械学習モデルを学習することができる。
また、機械学習モデルが学習されると、モデル学習部１１４は、学習された機械学習モデルを保存することができる。この場合、モデル学習部１１４は、学習された機械学習モデルを、データ認識部１２０を含む電子装置のメモリに保存することができる。またはモデル学習部１１４は、学習された機械学習モデルを電子装置と有線または無線のネットワークで連結されるサーバーのメモリに保存してもよい。
学習された機械学習モデルが保存されるメモリは、例えば、電子装置の少なくとも一つの他の構成要素に関係した命令またはデータを共に保存してもよい。また、メモリは、ソフトウェアおよび／またはプログラムを保存してもよい。プログラムは、例えば、カーネル、ミドルウェア、アプリケーションプログラミングインターフェース（ＡＰＩ）および／またはアプリケーションプログラム（または「アプリケーション」）等を含むことができる。
モデル評価部１１５は、機械学習モデルに評価データを入力し、評価データから出力される結果が所定基準を満足させない場合、モデル学習部１１４に再度学習するようにすることができる。この場合、評価データは、機械学習モデルを評価するための既設定されたデータであり得る。
例えば、モデル評価部１１５は、評価データに対する学習された機械学習モデルの結果の中で、認識結果が正確でない評価データの個数または比率が、あらかじめ設定された臨界値を超過する場合、所定基準を満足させないものと評価することができる。例えば、所定基準が比率２％と定義される場合、学習された機械学習モデルが合計１０００個の評価データのうち２０個を超過する評価データに対し、誤った認識結果を出力する場合、モデル評価部１１５は、学習された機械学習モデルが適していないものと評価することができる。
一方、学習された機械学習モデルが複数個存在する場合、モデル評価部１１５は、それぞれの学習された動画学習モデルに対し、所定基準を満足するかを評価し、所定基準を満足するモデルを、最終機械学習モデルとして決定することができる。この場合、所定基準を満足するモデルが複数個である場合、モデル評価部１１５は、評価点数が高い順に、あらかじめ設定されたいずれか一つまたは所定個数のモデルを、最終機械学習モデルとして決定することができる。
一方、データ学習部１１０内のデータ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５のうちの少なくとも一つは、少なくとも一つのハードウェアチップの形態に製作されて電子装置に搭載され得る。例えば、データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４およびモデル評価部１１５のうちの少なくとも一つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形態に製作されてもよく、または既存の汎用プロセッサ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として製作されて、前述した各種電子装置に搭載されてもよい。
また、データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５は、一つの電子装置に搭載されてもよく、または別個の電子装置にそれぞれ搭載されてもよい。例えば、データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５のうちで、一部は電子装置に含まれ、残りの一部はサーバーに含まれるのであり得る。
また、データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５のうち少なくとも一つは、ソフトウェアモジュールで具現され得る。データ獲得部１１１、前処理部１１２、学習データ選択部１１３、モデル学習部１１４、およびモデル評価部１１５のうちの少なくとも一つが、ソフトウェアモジュール（またはインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で具現される場合、ソフトウェアモジュールは、コンピュータで読み出すことができる非一過性可読記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）に保存され得る。また、この場合、少なくとも一つのソフトウェアモジュールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供されたり、所定のアプリケーションによって提供され得る。または少なくとも一つのソフトウェアモジュールのうちで、一部は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供され、残りの一部は所定のアプリケーションによって提供されるのであり得る。
本開示の一実施例に係るデータ認識部１２０は、データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５を含むことができる。
データ獲得部１２１は入力データを受信することができる。前処理部１２２は、獲得された入力データが、認識データ選択部１２３または認識結果提供部１２４で利用され得るように、獲得された入力データを前処理することができる。
認識データ選択部１２３は、前処理されたデータの中から必要なデータを選択することができる。選択されたデータは認識結果提供部１２４に提供され得る。認識データ選択部１２３は、既設定された基準により、前処理されたデータの中から一部又は全部を選択することができる。また、認識データ選択部１２３は、モデル学習部１１４による学習によって既設定された基準により、データを選択することもできる。
認識結果提供部１２４は、選択されたデータを機械学習モデルに適用して結果データを獲得することができる。機械学習モデルは、モデル学習部１１４によって生成された機械学習モデルであり得る。認識結果提供部１２４は結果データを出力することができる。
モデル更新部１２５は、認識結果提供部１２４により提供される認識結果に対する評価に基づいて、機械学習モデルが更新されるようにすることができる。例えば、モデル更新部１２５は、認識結果提供部１２４により提供される認識結果を、モデル学習部１１４に提供することによって、モデル学習部１１４が機械学習モデルを更新するようにすることができる。
一方、データ認識部１２０内のデータ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５のうちの少なくとも一つは、少なくとも一つのハードウェアチップの形態に製作されて、電子装置に搭載され得る。例えば、データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５のうちの少なくとも一つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形態で製作されてもよく、または既存の汎用プロセッサ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として製作されて、前述した各種電子装置に搭載されてもよい。
また、データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５は、一つの電子装置に搭載されてもよく、または別個の電子装置にそれぞれ搭載されてもよい。例えば、データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５のうちで、一部は電子装置に含まれ、残りの一部はサーバーに含まれるのであり得る。
また、データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５のうちの少なくとも一つは、ソフトウェアモジュールで具現され得る。データ獲得部１２１、前処理部１２２、認識データ選択部１２３、認識結果提供部１２４、およびモデル更新部１２５のうちの少なくとも一つが、ソフトウェアモジュール（またはインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）含むプログラムモジュール）で具現される場合、ソフトウェアモジュールは、コンピュータで読み出すことができる非一過性可読記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）に保存され得る。また、この場合、少なくとも一つのソフトウェアモジュールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供されたり、所定のアプリケーションによって提供され得る。または、少なくとも一つのソフトウェアモジュールのうちで、一部はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により提供され、残りの一部は所定のアプリケーションによって提供されるのであり得る。
以下では、データ学習部１１０がデータセットを順次機械学習する方法および装置について、より詳しく説明する。
図２は、本開示の一実施例に係る医療映像分析装置を示した図面である。
医療映像分析装置２００は、プロセッサ２１０およびメモリ２２０を含むことができる。プロセッサ２１０は、メモリ２２０に保存された命令語を遂行できる。
前述した通り、医療映像分析装置２００は、データ学習部１１０、またはデータ認識部１２０のうちの少なくとも一つを含むことができる。データ学習部１１０またはデータ認識部１２０のうちの少なくとも一つは、プロセッサ２１０およびメモリ２２０によって具現され得る。
以下、医療映像分析装置２００の動作について、以下で、より詳しく説明する。
図３は、本開示の一実施例にしたがって医療映像分析装置の動作を示したフローチャートである。
医療映像分析装置２００は、学習（ｔｒａｉｎｉｎｇ）のための、複数の医療映像、および、複数の医療映像のそれぞれにマッチングされたメタデータに基づいて、医療映像のメタデータを予測する予測モデルを学習する段階３１０を遂行できる。医療映像分析装置２００のデータ学習部１１０に基づいて、医療映像およびメタデータの関係を機械学習して、予測モデルを獲得することができる。予測モデルは、図１の機械学習モデルに対応され得る。医療映像分析装置２００は、獲得された予測モデルを、メモリに保存したり、他の医療映像分析装置２００に有線・無線で送信することができる。
また、医療映像分析装置２００は、学習された予測モデルを利用して、入力された医療映像に対するメタデータを予測する段階３２０を遂行できる。医療映像分析装置２００のデータ認識部１２０は、入力された医療映像に予測モデルを適用して、メタデータを予測することができる。予測モデルは、医療映像分析装置２００のメモリから獲得されたり、他の医療映像分析装置２００から受信され得る。
学習のための複数の医療映像および入力された医療映像は、多様なフォーマット（ｆｏｒｍａｔ）の映像であり得る。
例えば、学習のための複数の医療映像および入力された医療映像は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）標準に対応する映像であり得る。ＤＩＣＯＭ標準により、医療映像分析装置２００は、医療映像に関連した情報をＤＩＣＯＭヘッダに保存することができる。
ＤＩＣＯＭヘッダには、標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）を含むことができる。標準データ要素は、ＤＩＣＯＭ標準によって定義された、医療映像に関連した要素を意味する。医療映像分析装置２００は、標準データ要素からメタデータを獲得することができる。ＤＩＣＯＭヘッダには、非標準データ要素を含むことができる。非標準データ要素は、ＤＩＣＯＭ標準によって定義されてはいないが、医療映像装置メーカーまたは医療機関の必要に応じて生成された、医療映像に関連した要素を意味する。医療映像分析装置２００は、非標準データ要素からメタデータを獲得することができる。
医療映像に関連した情報は、ＤＩＣＯＭヘッダではなく保存空間に保存されていてもよい。医療映像分析装置２００は、医療映像のマッチング関係とともに、医療映像に関連した多様な情報を保存していてもよい。また、医療映像分析装置２００は、医療映像に関連した多様な情報に基づいて、メタデータを獲得することができる。
以下では、図４とともに、ＤＩＣＯＭヘッダからメタデータを獲得する過程を、より詳しく説明する。
図４は、本開示の一実施例に係るＤＩＣＯＭファイルの構造を示す図面である。
ＤＩＣＯＭファイル４１０は、ＤＩＣＯＭヘッダ４１１および医療映像４１２を含むことができる。医療映像４１２は、多様な医療映像が含まれ得るのであり、例えばＣＴ、Ｘ線（Ｘ−ＲＡＹ）、マンモグラフィー（Ｍａｍｍｏｇｒａｐｈｙ）またはＭＲＩ映像のうちの少なくとも一つを含むことができる。ＤＩＣＯＭヘッダ４１１は、医療映像に関連した多様な情報を含むことができる。医療映像分析装置２００は、ＤＩＣＯＭヘッダ４１１に含まれた医療映像４１２と関連した多様な情報に基づいて、メタデータ（ｍｅｔａｄａｔａ；４２０）を獲得することができる。
ＤＩＣＯＭヘッダ４１１は、標準データ要素または非標準データ要素を含むことができる。医療映像分析装置２００は、標準データ要素または非標準データ要素に基づいてメタデータを獲得することができる。メタデータ４２０は、医療映像に含まれた客体に関連した情報、医療映像の撮影環境についての情報、および医療映像の表示方法に関連した情報のうちの少なくとも一つと関連した情報を含むことができる。
より具体的には、医療映像に含まれた客体に関連した情報は、医療映像に含まれた身体部位情報、および患者についての情報のうちの少なくとも一つを含むことができる。医療映像に含まれた身体部位情報は、身体部位に対応するインデックスで表現され得る。例えば、身体部位情報は、肺、腹部、腕または足を示すインデックスのうちの少なくとも一つを含むことができる。
患者についての情報は、患者の性別、または患者の年齢の情報を含むことができる。患者の年齢の情報は、患者の年齢を数字で示した値であり得る。また、メタデータは患者の誕生日を含むことができ、医療映像分析装置２００は、患者の誕生日から患者の年齢の情報を計算することができる。また、患者の年齢の情報は、年齢の範囲、例えば年齢層を示す情報であり得る。一実施例として、患者の年齢の情報は、児童、青年、中壮年、または年齢層を示す、インデックスで表示され得る。
医療映像の撮影環境についての情報は、医療映像の撮影に関連した多様な情報を含むことができる。医療映像の撮影環境についての情報は、医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、または医療映像の撮影方式についての情報のうちの少なくとも一つを含むことができる。
医療映像のモダリティー情報は、医療映像がどのような種類の映像装備で撮影されたかを示すことができる。例えば、医療映像のモダリティー情報は、医療映像４１２が、ＣＴ、ＭＲＩ、Ｘ線（Ｘ−ＲＡＹ）、マンモグラフィー（Ｍａｍｍｏｇｒａｐｈｙ）または超音波の映像のうちのいずれか一つであることを示すインデックスであり得る。しかし、医療映像のモダリティー情報は、これに限定されず、患者を対象に撮影する多様な医療映像を示すことができる。
また、医療映像の撮影環境についての情報は、医療映像の撮影方式についての情報を含むことができる。医療映像の撮影環境についての情報は、数字または文字で示される、あらかじめ定められたインデックスに対応され得る。医療映像の撮影環境についての情報は、Ｘ線（Ｘ−ＲＡＹ）が、患者の前側（ａｎｔｅｒｉｏｒ）から後側（ｐｏｓｔｅｒｉｏｒ）へと照射されたか、または、患者の後側（ｐｏｓｔｅｒｉｏｒ）から前側（ａｎｔｅｒｉｏｒ）へと照射されたかを示す情報を含むことができる。一般的に、患者が立ってＸ線（Ｘ−ＲＡＹ）を撮る場合、Ｘ線（Ｘ−ＲＡＹ）が患者の後側（ｐｏｓｔｅｒｉｏｒ）から前側（ａｎｔｅｒｉｏｒ）へと照射されるのであり、患者が立ってＸ線（Ｘ−ＲＡＹ）を撮るのが難しい場合、Ｘ線（Ｘ−ＲＡＹ）が前側（ａｎｔｅｒｉｏｒ）から後側（ｐｏｓｔｅｒｉｏｒ）へと照射されて、Ｘ線（Ｘ−ＲＡＹ）の映像が獲得される。
医療映像の表示方法に関連した情報は、医療映像のウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ）情報、ウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報、色相反転情報、映像の回転情報、映像の反転情報のうちの少なくとも一つを含むことができる。
ウインドウセンター情報およびウインドウ幅情報については、図５とともに説明する。
図５は、本開示の一実施例により、ウインドウセンター情報およびウインドウ幅情報によるＣＴ情報を示す。
ウインドウセンター情報およびウインドウ幅情報は、医療映像の明るさ（ｂｒｉｇｈｔｎｅｓｓ）、および医療映像のコントラスト（ｃｏｎｔｒａｓｔ）を調整するための情報であり得る。
ウインドウセンター情報５３１およびウインドウ幅情報５３２に基づいて、ウインドウグラフが描かれ得る。ウインドウグラフの横軸は、入力ピクセルの値であり得る。入力ピクセルは、入力医療映像が有しているピクセルを意味する。入力ピクセルの値には、最小値および最大値があり得る。最小値および最大値は、映像撮影装置、映像表示装置、または映像の複符号化標準のうちの少なくとも一つによって決定され得る。入力ピクセル値が最大値を有する場合、入力ピクセルが最も明るいピクセルであることを示すことができ、入力ピクセル値が最小値を有する場合、入力ピクセルが最も暗いピクセルであることを示すことができる。しかし、これに限定されるものではない。
ウインドウグラフの縦軸は、出力ピクセルの値であり得る。医療映像分析装置２００は、入力ピクセルの値を加工して、出力ピクセルの値を決定することができる。医療映像分析装置２００は、出力ピクセルの値に基づいて、医療映像をディスプレイに表示することができる。
例えば、ウインドウセンター情報５３１が「ａ」であり、ウインドウ幅情報５３２が「ｂ」である場合、ウインドウグラフ５２１が作られ得る。医療映像分析装置２００はウインドウセンター情報５３１およびウインドウ幅情報５３２に基づいてＣＴ映像５１１を生成することができる。医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて、第１臨界値より小さい入力ピクセル値を最小ピクセル値として表示し、第２臨界値より大きい入力ピクセル値を最大ピクセル値として表示して、ＣＴ映像５１１を生成することができる。すなわち、医療映像分析装置２００は、第１臨界値より大きいか同じであって第２臨界値より小さいか同じである値を有する入力ピクセル値を、他から区分されるように表示することができる。
第１臨界値より小さい入力ピクセル値、または第２臨界値より大きい入力ピクセル値は、医療映像分析に重要ではないクラッタ（ｃｌｕｔｔｅｒ）信号であり得る。医療映像分析装置２００は、ウインドウセンター情報５３１、およびウインドウ幅情報５３２に基づいて、第１臨界値および第２臨界値を調整し、医療映像分析に重要なピクセルのみを表示することができる。
また、例えば、ウインドウセンター情報５３１が「ａ」でありウインドウ幅情報５３２が「ｃ」である場合、図５のようにウインドウグラフ５２２が示され得る。医療映像分析装置２００は、ウインドウセンター情報５３１、およびウインドウ幅情報５３２に基づいて、ＣＴ映像５１２を生成することができる。医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて、入力ピクセル値のすべてを区分されるように表示して、ＣＴ映像５１２を生成することができる。
医療映像分析装置２００はウインドウグラフ５２２のラインの傾きに基づいて、入力ピクセルの明るい部分をさらに明るく表示したり、さらに暗く表示することができる。医療映像分析装置２００はウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて医療映像の明るさを調整することができる。例えば、ウインドウ幅情報５３２が「ｃ」である場合とウインドウ幅情報５３２が「ｂ」である場合とを比較すると、ＣＴ映像５１２がＣＴ映像５１１より暗いことが分かる。
ＣＴ映像５１１に比べてＣＴ映像５１２は、すべてのピクセル値を含むので、失われる情報がない。しかし、医療映像分析に重要でない、クラッタ（ｃｌｕｔｔｅｒ）信号をすべて表現するので、映像分析に最適化されていないのであり得る。医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２を調節して、医療映像を、映像分析に最適の状態にすることができる。
また、例えばウインドウセンター情報５３１が「ｄ」でありウインドウ幅情報５３２が「ｃ」である場合、図５のようにウインドウグラフ５２３が示され得る。医療映像分析装置２００は、ウインドウセンター情報５３１およびウインドウ幅情報５３２に基づいて、ＣＴ映像５１３を生成することができる。医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて、第３臨界値より大きい入力ピクセル値を、すべて明るく処理して、ＣＴ映像５１３を生成することができる。
医療映像分析装置２００は、ウインドウグラフ５２２のラインの傾きに基づいて、入力ピクセルの明るい部分をさらに明るく表示したり、さらに暗く表示することができる。医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて、医療映像の明るさを調整することができる。例えば、ウインドウセンター情報５３１が「ａ」である場合と、ウインドウセンター情報５３１が「ｄ」である場合とを比較すると、ＣＴ映像５１２がＣＴ映像５１３より暗いことが分かる。
第３臨界値より大きい入力ピクセル値は、医療映像分析に重要でないクラッタ信号であり得る。医療映像分析装置２００は、ウインドウセンター情報５３１およびウインドウ幅情報５３２に基づいて、第３臨界値を調整して医療映像分析に重要なピクセルのみを表示することができる。
医療映像分析装置２００は、ウインドウセンター情報５３１またはウインドウ幅情報５３２に基づいて、多様な環境から来た原本映像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。医療映像分析装置２００の前処理部１１２および前処理部１２２は、原本医療映像から正規化された医療映像を生成することができる。また、医療映像分析装置２００は、予測モデルを他の医療映像分析装置に提供することができる。他の医療映像分析装置は、他の機械学習を遂行する前に、本開示の予測モデルに基づいて医療映像を補正することができる。
再び図４を参照すると、医療映像の表示方法に関連した情報は、色相反転情報を含むことができる。医療映像分析装置２００は、色相反転情報に基づいて、医療映像の色相を反転して表示することができる。色相反転情報が色相反転を示す場合、医療映像分析装置２００は、ピクセル値が有することができる最大値から、医療映像内のピクセル値を差し引いた値を、ピクセル値として、医療映像を表示することができる。
医療映像の表示方法に関連した情報は、映像の回転情報を含むことができる。映像の回転情報は、撮影された医療映像情報を時計回り方向または反時計回り方向に回転する大きさを示すことができる。映像回転情報は、回転の大きさに対応するインデックスで表示されるか、ラジアン（ｒａｄｉａｎ）または度（ｄｅｇｒｅｅ）の単位の数値で表示され得る。医療映像分析装置２００は、映像の回転情報に基づいて医療映像を回転させて表示することができる。
医療映像の表示方法に関連した情報は、映像の反転情報を含むことができる。映像の反転（ｆｌｉｐ）情報は、縦軸を基準として医療映像を左右に反転させて表示することを示すことができる。しかし、これに限定されず、映像の反転情報は、横軸を基準として医療映像を上下に反転させて表示することを示すことができる。
これまで、メタデータ４２０が医療映像に含まれた客体に関連した情報、医療映像の撮影環境についての情報および医療映像の表示方法に関連した情報のうちの少なくとも一つと関連した情報を含むことを説明した。
前述した通り、医療映像分析装置２００はＤＩＣＯＭヘッダの標準形式で保存された情報に基づいてメタデータを獲得することができる。また、医療映像分析装置２００は、ＤＩＣＯＭヘッダ内の非標準形式で保存された情報に基づいて、メタデータを獲得することができる。また、医療映像分析装置２００は、ＤＩＣＯＭヘッダ以外の保存空間に非標準形式で保存された情報に基づいて、メタデータを獲得することができる。
非標準形式は、医療映像装置のメーカーまたは病院ごとに異なり得る。非標準形式で保存された情報からメタデータを獲得する場合、また、医療映像分析装置２００は医療映像を提供したメーカーごとまたは病院ごとに、他の方法を使ってメタデータを獲得しなければならない不便が存在し得る。
本開示に係る医療映像分析装置２００は、非標準形式で保存された情報に基づいてメタデータを獲得する場合、または医療映像に関連した情報が最初から存在しない場合にも、医療映像４１２に基づいてメタデータを生成することができる。図３の予測モデルを学習する段階３１０について、図６および図７と共に詳しく説明する。
図６は、本開示の一実施例に係る医療映像分析装置の動作を示したフローチャートである。また、図７は、本開示の一実施例により予測モデルを学習する過程を示した図面である。
医療映像分析装置２００は、予測モデルを学習するために、入力データセット７１０を受信することができる。入力データセット７１０は、複数の医療映像７１１およびメタデータ７１２を含むことができる。
医療映像分析装置２００は、複数の医療映像７１１を獲得する段階６１０を遂行できる。例えば、医療映像分析装置２００は、メモリ２２０から複数の医療映像を獲得することができる。また、医療映像分析装置２００は、有無線通信に基づいて複数の医療映像を獲得することができる。
医療映像分析装置２００は、複数の医療映像のそれぞれにマッチングされたメタデータ７１２を獲得する段階６２０を遂行できる。医療映像分析装置２００は、学習のための複数の医療映像におけるそれぞれのＤＩＣＯＭヘッダの標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）から、複数の医療映像のそれぞれにマッチングされる複数のメタデータを獲得する段階を遂行できる。しかし、これに限定されず、医療映像分析装置２００は、ＤＩＣＯＭヘッダの非標準データ要素またはＤＩＣＯＭヘッダ以外の保存空間の非標準形式の情報から、メタデータを獲得することができる。これについては、図３〜図４とともに説明した内容と同じであるため、重複する説明は省略する。
医療映像分析装置２００は、学習のための複数の医療映像および獲得された複数のメタデータを利用して、予測モデルを学習させる段階６３０を遂行できる。医療映像分析装置２００は、原本医療映像およびラベルデータを利用して指導学習を遂行できる。ラベルデータはメタデータであり得る。ラベルデータは、ＤＩＣＯＭヘッダにある情報、ＤＩＣＯＭヘッダ以外の領域に保存された情報、使用者が入力した情報、または専門医療関係者が原本医療映像に対して入力した情報であり得る。医療映像分析装置２００は、ラベルデータの特性により回帰（ｒｅｇｒｅｓｓｉｏｎ）または分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を利用して機械学習することができる。
医療映像分析装置２００予測モデルを学習するために機械学習を利用することができる。機械学習は、ニューラルネットワーク（神経網；Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を基盤とすることができる。例えば、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ）、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）、Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ ｍｏｄｅｌｓ（ＬＳＴＭ）、ＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＣＮＮ）といったアルゴリズムが機械学習として使われ得るが、これに限定されない。
医療映像分析装置２００は、学習された結果を予測モデル７３０として出力することができる。医療映像分析装置２００は、予測モデル７３０をメモリに保存することができる。医療映像分析装置２００は、予測モデル７３０を他の医療映像分析装置２００に送信することができる。
これまで、予測モデルを学習する段階３１０を説明した。以下では、予測モデルを利用してメタデータを予測する段階３２０について、図８および図９とともに説明する。
図８は、本開示の一実施例に係る医療映像分析装置の動作を示したフローチャートである。また、図９は、本開示の一実施例により予測モデルを利用する過程を示した図面である。
医療映像分析装置２００は、予測モデルを含むことができる。医療映像分析装置２００は、他の医療映像分析装置２００から予測モデルを受信することができる。また、医療映像分析装置２００は、複数の医療映像およびメタデータに基づいて、機械学習を遂行して、予測モデルを獲得することができる。
医療映像分析装置２００は、医療映像９１０を受信する段階８１０を遂行できる。例えば、医療映像分析装置２００は、医療映像９１０を、使用者から、入力装置を通じて入力を受けることができる。他の例として、医療映像分析装置２００は、医療映像９１０を、他の装置から有無線通信を利用して入力を受けることができる。入力を受けた医療映像９１０は、入力データセット７１０の複数の医療映像７１１と独立していてもよい。入力を受けた医療映像９１０は、入力データセット７１０の複数の医療映像７１１とは異なる映像であり得るのであり、同じ映像であってもよい。
医療映像分析装置２００は、予測モデルを利用して入力された医療映像９１０に対応するメタデータ９３０を予測する段階８２０を遂行できる。予測されたメタデータ９３０は、前記医療映像９１０に含まれた客体に関連した情報、前記医療映像の撮影環境についての情報、および前記医療映像９１０の表示方法に関連した情報のうちの少なくとも一つを含むことができる。
すでに説明した通り、医療映像に含まれた客体に関連した情報は、医療映像に含まれた身体部位情報、および患者についての情報のうちの少なくとも一つを含むことができる。また、医療映像の撮影環境についての情報は、医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、および前記医療映像の撮影方式についての情報のうちの少なくとも一つを含むことができる。また、医療映像の表示方法に関連した情報は、医療映像のウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ）情報、ウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報、色相反転情報、映像の回転情報、および映像の反転情報のうちの少なくとも一つを含むことができる。
また、医療映像分析装置２００は、入力された医療映像９１０に対して予測されたメタデータ９３０を、入力された医療映像９１０にマッチングさせて保存する段階８３０を遂行できる。医療映像分析装置２００は、予測されたメタデータ９３０を、ＤＩＣＯＭヘッダに標準形式で保存することができる。しかし、これに限定されるものではない。医療映像分析装置２００は、予測されたメタデータ９３０を、ＤＩＣＯＭヘッダに非標準形式で保存したり、ＤＩＣＯＭヘッダでない保存空間に保存することができる。
医療映像分析装置２００は、入力された医療映像を、ターゲットタスクを遂行するための最適条件または最適状態に調整（ａｄｊｕｓｔ）することができる。例えば、医療映像分析装置２００は、入力された医療映像から異常（ａｎｏｍａｌｙ）を検出するために、予測されたメタデータ９３０に基づいて、入力された医療映像を調整（ａｄｊｕｓｔ）する段階をさらに遂行できる。また、医療映像分析装置２００は、予測されたメタデータ９３０に基づいて、入力された医療映像のウインドウセンター、ウインドウ幅、色相および出力方向のうちの少なくとも一つを調整する段階を遂行できる。
例えば、予測されたメタデータ９３０は、予測されたウインドウセンター情報、予測されたウインドウ幅情報、予測された色相反転情報、予測された映像の回転情報、および予測された映像の反転情報のうちの少なくとも一つを含むことができる。医療映像分析装置２００は、予測されたウインドウセンター情報、または予測されたウインドウ幅情報に基づいて、医療映像９１０のウインドウセンターまたはウインドウ幅を調整することができる。また、医療映像分析装置２００は、予測された色相反転情報に基づいて、医療映像９１０の色相を調整することができる。また、医療映像分析装置２００は、予測された映像の回転情報、および予測された映像の反転情報に基づいて、医療映像９１０の出力方向を決定することができる。
医療映像分析装置２００は、医療映像から病変を判読する前に、原本の医療映像から必要なメタデータを予測することができる。また、医療映像分析装置２００は、予測された値を利用して、医療映像を判読可能に調整することができる。また、医療映像については、予測された値に基づいて、医療映像が判読対象映像であるかどうかを決定することができる。したがって、医療映像分析装置２００は、主観的で変動可能であるＤＩＣＯＭヘッダに依存せず、一貫した判読結果を提供することができる。
図１０は、本開示の一実施例にしたがって病変を検出する過程を示したフローチャートである。
医療映像分析装置２００は、患者の医療映像を受信することができる。図８で説明した通り、医療映像分析装置２００は、患者の医療映像に予測モデルを利用してメタデータを予測することができる。同一の予測モデルに基づいてメタデータを予測するため、医療映像分析装置２００は、どのような医療映像を受信しても、同じ基準に基づいてメタデータを獲得することができる。したがって、医療映像分析装置２００は、医療映像およびメタデータに機械学習を適用して、目標タスクの成功率を高めることができる。目標タスクは病変検出であり得る。
医療映像分析装置２００は、入力された医療映像から異常（ａｎｏｍａｌｙ）を検出するために、医療映像分析装置２００は、予測されたメタデータに基づいて患者の医療映像を調整する段階１０１０を遂行できる。また、医療映像分析装置２００は、予測されたメタデータに基づいて、入力された医療映像についてのウインドウセンター、ウインドウ幅、色相および出力方向のうちの少なくとも一つを調整する段階を遂行できる。
医療映像分析装置２００は、予測されたメタデータに含まれた身体部位を確認する段階１０２０を遂行できる。医療映像分析装置２００は、予測されたメタデータの身体部位情報が、異常（ａｎｏｍａｌｙ）を検出しようとする身体部位と一致するかを確認することができる。
例えば、使用者は、患者の医療映像から異常を診断するために、特定の身体部位に対する医療映像が必要な場合もある。使用者は、特定の身体部位についての情報を、医療映像分析装置２００に入力することができる。または、医療映像分析装置２００は、使用者が探している病変に対応する、特定の身体部位の情報を自動で獲得することができる。医療映像分析装置２００は、特定の身体部位の情報と、メタデータに含まれた身体部位の情報とを比較して、患者の医療映像が、特定の身体部位に対応する映像であるかを確認することができる。医療映像分析装置２００は、特定の身体部位の情報と、メタデータに含まれた身体部位の情報とが一致しない場合、患者の新しい医療映像を獲得したり、患者の新しい医療映像を獲得するための動作を遂行できる。
医療映像分析装置２００は、予測されたメタデータに含まれたモダリティーを確認する段階１０３０を遂行できる。医療映像分析装置２００は、予測されたメタデータのモダリティー情報が、異常の検出に適合しているかを確認することができる。
例えば、使用者は、患者の医療映像から異常を診断するために、特定のモダリティーの医療映像が必要な場合もある。使用者は、特定のモダリティーについての情報を、医療映像分析装置２００に入力することができる。または、医療映像分析装置２００は、使用者が探している病変を検出するために、必要な特定のモダリティー情報を自動で獲得することができる。医療映像分析装置２００は、特定のモダリティー情報と、メタデータに含まれたモダリティー情報とを比較して、患者の医療映像が、特定のモダリティーに基づいた映像であるか確認することができる。医療映像分析装置２００は、特定のモダリティー情報と、メタデータに含まれたモダリティー情報とが一致しない場合、患者の新しい医療映像を獲得したり、患者の新しい医療映像を獲得するための動作を遂行できる。
医療映像分析装置２００は、予測されたメタデータに含まれた患者についての情報を確認する段階１０４０を遂行できる。医療映像分析装置２００は、予測されたメタデータにおける患者についての情報が、異常の検出に適合しているかを確認することができる。
例えば、使用者は、患者の医療映像から異常を診断するために、特定患者の情報が必要な場合もある。医療映像分析装置２００は、診断対象と医療映像に対応する患者が同じ人であるかを判断することができる。また、医療映像分析装置２００は、異常を診断するために、特定の年齢範囲の患者に診断を遂行できる。例えば、使用者は、患者についての情報を、医療映像分析装置２００に入力することができる。または、医療映像分析装置２００は、使用者が探している病変を検出するために必要な患者情報を、自動で獲得することができる。医療映像分析装置２００は、入力された患者情報と、メタデータに含まれた患者情報とを比較することができる。医療映像分析装置２００は、入力された患者情報と、メタデータに含まれた患者情報とが一致しない場合、警告メッセージを出力することができる。
医療映像分析装置２００は、患者の医療映像から病変を検出する段階１０５０を遂行できる。医療映像分析装置２００は、医療映像から病変を検出するために、病変検出に特化した機械学習モデルを使うことができる。
これまで多様な実施例を中心に詳察した。本発明が属する技術分野で通常の知識を有する者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現され得ることが理解できるはずである。したがって、開示された実施例は限定的な観点ではなく説明的な観点で考慮されるべきである。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差異点は本発明に含まれるものと解釈されるべきである。
一方、前述した本発明の実施例はコンピュータで実行され得るプログラムで作成可能であり、コンピュータで読み出すことができる記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータで具現され得る。前記コンピュータで読み出すことができる記録媒体はマグネチック保存媒体（例えば、ロム、フロッピーディスク、ハードディスクなど）、光学的可読媒体（例えば、ＣＤ−ＲＯＭ、ディーブイディーなど）のような保存媒体を含む。

Claims (16)

  1. ハードウェアであるプロセッサおよびメモリを利用して医療映像を分析するための方法において、
    前記プロセッサが、学習（ｔｒａｉｎｉｎｇ）のための複数の医療映像、および前記複数の医療映像のそれぞれにマッチングされたメタデータに基づいて、医療映像のメタデータを予測する予測モデルを学習する段階；
    前記プロセッサが、前記学習された予測モデルを利用して、入力された医療映像に対する予測されたメタデータを生成する段階；および
    前記プロセッサが、前記入力された医療映像から異常（ａｎｏｍａｌｙ）を検出するために、前記予測されたメタデータに基づいて、前記入力された医療映像で前記予測されたメタデータに該当する情報を調整（ａｄｊｕｓｔ）する段階を含み、
    前記予測されたメタデータは、
    前記医療映像に含まれた客体に関連した情報、前記医療映像の撮影環境についての情報、および前記医療映像の表示方法に関連した情報のうちの少なくとも一つを含み、
    前記予測されたメタデータに該当する情報には、ウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ）情報、及びウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報が含まれ、
    ウィンドウ幅の最小値と最小の入力ピクセル値を比較した結果、及び前記ウィンドウ幅の最大値と最大の入力ピクセル値を比較した結果に基づいて、前記入力された医療映像の入力ピクセルのうち、少なくとも一部の入力ピクセルのピクセル値を調整し、前記入力された医療映像を表示する、医療映像分析方法。
  2. 前記ウインドウ幅の最小値が、前記最小の入力ピクセル値よりも大きく、前記ウインドウ幅の最大値が、前記最大の入力ピクセル値よりも小さい場合、第１臨界値より小さい入力ピクセル値を最小ピクセル値として表示し、第２臨界値より大きい入力ピクセル値を最大ピクセル値として表示し、
    前記ウインドウ幅の最小値が、前記最小の入力ピクセル値に等しく、前記ウインドウ幅の最大値が、前記最大の入力ピクセル値に等しい場合、入力ピクセル値のすべてを区分されるように表示し、
    前記ウインドウ幅の最小値が、前記最小の入力ピクセル値よりも小さく、前記ウインドウ幅の最大値が、前記最大の入力ピクセル値よりも小さい場合、第３臨界値より大きい入力ピクセル値を、すべて最大ピクセル値として表示する、請求項１に記載の医療映像分析方法。
  3. 前記医療映像に含まれた客体に関連した情報は、前記医療映像に含まれた身体部位の情報、および患者についての情報のうちの少なくとも一つを含み、
    前記医療映像の撮影環境についての情報は、前記医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、および前記医療映像の撮影方式についての情報のうちの少なくとも一つを含み、
    前記医療映像の表示方法に関連した情報は、色相反転情報、映像の回転情報、および映像の反転情報のうちの少なくとも一つをさらに含むことを特徴とする、請求項１に記載の医療映像分析方法。
  4. 前記予測モデルを学習する段階は、
    前記プロセッサが、前記学習のための複数の医療映像のそれぞれについてのＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダの標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）から、前記複数の医療映像のそれぞれにマッチングされる、複数のメタデータを獲得する段階；および
    前記学習のための複数の医療映像、および、前記獲得された複数のメタデータを利用して、前記予測モデルを学習する段階を含む、請求項１に記載の医療映像分析方法。
  5. 前記プロセッサが、前記入力された医療映像に対して予測されたメタデータを、前記入力された医療映像にマッチングさせて前記メモリに保存する段階をさらに含む、請求項１に記載の医療映像分析方法。
  6. 前記メモリに保存する段階は、
    前記予測されたメタデータを、前記入力された医療映像のＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダに保存する段階を含む、請求項５に記載の医療映像分析方法。
  7. 前記予測されたメタデータに該当する情報は前記入力された医療映像についてのウインドウセンター、ウインドウ幅、色相、および出力方向のうちの少なくとも一つを含む、請求項１に記載の医療映像分析方法。
  8. 前記学習のための複数の医療映像、および前記入力された医療映像は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）標準に対応する映像である、請求項１に記載の医療映像分析方法。
  9. 医療映像分析装置はプロセッサおよびメモリを含み、
    前記プロセッサは前記メモリに保存された命令語に基づいて、
    学習（ｔｒａｉｎｉｎｇ）のための複数の医療映像、および前記複数の医療映像のそれぞれにマッチングされたメタデータに基づいて、医療映像のメタデータを予測する予測モデルを学習する段階；
    前記学習された予測モデルを利用して、入力された医療映像に対する予測されたメタデータを生成する段階；および
    前記入力された医療映像から異常（ａｎｏｍａｌｙ）を検出するために、前記予測されたメタデータに基づいて、前記入力された医療映像で前記予測されたメタデータに該当する情報を調整（ａｄｊｕｓｔ）する段階を遂行し、
    前記予測されたメタデータは、
    前記医療映像に含まれた客体に関連した情報、前記医療映像の撮影環境についての情報、および前記医療映像の表示方法に関連した情報のうちの少なくとも一つを含み、
    前記予測されたメタデータに該当する情報には、ウインドウセンター（ｗｉｎｄｏｗ ｃｅｎｔｅｒ）情報、及びウインドウ幅（ｗｉｎｄｏｗ ｗｉｄｔｈ）情報が含まれ、
    ウィンドウ幅の最小値と最小の入力ピクセル値を比較した結果、及び前記ウィンドウ幅の最大値と最大の入力ピクセル値を比較した結果に基づいて、前記入力された医療映像の入力ピクセルのうち、少なくとも一部の入力ピクセルのピクセル値を調整し、前記入力された医療映像を表示する、医療映像分析装置。
  10. ウインドウ幅の最小値が、最小の入力ピクセル値よりも大きく、ウインドウ幅の最大値が、最大の入力ピクセル値よりも小さい場合、第１臨界値より小さい入力ピクセル値を最小ピクセル値として表示し、第２臨界値より大きい入力ピクセル値を最大ピクセル値として表示し、
    ウインドウ幅の最小値が、最小の入力ピクセル値に等しく、ウインドウ幅の最大値が、最大の入力ピクセル値に等しい場合、入力ピクセル値のすべてを区分されるように表示し、
    ウインドウ幅の最小値が、最小の入力ピクセル値よりも小さく、ウインドウ幅の最大値が、最大の入力ピクセル値よりも小さい場合、第３臨界値より大きい入力ピクセル値を、すべて最大ピクセル値として表示する、請求項９に記載の医療映像分析装置。
    医療映像分析装置。
  11. 前記医療映像に含まれた客体に関連した情報は、前記医療映像に含まれた身体部位の情報、および患者についての情報のうちの少なくとも一つを含み、
    前記医療映像の撮影環境についての情報は、前記医療映像のモダリティー情報（ｍｏｄａｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、および前記医療映像の撮影方式についての情報のうちの少なくとも一つを含み、
    前記医療映像の表示方法に関連した情報は、色相反転情報、映像の回転情報、および映像の反転情報のうちの少なくとも一つをさらに含むことを特徴とする、請求項９に記載の医療映像分析装置。
  12. 前記プロセッサは前記メモリに保存された命令語に基づいて、
    前記学習のための複数の医療映像のそれぞれについてのＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダの標準データ要素（Ｓｔａｎｄａｒｄ Ｄａｔａ Ｅｌｅｍｅｎｔｓ）から、前記複数の医療映像のそれぞれにマッチングされる複数のメタデータを獲得する段階；および
    前記学習のための複数の医療映像、および前記獲得された複数のメタデータを利用して、前記予測モデルを学習する段階をさらに遂行する、請求項９に記載の医療映像分析装置。
  13. 前記プロセッサは、前記メモリに保存された命令語に基づいて、
    前記入力された医療映像に対して予測されたメタデータを、前記入力された医療映像にマッチングさせて前記メモリに保存する段階をさらに遂行する、請求項９に記載の医療映像分析装置。
  14. 前記プロセッサは、前記メモリに保存された命令語に基づいて、
    前記予測されたメタデータを、前記入力された医療映像のＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）ヘッダに保存する段階をさらに遂行する、請求項１３に記載の医療映像分析装置。
  15. 前記予測されたメタデータに該当する情報は、前記入力された医療映像についてのウインドウセンター、ウインドウ幅、色相および出力方向のうちの少なくとも一つを含む、請求項９に記載の医療映像分析装置。
  16. 前記学習のための複数の医療映像および前記入力された医療映像は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）標準に対応する映像である、請求項９に記載の医療映像分析装置。
JP2019229213A 2019-05-22 2019-12-19 医療映像のメタデータ予測装置および方法 Active JP6895508B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190059860A KR102075293B1 (ko) 2019-05-22 2019-05-22 의료 영상의 메타데이터 예측 장치 및 방법
KR10-2019-0059860 2019-05-22

Publications (2)

Publication Number Publication Date
JP2020191063A JP2020191063A (ja) 2020-11-26
JP6895508B2 true JP6895508B2 (ja) 2021-06-30

Family

ID=69185503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229213A Active JP6895508B2 (ja) 2019-05-22 2019-12-19 医療映像のメタデータ予測装置および方法

Country Status (6)

Country Link
US (4) US10824908B1 (ja)
EP (2) EP3742451B1 (ja)
JP (1) JP6895508B2 (ja)
KR (1) KR102075293B1 (ja)
CN (1) CN111986784B (ja)
WO (1) WO2020235966A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법
US20210366592A1 (en) * 2020-05-20 2021-11-25 Koninklijke Philips N.V. Real-time digital imaging and communication in medicine (dicom) label checker
CN113744117A (zh) * 2020-05-29 2021-12-03 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备及动态图像处理方法
DE102020212205A1 (de) * 2020-09-28 2022-03-31 Siemens Healthcare Gmbh Individuelle Ermittlung der Brustkompression bei der Mammographie mit künstlicher Intelligenz
KR102457962B1 (ko) * 2020-10-30 2022-10-24 한국과학기술정보연구원 논문의 메타데이터 추출 방법 및 장치
KR102467096B1 (ko) * 2020-10-30 2022-11-15 한국과학기술정보연구원 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치
US20220208358A1 (en) * 2020-12-29 2022-06-30 Avicenna.Ai Systems, devices, and methods for rapid detection of medical conditions using machine learning
JP2023511242A (ja) * 2020-12-31 2023-03-17 商▲湯▼国▲際▼私人有限公司 画像内関連対象検出方法、装置、デバイス、及び記録媒体
WO2023074184A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 アノテーション支援システム及びそれを利用した外観検査用モデルの学習支援システム
WO2023074183A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
WO2023126246A1 (en) * 2021-12-27 2023-07-06 Koninklijke Philips N.V. Screening for subtle condition sign detection
EP4307243A1 (en) * 2022-07-11 2024-01-17 IB Lab GmbH Processing a medical image

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011900A (ja) * 2006-07-03 2008-01-24 Fujifilm Corp 画像種類判別装置および方法並びにプログラム
US9171130B2 (en) 2009-11-24 2015-10-27 Penrad Technologies, Inc. Multiple modality mammography image gallery and clipping system
KR101860778B1 (ko) * 2011-08-24 2018-07-02 에스케이플래닛 주식회사 촬영 이미지 편집 방법 및 이에 적용되는 장치
JP5870765B2 (ja) * 2012-03-02 2016-03-01 コニカミノルタ株式会社 電子カルテ装置
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP2015043142A (ja) * 2013-08-26 2015-03-05 株式会社東芝 分散バックアップシステム
KR101681313B1 (ko) 2014-01-15 2016-12-02 삼성전자주식회사 의료 영상 제공 장치 및 그에 따른 의료 영상 제공 방법
US20150278726A1 (en) 2014-03-31 2015-10-01 James Gelsin Marx Systems and methods for workflow processing
WO2016071791A1 (en) * 2014-11-07 2016-05-12 Koninklijke Philips N.V. Optimized anatomical structure of interest labelling
US10222942B1 (en) * 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
JP2017118913A (ja) * 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP6812193B2 (ja) * 2016-10-07 2021-01-13 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101963650B1 (ko) * 2016-11-30 2019-04-01 오스템임플란트 주식회사 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체
US10275130B2 (en) 2017-05-12 2019-04-30 General Electric Company Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
EP3629898A4 (en) 2017-05-30 2021-01-20 Arterys Inc. AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION
JP2019000444A (ja) * 2017-06-16 2019-01-10 株式会社ジェイマックシステム 医療診断支援装置、医療診断支援方法、医療診断支援プログラム、医療診断支援システム、複合医療診断支援方法および複合医療診断支援プログラム
US10949966B2 (en) * 2017-08-18 2021-03-16 Siemens Healthcare Gmbh Detecting and classifying medical images based on continuously-learning whole body landmarks detections
CN109589089A (zh) * 2017-09-30 2019-04-09 复旦大学 基于多模态影像数据的分析方法及其用途
US20190279082A1 (en) * 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
US10740866B2 (en) * 2018-06-26 2020-08-11 International Business Machines Corporation Determining appropriate medical image processing pipeline based on machine learning
US11151719B2 (en) 2018-12-19 2021-10-19 Caide Systems, Inc. Automatic brightness and contrast control neural network for medical diagnostic imaging
US11354351B2 (en) 2019-01-31 2022-06-07 Chooch Intelligence Technologies Co. Contextually generated perceptions
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법

Also Published As

Publication number Publication date
US20210012160A1 (en) 2021-01-14
EP3975197A1 (en) 2022-03-30
CN111986784A (zh) 2020-11-24
US20200372299A1 (en) 2020-11-26
WO2020235966A1 (ko) 2020-11-26
EP3742451A1 (en) 2020-11-25
EP3742451B1 (en) 2023-07-19
US11978548B2 (en) 2024-05-07
JP2020191063A (ja) 2020-11-26
US20220101984A1 (en) 2022-03-31
US10824908B1 (en) 2020-11-03
US20220269905A1 (en) 2022-08-25
EP3975197A4 (en) 2023-07-12
CN111986784B (zh) 2021-11-09
KR102075293B1 (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
JP6895508B2 (ja) 医療映像のメタデータ予測装置および方法
US11790645B2 (en) Diagnosis assistance system and control method thereof
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US20220199258A1 (en) Training method for specializing artificial interlligence model in institution for deployment, and apparatus for training artificial intelligence model
KR20200005404A (ko) 진단 보조 시스템
US10825178B1 (en) Apparatus for quality management of medical image interpretation using machine learning, and method thereof
US20230005251A1 (en) Diagnostic assistance apparatus and model generation apparatus
US11996184B2 (en) Method and system for detecting pneumothorax
US20220237793A1 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
US20200035363A1 (en) System to predict health outcomes
US20220301153A1 (en) Diabetic retinopathy detection using machine learning
Pham et al. Chest x-ray abnormalities localization via ensemble of deep convolutional neural networks
KR102464887B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
KR102433054B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
Wollek et al. Out‐of‐distribution detection with in‐distribution voting using the medical example of chest x‐ray classification
KR20210113084A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
KR20210144253A (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US11928817B2 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
Ngo et al. Application of deep learning in chest X-ray abnormality detection
Razavi et al. Daniel Rueckert, Moritz Knolle, Nicolas Duchateau
JP2023166761A (ja) 情報処理システム、情報処理装置および情報処理方法
KR20220103852A (ko) 의료 이미지에서 비정상 영역을 검출하는 방법, 상기 방법을 수행하는 비정상 영역 검출 장치, 및 의료 이미지에서 비정상 영역을 검출하는데 이용되는 신경망을 학습시키는 방법
WO2023156417A1 (en) Systems and methods for training and application of machine learning algorithms for microscope images
KR20230002204A (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200716

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6895508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250