KR20210029167A - 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 - Google Patents

기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 Download PDF

Info

Publication number
KR20210029167A
KR20210029167A KR1020210007188A KR20210007188A KR20210029167A KR 20210029167 A KR20210029167 A KR 20210029167A KR 1020210007188 A KR1020210007188 A KR 1020210007188A KR 20210007188 A KR20210007188 A KR 20210007188A KR 20210029167 A KR20210029167 A KR 20210029167A
Authority
KR
South Korea
Prior art keywords
information
lesion
medical image
medical
past
Prior art date
Application number
KR1020210007188A
Other languages
English (en)
Other versions
KR102480134B1 (ko
Inventor
정나영
김기환
장민홍
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200087227A external-priority patent/KR102213924B1/ko
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to KR1020210007188A priority Critical patent/KR102480134B1/ko
Publication of KR20210029167A publication Critical patent/KR20210029167A/ko
Priority to KR1020220176781A priority patent/KR102507315B1/ko
Application granted granted Critical
Publication of KR102480134B1 publication Critical patent/KR102480134B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 의료인이 의료 영상을 판독한 결과 및 기계학습모델이 기초하여 생성된 판독한 결과를 비교하여 의료 영상 판독의 결과를 관리하기 위한 장치 및 방법에 관한 것으로써, 의료 영상을 수신하는 단계, 의료 영상에 대한 의료인의 판단 결과인 리포트 정보를 수신하는 단계, 의료 영상을 기초로 획득되는 의료 영상의 병변과 관련된 제 1 병변 정보 및 리포트 정보를 기초로 획득되는 의료 영상의 병변과 관련된 제 2 병변 정보를 제 3 분석 모델에 적용하여 제 1 병변 정보 및 제 2 병변 정보의 동일성을 나타내는 결과 정보를 생성하는 단계 및 결과 정보를 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치{APPARATUS FOR QUALITY MANAGMENT OF MEDICAL IMAGE INTERPRETATION USNIG MACHINE LEARNING, AND METHOD THEREOF}
본 개시는 의료인이 의료 영상을 판독한 결과 및 기계학습모델이 기초하여 생성된 판독한 결과를 비교하여 의료 영상 판독의 결과를 관리하기 위한 의료 영상 분석 장치 및 방법에 관한 것이다.
영상 검사는 새로운 질환을 발견하거나 기존 병변의 변화를 관찰하는데 활용된다. 영상 검사는 환자 진단의 시작점이라는 점에서 중요하다.
하지만 인구의 고령화, 민간보험 가입률 증가, 요양급여 확대 등으로 영상검사의 실시 규모는 빠르게 증가하여, 영상의학 전문의의 판독 부담이 가중되고 있다. 또한 의료 영상 판독의 정확도는 판독환경, 의료인의 세부전공, 의료인의 집중도 등 다양한 요인에 따라 달라질 수 있기 때문에, 의료인은 의료 영상들에 대하여 잘못된 판독을 할 가능성이 있으며, 동일 의료 영상에 대한 의료인들의 판독이 서로 다를 수 있다.
실제로 의료인이 의료 영상에서 병변을 판독하지 못하여 치료가 지연되거나, 의료 영상에 나타난 병변과 다른 병변으로 판독하여 잘못된 수술 및 약물 처방을 받는 경우가 종종 발생할 수 있다.
따라서 의료 영상 판독의 품질 관리에 대한 필요성이 대두되고 있으며 의료 영상 판독의 품질 관리 방법은 크게 두 가지로 나눌 수 있다. 첫째 방법은 의료인을 교육하는 방법이다. 의료 영상은 의료인에 의하여 판독되므로, 의료인을 정기적으로 교육하고, 의료인에게 시험을 실시하여 의료 영상의 품질을 높일 수 있다.
하지만, 이러한 방법은 실제 임상환경에서의 판독 정확도를 평가하기 어려운 문제점이 있다. 또한, 과거에 잘못된 판독된 영상에 대하여 조치를 취할 수 없다는 문제점이 있다.
다른 방법은, 이중 판독이다. 의료인에 의하여 이미 판독된 의료 영상을 다른 의료인이 다시 판독하는 방법이다. 이 방법은 서로 다른 의료인에 의하여 의료 영상에 대한 판독이 이루어 지므로, 한 명의 의료인에 의한 판독 실수를 방지할 수 있다. 하지만, 영상의학 의료인의 수가 한정된 상황에서 현실적으로 실현 가능성이 낮은 문제점이 있다.
따라서, 의료 영상 판독의 품질을 관리하기 위한 장치 및 방법이 요구되고 있는 상황이다.
본 발명의 배경이 되는 기술은 한국등록특허공보 제10-1811028호(2017.12.20.) 및 한국공개특허공보 제10-2018-0040287호(2018.04.20.)에 개시되어 있다.
본 개시의 일 실시예에 따른 영상 판독 방법은, 의료 영상을 수신하는 단계, 의료 영상에 대한 의료인의 판단 결과인 리포트 정보를 수신하는 단계, 의료 영상을 기초로 획득되는 의료 영상의 병변과 관련된 제 1 병변 정보 및 리포트 정보를 기초로 획득되는 의료 영상의 병변과 관련된 제 2 병변 정보를 제 3 분석 모델에 적용하여 제 1 병변 정보 및 제 2 병변 정보의 동일성을 나타내는 결과 정보를 생성하는 단계 및 결과 정보를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 제 1 병변 정보는, 의료 영상, 의료 영상에 병변의 존재 유무를 나타내는 제 1 병변 여부 정보, 의료 영상의 병변의 위치 및 병변의 크기를 포함하는 제 1 병변 영역 정보 또는 의료 영상을 이용하여 제 1 분석 모델이 자동으로 생성한 제 1 리포트 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 제 1 병변 정보는, 의료 영상으로부터 제 1 병변 여부 정보를 생성하기 위한 제 1 분석 모델의 히든레이어에 관련된 적어도 하나의 특징에 대한 제 1 특징 정보를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 제 2 병변 정보는, 리포트 정보, 리포트 정보에 기초하여 획득된 병변의 유무를 나타내는 제 2 병변 여부 정보 또는 리포트 정보에 기초하여 획득된 병변의 위치 및 병변의 크기를 포함하는 제 2 병변 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 제 2 병변 정보는, 리포트 정보로부터 제 2 병변 여부 정보를 생성하기 위한 제 2 분석 모델의 히든레이어에 관련된 적어도 하나의 특징에 대한 제 2 특징 정보를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법은, 의료 영상을 제 1 분석 모델에 적용하여 제 1 병변 정보를 획득하는 단계, 및 리포트 정보를 제 2 분석 모델에 적용하여 제 2 병변 정보를 획득하는 단계를 더 포함하고, 제 1 분석 모델은 복수의 과거 의료 영상 및 복수의 과거 의료 영상에 대한 복수의 제 1 과거 병변 정보의 상관관계를 기계학습한 모델이고, 제 2 분석 모델은 복수의 과거 리포트 정보 및 복수의 과거 리포트 정보에 대한 복수의 제 2 과거 병변 정보의 상관관계를 기계학습한 모델을 포함하고, 제 3 분석 모델은 복수의 제 1 과거 병변 정보, 복수의 제 2 과거 병변 정보 및 복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보의 동일성을 나타내는 과거 결과 정보를 기계학습한 모델인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 제 2 분석 모델은 리포트 정보에서 상기 제 2 병변 정보를 추출하기 위한 룰 기반(rule based) 모델인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 결과 정보를 생성하는 단계는, 제 1 병변 정보에 포함된 제 1 병변 여부 정보와 제 2 병변 정보에 포함된 제 2 병변 여부 정보가 일치하는지 여부에 기초하여 결과 정보를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 결과 정보를 생성하는 단계는, 제 1 병변 정보에 포함된 제 1 병변 영역 정보 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보 각각에 따른 병변 영역 간의 영역 일치 정도를 기초로 결과 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 결과 정보를 생성하는 단계는, 제 1 병변 정보에 포함된 제 1 특징 정보 및 제 2 병변 정보에 포함된 제 2 특징 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 결과 정보를 생성하는 단계는, 제 1 병변 정보를 리포트로 생성한 제 1 리포트 정보 및 리포트 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 영상 판독 방법의 결과 정보를 생성하는 단계는, 의료 영상 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치는 프로세서 및 메모리를 포함하고, 프로세서는 메모리에 저장된 명령어에 기초하여, 의료 영상을 수신하는 단계, 의료 영상에 대한 의료인의 판단 결과인 리포트 정보를 수신하는 단계, 의료 영상을 기초로 획득되는 상기 의료 영상의 병변과 관련된 제 1 병변 정보 및 리포트 정보를 기초로 획득되는 상기 의료 영상의 병변과 관련된 제 2 병변 정보를 제 3 분석 모델에 적용하여 제 1 병변 정보 및 제 2 병변 정보의 동일성을 나타내는 결과 정보를 생성하는 단계 및 결과 정보를 출력하는 단계를 수행하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제 1 병변 정보는, 의료 영상, 의료 영상의 병변의 유무를 나타내는 제 1 병변 여부 정보, 의료 영상의 병변의 위치 및 병변의 크기를 포함하는 제 1 병변 영역 정보 또는 의료 영상을 이용하여 제 1 분석 모델이 자동으로 생성한 제 1 리포트 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제 1 병변 정보는, 의료 영상으로부터 제 1 병변 여부 정보를 생성하기 위한 제 1 분석 모델의 히든레이어에 관련된 적어도 하나의 특징에 대한 제 1 특징 정보를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제 2 병변 정보는, 리포트 정보, 리포트 정보에 기초하여 획득된 병변의 유무를 나타내는 제 2 병변 여부 정보 또는 리포트 정보에 기초하여 획득된 병변의 위치 및 병변의 크기를 포함하는 제 2 병변 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제 2 병변 정보는, 리포트 정보로부터 제 2 병변 여부 정보를 생성하기 위한 제 2 분석 모델의 히든레이어에 관련된 적어도 하나의 특징에 대한 제 2 특징 정보를 포함하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 리포트를 평가하기 위한 방법은 의료 영상을 제 1 분석 모델에 적용하여 제 1 병변 정보를 획득하는 단계 및 리포트 정보를 제 2 분석 모델에 적용하여 제 2 병변 정보를 획득하는 단계를 더 포함하고, 제 1 분석 모델은 복수의 과거 의료 영상 및 복수의 과거 의료 영상에 대한 복수의 제 1 과거 병변 정보의 상관관계를 기계학습한 모델이고, 제 2 분석 모델은 복수의 과거 리포트 정보 및 복수의 과거 리포트 정보에 대한 복수의 제 2 과거 병변 정보의 상관관계를 기계학습한 모델을 포함하고, 제 3 분석 모델은 복수의 제 1 과거 병변 정보, 복수의 제 2 과거 병변 정보 및 복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보의 동일성을 나타내는 과거 결과 정보를 기계학습한 모델인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제 2 분석 모델은 리포트 정보에서 제 2 병변 정보를 추출하기 위한 룰 기반(rule based) 모델인 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제 1 병변 정보에 포함된 제 1 병변 여부 정보와 제 2 병변 정보에 포함된 제 2 병변 여부 정보가 일치하는지 여부에 기초하여 결과 정보를 결정하는 단계를 수행하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제 1 병변 정보에 포함된 제 1 병변 영역 정보 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보 각각에 따른 병변 영역 간의 영역 일치 정도를 기초로 결과 정보를 생성하는 단계를 수행하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제 1 병변 정보에 포함된 제 1 특징 정보 및 제 2 병변 정보에 포함된 제 2 특징 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 수행하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제 1 병변 정보를 리포트로 생성한 제 1 리포트 정보 및 리포트 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 수행하는 것을 특징으로 한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 의료 영상 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 수행하는 것을 특징으로 한다.
또한, 상술한 바와 같은 영상 판독 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 블록도이다.
도 5는 본 개시의 일 실시예에 따른 기계학습모델을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 제 1 분석 모델을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 제 2 분석 모델을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 제 3 분석 모델을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 영역 일치 정도를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따른 의료 영상 분석 시스템의 동작을 나타낸 도면이다.
도 13는 본 개시의 일 실시예에 따른 의료 영상 분석 시스템의 동작을 나타낸 도면이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 분석 장치(100)의 블록도이다.
도 1을 참조하면, 일 실시예에 따른 의료 영상 분석 장치(100)는 데이터 학습부(110) 및 데이터 인식부(120)를 포함할 수 있다. 상술한 바와 같은 의료 영상 분석 장치(100)는 프로세서 및 메모리를 포함할 수 있다.
데이터 학습부(110)는 데이터 세트를 이용하여 타겟 태스크(target task)를 수행하기 위한 기계학습모델을 학습시킬 수 있다. 데이터 학습부(110)는 데이터 세트 및 타겟 태스크와 관련된 레이블 정보를 수신할 수 있다. 데이터 학습부(110)는 데이터 세트와 레이블 정보의 관계에 대해 기계학습을 수행하여 기계학습모델을 획득할 수 있다. 일 실시예로, 데이터 학습부(110)에 의하여 획득된 기계학습모델은 의료 영상 및 의료인이 작성한 리포트 정보에 기초하여 의료인의 의료 영상 판독의 정확성을 평가하기 위한 모델일 수 있다.
데이터 인식부(120)는 데이터 학습부(110)의 기계학습모델을 저장할 수 있다. 데이터 인식부(120)는 의료 영상 및 의료인이 작성한 리포트 정보를 기계학습모델을 적용하여 의료인이 작성한 리포트 정보의 정확성과 관련된 정보를 출력할 수 있다. 또한, 데이터 인식부(120)는 기계학습모델에 의해 출력된 결과를 기계학습모델을 갱신하는데 이용할 수 있다.
데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 다양한 전자 장치에 탑재될 수도 있다.
또한 데이터 학습부(110) 및 데이터 인식부(120)는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(110) 및 데이터 인식부(120)는 유선 또는 무선으로 통하여, 데이터 학습부(110)가 구축한 기계학습모델 정보를 데이터 인식부(120)로 제공할 수도 있고, 데이터 인식부(120)로 입력된 데이터가 추가 학습 데이터로써 데이터 학습부(110)로 제공될 수도 있다.
한편, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 메모리 또는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 학습부(110)는 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)를 포함할 수 있다.
데이터 획득부(111)는 기계학습에 필요한 데이터를 획득할 수 있다. 학습을 위해서는 많은 데이터가 필요하므로, 데이터 획득부(111)는 복수의 데이터를 포함하는 데이터 세트를 수신할 수 있다.
복수의 데이터 각각에 대하여 레이블 정보가 할당될 수 있다. 레이블 정보는 복수의 데이터의 각각을 설명하는 정보일 수 있다. 레이블 정보는 타겟 태스크(target task)가 도출하고자 하는 정보일 수 있다. 레이블 정보는 사용자 입력으로부터 획득되거나, 메모리로부터 획득되거나, 기계학습모델의 결과로부터 획득될 수 있다. 예를 들어 타겟 태스크가 의료 영상 및 의료 영상에 기초하여 의료인이 작성한 리포트 정보로부터, 의료인이 작성한 리포트 정보의 정확도와 관련된 정보를 결정하는 것이라면, 복수의 데이터는 복수의 의료 영상 및 복수의 의료인의 리포트 정보가 될 것이며 레이블 정보는 의료인이 작성한 리포트 정보의 정확도가 될 것이다.
전처리부(112)는 수신된 데이터가 기계학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(112)는 후술할 모델 학습부(114)가 이용할 수 있도록, 획득된 데이터 세트를 미리 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(114)에 제공될 수 있다. 학습 데이터 선택부(113)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(113)는 후술할 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(114)는 데이터 세트에 기초하여 어떤 레이블 정보를 출력할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(114)는 데이터 세트 및 데이터 세트 대한 레이블 정보를 학습 데이터로써 이용하여 기계학습을 수행할 수 있다. 또한 모델 학습부(114)는 기존에 획득된 기계학습모델을 추가적으로 이용하여 기계학습을 수행할 수 있다. 이 경우, 기존에 획득된 기계학습모델은 미리 구축된 모델일 수 있다. 예를 들어, 기계학습모델은 기본 학습 데이터를 입력 받아 미리 구축된 모델일 수 있다.
기계학습모델은, 학습모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 기계학습모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN)과 같은 모델이 기계학습모델로써 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(114)는 미리 구축된 기계학습모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 기계학습모델을 학습할 기계학습모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 기계학습모델은 데이터의 타입별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 장소, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 기계학습모델을 학습시킬 수 있다.
또한, 모델 학습부(114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 기계학습모델을 학습할 수 있다. 또한, 모델 학습부(114)는, 예를 들어, 별다른 지도없이 타겟 태스크(target task)을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 타겟 태스크를 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 기계학습모델을 획득할 수 있다. 또한, 모델 학습부(114)는 준지도 학습(semi-supervised learning), 능동적 학습(active learning)을 통하여, 기계학습모델을 획득할 수도 있다. 또한, 모델 학습부(114)는, 예를 들어, 학습에 따른 타겟 태스크의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 기계학습모델을 학습할 수 있다.
또한, 기계학습모델이 학습되면, 모델 학습부(114)는 학습된 기계학습모델을 저장할 수 있다. 이 경우, 모델 학습부(114)는 학습된 기계학습모델을 데이터 인식부(120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(114)는 학습된 기계학습모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
학습된 기계학습모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(115)는 기계학습모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 기계학습모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(115)는 평가 데이터에 대한 학습된 기계학습모델의 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 기계학습모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(115)는 학습된 기계학습모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 기계학습모델이 복수 개가 존재하는 경우, 모델 평가부(115)는 각각의 학습된 동영상 학습모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 기계학습모델로써 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 기계학습모델로써 결정할 수 있다.
한편, 데이터 학습부(110) 내의 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 인식부(120)는 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)를 포함할 수 있다.
데이터 획득부(121)는 입력 데이터를 수신할 수 있다. 전처리부(122)는 획득된 입력 데이터가 인식 데이터 선택부(123) 또는 인식 결과 제공부(124)에서 이용될 수 있도록, 획득된 입력 데이터를 전처리할 수 있다.
인식 데이터 선택부(123)는 전처리된 데이터 중에서 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(124)에게 제공될 수 있다. 인식 데이터 선택부(123)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(123)는 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(124)는 선택된 데이터를 기계학습모델에 적용하여 결과 데이터를 획득할 수 있다. 기계학습모델은 모델 학습부(114)에 의하여 생성된 기계학습모델일 수 있다. 인식 결과 제공부(124)는 결과 데이터를 출력할 수 있다.
모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 기계학습모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과를 모델 학습부(114)에게 제공함으로써, 모델 학습부(114)가 기계학습모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(120) 내의 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
아래에서는 데이터 학습부(110)가 데이터 세트들을 순차적으로 기계학습하는 방법 및 장치에 대하여 보다 자세히 설명한다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 도면이다.
의료 영상 분석 장치(100)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 명령어들을 수행할 수 있다.
상술한 바와 같이 의료 영상 분석 장치(100)는 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나를 포함할 수 있다. 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나는 프로세서(210) 및 메모리(220)에 의하여 구현될 수 있다.
이하, 의료 영상 분석 장치(100)의 동작에 대하여 이하에서 보다 자세히 설명한다.
도 3은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
의료 영상 분석 장치(100)는 의료 영상 장치로부터 의료 영상을 수신하는 단계(310)를 수행할 수 있다. 의료 영상은 CT(Computed Tomography), X-RAY, Mammography 또는 MRI(Magnetic Resonance Imaging) 영상 중 적어도 하나일 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상은 동영상 또는 그래프로 표현된 영상을 포함할 수 있다. 그래프로 표현된 영상은 심전도(Elektrokardiogramm; EKG) 그래프를 포함할 수 있다.
의료 영상 분석 장치(100)는 유무선으로 의료 영상을 의료 영상 장치 로부터 수신할 수 있다. 여기서 의료 영상 장치는 의료 촬영 장치를 포함할 수 있고, 의료 영상 저장 전송 시스템(Picture Archiving and Communication System)을 포함할 수 있다. 또한 의료 영상 분석 장치(100)는 메모리(220)에 저장되어 있는 의료 영상을 획득할 수 있다.
의료 영상 분석 장치(100)는 의료 영상에 대한 의료인의 판단 결과인 리포트 정보를 수신하는 단계(320)를 수행할 수 있다. 의료 영상 분석 장치(100)는 리포트 정보를 유무선으로 수신할 수 있다. 의료 영상 분석 장치(100)는 입력부(미도시)로부터 리포트 정보를 수신할 수 있다.
의료 영상 분석 장치(100)는 실시간으로 의료 영상 및 리포트 정보를 수신할 수 있다. 즉 의료 영상 분석 장치(100)는 의료 영상 또는 리포트 정보가 생성되는 즉시 수신할 수 있다. 또한 의료 영상 장치, 게이트웨이 또는 서버는 복수의 리포트 정보 또는 복수의 의료 영상을 모아서 비실시간으로 의료 영상 분석 장치(100)로 송신할 수 있어서, 의료 영상 분석 장치(100)는 복수의 리포트 정보 또는 복수의 의료 영상을 비실시간으로 수신할 수 있다. 또한 의료 영상 분석 장치(100)는 자동 또는 수동으로 의료 영상 및 리포트 정보를 수신할 수 있다.
리포트 정보는 의료인이 의료 영상을 분석하여 작성한 분석결과일 수 있다. 리포트 정보는 텍스트 정보를 포함할 수 있다. 또한 리포트 정보는 의료 영상의 윈도우 정보를 포함할 수 있다. 윈도우 정보는 윈도우 센터 정보 및 윈도우 너비 정보를 포함할 수 있다. 윈도우 센터 정보 및 윈도우 너비 정보는 의료 영상의 밝기(brightness) 및 의료 영상의 대조(contrast)를 조정하기 위한 정보일 수 있다. 또한 리포트 정보는 의료 영상과 관련된 다양한 수치 정보를 포함할 수 있다. 또한, 리포트 정보는 병변에 대한 정보 또는 환자에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한 리포트 정보는 영상 상에 표시되는 마커 정보를 포함할 수 있다. 마커 정보는 적어도 하나의 픽셀의 값 또는 마커의 위치 정보를 포함할 수 있다. 마커 정보는 의료인이 영상에 표시한 관심 부위의 위치 또는 관심 부위의 길이를 나타낼 수 있다.
병변에 대한 정보는 의료 영상에 나타난 병변의 명칭, 종류, 크기, 위치 및 심각성 중 적어도 하나를 포함할 수 있다. 또한 환자에 대한 정보는 환자의 병력, 나이, 성별, 가족력 중 적어도 하나를 포함할 수 있다.
의료 영상 분석 장치(100)는 의료 영상에 기초한 제 1 병변 정보 및 리포트 정보에 기초한 제 2 병변 정보를 제 3 분석 모델에 적용하여 제 1 병변 정보 및 제 2 병변 정보의 동일성을 나타내는 결과 정보를 생성하는 단계(330)를 수행할 수 있다. 제 1 병변 정보 및 제 2 병변 정보는 의료 영상의 병변과 관련된 정보일 수 있다. 의료 영상 분석 장치(100)는 의료 영상을 기초로 획득되는 제 1 병변 정보 및 리포트 정보를 기초로 획득되는 제 2 병변 정보를 제 3 분석 모델에 적용하여 제 1 병변 정보 및 제 2 병변 정보의 동일성을 나타내는 결과 정보를 생성할 수 있다. 제 1 병변 정보, 제 2 병변 정보 및 제 3 분석 모델에 대해서는 도 4 내지 도 9와 함께 보다 자세히 설명한다.
결과 정보는 제 1 병변 정보 및 제 2 병변 정보의 동일성 또는 유사도를 나타낼 수 있다. 본 개시의 일 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보의 동일성을 디지털로 나타낼 수 있다. 예를 들어, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보가 동일한 경우 결과 정보를 '1'로 나타내고, 동일하지 않은 경우 결과 정보를 '0'으로 나타낼 수 있다. 하지만 이에 한정되는 것은 아니고, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보가 동일한 경우 결과 정보를 '0'로 나타내고, 동일하지 않은 경우 결과 정보를 '1'으로 나타낼 수 있다.
본 개시의 다른 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보의 유사도를 실수 또는 자연수 나타낼 수 있다. 예를 들어, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보가 유사할 수록 높은 숫자로 표시하고, 비유사할 수로 낮은 수로 나타낼 수 있다. 하지만 이에 한정되는 것은 아니고, 의료 영상 분석 장치(100)는 제 1 병변 정보와 제 2 병변 정보가 유사할 수록 낮은 숫자로 표시하고, 비유사할 수로 높은 숫자로 나타낼 수 있다.
의료 영상 분석 장치(100)는 유사도를 임계값과 비교하여, 제 1 병변 정보와 제 2 병변 정보가 동일한지 여부를 나타내는 결과 정보를 결정할 수 있다. 예를 들어 의료 영상 분석 장치(100)는 유사도가 임계값보다 높은 경우, 결과 정보를 제 1 병변 정보와 제 2 병변 정보가 동일함을 나타내도록 할 수 있다. 또한 의료 영상 분석 장치(100)는 유사도가 임계값보다 낮은 경우, 결과 정보를 제 1 병변 정보와 제 2 병변 정보가 동일하지 않음을 나타내도록 할 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상 분석 장치(100)는 유사도가 임계값보다 ?은 경우, 결과 정보를 제 1 병변 정보와 제 2 병변 정보가 동일하지 않음을 나타내도록 할 수 있고, 유사도가 임계값보다 낮은 경우 결과 정보를 제 1 병변 정보와 제 2 병변 정보가 동일함을 나타내도록 할 수 있다.
또한, 의료 영상 분석 장치(100)는 결과 정보를 출력하는 단계(340)를 수행할 수 있다. 결과정보는 병원 서버, 의료인의 단말기, 환자의 단말기 또는 페이어(Payer) 서버에 유무선으로 전송될 수 있다. 결과 정보는 의료 영상 분석 장치(100)의 디스플레이에 표시되거나, 스피커를 통하여 출력될 수 있다.
의료인의 리포트 정보가 의료 영상에 병변이 없음을 나타내는 경우, 의료 영상 분석 장치(100)는 도 3의 단계들에 기초하여 의료 영상에 대한 결과 정보를 획득할 수 있다. 의료 영상 분석 장치(100)는 결과 정보에 기초하여 의료 영상에 병변이 존재함을 결정할 수 있다. 즉, 의료인의 리포트 정보(421)가 틀릴 수 있음을 결정할 수 있다. 예를 들어, 의료인의 리포트 정보는 의료 영상이 정상적임을 나타낼 수 있다. 하지만 의료 영상 분석 장치(100)는 의료 영상에 미세석회화(microcalcification)가 있음을 결정할 수 있다. 의료 영상 분석 장치(100)는 의료인이 발견하지 못했지만 의료 영상 분석 장치(100)가 발견한 병변을 표시할 수 있다. 따라서 의료 영상 분석 장치(100)는 의료인이 판독한 의료 영상을 중복적으로 검토하여 병변이 누락되는 것을 방지할 수 있다.
또한 의료인의 리포트 정보가 의료 영상에 병변이 있음을 나타내는 경우, 의료 영상 분석 장치(100)는 도 3의 단계들에 기초하여 의료 영상에 대한 결과 정보를 획득할 수 있다. 의료 영상 분석 장치(100)는 결과 정보에 기초하여 의료 영상에 병변이 존재하지만, 리포트 정보에 누락된 병변이 있거나, 리포트 정보에 기재된 병변이 틀렸음을 결정할 수 있다. 예를 들어, 의료인의 리포트 정보는 흉부 x-ray에서 기흉(pneumothorax)만 발견하였지만, 의료 영상 분석 장치(100)는 기계학습모델에 기초하여 기흉(pneumothorax)과 폐결절(lung nodule)을 발견할 수 있다.
의료 영상 분석 장치(100)는 결과 정보를 출력하여 의료인이 필요한 조치를 취하게 할 수 있다. 예를 들어, 의료인은 결과 정보에 기초하여 의료 영상을 재검토할 수 있다. 또는 의료 영상 분석 장치(100)는 의료인들의 워크리스트를 변경하여, 의료 영상을 판독한 의료인이 아닌 다른 의료인이 의료 영상을 검토하게 할 수 있다. 또는 의료 영상 분석 장치(100)는 의료인들의 워크리스트를 변경하여, 의료 영상을 복수의 의료인이 검토하게 할 수 있다. 또한 의료인은 환자에게 추가 검사를 할 것을 제안할 수 있다. 따라서 의료 영상 분석 장치(100)는 의료 영상의 분석 결과를 향상시킬 수 있다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 블록도이다.
의료 영상 분석 장치(100)는 제 1 분석 모델, 제 2 분석 모델 또는 제 3 분석 모델을 포함할 수 있다. 제 1 분석 모델 또는 제 2 분석 모델은 생략될 수 있다.
의료 영상 분석 장치(100)는 의료 영상(411)을 수신할 수 있다. 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 병변 정보를 획득하는 단계를 수행할 수 있다. 제 1 분석 모델(410)은 복수의 과거 의료 영상 및 복수의 과거 의료 영상에 대응하는 복수의 제 1 과거 병변 정보의 상관관계를 기계학습한 모델일 수 있다.
여기서 '과거'라는 것은 기계학습을 수행하기 위한 학습데이터를 의미할 수 있다. 예를 들어, 복수의 과거 의료 영상 및 복수의 제 1 과거 병변 정보는 제 1 분석 모델(410)을 기계학습하기 위해 사용되는 학습데이터를 의미할 수 있다.
의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 생략할 수 있다. 이 경우, 제 1 병변 정보(412)는 의료 영상(411)을 포함할 수 있다.
또한 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 제 2 병변 정보(422)를 획득하는 단계를 수행할 수 있다. 제 2 분석 모델(420)은 복수의 과거 리포트 정보 및 복수의 과거 리포트 정보에 대응하는 복수의 제 2 과거 병변 정보의 상관관계를 기계학습한 모델을 포함할 수 있다. 여기서 '과거'라는 것은 기계학습을 수행하기 위한 학습데이터를 의미할 수 있다. 예를 들어, 복수의 과거 리포트 정보 및 복수의 제 2 과거 병변 정보는 제 2 분석 모델(420)을 기계학습하기 위해 사용되는 학습데이터를 의미할 수 있다.
또한 제 2 분석 모델(420)은 기계학습모델이 아니고 리포트 정보로부터 정보를 추출하는 룰 기반(rule based) 모델일 수 있다. 예를 들어 제 2 분석 모델(420)은 리포트 정보에 병변 정보가 포함되어 있는지 여부를 결정하기 위한 모델일 수 있다. 여기서 병변 정보는 병변과 관련된 다양한 정보를 포함할 수 있다. 예를 들면, 병변 정보는 병변의 명칭, 종류, 위치, 크기 중 적어도 하나를 포함할 수 있다.
의료 영상 분석 장치(100)는 제 2 분석 모델(420)을 생략할 수 있다. 이 경우, 제 2 병변 정보는 리포트 정보(421)를 포함할 수 있다.
의료 영상 분석 장치(100)는 제 1 병변 정보(412) 및 제 2 병변 정보(422)를 제 3 분석 모델(400)에 적용하여 결과 정보(430)를 획득하는 단계를 수행할 수 있다. 제 3 분석 모델(400)은 복수의 제 1 과거 병변 정보, 복수의 제 2 과거 병변 정보 및 복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보에 대한 과거 유사도를 나타내는 과거 결과 정보를 기계학습한 모델일 수 있다. 여기서 '과거'라는 것은 기계학습을 수행하기 위한 학습데이터를 의미할 수 있다. 예를 들어, 복수의 제 1 과거 병변 정보, 복수의 제 2 과거 병변 정보 및 과거 결과 정보는 제 3 분석 모델(400)을 기계학습하기 위해 사용되는 학습데이터를 의미할 수 있다.
제 1 병변 정보는 의료 영상, 의료 영상의 병변의 유무를 나타내는 제 1 병변 여부 정보, 제 1 병변의 종류에 대한 정보, 의료 영상에 병변의 위치 및 병변의 크기를 포함하는 제 1 병변 영역 정보 또는 의료 영상을 이용하여 제 1 분석 모델이 자동으로 생성한 제 1 리포트 정보 중 적어도 하나를 포함할 수 있다.
이미 설명한 바와 같이 의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 포함하지 않을 수 있다. 의료 영상 분석 장치(100)가 제 1 분석 모델(410)을 포함하지 않는 경우, 제 1 병변 정보(412)는 의료 영상(411)일 수 있다. 제 3 분석 모델(400)은 의료 영상(411)을 수신할 수 있다.
의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 1차원 정보인 제 1 병변 여부 정보를 생성할 수 있다. 제 1 분석 모델(410)은 과거 의료 영상과 상기 과거 의료 영상에 병변이 존재하는지 여부를 나타내는 과거 레이블 정보의 관계를 기계학습한 모델일 수 있다.
일 실시예로, 제 1 병변 여부 정보는 '0' 또는 '1'의 값을 가질 수 있다. 예를 들어 제 1 분석 모델(410)이 의료 영상(411)에서 병변을 찾아낸 경우, 제 1 병변 여부 정보는 '1'일 수 있다. 또한 제 1 분석 모델(410)이 의료 영상(411)에서 병변을 찾아내지 못한 경우, 제 1 병변 여부 정보는 '0'일 수 있다. 하지만 이에 한정되는 것은 아니며, 제 1 분석 모델(410)이 의료 영상(411)에서 병변을 찾아낸 경우, 제 1 병변 여부 정보는 '0'일 수 있고, 제 1 분석 모델(410)이 의료 영상(411)에서 병변을 찾아내지 못한 경우, 제 1 병변 여부 정보는 '1'일 수 있다. 제 3 분석 모델(400)은 제 1 병변 여부 정보를 수신할 수 있다.
또한 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 병변의 종류에 대한 정보를 획득할 수 있다. 제 1 분석 모델(410)은 과거 의료 영상과 상기 과거 의료 영상에 존재하는 과거 병변의 종류에 대한 정보의 관계를 기계학습한 모델일 수 있다.
제 1 병변의 종류에 대한 정보는 병변을 나타내는 코드 또는 병변의 명칭을 포함할 수 있다. 제 1 분석 모델(410)이 의료 영상으로부터 병변을 찾아내지 못한 경우, 제 1 병변이 종류에 대한 정보는 '0' 또는 'null'의 값을 가질 수 있다.
제 1 병변 정보(412)는 제 1 병변 영역 정보를 포함할 수 있다. 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 병변 영역 정보를 획득할 수 있다. 제 1 분석 모델(410)은 과거 의료 영상 및 상기 과거 의료 영상에 대응되는 과거 병변의 위치 정보의 관계를 기계학습한 모델일 수 있다.
본 개시의 일 실시예에 따르면, 제 1 병변 영역 정보는 2차원 정보일 수 있다. 제 1 병변 영역 정보는 의료 영상(411) 상에 마커로 표시될 수 있다. 마커는 의료 영상(411)에 있는 병변의 위치 및 크기를 나타내는 것으로써, 의료 영상(411)에 포함된 적어도 하나의 픽셀을 이용하여 표현될 수 있다. 마커는 원형, 타원형, 네모 또는 세모와 같은 형태를 가질 수 있다.
본 개시의 일 실시예에 따르면, 제 1 병변 영역 정보는 병변의 위치 및 크기를 나타낼 수 있다. 예를 들어, 제 1 병변 영역 정보는 병변의 위치를 나타내는 좌표값을 포함할 수 있다. 또한 제 1 병변 영역 정보는 병변의 크기를 나타내는 값을 포함할 수 있다. 크기는 반지름, 지름, 넓이, 부피 또는 한 변의 길이 중 적어도 하나를 포함할 수 있다. 제 3 분석 모델(400)은 제 1 병변 영역 정보를 수신할 수 있다.
제 1 병변 정보(412)는 의료 영상을 이용하여 제 1 분석 모델이 자동으로 생성한 제 1 리포트 정보를 포함할 수 있다. 제 1 분석 모델(410)은 과거 의료 영상 및 상기 과거 의료 영상에 포함된 병변과 관련된 과거 리포트 정보 사이의 관계를 기계학습한 모델일 수 있다.
의료 영상 분석 장치(100)는 의료 영상을 제 1 분석 모델(410)에 적용하여 의료 영상에 대한 제 1 리포트 정보를 생성할 수 있다. 의료인은 리포트를 새로 작성할 필요 없이, 의료 영상 분석 장치(100)가 자동으로 생성한 제 1 리포트 정보를 수정할 수 있다. 또한 의료인은 수정된 리포트 정보를 최종 진단 결과로 결정하여 의료 영상 분석 장치(100)로 입력할 수 있다. 최종 진단 결과는 리포트 정보(421)가 될 수 있다. 또한, 제 3 분석 모델(400)은 제 1 리포트 정보를 수신할 수 있다.
제 2 병변 정보(422)는 리포트 정보, 리포트 정보에 기초하여 병변 유무를 나타내는 제 2 병변 여부 정보, 제 2 병변 종류에 대한 정보 또는 리포트 정보에 기초하여 획득된 병변의 위치 또는 병변의 크기를 포함하는 제 2 병변 영역 정보 중 적어도 하나를 포함할 수 있다.
이미 설명한 바와 같이 의료 영상 분석 장치(100)는 제 2 분석 모델(420)을 포함하지 않을 수 있다. 의료 영상 분석 장치(100)가 제 2 분석 모델(420)을 포함하지 않는 경우, 제 2 병변 정보(422)는 리포트 정보(421)일 수 있다. 제 3 분석 모델(400)은 리포트 정보(421)를 수신할 수 있다.
의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 1차원 정보인 제 2 병변 여부 정보를 생성할 수 있다. 제 2 분석 모델(420)은 과거 리포트 정보와 상기 과거 리포트 정보에 병변과 관련된 정보가 존재하는지 여부를 나타내는 레이블 정보의 관계를 기계학습한 모델일 수 있다.
일 실시예로, 제 2 병변 여부 정보는 '0' 또는 '1'의 값을 가질 수 있다. 예를 들어, 제 2 분석 모델(420)이 리포트 정보(421)로부터 의료 영상(411)에 병변이 있음을 나타내는 정보를 찾아낸 경우, 제 2 병변 여부 정보는 '1'일 수 있다. 또한 제 2 분석 모델(420)이 리포트 정보(421)로부터 의료 영상(411)에 병변이 있음을 나타내는 정보를 찾아내지 못한 경우, 제 2 병변 여부 정보는 '0'일 수 있다. 하지만 이에 한정되는 것은 아니며, 제 2 분석 모델(420)이 리포트 정보(421)로부터 의료 영상(411)에 병변이 있음을 나타내는 정보를 찾아낸 경우, 제 2 병변 여부 정보는 '0'일 수 있고, 제 2 분석 모델(420)이 리포트 정보(421)로부터 의료 영상(411)에 병변이 있음을 나타내는 정보를 찾아내지 못한 경우, 제 2 병변 여부 정보는 '1'일 수 있다. 제 3 분석 모델(400)은 제 2 병변 여부 정보를 수신할 수 있다.
또한 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 제 2 병변의 종류에 대한 정보를 획득할 수 있다. 제 2 분석 모델(420)은 과거 리포트 정보와 상기 과거 리포트 정보에 존재하는 과거 병변의 종류에 대한 정보의 관계를 기계학습한 모델일 수 있다.
제 2 병변의 종류에 대한 정보는 병변을 나타내는 코드 또는 병변의 명칭을 포함할 수 있다. 제 2 분석 모델(420)이 리포트 정보로부터 병변을 찾아내지 못한 경우, 제 2 병변이 종류에 대한 정보는 '0' 또는 'null'의 값을 가질 수 있다.
제 2 병변 정보(422)는 제 2 병변 영역 정보를 포함할 수 있다. 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 제 2 병변 영역 정보를 획득할 수 있다. 제 2 분석 모델(420)은 과거 리포트 정보 및 상기 과거 리포트 정보에 기재되어 있는 병변의 위치 정보의 관계를 기계학습한 모델일 수 있다.
본 개시의 일 실시예에 따르면, 제 2 병변 영역 정보는 2차원 정보일 수 있다. 제 2 병변 영역 정보는 의료 영상(411) 또는 템플릿 영상 상에 마커로 표시될 수 있다. 마커는 의료 영상(411)에 있는 병변의 위치 및 크기를 나타내는 것으로써, 의료 영상(411) 또는 템플릿 영상에 포함된 적어도 하나의 픽셀을 이용하여 표현될 수 있다. 마커는 원형, 타원형, 네모 또는 세모와 같은 다양한 형태를 가질 수 있다. 템플릿 영상은 의료 영상(411)에 나타난 환자의 신체부위에 대응되는 영상으로써, 의료 영상 분석 장치(100)의 메모리에 저장되어 있을 수 있다.
본 개시의 일 실시예에 따르면, 제 2 병변 영역 정보는 병변의 위치 및 크기를 나타낼 수 있다. 예를 들어, 제 2 병변 영역 정보는 병변의 위치를 나타내는 좌표값을 포함할 수 있다. 또한 제 2 병변 영역 정보는 병변의 크기를 나타내는 값을 포함할 수 있다. 크기는 반지름, 지름, 넓이, 부피 또는 한 변의 길이 중 적어도 하나를 포함할 수 있다. 제 3 분석 모델(400)은 제 2 병변 영역 정보를 수신할 수 있다.
도 5는 본 개시의 일 실시예에 따른 기계학습모델을 생성하는 과정을 설명하기 위한 도면이다.
이미 설명한 바와 같이 제 1 분석 모델(410) 및 제 2 분석 모델(420)은 기계학습모델일 수 있다.
본 개시의 일 실시예에 따르면 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 병변 여부 정보를 생성할 수 있다. 제 1 분석 모델(410)은 복수의 과거 의료 영상들 및 복수의 과거 의료 영상들 각각에 대응되는 복수의 과거 병변 여부 정보의 관계를 기계학습한 모델일 수 있다.
도 5는 의료 영상 분석 장치(100)가 복수의 데이터에 기초하여 기계학습모델을 생성하는 과정을 나타낸 블록도이다. 의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 획득하기 위하여 입력 데이터(510) 및 출력 데이터(530)를 수신할 수 있다. 입력 데이터(510)는 복수의 과거 의료 영상들일 수 있다. 또한 출력 데이터(530)는 복수의 과거 병변 여부 정보일 수 있다. 의료 영상 분석 장치(100)는 입력 데이터(510)로부터 출력 데이터(530)가 생성되는 모델을 기계학습하기 위하여 순전파(feed forward) 및 역전파(back propagation)을 이용하여 히든레이어(520)를 업데이트할 수 있다. 의료 영상 분석 장치(100)는 복수의 과거 의료 영상들 및 복수의 과거 병변 여부 정보에 기초하여 히든레이어(520)를 업데이트하여, 제 1 분석 모델(410)을 생성할 수 있다.
의료 영상 분석 장치(100)는 의료 영상(411)을 생성된 제 1 분석 모델(410)에 적용하여 제 1 병변 여부 정보를 생성할 수 있다. 즉, 의료 영상을 입력 데이터(510)로하고, 순전파에 의하여 히든레이어(520)를 통하여 출력 데이터(530)를 생성할 수 있다. 출력 데이터(530)는 제 1 병변 여부 정보일 수 있다. 의료 영상 분석 장치(100)는, 히든레이어(520)에 포함되고 출력 데이터(530) 바로 직전의 제 1 특징 정보를 제 1 병변 정보로 결정할 수 있다. 즉, 제 1 병변 정보는 의료 영상으로부터 제 1 병변 여부 정보를 생성하기 위한 제 1 분석 모델의 히든레이어(520)에 관련된 제 1 특징 정보를 포함할 수 있다. 예를 들어, 제 1 특징 정보는 의료 영상을 순전파 하였을 때, 히든레이어(520)의 최상위 레이어에 포함된 값들을 포함할 수 있다.
마찬가지로 제 2 병변 정보에 포함되는 일 실시예를 설명하면 이하와 같다. 의료 영상 분석 장치(100)는 제 2 분석 모델(420)을 획득하기 위하여 입력 데이터(510) 및 출력 데이터(530)를 수신할 수 있다. 입력 데이터(510)는 복수의 과거 리포트 정보일 수 있다. 또한 출력 데이터(530)는 복수의 과거 리포트 정보 각각에 기재되어 있는 복수의 과거 병변 여부 정보일 수 있다. 의료 영상 분석 장치(100)는 입력 데이터(510)로부터 출력 데이터(530)가 생성되는 모델을 기계학습하기 위하여 순전파(feed forward) 및 역전파(back propagation)을 이용하여 히든레이어(520)를 업데이트할 수 있다. 의료 영상 분석 장치(100)는 복수의 과거 리포트 정보 및 복수의 과거 병변 여부 정보에 기초하여 히든레이어(520)를 업데이트하여, 제 2 분석 모델(420)을 생성할 수 있다.
의료 영상 분석 장치(100)는 리포트 정보(421)를 생성된 제 2 분석 모델(420)에 적용하여 제 2 병변 여부 정보를 생성할 수 있다. 즉, 리포트 정보(421)를 입력 데이터(510)로하고, 순전파에 의하여 히든레이어(520)를 통하여 출력 데이터(530)를 생성할 수 있다. 의료 영상 분석 장치(100)는 히든레이어(520)에 포함되고, 출력 데이터(530) 바로 직전의 제 2 특징 정보를 제 2 병변 정보로 결정할 수 있다. 즉, 제 2 병변 정보는 리포트 정보로부터 제 2 병변 여부 정보를 생성하기 위한 제 2 분석 모델의 히든레이어에 관련된 적어도 하나의 특징에 대한 제 2 특징 정보를 포함할 수 있다. 예를 들어, 제 2 특징 정보는 리포트 정보를 순전파 하였을 때, 히든레이어(520)의 최상위 레이어에 포함된 값들을 포함할 수 있다.
의료 영상 분석 장치(100)는 상기 제 1 특징 정보, 상기 제 2 특징 정보 및 제 1 특징 정보와 제 2 특징 정보의 유사도를 나타내는 레이블 정보의 관계를 기계학습한 제 3 분석 모델을 생성할 수 있다. 의료 영상 분석 장치(100)는 위와 같이 생성된 제 1 분석 모델, 제 2 분석 모델 및 제 3 분석 모델을 이용하여 의료 영상에 포함되어 있는 병변 정보 및 리포트 정보에 기재되어 있는 병변 정보의 유사도를 획득할 수 있다.
또한, 의료 영상 분석 장치(100)는 제 3 분석 모델(400)을 획득하기 위하여 입력 데이터(510) 및 출력 데이터(530)를 수신할 수 있다. 입력 데이터(510)는 복수의 제 1 과거 병변 정보 및 복수의 제 2 과거 병변 정보일 수 있다. 또한 출력 데이터(530)는 복수의 제 1 과거 병변 정보 및 복수의 제 2 과거 병변 정보의 동일성을 나타내는 복수의 과거 결과 정보일 수 있다. 의료 영상 분석 장치(100)는 입력 데이터(510)로부터 출력 데이터(530)가 생성되는 모델을 기계학습하기 위하여 순전파(feed forward) 및 역전파(back propagation)을 이용하여 히든레이어(520)를 업데이트할 수 있다. 의료 영상 분석 장치(100)는 복수의 제 1 과거 병변 정보, 복수의 제 2 과거 병변 정보 및 복수의 과거 결과 정보에 기초하여 히든레이어(520)를 업데이트하여, 제 3 분석 모델(400)을 생성할 수 있다.
도 6은 본 개시의 일 실시예에 따른 제 1 분석 모델을 설명하기 위한 도면이다.
제 1 분석 모델(410)은 복수의 과거 의료 영상(611) 및 복수의 과거 의료 영상에 대응하는 복수의 제 1 과거 병변 정보(612)의 상관관계를 기계학습한 모델일 수 있다. 복수의 과거 의료 영상(611) 및 복수의 과거 의료 영상에 대응하는 복수의 제 1 과거 병변 정보(612) 실제(ground truth) 정보일 수 있다. 실제 정보는 숙련된 전문가에 의하여 옳은 것으로 판명된 정보일 수 있다.
복수의 과거 의료 영상(611) 및 복수의 과거 의료 영상에 대응하는 복수의 제 1 과거 병변 정보(612)는 외부의 서버로부터 획득될 수 있다. 예를 들어, 외부의 서버는 병원 서버, 건강 보험 서버 또는 국가 기관의 서버 중 적어도 하나를 포함할 수 있다.
복수의 제 1 과거 병변 정보(612)는 의료인들이 복수의 과거 의료 영상(611)을 진단한 결과 일 수 있다. 하지만 이에 한정되는 것은 아니고 복수의 제 1 과거 병변 정보(612)는 복수의 과거 의료 영상(611)에 기초하여 기계학습모델이 생성한 정보일 수 있다. 복수의 제 1 과거 병변 정보(612)는 복수의 과거 의료 영상(611)에 병변이 존재하는지 유무에 대한 정보, 병변의 종류에 대한 정보, 병변의 위치에 대한 정보 또는 병변의 크기에 대한 정보 또는 의료인들이 복수의 과거 의료 영상(611)에 기초하여 생성한 과거 리포트 정보 중 적어도 하나를 포함할 수 있다.
의료 영상 분석 장치(100)는 복수의 과거 의료 영상(611) 및 복수의 제 1 과거 병변 정보(612)와 함께, 도 1의 데이터 학습부(110)를 이용하여 제 1 분석 모델(410)을 생성할 수 있다.
의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 메모리에 저장하거나, 다른 의료 영상 분석 장치로 유무선으로 송신할 수 있다.
의료 영상 분석 장치(100)는 의료 영상(411)을 수신할 수 있다. 의료 영상 분석 장치(100)는 의료 영상(411)에 제 1 분석 모델(410)을 적용하여 제 1 병변 정보(412)를 도출할 수 있다. 의료 영상 분석 장치(100)는 제 1 분석 모델(410)에 기초하여 의료인의 도움 없이 자동으로 제 1 병변 정보(412)를 획득할 수 있다.
제 1 병변 정보는 의료 영상, 의료 영상에 병변의 존재 유무를 나타내는 제 1 병변 여부 정보, 의료 영상에 병변이 존재하는 위치 및 병변의 크기를 나타내는 제 1 병변 영역 정보 또는 의료 영상을 이용하여 제 1 분석 모델이 자동으로 생성한 제 1 리포트 정보 중 적어도 하나를 포함할 수 있다. 또한, 제 1 병변 정보는 의료 영상으로부터 제 1 병변 여부 정보를 생성하기 위한 제 1 분석 모델의 히든레이어에 관련된 제 1 특징 정보를 포함할 수 있다. 제 1 특징 정보에 대해서는 상술한 바 있으므로 자세한 설명은 생략한다.
의료 영상 분석 장치(100)는 의료인에게 제 1 병변 정보(412)를 제공할 수 있다. 의료인은 제 1 병변 정보(412)를 참조하여 최종 진단 정보를 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 제 2 분석 모델을 설명하기 위한 도면이다.
제 2 분석 모델(420)은 복수의 과거 리포트 정보(711) 및 복수의 과거 리포트 정보에 대응하는 복수의 제 2 과거 병변 정보(712)의 상관관계를 기계학습한 모델일 수 있다. 복수의 과거 리포트 정보(711) 및 복수의 제 2 과거 병변 정보(712)는 실제(ground truth) 정보일 수 있다.
복수의 과거 리포트 정보(711)는 의료인으로부터 수신된 정보일 수 있다. 의료인은 의료 영상을 분석하여 적어도 하나의 과거 리포트 정보를 작성하여 외부의 서버에 저장할 수 있다. 적어도 하나의 과거 리포트 정보는 디지털 텍스트 정보, 영상 정보 중 적어도 하나를 포함할 수 있다. 또한, 적어도 하나의 과거 리포트 정보는 사람의 손글씨로 작성된 진단 결과 또는 의료 영상 상에 의료인이 기재한 주석 등을 포함할 수 있다.
외부의 서버는 적어도 하나의 과거 리포트 정보를 누적하여 저장하고 있을 수 있다. 복수의 과거 리포트 정보(711)는 외부의 서버로부터 획득될 수 있다. 예를 들어, 외부의 서버는 병원 서버, 건강 보험 서버 또는 국가 기관의 서버 중 적어도 하나를 포함할 수 있다.
복수의 과거 리포트 정보에 대응하는 복수의 제 2 과거 병변 정보(712)는 과거 리포트 정보에 대한 레이블 정보일 수 있다. 복수의 제 2 과거 병변 정보(712)는 사람이 작성한 정보이거나, 기계학습모델에 기초하여 리포트 정보로부터 자동으로 추출된 정보일 수 있다. 복수의 제 2 과거 병변 정보(712)는 과거 리포트 정보에 병변에 관련된 정보가 존재하는지 유무를 나타내는 정보, 과거 리포트로부터 도출된 병변의 종류에 대한 정보 또는 과거 리포트 정보로부터 도출된 병변이 존재하는 위치 또는 병변의 크기를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
의료 영상 분석 장치(100)는 복수의 과거 리포트 정보(711) 및 복수의 제 2 과거 병변 정보(712)와 함께, 도 1의 데이터 학습부(110)를 이용하여 제 2 분석 모델(420)을 생성할 수 있다.
의료 영상 분석 장치(100)는 제 2 분석 모델(420)을 메모리에 저장하거나, 다른 의료 영상 분석 장치로 유무선으로 송신할 수 있다.
의료 영상 분석 장치(100)는 리포트 정보(421)를 수신할 수 있다. 의료 영상 분석 장치(100)는 리포트 정보(421)에 제 2 분석 모델(420)을 적용하여 제 2 병변 정보(422)를 도출할 수 있다. 의료 영상 분석 장치(100)는 제 2 분석 모델(420)에 기초하여 리포트 정보(421)로부터 컴퓨터가 판독 가능한 제 2 병변 정보(422)를 자동으로 획득할 수 있다.
제 2 병변 정보(422)는 리포트 정보, 리포트 정보에 기초하여 병변의 존재 유무를 나타내는 제 2 병변 여부 정보 또는 리포트 정보에 기초하여 병변이 존재하는 위치 또는 병변의 크기를 나타내는 제 2 병변 영역 정보 중 적어도 하나를 포함할 수 있다. 제 2 병변 정보는 리포트 정보로부터 제 2 병변 여부 정보를 생성하기 위한 제 2 분석 모델의 히든레이어에 관련된 제 2 특징 정보를 포함할 수 있다. 제 2 특징 정보에 대해서는 상술한 바 있으므로 자세한 설명은 생략한다.
도 6 및 도 7에서 설명된 과정에 의하여 의료 영상 분석 장치(100)는 제 1 병변 정보(412) 및 제 2 병변 정보(422)를 획득할 수 있다. 의료 영상 분석 장치(100)는 제 3 분석 모델에 기초하여 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 동일한지 여부를 결과 정보로써 생성할 수 있다.
도 8은 본 개시의 일 실시예에 따른 제 3 분석 모델을 설명하기 위한 도면이다.
제 3 분석 모델(400)은 복수의 제 1 과거 병변 정보(811) 및 복수의 제 2 과거 병변 정보(812) 및 복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보에 대한 동일성을 나타내는 과거 결과 정보(813)의 상관관계를 기계학습한 모델일 수 있다. 복수의 제 1 과거 병변 정보(811), 복수의 제 2 과거 병변 정보(812) 및 과거 결과 정보(813)는 실제(ground truth) 정보일 수 있다.
복수의 제 1 과거 병변 정보(811)는 의료인들이 복수의 과거 의료 영상(611)을 진단한 결과 일 수 있다. 하지만 이에 한정되는 것은 아니고 제 1 과거 병변 정보(811)는 과거 의료 영상(611)에 기초하여 기계학습모델이 생성한 정보일 수 있다. 예를 들어 제 1 과거 병변 정보(811)는 도 6의 제 1 분석 모델(410)에 의하여 생성된 정보일 수 있다. 제 1 과거 병변 정보(811)는 과거 의료 영상(611)에 병변이 존재하는지 유무에 대한 정보, 병변의 종류에 대한 정보, 병변의 위치에 대한 정보 또는 병변의 크기에 대한 정보 또는 의료인이 과거 의료 영상(611)에 기초하여 생성한 과거 리포트 정보 중 적어도 하나를 포함할 수 있다.
또한, 제 1 과거 병변 정보(811)는 제 1 분석 모델(410)의 히든레이어에 관련된 제 1 과거 특징 정보를 포함할 수 있다. 상술한 바와 같이 제 1 분석 모델(410)은 과거 의료 영상으로부터 제 1 과거 병변 여부 정보를 획득하기 위한 모델일 수 있다. 제 1 과거 특징 정보는 과거 의료 영상을 제 1 분석 모델(410)에 적용하였을 때, 제 1 분석 모델(410)의 히든레이어에 포함되는 값들을 포함할 수 있다. 제 1 과거 특징 정보는 이미 설명한 제 1 특징 정보와 유사하므로 중복되는 설명은 생략한다.
복수의 제 2 과거 병변 정보(812)는 과거 리포트 정보에 대한 레이블 정보일 수 있다. 복수의 제 2 과거 병변 정보(812)는 사람이 작성한 정보이거나, 기계학습모델에 기초하여 리포트 정보로부터 자동으로 추출된 정보일 수 있다. 예를 들어, 복수의 제 2 과거 병변 정보(812)는 도 7의 제 2 분석 모델(420)에 의하여 생성된 정보일 수 있다. 복수의 제 2 과거 병변 정보(812)는 과거 리포트 정보에 병변에 관련된 정보가 존재하는지 유무를 나타내는 정보, 과거 리포트로부터 도출된 병변의 종류에 대한 정보 또는 과거 리포트 정보로부터 도출된 병변이 존재하는 위치 또는 병변의 크기를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
또한, 제 2 과거 병변 정보는 제 2 분석 모델(420)의 히든레이어에 관련된 제 2 과거 특징 정보를 포함할 수 있다. 상술한 바와 같이 제 2 분석 모델(420)은 과거 리포트 정보로부터 제 2 과거 병변 여부 정보를 획득하기 위한 모델일 수 있다. 제 2 과거 특징 정보는 과거 리포트 정보를 제 2 분석 모델(420)에 적용하였을 때, 제 2 분석 모델(420)의 히든레이어에 포함되는 값들을 포함할 수 있다.제 2 과거 특징 정보는 이미 설명한 제 2 특징 정보와 유사하므로 중복되는 설명은 생략한다.
복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보에 대한 동일성을 나타내는 과거 결과 정보(813)는 복수의 제 1 과거 병변 정보(911)중 하나와 이에 대응되는 복수의 제 2 과거 병변 정보(912)의 동일성 또는 유사성을 나타내는 정보일 수 있다.
과거 결과 정보(813)는 제 1 과거 병변 정보 및 제 2 과거 병변 정보의 동일성 또는 유사도를 나타낼 수 있다. 과거 결과 정보(813)는 사용자의 입력에 의해 생성되거나, 기계학습모델에 의하여 자동으로 생성될 수 있다. 본 개시의 일 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보의 동일성을 나타내는 과거 결과 정보(813)를 디지털로 나타낼 수 있다. 예를 들어, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보가 동일한 경우 과거 결과 정보(813)를 '1'로 나타내고, 동일하지 않은 경우 과거 결과 정보(813)를 '0'으로 나타낼 수 있다. 하지만 이에 한정되는 것은 아니고, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보가 동일한 경우 과거 결과 정보(813)를 '0'으로 나타내고, 동일하지 않은 경우 과거 결과 정보(813)를 '1'로 나타낼 수 있다.
본 개시의 다른 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보의 유사도를 나타내는 과거 결과 정보(813)를 실수 또는 자연수 나타낼 수 있다. 예를 들어, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보가 유사할 수록 과거 결과 정보(813)를 높은 숫자로 나타내고, 비유사할 수로 낮은 수로 나타낼 수 있다. 하지만 이에 한정되는 것은 아니고, 의료 영상 분석 장치(100)는 제 1 과거 병변 정보와 제 2 과거 병변 정보가 유사할 수록 과거 결과 정보(813)를 낮은 숫자로 나타내고, 비유사할 수로 높은 숫자로 나타낼 수 있다.
의료 영상 분석 장치(100)는 복수의 제 1 과거 병변 정보(811) 및 복수의 제 2 과거 병변 정보(812) 및 복수의 제 1 과거 병변 정보와 복수의 제 2 과거 병변 정보에 대한 동일성을 나타내는 과거 결과 정보(813)를 기계학습하여 제 3 분석 모델(400)을 생성할 수 있다.
하지만 이에 한정되는 것은 아니며, 제 3 분석 모델(400)은 기계학습모델이 아닐 수 있다. 즉, 제 3 분석 모델(400)은 룰에 기반한(rule based) 모델일 수 있다. 제 3 분석 모델은 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 단순히 동일한지 여부를 판단하는 모델일 수 있다.
기계학습모델을 이용한 제 3 분석 모델(400)은 제 1 병변 정보(412) 및 제 2 병변 정보(422)의 형식이 다르더라도, 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 실질적으로 동일한지 여부를 결정할 수 있다. 본 개시에서 제 1 병변 정보 및 제 2 병변 정보의 형식이 다른 경우, 제 3 분석 모델은 기계학습모델을 이용한 것으로 이해되어야 할 것이다. 또한, 기계학습모델을 이용하지 않은 제 3 분석 모델(400)의 경우, 제 3 분석 모델(400)을 간단하게 구현할 수 있고, 처리 속도가 상대적으로 빠른 효과가 있을 수 있다.
의료 영상 분석 장치(100)는 제 3 분석 모델(400)을 메모리에 저장하거나, 다른 의료 영상 분석 장치로 유무선으로 송신할 수 있다.
의료 영상 분석 장치(100)는 제 1 병변 정보(412) 및 제 2 병변 정보(422)를 제 3 분석 모델(400)에 적용하여 결과 정보(430)를 획득하는 단계를 수행할 수 있다. 제 3 분석 모델(400)의 입력인 제 1 병변 정보(412) 및 제 2 병변 정보(422)와 제 3 분석 모델(400)의 출력인 결과 정보(430)에 대해서는 도 4와 함께 설명한 바 있으므로 중복되는 설명은 생략한다.
이하에서는 제 3 분석 모델(400)의 출력인 결과 정보(430)에 대하여 보다 자세히 설명한다.
본 개시의 일 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 병변 정보(412)에 포함된 제 1 병변 여부 정보 및 제 2 병변 정보(422)에 포함된 제 2 병변 여부 정보가 일치하는지 여부에 기초하여 결과 정보를 결정하는 단계를 수행할 수 있다. 이 경우, 제 3 분석 모델은 기계학습에 의하여 생성된 모델이 아닐 수 있다.
예를 들어, 제 1 병변 정보(412)에 포함된 제 1 병변 여부 정보는 '0' 또는 '1'의 값을 가질 수 있다. 또한 제 2 병변 정보(422)에 포함된 제 2 병변 여부 정보는 '0' 또는 '1'의 값을 가질 수 있다.
의료 영상 분석 장치(100)는 단순히 제 1 병변 여부 정보 및 제 2 병변 여부 정부가 동일한지 여부를 결정할 수 있다. 예를 들어 제 1 병변 여부 정보가 '0'이고 제 2 병변 여부 정보가 '0'인 경우, 의료 영상 분석 장치(100)는 결과 정보(430)가 '동일'을 나타내도록 할 수 있다. 또한 제 1 병변 여부 정보가 '1'이고 제 2 병변 여부 정보가 '1'인 경우, 의료 영상 분석 장치(100)는 결과 정보(430)가 '동일'을 나타내도록 할 수 있다. 또한 제 1 병변 여부 정보가 '0'이고 제 2 병변 여부 정보가 '1'인 경우, 의료 영상 분석 장치(100)는 결과 정보(430)가 '동일하지 않음'을 나타내도록 할 수 있다. 또한 제 1 병변 여부 정보가 '1'이고 제 2 병변 여부 정보가 '0'인 경우, 의료 영상 분석 장치(100)는 결과 정보(430)가 '동일하지 않음'을 나타내도록 할 수 있다.
본 개시의 다른 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 병변 정보에 포함된 제 1 병변 영역 정보 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보에 영역 일치 정도를 적용하여 결과 정보를 생성하는 단계를 수행할 수 있다. 이에 대해서는 도 9와 함께 설명한다.
도 9는 본 개시의 일 실시예에 따른 영역 일치 정도를 설명하기 위한 도면이다.
의료 영상 분석 장치(100)는 의료 영상(411)에 기초하여 제 1 병변 정보(412)를 포함할 수 있다. 제 1 병변 정보(412)는 제 1 병변 영역 정보를 포함할 수 있다. 제 1 병변 영역 정보는 병변의 크기, 병변의 위치 또는 병변의 모양과 관련된 정보를 포함할 수 있다. 도 9를 참조하면, 의료 영상 분석 장치(100)는 제 1 병변 영역 정보에 기초하여 제 1 병변 영역(910)을 결정할 수 있다.
의료 영상 분석 장치(100)는 리포트 정보(421)에 기초하여 제 2 병변 정보(422)를 포함할 수 있다. 제 2 병변 정보(422)는 제 2 병변 영역 정보를 포함할 수 있다. 제 2 병변 영역 정보는 병변의 크기, 병변의 위치 또는 병변의 모양과 관련된 정보를 포함할 수 있다. 도 9를 참조하면, 의료 영상 분석 장치(100)는 제 2 병변 영역 정보에 기초하여 제 2 병변 영역(920)을 결정할 수 있다.
본 개시의 일 실시예에 따르면, 영역 일치 정도는 IOU(intersection over union) 방식을 포함할 수 있다. 또한 의료 영상 분석 장치(100)는 영역 일치 정도에 기초하여 제 3 분석 모델 없이 결과 정보(430)를 획득할 수 있다. 영역 일치 정도는 서로 다른 두 개의 영역이 얼마나 겹치는지를 측정하는 방식이다. 의료 영상 분석 장치(100)는, 영역 일치 정도에 기초하여, 제 1 병변 영역(910) 및 제 2 병변 영역(920)이 동일할수록 결과 정보를 1에 가깝게 결정하고, 제 1 병변 영역(910) 및 제 2 병변 영역(920)이 동일하지 않을 수록 결과 정보를 0에 가깝게 결정할 수 있다.
의료 영상 분석 장치(100)는 제 1 병변 영역(910) 및 제 2 병변 영역(920)의 합집합의 영역(930) 및 교집합의 영역(940)에 기초하여 결과 정보를 생성할 수 있다. 예를 들어, 의료 영상 분석 장치(100)는 식 1에 의하여 결과 정보를 생성할 수 있다.
결과 정보= (제 1 병변 영역 정보 및 제 2 병변 영역 정보의 교집합 영역(940)의 넓이)/(제 1 병변 영역 정보 및 제 2 병변 영역 정보의 합집합 영역(930)의 넓이) ... (식 1)
하지만 위와 같이 식 1에 의하여 결과 정보를 생성하는 것에 한정되는 것은 아니다. 본 개시의 다른 실시예에 따르면, 의료 영상 분석 장치(100)는 제 1 병변 영역 정보 및 제 2 병변 영역 정보를 기계학습모델인 제 3 분석 모델(400)에 적용하여 결과 정보를 획득할 수 있다. 결과 정보는 동일성에 대한 정보를 나타낼 수 있다.
제 3 분석 모델(400)은 제 1 과거 병변 영역 정보, 제 2 과거 병변 영역 정보 및 과거 동일성에 대한 정보를 기계학습한 모델일 수 있다. 과거 동일성에 대한 정보는 사용자가 제 1 과거 병변 영역 정보 및 제 2 과거 병변 영역 정보에 기초하여 의료 영상 분석 장치(100)에 입력한 값일 수 있다. 또는 과거 동일성에 대한 정보는 식 1에 의하여 획득된 값일 수 있다.
제 3 분석 모델(400)은 제 1 병변 영역 정보 및 제 2 병변 영역 정보를 수신하여 동일성에 대한 정보를 나타내는 결과 정보를 출력할 수 있다.
다시 도 8을 참조하면, 의료 영상 분석 장치(100)는 제 1 병변 정보(412)에 포함된 제 1 특징 정보 및 제 2 병변 정보(422)에 포함된 제 2 특징 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보(430)를 생성하는 단계를 수행할 수 있다.
제 1 특징 정보는 도 5 및 도 6과 함께 설명한바 있다. 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 병변 여부 정보를 획득할 수 있다. 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용할 때, 제 1 병변 여부 정보의 직전 값들을 제 1 특징 정보로 결정할 수 있다. 제 1 특징 정보는 제 1 분석 모델(410)의 히든레이어에 포함된 값일 수 있다.
제 2 특징 정보는 도 5 및 도 7과 함께 설명한바 있다. 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 제 2 병변 여부 정보를 획득할 수 있다. 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용할 때, 제 2 병변 여부 정보의 직전 값들을 제 2 특징 정보로 결정할 수 있다. 제 2 특징 정보는 제 2 분석 모델(420)의 히든레이어에 포함된 값일 수 있다.
도 8을 참조하면, 제 3 분석 모델(400)은 복수의 제 1 과거 병변 정보(811)에 포함되는 제 1 과거 특징 정보, 복수의 제 2 과거 병변 정보(812)에 포함되는 제 2 과거 특징 정보 및 과거 결과 정보(813)에 포함되는 제 1 과거 특징 정보와 제 2 과거 특징 정보의 동일성과 관련된 정보를 기계학습한 모델일 수 있다.
제 3 분석 모델(400)은 제 1 병변 정보(412)에 포함되는 제 1 특징 정보 및 제 2 병변 정보(422)에 포함되는 제 2 특징 정보를 입력으로 수신할 수 있다. 제 3 분석 모델(400)은 제 1 특징 정보와 제 2 특징 정보의 동일성을 나타내는 결과 정보(430)를 출력할 수 있다.
본 개시의 다른 실시예에 따르면, 제 1 병변 정보는 제 1 리포트 정보를 포함할 수 있다. 의료 영상 분석 장치(100)는 제 1 병변 정보를 리포트로 생성한 제 1 리포트 정보 및 리포트 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 수행할 수 있다.
도 6을 참조하면 의료 영상 분석 장치(100)는 의료 영상(411)을 제 1 분석 모델(410)에 적용하여 제 1 리포트 정보를 제 1 병변 정보(412)로써 획득할 수 있다. 제 1 리포트 정보는 의료 영상(411)에 기초하여 자동으로 획득된 리포트일 수 있다.
도 7을 참조하면, 의료 영상 분석 장치(100)는 제 2 분석 모델을 포함하지 않을 수 있다. 의료 영상 분석 장치(100)는 리포트 정보(421)를 그대로 제 3 분석 모델에 입력할 수 있다. 즉, 제 2 병변 정보(422)는 리포트 정보(421)를 포함할 수 있다.
도 8을 참조하면, 제 3 분석 모델(400)은 복수의 제 1 과거 병변 정보(811)에 포함되는 제 1 과거 리포트 정보, 복수의 제 2 과거 병변 정보(812)에 포함되는 과거 리포트 정보 및 과거 결과 정보(813)에 포함되는 제 1 과거 리포트 정보와 과거 리포트 정보의 동일성과 관련된 정보를 기계학습한 모델일 수 있다.
제 3 분석 모델(400)은 제 1 병변 정보(412)에 포함되는 제 1 리포트 정보 및 제 2 병변 정보(422)에 포함되는 리포트 정보(421)를 입력으로 수신할 수 있다. 제 3 분석 모델(400)은 제 1 리포트 정보와 리포트 정보(421)의 동일성을 나타내는 결과 정보(430)를 출력할 수 있다.
본 개시의 다른 실시예에 따르면, 의료 영상 분석 장치(100)는 의료 영상 및 제 2 병변 정보에 포함된 제 2 병변 영역 정보를 기계학습모델인 제 3 분석 모델에 적용하여 결과 정보를 생성하는 단계를 수행할 수 있다.
도 6을 참조하면, 의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 포함하지 않을 수 있다. 의료 영상 분석 장치(100)는 의료 영상(411)을 그대로 제 3 분석 모델(400)에 입력할 수 있다. 즉, 제 1 병변 정보(412)는 의료 영상(411)을 포함할 수 있다.
도 7을 참조하면, 의료 영상 분석 장치(100)는 리포트 정보(421)를 제 2 분석 모델(420)에 적용하여 제 2 병변 영역 정보를 제 2 병변 정보(422)로써 획득할 수 있다. 제 2 병변 영역 정보는 리포트 정보(421)에 기초하여 자동으로 획득된 정보일 수 있다.
도 8을 참조하면, 제 3 분석 모델(400)은 복수의 제 1 과거 병변 정보(811)에 포함되는 과거 의료 영상, 복수의 제 2 과거 병변 정보(812)에 포함되는 제 2 과거 병변 영역 정보 및 과거 결과 정보(813)에 포함되는 과거 의료 영상과 제 2 과거 병변 영역 정보의 동일성과 관련된 정보를 기계학습한 모델일 수 있다.
제 3 분석 모델(400)은 의료 영상(411) 및 제 2 병변 정보(422)에 포함되는 제 2 병변 영역 정보를 입력으로 수신할 수 있다. 제 3 분석 모델(400)은 제 1 리포트 정보와 리포트 정보(421)의 동일성을 나타내는 결과 정보(430)를 출력할 수 있다.
도 10은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 도면이다.
의료 영상 분석 장치(100)는 결과 정보(430)에 기초하여 의료인의 의료 영상 판독 정확도를 결정하는 단계(1010)를 수행할 수 있다. 도 4를 참조하면, 제 1 병변 정보(412)는 의료 영상 분석 장치(100)가 의료 영상에 대해 자동으로 생성한 진단 결과를 나타낼 수 있다. 또한 제 2 병변 정보(422)는 의료인이 생성한 의료 영상에 대한 진단 결과를 나타낼 수 있다. 결과 정보(430)는 제 1 병변 정보(412) 및 제 2 병변 정보(422)의 동일성을 나타낼 수 있다. 의료 영상 분석 장치(100)는 의료인에 대한 결과 정보를 누적하여 저장할 수 있다. 제 1 병변 정보(412)의 신뢰도가 높은 경우, 의료 영상 분석 장치(100)는 결과 정보(430)에 기초하여 의료인의 의료 영상 판독 정확도를 결정할 수 있다. 즉, 제 1 병변 정보(412)를 신뢰할 수 있으므로, 제 1 병변 정보(412)에 기초하여 의료인의 의료 영상 판독 정확도를 결정하는 것이다.
구체적으로, 의료인의 의료 영상 판독 정확도는 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 일치하는 횟수에 기초할 수 있다. 또한, 의료인의 영상 판독 정확도는 의료인의 의료 영상 판독 횟수 전체에 대하여 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 일치하는 횟수의 비율에 기초할 수 있다.
하지만 이에 한정되는 것은 아니며, 숙련된 의료인이 다른 의료인의 리포트 정보(421)가 정확한지 여부를 평가하고, 의료 영상 분석 장치(100)는 숙련된 의료인의 평가 결과를 수신할 수 있다. 의료 영상 분석 장치(100)는 숙련된 의료인의 평가 결과를 의료인의 의료 영상 판독 정확도로 결정할 수 있다.
의료 영상 분석 장치(100)는 기계학습모델에 기초하여 의료 영상으로부터 병변 정보 및 병변 정보의 정확도를 획득하는 단계(1020)를 수행할 수 있다. 기계학습모델은 앞서 설명한 제 1 분석 모델을 포함할 수 있다. 기계학습모델은 의료 영상으로부터 제 1 병변 여부 정보, 제 1 병변의 종류 정보, 제 1 병변 영역 정보 또는 제 1 리포트 정보 중 적어도 하나와 함께, 병변 정보의 정확도를 획득할 수 있다. 병변 정보의 정확도는 의료 영상에 따라 다를 수 있다.
예를 들어 기계학습모델은 의료 영상 내에 병변이 존재할 확률과 존재하지 않을 확률을 각각 획득할 수 있다. 기계학습모델은 높은 확률에 기초하여 제 1 병변 여부 정보를 결정할 수 있다. 예를 들어 의료 영상 내에 병변이 존재할 확률이 존재하지 않은 확률보다 높은 경우 기계학습모델은 제 1 병변 정보가 의료 영상 내에 병변이 존재함을 나타내도록 할 수 있다.
기계학습모델은 존재할 확률과 존재하지 않을 확률의 차이가 소정의 임계값 보다 낮은 경우, 병변 정보의 정확도가 낮다고 결정할 수 있다. 반대로 기계학습모델은 존재할 확률과 존재하지 않을 확률의 차이가 소정의 임계값 보다 높은 경우, 병변 정보의 정확도가 높다고 결정할 수 있다.
위에서는 기계학습모델이 제 1 병변 여부 정보를 획득하는 경우에 대하여 설명하였으나, 제 1 병변의 종류 정보, 제 1 병변 영역 정보 또는 제 1 리포트 정보에 대해서도 동일한 과정이 수행될 수 있다.
의료 영상 분석 장치(100)는 의료인의 의료 영상 판독 정확도 및 기계학습모델의 병변 정보의 정확도에 기초하여 의료 영상을 판독할 의료인을 자동 배정하는 단계(1030)를 수행할 수 있다. 의료 영상 분석 장치(100)는 단계(1010)를 수행하여 의료인의 의료 영상 판독 정확도를 결정할 수 있다. 의료 영상 분석 장치(100)는 단계(1020)를 수행하여 의료 영상에 대한 기계학습모델의 병변 정보의 정확도를 획득할 수 있다. 기계학습모델의 병변 정보의 정확도는 의료 영상마다 다를 수 있다.
의료 영상 분석 장치(100)는 의료인의 의료 영상 판독 정확도가 높을 수록, 기계학습모델의 병변 정보의 정확도가 낮은 의료 영상을 판독하도록 배정할 수 있다. 의료인의 의료 영상 판독 정확도가 높다는 것은, 의료인이 숙련되어 있다는 것을 의미할 수 있다. 또한, 기계학습모델의 병변 정보의 정확도가 낮다는 것은 의료 영상이 기계학습모델에 의하여 판독되기 어렵다는 것을 의미할 수 있다. 또한 이것은 드문 케이스의 의료 영상임을 의미할 수도 있다. 의료 영상 분석 장치(100)는 숙련된 의료인에게 판독되기 어려운 의료 영상을 배정하여 의료 사고가 발생하는 것을 방지할 수 있다.
반대로 의료 영상 분석 장치(100)는 의료인의 의료 영상 판독 정확도가 낮을 수록, 기계학습모델의 병변 정보의 정확도가 높은 의료 영상을 판독하도록 배정할 수 있다. 의료인의 의료 영상 판독 정확도가 낮다는 것은, 의료인이 숙련되어 있지 않다는 것을 의미할 수 있다. 또한, 기계학습모델의 병변 정보의 정확도가 높다는 것은 의료 영상이 기계학습모델에 의하여 판독되기 쉽다는 것을 의미할 수 있다. 또한 이것은 자주 나타나는 케이스의 의료 영상임을 의미할 수 있다. 의료 영상 분석 장치(100)는 숙련되지 않은 의료인에게 판독되기 쉬운 의료 영상을 배정하여 의료 사고가 발생하는 것을 방지하면서도, 의료인이 다양한 케이스를 다루어 볼 수 있도록 할 수 있다.
이제까지 의료인의 숙련도에 따라 의료 영상을 의료인에게 배정하는 과정을 설명하였다. 하지만 의료인이 아닌 병원에 대해서도 동일한 과정이 수행될 수 있다. 구체적으로, 의료 영상 분석 장치(100)는 결과 정보(430)에 기초하여 병원의 의료 영상 판독 정확도를 결정하는 단계(1010)를 수행할 수 있다. 또한, 의료 영상 분석 장치(100)는 기계학습모델에 기초하여 의료 영상으로부터 병변 정보 및 병변 정보의 정확도를 획득하는 단계(1020)를 수행할 수 있다. 의료 영상 분석 장치(100)는 병원의 의료 영상 판독 정확도 및 기계학습모델의 병변 정보의 정확도에 기초하여 의료 영상을 판독할 병원을 자동 배정하는 단계(1030)를 수행할 수 있다. 의료인이 병원으로 변경될 뿐, 의료 영상 분석 장치(100)가 수행하는 동작은 동일하므로 중복되는 설명은 생략한다.
도 11은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 도면이다.
의료 영상 분석 장치(100)는 제 1 병변 정보(412)에 대한 사용자의 평가 결과를 수신하는 단계(1110)를 수행할 수 있다. 사용자는 제 1 분석 모델(410)에 의하여 획득된 제 1 병변 정보(412)가 정확한지 부정확한지를 결정하여 의료 영상 분석 장치(100)에 입력할 수 있다. 의료 영상 분석 장치(100)는 사용자의 입력에 기초하여 제 1 병변 정보(412)가 정확한지 부정확한지를 결정할 수 있다. 이러한 과정은 의료 영상 분석 장치(100)의 모델 평가부(115)에 의하여 수행될 수 있다.
의료 영상 분석 장치(100)는 평가 결과가 부정확함을 나타내는 경우, 과거 의료 영상 및 과거 병변 정보를 획득하는 단계(1120)를 수행할 수 있다. 과거 의료 영상 및 과거 병변 정보는 제 1 분석 모델(410)을 갱신하기 위하여 업데이트된 과거 의료 영상 및 업데이트된 과거 병변 정보가 포함될 수 있다. 의료 영상 분석 장치(100)는 모델 갱신부(125)를 이용하여 단계(1120)를 수행할 수 있다.
의료 영상 분석 장치(100)는 과거 의료 영상 및 과거 병변 정보에 기초하여 제 1 분석 모델을 재학습하는 단계(1130)를 수행할 수 있다. 의료 영상 분석 장치(100)는 재학습된 제 1 분석 모델을 메모리에 저장하거나, 다른 의료 영상 분석 장치로 송신할 수 있다. 재학습된 제 1 분석 모델은 기존의 제 1 분석 모델보다 정확하고 신속하게 의료 영상으로부터 병변을 도출할 수 있다. 여기서 재학습은 추가 학습 또는 연속 학습을 의미할 수도 있다. 본 개시의 의료 영상 분석 장치(100)는 제 1 분석 모델을 지속적으로 개선하여 의료인의 의료 영상 판독을 지원할 수 있는 효과가 있다.
도 12는 본 개시의 일 실시예에 따른 의료 영상 분석 시스템의 동작을 나타낸 도면이다.
의료 영상 분석 시스템은 의료 영상 분석 장치(100), 병원 서버(1200), 환자 단말기(1201), 의료인 단말기, 페이어(payer) 서버 중 적어도 하나를 포함할 수 있다. 페이어 서버는 보험사 서버, 의료보험공단 서버 또는 보건의료재정청(Center for Medicare & Medicaid Service; CMS) 서버 중 적어도 하나를 포함할 수 있다.
의료인은 환자를 진단하여 리포트 정보(421)를 생성할 수 있다. 의료 영상 분석 장치(100)는 의료인의 리포트 정보(421)의 정확성을 아래와 같이 결정할 수 있다.
의료 영상 분석 장치(100)는 결과 정보(430)를 누적하여 메모리에 저장하고 있을 수 있다. 의료 영상 분석 장치(100)는 결과 정보(430)를 병원 서버(1200)로 송신하는 단계(1211)를 수행할 수 있다. 결과 정보(430)는 제 1 병변 정보(412) 및 제 2 병변 정보(422)의 동일성에 대한 정보를 포함할 수 있다. 병원 서버(1200)는 결과 정보(430)에 기초하여 제 1 병변 정보(412)가 제 2 병변 정보(422)와 다른 것으로 결정된 경우, 제 1 병변 정보(412) 또는 제 2 병변 정보(422) 중 부정확한 정보가 무엇인지 결정할 수 있다.
의료 영상 분석 장치(100)는 제 1 분석 모델로부터 제 1 병변 정보(412)의 정확도를 획득할 수 있다. 정확도는 의료 영상(411)에 제 1 분석 모델(410)을 적용하여 도출된 제 1 병변 정보가, 제 1 분석 모델(410)이 도출할 수 있는 다른 병변 정보들에 비하여, 얼마나 높은 확률을 가지는지 여부에 기초하여 결정될 수 있다. 이는 도 10과 함께 이미 설명한 바 있으므로 중복되는 설명은 생략한다.
의료 영상 분석 장치(100)는 제 1 병변 정보(412)의 정확도가 높고, 제 1 병변 정보(412)와 제 2 병변 정보(422)가 다른 경우, 병원 서버(1200)는 제 2 병변 정보(422)가 부정확함을 결정할 수 있다. 또한, 의료 영상 분석 장치(100)는 사용자의 입력에 기초하여 제 2 병변 정보(422)가 부정확함을 결정할 수 있다. 제 2 병변 정보(422)가 부정확하다는 것은 제 1 병변 정보(412)에 기재되어 있으나 제 2 병변 정보(422)에 누락된 정보가 있거나, 제 1 병변 정보(412)에 기재되어 있지 않으나 제 2 병변 정보(422)에 기재되어 있는 정보가 있는 경우를 의미할 수 있다.
병원 서버(1200)는 제 2 병변 정보(422)에 부정확한 정보가 있는 경우 내원 요청 정보를 생성할 수 있다. 내원 요청 정보는 결과 정보(430) 및 제 1 병변 정보(412) 중 적어도 하나를 포함할 수 있다. 병원 서버(1200)는 환자에게 재 검사를 요청하기 위하여 내원 요청 정보를 환자 단말기(1201)로 송신하는 단계(1221)를 수행할 수 있다. 환자는 환자 단말기(1201)에 표시된 정보를 확인하고 내원할 수 있다. 내원 요청 정보는 결과 정보(430) 및 제 1 병변 정보(412) 중 적어도 하나를 포함할 수 있다. 하지만 이에 한정되는 것은 아니며, 사용자는 병원 서버(1200)에 의해 표시된 내원 요청 정보에 따라 우편 또는 이메일로 환자에게 내원을 요청할 수 있다.
또한, 제 2 병변 정보(422)에 부정확한 정보가 있는 경우 병원 서버(1200)가 아닌 의료 영상 분석 장치(100)가 내원 요청 정보를 생성할 수 있다. 또한 의료 영상 분석 장치(100)는 환자 단말기(1201) 또는 병원 서버(1200)로 내원 요청 정보를 송신할 수 있다.
또한, 병원 서버(1200) 또는 의료 영상 분석 장치(100)는 환자 단말기(1201)외에도 의사 단말기 또는 보험사 서버에도 내원 요청 정보를 송신할 수 있다. 병원 서버(1200)는 내원 요청 정보에 기초하여 환자에게 재검사를 진행할 스케줄 정보, 병원 내 처리 플로우, 환자 워크리스트(worklist) 중 적어도 하나를 결정할 수 있다.
병원 서버(1200)는 결과 정보(430)를 누적하여 메모리에 저장할 수 있다. 병원 서버(1200)는 누적된 결과 정보에 기초하여 병원에 소속된 의료인의 평가 정보를 생성하는 단계(1212)를 수행할 수 있다. 예를 들어 병원 서버(1200)는 의료인의 리포트 정보(421) 또는 제 2 병변 정보(422)를 획득할 수 있다. 병원 서버(1200)는 의료인의 리포트 정보(421) 또는 제 2 병변 정보(422)가 제 1 병변 정보와 동일한 횟수에 기초하여 의료인의 평가 정보를 생성할 수 있다. 또는 숙련된 의료인은 의료인의 리포트 정보(421) 또는 제 2 병변 정보(422)에 기초하여 평가 정보를 병원 서버(1200)에 입력할 수 있다. 병원 서버(1200)는 숙련된 의료인의 입력에 기초하여 의료인의 평가 정보를 결정할 수 있다.
병원 서버(1200)는 평가 정보에 기초하여 의료인에게 인센티브를 제공하는 단계(1213)를 수행할 수 있다. 예를 들어 병원 서버(1200)는 의료인 급여 서버와 연동하여 평가 정보가 높을 수록, 의료인에게 인센티브를 부여할 수 있다. 또한 병원 서버(1200)는 평가 정보가 낮은 경우, 의료인에게 페널티를 부여하거나, 의료인에게 재교육을 실시하도록 병원 관리자에게 제안할 수 있다.
병원 서버(1200)는 평가 정보에 기초하여 의료인의 환자 워크리스트를 결정하는 단계(1214)를 수행할 수 있다. 예를 들어, 병원 서버(1200)는 평가 정보가 높은 의료인이 긴급하고, 난이도가 높은 환자를 맡도록 환자 워크리스트를 결정할 수 있다. 또한 병원 서버(1200)는 평가 정보가 낮은 의료인이 난이도가 낮은 환자를 맡도록 환자 워크리스트를 결정할 수 있다.
도 13는 본 개시의 일 실시예에 따른 의료 영상 분석 시스템의 동작을 나타낸 도면이다.
의료 영상 분석 장치(100)는 결과 정보(430)를 누적하여 메모리에 저장할 수 있다. 의료 영상 분석 장치(100)는 누적된 결과 정보에 기초하여 병원 평가 정보를 생성하는 단계(1311)를 수행할 수 있다. 병원 평가 정보는 병원 소속된 의료인들이 의료 영상을 정확하게 판독한 비율을 나타낼 수 있다. 병원 평가 정보는 병원에 소속된 의료인들의 전체 판독 횟수에 대하여, 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 동일함을 나타내는 횟수의 비율에 기초하여 획득될 수 있다. 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 동일함을 나타내는 횟수는 제 3 분석 모델(400)에 기초하여 획득될 수 있다. 이미 설명한 바와 같이 제 1 병변 정보(412)는 제 1 분석 모델(410)에 기초하여 의료 영상을 판독한 병변에 대한 정보이고, 제 2 병변 정보(422)는 의료인의 리포트 정보에 제 2 분석 모델(420)을 적용하여 획득된 병변에 대한 정보이다. 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 일치하는 경우 의료 영상 분석 장치(100)는 의료인이 의료 영상을 정확하게 판독한 것으로 결정할 수 있다.
또한, 의료 영상 분석 장치(100)는 숙련된 의료인으로부터 병원 평가 정보를 수신하여 병원 평가 정보를 결정할 수 있다. 제 1 병변 정보 및 제 2 병변 정보가 일치하는 경우 의료 영상 분석 장치(100)는 의료인이 의료 영상을 정확하게 판독한 것으로 결정할 수 있다.
숙련된 의료인은 제 1 병변 정보 및 제 2 병변 정보가 서로 다를 경우, 제 1 병변 정보 및 제 2 병변 정보 중 부정확한 정보를 선택할 수 있다. 제 1 병변 정보가 부정확한 경우, 의료 영상 분석 장치(100)는 제 1 분석 모델(410)을 업데이트할 수 있다. 의료 영상 분석 장치(100)는 도 6에서 설명한 바와 같이 방식으로 제 1 분석 모델(410)을 업데이트할 수 있다. 의료 영상 분석 장치(100)는 복수의 과거 의료 영상(611) 및 복수의 제 1 과거 병변 정보(612)에 기초하여 제 1 분석 모델(410)을 업데이트할 수 있다. 의료 영상 분석 장치(100)는 복수의 과거 의료 영상(611) 및 복수의 제 1 과거 병변 정보(612)를 실제 정보로써 이용할 수 있다. 또한, 제 1 과거 병변 정보(612)는 숙련된 의료인에 의하여 정확한 정보로 판명된 제 2 병변 정보를 더 포함할 수 있다.
제 2 병변 정보가 부정확한 경우, 의료 영상 분석 장치(100)는 의료인의 전체 판독 횟수에 대하여 제 1 병변 정보 및 제 2 병변 정보가 동일함을 나타내는 횟수에 기초하여 병원 평가 정보를 결정할 수 있다. 제 1 병변 정보(412) 및 제 2 병변 정보(422)가 동일함을 나타내는 횟수는 제 3 분석 모델(400)에 기초하여 획득될 수 있다.
의료 영상 분석 장치(100)는 병원에 따른 병원 평가 정보를 제공할 수 있다. 또한 의료 영상 분석 장치(100)는 병원 평가 정보의 전체 평균에 대한 정보를 제공할 수 있다. 또한 의료 영상 분석 장치(100)는 지역별 병원 평가 정보의 평균에 대한 정보를 제공할 수 있다. 환자들은 병원 평가 정보의 통계 자료를 의료 영상 분석 장치(100)로부터 확인할 수 있다. 환자들은 객관적인 정보에 기초하여 병원을 선택할 수 있으므로 높은 품질의 서비스를 제공받을 수 있다. 또한 병원은 병원 평가 정보를 높이기 위하여 노력할 것이므로 전체적인 서비스 품질이 높아지는 효과가 있을 것이다.
의료 영상 분석 장치(100)는 병원들의 다양한 통계 자료를 제공할 수 있다. 의료 영상 분석 장치(100)는 병원의 모달리티(modality) 별 판독 횟수에 대한 정보를 제공할 수 있다. 예를 들어 의료 영상 분석 장치(100)는 병원에 소속된 의료인들이 초음파 영상, CT 영상 또는 MRI 영상 등을 판독한 횟수에 대한 정보를 제공할 수 있다. 환자들은 모달리티 별 판독 횟수에 기초하여 병원에 소속된 의료인들의 숙련도를 판단할 수 있다.
또한, 의료 영상 분석 장치(100)는 병원에 소속된 의료인들이 의료 영상을 정상으로 판독한 횟수 또는 비정상으로 판독한 횟수와 관련된 정보를 제공할 수 있다. 정상으로 판독한 것은 의료 영상에 병변이 없음을 의미하고, 비정상으로 판독한 것은 의료 영상에 병변이 존재함을 의미할 수 있다.
또한 의료 영상 분석 장치(100)는 병원에 소속된 의료인들이 의료 영상을 판독한 정확도에 대한 정보를 제공할 수 있다. 예를 들어 의료 영상 분석 장치(100)는, 병원에 소속된 의료인이 의료 영상을 판독한 전체 횟수에 대하여, 의료인이 판독한 병변 정보 및 제 1 분석 모델(410)이 판독한 병변 정보가 상이한 횟수의 비율에 기초하여 정확도에 대한 정보를 결정할 수 있다. 의료 영상 분석 장치(100)는 제 3 분석 모델(400)을 이용하여 의료인이 판독한 병변 정보 및 제 1 분석 모델(410)이 판독한 병변 정보가 상이한지 여부를 결정할 수 있다.
의료 영상 분석 장치(100)는 외부의 서버에 병원 평가 정보를 송신할 수 있다. 외부의 서버는 결과 정보 또는 병원 평가 정보를 웹사이트 형식으로 제공할 수 있다. 사용자는 병원 평가 정보를 웹 브라우저를 이용하여 확인할 수 있다. 또한 의료 영상 분석 장치(100)는 사용자 단말기로 병원 평가 정보를 송신할 수 있다. 사용자는 이용할 예정인 병원 또는 과거에 이용했던 병원에 대한 병원 평가 정보를 자신의 단말기를 이용하여 쉽게 확인할 수 있다.
또한, 의료 영상 분석 장치(100)는 병원 평가 정보를 페이어(Payer) 서버(1300)로 송신하는 단계(1312)를 수행할 수 있다. 페이어 서버(1300)는 의료비를 지급하는 주체에 대응하는 서버를 의미할 수 있고, 예를 들면 보험사 서버, 의료보험공단 서버 또는 보건의료재정청(Center for Medicare & Medicaid Service; CMS) 서버 중 적어도 하나를 포함할 수 있다.
페이어 서버(1300)는 병원 평가 정보에 기초하여 의료비 지급 기준 정보를 변경하는 단계(1313)를 수행할 수 있다. 예를 들어 페이어 서버(1300)는 병원 평가 정보가 높을 수록 높은 의료비를 지급하도록 의료비 지급 기준 정보를 변경할 수 있다. 또한, 페이어 서버(1300)는 병원 평가 정보가 낮을 수록 낮은 의료비를 지급하도록 의료비 지급 기준 정보를 변경할 수 있다. 하지만 이에 한정되는 것은 아니며, 페이어 서버(1300)는 병원 평가 정보가 높을 수록 낮은 의료비를 지급하도록 의료비 지급 기준 정보를 변경할 수 있고, 병원 평가 정보가 낮을 수록 높은 의료비를 지급하도록 의료비 지급 기준 정보를 변경할 수 있다. 페이어 서버(1300)는 병원 평가 정보가 높을 수록 낮은 의료비를 지급하는 대신 병원에 많은 환자가 가도록 안내하는 정보를 생성할 수 있다.
페이어 서버(1300)는 병원 서버(1200), 외부의 서버 또는 사용자 단말기에 변경된 의료비 지급 기준 정보를 송신할 수 있다. 또한 병원의 관리자는 병원 서버(1200)에 표시된 의료비 지급 기준 정보에 기초하여 병원의 의료 영상 판독의 정확도를 높이기 위하여 노력할 수 있다.
또한 외부의 서버는 수신된 의료비 지급 기준 정보를 웹사이트 형식으로 사용자들에게 제공할 수 있다. 사용자들은 웹 브라우저를 통하여 이용할 예정인 병원 또는 과거에 이용했던 병원에 대한 의료비 지급 기준 정보를 확인할 수 있다.
또한 사용자 단말기는 수신된 의료비 지급 기준 정보를 표시할 수 있다. 사용자는 단말기를 이용하여 쉽게 의료비 지급 기준 정보를 확인할 수 있다.
지금까지 본 개시에 따른 의료 영상 분석 장치(100)에 대하여 설명하였다. 본 개시에 따른 의료 영상 분석 장치(100)는 기계학습모델을 이용한 의료 영상 판독 및 의료인에 의한 의료 영상 판독을 비교할 수 있다. 따라서 의료 영상 판독의 정확성을 향상시킬 수 있다. 또한 현실적으로 복수의 의료인이 하나의 의료 영상을 판별하는 것은 시간적 비용적으로 어려움이 많지만, 본 개시의 의료 영상 분석 장치(100)는 기계학습모델을 이용하여 의료인이 이미 판독한 의료 영상을 다시 판독함으로써, 의료 영상 판독에서 생길 수 있는 병변 정보의 누락을 줄일 수 있다. 또한 본 개시에 따른 의료 영상 분석 장치(100)에 따르면, 의료 서비스를 향상시킬 수 있고, 병변의 조기 발견을 통해 의료 비용을 절감할 수 있다. 또한 본 개시에 따른 의료 영상 분석 장치(100)는 기계학습모델모델의 성능을 향상시킬 수 있다.
이제까지 다양한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

Claims (1)

  1. 프로세서 및 메모리를 포함하는 하드웨어를 이용하여 의료 영상을 분석하는 분석 방법에 있어서,
    의료 영상을 수신하는 단계;
    상기 의료 영상에 대한 의료인의 판단 결과인 리포트 정보를 수신하는 단계;
    상기 하드웨어로 구현되는 분석 모델을 이용하여, 상기 수신된 의료 영상을 기초로, 상기 의료 영상의 병변과 관련된 제1 병변 정보 및 상기 리포트 정보를 기초로 획득되는 상기 의료 영상의 병변과 관련된 제2 병변 정보를 비교하는 단계; 및
    상기 분석 모델을 이용하여, 상기 제1 병변 정보 및 상기 제2 병변 정보의 비교 결과를 기초로, 상기 의료인의 의료 영상 판독 결과에 대한 평가 정보를 생성하는 단계를 포함하는
    분석 방법.

KR1020210007188A 2020-07-15 2021-01-19 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 KR102480134B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210007188A KR102480134B1 (ko) 2020-07-15 2021-01-19 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR1020220176781A KR102507315B1 (ko) 2021-01-19 2022-12-16 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200087227A KR102213924B1 (ko) 2020-07-15 2020-07-15 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR1020210007188A KR102480134B1 (ko) 2020-07-15 2021-01-19 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200087227A Division KR102213924B1 (ko) 2020-07-15 2020-07-15 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220176781A Division KR102507315B1 (ko) 2021-01-19 2022-12-16 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210029167A true KR20210029167A (ko) 2021-03-15
KR102480134B1 KR102480134B1 (ko) 2022-12-22

Family

ID=84578352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007188A KR102480134B1 (ko) 2020-07-15 2021-01-19 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102480134B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105812A (ko) * 2022-01-05 2023-07-12 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512351A (ja) * 1991-07-02 1993-01-22 Toshiba Corp 診断支援システム
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190102399A (ko) * 2018-02-26 2019-09-04 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512351A (ja) * 1991-07-02 1993-01-22 Toshiba Corp 診断支援システム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20190102399A (ko) * 2018-02-26 2019-09-04 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105812A (ko) * 2022-01-05 2023-07-12 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR102480134B1 (ko) 2022-12-22

Similar Documents

Publication Publication Date Title
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US11553874B2 (en) Dental image feature detection
KR102075293B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
KR102243830B1 (ko) 통합 의료 진단 서비스 제공 시스템 및 그 방법
EP3043318B1 (en) Analysis of medical images and creation of a report
CN107004043B (zh) 优化检测和标记感兴趣解剖结构的系统和方法
JP2020126598A (ja) 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
CN112712879A (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
KR102382872B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
US10130323B2 (en) Method and apparatus for planning computer-aided diagnosis
KR102543013B1 (ko) 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
US20210098135A1 (en) Healthcare network
KR20210084127A (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102507315B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
WO2019068536A1 (en) METHOD FOR SETTING MEDICAL IMAGING PROTOCOL, MEDICAL INSTRUMENT SETTING SYSTEM, COMPUTER PROGRAM, AND COMPUTER-READABLE MEDIUM
KR20210113084A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
KR20210014893A (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
KR102464887B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
US20230099249A1 (en) Automated data-based provision of a patient-specific medical action recommendation
KR102433054B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
US20240081768A1 (en) Technology for safety checking a medical diagnostic report
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
US20210065899A1 (en) Methods and systems for computer-aided diagnosis with deep learning models

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
GRNT Written decision to grant