KR102417531B1 - 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 - Google Patents

학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR102417531B1
KR102417531B1 KR1020200084069A KR20200084069A KR102417531B1 KR 102417531 B1 KR102417531 B1 KR 102417531B1 KR 1020200084069 A KR1020200084069 A KR 1020200084069A KR 20200084069 A KR20200084069 A KR 20200084069A KR 102417531 B1 KR102417531 B1 KR 102417531B1
Authority
KR
South Korea
Prior art keywords
data
learning
learning model
image
medical
Prior art date
Application number
KR1020200084069A
Other languages
English (en)
Other versions
KR20220006292A (ko
Inventor
이태균
최부경
소재홍
Original Assignee
주식회사 메가젠임플란트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메가젠임플란트 filed Critical 주식회사 메가젠임플란트
Priority to KR1020200084069A priority Critical patent/KR102417531B1/ko
Priority to CN202180049205.7A priority patent/CN115943437A/zh
Priority to PCT/KR2021/006963 priority patent/WO2022010106A1/ko
Priority to US18/014,141 priority patent/US20230307129A1/en
Publication of KR20220006292A publication Critical patent/KR20220006292A/ko
Application granted granted Critical
Publication of KR102417531B1 publication Critical patent/KR102417531B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 발명의 실시예에 따른 학습 데이터 생성장치는, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부, 및 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부를 포함하는 것을 특징으로 할 수 있다.

Description

학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체{Apparatus for Generating Learning Data and Driving Method Thereof, and Computer Readable Recording Medium}
본 발명은 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 지도 학습 방식으로 인공지능이나 영상분석 모델의 적용시 소규모의 학습 데이터를 학습 모델에 적용해 데이터의 유효성을 검증해가면서 오류를 수정해 오류가 없는 강건한 학습 데이터를 생성하려는 학습 데이터 생성장치 및 그 장치의 구동방법, 컴퓨터 판독가능 기록매체에 관한 것이다.
지도 학습(supervised learning)이란 레이블 정보(즉, 정답 정보)가 주어진 데이터 집합(set)을 학습하여 목적 태스크를 수행하는 타깃 모델을 구축하는 기계 학습 방법이다. 따라서, 레이블 정보(예: 태그 아이콘으로 표시됨)가 주어지지 않은 데이터 집합에 대해 지도 학습을 수행하기 위해서는, 어노테이션 즉 주석(annotation) 작업이 필수적으로 선행되어야 한다.
주석 작업은 학습 데이터 집합을 생성하기 위해 데이터별로 레이블 정보를 태깅하는 작업을 의미한다. 주석 작업은 일반적으로 사람에 의해 수행되기 때문에, 대량의 학습 데이터 집합을 생성하기 위해서는 상당한 인적 비용과 시간이 소모된다. 특히, 병리 이미지에서 병변의 종류 또는 위치 등을 진단하는 기계 학습 모델을 구축하는 경우라면, 숙련된 전문의에 의해 주석 작업이 수행되어야 하기 때문에, 다른 도메인에 비해 훨씬 더 많은 비용이 소모된다.
종래에는, 체계적인 작업 프로세스가 정립되지 않은 채로 주석 작업이 수행되었다. 가령, 종래의 방식은 관리자가 각 병리 이미지의 특성을 육안으로 확인하여 주석 수행 여부를 결정하고, 수동으로 병리 이미지를 분류한 다음 적절한 작업자(annotator)에게 병리 이미지를 할당하는 방식이었다.
뿐만 아니라, 종래에는 관리자가 일일이 병리 이미지상의 주석 영역을 지정한 다음, 작업자에게 작업을 할당하였다. 즉, 종래에는 병리 이미지 분류, 작업 할당, 주석 영역 지정 등의 제반 과정이 관리자에 의해 수동으로 이루어졌고, 이로 인해 주석 작업에 상당한 시간과 인적 비용이 소모되는 문제가 있었다.
나아가, 기계 학습 기법 자체는 충분히 고도화되었음에도 불구하고, 주석 작업의 시간적, 비용적 문제로 인해 다양한 분야에 기계 학습 기법을 적용하는 데 많은 어려움이 있었다.
한국등록특허공보 제10-2081037호(2020.02.18) 한국공개특허공보 제10-2020-0054138호(2020.05.19) 한국공개특허공보 제10-2017-0106308호(2017.09.20) 한국공개특허공보 제10-2020-0054121호(2020.05.19)
본 발명의 실시예는 가령 지도 학습 방식으로 인공지능이나 영상분석 모델의 적용시 소규모의 학습 데이터를 학습 모델에 적용해 데이터의 유효성을 검증해가면서 오류를 수정해 오류가 없는 강건한 학습 데이터를 생성하려는 학습 데이터 생성장치 및 그 장치의 구동방법, 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 학습 데이터 생성장치는, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부, 및 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합(set)을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하는 것을 특징으로 할 수 있다.
상기 제어부는, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 것을 특징으로 할 수 있다.
또한, 본 발명의 실시예에 따른 학습 데이터 생성장치의 구동방법은, 데이터 수신부가, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계, 및 제어부가 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계를 포함하는 것을 특징으로 한다.
상기 학습 데이터를 확보하는 단계는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하는 것을 특징으로 할 수 있다.
상기 구동방법은, 상기 제어부가 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 구동방법은, 상기 제어부가 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 구동방법은, 상기 제어부가 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
한편, 본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 학습 데이터 생성장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 학습 데이터 생성장치의 구동방법은, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계, 및 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계를 실행하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 인공지능이나 영상 분석 모델 개발시 학습 데이터의 오류를 없애 학습 모델의 성능을 높일 수 있을 것이다.
또한, 본 발명의 실시예는 소량의 작업 데이터(예: 병리 이미지 등)를 학습 모델에 적용해 학습 결과를 보고 데이터를 수정해 가면서 학습 데이터를 생성하므로, 오류의 원인 파악과 작업 처리가 수월하게 이루어질 수 있다.
나아가, 본 발명의 실시예는 선택되는 학습 모델에 따라 최적화되어 있는 데이터 처리가 이루어질 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 학습 데이터 생성시스템을 나타내는 도면,
도 2는 도 1의 학습 데이터 생성장치의 세부구조를 예시한 블록다이어그램,
도 3은 도 1의 학습 데이터 생성장치의 다른 세부구조를 예시한 블록다이어그램,
도 4는 본 발명의 실시예에 따른 툴(tool)에 의해 구현되는 화면의 예시도,
도 5는 도 4의 화면에서 이루어지는 전처리 과정의 예시도,
도 6은 도 1의 학습 데이터 생성장치의 구동과정을 나타내는 흐름도, 그리고
도 7은 도 1의 학습 데이터 생성장치의 다른 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 학습 데이터 생성시스템을 나타내는 도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 학습 데이터 생성시스템(90)은 의료 단말장치(100), 통신망(110) 및 학습 데이터 생성장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 의료 단말장치(100)와 학습 데이터 생성장치(120)가 다이렉트(예: P2P) 통신을 수행하거나, 학습 데이터 생성장치(120)와 같은 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크 장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
의료 단말장치(100)는 가령 의료 데이터를 제공하는 다양한 장치를 포함할 수 있다. 의료 단말장치(100)는 예를 들어, 병원이나 그 유관기관에 구비되어 다양한 유형의 의료 데이터를 제공하는 의사의 컴퓨터, 병원의 서버 등을 포함할 수 있다. 나아가, 공공 의료 데이터를 관리하는 기관에서 제공하는 의료 데이터를 포함할 수도 있다. 뿐만 아니라 각종 의료 데이터의 제공을 위해 촬영 등이 이루어지는 MRI 장비 등의 다양한 장비를 포함할 수 있다. 여기서, 의료 데이터는 암 진단 등을 위해 획득한 CT 이미지 등을 포함할 수 있다.
가령 도 1에서 학습 데이터 생성장치(120)가 학습 데이터 생성을 위한 프로그램 등을 내려주는 서버라면, 본 발명의 실시예에 따른 의료 단말장치(100)는 해당 서버로부터 본 발명의 실시예에 따른 프로그램 가령 툴을 다운로드받아 본 발명의 실시예에 따른 학습 데이터 생성 동작을 수행할 수도 있다.
실제로 본 발명의 실시예에 따른 학습 데이터 생성 과정은 의료기관의 의료진에 의해 이루어질 수도 있지만, 외부의 전문 기관에 의뢰해서, 가령 프로그램 전문회사 등으로 의료 데이터를 제공하여 그곳을 통해 특정 기능의 인공지능(예: CNN, RNN 등)이나 영상 분석을 위한 학습 모델을 적용하여 해당 학습 모델에 최적화되는 학습 데이터를 생성하도록 할 수 있다. 본 발명의 실시예에서는 후자의 경우를 가정하여 계속해서 설명하도록 한다. 물론, 전자의 경우에서와 같이 의료 단말장치(100)에서 의료진들에 의해 본 발명의 실시예에 따른 동작이 얼마든지 이루어질 수 있으므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
물론 의료 단말장치(100)는 본 발명의 실시예에 따른 강건한 학습 데이터 생성을 위하여 CT 이미지와 같은 의료 데이터상에 전처리 동작을 수행하여 데이터를 학습 데이터 생성장치(120)로 제공할 수도 있다. 본 발명의 실시예에서는 비지도학습이 아닌, 지도 학습의 형태로 학습 데이터를 생성하려는 것이므로, 의료 전문가나 영상 분석 전문가가 가령 병변 이미지로서 CT 이미지상에 병변 등의 위치에 마킹을 수행하는 등의 동작을 통해 데이터 집합을 확보할 수 있도록 하는 것이 바람직하다. 여기서, 마킹을 통해 생성되는 데이터 집합은 점, 선, 면 등을 통해 (이미지 처리에 의해) 영역을 검출할 수 있도록 하는 것이 바람직하다. 마킹 부위에 대한 데이터 집합은 화소분석을 통해 좌표값의 형태로 생성될 수 있다.
예를 들어, 기존에는 인공지능 학습 데이터를 확보하기 위하여 1만장의 CT 이미지에 대하여 전처리 동작을 작업자들이 수동으로 수행하여 의료 데이터를 제공하였다면, 본 발명의 실시예에서는 가령 1000장의 CT 이미지에 대해서만 마킹 등의 전처리 동작을 수행하고, 9000장의 CT 이미지에 대해서는 마킹 없이 즉 전처리 동작없이 제공됨으로써 기존의 학습 데이터 생성을 위해 소비되는 시간과 비용을 상당히 줄일 수 있다. 이는 본 발명의 실시예에 따른 자동 마킹 동작 또는 자동 전처리 동작이 이루어지기 때문이다. 자세한 내용은 이후에 좀더 다루기로 한다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 의료 단말장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 의료 단말장치(100)와 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 학습 데이터 생성장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.
학습 데이터 생성장치(120)는 가령 의료 단말장치(100)가 CT 이미지 등을 제공하는 의료장비인 경우 해당 의료장비들로부터 의료 데이터를 수집하는 의료진의 컴퓨터 등이 될 수 있으며, 의료진의 의료 단말장치(100)로부터 CT 이미지 등의 의료 데이터나 해당 CT 이미지에 마킹 등의 전처리 동작이 이루어진 의료 데이터를 수신하는 또 다른 의료진이나 의료기관의 컴퓨터 등이 될 수 있으며, 본 발명의 실시예에 따른 작업을 전문으로 수행하는 업체의 서버, 또는 컴퓨터를 포함할 수 있다. 다시 말해, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 프로그램 개발사의 운영 서버로서 전국 의료기관에서 프로그램을 요청할 때 해당 프로그램을 공급할 수도 있다. 또는 해당 서버를 통해 특정 의료기관에서 의료 데이터를 수집한 후 이를 가공하는 등의 동작을 수행하는 업체의 컴퓨터를 포함할 수 있다. 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 CT 이미지 등의 의료 데이터에 전처리 동작이 없는 경우, 해당 의료 데이터에 병변 등의 부위에 마킹을 위한 전처리 동작을 수행할 수 있다. 또한, 전처리된 의료 데이터가 수집되는 경우에는 해당 의료 데이터를 활용하여 특정 학습 모델에 적용하기 위한 학습 데이터를 생성할 수 있다. 예를 들어, 본 발명의 실시예에서는 학습 데이터를 생성하기 위한 동일한 데이터 툴을 사용하고 또 동일한 의료 데이터를 사용한다 하더라도 적용하는 학습 모델에 따라 학습 데이터의 학습 결과, 즉 생성된 학습 데이터는 상이할 수 있다. 따라서, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 특정(혹은 지정된) 학습 모델에 최적화된 학습 데이터를 생성하기 위한 동작을 수행한다.
본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 2D, 3D 영상간 마킹 영역, 분할, 검출을 위한 데이터베이스 구축 및 인공지능, 영상 분석 모델 개발이 가능한 주석 소프트웨어(SW)를 실행할 수 있다. 이를 통해 2D, 3D 영상에 대한 주석 작업이 가능하고, 2D/3D 입력 영상에 대한 재구성(Reconstruction), 이미지 필터(image Filter), MPL(Multi Planar Reconstruction) 동작 등 전처리를 위한 기능을 제공한다. 또한 실시간 마킹, 관심 영역 생성 및 수정도 가능하다. 기존 주석 데이터 로드 또는 자동 검출 기능을 사용하여 사전 마커(Marker) 검출 후 주석 작업이 가능하며, 저장된 데이터는 인공지능, 영상분석 학습 데이터로 즉시 구성될 수 있으며, 실시간 인공지능, 영상분석 모델 학습이 가능하다. 네트워크 및 데이터 베이스를 활용한 실시간 데이터 저장 및 공유도 가능할 수 있다.
본 발명의 실시예에 사용되는 데이터 유형은 모든 의료 영상(예: CT, MRI, X-Ray, 초음파, 핵의학, 현미경 등) 포맷(예: DICOM 등), 모든 이미지 포맷(예: JPEG, TIFF, PNG, BMP, SVG, HEIF, GIF 등), 모든 3차원 데이터(예: STL, OBJ, PLY 등)를 포함한다. 나아가 적용 분야는 2D, 3D 내의 관심 영역 추출(예: 영상 내 특정 영역 분할(예: 병변, 사람, 동물, 사물, 번호판, 표지판 등), 2D, 3D 내의 특징점(Landmark) 검출(예: 세팔로 분석, 치아 위치, 눈/코/입/턱 등), 관심 영역 또는 특징점을 사용하는 기능(예: 술후 예측, 영상 정합, 영상 교정, 분석 리포트 작성, 표정 분석, 가상 시뮬레이션, 합성 등)을 포함할 수 있다.
학습 데이터 생성장치(120)는 데이터 주석작업을 효과적으로 수행할 수 있는 동작을 수행하며, 이를 위한 프로그램(혹은 툴)을 포함하여 이를 실행시킬 수 있다. 학습할 데이터를 순차적으로 불러와서 학습할 영역을 전문가(예: 사람)에 의하여 판단하여 색인(index)한다. 즉 의사와 같은 사람이 주석을 다는 것이다. 가령, 알고리즘으로 사용할 학습 모델을 본 발명의 실시예에 따른 툴에 이식하여 결과를 확인하고 정답을 찾지 못한 부분이 있다면 이를 편집하여 학습데이터로 추가한다. 즉 잘못된 주석을 사람이 일부 수정한다. 이러한 작업을 반복함으로써 이식된 학습 모델에 최적화된 주석 즉 주석 데이터를 효과적으로 수집하여 학습할 수 있다. 물론 사람에 의한 작업이지만 학습 데이터 생성장치(120)는 이를 인식하게 된다.
좀더 구체적으로 설명하면, 학습 데이터 생성장치(120)는 1만장의 의료 데이터 가령 CT 이미지에서 1000장의 CT 이미지에 대하여만 의사 등의 의료진이 병변 영역에 점을 찍거나 영역을 표시하여 지도 학습 방식으로 주석을 달 수 있다. 본 발명의 실시예에서는 이러한 과정을 데이터 처리 동작이라 명명할 수 있으며, 좀더 구체적으로는 학습 모델 적용 이전에 데이터 처리가 이루어지므로 전처리 동작이라 명명할 수 있다. 본 발명의 실시예에 따른 툴 즉 프로그램을 실행하여 1000장의 CT 이미지를 지정된 학습 모델에 적용하거나, 100장씩 해당 학습 모델에 적용하여 학습 결과를 모니터 화면 등을 통해 학습 결과를 피드백받아 확인 동작이 이루어질 수 있다. 물론 이는 최종적으로 학습 데이터를 생성하기의 이전 동작에 해당한다. 소규모의 데이터 단위로 오류를 점검하고 이를 통해 데이터의 유효성을 검증하면서, 또 성능을 학인하면서 학습 데이터의 수집 즉 생성 동작을 완료하게 된다. 소규모 데이터를 활용하므로 바로바로 오류의 수정이 이루어질 수 있는 것이다.
이후에 설명하겠지만, 학습 모델을 적용한 피드백을 통해 학습 결과를 확인한 후 오류가 발생한 CT 이미지에 대하여는 데이터 집합 즉 오류 지점에 대한 데이터를 보정 혹은 수정해 준 후 다시 학습 모델을 적용하여 참(true)된 학습 결과가 나올 때 해당 학습 결과를 학습 데이터로서 확보하여 DB(120a)에 저장시킨다. 오류를 포함하는 이전의 학습 결과는 삭제시킬 수 있다. 기존에는 통상 학습 모델 즉 학습 엔진의 정확도를 높이기 위하여 가중치 즉 확률 방식을 통해 학습 데이터의 오류를 줄이는 방식이었다면, 즉 학습 모델을 개선하는 방식으로 기술 개발이 이루어졌다면 본 발명의 실시예에서는 지도 학습 방식에서 학습 데이터가 부족한지, 또는 지도 학습자가 점을 잘못 찍었는지 등과 관련한 결과를 바로바로 확인해 가면서 학습 데이터의 오류를 없애 작업에 드는 시간과 비용의 낭비를 줄이려는 것이라 볼 수 있다. 가령, 오류를 수정하기 위해 사용자가 화면에서 마우스 커서 등을 통해 오류를 수정하면 학습 데이터 생성장치(120)는 이를 인식하며, 이러한 과정을 통해 양호한 데이터만을 생성 즉 확보한다고 볼 수 있다. 가령, 기존에는 학습 모델이 이용하는 학습 데이터에는 적어도 10%의 거짓(false) 데이터를 필연적으로 포함할 수밖에 없고, 이를 학습 모델이 확률 방식을 통해 필터링하는 것이었다면, 본 발명의 실시예에서는 학습 모델이 이용하는 학습 데이터에 포함되는 10%의 거짓 데이터를 위의 최적화 프로그램을 통해 0%에 가깝도록 하는 것이라 볼 수 있다.
나아가, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 1만장의 CT 이미지에 대하여 모두 마킹 즉 전처리 동작을 수행하지는 않는다. 예를 들어, 100장의 CT 이미지에 대하여 마킹 동작이 이루어지지만, 이에 대한 데이터 집합을 기저장한 후 즉 마킹 정보를 저장한 후 새로운 CT 이미지가 수신될 때 기저장된 데이터 세트의 위치 정보에 따라 수신된 새로운 CT 이미지상에 자동으로 마킹되도록 한다. 이와 같이 기본 세팅이 이루어진 상태에서 수정이 필요한 경우 일부 오류만 잡아주므로 그만큼 전처리 동작을 위한 작업이 수월하게 이루어질 수 있게 된다. 이후 학습 모델에 적용한 후 학습 결과를 피드백받아 확인하여 다시 오류를 수정하는 방식으로 학습 데이터 생성 동작이 이루어질 수 있다.
물론 이러한 과정에서 학습 데이터 생성장치(120)는 전처리 동작이 이루어지는 가령 CT 이미지 등의 개수를 설정할 수 있으며, 다시 말해 초기에 100장에만 마킹을 수행한 후 이후에 수신되는 CT 이미지에 대하여 자동 마킹이 이루어지도록 할 수 있으며, 그보다 더 적은 수에 대하여 마킹을 수행한 후 자동 마킹 동작이 이루어지도록 할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다. 프로그램의 성능에 따라 다소 차이가 있을 수는 있다.
상기의 구성 결과 본 발명의 실시예는 지도 학습 방식으로 학습 데이터 생성시 작업에 소요되는 시간과 비용을 상당 부분 줄일 수 있으며, 이와 함께 학습 데이터로 사용되는 데이터의 오류를 상당히 줄이거나 없앨 수 있다. 다시 말해 이는 학습 모델의 성능을 높이지 않는다 하더라도, 이러한 학습 모델의 성능은 고가의 비용으로 연결되므로, 학습 모델의 구입에 따른 비용을 줄이면서 성능을 높일 수 있을 것이다.
도 2는 도 1의 학습 데이터 생성장치의 세부구조를 예시한 블록다이어그램이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 통신 인터페이스부(200), 제어부(210), 학습데이터처리부(220) 및 저장부(230)의 일부 또는 전부를 포함하며, 디스플레이부를 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(230)와 같은 일부 구성요소가 생략되어 구성되거나, 학습데이터처리부(220)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(혹은 데이터 수신부)(200)는 가령 도 1의 의료 단말장치(100) 등과 통신하여 의료 데이터를 수집하거나, 해당 의료 데이터상에 병변, 종양 등의 부위에 마킹을 수행하여 전처리 동작이 이루어지는 의료 데이터를 수신하여 제어부(210)에 전달할 수 있다. 여기서, 마킹이 이루어지는 부위에 대한 정보(예: 좌표값)는 데이터 집합이라 명명될 수 있다. 가령, 해당 부위에 총 6개의 점이 찍힌 경우, 해당 6개에 대한 좌표값들은 데이터 집합이 될 수 있다. 가령 CT 이미지상의 마킹은 이미지 위에 마커를 통해 마킹이 이루어질 수 있지만, 별도의 마스킹(masking) 이미지를 이용하여 해당 점에 대한 좌표값만을 기저장한 후 이를 이용하는 방식도 얼마든지 가능할 수 있으므로, 본 발명의 실시예에서는 어떠한 방식으로 데이터 집합을 형성하는지에 대하여 특별히 한정하지는 않을 것이다.
통신 인터페이스부(200)는 CT 이미지 등의 촬영이미지를 송수신하는 과정에서 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도를 변환하는 스케일링 등의 다양한 동작을 수행할 수 있으며, 이와 관련되는 내용은 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다.
제어부(210)는 도 2의 통신 인터페이스부(200), 학습데이터처리부(220) 및 저장부(230)의 전반적인 제어 동작을 담당한다. 제어부(210)는 통신 인터페이스부(200)를 통해 수신되는 가령 의료 데이터를 저장부(230)에 임시 저장한 후 불러내어 학습데이터처리부(220)로 제공할 수 있다.
또한, 제어부(210)는 학습데이터처리부(220)와 연동하여 본 발명의 실시예에 따른 학습 데이터 생성을 위한 다양한 동작을 수행할 수 있다. 제어부(210)는 사용자 요청이 있을 때 학습데이터처리부(220)를 제어하여 내부에 탑재되어 있는 데이터처리 최적화 프로그램, 또는 툴을 실행시켜 본 발명의 실시예에 따른 동작을 수행할 수 있다. 가령 CT 이미지에 마킹을 수행하거나 마킹이 수행된 소규모의 의료 데이터를 학습 모델에 적용한 후 그에 대한 학습 결과를 제공받아 화면에 표시할 수 있다. 그리고 오류가 있다고 판단되는 CT 이미지에 대하여 오류를 수정한 후 학습 모델에 다시 적용하여 학습 결과를 확인한 후 이상이 없을 때 최종적으로 학습 데이터로서 확보하며, 이를 학습데이터처리부(220)의 요청에 따라 도 1의 DB(120a)에 체계적으로 분류하여 저장시킬 수 있다.
또한, 제어부(210)는 학습 모델이 변경될 때, 해당 변경된 학습 모델로 학습데이터처리부(220)의 프로그램을 갱신한 후 의료 데이터의 유효성을 검증하면서 성능을 확인하고, 학습 데이터를 확보할 수도 있다. 이를 통해 고비용이 드는 고성능의 학습 모델을 적용하지 않는다 하더라도, 학습의 정확도를 얼마든지 높일 수 있을 것이다.
학습데이터처리부(220)는 데이터 수신부를 포함할 수 있으며, 본 발명의 실시예에 따라 지도 학습 방식으로 인공지능이나 영상 분석 모델을 적용하여 학습 데이터를 생성할 때, 생성되는 학습 데이터에서의 오류를 원천적으로 줄이기 위한 동작을 수행한다. 지도 학습 방식에서 학습 데이터의 오류 생성은 학습 데이터가 부족할 때, 또 찾고자 하는 부위에 대한 데이터 지정 즉 주석이 잘못 되었을 때, 나아가서는 학습 모델 엔진의 오류 등으로 구분해 볼 수 있다. 기존과 같이 가령 1만장의 CT 이미지에 모두 마킹을 수행한 후 이에 대한 학습 결과를 확인하여 그 문제의 원인을 찾기에는 상당한 시간과 비용이 소요된다. 원인이 어디에서 발생하는 것인지를 규명하는 데에도 많은 어려움이 있다. 이에 따라 본 발명의 실시예에서는 소규모의 의료 데이터를 학습 모델에 적용한 후 그 결과를 바로 피드백받아 결과를 확인하고 오류가 있을 때 해당 오류를 수정하여 학습 모델에 다시 적용한 후 오류가 수정될 때 해당 의료 데이터를 학습 데이터로 확보한다. 이를 통해 지도 학습 방식의 학습 데이터의 오류를 원천적으로 차단한다.
또한, 학습데이터처리부(220)는 CT 이미지 등에서 병변과 같은 관심 영역에 마킹, 즉 전처리 동작을 수행할 때, 해당 전처리 동작에 대하여도 자동화가 이루어진다. 예를 들어, 1만장의 CT 이미지에서 100장의 CT 이미지의 병변에 대하여 가령 수동으로 의사 등의 전문가가 마킹을 수행하였다면 이후 101번째에서 1만번째 CT 이미지까지는 자동으로 마킹이 이루어지며, 전문가는 해당 자동 마킹된 위치 즉 데이터를 확인한 후 잘못된 부분에 대하여만 마우스 커서 등을 통해 수정한 후 해당 이미지를 학습 모델에 적용하고, 오류가 있을 때 다시 수정하여 학습모델에 적용함으로써 오류가 수정될 때 해당 이미지의 의료 데이터를 학습 데이터로 확보한다. 이러한 동작을 통해 작업의 번거로움과 시간이 상당히 절약될 수 있다.
또한, 새로운 학습 모델로 변경이 있는 경우에는 본 발명의 실시예에 따른 동일한 프로그램을 이용하여 새로운 학습 데이터 생성을 위한 동작을 수행할 수도 있다. 다시 말해 본 발명의 실시예에서는 특정 학습 모델에 최적화되어 학습 데이터를 생성하였지만, 이러한 학습 데이터가 다른 학습 모델에도 최적화된다고 볼 수는 없기 때문에 이의 경우에는 학습 모델을 변경한 후 위의 동작을 다시 수행하여 새로운 학습 데이터를 확보할 수 있을 것이다.
저장부(230)는 제어부(210)의 제어하에 처리되는 다양한 유형의 정보나 데이터를 저장한 후 제어부(210)의 제어하에 출력할 수 있다. 대표적으로 저장부(230)는 CT 이미지와 같은 의료 데이터를 임시 저장한 후 제어부(210)의 제어하에 학습데이터처리부(220)로 제공할 수 있다. 여기서, 정보와 데이터는 실무적으로 혼용되어 사용되므로 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(210)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 1의 학습 데이터 생성장치(120)의 동작 초기에 학습데이터처리부(220)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.
도 3은 도 1의 학습 데이터 생성장치의 다른 세부구조를 예시한 블록다이어그램이고, 도 4는 본 발명의 실시예에 따른 툴(tool)에 의해 구현되는 화면의 예시도이며, 도 5는 도 4의 화면에서 이루어지는 전처리 과정의 예시도이다.
도 3에 도시된 바와 같이 본 발명의 다른 실시예에 따른 학습 데이터 생성장치(120')는 데이터 수집부(300), 데이터 처리부(310), 학습모델부(320), 데이터처리 최적화부(혹은 최적화툴)(330), 학습결과 출력부(340), 데이터 입력부(350) 및 판단결과 출력부(360)의 일부 또는 전부를 포함할 수 있다.
여기서, "일부 또는 전부를 포함"한다는 것은 데이터 입력부(350)와 같은 일부 구성요소가 생략되어 구성되거나, 데이터처리 최적화부(330)와 같은 일부 구성요소가 학습모델부(320)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 본 발명의 실시예에 따른 도 3의 구성요소들은 하드웨어(H/W) 모듈, 소프트웨어(S/W) 모듈 또는 그 조합에 의해 구성될 수 있으며, 각 구성요소들의 연결관계는 얼마든지 변경될 수 있다.
데이터 수집부(300)는 가령 CT 이미지의 의료 데이터를 수집한다. 이의 과정에서 CT 이미지에 마킹이 되어 있는 데이터를 수집할 수도 있다.
데이터 처리부(310)는 수집된 의료 데이터에 대한 마킹 등의 전처리 동작을 수행한다. 물론 마킹이 되어 수집되는 경우 전처리 동작이 생략되거나 기존 마킹 데이터는 삭제한 후 새로운 마킹 동작이 이루어질 수도 있다. 예를 들어, 데이터 처리부(310)는 CT 이미지에서 병변을 찾기 위한 동작을 수행한다면, 해당 병변에 대한 마킹이 이루어질 수 있다.
본 발명의 실시에에 따른 데이터 처리부(310)는 데이터처리 최적화부(330)와 연계하여 마킹 등의 동작이 이루어질 수 있다. 다시 말해, 도 4에서와 같이 데이터처리 최적화부(330)의 프로그램을 실행하여 화면상에 의료 데이터의 마킹을 위한 UI 화면이 표시되면 이를 통해 마킹 등의 동작을 수행할 수 있다. 즉 마킹 등과 관련한 데이터 집합을 생성하기 위한 동작이 이루어진다고 볼 수 있다.
학습 모델부(320)는 인공지능이나 영상분석 등을 위한 다양한 유형의 학습모델을 포함할 수 있다. 가령 CNN, RNN 모델을 포함할 수 있다. 학습 모델부(302)는 기설정된(혹은 기저장된) 학습 모델을 변경할 수 있다.
데이터처리 최적화부(330)는 본 발명의 실시예에 따른 지정 학습 모델에 최적화되는 학습 데이터를 생성하기 위한 최적화 프로그램, 혹은 툴을 포함하고 이를 실행시킬 수 있다. 소량의 의료 데이터에 대하여 학습 모델을 적용해 학습 결과를 피드백받아 확인한 후 오류가 있을 때 이를 수정 또는 보정한 후 다시 학습 모델에 적용하여 오류가 없을 때 학습 데이터로 확보한다.
본 발명의 실시예에 따른 데이터처리 최적화부(330)는 가령 SW 모듈, HW 모듈 또는 그 조합으로 구성되어 학습 결과를 피드백받는 데이터 수신부, 그리고 매니저(혹은 제어부(예: CPU 등))을 포함할 수 있다.
도 4 및 도 5에서는 본 발명의 실시에에 따른 데이터처리 최적화부(330)에 의해 생성되어 화면에 표시되는 UI 화면과, 마킹이 이루어지는 CT 이미지를 각각 보여주고 있다. 도 4에서 볼 때, 화면에 표시되는 UI 화면은 탭부(400), 오픈 이미지부(410), 데이터 조정부(420), 추가 및 삭제부(430), 마커 또는 목록 표시부(440) 및 뷰어부(Viewer)(450)의 일부 또는 전부를 포함할 수 있다.
여기서, 탭부(400)는 탭에 따라 서로 다른 화면/기능으로 구성될 수 있다. 예를 들어 서로 다른 데이터 주석작업이 가능하고, 인공지능/분석 모델 개발 기능, 데이터베이스 기능을 포함할 수 있다. 오픈 이미지부(410)는 폴더 내 2D/3D 이미지 파일을 로딩한다. 데이터 조정부(420)는 Slice(Data Sequences), Radius, Text Size 등의 조정이 이루어질 수 있다. 슬라이스는 이전/다음 이미지 시각화에 관계된다. Radius는 마커(point) 또는 관심 영역 이동 및 크기 조절이 이루어진다. 텍스트 사이즈는 폰트 사이즈 조절이 이루어질 수 있다. 추가 및 삭제부(430)는 마커 또는 관심 영역의 추가 및 삭제가 이루어진다. 마커 또는 (관심영역) 목록 표시부(440)는 마커 또는 관심영역의 등록이 이루어진다. 뷰어부(450)에는 2D/3D 영상이 시각화되어 보여진다.
도 5는 주석의 예를 보여준다. 마커(Marker), 관심영역 주석 데이터 생성, Viewer에서 다양한 입력 장치(예: 키보드, 마우스, 태블릿 등 사용 가능)를 사용하여 주석작업을 수행할 수 있다. 순서가 지정될 수도 있다. 도 4의 뷰어에서 관심 영역 주석은 다양한 위치, 크기, 형태(예: 삼각형, 사각형 등)를 지정하는 등의 작업이 가능하다.
학습결과 출력부(340)는 학습 모델부(320)를 통해 특정 학습 모델에 대하여 최적화된 데이터를 확보하여 저장할 수 있다. 예를 들어, 학습결과 출력부(340)에서 학습 데이터를 확보하기에 앞서 학습 모델부(320)에 의한 모든 학습 결과는 먼저 데이터처리 최적화부(330)로 제공되어 오류가 수정된 후 학습결과 출력부(340)로 제공될 수 있지만, 학습 모델부(320)를 통해 오류를 포함하는 학습 데이터가 학습결과 출력부(340)로 제공된 후, 오류를 포함하는 학습 데이터는 학습 모델부(320)의 요청에 따라 삭제된 후 수정된 학습 데이터로 갱신될 수도 있다.
이와 같이, 학습결과 출력부(340)로부터 출력되는 학습 데이터의 처리 과정은 다양하게 이루어질 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 가령, 본 발명의 실시예에서는 삭제 동작과 수정 동작을 모두 포함하여 이루어질 수 있다.
데이터 입력부(350) 및 판단결과 출력부(360)는 본 발명의 실시예에 따른 방법에 따라 최적화되어 생성되는 학습 데이터를 근거로 학습이 이루어진다는 것을 의미한다. 물론 학습결과 출력부(340)를 통해 출력된 데이터는 특정 학습 모델의 학습 데이터, 더 정확하게는 도 3의 학습 모델부(320)와 동일한 학습 모델 엔진을 탑재하는 장치로 제공될 수 있고, 따라서 해당 장치에서 새로운 입력 데이터를 학습하기 위해 사용되어 판단 결과를 출력하는 것으로 이해될 수 있을 것이다.
도 3에서는 본 발명의 실시예에 따른 데이터 처리 과정을 보여주려는 것으로서, 본 발명의 실시예에서는 도 1의 학습 데이터 생성장치(120')의 구성을 도 3에서와 같은 프로세스에 특별히 한정하지는 않을 것이다.
도 6은 도 1의 학습 데이터 생성장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 지정(된) 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는다(S600).
여기서, 병리 이미지는 각종 의료장비에 의해 촬영된 CT 이미지 등을 포함한다. 또한, 전처리는 해당 확보한 CT 이미지상에 병변이나 종양 등의 부위에 마킹 처리가 이루어지는 것을 의미한다. 마킹된 위치의 정보는 좌표값의 형태로 데이터 집합이라 명명될 수 있다. 가령, 마킹이 총 6개의 점으로 이루어지면 해당 점들에 대한 좌표값은 데이터 집합이 되는 것이며, 영역을 선으로 표기한 경우에는 선의 좌표값들이나 선의 특성 정보(예: 색깔이나 굵기 등)는 곧 데이터 집합이 된다.
또한, 학습 데이터 생성장치(120)는 피드백받은 학습 결과에서 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 학습 모델에 재적용하여 인공지능 또는 영상분석을 위한 학습 데이터로 확보(혹은 생성)할 수 있다(S610).
예를 들어, 본 발명의 실시예에서는 총 1만장의 의료 데이터에 대한 학습 데이터가 필요하다고 가정할 때, CT 이미지를 100장 단위로 학습 결과를 확인하고 특정 CT 이미지에 대하여 가령 이미지 처리값을 확인한 결과 오류가 감지될 때, 해당 이미지와 관련한 데이터 집합을 수정하여 오류를 바로잡고 이를 통해 지도학습 방식에서 오류없는 학습 데이터를 확보한다고 볼 수 있다.
물론, 이의 과정에서 학습 모델이 변경되는 경우에는 위에서와 같은 방식으로 하여 변경된 학습 모델에 최적화되는 새로운 학습 데이터를 생성하기 위한 동작이 이루어질 수 있을 것이다.
상기한 내용 이외에도 도 6의 학습 데이터 생성장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 7은 도 1의 학습 데이터 생성장치의 다른 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 2D, 3D 데이터를 수집하여 수집한 데이터상에 다양한 방법(예: 마킹 등)을 적용하여 주석용 데이터를 생성한다(S700, S710).
또한, 학습 데이터 생성장치(120)는 본 발명의 실시예에 따른 최적화 툴을 적용하여 인공지능이나 영상분석을 위한 학습 데이터를 생성한다(S720 ~ S750). 이의 과정에서 사전에 기저장한 주석 검출 데이터나 모델이 있는 경우, 새로운 입력 데이터에 대하여 기저장한 주석 검출 데이터를 자동으로 적용한 후 이를 수정하여 해당 입력 데이터에 대한 주석 데이터를 생성하여 데이터베이스화할 수 있다(S730, S750).
이와 같은 과정으로 인공지능이나 영상분석을 위한 모델이 개발될 수 있으며(S760), 가령 이에 활용하기 위한 학습 데이터가 확보될 수 있으며, 해당 개발 모델을 통해 입력 데이터의 관심 영역이나 마커의 검출이 이루어질 수 있다(S770). 다시 말해, 위의 S740 단계에서 확보되는 학습 데이터를 근거로 관심 영역이나 마커 검출 부위에 대한 학습을 수행하여 그에 대한 판단 결과를 출력할 수 있다.
상기한 내용 이외에도 도 7의 학습 데이터 생성장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 의료 단말장치 110: 통신망
120, 120': 학습 데이터 생성장치 200: 통신 인터페이스부
210: 제어부 220: 학습데이터처리부
230: 저장부 300: 데이터 수집부
310: 데이터 처리부 320: 학습모델부
330: 데이터처리 최적화부 340: 학습결과 출력부
350: 데이터 입력부 360: 판단결과 출력부

Claims (11)

  1. 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부; 및
    상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부;를 포함하되,
    상기 제어부는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합(set)을 생성하고, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하며,
    상기 제어부는, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하고, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하며,
    상기 제어부는, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 것을 특징으로 하는 학습 데이터 생성장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 것을 특징으로 하는 학습 데이터 생성장치.
  5. 삭제
  6. 데이터 수신부가, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계; 및
    제어부가, 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계;를 포함하되,
    상기 학습 데이터를 확보하는 단계는,
    상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합을 생성하고, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하며,
    상기 제어부가, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하고, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 단계; 및
    상기 제어부가, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 단계;를
    더 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 제어부가, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  10. 삭제
  11. 학습 데이터 생성장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 학습 데이터 생성장치의 구동방법은,
    지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계; 및
    상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계;를 실행하되,
    상기 학습 데이터를 확보하는 단계는,
    상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합을 생성하고, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하며,
    기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하고, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 단계; 및
    상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 단계;를
    더 실행하는 것을 특징으로 하는 컴퓨터 판독가능 기록매체.
KR1020200084069A 2020-07-08 2020-07-08 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 KR102417531B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200084069A KR102417531B1 (ko) 2020-07-08 2020-07-08 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
CN202180049205.7A CN115943437A (zh) 2020-07-08 2021-06-03 训练数据产生装置、其驱动方法以及计算机可读记录介质
PCT/KR2021/006963 WO2022010106A1 (ko) 2020-07-08 2021-06-03 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
US18/014,141 US20230307129A1 (en) 2020-07-08 2021-06-03 Learning data generation device, method for driving same device, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200084069A KR102417531B1 (ko) 2020-07-08 2020-07-08 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20220006292A KR20220006292A (ko) 2022-01-17
KR102417531B1 true KR102417531B1 (ko) 2022-07-06

Family

ID=79553295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200084069A KR102417531B1 (ko) 2020-07-08 2020-07-08 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Country Status (4)

Country Link
US (1) US20230307129A1 (ko)
KR (1) KR102417531B1 (ko)
CN (1) CN115943437A (ko)
WO (1) WO2022010106A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074820B2 (ja) 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
KR101997479B1 (ko) * 2015-10-20 2019-10-01 삼성전자주식회사 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
JP7017198B2 (ja) * 2018-06-22 2022-02-08 株式会社Aiメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102175289B1 (ko) * 2018-10-12 2020-11-06 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
KR102128056B1 (ko) 2019-11-29 2020-07-07 주식회사 루닛 기계 학습 방법 및 장치
KR102081037B1 (ko) 2020-01-28 2020-02-24 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102413583B1 (ko) 2020-01-28 2022-06-27 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム

Also Published As

Publication number Publication date
KR20220006292A (ko) 2022-01-17
WO2022010106A1 (ko) 2022-01-13
US20230307129A1 (en) 2023-09-28
CN115943437A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US10839514B2 (en) Methods and systems for dynamically training and applying neural network analyses to medical images
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN101203170B (zh) 计算机辅助检测系统
CN107563123A (zh) 用于标注医学图像的方法和装置
CN106170799B (zh) 从图像提取信息以及将信息包括在临床报告中
US7786990B2 (en) Cursor mode display system and method
CN114365181B (zh) 使用机器学习自动检测和替换图像中的识别信息
US20210012504A1 (en) Encoder Regularization of a Segmentation Model
CN111369542A (zh) 血管标记方法、图像处理系统和存储介质
JP2020185374A (ja) 医療画像で病変の視覚化を補助する方法およびこれを利用した装置
KR20190103926A (ko) 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
Yang et al. AlignShift: bridging the gap of imaging thickness in 3D anisotropic volumes
CN114864035A (zh) 影像报告生成方法、装置、系统、设备及存储介质
CN118043861A (zh) Ai模型生产的自动化协作过程
KR102310599B1 (ko) 3차원 모델에 따른 스켈레톤 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN111816284B (zh) 医疗测试数据的批量生成方法、装置、设备及存储介质
KR102417531B1 (ko) 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
Lumetti et al. Annotating the Inferior Alveolar Canal: the Ultimate Tool
KR102310587B1 (ko) 연속된 이미지들에 대한 스켈레톤 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310588B1 (ko) 인공지능 학습을 위한 스켈레톤 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US20230138787A1 (en) Method and apparatus for processing medical image data
KR102578043B1 (ko) 메디컬 자료 관리 시스템, 관리 방법 및 이를 위한 프로그램
CN113744288B (zh) 用于生成经标注的样本图像的方法、设备和介质
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right