KR20210084127A - 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 - Google Patents

의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 Download PDF

Info

Publication number
KR20210084127A
KR20210084127A KR1020190177122A KR20190177122A KR20210084127A KR 20210084127 A KR20210084127 A KR 20210084127A KR 1020190177122 A KR1020190177122 A KR 1020190177122A KR 20190177122 A KR20190177122 A KR 20190177122A KR 20210084127 A KR20210084127 A KR 20210084127A
Authority
KR
South Korea
Prior art keywords
analysis result
medical image
neural network
artificial neural
user
Prior art date
Application number
KR1020190177122A
Other languages
English (en)
Other versions
KR102439845B1 (ko
Inventor
이재연
유동훈
장용진
서현기
Original Assignee
주식회사 코어라인소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어라인소프트 filed Critical 주식회사 코어라인소프트
Priority to KR1020190177122A priority Critical patent/KR102439845B1/ko
Priority to US17/130,669 priority patent/US20210202072A1/en
Publication of KR20210084127A publication Critical patent/KR20210084127A/ko
Priority to KR1020220108510A priority patent/KR102629045B1/ko
Application granted granted Critical
Publication of KR102439845B1 publication Critical patent/KR102439845B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

컴퓨팅 시스템을 포함하는 의료용 인공 신경망에 기반하여 의료 영상 판독을 지원하는 장치가 개시된다. 본 발명의 일 실시예에 따른 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고, 제1 분석 결과에 대한 사용자의 입력에 의한 사용자 피드백을 검출하고, 제1 분석 결과 및 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하고, 학습 조건을 충족하는 제1 분석 결과 및 상기 사용자 피드백을 스타일 학습 모델이 학습할 수 있도록 스타일 학습 모델에 전달한다.

Description

의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 {APPARATUS AND METHOD FOR MEDICAL IMAGE READING ASSISTANT PROVIDING USER PREFERENCED STYLE BASED ON MEDICAL USE ARTIFICIAL NEURAL NETWORK}
본 발명은 피검체의 의료 영상의 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 본 발명은 의료용 인공 신경망의 분석 결과를 이용하여 의료 영상의 판독을 지원하는 컴퓨팅 시스템 및 그 컴퓨팅 시스템에서 실행되는 소프트웨어에 관한 것이다.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 로봇산업핵심기술개발(R&D) 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 1415162041, 과제명: 중재시술 로봇시스템의 임상시험 실시를 통한 상용화 개발 및 제품의 경쟁력 강화를 위한 기술 고도화].
현재, 병변을 분석함으로써 진단에 이용하기 위하여 CT(computed tomography; 전산화 단층 촬영) 등의 의료 영상이 널리 이용되고 있다. 예를 들어, 흉부 CT 영상은 신체의 내부, 예컨대, 폐, 기관지, 심장 등의 이상을 관찰할 수 있어 판독용으로 빈번히 이용된다.
흉부 CT 영상을 통하여 판독될 수 있는 몇몇 소견들은 영상의학과 의사도 다년 간의 수련을 통하여야만 그 특징 및 형태를 구분해낼 수 있을 정도로 그 판독이 용이하지 않아 인간인 의사가 쉽게 간과할 수 있다. 특히, 폐결절(lung nodule)과 같이 그 판독의 난이도가 높으면 의사가 고도의 주의를 기울여도 미처 보지 못하고 지나치는 경우가 발생할 수 있어 문제가 되기도 한다.
이 같이 인간이 쉽게 간과할 수 있는 영상의 판독을 보조하기 위하여, 컴퓨터 보조 진단(CAD; computer aided diagnosis)의 필요성이 대두되었는데, 종래의 CAD 기술은 매우 한정된 영역에서 의사의 판단을 보조함에 그친다. 예를 들어, 한국공개특허 KR 10-2014-0091176호 및 미국등록특허 US 9,773,305에는, 종래의 병변 진단을 보조하기 위한 장치 및 방법이 개시되어 있다.
의료 영상 분할(medical image segmentation)에서도 인간의 육안으로 놓치기 쉬운 영상 내 특징을 찾아 분할하는 인공 신경망 기술 등이 도입되었으며, 예를 들어 미국공개특허 US 2019/0205606호 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" 등이 인공 신경망을 이용하여 의료 영상을 분할하는 기술을 개시한다.
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류의 병변을 검출하는 데에 이용될 수 있다.
CAD 기술은 의사가 의료 영상을 판독할 수 있도록 지원하기 위하여 부분적으로 사전 완성된 분석 결과를 제공할 수 있다. 최근의 의료 현장에서는 의사는 CAD 기술이 제공하는 분석 결과를 리뷰하고, CAD 분석 결과에 기반하여 진단 결과를 제공할 수 있다. 또한 영상 분할(image segmentation) 기술 역시 의료 영상을 분할한 후, 의사가 영상 분할 결과를 리뷰하고 후속 과정을 진행하거나 진단 결과를 제공할 수 있다.
따라서 인공지능 진단을 기반으로 하여 의사결정 지원 시스템, CAD 시스템, 또는 영상 분할 엔진에 전문가 분석을 결합하여 진단 결과의 신뢰성을 높이려는 시도가 이루어지고 있다. 예를 들어, 한국등록특허 KR 10-1818074 "인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템"에서는 호스트에서 인공지능 기반으로 진단된 제1 진단 결과를 획득하고, 제1 진단 결과에 대한 사용자 입력을 획득하며, 사용자 입력을 반영한 제2 진단 결과를 생성하고, 제1 진단 결과에 대응하는 제2 진단 결과를 호스트에 제공하는 선행기술이 개시된다.
선행기술은 CAD 엔진에 의하여 자동으로 검출된 병변 영역 정보, 및/또는 사용자에 의하여 추가 또는 수정되는 영역 정보, 사용자에 의하여 삭제되는 병변 진단 정보를 별개의 레이어로 구분하여 저장한다. 또한 사용자에 의하여 제1 진단 결과에 기반하여 수행된 제2 진단 결과는 CAD 엔진의 재학습, 또는 재진단을 위한 데이터베이스를 구성할 수 있다. 선행기술은 CAD 엔진에 대하여 주로 개시되었지만 유사한 내용이 영상 분할 엔진, 또는 의사결정 지원 시스템에도 적용될 수 있을 것이다.
선행기술들은 CAD 엔진 또는 영상 분할 엔진에 의하여 자동으로 검출되거나 분할된 일차 분석/분할/진단 정보에 사용자에 의하여 추가 또는 수정되는 정보를 추적할 수 있는 인프라를 제공하고, 이 분석/분할/진단 결과를 재학습 또는 재분석/재분할/재진단할 수 있도록 지원하는 인프라를 제공할 수 있다. 하지만 실제 의료 현장에서 제공된 CAD 엔진 또는 영상 분할 엔진의 재학습에 의하여 정확도가 항상 개선되리라는 보장은 없으므로 의료 현장의 CAD 엔진 또는 영상 분할 엔진에 대한 신뢰도를 높이기 위한 추가적인 조치가 필요하다.
한국공개특허 KR 10-2014-0091176호 "병변 진단 장치 및 방법" (2014.07.21) 미국등록특허 US 9,773,305호 "Lesion diagnosis apparatus and method" (2017.09.26) 미국공개특허 US 2019/0205606호 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" (2019.07.04) 한국등록특허 KR 10-1818074호 "인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템" (2018.01.08)
의료 영상의 분할(segmentation), 병변 검출(lesion detection), 진단(diagnosis), 소견(findings)을 출력하는 컴퓨터 보조 진단(CAD) 또는 의사결정 지원 시스템은 인공 신경망을 이용함으로써 비약적으로 정확도가 개선되었다. 그러나 정확도가 여전히 100%가 아닌 이상, 영상의(radiologist) 또는 임상의(clinician)가 인공 신경망에 의한 의료 영상의 제1 분석 결과를 리뷰하고, 제1 분석 결과를 수정하거나 보완하는 사용자 피드백을 반영한 사용자 수정 분석 결과를 생성하는 방식의 진단이 실제 의료 현장에서 이루어지고 있다.
한국등록특허 KR 10-1818074호 "인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템"과 같은 선행기술들은 인공 신경망 기반 CAD 엔진에 의하여 자동으로 검출한 병변 영역 정보를 사용자인 의사가 리뷰하고 수정한 최종 진단 결과를 인공 신경망 기반 CAD 엔진에 다시 입력하고 재학습하여 인공 신경망 기반 CAD 엔진의 정확도를 개선하는 시도를 제안하고 있다.
그러나, 최근 인공 신경망 기술의 급속한 발전을 가져온 합성곱 신경망(CNN, Convolutional Neural Network) 등은 내부에서 어떤 추론이 이루어지는 지를 외부에서 알 수 없는 블랙박스에 가까운 구성을 취하고 있어 재학습 과정에서 반드시 인공 신경망 CAD 엔진의 정확도가 개선된다는 보장이 없다.
선행기술들은 의사의 수정에 의한 사용자 피드백에 대한 아무런 평가 또는 판정 없이 그대로 데이터베이스에 저장하고 재학습하기 때문에, 실제로는 재학습이 필요한 경우가 아닌 경우에도 재학습이 이루어지면서 기존의 인공 신경망 기반 CAD 엔진의 정확도를 도리어 저하시키는 요인이 될 수 있다.
본 발명은 제1 분석 결과를 생성하는 제1 인공 신경망과, 사용자 피드백을 입력받아 학습하는 스타일 학습 모델을 분리하여, 제1 인공 신경망의 CAD 엔진으로서의 기존의 성능에 직접적으로 영향을 주지 않으면서 사용자 피드백에 따른 부가적인 성능 개선을 기대할 수 있는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
사용자인 의사가 제1 분석 결과를 실질적으로는 승인하였지만, 제1 분석 결과를 시각적으로 표현하는 과정에서 선호되는 스타일링 패턴이 있을 수 있다. 예를 들어, 제1 분석 결과가 혈관의 분할(vessel segmentation)인 경우, 제1 인공 신경망은 혈관의 안쪽 영역만을 분할하여 나타내는데, 사용자는 혈관의 벽까지 포함하여 분할 결과로서 시각화하는 것을 선호할 수 있다.
또한 브레스트(breast)의 경우, 제1 인공 신경망은 피부 안쪽의 조직만을 분할하여 나타내는데, 사용자는 피부 조직까지 포함하여 분할 결과로서 시각화하는 것을 선호할 수 있다.
따라서 본 발명은 스타일 학습 모델이 사용자가 선호하는 스타일링 패턴을 학습하고, 제1 인공 신경망의 제1 분석 결과에 대응하는 사용자 선호 스타일이 반영된 제2 분석 결과를 스타일 학습 모델이 제공하는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
본 발명은 제1 인공 신경망 기반의 CAD 엔진과 독립적으로 구성되고 학습하는 스타일 학습 모델에 의하여 사용자가 선호하는 스타일링 패턴을 학습할 수 있는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
본 발명은 제1 분석 결과에 대한 사용자 피드백을 검출하고, 사용자 피드백을 스타일 학습 모델이 학습할 것인지 여부를 결정하며, 스타일 학습 모델이 학습하도록 분류된 사용자 피드백 및 그에 대응하는 제1 분석 결과를 스타일 학습 모델이 학습하는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
본 발명은 제1 분석 결과에 대한 사용자 피드백을 스타일 학습 모델이 학습할 것인지 여부를 결정하는 판단 기준을 제시하는 것을 목적으로 한다.
본 발명은 제1 분석 결과에 대한 사용자 피드백에 기반하여 제1 분석 결과를 의사인 사용자가 수용한 것인지 여부를 평가하고, 제1 분석 결과를 사용자가 수용한 경우에 제1 분석 결과 및 사용자 피드백을 스타일 학습 모델이 학습하는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
본 발명은 제1 분석 결과에 대한 사용자 선호 스타일을 반영한 제2 분석 결과를 생성할 때 제1 분석 결과를 제공하는 제1 인공 신경망의 내부 레이어의 정보를 부분적으로 이용할 수 있는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다.
본 발명은 제1 분석 결과에 대한 사용자 선호 스타일을 반영한 제2 분석 결과를 생성할 때 제1 분석 결과의 기반이 되는 제1 의료 영상을 수신하고, 제1 의료 영상의 바디파트(body part), 장기(organ) 등의 문맥 정보(context information)에 기반하여 스타일 학습 모델이 세분화된 스타일링 결과를 제공할 수 있는 인공 신경망 기반 의료 영상 판독 지원 시스템을 제안하는 것을 목적으로 한다. 이때 스타일 학습 모델은 문맥 정보에 기반하여 사용자 선호 스타일을 세분화하여 학습할 수 있다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 의료용 인공 신경망에 기반하여 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고, 상기 제1 분석 결과에 대한 사용자의 입력에 의한 사용자 피드백을 검출하고, 상기 제1 분석 결과 및 상기 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하고, 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 스타일 학습 모델이 학습할 수 있도록 상기 스타일 학습 모델에 전달한다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과에 대한 상기 사용자 피드백에 기반하여 생성되는 사용자 수정 제1 분석 결과와 상기 제1 분석 결과 간의 유사도, 상기 제1 분석 결과 및 상기 사용자 수정 제1 분석 결과 간의 차이 영역의 크기, 상기 차이 영역의 형태, 및 상기 차이 영역의 상기 제1 의료 영상 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 지 여부를 판정할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과의 제1 바운더리가 포함하는 픽셀 또는 복셀의 제1 집합과, 상기 사용자 수정 제1 분석 결과의 사용자 수정 제1 바운더리가 포함하는 픽셀 또는 복셀의 수정된 제1 집합 간의 하우스도르프 거리(Hausdorff distance), 및 상기 제1 바운더리에 의하여 둘러싸이는 영역의 제1 면적 또는 제1 체적, 및 상기 사용자 수정 제1 바운더리에 의하여 둘러싸이는 영역의 수정된 제1 면적 또는 수정된 제1 체적 간의 비율 중 적어도 하나 이상에 기반하여 상기 사용자 수정 제1 분석 결과와 상기 제1 분석 결과 간의 유사도를 판정할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과에 대한 상기 사용자 피드백에 기반하여 상기 제1 분석 결과를 상기 사용자가 수용한 것인지 여부를 평가하고, 상기 제1 분석 결과를 상기 사용자가 수용한 경우에 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 것으로 판정할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과에 대하여 상기 사용자가 수용할 것인 지 여부를 예측한 예측 결과를 수신하고, 상기 예측 결과에 기반하여 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 지 여부를 판정할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 수신하고, 상기 예비적 제1 분석 결과를 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백과 함께 상기 스타일 학습 모델에 전달하여 상기 스타일 학습 모델이 상기 제1 분석 결과, 상기 예비적 제1 분석 결과, 및 상기 사용자 피드백 간의 관계를 학습할 수 있도록 상기 스타일 학습 모델의 훈련을 제어할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 의료 영상이 포함하는 바디파트(body part), 및 장기(organ) 정보를 포함하는 문맥 정보(context information)에 기반하여 상기 스타일 학습 모델이 상기 제1 분석 결과 및 상기 사용자 피드백 간의 관계를 학습할 수 있도록 상기 스타일 학습 모델의 훈련을 제어할 수 있다.
상기 스타일 학습 모델은 제2 인공 신경망이고, 상기 컴퓨팅 시스템은 상기 제2 인공 신경망을 더 포함할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망이 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백 간의 관련성을 학습하도록 상기 제2 인공 신경망의 훈련을 제어할 수 있다.
상기 컴퓨팅 시스템은 외부의 상기 제1 인공 신경망과 데이터를 송수신하는 통신 모듈을 더 포함할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 통신 모듈을 경유하여 상기 제1 의료 영상에 대한 상기 제1 인공 신경망의 추론에 의하여 얻어지는 상기 제1 분석 결과를 획득하거나 수신할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 의료 영상의 상기 제1 분석 결과에 대한 상기 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 제공할 수 있고, 상기 제1 사용자 메뉴를 경유하여 상기 제1 분석 결과를 상기 사용자가 승인한 경우에 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 것으로 판정할 수 있다.
본 발명의 일 실시예에 따른 의료용 인공 신경망에 기반하여 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고, 스타일 학습 모델이 상기 제1 분석 결과에 대하여 제2 분석 결과를 생성하도록 상기 스타일 학습 모델을 제어하고, 상기 제1 의료 영상 및 상기 제2 분석 결과를 함께 시각화하여 사용자에게 제공한다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과 및 상기 제2 분석 결과의 비교 결과에 기반하여 상기 제2 분석 결과가 상기 제1 의료 영상에 대한 분석 결과로서 유효한 지 여부를 검증할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 분석 결과와 상기 제2 분석 결과 간의 유사도, 상기 제1 분석 결과 및 상기 제2 분석 결과 간의 차이 영역의 크기, 상기 차이 영역의 형태, 및 상기 차이 영역의 상기 제1 의료 영상 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 상기 제2 분석 결과가 상기 제1 의료 영상에 대한 분석 결과로서 유효한 지 여부를 검증할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 의료 영상과 연계하여, 상기 제1 분석 결과 및 상기 제2 분석 결과를 함께 비교할 수 있도록 시각화하여 상기 사용자에게 제공할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 수신하고, 상기 제1 의료 영상 및 상기 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 상기 스타일 학습 모델에 전달하고, 상기 스타일 학습 모델이 상기 제1 분석 결과, 상기 예비적 제1 분석 결과, 및 상기 제1 의료 영상을 입력으로 하는 추론 과정에 기반하여 상기 제2 분석 결과를 생성하도록 상기 스타일 학습 모델의 추론을 제어할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 의료 영상을 상기 제1 분석 결과와 함께 상기 스타일 학습 모델에 전달하고, 상기 스타일 학습 모델이 상기 제1 분석 결과 및 상기 제1 의료 영상을 입력으로 하는 추론 과정을 수행하되 상기 제1 의료 영상이 포함하는 바디파트(body part), 및 장기(organ) 정보를 포함하는 문맥 정보(context information)에 기반하여 상기 제2 분석 결과를 생성하도록 상기 스타일 학습 모델의 추론을 제어할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 컴퓨팅 시스템에 의하여 실행되고, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 본 발명의 방법은 상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계; 상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과에 대한 사용자의 입력에 의한 사용자 피드백을 검출하는 단계; 상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과 및 상기 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하는 단계; 및 상기 적어도 하나 이상의 프로세서가, 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 스타일 학습 모델이 학습할 수 있도록 상기 스타일 학습 모델에 전달하는 단계를 포함한다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 컴퓨팅 시스템에 의하여 실행되고, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 본 발명의 방법은 상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계; 상기 적어도 하나 이상의 프로세서가, 스타일 학습 모델이 상기 제1 분석 결과에 대하여 제2 분석 결과를 생성하도록 상기 스타일 학습 모델을 제어하는 단계; 및 상기 적어도 하나 이상의 프로세서가, 상기 제1 의료 영상 및 상기 제2 분석 결과를 함께 시각화하여 사용자에게 제공하는 단계를 포함한다.
본 발명의 인공 신경망 기반 의료 영상 판독 지원 시스템에 따르면 제1 분석 결과를 생성하는 제1 인공 신경망과, 사용자 피드백을 입력받아 학습하는 스타일 학습 모델을 분리할 수 있다. 본 발명은 제1 인공 신경망의 CAD 엔진으로서의 기존의 성능에 직접적으로 영향을 주지 않으면서 사용자 피드백에 따른 부가적인 성능 개선을 기대할 수 있다.
본 발명에 따르면 스타일 학습 모델이 사용자가 선호하는 스타일링 패턴을 학습할 수 있다. 본 발명은 제1 인공 신경망의 제1 분석 결과에 대응하는 사용자 선호 스타일이 반영된 제2 분석 결과를 스타일 학습 모델이 제공할 수 있다.
본 발명에 따르면 제1 인공 신경망 기반의 CAD 엔진과 독립적으로 구성되고 학습하는 스타일 학습 모델에 의하여 사용자가 선호하는 스타일링 패턴을 학습할 수 있다.
본 발명에 따르면 제1 분석 결과에 대한 사용자 피드백을 검출하고, 사용자 피드백을 스타일 학습 모델이 학습할 것인지 여부를 결정하며, 스타일 학습 모델이 학습하도록 분류된 사용자 피드백 및 그에 대응하는 제1 분석 결과를 스타일 학습 모델이 학습할 수 있다.
본 발명에 따르면 제1 분석 결과에 대한 사용자 피드백을 스타일 학습 모델이 학습할 것인지 여부를 결정하는 판단 기준을 제시할 수 있다.
본 발명에 따르면 제1 분석 결과에 대한 사용자 피드백에 기반하여 제1 분석 결과를 의사인 사용자가 수용한 것인지 여부를 평가하고, 제1 분석 결과를 사용자가 수용한 경우에 제1 분석 결과 및 사용자 피드백을 스타일 학습 모델이 학습할 수 있다.
본 발명에 따르면 제1 분석 결과에 대한 사용자 선호 스타일을 반영한 제2 분석 결과를 생성할 때 제1 분석 결과를 제공하는 제1 인공 신경망의 내부 레이어의 정보를 부분적으로 이용할 수 있다.
본 발명에 따르면 제1 분석 결과에 대한 사용자 선호 스타일을 반영한 제2 분석 결과를 생성할 때 제1 분석 결과의 기반이 되는 제1 의료 영상을 수신하고, 제1 의료 영상의 바디파트(body part), 장기(organ) 등의 문맥 정보(context information)에 기반하여 스타일 학습 모델이 세분화된 스타일링 결과를 제공할 수 있다. 이때 스타일 학습 모델은 문맥 정보에 기반하여 사용자 선호 스타일을 세분화하여 학습할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료용 인공 신경망 기반 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 7과 도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
이러한 인공 신경망 기술이 적용되어 의료 영상 내에서 인간의 육안으로 식별하기 어려운 질환이나 병변을 검출하고, 특정 조직 등 관심 영역을 분할하며(segmentation), 분할된 영역에 대한 측정 등 분석 과정을 수행할 수 있을 것으로 기대된다.
본 발명은 이러한 인공 신경망 기술이 적용된 다양한 분석 기술을 인간 전문가가 판독할 수 있는 가장 적절한 형태로 시각화하며, 사용자 선호 스타일을 반영한 형태로 시각화하는 구성을 제공하는 의료 영상 판독 지원 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(100)을 포함하며 상기 컴퓨팅 시스템(100)은 적어도 하나 이상의 프로세서(130)를 포함한다. 컴퓨팅 시스템(100)은 스타일 학습 모델(120)을 더 포함할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 의료 영상(150)에 대한 제1 인공 신경망(110)의 추론에 의하여 얻어지는 제1 분석 결과(112)를 획득하거나 수신하고, 스타일 학습 모델(120)과 협력하여 제1 분석 결과(112)에 기반하여 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성하고, 제1 의료 영상(150) 및 제2 분석 결과(160)가 화면에 디스플레이되는 시각화 정보(162)를 생성한다. 적어도 하나 이상의 프로세서(130)는 스타일 학습 모델(120)이 제1 분석 결과(112)에 대하여 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성하도록 스타일 학습 모델(120)을 제어할 수 있다.
사용자인 의사가 제1 분석 결과(112)를 실질적으로는 승인하였지만, 제1 분석 결과(112)를 시각적으로 표현하는 과정에서 선호되는 스타일링 패턴이 있을 수 있다. 예를 들어, 제1 분석 결과(112)가 혈관의 분할(vessel segmentation)인 경우, 제1 인공 신경망(110)은 혈관의 안쪽 영역만을 분할하여 나타낼 수 있다. 이때 사용자는 혈관의 벽까지 포함하여 분할 결과로서 시각화하는 것을 선호할 수 있다.
또한 브레스트(breast)의 경우, 제1 인공 신경망(110)은 피부 안쪽의 조직만을 분할하여 나타낼 수 있다. 이때 사용자는 피부 조직까지 포함하여 분할 결과로서 시각화하는 것을 선호할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및/또는 시스템의 컴퓨팅 시스템(100) 내의 스타일 학습 모델(120)이 사용자 선호 스타일을 반영하여 제1 분석 결과(112)가 수정된 제2 분석 결과(160)를 제공하기 위하여, 스타일 학습 모델(120)은 사용자가 선호하는 스타일링 패턴을 학습할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및/또는 시스템에서는 제1 분석 결과(112)를 생성하는 제1 인공 신경망(110)과 사용자 피드백을 입력받아 학습하는 스타일 학습 모델(120)이 분리된다. 스타일 학습 모델(120)은 제1 인공 신경망(110)과 독립적으로 구성되고 학습할 수 있다. 스타일 학습 모델(120)의 학습 과정 및 학습 결과는 제1 인공 신경망(110)의 성능에 직접적으로 영향을 주지 않는다. 물론 스타일 학습 모델(120)의 학습 과정 및 학습 결과를 향후 제1 인공 신경망(110)의 재학습을 위한 레퍼런스 데이터로 이용할 수는 있으나, 제1 인공 신경망(110)이 재학습을 거친 이후에는 본 발명에서 언급하는 제1 인공 신경망(110)과는 전혀 다른 성능을 가질 것이므로 본 발명에서는 제1 인공 신경망(110)의 재학습에 대해서는 더 이상 다루지 않는다.
제1 인공 신경망(110)은 미리 결정된 훈련용 의료 영상 집합을 입력받아 의료 영상에 대한 분석을 수행하도록 학습된 인공 신경망이다. 제1 인공 신경망(110)은 학습이 종료된 후 의료 현장에 설치되며, 의료 현장에서 off-line 상태로 본 발명의 컴퓨팅 시스템(100)과 협력할 수 있다. 스타일 학습 모델(120)의 학습 과정은 의료 현장에서 on-line 상태로 사용자 선호 스타일을 학습할 수 있다. 스타일 학습 모델(120)은 제1 인공 신경망(110)의 분석 성능에 영향을 주지 않으며, 사용자의 선호 스타일을 학습하여 제1 인공 신경망(110)의 제1 분석 결과(112)에 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성한다.
적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)에 대한 사용자 피드백을 검출하고, 사용자 피드백을 스타일 학습 모델(120)이 학습하도록 스타일 학습 모델(120)을 제어할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)에 대한 사용자 피드백을 스타일 학습 모델(120)이 학습할 지 여부를 결정할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112) 및 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정할 수 있다.
학습 조건을 충족하는 제1 분석 결과(112) 및 사용자 피드백, 즉, 스타일 학습 모델(120)이 학습하도록 분류된 사용자 피드백 및 그에 대응하는 제1 분석 결과(112)를 스타일 학습 모델(120)이 학습할 수 있도록 적어도 하나 이상의 프로세서(130)가 스타일 학습 모델(120)에 전달할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및/또는 시스템은 제1 분석 결과(112)에 대한 사용자 피드백을 스타일 학습 모델(120)이 학습할 것인지 여부를 결정하는 판단 기준을 제시할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)에 대한 사용자 피드백에 기반하여 생성되는 사용자 수정 제1 분석 결과와 제1 분석 결과(112) 간의 유사도, 제1 분석 결과(112) 및 사용자 수정 제1 분석 결과 간의 차이 영역의 크기, 차이 영역의 형태, 및 차이 영역의 제1 의료 영상(150) 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 제1 분석 결과(112) 및 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정할 수 있다.
예를 들어 제1 분석 결과(112)가 혈관 분할 결과인 경우, 사용자 수정 혈관 분할 결과와 제1 분석 결과(112) 간의 유사도를 픽셀 또는 복셀에 기반하여 계산할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)의 제1 바운더리가 포함하는 픽셀 또는 복셀의 제1 집합과, 사용자 수정 제1 분석 결과의 사용자 수정 제1 바운더리가 포함하는 픽셀 또는 복셀의 수정된 제1 집합 간의 하우스도르프 거리(Hausdorff distance), 및 제1 바운더리에 의하여 둘러싸이는 영역의 제1 면적 또는 제1 체적, 및 사용자 수정 제1 바운더리에 의하여 둘러싸이는 영역의 수정된 제1 면적 또는 수정된 제1 체적 간의 비율 중 적어도 하나 이상에 기반하여 사용자 수정 제1 분석 결과와 제1 분석 결과(112) 간의 유사도를 판정할 수 있다.
사용자 수정 혈관 분할 결과와 제1 분석 결과(112) 간의 차이 영역을 산출하고, 차이 영역의 형태, 및/또는 차이 영역의 크기에 기반하여 제1 분석 결과(112)에 대한 사용자 피드백이 제1 분석 결과(112)를 의사인 사용자가 수용한 것인지 여부를 판단할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112) 뿐만 아니라 제1 의료 영상(150)을 수신할 수 있으므로, 차이 영역의 제1 의료 영상(150) 내의 밝기 값 분포에 기반하여 차이 영역이 나타내는 해부학적 특성을 추출할 수 있다. 예를 들어, 사용자 혈관 분할 결과와 제1 분석 결과(112) 간의 차이 영역이 매우 좁고 긴 형태이며, 그 길이에 비하여 면적 또는 부피가 작고, 제1 의료 영상(150) 내의 밝기 값 분포를 고려할 때 혈관 벽에 해당한다고 판단된 경우를 가정할 수 있다. 이때 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)를 사용자가 사실상 수용한 것이며, 단지 혈관 벽이 제1 분석 결과(112)에 포함되거나 제1 분석 결과(112)로부터 제외되도록 사용자가 수정한 것이라고 판정할 수 있다. 이 때에는 제1 분석 결과(112)에 대한 사용자 선호 스타일이 명백하게 존재하는 경우로 볼 수 있으므로, 적어도 하나 이상의 프로세서(130)는 사용자 피드백 및 사용자 피드백에 대응하는 제1 분석 결과(112)를 스타일 학습 모델(120)로 전달하고, 스타일 학습 모델(120)이 제1 분석 결과(112) 및 사용자 피드백 간의 관련성을 학습하도록 스타일 학습 모델(120)을 제어할 수 있다. 이때 스타일 학습 모델(120)은 제1 분석 결과(112) 및 사용자 피드백 간의 관련성을 학습할 수도 있고, 제1 분석 결과(112) 및 사용자 수정 분석 결과 간의 관련성을 학습할 수도 있다.
적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)에 대한 사용자 피드백에 기반하여 제1 분석 결과(112)를 사용자가 수용한 것인지 여부를 평가하고, 제1 분석 결과(112)를 사용자가 수용한 경우에 제1 분석 결과(112) 및 사용자 피드백이 학습 조건을 충족하는 것으로 판정할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)를 사용자가 수용한 경우에 제1 분석 결과(112) 및 사용자 피드백을 스타일 학습 모델(120)이 학습하도록 스타일 학습 모델(120)을 제어할 수 있다. 즉, 사용자 피드백이 검출되고, 사용자 피드백에 대한 분석에 기반하여 사용자의 의도는 제1 분석 결과(112)를 대체로 수용하는 한편, 제1 분석 결과(112)에 대한 마이너한 스타일 변화를 의도한 것이라고 판정될 때에 스타일 학습 모델(120)이 사용자 피드백과 제1 분석 결과(112)를 학습할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및/또는 시스템에서는, 제1 분석 결과(112)에 대하여 사용자가 수용할 것인지에 대한 별도의 평가용 인공 신경망(도시되지 않음)을 포함할 수 있다. 평가용 인공 신경망은 컴퓨팅 시스템(100) 내에 포함될 수 있으며, 제1 인공 신경망(110)과는 독립적으로 학습하고 추론할 수 있다. 평가용 인공 신경망은 제1 인공 신경망(110)이 제공하는 훈련용 분석 결과를 수신하고, 훈련용 분석 결과에 대한 사용자의 평가 결과를 수신하여 훈련용 분석 결과와 그에 대한 사용자의 평가 결과 간의 관련성을 학습할 수 있다. 이때 사용자의 평가 결과는 훈련용 분석 결과에 대한 승인 또는 거부를 포함할 수 있다. 제1 인공 신경망(110)의 제1 분석 결과(112)를 적어도 하나 이상의 프로세서(130)가 평가용 인공 신경망에 전달하면, 평가용 인공 신경망은 제1 분석 결과(112)에 대한 추론을 통하여 제1 분석 결과(112)에 대한 사용자의 평가 결과를 예측할 수 있다. 예를 들어, 평가용 인공 신경망은 제1 분석 결과(112)를 사용자가 승인할 것으로 예측하거나, 거부할 것으로 예측할 수 있다. 이때 평가용 인공 신경망은 제1 인공 신경망(110)과 독립적으로 훈련하고 추론하므로, 평가용 인공 신경망의 훈련 및 추론은 제1 인공 신경망(110)의 성능에 직접적으로 영향을 미치지 않는다. 다만 평가용 인공 신경망의 추론을 향후 제1 인공 신경망(110)에 피드백하여 제1 인공 신경망(110)의 재학습을 지원하는 수단이 될 수는 있다.
적어도 하나 이상의 프로세서(130)는 평가용 인공 신경망으로부터 제1 분석 결과(112)에 대하여 사용자가 수용할 것인 지 여부를 예측한 예측 결과를 수신하고, 평가용 인공 신경망의 예측 결과에 기반하여 제1 분석 결과(112) 및 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 인공 신경망(110)의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과(도시되지 않음)를 제1 분석 결과(112)와 함께 수신하고, 예비적 제1 분석 결과(도시되지 않음)를 학습 조건을 충족하는 제1 분석 결과(112) 및 사용자 피드백과 함께 스타일 학습 모델(120)에 전달하여 스타일 학습 모델(120)이 제1 분석 결과(112), 예비적 제1 분석 결과(도시되지 않음), 및 사용자 피드백 간의 관계를 학습할 수 있도록 스타일 학습 모델(120)의 훈련을 제어할 수 있다.
스타일 학습 모델(120)이 학습하기로 결정된 사용자 피드백에 대해서는, 사용자 피드백에 대응하는 제1 분석 결과(112)의 제1 인공 신경망(110)의 내부의 최종 레이어 이전의 출력을 추가로 적어도 하나 이상의 프로세서(130)가 수신하여, 제1 분석 결과(112), 제1 의료 영상(150), 및 사용자 피드백과 함께 스타일 학습 모델(120)에 전달할 수 있다. 제1 인공 신경망(110)에서 모양을 결정하는 최종 레이어의 이전과 이후의 정보를 모두 스타일 학습 모델(120)이 수신하며, 제1 인공 신경망(110)에서 모양을 결정하는 최종 레이어의 역할을 스타일 학습 모델(120)이 대신하여 수행하는 형태가 될 수 있다. 또한 스타일 학습 모델(120)이 제1 인공 신경망(110)의 제1 분석 결과(112) 뿐만 아니라, 그 전의 제1 인공 신경망(110) 내부에서 보유한 정보를 추가적으로 수신하고 사용자 선호 스타일을 학습하는 과정에서 이용하는 것으로 이해할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 의료 영상이 포함하는 바디파트(body part), 및 장기(organ) 정보를 포함하는 문맥 정보(context information)에 기반하여 스타일 학습 모델(120)이 제1 분석 결과(112) 및 사용자 피드백 간의 관계를 학습할 수 있도록 스타일 학습 모델(120)의 훈련을 제어할 수 있다.
컴퓨팅 시스템(100)은 외부의 제1 인공 신경망(110)과 데이터를 송수신하는 통신 모듈(140)을 더 포함할 수 있다. 적어도 하나 이상의 프로세서(130)는 통신 모듈(140)을 경유하여 제1 의료 영상(150)에 대한 제1 인공 신경망(110)의 추론에 의하여 얻어지는 제1 분석 결과(112)를 획득하거나 수신할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 의료 영상(150)의 제1 분석 결과(112)에 대한 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 제공할 수 있고, 제1 사용자 메뉴를 경유하여 제1 분석 결과(112)를 사용자가 승인한 경우에 제1 분석 결과(112) 및 사용자 피드백이 학습 조건을 충족하는 것으로 판정할 수 있다. 본 발명의 일 실시예에 따르면, 제1 분석 결과(112)에 대한 승인 여부가 사용자 피드백에 포함되도록 사용자 메뉴를 구성할 수도 있다. 이때 사용자가 제1 분석 결과(112)를 일단 승인하지만 사용자 선호 스타일에 맞게 수정할 수 있도록 UI를 구성하고, 사용자가 제1 분석 결과(112)를 승인하였으므로 이후의 사용자 피드백은 사용자 선호 스타일에 해당한다고 가정할 수 있다. 적어도 하나 이상의 프로세서(130)의 제어에 의하여, 스타일 학습 모델(120)이 사용자 선호 스타일의 패턴을 추출하여 학습할 수 있다.
사용자 선호 스타일을 학습한 스타일 학습 모델(120)은 적어도 하나 이상의 프로세서(130)의 제어에 의하여 제1 분석 결과(112)에 대한 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성할 수 있다.
스타일 학습 모델(120)이 제공하는 제2 분석 결과(160)가 제1 분석 결과(112)로부터 크게 벗어나지 않고 스타일링 패턴의 수정으로서 유효한 지 여부를 검증하는 과정이 추가될 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112) 및 제2 분석 결과(160)의 비교 결과에 기반하여 제2 분석 결과(160)가 제1 의료 영상(150)에 대한 분석 결과로서 유효한 지 여부를 검증할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)와 제2 분석 결과(160) 간의 유사도, 제1 분석 결과(112) 및 제2 분석 결과(160) 간의 차이 영역의 크기, 차이 영역의 형태, 및 차이 영역의 제1 의료 영상(150) 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 제2 분석 결과(160)가 제1 의료 영상(150)에 대한 분석 결과로서 유효한 지 여부를 검증할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 의료 영상(150)과 연계하여, 제1 분석 결과(112) 및 제2 분석 결과(160)를 함께 비교할 수 있도록 시각화하여 사용자에게 제공할 수 있다. 이때 사용자 선호 스타일의 학습에 따른 스타일 학습 모델(120)의 추론에 의하여 얻어지는 제2 분석 결과(160)를 제1 분석 결과(112)와 함께 제공하여, 사용자가 제1 분석 결과(112) 또는 제2 분석 결과(160) 중 어느 하나를 선택하도록 할 수도 있다. 사용자가 제2 분석 결과(160)를 승인한 경우, 이는 제1 분석 결과(112)에 대한 승인이면서 동시에 제2 분석 결과(160)가 사용자 선호 스타일을 적절하게 반영하였다는 검증을 통과한 것으로 이해할 수 있다. 즉, 사용자의 승인에 의하여 제1 분석 결과(112)에 대한 승인과 제2 분석 결과(160)가 유효한 스타일링 수정인 지 여부를 검증하는 과정을 동시에 대체하는 것으로 이해할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 시스템 및/또는 장치는 제1 분석 결과(112)에 대한 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성할 때 제1 분석 결과(112)를 제공하는 제1 인공 신경망(110)의 내부 레이어의 정보를 부분적으로 이용할 수 있다. 적어도 하나 이상의 프로세서(130)는 제1 인공 신경망(110)의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과(도시되지 않음)를 제1 분석 결과(112)와 함께 수신하고, 제1 의료 영상(150) 및 예비적 제1 분석 결과를 제1 분석 결과(112)와 함께 스타일 학습 모델(120)에 전달하고, 스타일 학습 모델이 제1 분석 결과(112), 예비적 제1 분석 결과, 및 제1 의료 영상(150)을 입력으로 하는 추론 과정에 기반하여 제2 분석 결과(160)를 생성하도록 스타일 학습 모델(120)의 추론을 제어할 수 있다.
적어도 하나 이상의 프로세서(130)는 제1 의료 영상(150)을 제1 분석 결과(112)와 함께 스타일 학습 모델(120)에 전달하고, 스타일 학습 모델(120)이 제1 분석 결과(112) 및 제1 의료 영상(150)을 입력으로 하는 추론 과정을 수행하되 제1 의료 영상(150)이 포함하는 바디파트(body part), 및 장기(organ) 정보를 포함하는 문맥 정보(context information)에 기반하여 제2 분석 결과(160)를 생성하도록 스타일 학습 모델(120)의 추론을 제어할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 시스템 및/또는 장치는 제1 분석 결과(112)에 대한 사용자 선호 스타일을 반영한 제2 분석 결과(160)를 생성할 때 제1 분석 결과(112)의 기반이 되는 제1 의료 영상(150)을 수신하고, 제1 의료 영상(150)의 바디파트(body part), 장기(organ) 등의 문맥 정보(context information)에 기반하여 스타일 학습 모델(120)이 세분화된 스타일링 결과를 제공할 수 있다. 이때 스타일 학습 모델(120)은 문맥 정보에 기반하여 사용자 선호 스타일을 세분화하여 학습할 수 있다.
사용자 선호 스타일이 반영된 제2 분석 결과(160)는 제1 의료 영상(150)의 판독을 지원하기에 가장 적절한 형태로 생성될 수 있다. 제2 분석 결과(160)는 사용자인 의료 전문가가 제1 분석 결과(112)를 판정하거나, 제1 분석 결과(112)에 대한 의사 결정을 수행하기에 적합한 형태로 도출될 수 있다.
제1 분석 결과(112)의 종류, 제1 분석 결과(112)가 포함하는 분석 내용, 및/또는 제1 분석 결과(112)가 진단하고자 하는 질환 또는 병변의 종류에 기반하여 적합한 제2 분석 결과(160)의 종류가 스타일 학습 모델(120)에 의하여 미리 추출되고 학습될 수 있다. 이때 프로세서(130)는 제1 분석 결과(112)를 수신한 후, 제1 분석 결과(112)가 포함하는 분석 내용, 및 제1 분석 결과(112)가 관련되는 제1 의료 영상(150)의 콘텐츠에 기반하여 스타일 학습 모델(120)에 제2 분석 결과(160)를 요청할 수 있고, 스타일 학습 모델(120)은 프로세서(130)의 요청에 응답하여 제1 분석 결과(112) 및 제1 의료 영상(150)에 대응하는 제2 분석 결과(160)를 프로세서(130)로 전달할 수 있다. 프로세서(130)는 스타일 학습 모델(120)로부터 수신한 제2 분석 결과(160)를 통신 모듈(140)로 전달할 수 있다. 스타일 학습 모델(120)의 학습 및 훈련 과정은 인공 신경망을 이용하여 구현될 수도 있으나, 본 발명의 사상은 이에 국한되지는 않으며 경우에 따라서는 rule-based로 실행될 수도 있다.
적어도 하나 이상의 프로세서(130)는 제1 의료 영상(150)과 함께 화면에 디스플레이된 제2 분석 결과(160)에 대한 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 제공할 수 있다. 제1 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다. 또한 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112)를 제2 분석 결과(160)와 비교할 수 있도록 화면에 디스플레이하고, 이들 각각 또는 모두에 대한 사용자의 승인 여부를 수신할 수 있도록 제1 사용자 메뉴를 구현할 수 있다.
사용자가 제1 분석 결과(112) 및 제2 분석 결과(160)를 모두 승인한 경우, 제1 인공 신경망(110)의 추론 결과에 대한 사용자의 승인이자, 제2 분석 결과(160)가 사용자 선호 스타일을 반영한 유효한 스타일링 수정 결과임을 승인한 것으로 볼 수 있다. 사용자가 제1 분석 결과(112)는 승인하고 제2 분석 결과(160)를 거부한 경우에는 제1 인공 신경망(110)의 추론 결과에 대해서는 사용자가 승인했지만, 사용자 선호 스타일이 적절하게 반영되지 않았거나 사용자 선호 스타일을 반영할 필요가 없는 경우라는 취지로 이해할 수 있다.
적어도 하나 이상의 프로세서(130)는 제2 분석 결과(160)에 대하여 사용자가 승인하지 않은 경우, 제1 의료 영상(150)에 대하여 제2 분석 결과(160)와 대응하는 제3 분석 결과를 제2 분석 결과(160)와는 독립적으로 생성할 수 있는 제2 사용자 메뉴를 제공할 수 있다. 제2 사용자 메뉴는 제2 분석 결과(160)를 대체하는 제3 분석 결과를 생성할 수 있는 메뉴일 수 있다. 제2 사용자 메뉴는 제3 분석 결과를 수동 또는 반자동으로(semi-automatically) 생성할 수 있는 메뉴일 수 있으며, 부분적으로 자동 실행되고, 간헐적으로 인터랙티브하게 사용자 입력을 받아 제3 분석 결과를 생성하여 제2 분석 결과(160)를 대체할 수 있는 사용자 메뉴일 수 있다.
도 1에서는 제1 인공 신경망(110)이 컴퓨팅 시스템(100)의 외부에 위치하는 실시예가 도시된다. 컴퓨팅 시스템(100)의 외부와 연결되는 프로세스는 통신 모듈(140)을 경유하여 수행된다. 따라서 프로세서(130)는 제1 인공 신경망(110)에 의하여 생성되는 제1 분석 결과(112)를 통신 모듈(140)을 경유하여 수신하고, 제1 의료 영상(150)을 통신 모듈(140)을 경유하여 수신하거나, 획득하거나, 입력받을 수 있다. 프로세서(130) 및 스타일 학습 모델(120)이 협력하여 생성하는 제2 분석 결과(160)는 제1 의료 영상(150) 및/또는 제1 분석 결과(112)와 결합하여 시각화 정보(162)로서 생성되고 통신 모듈(140)을 경유하여 컴퓨팅 시스템(100)의 외부의 디스플레이(도시되지 않음)로 전달될 수 있다. 제2 분석 결과(160)에 기반하여 시각화 정보(162)가 생성되는 과정은 프로세서(130)에 의하여 실행될 수도 있고, 프로세서(130)의 제어에 의하여 통신 모듈(140)에 의하여 실행될 수도 있다.
제1 분석 결과(112)의 종류에 따라서는 적어도 하나 이상의 프로세서(130)는 제1 분석 결과(112) 및/또는 제2 분석 결과(160)를 제1 의료 영상(150)에 오버레이하여 시각화 정보(162)를 생성하고, 시각화할 수 있다. 예를 들어 제1 분석 결과(112)가 병변의 검출, 또는 병변의 진단에 관련된 분석인 경우 제1 분석 결과(112) 및/또는 제2 분석 결과(160)가 제1 의료 영상(150)에 오버레이될 수 있다.
본 발명의 다른 일 실시예에 따르면 시각화 정보(162)는 제1 의료 영상(150)의 재구성 또는 리포맷을 포함하며, 제1 분석 결과(112)의 종류에 따라서는 제1 분석 결과(112) 및/또는 제2 분석 결과(160)가 제1 의료 영상(150)의 재구성 또는 리포맷과 함께 시각화 정보(162)에 포함되도록 시각화 정보(162)가 생성될 수 있다. 시각화 정보(162)가 제1 의료 영상(150)의 재구성 또는 리포맷을 포함하는 경우에는 적어도 하나 이상의 프로세서(130)가 시각화 정보(162)의 생성에 관여할 수 있다.
제1 인공 신경망(110)은 제1 의료 영상(150)에 대한 영상 분할(image segmentation), 병변 검출, 및 임상적 진단 중 적어도 하나 이상을 제1 분석 결과(112)로서 제공할 수 있다. 영상 분할 결과, 병변 검출 결과 등이 포함하는 바운더리의 시각화에 있어서 사용자 선호 스타일이 반영될 가능성이 크다. 임상적으로 영상 판독을 용이하게 지원할 수 있도록 영상 분할 결과, 또는 병변 검출 결과가 해부학적 구조의 주변 정보를 더 포함할 지, 분할 또는 검출된 영역만을 포함할 지에 대한 사용자 선호 스타일의 수정 패턴을 추적하고 on-line 학습할 수 있다. 그 결과로서 제1 인공 신경망(110)에는 영향을 주지 않으면서 제1 분석 결과(112)를 사용자가 선호하는 스타일로 시각화하는 제2 분석 결과(160)의 도출이 가능하다. 제2 분석 결과(160)에 대한 사용자 피드백은 그 자체로서 다시 스타일 학습 모델(120)의 학습에 이용될 수 있다.
제1 인공 신경망(110)은 복수의 훈련용 의료 영상들 각각에 포함되는 단일 바디 파트에 대한 복수 개의 종류의 질환을 전문가가 진단한 정보를 입력받아 상기 복수의 훈련용 의료 영상들 각각에 포함되는 복수 개의 종류의 질환을 진단하는 기능을 학습한 인공 신경망일 수 있다. 이때 제1 인공 신경망(110)은 복수 개의 종류의 질환을 하나의 신경망 모델에서 진단할 수 있는 기능을 학습한 경우일 수 있다.
도 2는 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(200)을 포함하며 컴퓨팅 시스템(200)은 적어도 하나 이상의 프로세서(230)를 포함한다. 컴퓨팅 시스템(200)은 스타일 학습 모델(220)을 더 포함할 수 있다. 적어도 하나 이상의 프로세서(230)는 제1 의료 영상(250)에 대한 제1 인공 신경망(210)의 추론에 의하여 얻어지는 제1 분석 결과(212)를 획득하거나 수신하고, 스타일 학습 모델(220)과 협력하여 제1 분석 결과(212)에 기반하여 제1 의료 영상(250)의 사용자 선호 스타일을 반영한 제2 분석 결과(260)를 생성하고, 제2 분석 결과(260)에 기반하여 제1 의료 영상(250) 및 제2 분석 결과(260)가 화면에 디스플레이되는 시각화 정보(262)를 생성한다.
도 2에서는 제1 인공 신경망(210)이 컴퓨팅 시스템(200) 내에 포함되는 실시예가 도시된다. 통신 모듈(240)은 외부로부터 제1 의료 영상(250)을 획득하거나 수신할 수 있다. 통신 모듈(240)은 제1 의료 영상(250)을 프로세서(230)의 제어에 의하여 제1 인공 신경망(210)으로 전달하고, 제1 의료 영상(250)을 프로세서(230)로 전달할 수 있다.
제1 인공 신경망(210)은 프로세서(230)의 제어에 의하여 제1 의료 영상(250)에 대한 제1 분석 결과(212)를 생성하고 프로세서(230)의 제어에 의하여 제1 분석 결과(212)를 프로세서(230)로 전달할 수 있다.
프로세서(230)는 제1 분석 결과(212) 및 제1 의료 영상(250)에 기반하여 제2 분석 결과(260)를 생성하고, 제2 분석 결과(260)를 통신 모듈(240)로 전달할 수 있다.
프로세서(230), 통신 모듈(240), 제1 인공 신경망(210), 스타일 학습 모델(220)의 나머지 동작은 도 1의 프로세서(130), 통신 모듈(140), 제1 인공 신경망(110), 및 스타일 학습 모델(120)과 동일하므로 중복되는 설명은 생략한다.
도 3은 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(300)을 포함하며 컴퓨팅 시스템(300)은 적어도 하나 이상의 프로세서(330)를 포함한다.
도 3의 실시예에서, 도 1 내지 도 2의 스타일 학습 모델(120, 220)은 제2 인공 신경망(320)으로 대체된다. 컴퓨팅 시스템(300)은 제2 인공 신경망(320)을 더 포함할 수 있다. 적어도 하나 이상의 프로세서(330)는 제1 의료 영상(350)에 대한 제1 인공 신경망(310)의 추론에 의하여 얻어지는 제1 분석 결과(312)를 획득하거나 수신하고, 제1 분석 결과(312)를 제2 인공 신경망(320)의 입력으로 제공하여 제2 인공 신경망(320)의 추론에 의하여 제1 의료 영상(350)의 사용자 선호 스타일을 반영한 제2 분석 결과(360)를 생성하고, 제2 분석 결과(360)에 기반하여 제1 의료 영상(350) 및 제2 분석 결과(360)가 화면에 디스플레이되는 시각화 정보(362)를 생성한다.
적어도 하나 이상의 프로세서(130)는 학습 조건을 충족하는 제1 분석 결과(312) 및 사용자 피드백을 제2 인공 신경망(320)에 입력하고, 제2 인공 신경망(320)이 학습 조건을 충족하는 제1 분석 결과(112) 및 사용자 피드백 간의 관련성을 학습하도록 제2 인공 신경망(320)의 훈련을 제어할 수 있다.
제2 인공 신경망(320)은 또 다른 훈련용 영상들인 복수의 제2 의료 영상들 각각에 대하여 분석된 복수의 제4 분석 결과에 대하여 전문가가 수정한 복수의 사용자 피드백을 입력받고, 복수의 제4 분석 결과와 복수의 사용자 피드백 간의 관련성에 기반하여 사용자 선호 스타일을 생성하는 기능을 미리 학습한 인공 신경망일 수 있다. 적어도 하나 이상의 프로세서(330)는 제1 분석 결과(312)를 제2 인공 신경망(320)에 입력하고, 제2 인공 신경망(320)의 추론에 의하여 제2 분석 결과(360)를 획득하도록 제2 인공 신경망(320)을 제어할 수 있다. 제2 인공 신경망(320)의 사용자 선호 스타일에 대한 학습은 제2 분석 결과(360)에 대한 사용자 피드백이 유효한 스타일링 수정인 경우(학습 조건을 충족하는 경우), 제1 분석 결과(312) 및 사용자 피드백에 대하여 다시 이루어질 수 있으며, 이러한 학습에 의하여 더욱 강화될 수 있다. 제1 인공 신경망(310)은 영상 분할을 수행하는 분할 엔진이고, 제2 인공 신경망(320)은 사용자 선호 스타일을 학습하는 스타일 엔진일 수 있다. 또는 제1 인공 신경망(310)은 병변 검출을 수행하는 검출 엔진이고, 제2 인공 신경망(320)은 사용자 선호 스타일을 학습하는 스타일 엔진일 수 있다.
본 발명의 변형된 실시예에 따르면 프로세서(330)는 제2 인공 신경망(320)의 추론에 의한 출력 결과를 수신하고, 제2 인공 신경망(320)의 추론에 의한 출력 결과에 기반하여 제2 분석 결과(360)를 생성할 수 있다. 이때 프로세서(330)는 제2 인공 신경망(320)의 추론에 의한 출력 결과 및 제1 의료 영상(350)에 대하여 도출되는 문맥 정보(context information)에 기반하여 제2 분석 결과(360)를 생성할 수 있다.
프로세서(330), 통신 모듈(340), 및 제1 인공 신경망(310)의 나머지 동작은 도 1의 프로세서(130), 통신 모듈(140), 및 제1 인공 신경망(110)과 동일하므로 중복되는 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(400)을 포함하며 컴퓨팅 시스템(300)은 적어도 하나 이상의 프로세서(430)를 포함한다.
도 4에서는 제1 인공 신경망(410)과 제2 인공 신경망(420)이 컴퓨팅 시스템(400) 내에 포함되는 실시예가 도시된다. 적어도 하나 이상의 프로세서(430)는 제1 의료 영상(450)에 대한 제1 인공 신경망(410)의 추론에 의하여 얻어지는 제1 분석 결과(412)를 획득하거나 수신하고, 제1 분석 결과(412)를 제2 인공 신경망(420)의 입력으로 제공하여 제2 인공 신경망(420)의 추론에 의하여 제1 의료 영상(450)의 사용자 선호 스타일을 반영한 제2 분석 결과(460)를 생성하고, 제2 분석 결과(460)에 기반하여 제1 의료 영상(450) 및 제2 분석 결과(460)가 화면에 디스플레이되는 시각화 정보(462)를 생성한다.
프로세서(430), 통신 모듈(440), 제1 인공 신경망(410), 및 제2 인공 신경망(420)의 나머지 동작은 도 3의 프로세서(330), 통신 모듈(340), 제1 인공 신경망(310), 및 제2 인공 신경망(320)과 동일하므로 중복되는 설명은 생략한다.
도 5는 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(500)을 포함하며 컴퓨팅 시스템(500)은 적어도 하나 이상의 프로세서(530)를 포함한다. 컴퓨팅 시스템(500)은 스타일 학습 모델(520)를 더 포함할 수 있다. 적어도 하나 이상의 프로세서(530)는 제1 의료 영상(550)에 대한 제1 인공 신경망(510)의 추론에 의하여 얻어지는 제1 분석 결과(512)를 획득하거나 수신하고, 스타일 학습 모델(520)와 협력하여 제1 분석 결과(512)에 기반하여 제1 의료 영상(550)의 사용자 선호 스타일을 반영한 제2 분석 결과(560)를 생성하고, 제2 분석 결과(560)에 기반하여 제1 의료 영상(550) 및 제2 분석 결과(560)가 화면에 디스플레이되는 시각화 정보(562)를 생성한다.
도 5에서는 컴퓨팅 시스템(500)이 사용자 입력(572)을 수신하는 사용자 인터페이스 모듈(570)을 더 포함하는 실시예가 도시된다.
적어도 하나 이상의 프로세서(530)는 제2 분석 결과(560)에 기반하여 상기 화면에 디스플레이된 제1 분석 결과(512) 및/또는 제2 분석 결과(560)에 대한 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 사용자 인터페이스 모듈(570)을 경유하여 디스플레이 화면 상에 시각화 정보(562)와 함께 제공할 수 있다. 제1 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 메뉴일 수 있다. 본 발명의 다른 실시예에 따라서는 제1 사용자 메뉴는 시각적, 청각적, 촉각적 수단 또는 이들 중 둘 이상의 조합으로 제공될 수도 있다.
사용자 인터페이스 모듈(570)은 사용자 입력(572)을 수신하고 사용자 입력(572)을 프로세서(530)로 전달한다. 적어도 하나 이상의 프로세서(530)는 사용자 입력(572)을 해석하여 제2 분석 결과(560)에 대하여 사용자가 승인하지 않은 경우, 제1 의료 영상(550)에 대하여 제2 분석 결과(560)와 대응하는 제3 분석 결과를 제2 분석 결과(560)와는 독립적으로 생성할 수 있는 제2 사용자 메뉴를 사용자 인터페이스 모듈(570) 및/또는 통신 모듈(540)을 경유하여 디스플레이 화면 또는 추가적인 사용자 인터페이스 메뉴를 이용하여 제공할 수 있다. 제2 사용자 메뉴는 제2 분석 결과(560)를 대체하는 제3 분석 결과를 생성할 수 있는 인터페이스 메뉴일 수 있다. 제2 사용자 메뉴는 제3 분석 결과를 수동 또는 반자동으로 생성할 수 있는 인터페이스 메뉴일 수 있다. 또한 제2 사용자 메뉴는 부분적으로 자동 실행되고, 간헐적으로 인터랙티브하게 사용자 입력을 받아 제3 분석 결과를 생성하여 제2 분석 결과(560)를 대체할 수 있는 사용자 메뉴일 수 있다.
프로세서(530), 통신 모듈(540), 제1 인공 신경망(510), 및 스타일 학습 모델(520)의 나머지 동작은 도 1의 프로세서(130), 통신 모듈(140), 제1 인공 신경망(110), 및 스타일 학습 모델(120)과 동일하므로 중복되는 설명은 생략한다.
도 6은 본 발명의 일 실시예에 따른 의료용 인공 신경망의 분석 결과에 기반하여 사용자 선호 스타일에 기반한 스타일링을 제공하는 의료 영상 판독 지원 장치를 도시하는 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템(600)을 포함하며 컴퓨팅 시스템(600)은 적어도 하나 이상의 프로세서(630)를 포함한다. 적어도 하나 이상의 프로세서(630)는 제1 의료 영상(650)에 대한 제1 인공 신경망(610)의 추론에 의하여 얻어지는 제1 분석 결과(612)를 통신 모듈(640)을 경유하여 획득하거나 수신한다. 적어도 하나 이상의 프로세서(630)는 제1 분석 결과(612)에 기반하여 제1 의료 영상(650)의 사용자 선호 스타일을 반영한 제2 분석 결과(660)를 생성하고, 제2 분석 결과(660)에 기반하여 제1 의료 영상(650) 및 제2 분석 결과(660)가 화면에 디스플레이되는 시각화 정보(662)를 생성할 수 있다. 이때 도 6에 도시되지는 않았지만 도 1, 도 2, 및 도 5의 실시예에서처럼 적어도 하나 이상의 프로세서(630)는 스타일 학습 모델(도시되지 않음)와 협력하여 제1 분석 결과(612)에 기반하여 제1 의료 영상(650)의 사용자 선호 스타일을 반영한 제2 분석 결과(660)를 생성하고, 제2 분석 결과(660)에 기반하여 제1 의료 영상(650) 및 제2 분석 결과(660)가 화면에 디스플레이되는 시각화 정보(662)를 생성할 수 있다.
도 5의 실시예에와 마찬가지로, 도 6의 적어도 하나 이상의 프로세서(630)는 제2 분석 결과(660)에 기반하여 상기 화면에 디스플레이된 제2 분석 결과(660)에 대한 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 사용자 인터페이스 모듈(670)을 경유하여 디스플레이 화면 상에 시각화 정보(662)와 함께 제공할 수 있다. 제1 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 메뉴일 수 있다.
사용자 인터페이스 모듈(670)은 사용자 입력(672)을 수신하고 사용자 입력(672)을 프로세서(630)로 전달한다. 적어도 하나 이상의 프로세서(630)는 사용자 입력(672)을 해석하여 제1 분석 결과(612) 및 제2 분석 결과(660)에 대하여 사용자가 승인한 경우, 제1 분석 결과(612) 및 제2 분석 결과(660)를 제1 의료 영상(650)과 관련시켜 데이터베이스(680)에 저장할 수 있다.
도 6에서는 데이터베이스(680)가 컴퓨팅 시스템(600)의 외부에 위치하는 경우의 실시예를 도시한다. 데이터베이스(680)는 의료 영상 저장 전송 시스템(PACS) 데이터베이스일 수도 있고, 클라우드 기반 데이터베이스일 수도 있다.
도 6의 실시예에서는 컴퓨팅 시스템(600)은 외부의 데이터베이스(680)와 통신 모듈(640)을 경유하여 데이터를 송수신할 수 있다. 적어도 하나 이상의 프로세서(630)는 통신 모듈(640)을 경유하여 제1 분석 결과(612) 및 제2 분석 결과(660)를 제1 의료 영상(650)과 관련시켜 데이터베이스(680)에 저장할 수 있다.
프로세서(630), 통신 모듈(640), 제1 인공 신경망(610), 및 사용자 인터페이스 모듈(670)의 나머지 동작은 도 5의 프로세서(530), 통신 모듈(540), 제1 인공 신경망(510), 및 사용자 인터페이스 모듈(570)와 동일하므로 중복되는 설명은 생략한다.
도 6에서는 데이터베이스(680)가 외부에 위치하는 실시예가 도시되었으나, 본 발명의 다른 실시예에 따르면 데이터베이스(도시되지 않음)가 컴퓨팅 시스템(600)의 내부에 위치하는 경우의 실시예도 구현할 수 있음은 당업자에게 자명하게 이해될 것이다.
도 1 내지 도 6의 실시예에서 의료 기관에서 의료 영상에 기반한 진단 및 영상 분석 워크플로우를 개선하고 의료 전문가의 영상 진단을 지원하는 의료 영상 판독 지원 장치가 개시된다.
이때 사용자는 의료 전문가인 임상의(clinician) 또는 영상의(radiologist)일 수도 있지만, 진단하고자 하는 대상에 따라서는 영상 분할과 병변의 검출 결과가 해당 의료 현장에서 임상적으로 선호되는 스타일인 지 여부를 확인하는 정도의 지식만 가지고 있는 지원 스태프일 수도 있다. 즉, 임상적인 지식을 가지고 있지 않더라도 영상 내 특정 영역의 분할이 정확히 수행되었는 지를 확인할 수 있고, 임상적으로 선호되는 스타일인 지를 확인할 수 있는 정도의 대표성을 가지고 있다면 본 발명의 사용자가 될 수 있다.
또한 도 1 내지 도 6의 실시예에 도시된 것처럼, 사용자가 거부한 분석 결과에 대해서는 수동 또는 반자동으로 다시 분석하여 올바른 분석 결과를 구현할 수 있도록 지원하는 사용자 메뉴를 제공하는 것도 워크플로우로서 중요하다.
사용자가 승인한 분석 결과는 원래의 진단 목적으로 이용할 수 있도록(의료기관 내에서 진단 목적으로 이용할 수 있도록) PACS 데이터베이스 등에 저장하는 구성도 워크플로우로서 중요하다.
제1 인공 신경망(110, 210, 310, 410, 510, 610)은 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대한 영상 분할(image segmentation), 병변 검출, 및 임상적 진단 중 적어도 하나 이상을 제1 분석 결과(112, 212, 312, 412, 512, 612)로서 제공할 수 있다. 영상 분할 결과, 병변 검출 결과 등이 포함하는 바운더리의 시각화에 있어서 사용자 선호 스타일이 반영될 가능성이 크다. 임상적으로 영상 판독을 용이하게 지원할 수 있도록 영상 분할 결과, 또는 병변 검출 결과가 해부학적 구조의 주변 정보를 더 포함할 지, 분할 또는 검출된 영역만을 포함할 지에 대한 사용자 선호 스타일의 수정 패턴을 추적하고 on-line 학습할 수 있다. 그 결과로서 제1 인공 신경망(110, 210, 310, 410, 510, 610)에는 영향을 주지 않으면서 제1 분석 결과(112, 212, 312, 412, 512, 612)를 사용자가 선호하는 스타일로 시각화하는 제2 분석 결과(160, 260, 360, 460, 560, 560)의 도출이 가능하다. 제2 분석 결과(160, 260, 360, 460, 560, 660)에 대한 사용자 피드백은 그 자체로서 다시 스타일 학습 모델(120, 220, 520) 또는 제2 인공 신경망(320, 420)의 학습에 이용될 수 있다.
사용자가 승인하고 PACS 데이터베이스 등에 저장된 제1 분석 결과(112) 및 제2 분석 결과(160)는 제1 분석 결과(112)에 대한 사용자 선호 스타일에 대한 데이터이다. 사용자 선호 스타일은 제1 분석 결과(112)를 도출하는 제1 인공 신경망(110)에 대한 설명적 정보(descriptive information)로서 활용될 수 있다. 즉, 서로 다른 성능을 가지는 컴퓨터 보조 진단 인공 신경망(CAD 엔진, 분할 엔진)들을 비교하거나 CAD 엔진, 및 분할 엔진 간의 장단점을 비교하는 용도로서도 활용 가능하며, 어떤 방식의 인공 신경망이 해부학적 구조를 어떤 방식으로 취급하는 지에 대한 정보를 제공할 수 있다. 의료 현장에서 활용되는 인공 신경망에 대한 임상적인 관점에서의 이해를 돕는 수단으로 활용될 수 있을 것이다.
도 1 내지 도 6의 실시예들에 도시된 제1 인공 신경망(110, 210. 310, 410, 510, 610)은 복수의 질환들 또는 병변들에 관련된 영상 분석 기능을 가질 수 있다. 이때 제1 인공 신경망(110, 210. 310, 410, 510, 610)은 내부에 복수 개의 영상 분석 모듈을 포함하고 있을 수도 있다. 본 발명의 스타일 학습 모델(120, 220, 520) 또는 제2 인공 신경망(320, 420)은 복수의 영상 분석 모듈들, 복수의 질환들, 복수의 병변들, 또는 복수의 영상 분석 결과들에 대한 사용자 선호 스타일의 학습된 정보를 보유하고 있을 수 있다. 이때 본 발명의 컴퓨팅 시스템(100, 200, 300, 400, 500, 600)은 현재 입력된 분석 결과가 어떤 종류의 분석 결과이고, 어떤 병변 또는 질환에 관련되어 생성된 분석 결과인 지를 문맥 정보(context information)로서 생성하고, 문맥 정보에 대응하여 최적화된 사용자 선호 스타일이 반영된 제2 분석 결과(160)를 도출할 수 있다.
최적화된 사용자 선호 스타일에 기반한 제2 분석 결과(160, 260, 360, 460, 560, 660)를 결정하는 요인은 제1 의료 영상(150, 250, 350, 450, 550, 650)에 포함되어 있는 정보로서, 제1 인공 신경망(110, 210. 310, 410, 510, 610)의 분석에 의하여 생성되는 제1 분석 결과(112, 212, 312, 412, 512, 612)에 포함된 정보이다.
또한 제1 분석 결과(112, 212, 312, 412, 512, 612) 및/또는 제2 분석 결과(160, 260, 360, 460, 560, 660)를 시각화하기 위하여 복수의 재구성 또는 리포맷 영상들이 디스플레이되는 화면 레이아웃 등이 시각화 정보(162, 262, 362, 462, 562, 662)에 포함될 수 있다. 이때 시각화 정보(162, 262, 362, 462, 562, 662)는 행잉 프로토콜이 정의하는 정보 중 일부를 포함할 수 있다. 한편 시각화 정보(162, 262, 362, 462, 562, 662)는 행잉 프로토콜에서 정의되는 재구성 또는 리포맷의 종류 뿐만 아니라, 의료 영상 및 분석 결과에 기반하여 도출되는 뷰의 방향 등의 정보를 추가적으로 포함하므로, 행잉 프토토콜에서 정의되는 정보보다 구체화된 정보를 더 포함할 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
도 7과 도 1 내지 도 6을 함께 참고하면, 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 컴퓨팅 시스템(100, 200, 300, 400, 500, 600)에 의하여 실행되고, 상기 컴퓨팅 시스템(100, 200, 300, 400, 500, 600)은 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)를 포함한다. 본 발명의 방법은 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대한 제1 인공 신경망(110, 210, 310, 410, 510, 610)의 추론에 의하여 얻어지는 제1 분석 결과(112, 212, 312, 412, 512, 612)를 획득하거나 수신하는 단계(S710), 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 분석 결과(112, 212, 312, 412, 512, 612)에 대한 사용자 피드백을 검출하는 단계(S720), 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 분석 결과(112, 212, 312, 412, 512, 612) 및 그에 대한 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하는 단계(S730), 및 학습 조건을 충족하는 것으로 분류된 제1 분석 결과(112, 212, 312, 412, 512, 612) 및 그에 대한 사용자 피드백을 스타일 학습 모델(120, 220, 520) 또는 제2 인공 신경망(320, 420)이 학습하는 단계(S740)를 포함한다.
도 8과 도 1 내지 도 6을 함께 참고하면, 본 발명의 일 실시예에 따른 인공 신경망 기반 의료 영상 판독 지원 방법은 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대한 제1 인공 신경망(110, 210, 310, 410, 510, 610)의 추론에 의하여 얻어지는 제1 분석 결과(112, 212, 312, 412, 512, 612)를 획득하거나 수신하는 단계(S810), 스타일 학습 모델(120, 220, 520) 또는 제2 인공 신경망(320, 420)이 제1 분석 결과(112, 212, 312, 412, 512, 612)에 기반하여 제1 의료 영상(150, 250, 350, 450, 550, 650)의 사용자 선호 스타일을 반영한 제2 분석 결과(160, 260, 360, 460, 560, 660)을 생성하는 단계(S820), 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 분석 결과(112, 212, 312, 412, 512, 612) 및 제2 분석 결과(160, 260, 360, 460, 560, 660)의 비교 결과에 기반하여 제2 분석 결과(160, 260, 360, 460, 560, 660)가 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대한 유효한 분석 결과인 지를 검증하는 단계(S830), 및 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제2 분석 결과(160, 260, 360, 460, 560, 660)에 기반하여 제1 의료 영상(150, 250, 350, 450, 550, 650) 및 제2 분석 결과(160, 260, 360, 460, 560, 660)가 화면에 디스플레이되도록 제1 의료 영상(150, 250, 350, 450, 550, 650) 및 제2 분석 결과(160, 260, 360, 460, 560, 660)를 시각화하는 단계(S840)를 포함한다.
제1 의료 영상(150, 250, 350, 450, 550, 650) 및 제2 분석 결과(160, 260, 360, 460, 560, 660)를 시각화하는 단계(S840)에서, 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제2 분석 결과(160, 260, 360, 460, 560, 660)에 기반하여 화면에 디스플레이된 제1 분석 결과(112, 212, 312, 412, 512, 612) 및/또는 제2 분석 결과(160, 260, 360, 460, 560, 660)에 대한 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 포함하도록 제1 의료 영상(150, 250, 350, 450, 550, 650), 제1 분석 결과(112, 212, 312, 412, 512, 612), 및 제2 분석 결과(160, 260, 360, 460, 560, 660)를 시각화할 수 있다.
제2 분석 결과(160, 260, 360, 460, 560, 660)에 대하여 사용자가 승인하지 않은 경우, 적어도 하나 이상의 프로세서(130, 230, 330, 430, 530, 630)가, 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대하여 제2 분석 결과(160, 260, 360, 460, 560, 660)를 대체할 수 있는 제3 분석 결과를 제2 분석 결과(160, 260, 360, 460, 560, 660)와는 독립적으로 생성할 수 있는 제2 사용자 메뉴를 제공하는 단계가 더 포함될 수 있다.
제2 사용자 메뉴는 제3 분석 결과를 수동 또는 반자동으로 생성할 수 있는 사용자 메뉴일 수 있다.
제2 분석 결과(160, 260, 360, 460, 560, 660)를 생성하는 단계(S820)에서, 제1 분석 결과(112, 212, 312, 412, 512, 612)가 포함하는 제1 의료 영상(150, 250, 350, 450, 550, 650)에 대한 영상 분할, 병변 검출, 및 임상적 진단 중 적어도 하나 이상에 기반하여 제2 분석 결과(160, 260, 360, 460, 560, 660)가 생성될 수 있다.
제2 분석 결과(160, 260, 360, 460, 560, 660)는 제1 분석 결과(112, 212, 312, 412, 512, 612)와 관련된 제1 의료 영상(150, 250, 350, 450, 550, 650)의 적어도 하나 이상의 뷰, 제1 의료 영상(150, 250, 350, 450, 550, 650) 중에서 제1 분석 결과(112, 212, 312, 412, 512, 612)와의 관련도에 기반하여 선택되는 제1 의료 영상(150, 250, 350, 450, 550, 650)의 적어도 일부, 제1 의료 영상(150, 250, 350, 450, 550, 650)의 재구성, 및 제1 의료 영상(150, 250, 350, 450, 550, 650)의 리포맷 중 적어도 하나 이상과 함께 시각화될 수 있다.
도 7 및 도 8과 도 3 및 도 4를 함께 참고하면, 컴퓨팅 시스템(300, 400)은 복수의 제2 의료 영상들 각각에 대하여 분석된 복수의 제4 분석 결과들에 대하여 전문가가 선택한 복수의 사용자 피드백을 입력받고, 복수의 제4 분석 결과들과 복수의 사용자 피드백 간의 관련성에 기반한 사용자 선호 스타일을 반영한 스타일링 수정을 생성하는 기능을 미리 학습한 인공 신경망인 제2 인공 신경망(320, 420)을 더 포함할 수 있다. 제2 인공 신경망(320, 420)의 사용자 선호 스타일에 대한 학습은 도 7에 도시된 단계들(S710, S720, S730, S740)에 의하여 더욱 강화될 수 있다. 이때 제1 분석 결과(312, 412)에 기반한 제2 분석 결과(360, 460)를 생성하는 단계(S820)에서, 적어도 하나 이상의 프로세서(330, 430)가, 제1 분석 결과(312, 412)를 제2 인공 신경망(320, 420)에 입력하고, 제2 인공 신경망(320, 420)의 추론에 의하여 제2 분석 결과(360, 460)를 획득하도록 제2 인공 신경망(320, 420)을 제어할 수 있다.
도 7과 도 8을 도 1, 도 3, 도 5, 및 도 6을 함께 참고하면, 적어도 하나 이상의 프로세서(130, 330, 530, 630)가, 제1 의료 영상(150, 350, 550, 650)에 대한 제1 인공 신경망(110, 310, 510, 610)의 추론에 의하여 얻어지는 제1 분석 결과(112, 312, 512, 612)를 획득하거나 수신하는 단계(S710, S810)에서는, 컴퓨팅 시스템(100, 300, 500, 600)의 외부의 제1 인공 신경망(110, 310, 510, 610)과 데이터를 송수신하는 통신 모듈(140, 340, 540, 640)을 경유하여, 적어도 하나 이상의 프로세서(130, 330, 530, 630)가 제1 분석 결과(112, 312, 512, 612)를 획득하거나 수신할 수 있다.
도 8과 도 6을 함께 참고하면, 제2 분석 결과(660)에 대하여 사용자가 승인한 경우, 적어도 하나 이상의 프로세서(630)가, 제1 분석 결과(612) 및 제2 분석 결과(660)를 제1 의료 영상(650)과 관련시켜 데이터베이스(680)에 저장하는 단계가 더 포함될 수 있다.
이때 적어도 하나 이상의 프로세서(630)가 컴퓨팅 시스템(600) 외부의 데이터베이스(680)와 데이터를 송수신하는 통신 모듈(640)을 경유하여 적어도 하나 이상의 프로세서(630)가 제1 분석 결과(612) 및 제2 분석 결과(660)를 제1 의료 영상(630)과 관련시켜 데이터베이스(680)에 저장할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100, 200, 300, 400, 500, 600: 컴퓨팅 시스템
110, 210, 310, 410, 510, 610: 제1 인공 신경망
130, 230, 330, 430, 530, 630: 프로세서
140, 240, 340, 440, 540, 640: 통신 모듈
150, 250, 350, 450, 550, 650: 제1 의료 영상
112, 212, 312, 412, 512, 612: 제1 분석 결과
160, 260, 360, 460, 560, 660: 제2 분석 결과
162, 262, 362, 462, 562, 662: 시각화 정보
120, 220, 520: 스타일 학습 모델
320, 420: 제2 인공 신경망
570, 670: 사용자 인터페이스 모듈 680: 데이터베이스

Claims (20)

  1. 의료용 인공 신경망에 기반하여 의료 영상의 판독을 지원하는 의료 영상 판독 지원 장치로서, 상기 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 적어도 하나 이상의 프로세서는
    제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고,
    상기 제1 분석 결과에 대한 사용자의 입력에 의한 사용자 피드백을 검출하고,
    상기 제1 분석 결과 및 상기 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하고,
    상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 스타일 학습 모델이 학습할 수 있도록 상기 스타일 학습 모델에 전달하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  2. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과에 대한 상기 사용자 피드백에 기반하여 생성되는 사용자 수정 제1 분석 결과와 상기 제1 분석 결과 간의 유사도, 상기 제1 분석 결과 및 상기 사용자 수정 제1 분석 결과 간의 차이 영역의 크기, 상기 차이 영역의 형태, 및 상기 차이 영역의 상기 제1 의료 영상 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 지 여부를 판정하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  3. 제2항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과의 제1 바운더리가 포함하는 픽셀 또는 복셀의 제1 집합과, 상기 사용자 수정 제1 분석 결과의 사용자 수정 제1 바운더리가 포함하는 픽셀 또는 복셀의 수정된 제1 집합 간의 하우스도르프 거리(Hausdorff distance), 및 상기 제1 바운더리에 의하여 둘러싸이는 영역의 제1 면적 또는 제1 체적, 및 상기 사용자 수정 제1 바운더리에 의하여 둘러싸이는 영역의 수정된 제1 면적 또는 수정된 제1 체적 간의 비율 중 적어도 하나 이상에 기반하여 상기 사용자 수정 제1 분석 결과와 상기 제1 분석 결과 간의 유사도를 판정하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  4. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과에 대한 상기 사용자 피드백에 기반하여 상기 제1 분석 결과를 상기 사용자가 수용한 것인지 여부를 평가하고,
    상기 제1 분석 결과를 상기 사용자가 수용한 경우에 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 것으로 판정하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  5. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과에 대하여 상기 사용자가 수용할 것인 지 여부를 예측한 예측 결과를 수신하고,
    상기 예측 결과에 기반하여 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 지 여부를 판정하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  6. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 인공 신경망의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 수신하고,
    상기 예비적 제1 분석 결과를 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백과 함께 상기 스타일 학습 모델에 전달하여 상기 스타일 학습 모델이 상기 제1 분석 결과, 상기 예비적 제1 분석 결과, 및 상기 사용자 피드백 간의 관계를 학습할 수 있도록 상기 스타일 학습 모델의 훈련을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  7. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 의료 영상이 포함하는 바디파트(body part), 및 장기(organ) 정보를 포함하는 문맥 정보(context information)에 기반하여 상기 스타일 학습 모델이 상기 제1 분석 결과 및 상기 사용자 피드백 간의 관계를 학습할 수 있도록 상기 스타일 학습 모델의 훈련을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  8. 제1항에 있어서,
    상기 스타일 학습 모델은 제2 인공 신경망이고, 상기 컴퓨팅 시스템은 상기 제2 인공 신경망을 더 포함하고,
    상기 적어도 하나 이상의 프로세서는
    상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 상기 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망이 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백 간의 관련성을 학습하도록 상기 제2 인공 신경망의 훈련을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  9. 제1항에 있어서,
    상기 컴퓨팅 시스템은
    외부의 상기 제1 인공 신경망과 데이터를 송수신하는 통신 모듈;
    을 더 포함하고,
    상기 적어도 하나 이상의 프로세서는
    상기 통신 모듈을 경유하여 상기 제1 의료 영상에 대한 상기 제1 인공 신경망의 추론에 의하여 얻어지는 상기 제1 분석 결과를 획득하거나 수신하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  10. 제1항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 의료 영상의 상기 제1 분석 결과에 대한 상기 사용자의 승인 여부를 수신할 수 있는 제1 사용자 메뉴를 제공하고,
    상기 제1 사용자 메뉴를 경유하여 상기 제1 분석 결과를 상기 사용자가 승인한 경우에 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 것으로 판정하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  11. 의료용 인공 신경망에 기반하여 의료 영상의 판독을 지원하는 의료 영상 판독 지원 장치로서, 상기 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 적어도 하나 이상의 프로세서는
    제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하고,
    스타일 학습 모델이 상기 제1 분석 결과에 대하여 제2 분석 결과를 생성하도록 상기 스타일 학습 모델을 제어하고,
    상기 제1 의료 영상 및 상기 제2 분석 결과를 함께 시각화하여 사용자에게 제공하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  12. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과 및 상기 제2 분석 결과의 비교 결과에 기반하여 상기 제2 분석 결과가 상기 제1 의료 영상에 대한 분석 결과로서 유효한 지 여부를 검증하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  13. 제12항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 분석 결과와 상기 제2 분석 결과 간의 유사도, 상기 제1 분석 결과 및 상기 제2 분석 결과 간의 차이 영역의 크기, 상기 차이 영역의 형태, 및 상기 차이 영역의 상기 제1 의료 영상 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 상기 제2 분석 결과가 상기 제1 의료 영상에 대한 분석 결과로서 유효한 지 여부를 검증하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  14. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 의료 영상과 연계하여, 상기 제1 분석 결과 및 상기 제2 분석 결과를 함께 비교할 수 있도록 시각화하여 상기 사용자에게 제공하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  15. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 인공 신경망의 내부의 최종 레이어 이전의 출력인 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 수신하고,
    상기 제1 의료 영상 및 상기 예비적 제1 분석 결과를 상기 제1 분석 결과와 함께 상기 스타일 학습 모델에 전달하고,
    상기 스타일 학습 모델이 상기 제1 분석 결과, 상기 예비적 제1 분석 결과, 및 상기 제1 의료 영상을 입력으로 하는 추론 과정에 기반하여 상기 제2 분석 결과를 생성하도록 상기 스타일 학습 모델의 추론을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  16. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서는
    상기 제1 의료 영상을 상기 제1 분석 결과와 함께 상기 스타일 학습 모델에 전달하고,
    상기 스타일 학습 모델이 상기 제1 분석 결과 및 상기 제1 의료 영상을 입력으로 하는 추론 과정을 수행하되 상기 제1 의료 영상이 포함하는 바디파트, 및 장기 정보를 포함하는 문맥 정보에 기반하여 상기 제2 분석 결과를 생성하도록 상기 스타일 학습 모델의 추론을 제어하는 인공 신경망 기반 의료 영상 판독 지원 장치.
  17. 컴퓨팅 시스템에서 실행되는 인공 신경망 기반 의료 영상 판독 지원 방법에 있어서, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계;
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과에 대한 사용자의 입력에 의한 사용자 피드백을 검출하는 단계;
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과 및 상기 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하는 단계; 및
    상기 적어도 하나 이상의 프로세서가, 상기 학습 조건을 충족하는 상기 제1 분석 결과 및 상기 사용자 피드백을 스타일 학습 모델이 학습할 수 있도록 상기 스타일 학습 모델에 전달하는 단계;
    를 포함하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  18. 제17항에 있어서,
    상기 제1 분석 결과 및 상기 사용자 피드백이 학습 조건을 충족하는 지 여부를 판정하는 단계는
    상기 제1 분석 결과에 대한 상기 사용자 피드백에 기반하여 생성되는 사용자 수정 제1 분석 결과와 상기 제1 분석 결과 간의 유사도, 상기 제1 분석 결과 및 상기 사용자 수정 제1 분석 결과 간의 차이 영역의 크기, 상기 차이 영역의 형태, 및 상기 차이 영역의 상기 제1 의료 영상 내의 밝기 값 분포 중 적어도 하나 이상에 기반하여 상기 제1 분석 결과 및 상기 사용자 피드백이 상기 학습 조건을 충족하는 지 여부를 판정하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  19. 컴퓨팅 시스템에서 실행되는 인공 신경망 기반 의료 영상 판독 지원 방법에 있어서, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함하고,
    상기 적어도 하나 이상의 프로세서가, 제1 의료 영상에 대한 제1 인공 신경망의 추론에 의하여 얻어지는 제1 분석 결과를 획득하거나 수신하는 단계;
    상기 적어도 하나 이상의 프로세서가, 스타일 학습 모델이 상기 제1 분석 결과에 대하여 제2 분석 결과를 생성하도록 상기 스타일 학습 모델을 제어하는 단계; 및
    상기 적어도 하나 이상의 프로세서가, 상기 제1 의료 영상 및 상기 제2 분석 결과를 함께 시각화하여 사용자에게 제공하는 단계;
    를 포함하는 인공 신경망 기반 의료 영상 판독 지원 방법.
  20. 제19항에 있어서,
    상기 적어도 하나 이상의 프로세서가, 상기 제1 분석 결과 및 상기 제2 분석 결과의 비교 결과에 기반하여 상기 제2 분석 결과가 상기 제1 의료 영상에 대한 분석 결과로서 유효한 지 여부를 검증하는 단계;
    를 더 포함하는 인공 신경망 기반 의료 영상 판독 지원 방법.
KR1020190177122A 2019-12-27 2019-12-27 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 KR102439845B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190177122A KR102439845B1 (ko) 2019-12-27 2019-12-27 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
US17/130,669 US20210202072A1 (en) 2019-12-27 2020-12-22 Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
KR1020220108510A KR102629045B1 (ko) 2019-12-27 2022-08-29 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177122A KR102439845B1 (ko) 2019-12-27 2019-12-27 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220108510A Division KR102629045B1 (ko) 2019-12-27 2022-08-29 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210084127A true KR20210084127A (ko) 2021-07-07
KR102439845B1 KR102439845B1 (ko) 2022-09-02

Family

ID=76546575

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190177122A KR102439845B1 (ko) 2019-12-27 2019-12-27 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
KR1020220108510A KR102629045B1 (ko) 2019-12-27 2022-08-29 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220108510A KR102629045B1 (ko) 2019-12-27 2022-08-29 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법

Country Status (2)

Country Link
US (1) US20210202072A1 (ko)
KR (2) KR102439845B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517469B1 (ko) * 2021-12-31 2023-04-04 수퍼빈 주식회사 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348243B2 (en) * 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
CN117529737A (zh) * 2021-06-15 2024-02-06 索尼集团公司 信息处理系统和信息处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140091176A (ko) 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
KR20160089194A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 영상 처리 장치, 의료영상 장치 및 영상 처리 방법
KR101818074B1 (ko) 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
US20190205606A1 (en) 2016-07-21 2019-07-04 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
KR102057277B1 (ko) * 2019-05-14 2019-12-18 주식회사 코어라인소프트 의료 영상의 정량화 및 분석에 기반한 빅데이터 데이터베이스를 구축하기 위한 서버 및 서버 기반의 의료 영상 분석 방법
KR20200063289A (ko) * 2018-11-16 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 동작방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783634B2 (en) * 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
KR102222011B1 (ko) * 2019-07-29 2021-03-04 주식회사 코어라인소프트 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
KR20220155828A (ko) * 2021-05-17 2022-11-24 주식회사 코어라인소프트 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
US20230108955A1 (en) * 2021-10-05 2023-04-06 Yoy Ishta Nem, Inc. Deep-learning-based medical image interpretation system for animals

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140091176A (ko) 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
US9773305B2 (en) 2013-01-10 2017-09-26 Samsung Electronics Co., Ltd. Lesion diagnosis apparatus and method
KR20160089194A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 영상 처리 장치, 의료영상 장치 및 영상 처리 방법
US20190205606A1 (en) 2016-07-21 2019-07-04 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR101818074B1 (ko) 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR20200063289A (ko) * 2018-11-16 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 동작방법
KR102057277B1 (ko) * 2019-05-14 2019-12-18 주식회사 코어라인소프트 의료 영상의 정량화 및 분석에 기반한 빅데이터 데이터베이스를 구축하기 위한 서버 및 서버 기반의 의료 영상 분석 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
미국공개특허호 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" (2019.07.04)
미국등록특허 "Lesion diagnosis apparatus and method" (2017.09.26)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517469B1 (ko) * 2021-12-31 2023-04-04 수퍼빈 주식회사 객체를 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US20210202072A1 (en) 2021-07-01
KR102439845B1 (ko) 2022-09-02
KR102629045B1 (ko) 2024-01-26
KR20220124665A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
JP7069359B2 (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
CN111563523B (zh) 利用机器训练的异常检测的copd分类
KR102629045B1 (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
US7693315B2 (en) Systems and methods for providing automated regional myocardial assessment for cardiac imaging
US11455723B2 (en) Second reader suggestion
KR102382872B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
US20050020903A1 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US11715198B2 (en) Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network
KR102283673B1 (ko) 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
KR20220155828A (ko) 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
CN111210401A (zh) 根据医学图像的主动脉自动检测和量化
KR102370886B1 (ko) 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치
EP4002387A1 (en) Cad device and method for analysing medical images
Fontanella et al. Diffusion models for counterfactual generation and anomaly detection in brain images
KR102469907B1 (ko) 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR102222015B1 (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
KR20210029167A (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US20240087697A1 (en) Methods and systems for providing a template data structure for a medical report
US20230096522A1 (en) Method and system for annotation of medical images
KR20230151865A (ko) 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법
CN116205864A (zh) 医学图像的语义分析方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant