KR102472299B1 - 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법 - Google Patents

정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법 Download PDF

Info

Publication number
KR102472299B1
KR102472299B1 KR1020220048760A KR20220048760A KR102472299B1 KR 102472299 B1 KR102472299 B1 KR 102472299B1 KR 1020220048760 A KR1020220048760 A KR 1020220048760A KR 20220048760 A KR20220048760 A KR 20220048760A KR 102472299 B1 KR102472299 B1 KR 102472299B1
Authority
KR
South Korea
Prior art keywords
mask
artificial intelligence
video data
learning
intelligence model
Prior art date
Application number
KR1020220048760A
Other languages
English (en)
Inventor
오상일
금지수
김경남
김지현
Original Assignee
주식회사 웨이센
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센, 연세대학교 산학협력단 filed Critical 주식회사 웨이센
Application granted granted Critical
Publication of KR102472299B1 publication Critical patent/KR102472299B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법에 관한 것이다.
본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법은, 의료 인공지능 모델이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00156
) 및 t 번째 마스크(
Figure 112022042302694-pat00157
)를 입력받는 단계; t 번째 프레임 이미지(
Figure 112022042302694-pat00158
) 및 t 번째 마스크(
Figure 112022042302694-pat00159
)를 바탕으로 다음 프레임 생성 모델에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00160
) 및 t+1 번째 마스크(
Figure 112022042302694-pat00161
)를 추론하여 생성하는 단계; 생성된 t+1 번째 추론 프레임 이미지(
Figure 112022042302694-pat00162
)와 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00163
) 간의 이미지 손실(
Figure 112022042302694-pat00164
)을 측정하는 단계; t+1 번째 추론 마스크(
Figure 112022042302694-pat00165
)와 추론된 t 번째 마스크(
Figure 112022042302694-pat00166
) 간의 제1 마스크 손실(
Figure 112022042302694-pat00167
)을 측정하는 단계; t+1 번째 추론 마스크(
Figure 112022042302694-pat00168
)와 키 프레임 마스크(
Figure 112022042302694-pat00169
) 간의 제2 마스크 손실(
Figure 112022042302694-pat00170
)을 측정하는 단계; 및 측정된 이미지 손실(
Figure 112022042302694-pat00171
)과, 제1 마스크 손실(
Figure 112022042302694-pat00172
) 및 제2 마스크 손실(
Figure 112022042302694-pat00173
)을 합산하여 학습 손실을 측정하는 단계를 포함한다.

Description

정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법{Learning method to medical AI(Artificial Intelligence) model for generating video data from static image data}
본 발명은 의료 인공지능 모델의 학습 방법에 관한 것으로서, 더 상세하게는 인공지능 기반 동영상 생성 모델을 도입하여 동영상 데이터 수집 및 동영상 데이터 타겟 영역 태깅 작업이 제한적인 상황에서 동영상 데이터를 활용할 수 있도록 하는정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법에 관한 것이다.
CT(Computed Tomography) 및 MRI(Magnetic Resonance Imaging)와 같이 촬영 후 진단에 활용하는 환경과 달리, 내시경이나 초음파 등 실시간 검사가 이루어지는 환경에서는 실시간 검사가 가능한 인공지능 모델이 필요하다. 실시간 검사 환경(전향적 진단)에서는 초당 약 30 프레임의 이미지가 연속적으로 입력되며, 검사자의 움직임, 피검사자의 호흡 등에 의해 크고 작은 노이즈가 지속적으로 촬영된다. 따라서, 실시간 의료 진단 보조를 위한 내시경(또는 초음파 기기 등) 검사 환경에서 동작하는 인공지능 모델의 도입이 필요하다.
하지만, 현존하는 대부분의 의료 인공지능 모델의 경우 깨끗(선명)하게 촬영된 정지 영상을 수집하여 인공지능 모델의 학습에 활용하고 있으며, 이에 따라 실시간 검사 환경에서 발생하는 다양한 위협요소를 다루지 못하고 있다. 동영상 데이터를 활용한 대부분의 기존 방법은 수동 프레임 선택(manual frame selection) 과정을 적용하는 수준이다. 동영상 데이터의 효과 및 필요성은 자명하나, 데이터 수집 및 타겟 영역 태깅의 어려움 등으로 의료 인공지능 모델에 동영상 데이터를 도입하는 것이 현실적으로 쉽지 않다.
한편, 한국 공개특허공보 제10-2021-0072362호(특허문헌 1)에는 "인공 지능 모델에 대한 학습 데이터를 생성하는 인공 지능 장치 및 그 방법"이 개시되어 있는 바, 이에 따른 학습 데이터를 생성하는 방법은, 마이크로폰 또는 카메라를 포함하는 입력부를 통해 입력 데이터를 수신하는 단계; 인공 지능 모델을 이용하여 상기 입력 데이터에 대응하는 추론 결과를 생성하는 단계; 상기 추론 결과에 대응하는 피드백을 수신하는 단계; 상기 인공 지능 모델의 갱신에 대한 상기 입력 데이터 및 상기 피드백의 적합성을 판단하는 단계; 및 상기 입력 데이터 및 상기 피드백이 상기 인공 지능 모델의 갱신에 적합한 것으로 판단된 경우에 상기 입력 데이터 및 상기 피드백에 기초하여 학습 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 입력 데이터와 그에 대응하는 피드백이 인공 지능 모델의 갱신에 적합한 데이터인지 판단하고, 인공 지능 모델에 적합한 데이터에 기초하여 학습 데이터를 생성함으로써, 우연히 또는 악의적으로 잘못된 데이터가 생성 및 수집된다 하더라도, 인공 지능 모델의 갱신에 부적절한 데이터를 배제하여 인공 지능 모델이 부적절하게 갱신되는 상황을 방지할 수 있는 장점이 있기는 하나, 이는 기술의 핵심이 인공 지능 모델의 갱신에 적합한 데이터를 생성하는 것에 맞추어져 있어, 동영상 데이터 수집 및 태깅이 제한적인 상황에서 동영상 데이터를 활용할 수 있도록 하는 것에는 적용하기 어려운 한계가 있다.
한국 공개특허공보 제10-2021-0072362호(2021.06.17.)
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 인공지능 기반 동영상 생성 모델을 도입하여 동영상 데이터 수집 및 동영상 데이터 타겟 영역 태깅 작업이 제한적인 상황에서 동영상 데이터를 활용할 수 있도록 하는 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 동영상 데이터는 확보했으나, 타겟 병변 영역 태깅 작업이 필요한 경우에도 활용할 수 있는 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법은,
컴퓨팅 장치에 의해 각 단계가 수행되는 의료 인공지능 모델이 정지영상 데이터로부터 동영상 데이터를 생성할 수 있도록 의료 인공지능 모델을 학습시키는 방법으로서,
a) 상기 의료 인공지능 모델이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00001
) 및 t 번째 마스크(
Figure 112022042302694-pat00002
)를 입력받는 단계와;
b) 상기 입력받은 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00003
) 및 t 번째 마스크(
Figure 112022042302694-pat00004
)를 바탕으로 상기 의료 인공지능 모델 내에 구축되어 있는 다음 프레임 생성 모델에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00005
) 및 t+1 번째 마스크(
Figure 112022042302694-pat00006
)를 추론하여 생성하는 단계와;
c) 상기 생성된 시간 t+1 번째 추론 프레임 이미지(
Figure 112022042302694-pat00007
)와 상기 t 번째 프레임 이미지(
Figure 112022042302694-pat00008
) 다음의 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00009
) 간의 이미지 손실(
Figure 112022042302694-pat00010
)을 측정하는 단계와;
d) 상기 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00011
)와 추론된 t 번째 마스크 (
Figure 112022042302694-pat00012
) 간의 제1 마스크 손실(
Figure 112022042302694-pat00013
)을 측정하는 단계와;
e) 상기 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00014
)와 키 프레임 마스크(
Figure 112022042302694-pat00015
) 간의 제2 마스크 손실(
Figure 112022042302694-pat00016
)을 측정하는 단계; 및
f) 상기 단계 c)에서 측정된 이미지 손실(
Figure 112022042302694-pat00017
)과, 상기 단계 d)에서 측정된 제1 마스크 손실(
Figure 112022042302694-pat00018
) 및 상기 단계 e)에서 측정된 제2 마스크 손실(
Figure 112022042302694-pat00019
)을 합산하여 학습 손실을 측정하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 f) 이후에 상기 측정된 학습 손실 결과를 바탕으로 상기 의료 인공지능 모델의 학습 중단 조건을 만족하는지를 판별하는 단계와; 학습 중단 조건을 만족하지 않으면 프로세스 진행을 상기 단계 a)로 회귀시키고, 학습 중단 조건을 만족하면 프로세스를 종료하는 단계를 더 포함할 수 있다.
또한, 상기 단계 a)에서 상기 학습용 동영상 데이터 세트는 하나의 동영상에 하나의 병변이 포함될 수 있다.
또한, 상기 단계 a)에서 상기 동영상 데이터 세트의 입력 방식은 첫 번째 프레임부터 순차적으로 입력하는 방식, 마지막 프레임부터 역순으로 입력하는 방식, 순차적 입력과 역순 입력을 융합하여 입력하는 방식, 키 프레임을 기준으로 순차적 입력+역순 입력 방식 중 어느 하나의 방식일 수 있다.
또한, 상기 단계 b)에서의 상기 다음 프레임 생성 모델은 다음 프레임 이미지 생성 부분과 마스크 생성 부분이 서로 다른 구조로 구성될 수 있다.
또한, 상기 단계 b)에서의 상기 다음 프레임 생성 모델은 다음 프레임 이미지 생성 부분과 마스크 생성 부분의 일부 구조는 상호 공유되고, 나머지 구조는 분기되는 형상으로 구성될 수 있다.
또한, 상기 단계 b)에서의 상기 다음 프레임 생성 모델은 엔코더(encoder)와 디코더(decoder)로 구성되는 생성자(generator) 형태로 구성될 수 있다.
또한, 상기 단계 e)의 키 프레임 마스크(
Figure 112022042302694-pat00020
)에서의 키 프레임은 상기 동영상 데이터 세트 내에서 특정 기준에 의해 선별된 한 장 이상의 프레임일 수 있다.
이때, 상기 특정 기준은 영상의 선명도, 영상 내 병변의 위치, 밝기 값 등을 포함할 수 있다.
이때, 또한 상기 키 프레임은 의료진 또는 병변 영역을 검출하는 기학습된 인공지능 모델에 의해 병변 영역이 태깅될 수 있다.
이와 같은 본 발명에 의하면, 인공지능 기반 동영상 생성 모델을 도입하여 동영상 데이터 수집 및 동영상 데이터 타겟 영역 태깅 작업이 제한적인 상황에서 동영상 데이터를 활용할 수 있도록 함으로써, 동영상 데이터 활용에 요구되는 시간과 인력을 최소화 할 수 있고, 수집된 정지영상 DB를 통해 동영상 학습 모델의 효과를 얻을 수 있으며, 실시간 진단 환경에 효과적으로 의료 인공지능 모델을 적용할 수 있는 장점이 있다.
도 1은 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법의 실행 과정을 나타낸 흐름도이다.
도 2는 본 발명에 따른 의료 인공지능 모델의 학습 방법에 있어서, 동영상과 정답영역을 생성하기 위한 인공지능 모델의 학습 과정을 나타낸 도면이다.
도 3은 본 발명의 방법에 채용되는 다음 프레임 생성 모델에 의해 임의의 시간 t의 이미지와 마스크를 제공받아 시간 t+1의 이미지와 마스크를 각각 추론하는 개요를 나타낸 도면이다.
도 4는 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법의 프로세스 진행 과정을 나타낸 흐름도이다.
도 5는 동영상 데이터가 없는 경우 정지 영상으로부터 동영상 데이터 및 정답 영역 마스크를 생성하는 프로세스 진행 과정을 나타낸 흐름도이다.
도 6은 동영상 데이터는 있으나, 병변 태깅이 없는 경우 동영상 데이터를 태깅을 위해 사용하는 프로세스 진행 과정을 나타낸 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법의 실행 과정을 나타낸 흐름도이고, 도 2은 본 발명에 따른 의료 인공지능 모델의 학습 방법에 있어서, 동영상과 정답영역을 생성하기 위한 인공지능 모델의 학습 과정을 나타낸 도면이며, 도 3은 본 발명의 방법에 채용되는 다음 프레임 생성 모델에 의해 임의의 시간 t의 이미지와 마스크를 제공받아 시간 t+1의 이미지와 마스크를 각각 추론하는 개요를 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법은, 컴퓨팅 장치에 의해 각 단계가 수행되는 의료 인공지능 모델이 정지영상 데이터로부터 동영상 데이터를 생성할 수 있도록 의료 인공지능 모델을 학습시키는 방법으로서, 먼저 상기 의료 인공지능 모델(210)이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
Figure 112022085662229-pat00021
)(205) 및 t 번째 마스크(
Figure 112022085662229-pat00022
)(206)를 입력받는다(단계 S101). 여기서, 상기 학습용 동영상 데이터 세트의 구성 조건은 하나의 동영상에 하나의 병변이 포함될 수 있다. 물론, 하나의 장면(scene)에 동일한 형태의 병변이 하나 이상인 경우도 가능하다. 또한, 상기 동영상 데이터 세트의 입력 방식은 첫 번째 프레임부터 순차적으로 입력하는 방식, 마지막 프레임부터 역순으로 입력하는 방식, 순차적 입력과 역순 입력을 융합하여 입력하는 방식, 키 프레임(key frame)을 기준으로 순차적 입력+역순 입력 방식 중 어느 하나의 방식일 수 있다.
이렇게 하여 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00023
)(205) 및 t 번째 마스크 (
Figure 112022042302694-pat00024
)(206)가 입력되면, 의료 인공지능 모델(210)은 입력받은 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00025
) 및 t 번째 마스크(
Figure 112022042302694-pat00026
)를 바탕으로 내부에 구축되어 있는 다음 프레임 생성 모델(211)에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00027
)(212) 및 t+1 번째 마스크(
Figure 112022042302694-pat00028
)(213)를 추론하여 생성한다(단계 S102). 여기서, 상기 다음 프레임 생성 모델(211)은 다음 프레임 이미지 생성 부분과 마스크 생성 부분이 서로 다른 구조로 구성될 수 있다. 또한, 상기 다음 프레임 생성 모델(211)은 다음 프레임 이미지 생성 부분과 마스크 생성 부분의 일부 구조는 상호 공유되고, 나머지 구조는 분기되는 형상으로 구성될 수 있다. 또한, 상기 다음 프레임 생성 모델(211)은 엔코더 (encoder)(211a)와 디코더(decoder)(211b)(211c)로 구성되는 생성자(generator) 형태로 구성될 수 있다. 이때, 상기 엔코더(211a)는 convolutional layer 그룹으로 구성될 수 있다. 그리고 상기 디코더(211b)(211c)는 deconvolutional layer 혹은 upscale layer 그룹으로 구성될 수 있다. 또한, 이상과 같은 다음 프레임 생성 모델(211)은 학습 시 생성자(generator)와 감별자(discriminator)로 구성되는 GAN(Generative Adversarial Network) 방식이 사용될 수 있다. 이때, 생성자(generator)와 감별자(discriminator)의 구조에는 제한이 없다.
이상에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00029
)(212) 및 t+1 번째 마스크(
Figure 112022042302694-pat00030
)(213)의 추론 생성이 완료되면, 그 생성된 시간 t+1 번째 추론 프레임 이미지(
Figure 112022042302694-pat00031
)(212)와 상기 t 번째 프레임 이미지(
Figure 112022042302694-pat00032
) 다음의 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00033
) 간의 이미지 손실(
Figure 112022042302694-pat00034
)(214)을 측정한다(단계 S103). 여기서, 이와 같은 이미지 손실(
Figure 112022042302694-pat00035
)(214)은 실제의 t 번째 프레임 이미지(
Figure 112022042302694-pat00036
) 다음의 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00037
)와 생성된 t+1 번째 추론 프레임 이미지(
Figure 112022042302694-pat00038
)(212) 간의 유사도를 측정함으로써 이미지 손실의 정도를 알 수 있다. 예를 들면, 실제의 이미지(
Figure 112022042302694-pat00039
)와 추론 이미지(
Figure 112022042302694-pat00040
)(212) 간의 유사도 값이 크면 이미지 손실이 작은 것으로 볼 수 있고, 유사도 값이 작으면 이미지 손실이 큰 것으로 볼 수 있다.
이상과 같은 이미지 손실(
Figure 112022042302694-pat00041
)은 다음과 같은 수식 관계로 나타낼 수 있다.
Figure 112022042302694-pat00042
위의 수식에서
Figure 112022042302694-pat00043
는 학습 동영상 수,
Figure 112022042302694-pat00044
는 동영상
Figure 112022042302694-pat00045
의 전체 프레임 수를 나타내며,
Figure 112022042302694-pat00046
의 해를 구하기 위해 Dice coefficient, L1 loss, L2 loss 등을 포함하는 2차원 데이터 유사도 측정 방법이 사용될 수 있다.
이후, 상기 단계 S102에서 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00047
)(213)와, 추론된 t 번째 마스크(
Figure 112022042302694-pat00048
)(206b) 간의 제1 마스크 손실(
Figure 112022042302694-pat00049
)(215)을 측정한다(단계 S104). 여기서, 이와 같은 제1 마스크 손실(
Figure 112022042302694-pat00050
)은 입력된(추론된) t 번째 마스크(
Figure 112022042302694-pat00051
)(206b)와 t+1 번째 추론 마스크(
Figure 112022042302694-pat00052
)(213) 간의 유사도를 측정함으로써 제1 마스크 손실의 정도를 알 수 있다. 예를 들면, 입력된(추론된) t 번째 마스크 (
Figure 112022042302694-pat00053
)(206b)와 t+1 번째 추론 마스크(
Figure 112022042302694-pat00054
)(213) 간의 유사도 값이 크면 제1 마스크 손실이 작은 것으로 볼 수 있고, 유사도 값이 작으면 제1 마스크 손실이 큰 것으로 볼 수 있다.
여기서, 이상과 같은 제1 마스크 손실(
Figure 112022042302694-pat00055
)은 다음과 같은 수식 관계로 나타낼 수 있다.
Figure 112022042302694-pat00056
위의 수식에서,
Figure 112022042302694-pat00057
는 프레임 A와 B 사이의 유사도 dAB에 따라
Figure 112022042302694-pat00058
(이미지 손실과 동일)에 페널티(penalty)를 주는 방식이다. 이는 두 마스크의 원본 이미지 간의 유사도에 따라 페널티를 적용하는 방식이다. 즉, 원본 이미지가 유사할수록 두 마스크도 유사해야 한다.
이렇게 하여 제1 마스크 손실(
Figure 112022042302694-pat00059
)의 측정이 완료되면, 상기 단계 S102에서 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00060
)와 키 프레임 마스크(
Figure 112022042302694-pat00061
) 간의 제2 마스크 손실(
Figure 112022042302694-pat00062
)을 측정한다(단계 S105). 여기서, 상기 키 프레임 마스크(
Figure 112022042302694-pat00063
)에서의 키 프레임은 상기 동영상 데이터 세트 내에서 특정 기준에 의해 선별된 한 장 이상의 프레임일 수 있다. 이때, 상기 특정 기준은 영상의 선명도, 영상 내 병변의 위치, 밝기 값 등을 포함할 수 있다. 이때, 또한 상기 키 프레임은 제3자, 예를 들면, 의료진 또는 병변 영역을 검출하는 기학습된 인공지능 모델에 의해 병변 영역이 태깅될 수 있다.
여기서, 또한 상기 제2 마스크 손실(
Figure 112022042302694-pat00064
)은 키 프레임 마스크(
Figure 112022042302694-pat00065
)와 t+1 번째 추론 마스크(
Figure 112022042302694-pat00066
)(213) 간의 유사도를 측정함으로써 제2 마스크 손실의 정도를 알 수 있다. 예를 들면, 키 프레임 마스크(
Figure 112022042302694-pat00067
)와 t+1 번째 추론 마스크(
Figure 112022042302694-pat00068
)(213) 간의 유사도 값이 크면 제2 마스크 손실이 작은 것으로 볼 수 있고, 유사도 값이 작으면 제2 마스크 손실이 큰 것으로 볼 수 있다.
여기서, 이상과 같은 제2 마스크 손실(
Figure 112022042302694-pat00069
)은 다음과 같은 수식 관계로 나타낼 수 있다.
Figure 112022042302694-pat00070
위의 수식에서, 마찬가지로
Figure 112022042302694-pat00071
는 프레임 A와 B 사이의 유사도 dAB에 따라
Figure 112022042302694-pat00072
(이미지 손실과 동일)에 페널티(penalty)를 주는 방식이다. 전술한 바와 같이, 이는 두 마스크의 원본 이미지 간의 유사도에 따라 페널티를 적용하는 방식이다. 다시 말해서, 원본 이미지가 유사할수록 두 마스크도 유사해야 한다.
이상과 같은 제1 마스크 손실(
Figure 112022042302694-pat00073
)과 제2 마스크 손실(
Figure 112022042302694-pat00074
)에 공통으로 적용되는
Figure 112022042302694-pat00075
은 다음과 같은 값으로 주어질 수 있다.
Figure 112022042302694-pat00076
위의 수식에서
Figure 112022042302694-pat00077
는 포지티브 쌍(positive pair)과 네거티브 쌍(negative pair)을 나누는 마진(margin) 값이며,
Figure 112022042302694-pat00078
가 클수록 비슷한 프레임이다. 또한,
Figure 112022042302694-pat00079
는 거리
Figure 112022042302694-pat00080
의 마진 값을 나타낸다.
이상에 의해 제2 마스크 손실(
Figure 112022042302694-pat00081
)의 측정이 완료되면, 상기 단계 S103에서 측정된 이미지 손실(
Figure 112022042302694-pat00082
)과, 상기 단계 S104에서 측정된 제1 마스크 손실(
Figure 112022042302694-pat00083
) 및 상기 단계 S105에서 측정된 제2 마스크 손실(
Figure 112022042302694-pat00084
)을 합산하여 학습 손실을 측정한다(단계 S106). 여기서, 이와 같은 학습 손실은 그 손실값이 작을수록 학습 결과(효과)가 양호하다고 할 수 있으며, 이는 곧 의료 인공지능 모델의 성능이 우수함을 의미하는 것으로 볼 수 있다.
여기서, 또한 상기 단계 S106 이후에 상기 측정된 학습 손실 결과를 바탕으로 상기 의료 인공지능 모델의 학습 중단 조건을 만족하는지를 판별하는 단계와; 학습 중단 조건을 만족하지 않으면 프로세스 진행을 상기 단계 S101로 회귀시키고, 학습 중단 조건을 만족하면 프로세스를 종료하는 단계를 더 포함할 수 있다. 이 부분에 대해서는 아래에서 다시 설명하기로 한다.
이하에서는 이상과 같은 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법과 관련하여 조금 더 설명을 부가해 보기로 한다.
도 4는 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법의 프로세스 진행 과정을 나타낸 흐름도이다.
도 4를 참조하면, 먼저 상기 의료 인공지능 모델(210)이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00085
)(205)와 t 번째 마스크(
Figure 112022042302694-pat00086
)(206)를 입력받는다(단계 S401, S403). 이때, 시간 t=0인지를 판별하여(단계 S402), t=0이 아니면 t 번째 마스크, 즉 추론된 t 번째 마스크(
Figure 112022042302694-pat00087
) (206b)(도 2 참조)를 입력받고(단계 S403), t=0이면 랜덤으로 t 번째 마스크(
Figure 112022042302694-pat00088
)(206a)(도 2 참조)를 입력받는다(단계 S404).
이렇게 하여 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00089
)(205) 및 t 번째 마스크 (
Figure 112022042302694-pat00090
)(206)가 입력되면, 의료 인공지능 모델(210)은 입력받은 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00091
) 및 t 번째 마스크(
Figure 112022042302694-pat00092
)를 바탕으로 다음 프레임 생성 모델(211)에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00093
)(212) 및 t+1 번째 마스크(
Figure 112022042302694-pat00094
)(213)를 추론하여 생성한다(단계 S405∼S407).
이상에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00095
)(212) 및 t+1 번째 마스크(
Figure 112022042302694-pat00096
)(213)의 추론 생성이 완료되면, 그 생성된 시간 t+1 번째 추론 프레임 이미지(
Figure 112022042302694-pat00097
)(212)(S406)와 상기 t 번째 프레임 이미지(
Figure 112022042302694-pat00098
) 다음의 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00099
)(S408) 간의 이미지 손실(
Figure 112022042302694-pat00100
)을 측정한다(단계 S409).
그리고 상기 단계 S407에서 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00101
)(213)와, 상기 단계 S403에서의 추론된 t 번째 마스크(
Figure 112022042302694-pat00102
)(206b) 간의 제1 마스크 손실 (
Figure 112022042302694-pat00103
)을 측정한다(단계 S410).
또한, 상기 단계 S407에서 생성된 시간 t+1 번째 추론 마스크(
Figure 112022042302694-pat00104
)와 키 프레임 마스크(
Figure 112022042302694-pat00105
)(S411) 간의 제2 마스크 손실(
Figure 112022042302694-pat00106
)을 측정한다(단계 S412).
이상에 의해 제2 마스크 손실(
Figure 112022042302694-pat00107
)까지 측정이 완료되면, 상기 단계 S409에서 측정된 이미지 손실(
Figure 112022042302694-pat00108
)과, 상기 단계 S410에서 측정된 제1 마스크 손실(
Figure 112022042302694-pat00109
) 및 상기 단계 S412에서 측정된 제2 마스크 손실(
Figure 112022042302694-pat00110
)을 합산하여 학습 손실을 측정한다(단계 S413).
이후, 상기 측정된 학습 손실 결과를 바탕으로 상기 의료 인공지능 모델의 학습 중단 조건을 만족하는지를 판별한다(단계 S414). 이 판별에서 학습 중단 조건을 만족하지 않으면 프로세스 진행을 S401로 회귀시키고, 학습 중단 조건을 만족하면 프로세스를 종료한다.
도 5는 동영상 데이터가 없는 경우 정지 영상으로부터 동영상 데이터 및 정답 영역 마스크를 생성하는 프로세스 진행 과정을 나타낸 흐름도이다.
도 5를 참조하면, 이는 본 발명의 학습 방법에 따라 학습된 의료 인공지능 모델을 적용하여, 동영상 데이터가 없는 경우 정지 영상으로부터 동영상 데이터 및 정답 영역 마스크를 생성하는 프로세스 진행 과정으로서, 먼저 시간 t=0인지를 판별하여(단계 S501), t=0이면 t=0일 때의 이미지(
Figure 112022042302694-pat00111
)와 랜덤으로 선정된 마스크(
Figure 112022042302694-pat00112
)를 입력하고(단계 S502, S503), t=0이 아니면 시간 t에서의 추론 이미지 (
Figure 112022042302694-pat00113
)및 추론 마스크(
Figure 112022042302694-pat00114
)를 입력한다(단계 S504, S505).
그러면, 의료 인공지능 모델(210)은 입력받은 시간 t=0일 때의 이미지(
Figure 112022042302694-pat00115
)와 랜덤으로 선정된 마스크(
Figure 112022042302694-pat00116
) 또는 시간 t에서의 추론 이미지(
Figure 112022042302694-pat00117
)및 추론 마스크(
Figure 112022042302694-pat00118
)를 바탕으로 다음 프레임 생성 모델에 의해 시간 t+1 번째 프레임 이미지 (
Figure 112022042302694-pat00119
) 및 t+1 번째 마스크(
Figure 112022042302694-pat00120
)를 추론하여 생성한다(단계 S506∼S508).
이상과 같은 일련의 과정은 수 회 또는 수십 회 반복적으로 수행된다. 따라서 싸이클이 반복 수행될 때마다 매번 t=t+n(미리 설정된 시점 혹은 횟수)에 도달했는지를 판별하여(단계 S509), t=t+n(미리 설정된 시점 혹은 횟수)에 도달하지 않았으면 프로세스 진행을 단계 S501로 회귀시키고, t=t+n(미리 설정된 시점 혹은 횟수)에 도달했으면 프로세스 진행을 종료한다.
도 6은 동영상 데이터는 있으나, 병변 태깅이 없는 경우 동영상 데이터를 태깅을 위해 사용하는 프로세스 진행 과정을 나타낸 흐름도이다.
도 6을 참조하면, 이는 본 발명의 학습 방법에 따라 학습된 의료 인공지능 모델을 적용하여, 동영상 데이터는 있으나, 병변 태깅이 없는 경우 동영상 데이터를 태깅을 위해 사용하는 프로세스 진행 과정으로서, 먼저 의료 인공지능 모델(210)이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00121
)(205)와 t 번째 마스크(
Figure 112022042302694-pat00122
)(206)를 입력받는다(단계 S601, S603). 이때, 시간 t=0인지를 판별하여(단계 S602), t=0이 아니면 t 번째 마스크, 즉 추론된 t 번째 마스크(
Figure 112022042302694-pat00123
) (206b)(도 2 참조)를 입력받고(단계 S603), t=0이면 랜덤으로 t 번째 마스크(
Figure 112022042302694-pat00124
)(206a)(도 2 참조)를 입력받는다(단계 S604).
이렇게 하여 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00125
)(205) 및 t 번째 마스크 (
Figure 112022042302694-pat00126
)(206)가 입력되면, 의료 인공지능 모델(210)은 입력받은 시간 t 번째 프레임 이미지(
Figure 112022042302694-pat00127
) 및 t 번째 마스크(
Figure 112022042302694-pat00128
)를 바탕으로 다음 프레임 생성 모델(211)에 의해 시간 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00129
)(212) 및 t+1 번째 마스크(
Figure 112022042302694-pat00130
)(213)를 추론하여 생성한다(단계 S605∼S607). 여기서, 이때 생성된 t+1 번째 프레임 이미지(
Figure 112022042302694-pat00131
) (212)는 동영상 데이터가 이미 있으므로 사용하지 않는다.
이상과 같은 일련의 과정은 마찬가지로 수 회 또는 수십 회 반복적으로 수행된다. 따라서 싸이클이 반복 수행될 때마다 매번 t=t+n(미리 설정된 시점 혹은 횟수)에 도달했는지를 판별하여(단계 S608), t=t+n(미리 설정된 시점 혹은 횟수)에 도달하지 않았으면 프로세스 진행을 단계 S501로 회귀시키고, t=t+n(미리 설정된 시점 혹은 횟수)에 도달했으면 프로세스 진행을 종료한다.
이상에 의해 생성된 모든 프레임 이미지와 병변 태깅 마스크는 의료 현장에서 사용 가능하며, 특정 스텝 크기(step size)를 기준으로 샘플링하여 활용할 수 있다. 그리고 특정 조건을 기준으로 선택하여 활용할 수 있다. 예를 들면, 프레임 간의 유사도를 측정하여 유사하지 않은 프레임 세트로만 구성하여 사용할 수도 있고, 유사한 프레임 세트로만 구성하여 사용할 수도 있다.
이상의 설명과 같이, 본 발명에 따른 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법은, 인공지능 기반 동영상 생성 모델을 도입하여 동영상 데이터 수집 및 동영상 데이터 타겟 영역 태깅 작업이 제한적인 상황에서 동영상 데이터를 활용할 수 있도록 함으로써, 동영상 데이터 활용에 요구되는 시간과 인력을 최소화 할 수 있고, 수집된 정지영상 DB를 통해 동영상 학습 모델의 효과를 얻을 수 있으며, 실시간 진단 환경에 효과적으로 의료 인공지능 모델을 적용할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
205: t 번째 프레임 이미지(
Figure 112022042302694-pat00132
) 206: t 번째 마스크(
Figure 112022042302694-pat00133
)
210: 의료 인공지능 모델 211: 다음 프레임 생성 모델
212: t+1 번째 프레임 이미지(
Figure 112022042302694-pat00134
) 213: t+1 번째 마스크(
Figure 112022042302694-pat00135
)

Claims (10)

  1. 컴퓨팅 장치에 의해 각 단계가 수행되는 의료 인공지능 모델이 정지영상 데이터로부터 동영상 데이터를 생성할 수 있도록 의료 인공지능 모델을 학습시키는 방법으로서,
    a) 상기 의료 인공지능 모델이 사전에 준비된 학습용 동영상 데이터 세트 중 임의의 시간 t 번째 프레임 이미지(
    Figure 112022085662229-pat00136
    ) 및 t 번째 마스크(
    Figure 112022085662229-pat00137
    )를 입력받는 단계와;
    b) 상기 입력받은 시간 t 번째 프레임 이미지(
    Figure 112022085662229-pat00138
    ) 및 t 번째 마스크(
    Figure 112022085662229-pat00139
    )를 바탕으로 상기 의료 인공지능 모델 내에 구축되어 있는 다음 프레임 생성 모델에 의해 시간 t+1 번째 프레임 이미지(
    Figure 112022085662229-pat00140
    ) 및 t+1 번째 마스크(
    Figure 112022085662229-pat00141
    )를 추론하여 생성하는 단계와;
    c) 상기 생성된 시간 t+1 번째 추론 프레임 이미지(
    Figure 112022085662229-pat00142
    )와 상기 t 번째 프레임 이미지(
    Figure 112022085662229-pat00143
    ) 다음의 t+1 번째 프레임 이미지(
    Figure 112022085662229-pat00144
    ) 간의 이미지 손실(
    Figure 112022085662229-pat00145
    )을 측정하는 단계와;
    d) 상기 생성된 시간 t+1 번째 추론 마스크(
    Figure 112022085662229-pat00146
    )와 추론된 t 번째 마스크 (
    Figure 112022085662229-pat00147
    ) 간의 제1 마스크 손실(
    Figure 112022085662229-pat00148
    )을 측정하는 단계와;
    e) 상기 생성된 시간 t+1 번째 추론 마스크(
    Figure 112022085662229-pat00149
    )와 키 프레임 마스크(
    Figure 112022085662229-pat00150
    ) 간의 제2 마스크 손실(
    Figure 112022085662229-pat00151
    )을 측정하는 단계; 및
    f) 상기 단계 c)에서 측정된 이미지 손실(
    Figure 112022085662229-pat00152
    )과, 상기 단계 d)에서 측정된 제1 마스크 손실(
    Figure 112022085662229-pat00153
    ) 및 상기 단계 e)에서 측정된 제2 마스크 손실(
    Figure 112022085662229-pat00154
    )을 합산하여 학습 손실을 측정하는 단계를 포함하는, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  2. 제1항에 있어서,
    상기 단계 f) 이후에 상기 측정된 학습 손실 결과를 바탕으로 상기 의료 인공지능 모델의 학습 중단 조건을 만족하는지를 판별하는 단계와;
    학습 중단 조건을 만족하지 않으면 프로세스 진행을 상기 단계 a)로 회귀시키고, 학습 중단 조건을 만족하면 프로세스를 종료하는 단계를 더 포함하는, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  3. 제1항에 있어서,
    상기 단계 a)에서 상기 학습용 동영상 데이터 세트는 하나의 동영상에 하나의 병변이 포함된, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  4. 제1항에 있어서,
    상기 단계 a)에서 상기 동영상 데이터 세트의 입력 방식은 첫 번째 프레임부터 순차적으로 입력하는 방식, 마지막 프레임부터 역순으로 입력하는 방식, 순차적 입력과 역순 입력을 융합하여 입력하는 방식, 키 프레임을 기준으로 순차적 입력+역순 입력 방식 중 어느 하나의 방식인, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  5. 제1항에 있어서,
    상기 단계 b)에서의 상기 다음 프레임 생성 모델은 다음 프레임 이미지 생성 부분과 마스크 생성 부분이 서로 다른 구조로 구성된, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  6. 제1항에 있어서,
    상기 단계 b)에서의 상기 다음 프레임 생성 모델은 다음 프레임 이미지 생성 부분과 마스크 생성 부분의 일부 구조는 상호 공유되고, 나머지 구조는 분기되는 형상으로 구성된, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  7. 제1항에 있어서,
    상기 단계 b)에서의 상기 다음 프레임 생성 모델은 엔코더(encoder)와 디코더(decoder)로 구성되는 생성자(generator) 형태로 구성된, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  8. 제1항에 있어서,
    상기 단계 e)의 키 프레임 마스크(
    Figure 112022042302694-pat00155
    )에서의 키 프레임은 상기 동영상 데이터 세트 내에서 특정 기준에 의해 선별된 한 장 이상의 프레임인, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  9. 제8항에 있어서,
    상기 특정 기준은 영상의 선명도, 영상 내 병변의 위치, 밝기 값을 포함하는, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
  10. 제8항에 있어서,
    상기 키 프레임은 의료진 또는 병변 영역을 검출하는 기학습된 인공지능 모델에 의해 병변 영역이 태깅되는, 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법.
KR1020220048760A 2021-11-03 2022-04-20 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법 KR102472299B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210149285 2021-11-03
KR1020210149285 2021-11-03

Publications (1)

Publication Number Publication Date
KR102472299B1 true KR102472299B1 (ko) 2022-11-30

Family

ID=84234460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220048760A KR102472299B1 (ko) 2021-11-03 2022-04-20 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법

Country Status (1)

Country Link
KR (1) KR102472299B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200010971A (ko) * 2018-06-25 2020-01-31 한국전자통신연구원 광학 흐름 추정을 이용한 이동체 검출 장치 및 방법
KR20200049451A (ko) * 2018-10-16 2020-05-08 삼성전자주식회사 콘볼루션 신경망 시스템 및 그것의 동작 방법
KR102093577B1 (ko) * 2018-12-03 2020-05-15 이화여자대학교 산학협력단 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
KR20210072362A (ko) 2019-12-09 2021-06-17 엘지전자 주식회사 인공 지능 모델에 대한 학습 데이터를 생성하는 인공 지능 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200010971A (ko) * 2018-06-25 2020-01-31 한국전자통신연구원 광학 흐름 추정을 이용한 이동체 검출 장치 및 방법
KR20200049451A (ko) * 2018-10-16 2020-05-08 삼성전자주식회사 콘볼루션 신경망 시스템 및 그것의 동작 방법
KR102093577B1 (ko) * 2018-12-03 2020-05-15 이화여자대학교 산학협력단 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치
KR20210072362A (ko) 2019-12-09 2021-06-17 엘지전자 주식회사 인공 지능 모델에 대한 학습 데이터를 생성하는 인공 지능 장치 및 그 방법
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Similar Documents

Publication Publication Date Title
CN109493328B (zh) 医学图像显示方法、查看设备以及计算机设备
CN111462020B (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
US9934586B2 (en) System and method for processing multimodal images
CN107610193A (zh) 使用深度生成式机器学习模型的图像校正
CN107992817A (zh) 自动成像方法和系统
JP2011218223A (ja) 画像処理装置及び方法、並びにプログラム
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
JP6201255B2 (ja) 医用画像処理システムおよび医用画像処理プログラム
CN105118088A (zh) 一种基于病理切片扫描装置的3d成像及融合的方法
US10152799B2 (en) Registering first image data of a first stream with second image data of a second stream
US11950877B2 (en) System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
CN108470585A (zh) 一种互动式虚拟切片远程标注方法及系统
Szczotka et al. Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy
JP2001218110A (ja) 画像間演算方法および装置並びに画像表示方法および装置
KR102472299B1 (ko) 정지영상 데이터로부터 동영상 데이터를 생성하기 위한 의료 인공지능 모델의 학습 방법
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
JP4327171B2 (ja) 最大値投影方法および装置
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
CN112581460B (zh) 扫描规划方法、装置、计算机设备和存储介质
CN110111318A (zh) 一种环形伪影的检测方法和系统
CN108876783A (zh) 图像融合方法及系统、医疗设备和图像融合终端
JP2010075443A (ja) 断層像処理装置、ｘ線ｃｔ装置およびプログラム
Al-Durgham et al. Bundle adjustment-based stability analysis method with a case study of a dual fluoroscopy imaging system
KR20230064521A (ko) 동영상 데이터를 이용한 의료 인공지능 모델 학습 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant