KR102657226B1 - 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치 - Google Patents

심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102657226B1
KR102657226B1 KR1020210138194A KR20210138194A KR102657226B1 KR 102657226 B1 KR102657226 B1 KR 102657226B1 KR 1020210138194 A KR1020210138194 A KR 1020210138194A KR 20210138194 A KR20210138194 A KR 20210138194A KR 102657226 B1 KR102657226 B1 KR 102657226B1
Authority
KR
South Korea
Prior art keywords
image
label
propagated
relationship
motion vector
Prior art date
Application number
KR1020210138194A
Other languages
English (en)
Other versions
KR20230055004A (ko
Inventor
김세근
심학준
홍영택
하성민
맹신희
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Priority to KR1020210138194A priority Critical patent/KR102657226B1/ko
Priority to PCT/KR2022/013882 priority patent/WO2023068564A1/ko
Publication of KR20230055004A publication Critical patent/KR20230055004A/ko
Application granted granted Critical
Publication of KR102657226B1 publication Critical patent/KR102657226B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 데이터를 증강하는 방법에 관한 것으로서, 제1 이미지 및 제1 레이블(label)을 획득하는 단계, 상기 제1 이미지 및 제2 이미지와의 관계를 결정하는 단계 및 상기 제1 이미지 및 상기 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성하는 단계를 포함할 수 있다. 제2 이미지는 제1 이미지와 시계열적 관계를 가진다. 상기 제3 이미지는 모션 벡터 필드(motion vector field)에 기초하여 상기 제1 이미지를 전파(propagate)함으로써 생성된다. 상기 제1 이미지는 주기를 가지는 영상 프레임들의 일부이며, 상기 전파의 전파 스탭(propagated step) 사이즈는 상기 주기보다 작다.

Description

심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치{METHOD AND APPARATUS FOR AUGMENTING ECHOCARDIOGRAPHY DATA}
본 발명은 데이터 증강(augmentation)에 관한 것으로서, 특히 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치에 관한 것이다.
질병은 인간의 심신에 장애를 일으켜서 정상적인 기능을 저해하는 상태를 의미하는 것으로, 질병에 따라 인간은 고통을 받고 심지어 생을 유지하지 못할 수 있다. 따라서, 질병을 진단하고, 치료하고 나아가 예방하기 위한 다양한 사회적 시스템 및 기술들이 인류의 역사와 함께 발전해왔다. 질병의 진단 및 치료에 있어서, 기술의 눈부신 발전에 따라 다양한 도구들 및 방식들이 개발되어 왔지만, 아직까지, 종국적으로는 의사의 판단에 의존하고 있는 현실이다.
한편, 최근 인공지능(artificial intelligence, AI) 기술이 크게 발전하면서 다양한 분야에서 주목되고 있다. 특히, 방대한 양의 누적된 의료 데이터와, 영상 위주의 진단 데이터 등의 환경으로 인해, 의료 분야에 인공지능 알고리즘을 접목하려는 다양한 시도와 연구가 진행 중이다. 구체적으로, 질병을 진단, 예측하는 등 종래의 임상적 판단에 머물러 있던 작업들을 인공지능 알고리즘을 이용하여 해결하려는 다양한 연구가 이루어지고 있다.
본 발명은 일부만 주석(annotation)을 가진 비디오 프레임 시퀀스(sparsely annotated video frame sequences)를 증강하는 방법 및 장치를 제공하기 위한 것이다.
본 발명은 심장 초음파 이미지(echocardiography) 데이터를 증강하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 데이터를 증강하는 방법은, 제1 이미지 및 제1 레이블(label)을 획득하는 단계, 상기 제1 이미지 및 제2 이미지와의 관계를 결정하는 단계 및 상기 제1 이미지 및 상기 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성하는 단계를 포함할 수 있다. 상기 제2 이미지는 상기 제1 이미지와 시계열적 관계를 가진다. 상기 제3 이미지는 모션 벡터 필드(motion vector field)에 기초하여 상기 제1 이미지를 전파(propagate)함으로써 생성된다. 상기 제1 이미지는 주기를 가지는 영상 프레임들의 일부이며, 상기 전파의 전파 스탭(propagated step) 사이즈는 상기 주기보다 작다. 상기 제1 이미지 및 상기 제2 이미지와의 관계 결정은 인공지능 모델에 기초한 상기 모션 벡터 필드의 결정이다. 상기 인공지능 모델은 CNN(convolutional neural network)이다. 상기 제2 레이블은 상기 모션 벡터 필드에 기초하여 상기 제1 레이블을 전파함으로써 생성될 수 있다. 상기 제3 이미지의 전파 스텝은 상기 제2 레이블의 전파 스텝과 동일할 수 있다. 상기 제1 이미지는 심장 초음파 이미지(echocardiography)일 수 있다. 상기 제1 레이블은 상기 제1 이미지의 심장의 적어도 하나 이상의 챔버의 경계를 지시할 수 있다. 상기 제2 이미지는 상기 제1 이미지와 시계열적 관계를 가지는 심장 이미지이다. 상기 제3 이미지는 전파된 심장 초음파 이미지이다. 상기 제2 레이블은 전파된 레이블이다.
본 발명의 실시 예에 따른 데이터를 증강하는 장치는, 송수신부 및 인공지능 모델을 저장하는 저장부 및 상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 제1 이미지 및 제1 레이블(label)을 획득하고, 상기 제1 이미지 및 제2 이미지와의 관계를 결정하고, 상기 제1 이미지 및 상기 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성하도록 제어할 수 있다. 상기 제2 이미지는 상기 제1 이미지와 시계열적 관계를 가진다. 상기 제3 이미지는 모션 벡터 필드(motion vector field)에 기초하여 상기 제1 이미지를 전파(propagate)함으로써 생성된다. 상기 제1 이미지는 주기를 가지는 영상 프레임들의 일부이며, 상기 전파의 전파 스탭(propagated step) 사이즈는 상기 주기보다 작다. 상기 제1 이미지 및 상기 제2 이미지와의 관계 결정은 인공지능 모델에 기초한 모션 벡터 필드(motion vector field) 결정이다. 상기 인공지능 모델은 CNN(convolutional neural network)이다. 상기 제2 레이블은 상기 모션 벡터 필드에 기초하여 상기 제1 레이블을 전파함으로써 생성될 수 있다. 상기 제3 이미지의 전파 스텝은 상기 제2 레이블의 전파 스텝과 동일할 수 있다. 상기 제1 이미지는, 심장 초음파 이미지(echocardiography)일 수 있다. 상기 제1 레이블은, 상기 제1 이미지의 심장의 적어도 하나의 챔버의 경계를 지시할 수 있다. 상기 제2 이미지는, 상기 제1 이미지와 시계열적 관계를 가지는 심장 이미지이다. 상기 제3 이미지는 전파된 심장초음파 이미지이다. 상기 제2 레이블은 전파된 레이블이다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 드물게 주석(annotation)이 부가된 비디오 프레임 시퀀스(sparsely annotated video frame sequences)가 증강될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 장치의 구조를 도시한다.
도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론(perceptron)의 예를 도시한다.
도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 데이터 증강의 개념을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 데이터 증강 절차의 예를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 심장 초음파 이미지 데이터를 증강하는 절차의 예를 도시한다.
도 8a 내지 도 8c는 본 발명의 실시 예에 따른 데이터 증강을 도시한다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 데이터를 증강하기 위한 것으로서, 구체적으로 심장 초음파 이미지를 증강(augmentation)하는 기술에 관한 것이다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.
도 1을 참고하면, 시스템은 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)를 포함한다.
서비스 서버(110)는 인공지능 모델 기반의 서비스를 제공한다. 즉, 서비스 서버(110)는 인공지능 모델을 이용하여 학습 및 예측 동작을 수행한다. 서비스 서버(110)는 네트워크를 통해 데이터 서버(120) 또는 적어도 하나의 클라이언트 장치(130)와 통신을 수행할 수 있다. 예를 들어, 서비스 서버(110)는 데이터 서버(120)로부터 인공지능 모델을 훈련하기 위한 학습 데이터를 수신하고, 훈련을 수행할 수 있다. 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)로부터 학습 및 예측(prediction) 동작에 필요한 데이터를 수신할 수 있다. 또한, 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)에게 예측 결과에 대한 정보를 송신할 수 있다.
데이터 서버(120)는 서비스 서버(110)에 저장된 인공지능 모델의 훈련을 위한 학습 데이터를 제공한다. 다양한 실시 예들에 따라, 데이터 서버(120)는 누구나 접근 가능한 공공 데이터를 제공하거나 또는 허가를 필요로 하는 데이터를 제공할 수 있다. 필요에 따라, 학습 데이터는 데이터 서버(120)에 의해 또는 서비스 서버(120)에 의해 전처리할 수 있다. 다른 실시 예에 따라, 데이터 서버(120)는 생략될 수 있다. 이 경우, 서비스 서버(110)는 외부에서 훈련된 인공지능 모델을 사용하거나 또는 서비스 서버(110)에 오프라인으로 학습 데이터가 제공될 수 있다.
적어도 하나의 클라이언트 장치(130)는 서비스 서버(110)에 의해 운용되는 인공지능 모델에 관련된 데이터를 서비스 서버(110)와 송신 및 수신한다. 적어도 하나의 클라이언트 장치(130)는 사용자에 의해 사용되는 장비이며, 사용자에 의해 입력되는 정보를 서비스 서버(110)에게 송신하고, 서비스 서버(110)로부터 수신되는 정보를 저장하거나 사용자에게 제공(예: 표시)할 수 있다. 경우에 따라, 어느 하나의 클라이언트로부터 송신된 데이터에 기반하여 예측 동작이 수행되고, 예측의 결과에 관련된 정보가 다른 클라이언트에게 제공될 수 있다. 적어도 하나의 클라이언트 장치(130)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 타블렛, 웨어러블 기기 등 다양한 형태의 컴퓨팅 장치일 수 있다.
도 1에 도시되지 아니하였으나, 시스템은 서비스 서버(110)를 관리하기 위한 관리 장치를 더 포함할 수 있다. 관리 장치는 서비스를 관리하는 주체에 의해 사용되는 장치로서, 서비스 서버(110)의 상태를 모니터링하거나, 서비스 서버(110)의 설정을 제어한다. 관리 장치는 네트워크를 통해 서비스 서버(110)에 접속하거나 또는 케이블 연결을 통해 직접 연결될 수 있다. 관리 장치의 제어에 따라, 서비스 서버(110)는 동작을 위한 파라미터를 설정할 수 있다.
도 1을 참고하여 설명한 바와 같이, 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130), 관리 장치 등이 네트워크를 통해 연결되고, 상호작용할 수 있다. 여기서, 네트워크는 유선 네트워크 및 무선 네트워크 중 적어도 하나를 포함할 수 있고, 셀룰러 네트워크, 근거리 네트워크, 광역 네트워크 중 어느 하나 또는 둘 이상의 조합으로 이루어질 수 있다. 예를 들어, 네트워크는 LAN(local area network), WLAN(wireless LAN), 블루투스(bluetooth), LTE(long term evolution), LTE-A(LTE-advanced), 5G(5th generation) 중 적어도 하나에 기반하여 구현될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 장치의 구조를 도시한다. 도 2에 예시된 구조는 도 1의 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)의 구조로 이해될 수 있다.
도 2를 참고하면, 장치는, 통신부(210), 저장부(220), 제어부(230)를 포함한다.
통신부(210)는 네트워크에 접속하고, 다른 장치와 통신을 수행하기 위한 기능을 수행한다. 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나를 지원할 수 있다. 통신을 위해, 통신부(210)는 RF(radio frequency) 처리 회로, 디지털 데이터 처리 회로 중 적어도 하나를 포함할 수 있다. 경우에 따라, 통신부(210)는 케이블을 연결하기 위한 단자를 포함하는 구성요소로 이해될 수 있다. 통신부(210)는 데이터, 신호를 송신 및 수신하기 위한 구성요소이므로, '송수신부(transceiver)'라 지칭될 수 있다.
저장부(220)는 장치의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 명령어 집합, 어플리케이션 등을 저장한다. 저장부(220)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(220)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다. 예를 들어, 저장부(220)는 콤팩트 플래시(compact flash, CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 중 적어도 하나로 구현될 수 있다.
제어부(230)는 장치의 전반적인 동작을 제어한다. 이를 위해, 제어부(230)는 적어도 하나의 프로세서, 적어도 하나의 마이크로 프로세서 등을 포함할 수 있다. 제어부(230)는 저장부(220)에 저장된 프로그램을 실행하고, 통신부(210)를 통해 네트워크에 접속할 수 있다. 특히, 제어부(230)는 후술하는 다양한 실시 예들에 따른 알고리즘들을 수행하고, 후술하는 실시 예들에 따라 장치가 동작하도록 제어할 수 있다.
도 1 및 도 2를 참고하여 설명한 구조에 기반하여, 본 발명의 다양한 실시 예들에 따른 인공지능 알고리즘 기반의 서비스가 제공될 수 있다. 여기서, 인공지능 알고리즘을 구현하기 위해 인공 신경망으로 이루어진 인공지능 모델이 사용될 수 있다. 인공 신경망의 구성 단위인 퍼셉트론(perceptron) 및 인공 신경망의 개념은 다음과 같다.
퍼셉트론은 생물의 신경 세포를 모델링한 것으로서, 다수의 신호들을 입력으로 삼아 하나의 신호를 출력하는 구조를 가진다. 도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론의 예를 도시한다. 도 3을 참고하면, 퍼셉트론은 입력 값들(예: x1, x2, x3, …, xn) 각각 대하여 가중치들(302-1 내지 302-n)(예: w1j, w2j, w3j, …, wnj)을 곱한 후, 가중치 곱해진(weighted) 입력 값들을 변환 함수(transfer function)(304)을 이용하여 합산한다. 합산 과정에서, 바이어스(bias) 값(예: bk)이 더해질 수 있다. 퍼셉트론은 변환 함수(304)의 출력인 네트(net) 입력 값(예: netj)에 대하여 활성 함수(activation function)(306)을 적용함으로써, 출력 값(예: oj)를 생성한다. 경우에 따라, 활성 함수(306)은 임계치(예: θj)에 기반하여 동작할 수 있다. 활성 함수는 다양하게 정의될 수 있다. 본 발명이 이에 제한되는 것은 아니나, 예를 들어, 활성 함수로서, 스텝 함수(step function), 시그모이드(sigmoid), Relu, Tanh 등이 사용될 수 있다.
도 3와 같은 퍼셉트론들이 나열되고, 레이어를 이룸으로써 인공 신경망이 설계될 수 있다. 도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다. 도 4에서, 원으로 표현된 각 노드는 도 3의 퍼셉트론으로 이해될 수 있다. 도 4를 참고하면, 인공 신경망은 입력 레이어(input layer)(402), 복수의 은닉 레이어(hidden layer)들(404a, 404b), 출력 레이어(output layer)(406)를 포함한다.
예측을 수행하는 경우, 입력 레이어(402)의 각 노드로 입력 데이터가 제공되면, 입력 데이터는 입력 레이어(402), 은닉 레이어들(404a, 404b)을 이루는 퍼셉트론들에 의한 가중치 적용, 변환 함수 연산 및 활성 함수 연산 등을 거쳐 출력 레이어(406)까지 순전파(forward propagation)된다. 반대로, 훈련을 수행하는 경우, 출력 레이어(406)로부터 입력 레이어(402)를 향한 역전파(backward propagation)를 통해 오차가 계산되고, 계산된 오차에 따라 각 퍼셉트론에 정의된 가중치 값들이 갱신될 수 있다.
인공지능 기술이 의료 분야에서 다양한 용도로 사용되고, 그 영역을 점차 넓히는 연구가 다방면으로 진행 중에 있다. 이를 위해, 인공지능 모델을 훈련하는 것이 선행되어야 하며, 인공지능 모델의 우수한 성능을 확보하기 위해 양질의 많은 학습 데이터를 확보하는 것이 중요하다. 일반적으로, 학습 데이터는 인공지능 모델에 입력되는 데이터 및 레이블(label)로 이루어지는 페어와이즈 데이터(pairwise data) 세트를 포함한다.
하지만, 양질의 데이터를 확보하는 것은 물론, 데이터를 레이블링하는 작업은 큰 노력과 비용을 필요로 한다. 따라서, 이미 확보된 학습 데이터로부터 새로운 학습 데이터를 생성하는 데이터 증강(data augmentation) 기술이 활용되기도 한다. 본 발명은 학습 데이터의 양적 확대를 위한 데이터 증강에 관한 것으로, 구체적으로 이미지들 간 시계열적 관계에 기반하여 추가적인 학습 데이터를 확보하기 위한 것이다.
도 5는 본 발명의 일 실시 예에 따른 데이터 증강의 개념을 도시한다. 도 5에서, 이미지는 I로, 레이블은 L로 표현되고, i는 이미지 번호를 의미하고, 전파된 이미지는 IP로, 전파된 레이블은 LP로 표현된다.
도 5를 참고하면, 시간에 따라 i, i+1 및 i+2의 순서로 이미지들이 발생한다. 예를 들어, i번째 이미지, i+1번째 이미지, i+2번째 이미지는 활동성을 가진 대상을 연속적으로 촬영함으로써 생성되는 일련의 이미지들일 수 있다. i번째 이미지는 i번째 레이블과 페어와이즈 데이터를 구성한다. 도 5의 예에서, i번째 이미지는 기준 이미지이고, i+2번째 이미지는 타겟 이미지이다.
장치는 Ii를 기준 이미지, Ii+2를 타겟 이미지로 하여 모션 벡터 필드를 추정할 수 있다. 여기서, 모션 벡터 필드는 비디오 압축에서 모션 추정 프로세스의 일 요소이다. 모션 벡터 필드는 디코딩된 이미지의 좌표에서 기준 이미지의 좌표로 오프셋을 제공하는 인터 예측에 사용되는 벡터를 의미한다. 장치는 추정된 모션 벡터 필드에 기초하여 이미지를 전파(propagate)할 수 있다. 장치는 Ii 및 추정된 모션 벡터 필드를 이용하여 를 생성할 수 있다. 또한, 장치는 추정된 모션 벡터 필드 및 레이블 를 이용하여 를 생성할 수 있다. 전파된 이미지 및 전파된 레이블은 페어와이즈 데이터를 구성할 수 있다. 이와 같이, 모션 벡터 필드에 기반하여, 기준 이미지로부터 새로운 페어와이즈 데이터, 다시 말해, 새로운 레이블링된 학습 데이터가 생성될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 데이터 증강 절차의 예를 도시한다. 도 6은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 6을 참고하면, S601 단계에서, 장치는 제1 이미지 및 제1 레이블을 획득한다. 제1 이미지는 제1 레이블을 가지는 기준 이미지일 수 있다. 여기서, 제1 레이블은 제1 이미지에서 특정 대상의 경계를 지시할 수 있다.
S603 단계에서, 장치는 제1 이미지 및 제2 이미지와의 관계를 결정한다. 예를 들어, 장치는 제1 이미지 및 제2 이미지를 사용하여 모션 벡터 필드를 결정할 수 있다. 장치는 인공지능 모델에 기초하여 제1 이미지 및 제2 이미지의 모션 벡터 필드를 결정할 수 있다. 예를 들어, 장치는 CNN(convolutional neural network)을 이용하여 제1 이미지 및 제2 이미지 간의 모션 벡터 필드를 결정할 수 있다. 여기서, 제2 이미지는 제1 이미지와 시계열적 관계를 가질 수 있다. 여기서, 모션 벡터 필드는
S605 단계에서, 장치는 제1 이미지 및 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성한다. 예를 들어, 장치는 제1 이미지 및 제2 이미지 간의 모션 벡터 필드에 기초하여 제1 이미지로부터 제3 이미지를 생성할 수 있다. 또한, 장치는 제1 이미지 및 제2 이미지 간의 모션 벡터 필드에 기초하여 제1 레이블로부터 제2 레이블을 생성할 수 있다. 다시 말해, 장치는 모션 벡터 필드에 기초하여 제1 이미지 및 제1 레이블을 전파(propagate)할 수 있다. 예를 들어, 장치는 제1 이미지 및 제2 이미지 간의 모션 벡터 필드에 기초하여 제3 이미지를 전파할 수 있다. 즉, 제3 이미지는 전파된 이미지일 수 있다. 또한, 장치는 제1 이미지 및 제2 이미지 간의 관계에 기초하여 레이블을 전파할 수 있다. 예를 들어, 장치는 제1 이미지 및 제2 이미지 간의 관계에 기초하여 제2 레이블을 전파할 수 있다. 즉, 제2 레이블은 전파된 레이블일 수 있다.
도 6을 참고하여 설명한 바와 같이, 2개의 이미지들 간 관계에 기초하여 새로운 레이블링된 이미지가 생성될 수 있다. 여기서, 2개의 이미지들, 즉, 제1 이미지 및 제2 이미지는 시계열적 관계를 가지는 연속적인 이미지들의 일부일 수 있다. 이러한 시계열적 관계를 가지는 이미지들은 주기(periodicity)를 가지고 활동하는 대상을 연속적으로 촬영한 이미지들을 포함할 수 있다.
일 실시 예에 따라, 도 6을 참고하여 설명된 절차는 심장 초음파 이미지에 관련된 학습 데이터를 증강하기 위해 적용될 수 있다. 심장은 수축기, 이완기를 포함하는 사이클에 따라 주기성을 가지고 활동하며, 활동 중인 심장을 초음파 촬영하면 시계열적인 이미지들이 획득될 수 있다. 심장 초음파 이미지에 전술한 절차를 적용하는 경우, 제1 이미지는 촬영된 심장 초음파 이미지일 수 있다. 또한, 제1 레이블은 제1 이미지에서 심장의 적어도 하나의 챔버의 경계(예: 벽)를 지시하는 주석을 포함할 수 있다. 제2 이미지는 제1 이미지와 시계열적 관계를 가지는 촬영된 심장 초음파 이미지일 수 있다. 심장 초음파 이미지들의 집합은 시계열적 관계를 가지며, 시계열은 주기성을 가질 수 있다. 제3 이미지는 전파된 심장 초음파 이미지일 수 있다. 제2 레이블은 전파된 심장 초음파 이미지의 레이블로서 사용될 수 있다. 이때, 제3 이미지 및 제2 레이블을 생성하기 위해 적용되는 전파 스텝은 동일할 수 있다. 심장 초음파 이미지 데이터를 증강하는 실시 예가 이하 도 7을 참고하여 설명된다.
도 7은 본 발명의 일 실시 예에 따른 심장 초음파 이미지 데이터를 증강하는 절차의 예를 도시한다. 도 7은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 7을 참고하면, S701 단계에서, 장치는 제1 초음파 이미지 및 레이블을 획득할 수 있다. 제1 심장 초음파 이미지는 기준 이미지로서 레이블과 쌍(pair)을 이룰 수 있다. 레이블은 심장의 경계를 지시할 수 있다. 일 예로, 레이블은 심장의 적어도 하나의 챔버의 경계를 지시할 수 있다. 구체적인 일 예로, 레이블은 심장 초음파 이미지의 좌심실, 좌심방, 우심실 및 우심방 중 적어도 하나의 경계를 지시할 수 있다. 장치는 심장 초음파 이미지의 심장 전체의 경계를 지시할 수 있다. 장치는 기준 이미지와 시계열적 관계를 가지는 제2 심장 초음파 이미지를 획득할 수 있다. 제2 심장 초음파 이미지는 레이블을 가지지 않는다.
S703 단계에서, 장치는 인공지능 모델에 기초하여 제1 심장 초음파 이미지의 모션 벡터 필드를 결정할 수 있다. 예를 들어, 장치는 인공지능 모델에 기초하여 제1 심장 초음파 이미지 및 제2 심장 초음파 이미지를 사용하여 심장 초음파 이미지의 모션 벡터 필드를 결정할 수 있다. 여기서, 인고지능 모델은 CNN 등을 포함할 수 있다.
S705 단계에서, 장치는 모션 벡터 필드에 기초하여 전파된 심장 초음파 이미지 및 전파된 레이블을 생성할 수 있다. 장치는 결정된 모션 벡터 필드에 기초하여 심장 초음파 이미지를 전파할 수 있다. 장치는 결정된 모션 벡터 필드에 기초하여 레이블을 전파할 수 있다. 전파된 심장 초음파 이미지와 전파된 레이블의 전파 스텝은 동일할 수 있다. 장치는 인공지능 모델에 기초하여 심장 초음파 이미지 및 레이블을 전파할 수 있다.
심장 초음파 이미지들의 집합은 시계열적 관계를 가지며, 그 시계열은 주기성을 가질 수 있다. 구체적으로, 심장 초음파 이미지들은 심방의 수축 및 이완, 심실의 수축 및 이완 등과 관련하여 주기를 가질 수 있다. 일 예로, 정상인의 경우, 분당 맥박수가 60내지 100일 수 있다. 또한, 심장박동이 느린 서맥 환자의 경우, 분당 맥박수가 60 이하일 수 있다. 또한, 심장박동이 빠른 빈맥 환자의 경우, 분당 맥박수가 100 이상일 수 있다.
또 다른 예로, 심장 초음파 이미지들은 P파-QRS파-T파의 주기를 가질 수 있다. 또한, 심장 초음파 이미지들은 mid-systole, end-systole, mid-diastole, end-diastole의 주기를 가질 수 있다. 또한, 심장 초음파 이미지들은 Isovolumic contraction, Rapid ventricular ejection, Isovolumic relaxation, Rapid inflow, Atrial systole의 주기를 가질 수 있다. 심장 초음파 이미지들은 다양하게 표현되는 주기를 가질 수 있으며, 상술한 실시예들로 제한되지 않는다. 일반 이미지와 다르게 심장초음파 영상은 주기성을 가질 수 있다. 심장 초음파 영상에 대해 전파(propagation) 방법을 사용하여 데이터를 증강하는 경우, 전파 스탭 사이즈(m)가 심장의 한 주기를 넘어가지 않는다. 이러한 방법은 심장 초음파 영상에서 관찰할 수 있는 모든 심장 구조에 적용될 수 있다. 다만, 움직임 정보를 기반으로 전파를 진행하므로 움직임이 없는 장기에서의 사용은 무의미할 수 있다. 전파 방법은 순방향 전파 (시간순서) 및 역방향 전파 (역시간순서)로 양방향 적용이 가능하다.
장치는 주기성에 기초하여 전파된 심장 초음파 이미지 및 전파된 레이블을 생성할 수 있다. 주기성, 인공지능 모델 및 모션 벡터 필드는 각각 독립적으로 이미지 및 레이블 생성에 적용될 수 있으며 동시에 이미지 및 레이블 생성에 적용될 수 있다.
도 8a 내지 도 8c는 본 발명의 실시 예에 따른 데이터 증강을 도시한다. 구체적으로, 도 8은 A2CH 심초음파 뷰(echocardiography view)의 일 예를 도시한다. 도 8a는 오리지널 이미지 및 주석 마스크(annotation mask)를 나타낸다. 도 8b는 오리지널 이미지 및 전파된 마스크(propagated mask)를 나타낸다. 도 8c는 전파된 이미지(propagated image) 및 전파된 마스크를 나타낸다. 각 사진의 윗 부분은 시각화된 이미지(visualization of image) 및 마스크를 나타낸다. 각 사진의 아랫 부분은 확대된 뷰(magnified of view)를 나타내며, 초록색 라인은 LV의 경계를 나타낸다. 레이블(label)과 마스크(mask)는 혼용되어 사용될 수 있다.
딥 뉴럴 네트워크(deep neural network) 트레이닝(training)은 퍼포먼스(performance)를 일반화하기 위해서 많은 양의 데이터셋(dataset)이 요구된다. 그러나, 심장 초음파(echocardiography)를 위한 데이터셋과 관련하여, 정제된 데이터셋을 획득하는데 많은 시간이 소요된다. 이에 따라, 심장 초음파를 위한 데이터셋은 정제된 데이터셋을 획득하기에 부족할 수 있다. 데이터 증강(data augmentation) 기술은 오버피팅(overfitting) 없이 적은 양의 데이터셋(small datasets)에 기초하여 딥 뉴럴 네트워크를 훈련하는 솔루션(solution)을 제공한다. 종래의 데이터 증강 방법은 기하학적 변환(geometric transformation)을 포함한다. 예를 들어, 종래의 데이터 증강 방법은 로테이션(rotation), 스케일링(scaling), 크롭(crop) 및 디포메이션(deformation)을 포함할 수 있다.
심장 초음파 이미지들은 도시 경관 및 키티(KITTI)와 같은 네추럴 이미지(natural image)들과 달리 시간에 따라 변하는 2D 이미지이다. 또한, 심장 초음파 이미지들은 시간에 따라 변할 뿐만 아니라 주기적인 심장 모션(periodic cardiac motion)을 포함할 수 있다. 심장 초음파 이미지 및 주석이 달린 마스크(annotated mask)를 효율적으로 증강하기 위해서, 장치는 심장 모션 벡터 필드(cardiac motion vector field)를 측정하고, 기준 데이터(reference data)를 전파(propagate)할 수 있다. 여기서, 전파(propagate)는 뉴럴 네트워크 상의 전파(propagate)와 달리 이미지 변환 방법의 일 예를 가리키는 용어일 수 있다. 예를 들어, 장치는 CNN(convolutional neural network)에 기초하여 심장 모션 벡터 필드를 측정할 수 있다.
이미지 데이터 I는 과 같이 표현될 수 있다. 주석 레이블(annotation label) L은과 같이 표현될 수 있다. 전파된 레이블 LP 수학식 1과 같이 표현될 수 있다.
[수학식 1]
[수학식 1]에서, 는 전파된 레이블을, i는 프레임 번호를, I는 이미지를, T는 변환 매트릭스(transformation matrix)를, g는 모션 벡터 추정(motion vector estimation)을 위한 딥 뉴럴 네트워크를, m은 전파 스텝 사이즈(propagation step size)를 나타낸다.
장치는 레이블 및 이미지로 구성된 페어와이즈 데이터(pairwise data)를 생성할 수 있다. 일 예로, 장치는 전파된 레이블(propagated label) 및 그라운드 트루 레이블(ground truth label)이 없는 이미지로 구성된 페어와이즈 데이터(pairwise data)를 생성할 수 있다. 장치는 이러한 데이터를 m번 증강할 수 있다. 기준 영상에서 m(프레임)만큼 떨어진 시점에서 그라운드 트루 라벨이 없는 이미지는 와 같이 표현될 수 있다. m번째 증강된 전파된 레이블은 와 같이 표현될 수 있다.
증강된 그라운드 트루 라벨이 없는 이미지와 증강된 전파된 레이블은 경계가 일치하지 않을 수 있다. 예를 들어, 증강된 라벨이 없는 이미지와 증강되고 전파된 레이블은 모션 벡터 필드의 에러(erroneous)에 기초하여 경계가 일치하지 않을 수 있다. 또한, 증강된 라벨이 없는 이미지와 증강되고 전파된 레이블은 전파 스텝이 커질수록 경계의 오차가 커질 수 있다. 도 8b를 참고하면, 전파되지 않은 이미지와 전파된 레이블의 전파 스텝 사이즈가 2인 경우 이미지와 레이블의 오차가 존재한다. 또한, 전파되지 않은 이미지와 전파된 레이블의 전파 스텝 사이즈가 6인 경우 오차가 존재하며, 스텝 사이즈가 2인 경우에 비해서 오차가 큰 것을 확인할 수 있다. 이러한 문제를 해결하기 위해, 전파된 이미지가 사용될 수 있다.
[수학식 2]
[수학식 2]에서, 는 전파된 이미지를, i는 프레임 번호를, I는 이미지를, T는 변환 매트릭스(transformation matrix)를, g는 모션 벡터 추정(motion vector estimation)을 위한 딥 뉴럴 네트워크를, m은 전파 스텝 사이즈(propagation step size)를, 는 m번째 증강된 전파된 이미지를, 는 기준 영상에서 m(프레임)만큼 떨어진 시점에서 그라운드 트루 라벨이 없는 이미지를 나타낸다.
과거 이미지 및 현재 이미지를 사용하여 모션 벡터 필드를 추정하는 순차적 전파(sequential propagation)는 모션 벡터 필드의 에러를 야기할 수 있으며, 오리지널 심초음파 이미지를 왜곡시킬 수 있다. 장치는 레이블뿐만 아니라 이미지를 전파함으로써 모션 벡터 필드의 에러를 감소시킬 수 있다. 또한, 장치는 레이블의 전파 스텝과 이미지의 전파 스텝을 동일하게 함으로써 정확한 데이터를 증강할 수 있다.
[수학식3]
[수학식 3]에서, D는 증강 실시 후 데이터 세트를, Ii는 i번째 이미지를, 는 전파된 레이블을, i는 프레임 번호를, I는 이미지를, T는 변환 매트릭스(transformation matrix)를, g는 모션 벡터 추정(motion vector estimation)을 위한 딥 뉴럴 네트워크를, i는 프레임 번호를, m은 전파 스텝 사이즈(propagation step size)를 나타낸다. 증강 실시 후 데이터 세트는 D = {(image, label)... } 쌍의 데이터를 구성한다. 데이터 증강 횟수에 따라 D (총 데이터 수)를 달리 할 수 있다.
장치는 주석 레이블(annotation label)을 가지는 기준 이미지 및 기준 이미지에 기초하여 전파된 타겟 이미지를 사용하여 모션 벡터 필드를 추정할 수 있다. 모션 벡터 필드 추정은 기준 이미지(reference image) 및 타겟 이미지(target image) 선택에 따라서 다양하게 변할 수 있다.
[수학식 4]
[수학식 4]에서, D는 증강 실시 후 데이터 세트를, Ii는 i번째 이미지를, 는 전파된 레이블을, i는 프레임 번호를, I는 이미지를, T는 변환 매트릭스(transformation matrix)를, g는 모션 벡터 추정(motion vector estimation)을 위한 딥 뉴럴 네트워크를, i는 프레임 번호를, m은 전파 스텝 사이즈(propagation step size)를 나타낸다. 증강 실시 후 데이터 세트는 D = {(image, label)... } 쌍의 데이터를 구성한다. 데이터 증강 횟수에 따라 D (총 데이터 수)를 달리 할 수 있다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (13)

  1. 데이터를 증강하는 방법에 있어서,
    제1 이미지 및 제1 레이블(label)을 획득하는 단계;
    상기 제1 이미지 및 제2 이미지와의 관계를 결정하는 단계; 및
    상기 제1 이미지 및 상기 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성하는 단계;를 포함하되,
    상기 제2 이미지는 상기 제1 이미지와 시계열적 관계를 가지되,
    상기 제3 이미지는 모션 벡터 필드(motion vector field)에 기초하여 상기 제1 이미지를 전파(propagate)함으로써 생성되고,
    상기 제1 이미지는 주기를 가지는 영상 프레임들의 일부이며, 상기 전파의 전파 스탭(propagated step) 사이즈는 상기 주기보다 작은, 방법.
  2. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지와의 관계 결정은 인공지능 모델에 기초한 상기 모션 벡터 필드의 결정이고, 상기 인공지능 모델은 CNN(convolutional neural network)인, 방법.
  3. 제2항에 있어서,
    상기 제2 레이블은 상기 모션 벡터 필드에 기초하여 상기 제1 레이블을 전파함으로써 생성되는, 방법.
  4. 제3항에 있어서,
    상기 제3 이미지의 전파 스텝(propagated step)은 상기 제2 레이블의 전파 스텝과 동일한, 방법.
  5. 제4항에 있어서,
    상기 제1 이미지는, 심장 초음파 이미지(echocardiography)이며,
    상기 제1 레이블은, 상기 제1 이미지의 심장의 적어도 하나의 챔버의 경계를 지시하는, 방법.
  6. 제5항에 있어서,
    상기 제2 이미지는, 상기 제1 이미지와 시계열적 관계를 가지는 심장 이미지이며,
    상기 제3 이미지는, 전파된 심장 초음파 이미지이고,
    상기 제2 레이블은, 전파된 레이블인, 방법.
  7. 데이터 증강 장치에 있어서,
    송수신부;
    인공지능 모델을 저장하는 저장부; 및
    상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    제1 이미지 및 제1 레이블(label)을 획득하고,
    상기 제1 이미지 및 제2 이미지와의 관계를 결정하고,
    상기 제1 이미지 및 상기 제2 이미지와의 관계에 기초하여 제3 이미지 및 제2 레이블을 생성하도록 제어하되,
    상기 제2 이미지는 상기 제1 이미지와 시계열적 관계를 가지되,
    상기 제3 이미지는 모션 벡터 필드(motion vector field)에 기초하여 상기 제1 이미지를 전파(propagate)함으로써 생성되고,
    상기 제1 이미지는 주기를 가지는 영상 프레임들의 일부이며, 상기 전파의 전파 스탭(propagated step) 사이즈는 상기 주기보다 작은, 장치.
  8. 제7항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지와의 관계 결정은 인공지능 모델에 기초한 모션 벡터 필드의 결정이고, 상기 인공지능 모델은 CNN(convolutional neural network)인, 장치.
  9. 제8항에 있어서,
    상기 제2 레이블은 상기 모션 벡터 필드에 기초하여 상기 제1 레이블을 전파함으로써 생성되는, 장치
  10. 제9항에 있어서,
    상기 제3 이미지의 전파 스텝은 상기 제2 레이블의 전파 스텝과 동일한, 장치.
  11. 제10항에 있어서,
    상기 제1 이미지는, 심장 초음파 이미지(echocardiography)이며,
    상기 제1 레이블은, 상기 제1 이미지의 심장의 적어도 하나의 챔버의 경계를 지시하는, 장치.
  12. 제11항에 있어서,
    상기 제2 이미지는, 상기 제1 이미지와 시계열적 관계를 가지는 심장 이미지이며,
    상기 제3 이미지는 전파된 심장 초음파 이미지이고, 상기 제2 레이블은 전파된 레이블인, 장치.
  13. 프로세서에 의해 동작되면 제1항 내지 제6항 중의 어느 한 항에 따른 방법을 실행하기 위해 매체에 저장된 프로그램.

KR1020210138194A 2021-10-18 2021-10-18 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치 KR102657226B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210138194A KR102657226B1 (ko) 2021-10-18 2021-10-18 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치
PCT/KR2022/013882 WO2023068564A1 (ko) 2021-10-18 2022-09-16 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210138194A KR102657226B1 (ko) 2021-10-18 2021-10-18 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230055004A KR20230055004A (ko) 2023-04-25
KR102657226B1 true KR102657226B1 (ko) 2024-04-15

Family

ID=86059313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210138194A KR102657226B1 (ko) 2021-10-18 2021-10-18 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102657226B1 (ko)
WO (1) WO2023068564A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001790B1 (ko) 2018-12-24 2019-07-23 (주)제이엘케이인스펙션 인공지능 기반 혈류 구간 분류 방법 및 시스템
KR102208676B1 (ko) 2020-06-17 2021-01-27 주식회사 카카오뱅크 신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템
KR102304339B1 (ko) 2020-11-27 2021-09-23 두에이아이(주) 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
US20210350549A1 (en) 2020-05-11 2021-11-11 EchoNous, Inc. Motion learning without labels

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091835A2 (en) * 2015-11-29 2017-06-01 Arterys Inc. Medical imaging and efficient sharing of medical imaging information
KR20200092450A (ko) * 2019-01-04 2020-08-04 주식회사 인터파크 데이터 라벨링을 수행하기 위한 기법
KR20210026623A (ko) * 2019-08-30 2021-03-10 삼성전자주식회사 인공지능 모델을 학습시키는 시스템 및 방법
KR20210067442A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 객체 인식을 위한 자동 레이블링 장치 및 방법
US11457896B2 (en) * 2020-09-23 2022-10-04 GE Precision Healthcare LLC Ultrasound imaging system and method for generating an enhanced image to enhance a shadow region
KR20220122540A (ko) * 2021-02-26 2022-09-02 주식회사 온택트헬스 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001790B1 (ko) 2018-12-24 2019-07-23 (주)제이엘케이인스펙션 인공지능 기반 혈류 구간 분류 방법 및 시스템
US20210350549A1 (en) 2020-05-11 2021-11-11 EchoNous, Inc. Motion learning without labels
KR102208676B1 (ko) 2020-06-17 2021-01-27 주식회사 카카오뱅크 신경망 학습을 위한 학습 데이터 레이블링 방법 및 이를 수행하는 시스템
KR102304339B1 (ko) 2020-11-27 2021-09-23 두에이아이(주) 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치

Also Published As

Publication number Publication date
WO2023068564A1 (ko) 2023-04-27
KR20230055004A (ko) 2023-04-25

Similar Documents

Publication Publication Date Title
Karatzia et al. Artificial intelligence in cardiology: Hope for the future and power for the present
US10319144B2 (en) Computational localization of fibrillation sources
US20220036135A1 (en) Method and apparatus for determining image to be labeled and model training method and apparatus
Tajik Machine learning for echocardiographic imaging: embarking on another incredible journey
US11896432B2 (en) Machine learning for identifying characteristics of a reentrant circuit
US20170206686A1 (en) Simulated Cardiac Model
Ahn et al. Multi-frame attention network for left ventricle segmentation in 3D echocardiography
JP2022023006A (ja) マッピングポイントの場所を示唆することによるマッピング効率の改善
KR20220122540A (ko) 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치
KR102657226B1 (ko) 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치
CN115511703B (zh) 二维心脏超声切面图像的生成方法及装置、设备、介质
Zhou et al. Combining multi-view ensemble and surrogate lagrangian relaxation for real-time 3D biomedical image segmentation on the edge
Qazi et al. Automated heart abnormality detection using sparse linear classifiers
JP2023077407A (ja) 心腔内エコー法のスマートイメージナビゲーション
Arivalahan et al. Health Monitoring in IoT with Context-Aware Deep Convolutional Spiking Neural Network and Woodpecker Mating Algorithm
Farhad et al. Deep learning based cardiac phase detection using echocardiography imaging
US20240225610A9 (en) Method and device for detecting medical indices in medical images
KR20230055659A (ko) 시계열적 이미지 세트에 대한 세그멘테이션 방법 및 장치
Magnetti et al. Cross Modality 3D Navigation Using Reinforcement Learning and Neural Style Transfer
Lane A computer vision pipeline for fully automated echocardiogram interpretation
Reddy et al. An Uncertainty-Aware Deep Learning-Based Model for COVID-19 Diagnosis
Sahebzamani Weakly supervised landmark detection for automatic measurement of left ventricular diameter in videos of PLAX from cardiac ultrasound
WO2024023927A1 (ja) 推定装置、推定方法、推定モデル生成装置、推定モデル生成方法及びプログラム
US20230187069A1 (en) Artificial intelligence apparatus for planning and exploring optimized treatment path and operation method thereof
Zolgharni Automated assessment of echocardiographic image quality using deep convolutional neural networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant