KR102144672B1 - 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 - Google Patents

시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 Download PDF

Info

Publication number
KR102144672B1
KR102144672B1 KR1020200006272A KR20200006272A KR102144672B1 KR 102144672 B1 KR102144672 B1 KR 102144672B1 KR 1020200006272 A KR1020200006272 A KR 1020200006272A KR 20200006272 A KR20200006272 A KR 20200006272A KR 102144672 B1 KR102144672 B1 KR 102144672B1
Authority
KR
South Korea
Prior art keywords
ultrasound
image
organ
interest
edge
Prior art date
Application number
KR1020200006272A
Other languages
English (en)
Inventor
유재천
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020200006272A priority Critical patent/KR102144672B1/ko
Priority to US16/927,118 priority patent/US11969287B2/en
Application granted granted Critical
Publication of KR102144672B1 publication Critical patent/KR102144672B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4438—Means for identifying the diagnostic device, e.g. barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Vascular Medicine (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Rheumatology (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된, 그러나 육안으로 진단하기 힘든 초음파 질병 진단을 자동으로 판별할 수 있는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.

Description

시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 {ARTIFICIAL INTELLIGENCE ULTRASOUND-MEDICAL-DIAGNOSIS APPARATUS USING SEMANTIC SEGMENTATION AND REMOTE MEDICAL-DIAGNOSIS METHOD USING THE SAME}
본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된, 그러나 육안으로 진단하기 힘든(어려운) 초음파 영상으로부터 각종 질환을 자동으로 판별할 수 있는 시맨틱 분할을 이용한 인공지능형 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법에 관한 것으로, 보다 상세하게, 초음파 이미지로부터 시맨틱 분할 결과로 얻어진 장기 엣지 이미지의 엣지 성분과 초음파 이미지의 엣지 성분 간의 중복 엣지 픽셀 수를 산출하여 초음파 이미지상에서의 관심 장기의 위치를 찾고, 질병 등급별로 표지된(labled) 초음파 사진들로 구성된 관심영역 이미지 데이터 베이스에 의해 사전에 딥런닝 학습된 인공 지능 신경망을 이용하여, 초음파 이미지 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 질병 종류와 질병 등급을 자동으로 판별할 수 있는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
또한, 본 발명의 인공 지능형 초음파 의료 진단 장치는 환자의 질병의 종류 및 등급을 자동 분석하여 그 결과를 환자나 의사에게 알려주고, 인터넷망을 통해 원격으로 상담서비스를 제공하는 가상의사(virtual doctor) 구현시 매우 유리하다.
본 특허 출원은 선 등록된 유럽 특허 “REMOTE MEDICAL-DIAGNOSIS SYSTEM AND METHOD”(등록일자:2018.12.12, 특허 번호: 02140412)의 연속이다.
상기 선 출원된 발명은, 샘플을 수용하여 생물학적, 화학적 또는 생화학적 반응을 수행하는 바이오 디스크 또는 랩 온 어 디스크(Lab on a Disc)를 포함하는 바이오 분석장치; 의료진료에 사용될 수 있는 체온계, 혈압계, 카메라, 청진기, 체지방 측정기, 동맥경화 진단기, 초음파 영상진단기, 소변검사 장치, 맥박기, 채혈장치, 심전도계, X-Ray 장치, 산소 포화도 검사장치, 치매 검사장치, CAT(Computerized Axial Tomography) 장치, MRI(Magnetic Resonance Imaging) 장치, 캡슐내시경, 확대경, 카메라 일체형 확대경, 의료계측기기, 생체 신호감지장치, 및 생체신호(당 뇨, 비만, 혈압, 맥박, 심전도, 체온 등)를 측정할 수 있는 기능을 가진 바이오 셔츠를 포함하는 진료 장치를 구비하여 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 바이오 분석 장치와 진료장치의 사용 방법을 안내하거나 지시하고 사용자와의 상담 서비스를 제공하는 가상 의사; 의료 전문가 또는 가상 의사와의 상담 서비스를 제공하는 사용자 단말기; 사용자와의 상담 서비스를 제공하는 의료 전문가 단말기; 및 상담 전문가로서 정기 검진 기간 동안에는 의료 전문가를 사용자에게 연결하고 그 외 기간 동안 에는 가상 의사를 사용자에게 연결하고 사용자가 의료 전문가와 상담해야 하는 정기 검진 기간을 경과한 경우 사용자와 가상 의사와의 상담 서비스 연결을 차단하는 원격 진단 서버를 포함하는 원격 의료 진단 시스템, 및 이를 이용한 원격 의료 진단 방법을 제공한다.
최근 의료장비 제작기술과 함께 디지털 영상처리 기술이 임상진단 분야에 적용되어 영상의학의 많은 발전이 이루어 지고 있다.
특히 초음파 진단은 CT나 X선 의료장비에 비해 유해한 방사선 노출을 피할 수 있어 사람의 몸에 해롭지 않고, 비침습성(non-invasive) 방법으로 인체의 단면 촬영 영상을 얻을 수 있을 뿐만 아니라, 휴대가 간편하고 비용이 저렴하다는 특징이 있다. 특히, 실시간으로 영상을 얻을 수 있어, 실시간으로 장기의 운동 상태를 관찰할 수 있는 장점이 있다.
그러나 초음파 이미지의 낮은 해상도와 심한 노이즈 특성 때문에 계산의 오류가 심하고, 초음파 영상이 심하게 훼손되어 전문가가 아니면, 정확한 의학적 해석이 어려운 경우가 많다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 질병 등급별로 표지된(labled) 초음파 사진들로 구성된 관심 장기들의 관심영역 이미지들로 구성된 데이터 베이스에 의해 사전에 딥런닝 학습된 인공 지능 신경망과 초음파 이미지로부터 관심장기에 대해 각각 서로 다른 색으로 표지된(labeled) 장기 라벨 이미지를 얻기 위한 시맨틱 분할 인공지능 네트웍을 사용하는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 상기 장기 라벨 이미지로부터 장기 라벨 이미지의 엣지 성분을 나타내는 장기 엣지 이미지를 얻고, 이후, 상기 장기 엣지 이미지의 엣지 성분과 초음파 이미지의 엣지 성분간의 중복 엣지 픽셀수에 의해 초음파 이미지상에서의 관심 장기의 위치를 찾고, 상기 딥런닝에 의해 사전에 학습된 인공 지능 신경망을 이용하여, 초음파 이미지 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 질병 종류와 질병 등급을 자동으로 판별할 수 있는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치는 환자로부터 초음파 이미지를 획득하기 위한 초음파 프로브 센서(probe sensor), 상기 초음파 이미지상의 복수의 엣지(edge) 성분을 찾기 위한 초음파 이미지 엣지 디텍터, 진단하고자 하는 신체 내의 관심 장기를 선택하기 위한 초음파 검사항목 선택 버튼 입력 수단, 상기 초음파 이미지로부터 신체 내의 관심 장기의 위치를 찾기 위해, 서로 다른색을 사용하여 복수의 장기 각각에 라벨링(labeling)을 수행하고, 라벨링된 표준 장기 초음파 이미지를 포함하는 표준 장기 초음파 이미지 데이터베이스를 기반으로 사전에 심층 학습(deep learning)을 수행하는 시맨틱 분할(Semantic Segmentation) 인공지능 네트웍, 상기 초음파 이미지로부터 상기 시맨틱 분할 인공지능 네트웍에 의해 시맨틱 분할된 장기들 중 상기 초음파 검사항목 선택 버튼 입력 수단에 의해 선택된 검사항목에 해당하는 관심 장기만을 추출 분리하여 표시된 장기 라벨 이미지를 생성하기 위한 관심 장기 라벨 분리부, 상기 장기 라벨 이미지의 엣지 성분을 검출하여 장기 엣지 이미지를 생성하는 장기 엣지 검출부, 필요에 따라 상기 장기 엣지 검출부에서 얻어진 엣지 성분의 엣지폭(edge width)을 확대한 장기 엣지 이미지를 생성하기 위한 장기 엣지폭 확대부 및 상기 장기 엣지 이미지상의 엣지 성분과 상기 초음파 이미지상의 엣지 성분을 2차원 공간 좌표상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하는 엣지 중복량 계산부를 포함하는 관심 장기 검색부, 상기 관심 장기 검색부로부터 계산된 중복 엣지 픽셀수를 이용하여 상기 초음파 이미지 상에 관심 장기 존재 유무를 판별하기 위한 관심 장기 존재 판별 수단, 상기 초음파 이미지 상에 관심 장기가 존재하는 경우, 상기 관심 장기 영역 또는 관심 장기 영역을 중심으로 하여 의학적으로 연류된 초음파 의료 진단 관심 영역 일대를 초음파 이미지 상에서 공간 어드레싱하여 추출하는 관심 영역 이미지 추출부, 신체 내의 관심 장기들에 대해 질병 종류 및 질병 등급별로 표지된 초음파 사진들로 구성된 관심영역 이미지 데이터 베이스, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 추출된 관심영역의 이미지를 가지고, 상기 인공 지능 신경망에 의해 환자의 관심 장기에 대한 질병 종류 및 질병 등급을 자동으로 판별하여 표시하는 질병 등급 표시부 및 환자의 모바일 기기로 질병 등급 정보를 무선 메시지 형태로 전달하기 위한 무선 메시지 송신부를 구비한 것을 특징으로 할 수 있다.
또한, 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치는 상기 관심장기 존재 판별 수단은 엣지폭 확대를 위한 피드백 신호를 상기 장기 엣지폭 확대부에 전달하기 위한 엣지폭 조절 수단을 더 포함할 수 있다.
또한, 상기 시맨틱 분할 인공지능 네트웍은 태아 검사, 경동맥 검사, 유방암 검사, 충수돌기(맹장염) 검사, 전립선 초음파 검사, 간, 심장, 관절, 척추, 자궁, 담낭, 생식기, 담관, 췌장, 비장, 신장을 포함하는 인체 장기를 기반으로 초음파 검사, 갑상선 종양 검사, 혈관 도플러 초음파 검사 중 선택된 어느 하나의 검사에 수반하는 주요 장기를 장기별로 서로 다른색을 사용하여 라벨링된 초음파 이미지에 의해 학습되어진 후, 상기 초음파 이미지에 대응하는 상기 주요 장기에 대해 시맨틱 분할을 수행하는 인공지능 신경망으로 구성된 것을 특징으로 할 수 있다.
본원의 일 실시예에 따르면, 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치는, 초음파 프로브 센서를 구비한 초음파 의료장비, 상기 초음파 의료장비 내에 집적화되어, 상기 초음파 의료장비에 의해 측정된 환자의 의료 영상 데이터를 무선 송신하는 무선 송출부, 상기 무선 송출부로부터 송출된 환자의 초음파 이미지를 수신하여, 질병 등급을 자동으로 매기는 인공지능형 초음파 의료 진단 장치, 상기 초음파 의료장비의 사용 상황을 모니터링하기 위한 카메라, 상기 초음파 의료장비의 제품 ID를 무선으로 인증하는 제1 인증부, 상기 초음파 의료장비로부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부, 통신 네트워크를 통해 상기 초음파 이미지와 초음파 의료장비의 제품 ID를 원격 진단 서버로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부 및 의료 전문가와의 상담 서비스를 제공하는 제1 상담 서비스부를 구비한 사용자 단말기, 상기 인공지능형 초음파 의료 진단 장치와 상기 사용자 단말기에 대한 연결을 제공하는 통신 인터페이스, 상기 사용자 단말기 상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝 학습을 수행하는 인공 지능 신경망, 상기 사용자 단말기 상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비의 사용방법을 안내하거나 지시하는 안내부 및 상기 초음파 의료장비에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 딥런닝 학습 완료된 인공지능 신경망에 의해 자동 분석하여 진단결과를 출력하는 진단부를 구비하는 가상 의사 및 상기 통신 네트워크를 통해 상기 의료 영상 데이터 내지 초음파 이미지를 수신하는 수신부 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비하는 의료 전문가 단말기를 포함하는 원격 의료 진단 시스템을 더 구비한 것을 특징으로 할 수 있다.
본원의 일 실시예에 따르면, 인공지능형 초음파 의료 진단 장치를 이용한 원격 의료 진단 방법은, 초음파 이미지 상에 포함된 엣지 성분을 추출하는 단계, 시맨틱 분할 인공지능 네트웍에 의해 초음파 이미지를 시맨틱 분할하여 시맨틱 분할 이미지를 획득하는 단계, 시맨틱 분할 이미지로부터 관심 장기 영역을 추출하여 장기 라벨 이미지를 형성하는 단계, 장기 엣지 검출부에 의해 상기 장기 라벨 이미지의 엣지 성분을 나타내는 장기 엣지 이미지를 획득하는 단계, 상기 장기 엣지 이미지상의 엣지 성분과 초음파 이미지상의 엣지 성분을 2차원 공간 좌표상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하여 초음파 이미지상의 관심 장기의 위치를 파악하는 단계, 상기 찾아낸 관심 장기 영역을 중심으로 하여 의학적으로 연류된 초음파 의료 진단 관심 영역 일대를 관심 영역 이미지에 포함시키는 단계, 가상 의사에 의해 상기 관심영역의 이미지를 가지고 딥런닝 학습 완료된 인공지능 신경망에 의해 자동 분석하여 진단결과를 출력하는 단계 및 상기 진단 결과를 가지고 의료전문가와 원격 상담 서비스를 진행하는 단계를 포함하는 것을 특징으로 할 수 있다.
이상에서 본 바와 같이 본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된, 그러나 육안으로 진단하기 힘든(어려운) 초음파 질병 진단을 자동으로 판별할 수 있는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
도 1 은 본원의 일 실시예에 따른 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치의 일 실시예이다.
도 2는 본원의 일 실시예에 따른 시맨틱 분할 인공지능 네트웍에 의해 초음파 이미지에 대해 시맨틱 분할을 수행한 실시예로, 장기별로 서로 다른색을 사용하여 표지된 초음파 이미지의 일 실시예이다.
도 3은 본원의 일 실시예에 따른 장기 엣지 검출부에 의해 검출된 엣지 성분의 폭(width)을 2차원 공간상에서 확장시키고, 엣지 폭이 확장된 엣지 성분을 생성하기 위한 장기 엣지 폭 확장부의 일 실시예이이다.
도 4는 본원의 일 실시예에 따른 초음파 이미지로부터 관심장기 중 하나인 자궁 내의 태아 위치를 찾기 위해, 장기 엣지 이미지상의 엣지 성분과 초음파 이미지상의 엣지 성분을 2차원 공간상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하여 초음파 이미지상의 태아 위치를 검색하는 과정의 일 실시예이다.
도 5는 본원의 일 실시예에 따른 인공지능형 초음파 의료 진단 장치가 원격 의료 진단 시스템에 상주하는 인공지능형 가상의사와 연결되어 환자의 초음파 의료영상 데이터를 자동 분석하여 진단하는 일 실시예이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 “간접적으로 연결”되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 사용하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 본원의 일 실시예에 따른 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)의 일 실시예이다.
시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 초음파 프로브 센서(30), 초음파 이미지 엣지 디텍터(32), 표준 장기 초음파 이미지 데이터 베이스(36), 관심 영역 이미지 데이터 베이스(37), 관심 장기 존재 판별 수단(42), 검사항목 선택 버튼 입력 수단(43), 시멘틱 분할 인공지능 네트웍(44), 관심 장기 라벨 분리부(46), 관심 장기 검색부(48), 관심 영역의 이미지 추출부(50), 인공 지능 신경망(54), 질병 등급 표시부 및 무선 메시지 송신부(55)를 포함할 수 있다.
본원의 일 실시예에 따르면, 초음파 프로브 센서(30)는 환자로부터 초음파 이미지를 획득할 수 있다.
또한, 초음파 이미지 엣지 디텍터(32)는 상기 초음파 이미지상의 엣지(edge) 성분들을 찾을 수 있다. 초음파 이미지 엣지 디텍터(32)는 상기 초음파 이미지상의 엣지(edge) 성분들을 추출할 수 있다.
또한, 초음파 검사항목 선택 버튼 입력 수단(43)은 진단하고자 하는 신체 내의 관심 장기를 선택할 수 있다. 초음파 검사항목 선택 버튼 입력 수단(43)은 사용자로부터 진단을 수행하고자 하는 신체 내의 복수의 관심 장기 중 적어도 어느 하나를 선택하는 입력을 수신할 수 있다.
또한, 표준 장기 초음파 이미지 데이터베이스(36)는 상기 초음파 이미지로부터 신체 내의 관심 장기의 위치를 찾아 파악하기 위해, 장기별로 서로 다른색을 사용하여 라벨링(labeling)된 표준 장기 초음파 이미지를 저장할 수 있다. 인공지능 네트웍(44)은 표준 장기 초음파 이미지 데이터베이스(36)에 저장된 표준 장기 초음파 이미지를 기반으로 심층 학습(deep learning)을 수행할 수 있다.
또한, 관심 장기 라벨 분리부(46)는 상기 초음파 이미지로부터 상기 시맨틱 분할 인공지능 네트웍(44)에 의해 시맨틱 분할된 장기들 중 상기 초음파 검사항목 선택 버튼 입력 수단(43)에 의해 선택된 검사항목에 해당하는 관심 장기만을 추출 분리하여 표시된 장기 라벨 이미지를 생성할 수 있다.
본원의 일 실시예에 따르면, 관심 장기 검색부(48)는 장기 엣지 검출부(48a), 장기 엣지폭 확대부(48b), 엣지 중복량 계산부(48c)를 포함할 수 있다.
또한, 장기 엣지 검출부(48a)는 상기 장기 라벨 이미지의 엣지 성분을 검출하여 장기 엣지 이미지를 생성할 수 있다.
장기 엣지폭 확대부(48b)는 필요에 따라 상기 장기 엣지 검출부(48a)에서 얻어진 엣지 성분의 엣지폭(edge width)보다 크게 확대된 장기 엣지 이미지를 생성할 수 있다.
엣지 중복량 계산부(48c)는 상기 검출된 장기 엣지 이미지상의 엣지 성분과 상기 초음파 이미지상의 엣지 성분을 2차원 공간상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출할 수 있다.
관심 장기 존재 판별 수단(42)은 상기 관심 장기 검색부(48)로부터 계산된 중복 (중첩) 엣지 픽셀수를 이용하여 상기 초음파 이미지 상에 관심 장기 존재 유무를 판별할 수 있다.
관심 영역 이미지 추출부(50)는 상기 초음파 이미지 상에 관심 장기가 존재하는 경우, 상기 관심 장기 영역 또는 관심 장기 영역을 중심으로 하여 의학적으로 연류된 초음파 의료 진단 관심 영역 일대를 초음파 이미지 상에서 공간 어드레싱(space addressing)하여 추출할 수 있다.
또한, 관심영역 이미지 데이터 베이스(37)는 신체 내의 관심 장기들에 대해 질병 종류 및 질병 등급별로 표지된(labled) 초음파 사진들을 포함할 수 있다.
본원의 일 실시예에 따르면, 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 상기 관심영역 이미지 데이터 베이스(37)에 의해 사전에 딥런닝 학습된 인공 지능 신경망(54)을 구비하여, 상기 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 추출된 관심영역의 이미지를 가지고, 상기 인공 지능 신경망(54)에 의해 환자의 관심 장기에 대한 질병 종류 및 질병 등급을 자동으로 판별하여 표시하는 질병 등급 표시부 혹은 환자의 모바일 단말로 질병 등급 정보를 무선 메시지 형태로 전달하기 위한 무선 메시지 송신부(55)를 구비한 것을 특징으로 한다.
상기 관심 장기 존재 판별 수단(42)은 상기 중복 엣지 픽셀 개수가 소정의 수치 이상인 경우, 초음파 이미지상에 관심 장기가 존재하고, 장기 라벨 이미지가 해당 관심장기의 위치를 색 표지(color label)로서 표시하고 있다고 판별한다.
본원의 일 실시예에 따르면, 관심 영역 이미지 추출부(50)는 초음파 이미지 상에 관심 장기가 존재하는 경우, 상기 관심 장기 영역을 중심으로 하여 기하학적(geometric) 위치로 연류된 초음파 의료 진단 관심 영역을 초음파 이미지 상에서 공간 어드레싱(space addressing)하여 추출할 수 있다. 예를 들어, 검사 항목이 간(liver) 질환으로 선택된 경우, 초음파 이미지로부터 간과 신장이 포함하는 Parasagittal scan plane의 초음파 이미지를 얻는 것이 간 질환 진단에 매우 중요하다. 그러나 초음파 이미지에서 화질의 모호성으로 인해 간(Liver) 영역을 직접 알아내기 어렵다.
그러나 신장은 그 모양의 명확성으로 인해 초음파 이미지에서 신장 영역을 찾아내기 쉽다. 따라서 검사항목이 지방간인 경우 관심 장기는 신장이 되고, 관심 영역 이미지 추출부(50)는 관심 장기 검색부(48)에 의해 발견된 신장을 중심으로 의학적인 신체 장기의 상대적 거리와 배치 상황을 고려하여, 기하학적(geometric) 위치 측량을 통해 초음파 이미지로부터 간(liver)영역의 이미지를 추출할 수 있다.
따라서, 간 질환 진단시, 신장 영역의 이미지 외에 간 영역의 이미지를 함께 추출하여 관심 영역 이미지에 포함시켜서 인공지능 신경망(54)을 사전 학습시키고, 마찬가지로 초음파 프로브 센서로 입력된 환자의 초음파 이미지에서 신장 영역의 이미지 외에 간 영역의 이미지를 관심 영역 이미지에 함께 포함시켜서 환자의 질병 종류와 등급을 자동으로 판별할 수 있다.
본 발명에서 관심 영역 이미지 추출부(50)가 취하는 초음파 이미지 영역의 크기는 검사항목에 따라 달리하는 것이 선호된다. 예를 들면, 검사 항목이 지방간 검사로 지정된 경우, 관심 영역 이미지 추출부(50)가 취하는 초음파 이미지 영역은 간(liver)과 신장(kidney) 영역 전체를 포함하는 것이 선호된다.
본 발명에서 표준 장기 초음파 이미지 데이터베이스(36)는, 관심 장기 주변에 질병이 없는 정상적인 사람의 초음파 사진들로 구성되는 것이 선호된다.
바람직하게, 상기 관심 장기를 선택하기 위한 검사항목 선택 버튼 입력 수단(43)은 터치 스크린을 사용하는 것이 선호되며, 터치 스크린에 이들 초음파 검사 항목들이 나열 표시되고, 사용자의 터치 동작에 의해 검사(진단) 항목이 선택되고 그에 따른 관심 장기가 자동으로 등록되고, 상기 시맨틱 분할 인공지능 네트웍(44)은 상기 자동으로 등록된 관심 장기를 중심으로 초음파 이미지의 시맨틱 분할을 수행하는 것이 선호된다.
본 발명에서 인공 지능 신경망(54)을 학습시키기 위한 관심영역 이미지 데이터 베이스(37)는, 각각의 초음파 검사 항목에 대해 질병 종류 및 등급별로 표지된(labeled) 초음파 사진들로 구성되는 것이 선호된다.
바람직하게, 질병의 종류 및 등급은 진단항목에 따라 결정된다. 예를 들면, 검사항목이 간(liver)으로 지정된 경우, 질병 종류는 지방간 내지 간암, 그리고 질병 등급은 경증(mild), 중등도(moderate), 중증(severe), 간경화 등급으로 나뉠 수 있다.
바람직하게는, 상기 관심 장기 존재 판별 수단(42)에 의해 관심 장기가 초음파 이미지 상에 포함되어 있는지 없는지 판단하기 애매모호한 경우, 상기 시맨틱 분할 인공 지능 네트웍(44)의 시맨틱 분할 능력의 다양한 변동성을 고려하여 상기 장기 라벨 이미지의 엣지폭(edge width)을 일정량 확대하여 장기 존재 여부를 재차 확인하는 것이 선호된다. 이 경우, 상기 관심장기 존재 판별 수단(42)은 엣지폭 확대를 위한 피드백 신호를 장기 엣지폭 확대부(48b)에 전달하기 위한 엣지폭 조절 수단(541a)을 더 구비하는 것이 선호된다.
바람직하게는, 장기 엣지폭 확대부(48b)는, 엣지 중복량 계산부(48c)에서 장기 엣지 이미지상의 엣지 성분과 초음파 이미지상의 엣지성분을 2차원 공간 좌표상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하는 동안, 시맨틱 분할 인공지능 네트웍(44)의 시맨틱 분할능력의 다양한 변차로 인해, 중복 엣지 픽셀의 누락을 방지 내지 완화하기 위한 엣지폭 확대하기 위한 문턱치(threshold) 조절신호를 엣지폭 조절 수단(541a)으로 부터 피드백 받는 것이 선호된다.
본 발명에서 상기 장기 존재 여부를 재차 확인하기 위한 장기 엣지폭 확대부(48b)의 엣지폭 확대 비율은 2배인 것이 선호된다.
본 발명의 엣지 성분 추출은 이미지 대상의 윤곽선이나 영역의 경계선을 검출하여 처리하는 방법일 수 있다. 이미지의 윤곽선이나 경계선의 부분에서는, 이미지 세기(intensity) 값이 급격히 변화한다. 이 세기 값의 급변부분을 엣지(edge) 또는 가장자리라고 한다. 본 발명의 엣지 성분 검출은 소벨(Sobel), 프리윗(Prewitt), 라플라시안(Laplacian), 로버츠(Roberts), 케니(Canny) 엣지 검출 기법 중 어느 하나를 선택하여 사용하는 것이 선호된다
상기 초음파 이미지 엣지 디텍터(edge detector)는 초음파 이미지상의 엣지(edge) 성분들을 찾는다.
본 발명의 인공지능 신경망은 CNN(Convolutional Neural Network) 및 RNN(Recurrent Neural Network)을 사용하는 것이 선호된다.
본 발명에서 상기 인공지능 신경망(artificial neural network)은 딥런닝 학습을 허여하는 뉴럴 네트웍(neural network)으로 컨보루션 레이어(convolution layer), 풀링 레이어(Pooling layer) , ReLu 레이어, Transpose 컨보루션 레이어, 언 풀링레이어(Unpooling layer), 1x1 컨보루션 레이어, 스킵 연결(Skip connection), Global Average Pooling(GAP) 레이어, Fully Connected 레이어, SVM(support Vector Machine), LSTM(long Short term Memory), Atrous 컨볼루션(Atrous Convolution), Atrous Spatial Pyramid Pooling, Separable Convolution, Bilinear Upsampling 중 선택된 어느 하나 이상의 레이어(layer)나 엘리먼트(element)로 조합 구성된 것을 특징으로 한다. 상기 인공지능 신경망은 상기 ReLu레이어 앞단에 Batch normalization 연산을 위한 연산부를 더 구비한 것이 선호된다.
본 발명의 시맨틱 분할 인공지능 네트웍(44)은 주어진 초음파 이미지 안에 관심 장기가 있는 경우, 어느 위치에 포함되어 있는지 픽셀 단위로 관심장기들을 분류하여, 다른 사물로부터 분할하는 인공지능 신경망으로, 각각의 관심 장기들에 대해 서로 다른 색으로 표지된(color labeled) 표준 장기 초음파 이미지 데이터베이스(36)에 의해 사전 학습되는 것이 선호된다.
도 2의 (a)는 시맨틱 분할 인공지능 네트웍(44)에 의해 Parasagittal scan plane의 초음파 이미지(22a)에 대해 시맨틱 분할을 수행한 실시예로, 장기별로 서로 다른색을 사용하여 시맨틱 분할된 초음파 이미지(120a)의 일실시예를 보인다.
도면 부호 26은 간(liver), 도면부호 25는 비장(spleen), 도면부호 24는 신장(Kidney), 도면부호 23은 횡경막(diaphragm)으로 시맨틱 분할된 장기 영역들을 나타낸다.
도 2의 (b)는 시맨틱 분할 인공지능 네트웍(44)에 의해 태아 초음파 이미지(22b)에 대해 시맨틱 분할을 수행한 실시예로, 태아에 대해 시맨틱 분할된 초음파 이미지(120b)의 일실시예를 보인다.
도면 부호 27은 자궁내의 태아 영역이 시맨틱 분할된 것을 나타낸다.
바람직하게는, 상기 시맨틱 분할 인공지능 네트웍(44)의 또 다른 실시예는 태아 검사, 경동맥 검사, 유방암 검사, 충수돌기(맹장염) 검사, 전립선 초음파 검사, 관절, 척추, 간, 담낭, 담관, 췌장, 비장, 신장을 포함하는 인체 장기 초음파 검사, 갑상선 종양 검사, 혈관 도플러 초음파 검사에 수반하는 주요 장기를 장기별로 서로 다른 색을 사용하여 라벨링(labeling) 된 초음파 이미지에 의해 학습된 후, 주어진 초음파 이미지에 대해 상기 주요 장기에 대해 시맨틱 분할을 수행하는 것이 선호된다.
본 발명에서, 관심 장기는 심장, 간(liver), 생식기, 신장(Kidney), 비장(Spleen), 횡경막(diaphragm), 유방, 자궁, 태아, 태반, 전립선, 경동맥, 갑상선, 도플러 효과에 의한 초음파 검사를 허용하는 혈관 및 조직, 전립선, 인간 신체 기관 중 선택된 어느 하나 이상의 장기들인 것이 선호된다.
도 3은 장기 엣지 검출부(48a)에 의해 검출된 엣지 성분(520)의 폭(width)을 2차원 공간상에서 확장시켜, 폭이 확장된 엣지 성분(122)을 생성하기 위한 장기 엣지 폭 확대부(48b)의 일 실시예로, 상기 장기 엣지폭 확대부(48b)는 상기 검출된 엣지 성분(520)으로부터 Blurred 엣지 성분(521)을 얻기 위한 저주파 필터(540, low pass filter) 및 상기 Blurred 엣지 성분(521)에 대해 확장 폭을 조절하는 문턱치(threshold)를 설정하여, 문턱치 이상인 값만을 엣지성분으로 판정하여 폭이 늘어난 엣지 성분(122)을 얻는 엣지 판별부(541)를 포함하는 것을 특징으로 한다.
상기 엣지 확장 폭을 조절하는 문턱치는 엣지폭 조절 수단(541a)으로부터 제공 받는 것이 선호된다.
도면부호 553a는 시맨틱 분할 인공지능 네트웍(44)에 의해 초음파 이미지를 시맨틱 분할하여 얻어진 장기 라벨 이미지를 장기 엣지 검출부(48a)에 적용하여 얻어진 장기 엣지 이미지이다.
도면부호 553b는 상기 장기 엣지 이미지(553a)의 엣지 성분을 장기 엣지 폭 확대부(48b)에 의해 폭을 확장시킨 엣지 성분(122)을 포함하는 장기 엣지 이미지이다.
도 4는 초음파 이미지로부터 관심 장기 중 하나인 자궁내의 태아를 찾기 위해, 시맨틱 분할 인공지능 네트웍(44)에 의해 태아에 대한 시맨틱 분할이미지(551)를 얻고, 이후 시맨틱 분할이미지(551)로부터 관심 장기 라벨 분리부(46)에 의해 태아 영역(24a)을 포함하는 장기 라벨 이미지(552)를 얻고, 이후 장기 엣지 검출부(48a)에 의해 장기 라벨 이미지(552)의 엣지 성분을 나타내는 장기 엣지 이미지(553a)를 얻는다. 이후 엣지 중복량 계산부(48c)에서 장기 엣지 이미지(553a) 상의 엣지성분과 초음파 이미지상의 엣지성분(121)을 2차원 공긴 상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하여 초음파 이미지상의 태아 위치를 검색하여 파악하는 과정의 일 실시예를 보인다.
상기 장기 라벨 이미지(552)는 관심 장기인 태아 영역(24a)만을 따로 분리하여 표시한 이미지이다.
상기 엣지 중복량 계산부(48c)에서 장기 엣지 이미지(553a)의 엣지 성분과 초음파 이미지상의 엣지성분(121)을 비교하여 2차원 공간 좌표상에서 서로 중첩되는 중복 엣지 픽셀 수가 소정의 수 이상이 되었을 때 상기 태아 영역(24a)에 해당하는 초음파 이미지 영역에 태아가 존재한다고 판단한다.
만약, 관심 장기 존재 판별 수단(42)에 의해 상기 중복 엣지 픽셀 개수가 소정의 수치 이하인 것으로 판명된 경우, 장기 엣지폭 확대부(48b)에 의해 상기 장기 엣지 이미지(553a)의 엣지폭을 2배 향상시킨 장기 엣지 이미지(553b)상의 엣지성분을 사용하여 상기 초음파 이미지상의 엣지성분(121)과 비교하여 태아 존재 유무를 재차 확인한다.
바람직하게, 본 발명의 관심 장기 존재 판별 수단(42)의 또 다른 측면은 장기 엣지 이미지상의 엣지성분의 전체 엣지 픽셀수 대비, 장기 엣지 이미지의 엣지 성분과 초음파 이미지상의 엣지성분(121) 간의 중복 엣지 픽셀수가 차지하는 비율로 판정하는 것을 특징으로 한다.
도면 부호 551은 시맨틱 분할 인공지능 네트웍(44)에 의해 얻어진 시맨틱 분할된 태아 영역 (24a) 이미지를 편의상 초음파 이미지 위에 겹쳐서 보인 실시예이다.
도 5는 본 발명에 따른 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 (600)가 원격 의료 진단 시스템(700)에 상주하는 인공지능형 가상 의사(79)와 연결되어 환자의 초음파 의료 영상 데이터를 자동 분석하여 진단하는 일 실시예이다.
본원의 일 실시예에 따르면, 원격 의료 진단 시스템(700)은 초음파 의료장비(60), 무선 송출부(60a), 카메라(61), 제1인증부(62), 기록부(63), 인터넷 연결부(64), 인공 지능 신경망(70), 안내부(71), 진단부(72), 가상 의사(79), 의료 전문가 단말기(200), 사용자 단말기(400), 초음파 의료 진단 장치(600) 및 통신 인터페이스(602)를 포함할 수 있다.
본원의 일 실시예에 따르면, 초음파 의료장비(60)는 초음파 프로브 센서를 구비할 수 있다.
또한, 무선 송출부(60a)는 상기 초음파 의료장비(60) 내에 집적화되어, 상기 초음파 의료장비(60)에 의해 측정된 환자의 의료 영상 데이터를 무선 송신할 수 있다.
인공지능형 초음파 의료 진단 장치(600)는 상기 무선 송출부(60a)로부터 송출된 환자의 초음파 이미지를 수신하여, 질병 등급을 자동으로 매길 수 있다.
또한, 카메라(61)는 상기 초음파 의료장비(60)의 사용 상황을 모니터링할 수 있다.
또한, 제1 인증부(62)는 상기 초음파 의료장비(60)의 제품 ID를 무선으로 인증할 수 있다.
또한, 기록부(63)는 상기 초음파 의료장비(60)로부터 얻어진 환자에 대한 초음파 이미지를 저장할 수 있다.
또한, 인터넷 연결부(64)는 통신 네트워크(202)를 통해 상기 초음파 이미지와 초음파 의료 장비(60)의 제품 ID를 원격 진단 서버(203)로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공할 수 있다.
사용자 단말기(400)는 의료 전문가와의 상담 서비스를 제공하는 제1 상담 서비스부(65)를 포함할 수 있다.
또한, 통신 인터페이스(602)는 상기 인공지능형 초음파 의료 진단 장치(600)와 상기 사용자 단말기(400)에 대한 연결을 제공할 수 있다.
또한, 인공 지능 신경망(70)은 상기 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비(60)에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝(Deep learning) 학습을 수행할 수 있다.
본원의 일 실시예에 따르면, 가상 의사(79)는 안내부(71) 및 진단부(72)를 포함할 수 있다.
안내부(71)는 상기 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비(60)의 사용방법을 안내하거나 지시할 수 있다. 진단부(72)는 상기 초음파 의료장비(60)에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 상기 딥런닝 학습 완료된 인공지능 신경망(70)에 의해 자동 분석하여 진단결과를 출력할 수 있다.
또한, 수신부(미도시)는 상기 통신 네트워크(202)를 통해 상기 의료 영상 데이터 내지 초음파 이미지를 수신할 수 있다. 의료 전문가 단말기(200)는 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비할 수 있다.
상기 안내부(71)는 상기 카메라(61)에 의해 상기 초음파 의료장비(60)의 사용상황을 실시간 모니터링하여 사용자에게 초음파 의료장비(60)의 사용방법을 안내하거나 지시하는 것을 특징으로 한다.
상기 의료 전문가 단말기(200)는 카메라(14), 마이크(15) 및 마우스(11)를 구비한 것이 선호 된다.
바람직하게는 상기 인공 지능 신경망(70)은 본 발명을 따르는 인공지능형 초음파 의료 진단 장치(600)내의 인공지능 신경망(54)과 공유되는 것이 선호된다.
이하에서는 상기에 자세히 설명된 내용을 기반으로 본원의 동작 흐름을 간단히 살펴보기로 한다.
도면에 도시하진 않았으나, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치를 이용한 원격 의료 진단 방법은 앞서 설명된 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)에 대하여 설명된 내용은 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치를 이용한 원격 의료 진단 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S101에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 초음파 이미지 상에 포함된 엣지 성분을 추출할 수 있다.
단계 S102에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 시멘틱 분할 인공지능 네트웍에 의해 초음파 이미지를 시멘틱 분할하여 시멘틱 분할 이미지를 획득할 수 있다.
단계 S103에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 시멘틱 분할 이미지로부터 관심 장기 영역을 추출하여 장기 라벨 이미지를 형성할 수 있다.
단계 S104에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 상기 장기 라벨 이미지의 엣지 성분을 나타내는 장기 엣지 이미지를 획득할 수 있다.
단계 S105에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 상기 장기 엣지 이미지상의 엣지 성분과 초음파 이미지상의 엣지 성분을 2차원 공간 좌표상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하여 초음파 이미지 상의 관심 장기의 위치를 파악할 수 있다.
단계 S106에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 상기 찾아낸 관심 장기 영역을 중심으로 하여 의학적으로 연류된 초음파 의료 진단 관심 영역 일대를 관심 영역 이미지에 포함시킬 수 있다.
단계 S107에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 가상 의사에 의해 상기 관심영역의 이미지를 가지고 딥런닝 학습 완료된 인공지능 신경망에 의해 자동 분석하여 진단결과를 사용자 단말기에 출력할 수 있다.
단계 S108에서, 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치(600)는 상기 진단 결과를 가지고 의료전문가와 원격 상담 서비스를 진행할 수 있다.
상술한 설명에서, 단계 S101 내지 S108은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치를 이용한 원격 의료 진단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 시멘틱 분할을 이용한 인공지능형 초음파 의료 진단 장치를 이용한 원격 의료 진단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
600: 초음파 의료 진단 장치
30: 초음파 프로브 센서
32: 초음파 이미지 엣지 디텍터
36: 표준 장기 초음파 이미지 데이터 베이스
37: 관심 영역 이미지 데이터 베이스
42: 관심 장기 존재 판별 수단
43: 검사항목 선택 버튼 입력 수단
44: 시멘틱 분할 인공지능 네트웍
46: 관심 장기 라벨 분리부
48: 관심 장기 검색부
50: 관심 영역의 이미지 추출부
54: 인공 지능 신경망
55: 무선 메시지 송신부

Claims (5)

  1. 환자로부터 초음파 이미지를 획득하기 위한 초음파 프로브 센서(probe sensor);
    상기 초음파 이미지상의 복수의 엣지(edge) 성분을 찾기 위한 초음파 이미지 엣지 디텍터;
    진단하고자 하는 신체 내의 관심 장기를 선택하기 위한 초음파 검사항목 선택 버튼 입력 수단;
    상기 초음파 이미지로부터 신체 내의 관심 장기의 위치를 찾기 위해, 서로 다른색을 사용하여 복수의 장기 각각에 라벨링(labeling)을 수행하고, 라벨링된 표준 장기 초음파 이미지를 포함하는 표준 장기 초음파 이미지 데이터베이스를 기반으로 사전에 심층 학습(deep learning)을 수행하는 시맨틱 분할(Semantic Segmentation) 인공지능 네트웍;
    상기 초음파 이미지로부터 상기 시맨틱 분할 인공지능 네트웍에 의해 시맨틱 분할된 장기들 중 상기 초음파 검사항목 선택 버튼 입력 수단에 의해 선택된 검사항목에 해당하는 관심 장기만을 추출 분리하여 표시된 장기 라벨 이미지를 생성하기 위한 관심 장기 라벨 분리부;
    상기 장기 라벨 이미지의 엣지 성분을 검출하여 장기 엣지 이미지를 생성하는 장기 엣지 검출부, 상기 장기 엣지 검출부에서 얻어진 엣지 성분의 엣지폭(edge width)을 확대한 장기 엣지 이미지를 생성하기 위한 장기 엣지폭 확대부 및 상기 장기 엣지 이미지상의 엣지 성분과 상기 초음파 이미지상의 엣지 성분을 2차원 공간 좌표상에서 서로 비교하여 중첩된 중복 엣지 픽셀수를 산출하는 엣지 중복량 계산부를 포함하는 관심 장기 검색부;
    상기 관심 장기 검색부로부터 계산된 중복 엣지 픽셀수를 이용하여 상기 초음파 이미지 상에 관심 장기 존재 유무를 판별하기 위한 관심 장기 존재 판별 수단;
    상기 초음파 이미지 상에 관심 장기가 존재하는 경우, 상기 관심 장기 영역 또는 관심 장기 영역을 중심으로 하여 의학적으로 연류된 초음파 의료 진단 관심 영역 일대를 초음파 이미지 상에서 공간 어드레싱하여 추출하는 관심 영역 이미지 추출부;
    신체 내의 관심 장기들에 대해 질병 종류 및 질병 등급별로 표지된 초음파 사진들로 구성된 관심영역 이미지 데이터 베이스;
    상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 추출된 관심영역의 이미지를 가지고, 인공 지능 신경망에 의해 환자의 관심 장기에 대한 질병 종류 및 질병 등급을 자동으로 판별하여 표시하는 질병 등급 표시부; 및
    환자의 모바일 기기로 질병 등급 정보를 무선 메시지 형태로 전달하기 위한 무선 메시지 송신부를 구비한 것을 특징으로 하는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치.
  2. 제1항에 있어서,
    상기 관심 장기 존재 판별 수단은 엣지폭 확대를 위한 피드백 신호를 상기 장기 엣지폭 확대부에 전달하기 위한 엣지폭 조절 수단을 더 포함하는 것을 특징으로 하는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치.
  3. 제1항에 있어서,
    상기 시맨틱 분할 인공지능 네트웍은
    태아 검사, 경동맥 검사, 유방암 검사, 충수돌기(맹장염) 검사, 전립선 초음파 검사, 간, 심장, 관절, 척추, 자궁, 담낭, 생식기, 담관, 췌장, 비장, 신장을 포함하는 인체 장기를 기반으로 초음파 검사, 갑상선 종양 검사, 혈관 도플러 초음파 검사 중 선택된 어느 하나의 검사에 수반하는 주요 장기를 장기별로 서로 다른색을 사용하여 라벨링된 초음파 이미지에 의해 학습되어진 후, 상기 초음파 이미지에 대응하는 상기 주요 장기에 대해 시맨틱 분할을 수행하는 인공지능 신경망으로 구성된 것을 특징으로 하는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치.
  4. 초음파 프로브 센서를 구비한 초음파 의료장비;
    상기 초음파 의료장비 내에 집적화되어, 상기 초음파 의료장비에 의해 측정된 환자의 의료 영상 데이터를 무선 송신하는 무선 송출부;
    상기 무선 송출부로부터 송출된 환자의 초음파 이미지를 수신하여, 질병 등급을 자동으로 매기는 인공지능형 초음파 의료 진단 장치;
    상기 초음파 의료장비의 사용 상황을 모니터링하기 위한 카메라, 상기 초음파 의료장비의 제품 ID를 무선으로 인증하는 제1 인증부, 상기 초음파 의료장비로부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부, 통신 네트워크를 통해 상기 초음파 이미지와 초음파 의료장비의 제품 ID를 원격 진단 서버로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부 및 의료 전문가와의 상담 서비스를 제공하는 제1 상담 서비스부를 구비한 사용자 단말기;
    상기 인공지능형 초음파 의료 진단 장치와 상기 사용자 단말기에 대한 연결을 제공하는 통신 인터페이스;
    상기 사용자 단말기 상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝 학습을 수행하는 인공 지능 신경망;
    상기 사용자 단말기 상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비의 사용방법을 안내하거나 지시하는 안내부 및 상기 초음파 의료장비에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 딥런닝 학습 완료된 인공지능 신경망에 의해 자동 분석하여 진단결과를 출력하는 진단부를 구비하는 가상 의사; 및
    상기 통신 네트워크를 통해 상기 의료 영상 데이터 내지 초음파 이미지를 수신하는 수신부 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비하는 의료 전문가 단말기;
    를 포함하는 원격 의료 진단 시스템을 더 구비한 것을 특징으로 하는 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치.
  5. 삭제
KR1020200006272A 2020-01-17 2020-01-17 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 KR102144672B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200006272A KR102144672B1 (ko) 2020-01-17 2020-01-17 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
US16/927,118 US11969287B2 (en) 2020-01-17 2020-07-13 Artificial intelligence ultrasound-medical-diagnosis apparatus using semantic segmentation and remote medical-diagnosis method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006272A KR102144672B1 (ko) 2020-01-17 2020-01-17 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법

Publications (1)

Publication Number Publication Date
KR102144672B1 true KR102144672B1 (ko) 2020-08-14

Family

ID=72050214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006272A KR102144672B1 (ko) 2020-01-17 2020-01-17 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법

Country Status (2)

Country Link
US (1) US11969287B2 (ko)
KR (1) KR102144672B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256278B1 (ko) * 2020-09-22 2021-05-26 주식회사 루닛 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템
WO2023075055A1 (ko) * 2021-10-26 2023-05-04 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치
US11672503B2 (en) 2021-08-20 2023-06-13 Sonic Incytes Medical Corp. Systems and methods for detecting tissue and shear waves within the tissue
WO2023163287A1 (ko) * 2022-02-25 2023-08-31 주식회사 피맥스 의료 영상 분석 방법 및 장치
WO2023238987A1 (ko) * 2022-06-07 2023-12-14 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
WO2024096384A1 (ko) * 2022-10-31 2024-05-10 주식회사 리매진 초음파 변환기의 이동 속도를 감지하여 유방 내 종괴를 검출하는 휴대형 초음파 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210345955A1 (en) * 2020-05-05 2021-11-11 Dave Engineering Llc Portable real-time medical diagnostic device
US11967084B2 (en) * 2021-03-09 2024-04-23 Ping An Technology (Shenzhen) Co., Ltd. PDAC image segmentation method, electronic device and storage medium
EP4252670A1 (en) * 2022-03-31 2023-10-04 Koninklijke Philips N.V. Methods and systems for ultrasound-based structure localization using image and user inputs
WO2023186584A1 (en) 2022-03-31 2023-10-05 Koninklijke Philips N.V. Methods and systems for ultrasound-based structure localization using image and user inputs
CN115018739A (zh) * 2022-08-08 2022-09-06 北京国安广传网络科技有限公司 一种基于数字处理的便携式家庭医生智慧工作站系统
EP4339884A1 (en) * 2022-09-16 2024-03-20 Fondation de Coopération Scientifique Method for ultrasound image processing and apparatus for implementing the same
CN115644921A (zh) * 2022-10-12 2023-01-31 逸超医疗科技(北京)有限公司 一种自动弹性测量方法
CN116609518A (zh) * 2023-05-17 2023-08-18 丽水瑞联医疗科技有限公司 一种胎盘大体分析一体机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130178A1 (en) * 2007-04-23 2008-10-30 Jae Chern Yoo Remote medical-diagnosis system and method
KR20100109383A (ko) * 2009-03-30 2010-10-08 삼성전자주식회사 바이오 분석 장치를 포함하는 인터넷 폰 장치 및 이를 이용한 원격 의료 서비스 방법
KR20120079931A (ko) * 2011-01-06 2012-07-16 건국대학교 산학협력단 의료 영상 분할 처리 장치와 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20170047873A (ko) * 2015-10-26 2017-05-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
JP2019525786A (ja) * 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US20190374194A1 (en) * 2017-02-13 2019-12-12 Koninklijke Philips N.V. Ultrasound evaluation of anatomical features

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7658714B2 (en) * 2003-10-31 2010-02-09 Siemens Medical Solutions Usa, Inc. Intelligent ultrasound examination storage system
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
EP3453336B1 (en) * 2017-09-08 2020-11-04 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
EP3477655A1 (en) * 2017-10-30 2019-05-01 Samsung Electronics Co., Ltd. Method of transmitting a medical image, and a medical imaging apparatus performing the method
US11264135B2 (en) * 2017-11-10 2022-03-01 Siemens Medical Solutions Usa, Inc. Machine-aided workflow in ultrasound imaging
CN109492608B (zh) * 2018-11-27 2019-11-05 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130178A1 (en) * 2007-04-23 2008-10-30 Jae Chern Yoo Remote medical-diagnosis system and method
KR20100109383A (ko) * 2009-03-30 2010-10-08 삼성전자주식회사 바이오 분석 장치를 포함하는 인터넷 폰 장치 및 이를 이용한 원격 의료 서비스 방법
KR20120079931A (ko) * 2011-01-06 2012-07-16 건국대학교 산학협력단 의료 영상 분할 처리 장치와 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20170047873A (ko) * 2015-10-26 2017-05-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
JP2019525786A (ja) * 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US20190374194A1 (en) * 2017-02-13 2019-12-12 Koninklijke Philips N.V. Ultrasound evaluation of anatomical features

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256278B1 (ko) * 2020-09-22 2021-05-26 주식회사 루닛 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템
KR20220039544A (ko) * 2020-09-22 2022-03-29 주식회사 루닛 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템
KR102601684B1 (ko) 2020-09-22 2023-11-13 주식회사 루닛 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템
US11672503B2 (en) 2021-08-20 2023-06-13 Sonic Incytes Medical Corp. Systems and methods for detecting tissue and shear waves within the tissue
WO2023075055A1 (ko) * 2021-10-26 2023-05-04 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치
WO2023163287A1 (ko) * 2022-02-25 2023-08-31 주식회사 피맥스 의료 영상 분석 방법 및 장치
WO2023238987A1 (ko) * 2022-06-07 2023-12-14 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
WO2024096384A1 (ko) * 2022-10-31 2024-05-10 주식회사 리매진 초음파 변환기의 이동 속도를 감지하여 유방 내 종괴를 검출하는 휴대형 초음파 장치

Also Published As

Publication number Publication date
US20210224991A1 (en) 2021-07-22
US11969287B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
KR102144672B1 (ko) 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
CN109758178B (zh) 超声成像中的机器辅助工作流
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
KR102268668B1 (ko) 대상체에 대한 복수의 상이한 영상들을 디스플레이하는 방법 및 장치
KR20200133593A (ko) 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
US20200286229A1 (en) Image diagnostic device, image processing method, and program
CN113226153A (zh) 图像处理装置、图像处理方法和程序
KR101660370B1 (ko) 초음파 영상 표시 방법 및 장치
JP2015061592A (ja) 超音波診断装置、超音波画像処理方法およびコンピュータ読み取り可能な非一時的な記録媒体
JP5611546B2 (ja) 自動診断支援装置、超音波診断装置及び自動診断支援プログラム
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
Saba et al. Web-based accurate measurements of carotid lumen diameter and stenosis severity: An ultrasound-based clinical tool for stroke risk assessment during multicenter clinical trials
US8805043B1 (en) System and method for creating and using intelligent databases for assisting in intima-media thickness (IMT)
Rizi et al. Carotid wall longitudinal motion in ultrasound imaging: an expert consensus review
EP3786840A1 (en) Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image
KR102545008B1 (ko) 초음파 영상 장치 및 그 제어 방법
KR20210014267A (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
Wiacek et al. Coherence-based beamforming increases the diagnostic certainty of distinguishing fluid from solid masses in breast ultrasound exams
KR20180108210A (ko) 의료 영상 표시 방법 및 의료 영상 표시 장치
CN112508840A (zh) 信息处理设备、检查系统、信息处理方法和存储介质
WO2021054901A1 (en) Automated system and method of monitoring anatomical structures
JP2009261493A (ja) 超音波診断方法および装置
KR20160071227A (ko) 초음파 진단 장치 및 그 동작 방법
KR20190085342A (ko) 초음파 진단 장치의 제어 방법 및 초음파 진단 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant