KR102258776B1 - 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 - Google Patents

인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 Download PDF

Info

Publication number
KR102258776B1
KR102258776B1 KR1020190059049A KR20190059049A KR102258776B1 KR 102258776 B1 KR102258776 B1 KR 102258776B1 KR 1020190059049 A KR1020190059049 A KR 1020190059049A KR 20190059049 A KR20190059049 A KR 20190059049A KR 102258776 B1 KR102258776 B1 KR 102258776B1
Authority
KR
South Korea
Prior art keywords
image
unit
ultrasound
images
ultrasonic
Prior art date
Application number
KR1020190059049A
Other languages
English (en)
Other versions
KR20200133593A (ko
Inventor
유재천
Original Assignee
주식회사 힐세리온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 힐세리온 filed Critical 주식회사 힐세리온
Priority to KR1020190059049A priority Critical patent/KR102258776B1/ko
Priority to US16/665,243 priority patent/US11633169B2/en
Publication of KR20200133593A publication Critical patent/KR20200133593A/ko
Application granted granted Critical
Publication of KR102258776B1 publication Critical patent/KR102258776B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4477—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device using several separate ultrasound transducers or probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis)진단을 딥런닝 학습된 인공지능에 의해 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.

Description

인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법{AI-AUTOMATIC ULTRASOUND DIAGNOSIS APPARATUS FOR LIVER STEATOSIS AND REMOTE MEDICAL-DIAGNOSIS METHOD USING THE SAME}
본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis) 진단을 딥런닝 학습된 인공지능에 의해 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법에 관한 것으로, 보다 상세하게, 초음파 이미지로부터 지방간증 진단에 필요한 간(liver) 영역과 신장(kidney)영역을 찾고, 이들 두 영역의 이미지를 하나로 연결(concatenation) 및 병합하여 하나의 통합 이미지를 만들고, 이 통합 이미지를 이용하여 이산 웨이브릿 변환에 의해 4개의 서브밴드(subband) 이미지, 즉 LL 이미지, LH 이미지, HL 이미지, HH 이미지로 분해(Decomposition) 생성하고, 각각의 서브밴드 이미지에 대해 각각의 인공 신경망을 딥런닝 학습시키고, 학습 완료된 인공 신경망에 사용하여, 초음파 이미지 센서로부터 입력 되는 환자의 초음파 이미지를 가지고 환자의 지방증(steatosis) 등급을 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
또한, 본 발명의 딥런닝 학습된 인공지능 플랫폼을 이용해 환자의 간(liver)의 지방증(steatosis) 상태를 자동 분석하여 그 결과를 환자나 의사에게 알려주고, 인터넷망을 통해 원격으로 상담서비스를 제공하는 가상 의사(virtual doctor) 구현 시 매우 유리하다.
본 특허 출원은 선 등록된 유럽 특허 “REMOTE MEDICAL-DIAGNOSIS SYSTEM AND METHOD”(등록일자: 2018.12.12, 특허 번호: 02140412)의 연속이다.
상기 선 출원된 발명은, 샘플을 수용하여 생물학적, 화학적 또는 생화학적 반응을 수행하는 바이오 디스크 또는 랩온어디스크(Lab on a Disc)를 포함하는 바이오 분석장치; 의료진료에 사용될 수 있는 체온계, 혈압계, 카메라, 청진기, 체지방 측정기, 동맥경화 진단기, 초음파 영상진단기, 소변검사 장치, 맥박기, 채혈장치, 심전도계, X-Ray 장치, 산소 포화도 검사장치, 치매 검사장치, CAT(Computerized Axial Tomography) 장치, MRI(Magnetic Resonance Imaging) 장치, 캡슐내시경, 확대경, 카메라 일체형 확대경, 의료계측기기, 생체 신호감지장치, 및 생체신호(당뇨, 비만, 혈압, 맥박, 심전도, 체온 등)를 측정할 수 있는 기능을 가진 바이오 셔츠를 포함하는 진료 장치를 구비하여 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 바이오 분석 장치 와 진료장치의 사용 방법을 안내하거나 지시하고 사용자와의 상담 서비스를 제공하는 가상 의사; 의료 전문가 또는 가상 의사와의 상담 서비스를 제공하는 사용자 단말기; 사용자와의 상담 서비스를 제공하는 의료 전문가 단말기; 및 상담 전문가로서 정기 검진 기간 동안에는 의료 전문가를 사용자에게 연결하고 그 외 기간 동안 에는 가상 의사를 사용자에게 연결하고 사용자가 의료 전문가와 상담해야 하는 정기 검진 기간을 경과한 경우 사 용자와 가상 의사와의 상담 서비스 연결을 차단하는 원격 진단 서버를 포함하는 원격 의료 진단 시스템, 및 이를 이용한 원격 의료 진단 방법을 제공한다.
최근 의료장비 제작기술과 함께 디지털 영상처리 기술이 임상진단 분야에 적용되어 영상의학의 많은 발전이 이루어지고 있다.
특히 초음파 진단은 CT나 X선 의료장비에 비해 유해한 방사선 노출을 피할 수 있어 사람의 몸에 해롭지 않고, 비침습성(non-invasive) 방법으로 인체의 단면 촬영 영상을 얻을 수 있을 뿐만 아니라, 휴대가 간편하고 비용이 저렴하다는 특징이 있다. 특히, 실시간으로 영상을 얻을 수 있어, 실시간으로 장기의 운동 상태를 관찰할 수 있는 장점이 있다.
이러한 초음파 진단 기술은 수분과 지방질에 대한 반사특성이 현저하게 달라진다는 점을 이용하여 간의 지방증 정도를 파악하는데 널리 쓰이고 있다.
지방간은 복부초음파 검사상 나타나는 가장 흔한 질환으로 최근에는 초음파 장비에서 얻어지는 복부단면 영상의 밝기 정도나 영상의 텍스쳐(texture) 특성을 측정하여, 간 조직의 지방화 정도를 판별하는 척도인 Hepatorenal sonographic index (HI) 를 계산함으로써 대부분의 간 지방증 진단이 이루어지며, HI 계산은 간과 오른쪽 신장(kidney)에 대해 cortex의 echogenicity 히스토그램(histogram)의 상대적 비(ratio)로 계산함으로써 얻어진다. 그러나, 이러한 밝기 정도나 영상의 텍스쳐(texture) 특성을 이용한 Hepatorenal sonographic index(HI) 계산에 기반한 지방간 진단은, 초음파 이미지의 낮은 해상도와 심한 노이즈 특성 때문에 계산의 오류가 심하고, 초음파 영상이 심하게 훼손되어 전문가가 아니면, 정확한 의학적 해석이 어려운 경우가 많다. 더욱이 지방간은 그 정도에 따라 정상(normal), 경증(mild), 중등도(moderate), 중증(severe)의 네 등급으로 세분하여 적용하고 있고. 더욱 심한 경우 간경변증(liver cirrhosis)과 간암으로 판정된다.
HI 계산의 부정확성으로 초음파 검사를 이용한 지방간 등급의 진단의 모호성은 더욱 커지고, 결국 검사자의 주관적 판단으로 시행하므로 검사자간의 불일치가 발생할 뿐만 아니라 초음파 검사의 결과 판독에 혼란을 줄 수 있다.
본 발명은 이러한 문제점을 해결하기 위해 고안된 것으로, 간(liver) 영역과 신장(kidney) 영역의 이미지를 추출하고, 이들 두 영역의 이미지를 하나로 연결(concatenation) 및 병합하여 하나의 통합 이미지를 만들고, 이 통합 이미지에 대해 웨이브릿 변환(Discrete Wavelet Transform)을 수행하여 서브밴드 이미지들을 얻고, 이들 서브밴드 이미지들을 이용하여, 각 서브밴드 별로 인공 신경망을 딥런닝 학습시키고, 학습된 인공신경망을 이용하여 환자의 지방증(steatosis) 등급을 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
유럽 특허 문헌 특허 번호: 02140412(등록일자: 2018.12.12).
(논문 1) Michal Byra and Grzegorz Styczynski, et al, "Transfer learning with deep convolutional neural network for liver steatosis assessment in ultrasound images", International Journal of Computer Assisted Radiology and Surgery, August.2018 (논문 2) Marshall RH, Eissa M, Bluth EI, Gulotta PM, Davis NK "Hepatorenal index as an accurate, simple, and effective tool in screening for steatosis" American Journal of J Roentgenology Vol.199 (2012), pp.997-1002 (논문 3) Christian Szegedy et al., Going Deeper with Convolutions, 2015 Computer Vision and Pattern Recognition (논문 4) Christian Szegedy et al., Rethinking the Inception Architecture for Computer Vision, 2016 Computer Vision and Pattern Recognition (논문 5) Liang-Chieh Chen et al., Rethinking Atrous Convolution for Semantic Image Segmentation, 2017 Computer Vision and Pattern Recognition
본 발명은 상기 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 초음파 이미지로부터 자동으로 인공지능에 의해 환자의 간 지방증(liver steatosis) 검진을 위해, 초음파 이미지로부터 지방간증 판별에 필요한 간(liver) 영역과 신장(kidney)영역을 찾고, 이들 두 영역의 이미지를 하나로 연결(concatenation) 및 병합하여 하나의 통합 이미지를 만들고, 이 통합 이미지를 이용하여 이산 웨이브릿 변환에 의해 4개의 서브밴드(subband) 이미지, 즉 LL 이미지, LH 이미지, HL 이미지, HH 이미지로 분해(Decomposition) 생성하고, 각각의 서브밴드 이미지에 대해 각각의 독립된 인공 신경망을 딥런닝 학습시키고, 학습 완료된 인공 신경망에 사용하여, 초음파 이미지 센서로부터 입력 되는 환자의 초음파 이미지를 가지고 환자의 지방증(steatosis) 등급을 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치를 제공한다.
본 발명의 또 다른 측면은, 상기 인공지능형 초음파 지방간 자동진단 장치를 이용해 환자의 간(liver)의 지방증(steatosis) 상태를 자동 분석하고, 가상 의사(virtual doctor)를 더 구비하여 그 결과를 인터넷망을 통해 환자나 의사에게 알려주고, 의료전문가와의 상담서비스를 제공하는 원격 의료 진단 방법 제공한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명에 따른 인공지능형 초음파 지방간 자동진단 장치는, 환자로부터 초음파 영상(이미지)을 얻기 위한 초음파 프로브 센서(probe sensor); 상기 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출부; 상기 한 개 이상의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 상기 통합 이미지를 모양(shape) 기반의 통합 이미지로 바꾸기 위한 “명암 To 모양 변환 커널(darkness to shape conversion Kernel)부”; 및 상기 모양 기반의 통합 이미지에 의해 딥런닝 학습된 인공 신경망; 을 포함하고, 상기 딥런닝 학습된 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력 되는 환자의 초음파 이미지를 가지고 환자의 간 지방증 (liver steatosis)을 자동으로 판별할 수 있는 것이다.
본 발명의 인공지능형 초음파 지방간 자동진단 장치의 또 다른 측면은, 환자로부터 초음파 영상(이미지)을 얻기 위한 초음파 프로브 센서(probe sensor); 상기 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출부; 상기 관심영역 추출부에 의해 얻어진 각 관심영역의 이미지들의 이미지 픽셀들을 재배열하여 패턴이미지를 얻기 위한 재배열부를 구비하여, 재배열되어 얻어진 패턴 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 및 상기 통합 이미지에 의해 딥런닝 학습된 인공 신경망을 포함하고, 상기 딥런닝 학습된 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 간 지방증(liver steatosis)을 자동으로 판별할 수 있는 것이다.
본 발명의 인공지능 신경망은 CNN(Convolutional Neural Network) 내지 RNN(Recurrent Neural Network)을 사용하는 것이 선호된다.
본 발명에서 상기 인공지능 신경망 (artificial neural network) 은 딥런닝 학습을 허여하는 뉴럴 네트웍(neural network) 으로 컨보루션 레이어(convolution layer), 풀링 레이어(Pooling layer), ReLu 레이어, Transpose 컨보루션 레이어, 언 풀링레이어(Unpooling layer), 1x1 컨보루션 레이어, 스킵 연결(Skip connection), Global Average Pooling(GAP) 레이어, Fully Connected 레이어, LSTM(long Short term Memory), softmax classifier, Auxiliary Classifier, SVM(support Vector Machine)중 선택된 어느 하나 이상의 레이어(layer)나 엘리먼트(element)로 조합 구성될 수 있다. 상기 인공지능 신경망은 상기 ReLu레이어 앞단에 Batch normalization 연산을 위한 연산부를 더 구비한 것이 선호된다.
상기 관심영역 추출부는 환자의 초음파 진단을 위해 초음파 이미지상에 관심 영역을 사각형 내지 타원 모양의 윈도우로 설정하여, 그 윈도우 영역내의 이미지 샘플을 추출하는 것이 선호된다.
따라서 관심영역의 이미지는 환자들의 간 지방증 정도에 따라, 윈도우내의 픽셀들의 명암 세기(darkness intensity)만 다를 뿐, 추출된 이미지 자체의 외곽 모양(outer shape)은 윈도우 모양인 사각형 내지 타원을 갖는다.
즉, 지방간은 간의 지방증 정도에 따라 정상(normal), 경증(mild), 중등도(moderate), 중증(severe)의 네 등급으로 구분되지만, 관심영역에 의해 추출된 이미지의 외곽(외부)모양은 지방간 등급과 무관하게, 사용된 윈도우 모양으로 같다. 다시 말해, 지방간 등급에 따라 윈도우내의 픽셀들의 명암 세기(darkness intensity)만 다를 뿐, 추출된 이미지의 외곽 모양은 사용된 윈도우 모양을 갖는다.
또한, 여러 개의 관심영역의 이미지들을 한 개의 이미지로 통합한 통합 이미지 조차도 여러 이미지를 하나로 통합한 것뿐이기 때문에 외곽 모양은 일정한 모양을 가질 수 밖에 없다. 즉, 서로 다른 지방간 등급의 통합 이미지들이 같은 외곽 모양을 갖고 있어, 외곽 모양으로는 지방간 등급을 산정할 수 없다. 즉, 서로 다른 지방간 등급의 통합 이미지들의 경우 통합 이미지내 픽셀들의 명암 세기(darkness intensity)만 서로 다르다.
불행하게도, 기 공지된 인공지능 신경망은 이미지 픽셀들의 명암 세기(darkness intensity)를 학습하고 인식하기보다는, 이미지의 외부(외곽) 모양을 학습하고 인식하도록 설계되어 있다.
예를 들면, 기존의 인공 신경망이 자동차와 고양이를 잘 구분하는 것은 두 물체간의 외부 모양이 다르기 때문이다. 따라서 상기 추출된 통합 이미지는 서로 다른 지방간 등급의 이미지들임에도 불구하고, 같은 외곽 모양을 갖고 있어, 기존 인공신경망에 의해 효율적 학습과 인식이 매우 어렵다.
본 발명에서는 이러한 문제를 해결하기 위해, 상기 명암세기 (darkness intensity) 기반의 이미지를 모양 기반의 이미지로 바꾸기 위한 “명암 To 모양 변환 커널부(Darkness to shape conversion Kernel)”를 구비한 것을 특징으로 한다. 상기 “명암 To 모양 변환 커널부”는 저차원(low dimension) 이미지를 보다 높은 차원을 갖는 이미지로 변환하며, 픽셀의 명암세기 정보에 따라, 다른 외곽 모양을 갖는 이미지를 생성하는 것을 특징으로 한다. 본 발명에서는 관심영역 추출부에 의해 얻어진 이미지내의 픽셀들의 명암세기 정보에 따라, “명암 To 모양 변환 커널부”에 의해, 변환되어 얻은 이미지를 “모양 기반의 이미지”라 칭한다.
또한 “명암 To 모양 변환 커널부” 앞단의 이미지를 “명암세기 기반의 이미지”라 칭한다.
“명암 To 모양 변환 커널부”는 “명암세기 기반의 이미지”를 “모양 기반의 이미지”로 변환하는 것이다.
예를 들면, 만약 관심영역 추출부에 의해, 첫번째 환자로부터 추출된 이미지의 간 지방증 등급이 정상(normal)을 나타내고, 두번째 환자로부터 추출된 이미지의 간 지방증 등급이 중증이라고 가정하자. 이 경우, 추출 당시에 초음파이미지의 관심영역에 대해 모두 사전에 정해진 윈도우를 사용하여 추출했기 때문에, 추출된 이미지의 외곽모양은 전부 윈도우 모양으로 같다. 따라서 외곽 모양을 가지고 두 환자의 간 지방증 등급을 구분하기 어려울 뿐만 아니라, 인공신경망에 의해 효율적 학습과 인식이 어렵다.
이 경우, 두 환자로부터 추출된 명암세기 기반의 이미지내의 픽셀의 명암세기의 분포 및 패턴은 서로 크게 다르므로, 상기 “명암 To 모양 변환 커널부”에 의해 변환 시, 서로 다른 외곽 모양을 갖는 “모양 기반의 이미지”가 얻어지며, 이 경우, 모양이 달라 인공신경망에 의해 효율적 학습 과 인식이 가능하다.
상기 "명암 To 모양 변환 커널부"는 선형 커널(linear Kernel), Polynomial Kernel, Gaussian Kernel, Hyperbolic tangent kernel, RBF(Radial Basis function) kernel 중 선택된 어느 하나를 사용하는 것이 선호 되며, 이는 당해 업자 공지 사항이다.
상기 "명암 To 모양 변환 커널부"는 다음 아래 식에 의해 주어진 Polynomial Kernel을 사용하는 것이 더욱 선호된다.
Figure 112019051630638-pat00001
위 식의 왼쪽식에서
Figure 112019051630638-pat00002
은 명암세기 기반의 이미지내의 픽셀들 주소를 나타내고,
Figure 112019051630638-pat00003
는 해당 픽셀의 명암 세기를 나타내는 것이 선호된다.
상기 "명암 To 모양 변환 커널부"는 상기 왼쪽식에서
Figure 112019051630638-pat00004
로 주어진 명암세기(darkness intensity) 기반의 이미지는 오른쪽식에 표현된 모양기반의 이미지
Figure 112019051630638-pat00005
로 변환한다.
여기서 상기 변환된 모양기반의 이미지는 3차원 공간상에 표시되며, 2차원 평면상의 위치에서 명암의 세기로 표현된다. 예를 들면,
Figure 112019051630638-pat00006
은 2차원 평면상의 수평축상의 좌표값,
Figure 112019051630638-pat00007
는 2차원 평면상의 수직축상의 좌표값,
Figure 112019051630638-pat00008
는 상기 수평축 좌표값과 수직축 좌표값의 해당위치에서의 픽셀의 명암세기를 나타내는 것이 선호된다.
바람직하게는, 본 발명의 모양기반의 이미지의 또 다른 측면은 상기 변환된 모양기반의 이미지는 3차원 공간상에 표시되며 2차원 평면상에서 명암의 세기로 표현되며,
Figure 112019051630638-pat00009
은 2차원 평면상의 수평축상의 좌표값,
Figure 112019051630638-pat00010
는 2차원 평면상의 수직축상의 좌표값,
Figure 112019051630638-pat00011
는 상기 수평축 좌표값과 수직축 좌표값의 해당위치에서의 픽셀의 명암세기를 나타내는 것이 선호된다.
상기
Figure 112019051630638-pat00012
은 명암세기 기반의 이미지내의 각 픽셀들의 주소로 각 픽셀에 할당된 일련 번호를 사용하는 것이 선호된다.
예를 들어, 관심영역 추출부에서 초음파 이미지상에서 관심 영역을 추출하기 위해 사각형 모양의 윈도우를 사용하고 윈도우 사이즈를 3x3으로 설정한 경우, 전체 픽셀수는 9개이므로
Figure 112019051630638-pat00013
은 1~9 사이의 숫자가 된다.
또한, 상기
Figure 112019051630638-pat00014
는 초음파 이미지의 관심영역에서의 각 픽셀의 명암세기를 나타내므로, 만약 256 그레이 레벨(gray level)을 갖는 초음파 이미지를 사용한 경우라면 0~255 사이의 숫자가 된다.
바람직하게는, 상기
Figure 112019051630638-pat00015
의 또 다른 측면은,
Figure 112019051630638-pat00016
값은 각 픽셀의 x축과 y축 좌표값의 합으로 설정하는 것이 선호된다.
바람직하게는, 본 발명의 이미지 통합부는 관심영역 추출부에 의해 초음파 이미지로부터 추출된 신장과 간 영역을 포함하는 제 1 영상, 상기 제 1 영상으로부터 신장 영역만을 추출한 제 2 영상, 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지, 및 상기 제 1 영상에서 상기 제 2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상을 전달 받아, 상기 제 2 영상의 중심 좌표로부터 시작하여 원주방향으로 차례로 이동하면서 제2영상의 이미지 픽셀들을 취해 사각형 이미지로 재배열하여, 제 2 영상의 패턴 이미지를 생성하고, 상기 신장 테두리 이미지를 원주방향으로 차례로 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 신장테두리 이미지의 패턴 이미지를 생성하고, 상기 제 3 영상에 대해서도 사전에 정해진 픽셀 스캔 규칙에 의해 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 제 3 영상의 패턴 이미지를 생성하는 재배열부를 더 구비할 수 있다. 상기 이미지 통합부는 상기 얻어진 패턴 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성한다.
이 경우, 상기 제 2 영상의 패턴 이미지, 신장 테두리 이미지의 패턴 이미지 및 제 3 영상의 패턴 이미지내의 이미지 패턴들은 서로 다른 지방간 등급간에 크게 다르므로, 인공신경망에 의해 효율적 학습과 인식이 가능하다.
바람직하게는, 본 발명의 상기 픽셀 스캔 규칙은 제 3 영상의 왼쪽에서 오른쪽으로, 그리고 위쪽에서 아래 방향으로 이동하면서 이미지 픽셀을 차례로 취하는 것이 더욱 선호된다
바람직하게는, 본 발명의 상기 픽셀 스캔 규칙의 또 다른 측면은 제 3 영상의 내부 안쪽으로부터 반경이 커지는 방향으로 원주 방향으로 회전하면서 이미지 픽셀을 차례로 취하는 것이 더욱 선호된다
바람직하게는, 본 발명의 또 다른 측면의 인공지능형 초음파 지방간 자동진단 장치는, 환자로부터 초음파 영상(이미지)을 얻기 위한 초음파 프로브 센서; 상기 초음파 이미지로부터 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심영역 추출부; 상기 한 개 이상의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 상기 통합 이미지를 이용하여 이산 웨이브릿 변환에 의해 서브밴드(subband) 이미지들로 분해(Decomposition) 생성하기 위한 웨이브릿 변환부; 및 상기 서브밴드(subband) 이미지들에 의해 딥런닝 학습된 인공 신경망; 을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 간 지방증(liver steatosis)을 자동으로 판별할 수 있는 것이다.
바람직하게는, 상기 인공지능형 초음파 지방간 자동진단 장치의 또 다른 측면은 상기 서브밴드(subband) 이미지들을 하나의 모양 기반의 서브밴드(subband) 이미지로 변환하기 위한 "명암 To 모양 변환 커널부"를 더 구비하여, 상기 변환된 모양 기반의 서브밴드(subband) 이미지에 의해 상기 인공 신경망을 딥런닝 학습시킬 수 있는 것이다.
상기 관심영역 추출부는 초음파 이미지에서 간(liver) 실질 영역의 이미지, 신장(kidney) 실질 영역의 이미지, 우문맥(right portal vein, RPV), 간정맥(Hepatic vein), 신장(Kidney), 비장(Spleen), 횡격막(diaphragm) 영역의 이미지 중 선택된 어느 두 개 이상의 이미지를 추출할 수 있다.
본 발명에서, 이산 웨이브릿 변환부는 2차원 초음파 이미지의 수평 내지 수직 방향에 대해 저역 통과 필터(low pass filter)와 고역 통과 필터(high pass filter)를 적용시키고 2로 다운 샘플링(down sampling)을 수행하여 4개의 서브밴드(subband) 이미지들, 즉 LL 이미지, LH 이미지, HL 이미지, HH 이미지로 분해(Decomposition)하여 생성할 수 있다.
상기 서브밴드 LL 이미지는 원본 초음파 이미지에 수평과 수직방향으로 저역 통과 필터를 적용하고, 수평 수직 각 방향에 대해 1/2로 서브 샘플링(sub sampling) 하여 얻어지는 것이다.
상기 서브밴드 HL 이미지는 원본 초음파 이미지에 수평방향으로 저역 통과 필터를 적용하고 수직방향으로 고역 통과 필터를 적용하고, 수평 수직 각 방향에 대해 1/2로 서브 샘플링 하여 얻어지는 것이다.
상기 서브밴드 LH 이미지는 원본 초음파 이미지에 수평 방향으로 고역 통과 필터를 적용하고 수직방향으로 저역 통과 필터를 적용하고, 수평 수직 각 방향에 대해 1/2로 서브 샘플링 하여 얻어지는 것이다.
상기 서브밴드 HH 이미지는 원본 초음파 이미지에 수평과 수직 두 방향 모두에 고역 통과 필터를 적용하고, 수평 수직 각 방향에 대해 1/2로 서브 샘플링 하여 얻어지는 것이다.
바람직하게는, 본 발명에 따른 또 다른 측면은, 상기 "명암 To 모양 변환 커널부"는 상기 4개의 서브밴드(subband) 이미지들 각각을 모양 기반의 서브밴드(subband) 이미지들로 변환하여, 모양 기반의 서브밴드(subband) LL 이미지, 모양 기반의 서브밴드(subband) LH 이미지, 모양 기반의 서브밴드(subband) HL 이미지, 모양 기반의 서브밴드(subband) HH 이미지를 생성하고, 상기 인공 신경망은 상기 모양 기반의 서브밴드(subband) LL 이미지에 의해 학습되는 제 1 인공 신경망; 상기 모양 기반의 서브밴드(subband) LH 이미지에 의해 학습되는 제 2 인공 신경망; 상기 모양 기반의 서브밴드(subband) HL 이미지에 의해 학습되는 제 3 인공 신경망; 및 상기 모양 기반의 서브밴드(subband) HH 이미지에 의해 학습되는 제 4 인공 신경망으로 구성될 수 있다.
본 발명에서 관심 장기는 간(liver), 우문맥(right portal vein, RPV), 간정맥(Hepatic vein), 신장(Kidney), 비장(Spleen), 횡격막(diaphragm) 이 선호되며, 상기 초음파 이미지는 초음파 프로브 센서를 환부에 대해 Parasagittal scan plane으로 취해서 얻어진 초음파 이미지가 선호된다. 상기 관심 장기는 간(liver) 과 신장(Kidney)이 더욱 선호된다.
바람직하게는 본 발명의 관심영역 추출부의 또 다른 측면은, 관심영역의 이미지들을 추출하기 위해, 초음파 이미지에 대해 시맨틱 분할(Semantic Segmentation)을 수행하여 관심 장기별로 다른 값 또는 다른 색으로 라벨링(labeling)된 시맨틱 분할된 초음파 이미지를 얻기 위한 인공 신경망을 구비하여, 초음파 이미지로부터, 관심장기 중 신장과 간을 포함하는 영역을 시맨틱 분할 추출하여 제 1 영상을 생성하고, 상기 제 1 영상으로부터 신장 영역만을 시맨틱 분할 추출한 제 2 영상, 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지, 및 상기 제 1 영상에서 상기 제2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상을, 이미지 통합부에 전달할 수 있는 것이다.
이 경우 이미지통합부의 재배열부는 상기 제 2 영상의 중심 좌표로부터 시작하여 원주방향으로 차례로 이동하면서 제 2 영상의 이미지 픽셀들을 차례로 취해 사각형 이미지로 재배열하여, 제 2 영상의 패턴 이미지를 생성하고, 상기 신장 테두리 이미지를 원주방향으로 차례로 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 신장테두리 이미지의 패턴 이미지를 생성하고, 상기 제 3 영상에 대해서도 사전에 정해진 스캔 규칙에 의해 이미지 픽셀들을 취해 사각형 이미지로 재 배열하여 제 3 영상의 패턴 이미지를 생성할 수 있다. 상기 이미지 통합부는 상기 얻어진 패턴 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성한다.
상기 시맨틱 분할은 주어진 초음파 이미지 안에 특정 클래스(class)에 해당하는 장기(internal organ) 가 존재하는 경우, 어느 위치에 포함되어 있는지 픽셀 단위로 사물을 분류하여, 다른 장기로부터 분할하는 인공지능 신경망을 사용하는 것이 선호된다.
상기 시맨틱 분할된 초음파 이미지는 사전에 장기별로 다른 색을 할당하여 구성한 칼라맵(color map of the internal organs)을 사용하는 것이 선호된다.
예를 들면 상기 칼라맵은 간은 초록색, 신장은 노란색, 비장은 파란색, 횡격막은 오렌지색을 할당하여 구성할 수 있고, 색깔 기준으로 시맨틱 분할이 이루어진다.
바람직하게는 본 발명의 관심영역 추출부의 또 다른 측면은, 초음파 이미지상의 특징점을 검출하기 위한 특징점 검출부; 장기 기준 이미지의 특징점을 저장하고 있는 참조 특징점 저장부; 및 상기 특징점 검출부에 의해 검출된 특징점과 상기 참조 특징점 저장부에 저장되어 있는 장기 기준 이미지들의 특징점간의 유사도를 비교하는 장기 정합(internal organ matching) 과정을 통해, 상기 초음파 이미지로 부터, 관심장기를 찾는 장기 정합부를 구비하여, 상기 초음파 이미지로부터, 관심장기 중 신장과 간을 포함하는 영역을 추출하여 제 1 영상을 생성하고, 이후 상기 제 1 영상으로부터 신장 영역만을 추출하여 제 2 영상을 생성하고, 이후 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출하여 신장 테두리 이미지를 얻고, 상기 제 1 영상에서 상기 제 2 영상과 신장 테두리 이미지를 제외한 제 3 영상을 얻을 수 있는 것이다.
상기 장기 기준 이미지는 정상 지방간의 이미지로부터 얻은, 간(liver), 신장(Kidney), 비장(Spleen), 횡격막(diaphragm)과 같은 관심장기들의 이미지가 선호되며, 장기 정합 과정 동안 장기 기준 이미지의 특징점을 기준으로 초음파 이미지상에서 이들 관심 장기의 위치를 알아낸다.
상기 장기 정합은 특징점(feature point, key point)들과 같이 선택된 픽셀들만을 이용해서 정합을 수행하며 둘 이상의 영상 속의 점, 선, 테두리, 엣지(edge) 성분 등의 특징점들을 찾아 서로 맞추는 방식이 선호 되며, 특징점으로서 코너점(Corner point)를 이용하는 것이 선호된다.
상기 코너점은 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 카메라의 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 픽셀들로 선정하되, 미리 설정된 상하 좌우 이동이 가능한 작은 윈도우를 이미지 상에서 조금씩 스캔(scan)하면서 이동(shift)시켰을 때, 모든 방향(수직, 수평, 대각선 방향)으로 큰 영상 변화를 일으키는 픽셀로 선정하는 것이 선호된다.
코너점 내지 특징점을 추출하는 알고리즘은 대표적으로 해리스 코너 검출 (Harris Corner Detection), SIFT (Scale-Invariant Feature Transform, SURF(Speeded-Up Robust Features) 와 FAST (Features from Accelerated Segment Test) 코너 검출 방법이 알려져 있으며 이들 코너점 검출 방법은 당해업자의 공지 기술이다.
본 발명에서, 맞추어질 초음파 영상의 특징점 주변의 픽셀들을 모아서 얻은 작은 영상을 패치(patch) 이미지라 칭한다.
본 발명에서, 장기 기준 이미지의 특징점을 참조 특징점(reference feature point)이라고 하고, 패치 이미지의 특징점을 맞출 특징점이라고 칭한다. 상기 장기 정합은 맞출 특징점을 기하학적 변형을 통해 참조 특징점에 맞추는 과정을 포함한다. 상기 기하학적 변형은 좌표 공간상에서 이동, 회전, 확대·축소를 포함하는 것을 특징으로 한다.
바람직하게는, 본 발명에서, 두 영상(장기 기준 이미지와 패치 이미지)의 특징점들간의 유사도를 비교하고, 기하학적 변형 과정 후, 두 영상간에 상호 상관 계수가 높으면 패치 이미지 위치에 해당 장기가 있는 것으로 판단하게 된다.
즉, 장기 기준 이미지와 패치 이미지들의 특징점들을 서로 비교해서 유사도가 높은 패치들을 이용해, 두 영상(장기 기준 이미지와 패치 이미지)간의 특징점 쌍(a pair of feature points)을 형성하고, 두 영상 속에서 특징점간의 대응관계를 파악하여 두 영상간의 기하학 변환 관계를 결정하여, 그로부터 패치 이미지를 기하학 변환(geometric transformation)을 수행하여 정렬한 후, 두 이미지(장기 기준 이미지와 기하학 변환된 패치 이미지)간의 상호 상관 계수를 계산한다. 두 이미지간에 상호 상관 계수가 정해진 문턱치보다 큰 경우, 해당 장기가 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단한다.
상기 각 특징점은 특징점들의 좌표 위치 및 각도(orientation) 정보를 포함하는 것이 선호된다. 이들 정보를 이용하여 두 이미지(장기 기준 이미지와 패치 이미지)간에 형성된 특징점 쌍(a pair of feature points)을 기준으로, 두 이미지간의 기하학 변환 관계를 결정할 수 있다.
상기 각도(orientation) 정보는 특징점 주변 픽셀로부터 계산된 Gradient direction and magnitude에 의해 산출되는 것이 선호된다.
바람직하게는, 상기 상호 상관 계수는 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), KNN (K-nearest neighbor algorithm), NCC(Normalized Cross Correlation) 중 어느 하나를 사용하여 산출하는 것이 선호된다.
바람직하게는 본 발명의 관심영역 추출부의 또 다른 측면은, 웨이블릿 프레임(Wavelet frame) 또는 Redundant(Over- Complete) 웨이블릿 기반의 장기 정합을 사용하여 초음파 이미지상에서 관심 장기 위치를 파악하여 추출하는 것이 선호된다.
상기 웨이블릿 프레임(Wavelet frame) 또는 Redundant(Over-Complete) 웨이블릿 기반의 장기 정합은, 초음파 이미지의 웨이블릿 프레임 변환을 수행한 후 얻어진 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지간의 중복 픽셀들을 특징점(key point, Corner point)으로 선정하기 위해 중복픽셀 판정부를 이용하여 수행될 수 있는 것이다.
상기 중복 픽셀은 초음파 이미지를 웨이블릿 프레임 변환하여 얻은 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지간의 픽셀별(pixel by pixel) 곱셈을 수행하고, 곱셈 결과의 픽셀들에 대해 특징점 판정 문턱치를 픽셀별로 적용하여 얻은 특징점 판정 문턱치보다 큰 픽셀들로 구성되며, 이를 초음파 이미지의 특징점으로 사용하는 것이 선호된다.
이후, 초음파 이미지상에서 상기 특징점 주변의 픽셀들을 모아서 얻은 작은 영상을 패치(patch) 이미지를 형성한다.
상기 서브밴드 HL 프레임 이미지는 이미지 속에 포함된 수평 에지(edge) 성분, 그리고 상기 서브밴드 LH 프레임 이미지는 수직 에지 성분을 강조하여 나타내므로, 장기 정합에 편리하게 이용할 수 있는 에지(edge) 특징점을 풍부하게 제공한다.
이 경우, 장기 기준이미지에 대해서도 웨이블릿 프레임 변환을 수행한 후 얻어진 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지간의 픽셀별(pixel by pixel) 곱셈을 수행하고, 곱셈 결과의 픽셀들에 대해 특징점 판정 문턱치를 픽셀별로 적용하여 얻은 특징점 판정 문턱치보다 큰 픽셀들로 구성된 중복픽셀들을 장기 기준 이미지의 특징점(즉, 참조 특징점)으로 사용하는 것이 선호된다.
즉, 상기 중복 픽셀 판정부에 의해 얻어진 장기 기준이미지의 중복 픽셀들을 참조 특징점으로 선정하고, 초음파 이미지의 중복 픽셀들을 맞출 특징점으로 사용한다.
즉, 장기 기준 이미지와 패치 이미지들의 특징점들을 서로 비교해서 유사도가 높은 패치들을 이용해, 두 영상(장기 기준 이미지와 패치 이미지)간의 특징점 쌍(a pair of feature points)을 형성하고, 두 영상 속에서 특징점간의 대응관계를 파악하여 두 영상간의 기하학 변환 관계를 결정하여, 그로부터 패치 이미지를 기하학 변환(geometric transformation)을 수행하여 정렬한 후, 두 이미지(장기 기준 이미지와 기하학 변환된 패치 이미지)간의 상호 상관 계수를 계산한다. 두 이미지간에 상호 상관 계수가 정해진 문턱치보다 큰 경우, 해당 장기가 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단한다.
또한, 본 발명을 따르는 인공지능형 초음파 지방간 자동진단 장치는, 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출 단계; 상기 한 개 이상의 관심영역의 이미지들을 하나로 병합, 연결하여 하나의 통합 이미지를 생성하기 위한 이미지 통합 단계; 상기 통합 이미지를 모양(shape) 기반의 통합 이미지로 변환하거나 패턴 이미지 형태로 변환하는 단계; 상기 모양 기반의 통합 이미지 또는 패턴 이미지에 의해 인공 신경망을 딥런닝 학습시키는 단계; 가상 의사에 의해 환자의 초음파 이미지를 가지고 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별하는 단계; 및 원격 의료 진단 시스템에 의해 의료전문가와 원격 상담 서비스를 진행하는 단계를 포함하는 원격 의료 진단 방법을 제공한다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
이상에서 본 바와 같이 본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출 하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis) 진단을 딥런닝 학습된 인공지능에 의해 자동으로 판별할 수 있는 인공지능형 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1 은 본 발명의 인공지능형 초음파 지방간 자동진단 장치의 일 실시예이고,
도2는 서브밴드 이미지들을 모양 기반의 서브밴드 이미지로 변환하기 위한 "명암 To 모양 변환 커널부"(36)를 웨이브릿 변환부와 인공 신경망 사이에 더 구비하여, 모양 기반의 서브밴드(subband) 이미지들에 의해 상기 인공 신경망을 딥런닝 학습시키는 실시예 이고,
도 3는 이미지 통합부에서 패턴 이미지와 통합 이미지를 얻기 위한 과정을 보인 일 실시예이고,
도 4는 초음파 프로브 센서로부터 얻은 초음파 이미지로부터 관심 영역을 추출하기 위한 관심영역 추출부의 일실시예이고,
도 5은 Parasagittal scan plane의 초음파 이미지에 대해 시맨틱 분할을 수행한 실시예로, 장기별로 서로 다른색을 사용하여 라벨링(labeling)한 초음파 이미지의 일실시예를 보이고,
도 6는 서브밴드 프레임 이미지들간의 중복 픽셀들로서 특징점을 선정하는 특징점 검출부의 실시예이고,
도 7은 초음파 이미지에 대해 웨이블릿 프레임 변환을 적용하여 얻어진 서브밴드 프레임 이미지들의 일례를 보이고,
도 8는 본 발명에 따른 인공지능형 초음파 지방간 자동 진단 장치에 원격진단시스템이 구비된 일 실시예를 보인다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 사용하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1 은 본 발명의 인공지능형 초음파 지방간 자동진단 장치(600)의 일 실시예로, 환자로부터 초음파 영상(이미지)을 얻기 위한 초음파 프로브 센서(30); 상기 초음파 이미지로부터 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심영역 추출부(32); 상기 한 개 이상의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부(34); 상기 통합 이미지를 모양(shape) 기반의 통합 이미지로 바꾸기 위한 "명암 To 모양 변환 커널부"(36); 및 상기 모양 기반의 통합 이미지에 의해 딥런닝 학습하기 위한 인공 신경망(38)을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망(38)을 사용하여, 상기 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지를 가지고, 정상, 경증, 중등도, 중증, 간경화 등급으로 환자의 간 지방증 (liver steatosis)을 자동으로 판별할 수 있다.
도1을 참조하면, 또 다른 선택사항으로, 상기 이미지 통합부(34)에 재배열부(34a)를 더 구비하여, 각 관심영역의 이미지에 대한 패턴이미지들을 얻고 이들을 병합한 통합 이미지를 가지고 인공 신경망(38)를 직접 딥런닝 학습시킬 수 있다. 이 경우 "명암 To 모양 변환 커널부"(36)가 필요 없게 된다.
도 2는 본 발명의 인공지능형 초음파 지방간 자동진단 장치(600)의 또 다른 실시예로, 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(30); 상기 초음파 이미지로부터 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심영역 추출부(32); 상기 한 개 이상의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부(34); 상기 얻어진 통합 이미지를 이용하여 이산 웨이브릿 변환에 의해 서브밴드(subband) 이미지들로 분해(Decomposition)하기 위한 웨이브릿 변환부(35); 및 상기 서브밴드(subband) 이미지들에 의해 딥런닝 학습하기 위한 인공 신경망(38)을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망(38)을 사용하여, 상기 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 간 지방증 (liver steatosis)을 자동으로 판별할 수 있다.
또한 도2는 서브밴드(subband) 이미지들을 모양 기반의 서브밴드(subband) 이미지로 변환하기 위한 "명암 To 모양 변환 커널부"(36)를 웨이브릿 변환부(35)와 인공 신경망(38) 사이에 더 구비하여, 모양 기반의 서브밴드(subband) 이미지들에 의해 상기 인공 신경망(38)을 딥런닝 학습시키는 실시예를 보인다.
도 2(a)는 서브밴드(subband) 이미지들을 하나의 모양기반의 서브밴드(subband) 이미지로 통채로 변환하기 위한 "명암 To 모양 변환 커널부"(36)를 웨이브릿 변환부(35)와 인공 신경망(38) 사이에 구비하여, 하나의 모양 기반의 서브밴드(subband) 이미지에 의해 인공 신경망(38)을 딥런닝 학습시키는 실시예를 보이고, 반면 도 2(b)는 각 서브밴드(subband) 이미지마다, 독립된 모양 기반의 서브밴드(subband) 이미지로 변환하는 "명암 To 모양 변환 커널부"(36)를 웨이브릿 변환부(35)와 인공 신경망(36) 사이에 구비하고, 얻어진 모양 기반의 서브밴드(subband) 이미지 각각에 대해 독립된 인공 신경망(38)을 사용하여 딥런닝 학습시키는 실시예를 보인다.
또한, 도 2(b)는 상기 독립된 인공 신경망(38)의 결과를 취합하여 간의 지방증 등급 판별을 위해, 상기 인공 신경망(38) 의 뒷단에 기계학습(machine learning) 을 수행하는 서포트 벡터 머신(Support Vector Machine) 장치(39)를 더 구비하여, 상기 인공 신경망(38)으로부터 전달된 특성벡터(feature vector)들을 바탕으로 지방간 등급 분류(Classification)를 수행하는 실시예를 보인다.
도 2(b)에 도시된 "명암 To 모양 변환 커널부"(36)는, 웨이브릿 변환부(35)로부터 생성된 서브밴드(subband) 이미지들 각각을 모양 기반의 서브밴드(subband) 이미지들로 변환하기 위한 것으로, 서브밴드(subband) LL 이미지를 모양 기반의 서브밴드(subband) LL 이미지로 변환하는 제 1 커널부(36a); 서브밴드(subband) LH 이미지를 모양 기반의 서브밴드(subband) LH 이미지로 변환하는 제 2 커널부(36b); 서브밴드(subband) HL 이미지를 모양 기반의 서브밴드(subband) HL 이미지로 변환하는 제 3 커널부(36c); 및 서브밴드(subband) HH 이미지를 모양 기반의 서브밴드(subband) HH 이미지로 변환하는 제 4 커널부(36d) 로 구성될 수 있다.
도 2(b)에 도시된 인공 신경망(38)은, 상기 모양 기반의 서브밴드(subband) LL 이미지에 의해 학습되는 제 1 인공 신경망(38a); 상기 모양 기반의 서브밴드(subband) LH 이미지에 의해 학습되는 제 2 인공 신경망(38b); 상기 모양 기반의 서브밴드(subband) HL 이미지에 의해 학습되는 제 3 인공 신경망(38c); 및 상기 모양 기반의 서브밴드(subband) HH 이미지에 의해 학습되는 제 4 인공 신경망(38d)으로 구성될 수 있다.
도 3는 이미지 통합부(34)에서 패턴 이미지와 통합 이미지를 얻기 위한 과정을 보인 일 실시예로, Parasagittal plane scan의 초음파 이미지(22)로부터, 신장과 간을 포함하는 영역을 타원 모양의 윈도우를 사용하여 제 1 영상(22a)을 추출하고, 이후 상기 제 1 영상(22a)으로부터 신장 영역만을 추출하여 제 2 영상(22b)을 얻고, 이후 상기 제 1 영상(22a)과 제 2 영상(22b)간의 경계면을 따라 추출하여 신장 테두리 이미지(22c)를 얻고, 이후 상기 제 1 영상(22a)에서 상기 제 2 영상(22b) 및 신장 테두리 이미지(22c)를 제외한 제 3 영상(22d)을 얻는다.
이후, 상기 제 2 영상(22b)의 중심 좌표로부터 시작하여 원주방향으로 차례로 이미지 픽셀들을 읽어 사각형 이미지(22e)를 형성하여, 상기 제 2 영상(22b)의 패턴 이미지(22e)를 생성한다. 또한 상기 신장 테두리 이미지 (22c)를 원주방향으로 차례로 이미지 픽셀들을 읽어 사각형 이미지(22f)를 형성하여, 상기 신장 테두리 이미지의 패턴 이미지(22f)를 생성한다.
또한 상기 제 3 영상(22d)에 대해서도 왼쪽에서 오른쪽, 그리고 위에서 아래쪽으로 스캔하면서 이미지 픽셀들을 차례로 읽어 사각형 이미지를 형성하여, 상기 제 3영상(22d)의 패턴 이미지(22f)를 생성한다. 이후 상기 얻어진 패턴 이미지들(22e, 22f, 22g)를 병합하여 통합 이미지(22h)를 생성한다.
이 경우, 통합 이미지(22h)내의 이미지 패턴은 다른 지방간 등급간에 서로 크게 다르므로, 인공신경망에 의해 효율적 학습과 인식이 가능하다.
도 4는 초음파 프로브 센서(30)로부터 얻은 초음파 이미지로부터 관심 영역을 추출하기 위한 관심영역 추출부(32)의 일실시예로, 장기 정합에 기준이 되는 장기 기준 이미지들을 저장하고 있는 장기 이미지 데이터 베이스(42); 상기 장기 기준 이미지의 특징점들을 저장하고 있는 참조 특징점 저장부(65); 상기 초음파 이미지로부터 맞출 특징점들을 추출하기 위한 특징점 검출부(62); 상기 참조 특징점과 맞출 특징점을 중심으로 형성된 패치이미지상의 맞출 특징점들을 서로 비교해서 유사도가 높은 패치 이미지들을 이용해, 장기 기준 이미지와 패치 이미지간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부(64); 상기 특징점 쌍들 중 비정상적인 특징점 쌍들을 제거해 버리는 아웃라이어 감지부(49); 상기 얻어진 특징점 쌍들간의 정합에 필요한 기하학적 이동(translation), 회전, 크기변화를 포함하는 매개변수들(parameters)을 계산하는 기하 매개변수(Geometric parameters) 연산부(66); 및 상기 기하 매개변수들을 사용하여, 영상 정렬된 패치 이미지를 얻고 장기 기준 이미지와 상호 상관 계수를 산출하고, 그 값이 정해진 문턱치보다 큰 경우, 해당 장기가 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단하고, 해당위치의 장기 이미지 영역을 추출하여 이미지 통합부(34)로 전송하는 장기 정합부(68)를 구비할 수 있다.
상기 장기 이미지영역은 제 1 영상, 상기 제 1 영상으로부터 신장 영역만을 추출한 제 2 영상, 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지, 상기 제 1 영상에서 상기 제 2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상 중 선택된 어느 한 개 이상의 영상인 것이 선호된다.
도 5은 Parasagittal scan plane의 초음파 이미지(22)에 대해 시맨틱 분할을 수행한 실시예로, 장기별로 서로 다른 색을 사용하여 라벨링(labeling)한 초음파 이미지의 일실시예를 보인다.
도면부호 26은 간(liver), 도면부호 25는 비장(spleen), 도면부호 24는 신장(Kidney), 도면부호 23은 횡격막(diaphragm)을 나타낸다.
도 6는 서브밴드 프레임 이미지들간의 중복 픽셀들로서 특징점을 선정하는 특징점 검출부(62)의 실시예로, 환자의 검사부위로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(30); 웨이블릿 프레임 변환에 의해 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지를 얻기 위한 웨이블릿 프레임부(100); 상기 각 서브밴드 프레임 이미지들에 대해 특징점 판정 문턱치를 픽셀별로 적용하기 위한 특징점 판정부(102, 104, 106); 및 상기 특징점 판정 문턱치 보다 큰 픽셀들에 대한, 상기 서브밴드 프레임 이미지들간의 곱셈연산을 통해 중복 픽셀을 찾기 위한 중복픽셀 판정부(120)를 구비하여, 상기 중복픽셀 판정부(120)의 결과 이미지(122)로부터 코너점(도면에서 '+' 로 표시)들을 찾을 수 있다.
도면부호 130은 상기 코너점들을 초음파 이미지(130)상에 중첩 표시한 일실시예로, 상기 특징점 쌍 형성부(64)를 이용하여 이들 코너점('+' 로 표시)과 상기 참조 특징점 저장부(65)에 저장되어 있는 특징점들과의 특징점 쌍을 형성하고, 상기 기하 매개변수 연산부(66)를 통해 상기 얻어진 특징점 쌍들간의 영상 정합에 필요한 기하학적 이동, 회전, 크기변화를 포함하는 매개변수들을 계산하게 된다.
도 7은 초음파 이미지(84)에 대해 웨이블릿 프레임 변환을 적용하여 얻어진 서브밴드 LL 프레임 이미지(85), 서브밴드 HL 프레임 이미지(86), 서브밴드 LH 프레임 이미지(87), 서브밴드 HH 프레임 이미지(88)를 보인다.
웨이블릿 프레임 변환은 서브샘플링 과정이 없어, 변환 전후 이미지 사이즈가 변하지 않는다.
도 8는 본 발명에 따른 인공지능형 초음파 지방간 자동 진단 장치의 일 실시예로 초음파 의료장비(60)가 원격 의료 진단 시스템(300)에 연결되어, 이에 상주하고 있는 인공지능형 가상 의사(99)에 의해 환자의 의료영상 데이터를 자동 분석하여 진단하는 일 실시예로, 초음파 프로브 센서(30)를 구비한 초음파 의료장비(60); 상기 초음파 의료장비(60)내에 집적화되어, 상기 초음파 의료장비(60)에 의해 측정된 환자의 의료 영상 데이터를 무선 송신하는 무선 송출부(60a); 상기 무선 송출부(60a)로부터 송출된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 매기는 본 발명을 따르는 인공지능형 초음파 지방간 자동 진단 장치(600); 상기 초음파 의료장비(60)의 사용 상황을 모니터링 하기 위한 카메라(61), 상기 초음파 의료장비(60)의 제품ID를 무선으로 인증하는 제1 인증부 (93), 상기 초음파 의료 장비(60)로부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부(94), 통신 네트워크(80)를 통해 상기 초음파 이미지와 초음파 의료장비(60)의 제품ID를 원격 진단 서버(81)로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부(96), 및 의료 전문가와의 상담 서비스를 제공하는 제 1 상담 서비스부(95)를 구비한 사용자 단말기(400); 상기 인공지능형 초음파 지방간 자동 진단 장치(600)와 상기 사용자 단말기(400)에 대한 연결을 제공하는 통신 인터페이스(105); 상기 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비(60)에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝(Deep learning) 학습된 인공 지능 신경망(90); 상기 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비(60)의 사용방법을 안내하거나 지시하는 안내부(91) 및 상기 초음파 의료장비(60)에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 상기 딥런닝 학습 완료된 인공지능 신경망(90)에 의해 자동 분석하여 진단결과를 출력하는 진단부(92)를 구비한 가상 의사(99); 및 상기 통신 네트워크(80)를 통해 상기 의료 영상 데이터 내지 초음파 이미지를 수신하는 수신부(미도시) 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비하는 의료 전문가 단말기(200)를 포함하는 원격 의료 진단 시스템(300)을 구비할 수 있다.
상기 안내부(91)는 상기 카메라(61)에 의해 상기 초음파 의료장비(60)의 사용상황을 실시간 모니터링 하여 사용자에게 초음파 의료장비(60)의 사용방법을 안내하거나 지시하는 것을 특징으로 한다.
상기 의료 전문가 단말기(200)는 카메라(14), 마이크(15) 및 마우스(11)를 구비한 것이 선호된다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 여러 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치를 간단히 살펴보기로 한다.
본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)는, 프로브 센서(30), 관심영역 추출부(32), 이미지 통합부(34), "명암 To 모양 변환 커널부"(36), 인공 신경망(38)을 포함할 수 있다.
초음파 프로브 센서(30)는 환자로부터 초음파 이미지를 얻을 수 있다.
관심영역 추출부(32)는 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻을 수 있다. 관심영역의 이미지는 간 지방증 진단에 이용될 수 있다. 관심영역 추출부(32)는 초음파 프로브 센서(30)에 의해 획득된 초음파 이미지를 이용하여 관심영역의 이미지를 추출할 수 있다. 관심영역 추출부(32)에 의해 추출 또는 생성되어 이미지 통합부(34)로 전달되는 이미지 또는 영상은 도 1과 도 4에서 도면부호 47로 표현되어 있다.
이미지 통합부(34)는 한 개 이상의 관심영역의 이미지들을 하나로 병합하여 하나의 통합 이미지를 생성할 수 있다. 예를 들어, 관심영역의 이미지가 한 개일 경우 해당 이미지가 통합 이미지가 될 수 있고, 관심영역의 이미지가 복수개일 경우, 복수개의 관심영역의 이미지들을 병합하여 통합 이미지를 생성할 수 있다.
"명암 To 모양 변환 커널부"(36)는 통합 이미지를 모양 기반의 통합 이미지로 변환할 수 있다.
모양 기반의 통합 이미지에 의해 인공 신경망(38)이 미리 딥런닝(딥러닝) 학습될 수 있다. 또한, 모양 기반의 통합 이미지에 의해 미리 딥런닝 학습된 인공 신경망(38)을 사용하여 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 영상으로부터 환자의 간 지방증 등급을 자동으로 판별할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)는, 초음파 프로브 센서(30), 관심영역 추출부(32), 이미지 통합부(34), 인공 신경망(38)을 포함할 수 있고, "명암 To 모양 변환 커널부"(36)가 제외될 수 있다.
이미지 통합부(34)는 재배열부(34a)를 구비할 수 있다. 재배열부(34a)는 관심영역 추출부(32)에 의해 얻어진(획득된) 한 개 이상의 관심영역의 이미지들을 재배열하여 패턴 이미지를 얻을 수 있다. 이미지 통합부(34)는 재배열된 이미지를 하나로 병합하여 하나의 통합 이미지를 생성할 수 있다.
이 때, 관심영역의 이미지가 복수개인 경우 재배열부(34a)는 각각 재배열하여 패턴 이미지를 얻을 수 있다.
예를 들어, 재배열부(34a)는 관심영역 추출부(32)에 의해 초음파 이미지로부터 추출된 신장과 간 영역을 포함하는 제 1 영상(22a), 제 1 영상으로부터 신장 영역만을 추출한 제 2 영상(22b), 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지(22c) 및 제 1 영상에서 제 2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상(22d)을 전달 받아, 제 2 영상(22b)의 중심 좌표로부터 시작하여 원주방향으로 차례로 이동하면서 제 2 영상(22b)의 이미지 픽셀들을 취해 사각형 이미지로 재배열하여, 제 2 영상의 패턴 이미지(22e)를 생성하고, 신장 테두리 이미지(22c)를 원주방향으로 차례로 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 신장테두리 이미지의 패턴 이미지(22f)를 생성하고, 제 3 영상(22d)에 대해서도 픽셀 스캔에 의해 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 제 3 영상의 패턴 이미지(22g)를 생성할 수 있다.
여기에서, 관심영역 추출부(32)에 의해 초음파 이미지로부터 추출되는 영역은 간과 신장 영역뿐만 아니라 상기에 설명한 관심장기 영역들 중 선택될 수 있다.
한편, 재배열부(34a)가 제 2 영상, 신장 테두리 이미지 및 제 3 영상에서 이미지 픽셀들을 취한다는 것은 이미지 픽셀들을 읽거나 스캔하는 것을 의미할 수 있다. 또한, 제 3 영상에 대해서 픽셀 스캔에 의해 이미지 픽셀들을 취한다는 것은 상기에 설명한대로 사전에 정해진 픽셀 스캔 규칙에 의해 이미지 픽셀들을 스캔하는 것을 의미할 수 있다.
한편, 재배열부(34a)가 이미지 픽셀들을 취해 재배열할 때, 사각형 이미지로 제한되지 않고, 원형 등을 포함하여 다양한 형태의 이미지로 재배열될 수도 있다.
또한, 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)는, 초음파 프로브 센서(30), 관심영역 추출부(32), 이미지 통합부(34), 웨이브릿 변환부(35), 인공 신경망(38)을 포함할 수 있다.
웨이브릿 변환부(35)는 이미지 통합부(34)에 의해 생성된 통합 이미지를 이용하여 이산 웨이브릿(웨이블릿) 변환에 의해 서브밴드 이미지들로 분해 생성할 수 있다. 이 때, 서브밴드 이미지들은 서브밴드 LL 이미지, 서브밴드 LH 이미지, 서브밴드 HL 이미지 및 서브밴드 HH 이미지를 포함한다.
인공 신경망(38)은 웨이브릿 변환부(35)에 의해 분해 생성된 서브밴드 이미지들에 의해 미리 딥런닝 학습될 수 있다. 또한, 서브밴드 이미지들에 의해 미리 딥런닝 학습된 인공 신경망(38)을 사용하여 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 환자의 간 지방증 등급을 자동으로 판별할 수 있다. 웨이브릿 변환을 수행함으로써 정확도 측면에서 학습 효과와 판별의 정확도를 높일 수 있다.
또한, 상기 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)는, "명암 To 모양 변환 커널부"(36)를 더 구비할 수 있다.
이 때, "명암 To 모양 변환 커널부"(36)는 서브밴드 이미지들을 모양 기반의 서브밴드 이미지로 변환할 수 있다. 또한, 인공 신경망(38)은 모양 기반의 서브밴드 이미지에 의해 미리 딥런닝 학습될 수 있고, 미리 딥런닝 학습된 인공 신경망(38)을 사용하여, 모양 기반의 서브밴드 이미지로부터 환자의 간 지방증 등급을 자동으로 판별할 수 있다.
한편, 본원의 관심영역 추출부(32)는 초음파 이미지에서 간, 우문맥(right portal vein, RPV), 간정맥, 신장, 비장, 횡격막 영역의 이미지 중 선택된 어느 두 개 이상의 이미지를 추출할 수 있다. 여기에서 나열된 간, 간정맥, 신장, 비장, 횡격막은 상기에서 설명한 관심장기에 포함되고, 나열된 장기 외에도 간 지방증 진단에 이용될 수 있는 장기들로 대체될 수도 있다.
또한, 본원의 관심영역 추출부(32)는 장기 이미지 데이터 베이스(42), 참조 특징점 저장부(65), 특징점 검출부(62), 특징점 쌍 형성부(64), 아웃라이어 감지부(49), 기하 매개변수 연산부(66), 장기 정합부(68)를 포함할 수 있다.
장기 이미지 데이터 베이스(42)는 장기 정합에 기준이 되는 장기 기준 이미지들을 저장할 수 있다.
참조 특징점 저장부(65)는 장기 기준 이미지의 특징점들을 저장할 수 있다.
특징점 검출부(62)는 초음파 이미지로부터 맞출 특징점들을 추출할 수 있다.
특징점 쌍 형성부(64)는 참조 특징점과 맞출 특징점을 중심으로 형성된 패치이미지상의 맞출 특징점들을 서로 비교해서 유사도가 높은 패치 이미지들을 이용해 장기 기준 이미지와 패치 이미지간의 특징점 쌍을 형성할 수 있다. 예를 들어, 참조 특징점과 맞출 특징점간의 벡터를 생성하여 벡터의 거리를 계산하고, 계산된 벡터 거리와 소정의 값을 비교하여 유사도를 판단할 수 있다.
아웃라이어 감지부(49)는 특징점 쌍들 중 비정상적인 특징점 쌍들을 제거할 수 있다. 예를 들어, 특징점 쌍의 벡터 거리가 소정의 아웃라이어 값을 초과하는 경우, 해당 특징점 쌍을 제거할 수 있다.
기하 매개변수 연산부(66)는 특징점 쌍 형성부(64)에 의해 얻어진 특징점 쌍들간의 정합에 필요한 기하학적 이동, 회전, 크기변화를 포함하는 매개변수들을 계산할 수 있다.
장기 정합부(68)는 기하 매개변수 연산부(66)에 의해 계산된 기하 매개변수들을 사용하여, 영상 정렬된 패치 이미지를 얻고, 장기 기준 이미지와 상호 상관 계수를 산출하고, 그 값이 정해진 문턱치보다 큰 경우, 해당 장기가 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단하고, 해당위치의 장기 이미지 영역을 추출하여 이미지 통합부로 전송할 수 있다. 도 4에서 도면부호 47은 장기 정합부(68)로부터 이미지 통합부(34)로 전송되는 장기 이미지 영역을 의미할 수 있다.
또한, 본원의 관심영역 추출부(32)는 관심영역의 이미지들을 추출하기 위해, 초음파 이미지에 대해 시맨틱 분할을 수행하여 관심 장기별로 다른 값 또는 다른 색으로 라벨링된 시맨틱 분할된 초음파 이미지를 얻기 위한 인공 신경망을 구비하여 초음파 이미지로부터 신장과 간을 포함하는 영역을 시맨틱 분할 추출하여 제 1 영상을 생성하고, 제 1 영상으로부터 신장 영역만을 시맨틱 분할 추출한 제 2 영상, 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지 및 제 1 영상에서 제 2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상을, 이미지 통합부에 전달할 수 있다.
이 때, 신장과 간은 상기에서 설명한대로 다른 장기들로 대체될 수 있다.
또한, 본원의 관심영역 추출부(32)는 웨이블릿 프레임부(100), 특징점 검출부(62), 특징점 쌍 형성부(64), 기하 매개변수 연산부(66) 및 장기 정합부(68)를 포함할 수 있다. 이 경우, 특징점 검출부(62)는 특징점 판정부(102, 104, 106) 및 중복 픽셀 판정부(120)를 포함할 수 있다.
웨이블릿 프레임부(100)는 장기 기준 이미지와 초음파 이미지에 대해 웨이블릿 프레임 변환을 수행하여 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지를 얻을 수 있다.
특징점 판정부(102, 104, 106)는 각각의 서브밴드 프레임 이미지들에 대해 특징점 판정 문턱치를 픽셀별로 적용할 수 있다.
중복 픽셀 판정부(120)는 특징점 판정 문턱치보다 큰 픽셀들에 대한 서브밴드 프레임 이미지들간의 곱셈연산을 통해 중복 픽셀을 찾을 수 있다.
특징점 검출부(62)는 중복 픽셀 판정부(120)에 의해 얻어진 장기 기준이미지의 중복 픽셀들을 참조 특징점으로 선정하고, 초음파 이미지의 중복 픽셀들을 맞출 특징점으로 선정할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(이하 본 원격 의료 진단 시스템을 구비한 인공지능형 초음파 지방간 자동진단 장치)는, 초음파 의료장비(60), 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600), 통신 인터페이스(미도시) 사용자 단말기(400) 및 의료 전문가 단말기(200)를 포함하는 원격 의료 진단 시스템(300)을 포함할 수 있다.
초음파 의료장비(60)는 초음파 프로브 센서(30)와 무선 송출부(60a)를 구비할 수 있다. 무선 송출부(60a)는 초음파 의료장비(60)내에 집적화되어, 초음파 의료 장비(60)에 의해 측정된 환자의 의료 영상 데이터를 무선 송신할 수 있다.
본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)는 무선 송출부(60a)로부터 송출된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 매길 수 있다. 본 원격 의료 진단 시스템을 구비한 인공지능형 초음파 지방간 자동진단 장치는 상기에 설명한 다양한 실시예에 따른 인공지능형 초음파 지방간 자동진단 장치(600)를 이용할 수 있다.
통신 인터페이스는(미도시)는 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동 진단 장치(600)와 사용자 단말기(400)에 대한 연결을 제공할 수 있다. 예를 들어, 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동 진단 장치(600)로부터 통합 이미지, 패턴 이미지 또는 환자의 간 지방증 등급 등의 데이터가 통신 인터페이스를 통해 사용자 단말기(400)로 전송될 수 있다.
사용자 단말기(400)는 카메라(61), 제 1 인증부(93), 기록부(94), 인터넷 연결부(96), 제 1 상담 서비스부(95)를 포함할 수 있다. 여기에서, 카메라(61)는 초음파 의료장비(60)의 사용 상황을 모니터링 할 수 있다. 제 1 인증부(93)는 초음파 의료장비(60)의 제품ID를 무선으로 인증할 수 있다. 기록부(94)는 초음파 의료장비(60)로부터 얻어진 환자에 대한 초음파 이미지를 저장할 수 있다. 또한, 본원의 일 실시예에 따른 인공지능형 초음파 지방간 자동 진단 장치(600)로부터 사용자 단말기(400)로 전송된 데이터를 저장할 수도 있다. 인터넷 연결부(64)는 통신 네트워크(80)를 통해 초음파 이미지와 초음파 의료 장비(60)의 제품ID를 원격 진단 서버(81)로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공할 수 있다. 제 1 상담 서비스부(95)는 의료 전문가와의 상담 서비스를 제공할 수 있다.
또한, 사용자 단말기(400)는 인공 지능 신경망(90), 안내부(91) 및 진단부(92)를 구비한 가상 의사(99)를 포함할 수 있다. 여기에서, 인공 지능 신경망(90) 및 가상 의사(99)는 사용자 단말기(400)상에 소프트웨어 형태로 상주할 수 있다.
인공 지능 신경망(90)은 초음파 의료장비(60)에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝 학습될 수 있다.
안내부(91)는 초음파 의료장비(60)의 사용방법을 안내하거나 지시할 수 있고, 진단부(92)는 초음파 의료장비(60)에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 딥러닝 학습 완료된 인공 지능 신경망(90)에 의해 자동 분석하여 진단결과를 출력할 수 있다.
의료 전문가 단말기(200)는 수신부(미도시) 및 제 2 상담 서비스부(미도시)를 구비할 수 있다.
수신부(미도시)는 통신 네트워크(80)를 통해 의료 영상 데이터 내지 초음파 이미지를 수신할 수 있고, 제 2 상담 서비스부(미도시)는 사용자와 의료 전문가와의 상담 서비스를 제공할 수 있다.
한편, 본원의 일 실시예에 따른 원격 의료 진단 방법은, 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출 단계, 한 개 이상의 관심영역의 이미지들을 하나로 병합, 연결하여 하나의 통합 이미지를 생성하기 위한 이미지 통합 단계, 통합 이미지를 모양 기반의 통합 이미지로 변환하거나 패턴 이미지 형태로 변환하는 단계, 모양 기반의 통합 이미지 또는 패턴 이미지에 의해 인공 신경망을 딥런닝 학습시키는 단계, 가상 의사에 의해 환자의 초음파 이미지를 가지고 환자의 간 지방증 등급을 자동으로 판별하는 단계 및 원격 의료 진단 시스템에 의해 의료 전문가와 원격 상담 서비스를 진행하는 단계를 포함할 수 있다.
본원의 일 실시예에 따른 원격 의료 진단 방법은 상기에 설명한 인공지능형 초음파 지방간 자동진단 장치와 원격 의료 진단 시스템의 다양한 실시예를 기반으로 수행될 수 있다.
본원의 일 실시 예에 따른 원격 의료 진단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 원격 의료 진단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
600: 인공지능형 초음파 진방간 자동 진단 장치
30: 초음파 프로브 센서 32: 관심영역 추출부
34: 이미지 통합부 34a: 재배열부
36: 명암 To 모양 변환 커널부 38: 인공 신경망
35: 웨이브릿 변환부

Claims (11)

  1. 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(probe sensor);
    상기 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출부;
    상기 한 개 이상의 관심영역의 이미지들을 하나로 병합하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부;
    상기 통합 이미지를 모양(shape) 기반의 통합 이미지로 바꾸기 위한 “명암 To 모양 변환 커널(darkness to shape conversion Kernel)부”; 및
    상기 모양 기반의 통합 이미지에 의해 딥런닝 학습된 인공 신경망,
    을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 간 지방증 (liver steatosis) 등급을 자동으로 판별하기 위한 인공지능형 초음파 지방간 자동진단 장치.
  2. 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(probe sensor);
    상기 초음파 이미지로부터 간 지방증 진단에 도움이 되는 한 개 이상의 관심영역의 이미지들을 얻기 위한 관심영역 추출부;
    상기 얻어진 한 개 이상의 관심영역의 이미지들을 재배열하여 패턴 이미지를 얻기 위한 재배열부를 구비하여, 재배열된 이미지를 하나로 병합하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 및
    상기 통합 이미지에 의해 딥런닝 학습된 인공 신경망,
    을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별하기 위한 인공지능형 초음파 지방간 자동진단 장치.
  3. 제 2 항에 있어서,
    상기 재배열부는, 상기 관심영역 추출부에 의해 초음파 이미지로부터 추출된 신장과 간 영역을 포함하는 제 1 영상, 상기 제 1 영상으로부터 신장 영역만을 추출한 제 2 영상, 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지, 및 상기 제 1 영상에서 상기 제 2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상을 전달 받아, 상기 제 2 영상의 중심 좌표로부터 시작하여 원주방향으로 차례로 이동하면서 제 2 영상의 이미지 픽셀들을 취해 사각형 이미지로 재배열하여, 제 2 영상의 패턴 이미지를 생성하고, 상기 신장 테두리 이미지를 원주방향으로 차례로 이미지 픽셀들을 취해 사각형 이미지로 재배열하여 신장테두리 이미지의 패턴 이미지를 생성하고, 상기 제 3 영상에 대해서도 픽셀 스캔에 의해 이미지 픽셀들을 취해 사각형 이미지로 재 배열하여 제 3 영상의 패턴 이미지를 생성하는 것인, 인공지능형 초음파 지방간 자동진단 장치.
  4. 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서;
    상기 초음파 이미지로부터 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심영역 추출부;
    상기 한 개 이상의 관심영역의 이미지들을 하나로 병합하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부;
    상기 통합 이미지를 이용하여 이산 웨이브릿 변환에 의해 서브밴드(subband) 이미지들로 분해(Decomposition) 생성하기 위한 웨이브릿 변환부; 및
    상기 서브밴드(subband) 이미지들에 의해 딥런닝 학습된 인공 신경망,
    을 포함하고, 상기 딥런닝 학습된 상기 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력 되는 환자의 초음파 이미지를 가지고 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별하기 위한 인공지능형 초음파 지방간 자동진단 장치.
  5. 제 4 항에 있어서,
    상기 서브밴드(subband) 이미지들을 모양(shape) 기반의 서브밴드(subband) 이미지로 변환하기 위한 "명암 To 모양 변환 커널부" 를 더 구비하여, 상기 모양 기반의 서브밴드(subband) 이미지에 의해 상기 인공 신경망을 딥런닝 학습시키는 것인, 인공지능형 초음파 지방간 자동진단 장치.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 관심영역 추출부는 초음파 이미지에서 간(liver), 우문맥(right portal vein, RPV), 간정맥(Hepatic vein), 신장(Kidney), 비장(Spleen), 횡격막(diaphragm) 영역의 이미지 중 선택된 어느 두 개 이상의 이미지를 추출하는 것인, 인공지능형 초음파 지방간 자동진단 장치.
  7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 관심영역 추출부는,
    장기 정합에 기준이 되는 장기 기준 이미지들을 저장하고 있는 장기 이미지 데이터 베이스;
    상기 장기 기준 이미지의 특징점들을 저장하고 있는 참조 특징점 저장부;
    상기 초음파 이미지로부터 맞출 특징점들을 추출하기 위한 특징점 검출부;
    상기 참조 특징점과 맞출 특징점을 중심으로 형성된 패치이미지상의 맞출 특징점들을 서로 비교해서 유사도가 소정 값보다 높은 패치 이미지들을 이용해, 장기 기준 이미지와 패치 이미지간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부;
    상기 특징점 쌍들 중 비정상적인 특징점 쌍들을 제거해버리는 아웃라이어 감지부;
    상기 얻어진 특징점 쌍들간의 정합에 필요한 기하학적 이동(translation), 회전, 크기변화를 포함하는 매개변수들(parameters)을 계산하는 기하 매개변수(Geometric parameters) 연산부; 및
    상기 기하 매개변수들을 사용하여, 영상 정렬된 패치 이미지를 얻고 장기 기준 이미지와 상호 상관 계수를 산출하고, 그 값이 정해진 문턱치보다 큰 경우, 해당 장기가 상기 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단하고, 해당위치의 장기 이미지 영역을 추출하여 이미지 통합부로 전송하는 장기 정합부,
    를 구비한 것인, 인공지능형 초음파 지방간 자동진단 장치.
  8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 관심영역 추출부는, 관심영역의 이미지들을 추출하기 위해, 초음파 이미지에 대해 시맨틱 분할(Semantic Segmentation) 을 수행하여 관심 장기별로 다른 값 또는 다른 색으로 라벨링(labeling)된 시맨틱 분할된 초음파 이미지를 얻기 위한 인공 신경망을 구비하여, 상기 초음파 이미지로부터, 신장과 간을 포함하는 영역을 시맨틱 분할 추출하여 제 1 영상을 생성하고, 상기 제 1 영상으로부터 신장 영역만을 시맨틱 분할 추출한 제 2 영상, 상기 제 1 영상과 제 2 영상간의 경계면을 따라 추출한 신장 테두리 이미지 및 상기 제 1 영상에서 상기 제2 영상과 신장 테두리 이미지를 제외하고 추출한 제 3 영상을, 상기 이미지 통합부에 전달하는 것인, 인공지능형 초음파 지방간 자동진단 장치.
  9. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 관심영역 추출부는,
    장기 기준 이미지와 초음파 이미지에 대해 웨이블릿 프레임 변환을 수행하여 서브밴드 HL 프레임 이미지, 서브밴드 LH 프레임 이미지, 서브밴드 HH 프레임 이미지를 얻기 위한 웨이블릿 프레임부;
    상기 각각의 서브밴드 프레임 이미지들에 대해 특징점 판정 문턱치를 픽셀별로 적용하기 위한 특징점 판정부 및 상기 특징점 판정 문턱치보다 큰 픽셀들에 대한 상기 서브밴드 프레임 이미지들간의 곱셈연산을 통해 중복 픽셀을 찾기 위한 중복 픽셀 판정부를 포함하며, 상기 중복 픽셀 판정부에 의해 얻어진 장기 기준이미지의 중복 픽셀들을 참조 특징점으로 선정하고, 초음파 이미지의 중복 픽셀들을 맞출 특징점으로 선정하는 특징점 검출부;
    상기 참조 특징점과 맞출 특징점을 중심으로 형성된 패치이미지상의 맞출 특징점들을 서로 비교해서 유사도가 소정 값보다 높은 패치 이미지들을 이용해, 장기 기준 이미지와 패치 이미지간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부;
    상기 특징점 쌍들 중 비정상적인 특징점 쌍들을 제거해 버리는 아웃라이어 감지부;
    상기 얻어진 특징점 쌍들간의 정합에 필요한 기하학적 이동(translation), 회전, 크기변화를 포함하는 매개변수들(parameters)을 계산하는 기하 매개변수(Geometric parameters) 연산부; 및
    상기 기하 매개변수들을 사용하여, 영상 정렬된 패치 이미지를 얻고 장기 기준 이미지와 상호 상관 계수를 산출하고, 그 값이 정해진 문턱치보다 큰 경우, 해당 장기가 상기 초음파 이미지상의 현 패치 이미지상에 위치한다고 판단하고, 해당위치의 장기 이미지 영역을 추출하여 상기 이미지 통합부로 전송하는 장기 정합부,
    를 구비한 것인, 인공지능형 초음파 지방간 자동진단 장치.
  10. 초음파 프로브 센서를 구비한 초음파 의료장비;
    상기 초음파 의료장비내에 집적화되어, 상기 초음파 의료 장비에 의해 측정된 환자의 의료 영상 데이터를 무선 송신하는 무선 송출부;
    상기 무선 송출부로부터 송출된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 매기는 본 발명의 제 1 항 내지 제 4 항 중 어느 한 항을 따르는 인공지능형 초음파 지방간 자동 진단 장치;
    상기 초음파 의료장비의 사용 상황을 모니터링 하기 위한 카메라, 상기 초음파 의료장비의 제품ID를 무선으로 인증하는 제1 인증부, 상기 초음파 의료 장비로 부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부, 통신 네트워크를 통해 상기 초음파 이미지와 초음파 의료 장비의 제품ID를 원격 진단 서버로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부 및 의료 전문가와의 상담 서비스를 제공하는 제 1 상담 서비스부를 구비한 사용자 단말기;
    상기 인공지능형 초음파 지방간 자동 진단 장치 와 상기 사용자 단말기에 대한 연결을 제공하는 통신 인터페이스;
    상기 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 초음파 의료 장비에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝 학습된 인공 지능 신경망;
    상기 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 초음파 의료 장비의 사용방법을 안내하거나 지시하는 안내부 및 상기 초음파 의료장비에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 상기 딥런닝 학습 완료된 인공지능 신경망에 의해 자동 분석하여 진단결과를 출력하는 진단부를 구비한 가상 의사; 및
    상기 통신 네트워크를 통해 상기 의료 영상 데이터 내지 초음파 이미지를 수신하는 수신부 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제 2 상담 서비스부를 구비하는 의료 전문가 단말기,
    를 포함하는 원격 의료 진단 시스템을 더 구비한 것인, 인공지능형 초음파 지방간 자동진단 장치.
  11. 삭제
KR1020190059049A 2019-05-20 2019-05-20 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 KR102258776B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190059049A KR102258776B1 (ko) 2019-05-20 2019-05-20 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
US16/665,243 US11633169B2 (en) 2019-05-20 2019-10-28 Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190059049A KR102258776B1 (ko) 2019-05-20 2019-05-20 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법

Publications (2)

Publication Number Publication Date
KR20200133593A KR20200133593A (ko) 2020-11-30
KR102258776B1 true KR102258776B1 (ko) 2021-05-31

Family

ID=73457665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190059049A KR102258776B1 (ko) 2019-05-20 2019-05-20 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법

Country Status (2)

Country Link
US (1) US11633169B2 (ko)
KR (1) KR102258776B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063096A (ko) * 2020-11-09 2022-05-17 지멘스 메디컬 솔루션즈 유에스에이, 인크. 물리적 양에 대한 초음파-도출된 프록시

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210153838A1 (en) * 2019-11-21 2021-05-27 Hsiao-Ching Nien Method and Apparatus of Intelligent Analysis for Liver Tumor
KR102355438B1 (ko) * 2019-11-28 2022-01-26 주식회사 씨자인 초음파 센서를 이용한 사물 인식 시스템 및 그 인식 방법
US11748901B1 (en) * 2020-02-11 2023-09-05 State Farm Mutual Automobile Insurance Company Using deep learning and structure-from-motion techniques to generate 3D point clouds from 2D data
KR102425133B1 (ko) * 2020-05-18 2022-07-26 주식회사 뉴퐁 초음파 영상 처리 장치
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
CN112489768A (zh) * 2020-12-28 2021-03-12 重庆市汇人健康管理有限责任公司 一种改善脂肪肝疾病的智慧健康饮食管理系统
US20220237798A1 (en) * 2021-01-22 2022-07-28 GE Precision Healthcare LLC Method and system for automatically estimating a hepatorenal index from ultrasound images
KR102320856B1 (ko) * 2021-02-26 2021-11-02 인그래디언트 주식회사 의료 영상 라벨링 데이터를 위한 배수 비교 검수 방법 및 이를 이용한 시스템
KR102635416B1 (ko) * 2021-05-14 2024-02-08 서울대학교산학협력단 이벤트 카메라 기반의 물체 추적 장치 및 방법
KR102655620B1 (ko) * 2022-01-27 2024-04-09 주식회사 비트컴퓨터 원격 환자 관리 시스템 및 방법
KR102525396B1 (ko) * 2022-02-25 2023-04-27 주식회사 피맥스 의료 영상 분석 방법 및 장치
WO2024042044A1 (en) * 2022-08-25 2024-02-29 Koninklijke Philips N.V. Guided ultrasound imaging for point-of-care staging of medical conditions
EP4327750A1 (en) * 2022-08-25 2024-02-28 Koninklijke Philips N.V. Guided ultrasound imaging for point-of-care staging of medical conditions
CN116223817B (zh) * 2023-05-04 2023-07-14 北京科卫临床诊断试剂有限公司 基于神经网络的肝脏型脂肪酸结合蛋白测量系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039318A1 (en) 2009-11-27 2014-02-06 Qview, Inc. Automated detection of suspected abnormalities in ultrasound breast images
US20180177461A1 (en) 2016-12-22 2018-06-28 The Johns Hopkins University Machine learning approach to beamforming
WO2020020809A1 (en) 2018-07-26 2020-01-30 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
JP2020048707A (ja) 2018-09-25 2020-04-02 特定非営利活動法人エキスパートイメージングアンドインターベンショナルサポート 映像処理装置、映像処理方法、および映像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
WO2008130178A1 (en) 2007-04-23 2008-10-30 Jae Chern Yoo Remote medical-diagnosis system and method
KR102185726B1 (ko) * 2014-01-28 2020-12-02 삼성메디슨 주식회사 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치
US11003988B2 (en) * 2016-11-23 2021-05-11 General Electric Company Hardware system design improvement using deep learning algorithms
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039318A1 (en) 2009-11-27 2014-02-06 Qview, Inc. Automated detection of suspected abnormalities in ultrasound breast images
US20180177461A1 (en) 2016-12-22 2018-06-28 The Johns Hopkins University Machine learning approach to beamforming
WO2020020809A1 (en) 2018-07-26 2020-01-30 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
JP2020048707A (ja) 2018-09-25 2020-04-02 特定非営利活動法人エキスパートイメージングアンドインターベンショナルサポート 映像処理装置、映像処理方法、および映像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063096A (ko) * 2020-11-09 2022-05-17 지멘스 메디컬 솔루션즈 유에스에이, 인크. 물리적 양에 대한 초음파-도출된 프록시
KR102661893B1 (ko) 2020-11-09 2024-04-26 지멘스 메디컬 솔루션즈 유에스에이, 인크. 물리적 양에 대한 초음파-도출된 프록시

Also Published As

Publication number Publication date
US20200367853A1 (en) 2020-11-26
US11633169B2 (en) 2023-04-25
KR20200133593A (ko) 2020-11-30

Similar Documents

Publication Publication Date Title
KR102258776B1 (ko) 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
US11937973B2 (en) Systems and media for automatically diagnosing thyroid nodules
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
US11640652B2 (en) Discrete wavelet transform-based noise removal apparatus for removing noise from image signal and remote medical diagnosis system including the same
KR102338018B1 (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US20220012875A1 (en) Systems and Methods for Medical Image Diagnosis Using Machine Learning
Sharanyaa et al. DCNET: A Novel Implementation of Gastric Cancer Detection System through Deep Learning Convolution Networks
Yan et al. Automated retinal lesion detection via image saliency analysis
Singh et al. Explainable information retrieval using deep learning for medical images
Dave et al. Regional Kidney Stone Detection and Classification In Ultrasound Images
Rahmatullah et al. Anatomical object detection in fetal ultrasound: computer-expert agreements
Irshad et al. Discrete light sheet microscopic segmentation of left ventricle using morphological tuning and active contours
Sindhu et al. A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images
Brindha et al. Fusion of radiological images of Glioblastoma Multiforme using weighted average and maximum selection method
Salehi et al. Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab
Ramesh et al. Automatic Endoscopic Ultrasound Station Recognition with Limited Data
KR102559616B1 (ko) 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
US11282193B2 (en) Systems and methods for tumor characterization
Ara et al. Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm
Godla et al. An Ensemble Learning Approach for Multi-Modal Medical Image Fusion using Deep Convolutional Neural Networks
Tripathi et al. Physics Driven Domain Specific Transporter Framework with Attention Mechanism for Ultrasound Imaging
Hisuin Data Architecture and Design of in-vivo Neurosurgical Hyperspectral Image Database
Melo et al. A Semantic Segmentation-Based Digitization of ECG Papers

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant