KR102338018B1 - 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 - Google Patents

초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 Download PDF

Info

Publication number
KR102338018B1
KR102338018B1 KR1020190092089A KR20190092089A KR102338018B1 KR 102338018 B1 KR102338018 B1 KR 102338018B1 KR 1020190092089 A KR1020190092089 A KR 1020190092089A KR 20190092089 A KR20190092089 A KR 20190092089A KR 102338018 B1 KR102338018 B1 KR 102338018B1
Authority
KR
South Korea
Prior art keywords
feature points
image
ultrasound
unit
region
Prior art date
Application number
KR1020190092089A
Other languages
English (en)
Other versions
KR20210014267A (ko
Inventor
유재천
Original Assignee
주식회사 힐세리온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 힐세리온 filed Critical 주식회사 힐세리온
Priority to KR1020190092089A priority Critical patent/KR102338018B1/ko
Priority to US16/668,140 priority patent/US11455720B2/en
Publication of KR20210014267A publication Critical patent/KR20210014267A/ko
Application granted granted Critical
Publication of KR102338018B1 publication Critical patent/KR102338018B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4244—Evaluating particular parts, e.g. particular organs liver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출 하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis) 진단을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.

Description

초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법{ULTRASOUND DIAGNOSIS APPARATUS FOR LIVER STEATOSIS USING THE KEY POINTS OF ULTRASOUND IMAGE AND REMOTE MEDICAL-DIAGNOSIS METHOD USING THE SAME}
본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis) 진단을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법에 관한 것으로, 보다 상세하게, 초음파 이미지로부터 특징점들을 찾고, 이들 특징점으로부터 나쁜 특징점들(bad key points)을 제거하고, 나쁜 특징점들이 제거된 특징점들을 표준 신장 초음파 이미지들의 특징점과 비교하여 초음파 이미지상에서 신장에 대한 후보 위치를 알아내고 표준 신장 이미지의 특징점과 초음파 이미지상의 신장 후보 위치에서의 특징점 들간의 유사도에 의해 지방간 등급을 판별하는 지방간 등급 판정부를 구비하여, 초음파 이미지 센서로부터 입력되는 환자의 초음파 이미지를 가지고 환자의 지방증(steatosis) 등급을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
또한, 본 발명의 초음파 지방간 자동 진단 장치를 이용해 환자의 간(liver)의 지방증(steatosis) 상태를 자동 분석하여 그 결과를 환자나 의사에게 알려주고, 인터넷망을 통해 원격으로 상담서비스를 제공하는 가상 의사(virtual doctor) 구현 시 매우 유리하다.
본 특허 출원은 선 등록된 유럽 특허 "REMOTE MEDICAL-DIAGNOSIS SYSTEM AND METHOD"(등록일자: 2018.12.12, 특허 번호: 02140412)의 연속이다.
상기 선 출원된 발명은, 샘플을 수용하여 생물학적, 화학적 또는 생화학적 반응을 수행하는 바이오 디스크 또는 랩온어디스크(Lab on a Disc)를 포함하는 바이오 분석장치; 의료진료에 사용될 수 있는 체온계, 혈압계, 카메라, 청진기, 체지방 측정기, 동맥경화 진단기, 초음파 영상진단기, 소변검사 장치, 맥박기, 채혈장치, 심전도계, X-Ray 장치, 산소 포화도 검사장치, 치매 검사장치, CAT(Computerized Axial Tomography) 장치, MRI(Magnetic Resonance Imaging) 장치, 캡슐내시경, 확대경, 카메라 일체형 확대경, 의료계측기기, 생체 신호감지장치, 및 생체신호(당뇨, 비만, 혈압, 맥박, 심전도, 체온 등)를 측정할 수 있는 기능을 가진 바이오 셔츠를 포함하는 진료 장치를 구비하여 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 바이오 분석 장치와 진료장치의 사용 방법을 안내하거나 지시하고 사용자와의 상담 서비스를 제공하는 가상 의사; 의료 전문가 또는 가상 의사와의 상담 서비스를 제공하는 사용자 단말기; 사용자와의 상담 서비스를 제공하는 의료 전문가 단말기; 및 상담 전문가로서 정기 검진 기간 동안에는 의료 전문가를 사용자에게 연결하고 그 외 기간 동안에는 가상 의사를 사용자에게 연결하고 사용자가 의료 전문가와 상담해야 하는 정기 검진 기간을 경과한 경우 사용자와 가상 의사와의 상담 서비스 연결을 차단하는 원격 진단 서버를 포함하는 원격 의료 진단 시스템 및 이를 이용한 원격 의료 진단 방법을 제공한다.
최근 의료장비 제작기술과 함께 디지털 영상처리 기술이 임상진단 분야에 적용되어 영상의학의 많은 발전이 이루어지고 있다.
특히 초음파 진단은 CT나 X선 의료장비에 비해 유해한 방사선 노출을 피할수 있어 사람의 몸에 해롭지 않고, 비침습성(non-invasive) 방법으로 인체의 단면 촬영 영상을 얻을 수 있을 뿐만 아니라, 휴대가 간편하고 비용이 저렴하다는 특징이 있다. 특히, 실시간으로 영상을 얻을 수 있어, 실시간으로 장기의 운동 상태를 관찰할 수 있는 장점이 있다.
이러한 초음파 진단 기술은 수분과 지방질에 대한 반사특성이 현저하게 달라진다는 점을 이용하여 간의 지방증 정도를 파악하는데 널리 쓰이고 있다.
지방간은 복부초음파 검사상 나타나는 가장 흔한 질환으로 최근에는 초음파 장비에서 얻어지는 복부단면 영상의 밝기 정도나 영상의 텍스쳐(texture) 특성을 측정하여, 간조직의 지방화 정도를 판별하는 척도인 Hepatorenal sonographic index(HI)를 계산함으로써 대부분의 간 지방증 진단이 이루어 지며, HI 계산은 간과 오른쪽 신장(kidney)에 대해 cortex의 echogenicity의 상대적 비(ratio)로 계산함으로써 얻어진다. 그러나, 이러한 밝기 정도나 영상의 텍스쳐(texture) 특성을 이용한 Hepatorenal sonographic index(HI) 계산에 기반한 지방간 진단은, 초음파 이미지의 낮은 해상도와 심한 노이즈 특성 때문에 계산의 오류가 심하고, 초음파 영상이 심하게 훼손되어 전문가가 아니면, 정확한 의학적 해석이 어려운 경우가 많다. 더욱이 지방간은 그 정도에 따라 정상(normal), 경증(mild), 중등도(moderate), 중증(severe)의 네 등급으로 세분하여 적용하고 있고. 더욱 심한 경우 간경변증(liver cirrhosis)과 간암으로 판정된다.
이러한 종래의 기술은 HI 계산의 부정확성으로 초음파 검사를 이용한 지방간 등급의 진단의 모호성은 더욱 커지고, 결국 검사자의 주관적 판단으로 시행하므로 검사자간의 불일치가 발생할 뿐만 아니라 초음파 검사의 결과 판독에 혼란을 줄 수 있다. 또한 지방간을 진단하려면 먼저 간(liver)의 위치를 파악해야 하나, 낮은 해상도와 심한 노이즈로 인해 초음파 이미지상에서는 불가능하며 경험이 풍부한 의사가 수작업을 통해 간의 위치를 파악하여 HI 계산을 통해 간 지방증을 판별하게 된다.
본 발명은 이러한 문제점을 해결하기 위해 고안된 것으로, 초음파 이미지로부터 특징점들을 찾고, 이들 특징점으로 부터 나쁜 특징점들(bad key points)을 제거하고, 나쁜 특징점들이 제거된 특징점들을 표준 신장 초음파 이미지들의 특징점과 비교하여 초음파 이미지상에서 신장에 대한 후보 위치를 알아내고 표준 신장 초음파 이미지의 특징점과 초음파 이미지상의 신장 후보 위치에서의 특징점들간의 유사도에 의해 지방간 등급을 판별하거나, 발견된 신장의 후보 위치에서 상대적 거리를 산정하여 간의 위치를 파악하여 간 지방증을 판단하는 지방간 등급 판정부를 구비하여, 초음파 이미지 센서로부터 입력되는 환자의 초음파 이미지를 기반으로 환자의 지방증(steatosis) 등급을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
본 발명은 상기 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 초음파 이미지로부터 자동으로 환자의 간 지방증(liver steatosis) 검진하기 위해, 초음파 이미지로부터 특징점들을 찾고, 이들 특징점으로부터 나쁜 특징점들(bad key points)을 제거하고, 이를 표준 신장 초음파 이미지들의 특징점과 비교하여 초음파 이미지상에서 신장에 대한 후보 위치를 알아내고 표준 신장 초음파 이미지의 특징점과 초음파 이미지상의 신장 후보 위치에서의 특징점들간의 유사도에 의해 지방간 등급을 판별하는 지방간 등급 판정부를 구비하여, 초음파 이미지 센서로부터 입력되는 환자의 초음파 이미지를 기반으로 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
본 발명의 또 다른 측면은, 상기 초음파 지방간 자동 진단 장치를 이용해 환자의 간(liver)의 지방증(steatosis) 상태를 자동 분석하는 가상 의사(virtual doctor)를 더 구비하여 그 결과를 인터넷망을 통해 환자나 의사에게 알려주고, 의료 전문가와의 상담서비스를 제공하는 원격 의료 진단 방법을 제공한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명에 따른 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치는, 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(probe sensor); 표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 상기 각 특징점의 패치 이미지에 포함된 픽셀들에 대한 각도(orientation) 정보를 저장하고 있는 표준 신장 특징점 각도 정보 저장부; 상기 초음파 이미지 내지 초음파 이미지의 엣지 성분으로 부터 특징점들을 찾기 위한 특징점 검출부; 상기 초음파 이미지의 특징점들의 패치(patch) 이미지로부터 패치 이미지내의 픽셀들에 대한 각도(orientation) 정보를 산출하는 각도 정보 산출부; 상기 초음파 이미지에 포함된 엣지(edge) 성분들을 검출하는 엣지 디텍터(edge detector)와 상기 엣지 성분과 상기 초음파 이미지의 특징점들이 2차원 초음파 이미지 공간 좌표상에서 중복되는지 여부를 체크하는 엣지 특징점 중복 판정부를 구비하여, 상기 엣지 성분과 중복되지 않는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부; 상기 각각의 맞출 특징점의 패치(patch) 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도(orientation) 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주(major) 회전각으로 산출하고, 상기 주(major) 회전각에 의해 상기 맞출 특징점의 패치 이미지내의 픽셀들의 각도를 보정하는 주(major) 각도 보정부; 상기 표준 신장 테두리 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치 이미지들에 속한 표준 신장 테두리 특징점들과 맞출 특징점들간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부; 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 폐곡선에 대해 타원 피팅(Ellipse fitting) 내지 커브피팅(Curve fitting)을 수행하여 제 1 피팅 곡선을 찾거나, 표준 엣지 성분을 기반으로 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 스캐닝(scanning)하면서 비교하여 2차원 공간 좌표상에서 서로 중복(중첩)되는 특징점 개수인 피팅 특징점 개수를 찾는 커브 피팅부; 상기 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 상기 초음파 이미지로부터 신장의 위치를 찾기 위한 신장 검색부; 상기 검색된 신장(신장의 위치)을 중심으로 하여, 초음파 이미지상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심 영역 추출부; 상기 표준 초음파 사진의 관심영역 내지 상기 초음파 이미지의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 및 기 통합 이미지에 의해 딥런닝(딥러닝, deep learning) 학습된 인공 신경망을 포함하여, 상기 딥런닝 학습된 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 통합 이미지를 가지고 환자의 간 지방증 (liver steatosis) 등급을 자동으로 판할 수 있다.
비정상 등급의 지방간을 갖고 있는 사람의 초음파 이미지는 정상 등급의 지방간을 갖고 있는 사람의 초음파 이미지에 비해 훨씬 뿌옇고 대체로 하얀 이미지를 갖는다, 그러나, 신장 영역의 이미지간에는 거의 차이가 없다.
따라서 정상 등급의 지방간을 갖고 있는 사람의 통합 이미지와 비정상 등급의 지방간을 갖고 있는 사람의 통합 이미지간의 이미지 패턴들은 크게 다르므로, 인공신경망에 의해 효율적 학습과 인식이 가능하다.
본 발명에서 표준 엣지(template edge)는 표준 초음파 사진들에 포함된 신장 테두리의 특징점들을 모두 포함하는 엣지 성분을 말한다.
표준 엣지의 엣지 폭은 초음파 이미지의 다양한 변동(변동 가능성) 즉, 다양성을 고려하여 실제 엣지 폭(width)보다 크게 설정되는 것이 선호된다.
본 발명에서 피팅 특징점 개수는 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들(최종 특징점들)과 표준 엣지 성분과의 스캔(scan) 비교를 통해 획득(산출)된, 2차원 공간 좌표상에서 서로 중복(중첩)되는 특징점 개수를 말한다.
상기 나쁜 특징점 제거부는 맞출 특징점들을 준비하는 과정으로, 많은 초음파 이미지상에 포함된 나쁜 특징점들을 사전에 제거하는 역할을 하여, 상기 특징점 쌍 형성부의 계산 부담을 줄여 주는 역할을 한다.
본 발명에서, 상기 맞출 특징점들 중 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 특징점 쌍(a pair of feature points)을 이룬 특징점들을 "최종 특징점"이라 칭한다.
본 발명에서 신장 검색부는 상기 제1 피팅 곡선과 상기 피팅에 참여한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 피팅 거리로서 산출하는 피팅 거리 계산부와 이들 피팅 거리로부터 피팅 곡선과의 유사도를 판별하는 피팅 유사도 판별부를 포함하는 것을 특징으로 한다. 상기 제1 피팅 곡선과 상기 피팅에 참여한 맞출 특징점간에 피팅 유사도가 큰 것으로 판별된 경우 또는 상기 제1 피팅 곡선의 직경, 장축(major axis)과 단축(minor axis)의 길이 또는 피팅 곡선의 모양이 표준 신장 테두리와 유사한 경우, 신장이 있는 것으로 판단할 수 있다.
바람직하게는, 상기 신장 검색부의 또 다른 측면은 상기 표준 신장 테두리 특징점들을 연결하여 형성된 가상의 폐곡선에 대해, 커브 피팅(Curve fitting)을 수행하여 얻은 제2 피팅 곡선과 상기 제1 피팅 곡선간의 유클리디안 거리(Euclidean distance)를 피팅 거리로서 산출하는 피팅 거리 계산부; 및 피팅 거리로부터 제1 피팅 곡선과 제2 피팅 곡선간의 유사도를 판별하는 피팅 유사도 판별부를 포함할 수 있다.
상기 제2 피팅 곡선에 의해 만들어진 폐곡선 모양(shape) 자체를 객체 "A2"라고 하고, 상기 제1 피팅 곡선에 의해 만들어진 폐곡선 모양 자체를 객체 "A1"이라고 칭하자.
상기 제2 피팅 곡선과 상기 제1 피팅 곡선간의 유클리디안 거리 산출은 객체 "A1"과 객체 "A2"간의 상관 계수(correlation coefficient)가 최대가 되는 위치에서 제2 피팅 곡선과 상기 제1 피팅 곡선을 정렬한 후, 제2 피팅 곡선의 무게 중심을 중심으로 하여 360도(360°) 회전하면서 두 곡선간의 거리 차이를 구하는(산출하는) 것이 선호된다.
상기 제2 피팅 곡선과 상기 제1 피팅 곡선간의 유클리디안 거리 산출의 또 다른 측면은 객체 "A1"의 무게 중심과 객체 "A2"의 무게 중심을 일치시키도록 제2 피팅 곡선과 상기 제1 피팅 곡선을 정렬한 후, 제 2 피팅 곡선의 무게 중심을 중심으로 하여 360도(360°) 회전하면서 두 곡선간의 거리 차이를 구하는(산출하는) 것이 선호된다.
바람직하게는, 상기 신장 검색부의 또 다른 측면은 표준 엣지(template edge) 성분을 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들과 2차원 공간 좌표상에서 스캔 비교하면서 중복(중첩)되는 피팅 특징점 개수를 찾고, 이때 이 피팅 특징점 개수가 소정의 수치 이상이고 최대값인 좌표 위치에 신장이 있는 것으로 판정할 수 있다.
본 발명에서 표준 신장 특징점 각도 정보 저장부에 저장된 각도 정보는 주(major) 회전각이 0도(0°)가 되도록 보정되어 있을 수 있다.
상기 주 각도 보정부에 의해 맞출 특징점의 패치 이미지내의 픽셀들의 각도를 보정하고 나면, 맞출 특징점의 패치 이미지의 주(major) 각도는 0도로 된다.
바람직하게는, 상기 피팅 유사도 판별에는 제1 피팅 곡선과 제1 피팅 곡선 형성에 참여한 맞출 특징점간의 유클리디안 거리의 합 또는 제1피팅 곡선과 제2 피팅 곡선간의 유클리디안 거리의 합이 사용될 수 있다.
상기 유클리디안 거리의 합이 작을수록, 피팅 유사도가 큰것으로 판정될 수 있다.
상기 커브 피팅은 커브 피팅(curve fitting) 기법 내지 RANSAC(RANdom SAmple Consensus) 기법이 사용될수 있으며, 이는 당해 업자의 공지 기술이다.
본 발명의 엣지 성분 추출은 이미지 중의 대상의 윤곽선이나 영역의 경계선을 검출하는 방법으로, 이미지의 윤곽선이나 경계선의 부분에서는, 이미지 세기(intensity)값이 급격히 변화한다. 이러한 세기값이 급변하는 부분을 엣지(edge) 또는 가장자리라고 한다. 본 발명의 엣지 성분 검출에는 소벨(Sobel), 프리윗(Prewitt), 라플라시안(Laplacian), 로버츠(Roberts), 케니(Canny) 엣지 검출 기법 중 어느 하나가 선택되어 사용될 수 있다.
바람직하게는, 상기 피팅 거리 계산부에 의해 계산된 유클리디안 거리가 소정의 값보다 큰 경우, 초음파 이미지상에 신장 영역 이미지가 없는 것으로 판정될 수 있다.
본 발명에서, 상기 피팅 유사도 내지 상기 각도 정보 유사도 판별에는 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), KNN (K-nearest neighbor algorithm), NCC(Normalized Cross Correlation) 기법 중 어느 하나의 기법을 사용하여 산출될 수 있다.
본 발명에서 표준 초음파 사진들은, 신장과 간 주변의 질병이 없는 정상적인 사람의 초음파 사진들로 구성된 것이 선호된다.
바람직하게는, 본 발명에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치의 다른 측면은, 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서; 표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 상기 각 특징점의 패치이미지에 포함된 픽셀들에 대한 각도 정보를 저장하고 있는 표준 신장 특징점 각도 정보 저장부; 상기 표준 초음파 사진들에서 신장 영역의 특징점들과 신장 영역을 제외한 관심영역의 특징점들에 대한 통계 정보를 저장하고 있는 표준 특징점 통계 정보 저장부; 상기 초음파 이미지 내지 초음파 이미지의 엣지 성분으로부터 특징점들을 찾기 위한 특징점 검출부; 상기 초음파 이미지의 특징점들의 패치 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도 정보를 산출하는 각도 정보 산출부; 상기 초음파 이미지에 포함된 엣지 성분들을 검출하는 엣지 디텍터(edge detector)와 상기 엣지 성분과 상기 초음파 이미지의 특징점들이 2차원 초음파 이미지 공간 좌표상에서 중복되는지 여부를 체크하는 엣지 특징점 중복 판정부를 구비하여, 상기 엣지 성분과 중복되지 않는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부; 상기 각각의 맞출 특징점의 패치(patch) 이미지로부터 패치 이미지내의 픽셀들에 대한 각도(orientation) 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출하고, 상기 주 회전각에 의해 상기 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정하는 주 각도 보정부; 상기 표준 신장 테두리 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치 이미지들에 속한 표준 신장 테두리 특징점들과 맞출 특징점들간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부; 상기 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 폐곡선에 대해 타원 피팅(Ellipse fitting) 내지 커브 피팅(Curve fitting)을 수행하여 제1 피팅 곡선을 찾거나, 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 기반으로 표준 엣지 성분과 스캔(스캐닝하면서) 비교하여 2차원 공간 좌표상에서 서로 중복(중첩)되는 피팅 특징점 개수를 찾는 커브 피팅부; 상기 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 상기 초음파 이미지로부터 신장의 위치를 찾기 위한 신장 검색부; 상기 검색된 신장(신장의 위치)을 중심으로 하여, 초음파 이미지상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심 영역 추출부; 상기 신장 검색부로부터 검색된 신장 영역의 특징점들로부터 특징점 통계 정보를 산출하거나, 상기 관심영역 추출부로부터 추출된 관심영역의 특징점들로부터 특징점 통계 정보를 산출하기 위한 특징점 통계 정보 산출부; 및 상기 표준 특징점 통계 정보와 상기 특징점 통계 정보 산출부에서 얻어진(획득된) 특징점 통계 정보를 기반으로 경증(mild), 중등도(moderate), 중증(severe), 간경화 등의 간 지방증(liver steatosis)의 등급을 판정하기 위한 지방간 등급 판정부를 포함하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 특징점들의 특징점 통계 정보를 이용하여 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
본 발명의 엣지 디텍터(edge detector)는 엣지 디텍터(edge detector)에 의해 검출된 엣지 성분의 폭(width)을 2차원 공간상에서 확장시켜, 폭이 확장된 엣지 성분을 생성하기 위한 엣지 폭 확장 수단을 더 구비할 수 있다.
실제 엣지 성분보다 폭이 확장된 엣지 성분을 사용하는 경우, 실제 엣지 성분에 바로 인접한 특징점들이 나쁜 특징점으로 간주되는 것을 방지할 수 있다.
본 발명에서, 초음파 이미지상의 특징점 주변의 픽셀들을 모아서 얻은 작은 영상을 패치(patch) 이미지라 칭한다. 또한 맞출 특징점으로부터 형성된 패치 이미지를 맞출 패치 이미지라 칭한다.
본 발명에서, 패치 이미지는, 예를 들어, 제1 서브 패치이미지, 제2 서브 패치이미지 또는 제3 서브 패치이미지 중 선택된 어느 하나의 이미지일 수 있다.
본 발명에서 제 1 서브패치 이미지는, 예를 들어, 특징점 중심으로 형성된 주변의 16x16 픽셀들로 구성된 이미지일 수 있다.
본 발명에서 제 2 서브패치 이미지는, 예를 들어, 특징점 중심으로 형성된 주변의 16x16 픽셀들로 구성된 이미지를 4등분하여 8x8 픽셀로 구성된 4개의 서브 이미지로 구성될 수 있다.
본 발명에서 제 3 서브패치 이미지는, 예를 들어, 특징점 중심으로 형성된 주변의 16x16 픽셀들로 구성된 이미지를 16등분하여 4x4 픽셀로 구성된 16개의 서브 이미지로 구성될 수 있다.
본 발명에서, 특징점 통계 정보는 초음파 이미지상에 지정된 임의의 영역에 포함된 특징점 개수, 피팅 특징점 개수, 특징점들에 대한 세기(intensity) 분포를 보여주는 히스토그램(histogram), 특징점들의 각도 변위, 특징점들의 각도 정보의 평균, 특징점들의 각도 정보의 분포, 및 특징점들의 각도 정보의 표준편차 중 적어도 일부를 포함할 수 있다.
본 발명에서, 특징점들의 각도 변위는 특징점들의 각각의 패치 이미지들로부터 최대 크기(magnitude)를 갖는 후보 각도들을 구하여, 이러한 후보 각도들 중 최대 각도와 최소 각도간의 상대적 각도 차이를 의미한다.
바람직하게는, 상기 지방간 등급 판정부의 또 다른 측면은 환자의 초음파 이미지의 신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역에 포함된 통계정보 대비 비(非) 신장 영역에 포함된 통계 정보의 상대적 비율을 산출하여 지방간 등급을 판정할 수 있다.
예를 들면, 통계 정보중의 하나인 각도 정보의 평균을 이용하는 경우, 신장 영역에 속한 특징점들의 각도의 평균값과 비 신장영역에 속한 특징점들의 각도 평균값간의 비율값을 이용할 수 있다. 예들 들어, 이 비율값은 정상 지방간 등급인 사람이, 중증 지방간 등급 환자보다 상대적으로 작아, 이 비율 값을 이용하여 지방간 등급을 판정할 수 있다.
바람직하게는, 상기 지방간 등급 판정부의 또 다른 측면은 환자의 초음파 이미지의 신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역에 포함된 특징점 개수 대비 비 신장 영역에 포함된 특징점 개수의 비율을 산출하여 지방간 등급을 판정할 수 있다. 즉, 신장 대 비 신장 특징점 개수 비율을 계산하여 판정할 수 있다.
예를 들면, 표준 초음파 사진으로서 정상(normal) 등급의 초음파 이미지를 사용한 경우, 지방간 등급이 높아질수록, 비 신장 영역의 특징점이 보다 큰 증폭 또는 감소폭으로 증가하거나 감소하므로, 신장 대 비 신장 특징점 개수 비율이, 정상(normal) 등급의 초음파 이미지의 경우보다 차이가 클 것이 자명하다.
즉, 신장 대 비 신장 특이점 개수 비율을 계산하고, 정상 대비 그 차이값이 커질수록 경증(mild), 중등도(moderate), 중증(severe) 식으로 간의 지방증(liver steatosis)의 등급을 점점 올려 환자의 간 지방증 등급을 판별할 수 있다.
상기 비 신장 영역은 상기 관심 영역 추출부에 의해 추출될 수 있다.
바람직하게는, 상기 지방간 등급 판정부의 또 다른 측면은, 본원의 일 실시예에 따른 초음파 지방간 자동 진단 장치가 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 관심영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기(magnitude)를 갖는 후보 각도들을 구하여, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장하고 있는 표준 관심 영역 각도 변위 저장부를 더 구비하는 상태에서, 환자의 초음파 이미지로부터 상기 관심영역에 속한 특징점들을 구하고, 상기 표준 관심 영역 각도 변위 저장부에 저장된 각도 변위 범위를 벗어나는 환자의 초음파 이미지의 관심 영역에 속한 특징점들을 지방간 특징점으로 간주하고, 이들 지방간 특징점 개수를 지표로 사용하여 지방간 등급을 산정할 수 있다.
지방간 등급이 높아질수록, 관심영역 내의 지방간 특징점 개수가 정상(normal) 등급의 초음파 이미지의 경우보다 상대적으로 크게 변동할 것이 자명하다.
바람직하게는, 상기 지방간 등급 판정부의 또 다른 측면은, 본원의 일 실시예에 따른 초음파 지방간 자동 진단 장치가 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 간(liver) 영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장하고 있는 표준 간(liver) 각도 변위 저장부를 더 구비하는 상태에서, 환자의 초음파 이미지로부터 간(liver) 영역에 속한 특징점들을 구하고, 상기 표준 간(liver) 각도 변위 저장부에 저장된 각도 변위 범위를 벗어나는 환자의 초음파 이미지의 간 영역에 속한 특징점들을 지방간 특징점으로 간주하여, 이들 지방간 특징점 개수를 지표로 사용하여 지방간 등급을 산정할 수 있다.
바람직하게는, 본 발명의 특징점 검출부는 상기 초음파 이미지로부터 제1 가우시안 이미지를 생성하는 표준편차1로 구성된 가우시안 필터1, 제2 가우시안 이미지를 생성하는 표준편차1보다 큰 표준편차2로 구성된 가우시안 필터2, 제3 가우시안 이미지를 생성하는 표준편차2보다 큰 표준편차3으로 구성된 가우시안 필터3, 제4 가우시안 이미지를 생성하는 표준편차3보다 큰 표준편차4로 구성된 가우시안 필터4, 제5 가우시안 이미지를 생성하는 표준편차4보다 큰 표준편차5로 구성된 가우시안 필터5, 및 제6 가우시안 이미지를 생성하는 표준편차5보다 큰 표준편차6로 구성된 가우시안 필터6으로 구성된 가우시안 필터부; 제1 차등 이미지를 얻기 위해 상기 제1 가우시안 이미지와 제2 가우시안 이미지간의 픽셀별 뺄셈을 수행하고, 제2 차등 이미지를 얻기 위해 상기 제2 가우시안 이미지와 제3 가우시안 이미지간의 픽셀별 뺄셈을 수행하고, 제3 차등 이미지를 얻기 위해 상기 제3 가우시안 이미지와 제4 가우시안 이미지간의 픽셀별 뺄셈을 수행하는 픽셀 뺄셈기; 및 상기 초음파 이미지상의 특징점을 찾기 위해, 제2 차등 이미지와 함께 앞뒤로 이웃한 상기 차등 이미지(제1 차등 이미지와 제3 차등 이미지)를 병렬로 동기화하여 스캔하기 위해 3x3 크기를 갖는 제1 스캔 윈도우, 제2 스캔 윈도우, 제3 스캔 윈도우를 생성 제어하고, 상기 제2 스캔 윈도우의 중심좌표의 픽셀값이 상기 제1, 2, 3의 스캔 윈도우내의 모든 픽셀값 중(26개 픽셀들중) 최소인지 최대인지 파악하여, 그 값이 특징점 판별 기준 문턱치 이상인 경우을 유효 특징점으로 판단하는 최대 최소 픽셀 검색부를 구비하여 특징점들의 위치를 생성하는 것을 특징으로 한다.
본 발명에서 2차원 공간 좌표(x, y)에 대한 가우시안 필터 G(x, y, σ)는 다음 식으로 주어지며 표준편차(σ)의 함수이다.
Figure 112019077971218-pat00001
상기 제2 가우시안 이미지는 제1 가우시안 이미지보다 더 큰 표준 편차를 갖는 가우시안 필터를 사용하였기 때문에 제2 가우시안 이미지는 제1 가우시안 이미지 비해 더 흐릿하다.
바람직하게는 본 발명의 각도 정보 산출부는 주어진 어느 특징점에 대해 각도(orientation) 정보를 산출하며, 각도 정보는 패치 이미지 내의 픽셀들로부터 계산된 Gradient direction
Figure 112019077971218-pat00002
와 크기(magnitude)
Figure 112019077971218-pat00003
의 집합인
Figure 112019077971218-pat00004
로 정의되고, 다음 식에 의해 계산된다.
[수학식]
Figure 112019077971218-pat00005
위 식에서
Figure 112019077971218-pat00006
는 패치 이미지 내의 픽셀 좌표 (x, y)에 있어서의 가우시안 이미지상의 픽셀의 세기(intensity)임이 바람직하다.
Gradient direction
Figure 112019077971218-pat00007
의 크기 성분은 해당 좌표 (x, y)에서의 magnitude
Figure 112019077971218-pat00008
에 의해 결정된다.
특징점들의 각도 정보
Figure 112019077971218-pat00009
를 계산하기 위해, 각도 정보 산출부는 우선 각 특징점 주변의 16x16 픽셀들로 제1 서브 패치 이미지를 구성하고, 상기 제1 서브패치 이미지를 4등분하여 8x8 픽셀로 구성된 4개의 제2 서브 패치 이미지를 구성하고, 상기 제1 서브패치 이미지를 16등분하여 4x4 픽셀로 구성된 16개의 제 3 서브 패치 이미지를 구성할 수 있다.
각 서브 패치 이미지 내의 모든 픽셀마다, 위 식을 이용하여 Gradient direction
Figure 112019077971218-pat00010
및 magnitude
Figure 112019077971218-pat00011
를 계산하고, 이후 각 서브 패치 이미지 내의 픽셀간에 유사 Gradient direction
Figure 112019077971218-pat00012
를 갖는 픽셀들끼리의 magnitude
Figure 112019077971218-pat00013
를 합산한 결과로 얻어진 집합 {
Figure 112019077971218-pat00014
,
Figure 112019077971218-pat00015
}를 해당 서브 패치의 각도정보로 삼을 수 있다.
상기 유사 Gradient direction
Figure 112019077971218-pat00016
는 45도 간격으로 배정하는 것이 바람직하다. 예를들면, 0°≤ θ ≤44°, 45°≤ θ ≤89°, ... ,315°≤ θ ≤359° 로 8개의 각도 구간으로 나누어 배정할 수 있다. 즉, 0°≤ θ ≤44° 범위 내에 속한 Gradient direction
Figure 112019077971218-pat00017
Figure 112019077971218-pat00018
는 유사한 Gradient direction
Figure 112019077971218-pat00019
를 갖는다고 간주할 수 있다.
따라서 한 개의 서브 패치 이미지는 8개의 각도 구간으로 나뉘므로, 8개의 각도 정보를 갖는다.
만약 각도 정보 산출을 위해, 제2 서브패치를 사용한 경우, 각 특징점은 4개의 제2 서브패치 이미지를 포함하고 있으므로, 각 특징점은 총 32개의 각도 정보를 포함한다.
만약 각도 정보 산출을 위해, 제3 서브패치를 사용한 경우, 각 특징점은 16개의 제3 서브패치 이미지를 포함하고 있으므로, 각 특징점은 총 128개의 각도 정보를 포함한다.
본 발명의 주(major) 각도 정보는 제1 서브 패치 이미지 내에 포함된 256개의 픽셀들에 대한 각도(orientation) 정보를 가지고, 각도
Figure 112019077971218-pat00020
에 대한 256개의 픽셀들의 magnitude
Figure 112019077971218-pat00021
의 누적을 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 할 수 있다.
상기 주 회전각를 알기 위한 히스토그램은 Gradient direction
Figure 112019077971218-pat00022
를 10도(10°) 간격으로 나누어 히스토그램을 산출한 것이 선호된다.
본 발명의 주 각도 보정은
Figure 112019077971218-pat00023
로부터 주 회전각을 빼줌으로써 이루어진다.
본 발명에서, 각도 변위 정보는 각각의 패치 이미지들로부터 magnitude
Figure 112019077971218-pat00024
의 최대치를 갖는 픽셀들의 Gradient direction
Figure 112019077971218-pat00025
를 후보 각도로 취하고, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이로 정의될 수 있다.
예를 들면, 패치 이미지 개수가 총 5개라고 하면, 각 패치 이미지 내의 픽셀들에 대해 Gradient direction
Figure 112019077971218-pat00026
와 magnitude
Figure 112019077971218-pat00027
를 계산하고, 첫번째 패치 이미지에 대해 최대
Figure 112019077971218-pat00028
를 갖는 Gradient direction 를
Figure 112019077971218-pat00029
이라 하고, 두번째 패치 이미지에 대해 최대
Figure 112019077971218-pat00030
를 갖는 Gradient direction 를
Figure 112019077971218-pat00031
라 하고, 세번째 패치 이미지에 대해 최대
Figure 112019077971218-pat00032
를 갖는 Gradient direction 를
Figure 112019077971218-pat00033
이라 하고, 네번째 패치 이미지에 대해 최대
Figure 112019077971218-pat00034
를 갖는 Gradient direction 를
Figure 112019077971218-pat00035
라 하고, 다섯번째 패치 이미지에 대해 최대
Figure 112019077971218-pat00036
를 갖는 Gradient direction 를
Figure 112019077971218-pat00037
이라 하자.
여기서 상기 얻어진
Figure 112019077971218-pat00038
를 후보 각도라 칭하자.
이들 5개의 후보 각도들
Figure 112019077971218-pat00039
중 최대 각도와 최소 각도간의 차이를 각도 변위 정보로 정한다.
최대각도 =
Figure 112019077971218-pat00040
최소각도 =
Figure 112019077971218-pat00041
각도 변위 정보 = 최대각도-최소각도
예를 들면, 만약 표준 초음파 사진에서 10개의 특징점이 존재하는 경우, 그리고 제3 서브패치 이미지를 사용하는 경우, 각 특징점당 16개의 패치 이미지가 존재하므로, 160개의 후보 각도가 생성되고 160개의 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이를 각도 변위 정보로 정한다.
상기 후보 각도 산출은 제3 서브패치 이미지를 사용하는 것 이외에도, 제2 서브패치 이미지 또는 제 1 서브패치 이미지 중 어느 하나를 사용하여 구할 수도 있다.
본 발명의 관심영역은 초음파 이미지에서 간(liver) 실질 영역의 이미지, 신장(kidney) 실질 영역의 이미지, 우문맥(right portal vein, RPV) 영역의 이미지, 간정맥(hepatic vein) 영역의 이미지, 비장(spleen) 영역의 이미지, 횡격막(diaphragm) 영역의 이미지, 신장의 신우(renal pelvis) 영역의 이미지, 신장의 신동(renal sinus) 영역의 이미지 중 선택된 어느 한 개 이상의 이미지 영역인 것이 선호된다.
본 발명에서의 표준 초음파 사진 및 표준 신장 초음파 사진은 정상 지방간 등급의 초음파 사진인 것이 선호된다.
본 발명의 간 지방증 (liver steatosis) 등급은 정상, 경증, 중등도, 중증, 간경화 등급 중 어느 하나일 수 있다.
본 발명의 지방간 등급 판정부는 SVM(Support Vector Machine)을 사용하는 것이 선호되며, 이 경우 특징점 통계 정보가 지방급 등급을 구분하기 위한 feature vector로 사용 되는 것이 더욱 선호된다.
본 발명의 인공 지능 신경망으로는 CNN(Convolutional Neural Network) 또는 RNN(Recurrent Neural Network)이 사용될 수 있다.
본 발명에서 상기 인공 지능 신경망(artificial neural network)은 딥런닝 학습을 허여하는 뉴럴 네트웍(neural network)으로 컨보루션 레이어(convolution layer), 풀링 레이어(Pooling layer), ReLu 레이어, Transpose 컨보루션 레이어, 언 풀링레이어(Unpooling layer), 1x1 컨보루션 레이어, 스킵 연결(Skip connection), Global Average Pooling(GAP) 레이어, Fully Connected 레이어, SVM(support Vector Machine), LSTM(long Short term Memory) 중 선택된 어느 하나 이상의 레이어(layer)나 엘리먼트(element)로 조합 구성될 수 있다. 상기 인공 지능 신경망은 상기 ReLu레이어 앞단에 Batch normalization 연산을 위한 연산부를 더 구비할 수 있다.
바람직하게는, 본 발명의 초음파 이미지는 간(liver), 우문맥(right portal vein, RPV), 간정맥(Hepatic vein), 신장(Kidney), 비장(Spleen), 횡격막(diaphragm) 같은 장기들을 초음파 영상에서 용이하게 관찰할 수 있는 Parasagittal scan plane의 초음파 이미지가 선호된다.
본 발명에 따른 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치의 또 다른 측면은, 환자로부터 초음파 이미지을 얻기 위한 초음파 프로브 센서(probe sensor); 표준 초음파 사진들에 포함된 횡격막(diaphragm)의 특징점들과 상기 각 특징점의 패치이미지에 포함된 픽셀에 대한 각도 정보를 저장하고 있는 표준 횡격막 특징점 각도 정보 저장부; 상기 표준 횡격막 특징점들에 해당하는 각각의 패치이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장하고 있는 표준 횡격막 각도 변위(displacement) 저장부; 상기 초음파 이미지상의 특징점들을 찾기 위한 특징점 검출부; 상기 초음파 이미지의 특징점들의 패치(patch) 이미지로부터 패치 이미지 내의 각 이미지 픽셀들에 대한 각도(orientation) 정보를 산출하는 각도 정보 산출부; 상기 표준 횡격막 각도 변위 범위를 벗어나는 패치 이미지 내의 픽셀들을 소정의 비율 이상으로 포함하는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점(bad key points)들을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부; 상기 각각의 맞출 특징점의 패치(patch) 이미지로부터 패치 이미지 내의 각 픽셀들에 대한 각도(orientation) 정보를 가지고, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출하고, 상기 주 회전각이 0도(0°)가 되도록 상기 맞출 특징점의 패치 이미지 내의 각 픽셀들의 각도를 보정해 주는 주 각도 보정부; 상기 표준 횡격막 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치 이미지들을 이용해, 상기 특징점들간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부; 상기 표준 횡격막 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 곡선에 대해, 커브 피팅(Curve fitting)을 수행하여 2차원 커브 피팅 곡선을 찾는 커브 피팅부; 상기 2차원 커브 피팅 곡선으로부터 횡격막 영역 이미지를 추출하는 횡격막 추출부; 상기 2차원 커브 피팅 곡선과 상기 커브 피팅에 참여한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 산출하는 피팅 거리 계산부; 상기 추출된 횡격막 영역 이미지의 위치로부터, 관심영역의 상대적인 위치를 산정하여 상기 초음파 이미지로부터 관심영역의 이미지를 찾아 추출하기 위한 관심 영역 이미지 추출부; 상기 추출된 관심영역에 속한 픽셀들의 평균 밝기와 상기 추출된 횡격막 영역에 속한 픽셀들의 평균 밝기를 계산하고, 이들 두 평균값의 비(ratio)인 "관심영역 대 횡격막 영역 밝기 비(intensity ratio)"를 계산하고, 상기 "관심영역 대 횡격막 영역 밝기 비(intensity ratio)"를 기반으로 경증(mild), 중등도(moderate), 중증(severe) 등의 간 지방증(liver steatosis)의 등급을 판정하는 지방간 등급 판정부를 포함하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 "관심영역 대 횡격막 영역 밝기 비(intensity ratio)"에 의해 환자의 간 지방증 (liver steatosis) 등급을 자동으로 판별할 수 있다.
예를 들어, 상기 관심영역을 간(liver) 영역으로 취한 경우, 일반적으로 경증 지방간에 비해 중증 지방간에서는 간 영역의 픽셀이 밝기가 보다 큰 증가폭으로 증가하기 때문에 상기 "간 영역 대 횡격막 영역 밝기 비(intensity ratio)"는 증가한다.
상기 피팅 거리 계산부에 의해 계산된 유클리디안 거리가 소정의 값보다 큰 경우, 초음파 이미지상에 횡격막 영역 이미지가 없는 것으로 판정될 수 있다.
또한, 상기 지방간 등급 판정을 위해, 간 영역 대 횡격막 영역 밝기 비(intensity ratio)" 대신에 신장 영역 대 횡격막 영역 밝기 비(intensity ratio)"를 적용할 수 있다.
바람직하게는 본 발명의 나쁜 특징점 제거부의 또 다른 측면은, 초음파 이미지로 부터 신장의 위치를 찾기 위해 시맨틱 분할(Semantic Segmentation)을 수행하는 인공 신경망을 구비하여, 표준 신장 이미지들에 의해 상기 인공 신경망을 학습시키고, 이후 초음파 프로브 센서로부터 얻어진 환자의 초음파 이미지를 시맨틱 분할하여 신장 영역을 검출하고, 특징점 검출부에 의해 상기 환자의 초음파 이미지상에서 얻어진 특징점들 중 시맨틱 분할된 신장 영역의 특징점들 외의 특징점들을 나쁜 특징점으로 간주하여 상기 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을 수 있다.
상기 시맨틱 분할(Sematic Segmenttion)은 주어진 초음파 이미지 안에 신장이 있는 경우, 어느 위치에 포함되어 있는지 픽셀 단위로 신장을 분류하여, 다른 사물로부터 분할하는 인공 신경망을 이용하여 수행될 수 있다.
본 발명의 신장(신장의 위치)을 찾기 위한 커브 피팅과 특징점 통계 정보 산출에는, 초음파 신장 이미지의 중심 영역에 있는 신우(renal pelvis), 신동(renal sinus) 영역을 제외한 신장 실질(Kindey cortex)에 속한 특징점들을 이용하는 것이 선호된다.
본 발명에서 표준 신장 특징점, 표준 신장 테두리 특징점, 정상 간 지방증 환자의 관심영역의 특징점 및 표준 횡격막 특징점의 각도 정보들은 주 회전각이 0도(0°)가 되도록 보정된 것이 사용될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
이상에서 본 바와 같이 본 발명은 초음파 영상처리 분야에 있어서, 영상 의학적 검사로 인해 획득된 영상을 추출 하여 육안으로 진단하기 힘든 간의 지방증(liver steatosis) 진단을 자동으로 판별할 수 있는 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동진단 장치 및 이를 이용한 원격 의료 진단 방법을 제공한다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1과 도 2는 본 발명의 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치의 일 실시예를 나타낸 도면이다.
도 3의 (a)와 도 3의 (b)는 표준 신장 테두리 특징점들을 연결하여 형성된 가상의 폐곡선에 대해, 커브피팅(Curve fitting)을 수행하여 얻은 제2 피팅 곡선과 상기 제1 피팅 곡선간의 유클리디안 거리(Euclidean distance)를 산출하는 예시를 나타낸 도면이다.
도 4a는 도 1과 도 2에 도시된 초음파 지방간 자동 진단 장치의 특징점 검출부의 일 실시예를 나타낸 도면이다.
도 4b는 도 4a에 도시된 특징점 검출부의 최대 최소 픽셀 검색부의 일 실시예를 나타낸 도면이다.
도 5는 특징점을 중심으로 형성된 주변의 16x16 픽셀들로 구성된 패치 이미지들의 일 예를 나타낸 도면이다.
도 6은 서브 패치 이미지상의 각각의 픽셀마다, Gradient direction
Figure 112019077971218-pat00042
및 magnitude
Figure 112019077971218-pat00043
를 계산하고, 픽셀간에 유사 Gradient direction
Figure 112019077971218-pat00044
를갖는 픽셀들끼리의 magnitude
Figure 112019077971218-pat00045
를 합산한 결과로 얻어진 각도정보 {
Figure 112019077971218-pat00046
,
Figure 112019077971218-pat00047
}를 테이블(250) 형태로 도시한 일 실시예를 나타낸 도면이다.
도 7은 본 발명에 따른 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치의 또 다른 실시예를 나타낸 도면이다.
도 8a는 시맨틱 분할을 이용한 나쁜 특징점 제거부의 일 실시예를 나타낸 도면이다.
도 8b는 초음파 이미지의 엣지 성분을 이용한 나쁜 특징점 제거부의 일 실시예를 나타낸 도면이다.
도 8c는 엣지 디텍터(edge detector)에 의해 검출된 엣지 성분의 폭(width)을 2차원 공간상에서 확장시켜, 폭이 확장된 엣지 성분을 생성하기 위한 엣지 폭 확장 수단의 일 실시예를 나타낸 도면이다.
도 8d는 최종 특징점들과 표준 엣지 성분을 서로 스캔닝하면서 비교하여 2차원 공간 좌표상에서 중복 (중첩)되는 피팅 특징점 개수를 찾는 일 실시예를 나타낸 도면이다.
도 8e는 표준 엣지(552)를 이용하여 최종 특징점들로부터 피팅 특징점 개수를 산출하여 초음파 이미지상의 신장 위치를 검색하는 과정의 일 실시예를 나타낸 도면이다.
도 9는 본 발명에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치가 원격 의료 진단 시스템에 상주하는 인공지능형 가상 의사를 통해 환자의 의료영상 데이터를 자동 분석하여 진단하는 일 실시예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 사용하여 본 발명의 다양한 실시예에 대하여 상세하게 설명한다.
도 1과 도 2는 본 발명의 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치(600)의 일 실시예로, 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(30); 표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 상기 각 특징점의 패치 이미지에 포함된 픽셀들에 대한 각도(orientation) 정보를 저장하고 있는 표준 신장 특징점 각도 정보 저장부(44); 초음파 이미지상의 특징점들을 찾기 위한 특징점 검출부(32); 초음파 이미지의 특징점들의 패치(patch) 이미지로부터 패치 이미지내의 픽셀들에 대한 각도(orientation) 정보를 산출하는 각도 정보 산출부(34); 초음파 이미지에 포함된 엣지 성분들을 검출하는 엣지 디텍터(36a) 및 엣지 성분과 초음파 이미지의 특징점들이 2차원 초음파 이미지 공간 좌표상에서 중복되는지 여부를 체크하는 엣지 특징점 중복 판정부(36b)를 구비하여, 엣지 성분과 중복되지 않는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻는 나쁜 특징점 제거부(38); 각각의 맞출 특징점의 패치 이미지로부터 패치 이미지내의 픽셀들에 대한 각도(orientation) 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주(major) 회전각으로 산출하고, 주(major) 회전각에 의해 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정하는 주(major) 각도 보정부(40); 표준 신장 테두리 특징점들의 패치 이미지와 맞출 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치들을 이용해, 특징점들(표준 신장 테두리 특징점과 맞출 특징점)간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부(42); 표준 신장 테두리 특징점들과 특징점 쌍을 이룬 맞출 특징점들을에 대해 타원 피팅(Ellipse fitting) 내지 커브 피팅(Curve fitting)을 수행하여 제1 피팅 곡선을 찾거나, 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 기반으로 표준 엣지 성분과 스캔(스캐닝하면서) 비교하여 2차원 공간 좌표상에서 서로 중복(중첩)되는 피팅 특징점 개수를 찾는 커브 피팅부(46); 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 초음파 이미지로부터 신장의 위치를 찾기 위한 신장 검색부(48); 및 검색된 신장(신장의 위치)을 중심으로 하여, 초음파 이미지상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심 영역 추출부(50)를 구비한다.
도 1을 참조하면, 본원의 일 실시예에 따른 초음파 지방간 자동 진단 장치(600)는 표준 초음파 사진 내지 상기 초음파 이미지의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부(52) 및 통합 이미지에 의해 딥런닝(딥러닝, deep learning) 학습된 인공 신경망(54)으로 구성된 지방간 등급 판정부(58)를 구비하여, 상기 딥런닝 학습된 인공 신경망(54)을 사용하여, 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 얻어진 통합 이미지를 기반으로 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
반면, 도 2를 참조하면, 본원의 다른 실시예에 따른 초음파 지방간 자동 진단 장치(600)는 표준 신장 초음파 사진들에서 신장 영역의 특징점들과 신장 영역을 제외한 관심영역의 특징점들에 대한 특징점 통계 정보인 표준 특징점 통계 정보를 저장하고 있는 표준 특징점 통계 정보 저장부(57), 신장 검색부(48)로부터 검색된 신장 영역의 특징점들로부터 특징점 통계 정보 산출하거나, 관심영역 추출부(50)로부터 추출된 관심영역의 특징점들로부터 특징점 통계 정보를 산출하기 위한 특징점 통계 정보 산출부(56) 및 표준 특징점 통계 정보와 특징점 통계 정보 산출부(56)에서 얻어진 특징점 통계 정보를 기반으로 경증(mild), 중등도(moderate), 중증(severe), 간 경화 등의 간 지방증(liver steatosis)의 등급을 판정하기 위한 지방간 등급 판정부(58) 를 포함하여, 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 얻어진(획득된) 특징점들의 특징점 통계 정보를 이용하여 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
한편, 도 1에 도시된 본원의 일 실시예에 따른 초음파 지방간 자동 진단 장치(600)는 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 관심영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기(magnitude)를 갖는 후보 각도들을 구하여, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장하고 있는 표준 관심 영역 각도 변위 저장부(미도시)를 더 구비하고, 지방간 등급 판정부(58)의 또 다른 측면은, 환자의 초음파 이미지로부터 관심영역에 속한 특징점들을 구하고, 표준 관심 영역 각도 변위 저장부에 저장된 각도 변위 범위를 벗어나는 환자의 초음파 이미지의 관심영역에 속한 특징점들을 지방간 특징점으로 간주하고, 이들 지방간 특징점 개수를 지표로 사용하여 지방간 등급을 산정할 수 있다.
피팅 특징점 개수를 찾는 커브 피팅부(46)는 표준 신장 테두리 특징점들을 포함하는 표준 엣지(template edge) 성분과 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 2차원 공간 좌표상에서 스캔 비교하여 중복(중첩)되는 특징점 개수를 찾을(산출할) 수 있고, 이 때 신장 검색부(48)는 피팅 특징점 개수를 이용하여, 초음파 이미지로부터 신장의 위치를 찾을(검출할) 수 있다. 신장 검색부(48)에 의해 피팅 특징점 개수가 소정의 수치 이상이고 최대값인 좌표에 신장이 있는 것으로 판정될 수 있다.
도 3의 (a)와 도 3의 (b)는 표준 신장 테두리 특징점들을 연결하여 형성된 가상의 폐곡선에 대해, 커브 피팅(Curve fitting)을 수행하여 얻은 제2 피팅 곡선(232)과 제1 피팅 곡선(231)간의 유클리디안 거리(Euclidean distance)를 산출하는 예시를 나타낸 도면으로, 보다 구체적으로, 도 2의 피팅 거리 계산부(48b)에 의해 제1 피팅 곡선(231)과 제2 피팅 곡선(232)간의 거리를 계산하는 방법에 대한 두가지 예시를 도시하고 있다.
제2 피팅 곡선(232)에 의해 만들어진 폐곡선 모양(shape) 자체를 객체 "A2"(302)라고 하고, 제1 피팅 곡선(231)에 의해 만들어진 폐곡선 모양 자체를 객체 "A1"(301) 이라고 칭하자.
도 3의 (a)는 제2 피팅 곡선(232)과 제1 피팅 곡선(231)간의 상관 계수(correlation coefficient)를 이용하여 정렬한 후, 두 곡선간의 유클리디안 거리(Euclidean distance)를 산출하는 예시를 도시하고 있다. 도 3의 (a)를 참조하면, 제2 피팅 곡선(232)과 제1 피팅 곡선(231)간의 유클리디안 거리 산출은 객체 "A1"(301)과 객체 "A2"(302)간의 상관 계수(correlation coefficient)가 최대가 되는 위치에서 제2 피팅 곡선(232)과 제1 피팅 곡선(231)을 정렬한 후, 제2 피팅 곡선(232)의 무게 중심(240a)을 중심으로 하여 360도(360°) 회전하면서 두 곡선(231, 232)간의 거리 차이의 절대값의 합을 구하는(산출하는) 것이 선호된다.
도 3의 (b)는 제2 피팅 곡선(232)과 제1 피팅 곡선(231)의 무게 중심을 이용하여 정렬한 후, 두 곡선간의 유클리디안 거리(Euclidean distance)를 산출하는 예시를 도시하고 있다. 도 3의 (b)를 참조하면, 객체 "A1"의 무게 중심(240b)과 객체 "A2"의 무게 중심(240a)을 일치시키도록 제2 피팅 곡선과 제1 피팅 곡선을 정렬한 후, 제2 피팅 곡선의 무게 중심을 중심으로 하여 360도(360°) 회전하면서 두 곡선(231, 232)간의 거리 차이의 절대값의 합을 구함으로써 두 곡선간의 유클리디안 거리(Euclidean distance)를 산출할 수 있다.
도 4a는 도 1과 도2에 도시된 초음파 지방간 자동 진단 장치(600)의 특징점 검출부(32)의 일실시예로서, 특징점 검출부(32)는 초음파 이미지로부터 제1 가우시안 이미지(91)를 생성하는 표준편차1로 구성된 가우시안 필터1(81), 제2 가우시안 이미지(92)를 생성하는 표준편차1보다 큰 표준편차2로 구성된 가우시안 필터2(82), 제3 가우시안 이미지(93)를 생성하는 표준편차2보다 큰 표준편차3으로 구성된 가우시안 필터3(83), 제4 가우시안 이미지(94)를 생성하는 표준편차3보다 큰 표준편차4로 구성된 가우시안 필터4(84), 제5 가우시안 이미지(95)를 생성하는 표준편차4보다 큰 표준편차5로 구성된 가우시안 필터5(85) 및 제6 가우시안 이미지(96)를 생성하는 표준편차5보다 큰 표준편차6로 구성된 가우시안 필터6(86)로 구성된 가우시안 필터부(80); 제1 차등 이미지(101)를 얻기 위해 제1 가우시안 이미지(91)와 제2 가우시안 이미지(92)간의 픽셀별 뺄셈을 수행하고, 제2 차등 이미지(102)를 얻기 위해 제2 가우시안 이미지(92)와 제3 가우시안 이미지(93)간의 픽셀별 뺄셈을 수행하고, 제3 차등 이미지(103)를 얻기 위해 제3 가우시안 이미지(93)와 제4 가우시안 이미지(94)간의 픽셀별 뺄셈을 수행하고, 제4 차등 이미지(104)를 얻기 위해 제4 가우시안 이미지(94)와 제 5 가우시안 이미지(95)간의 픽셀별 뺄셈을 수행하고, 제5 차등 이미지(105)를 얻기 위해 제5 가우시안 이미지(95)와 제6 가우시안 이미지(96)간의 픽셀별 뺄셈을 수행하는 픽셀 뺄셈기(99); 및 제2 차등 이미지(102)와 함께 앞뒤로 이웃한 차등 이미지(제1 차등 이미지(101) 및 제3 차등 이미지(103))를 병렬로 동기화하여 스캔하는 3x3 크기를 갖는 제1 스캔 윈도우, 제2 스캔 윈도우, 제3 스캔 윈도우를 생성 제어하고, 스캔 윈도우들을 사용하여 이웃한 차등 이미지를 병렬 스캔하는 동안 최대 또는 최소 픽셀을 특징점으로 판단하는 최대 최소 픽셀 검색부(108)를 구비하여, 특징점들의 위치를 생성(검출)할 수 있다.
도 4b는 최대 최소 픽셀 검색부(108)의 일 실시예로, 제2 차등 이미지(102)와 함께 앞뒤로 이웃한 차등 이미지(제1 차등 이미지(101) 및 제3 차등 이미지(103))를 병렬로 동기화하여 스캔하기 위해 3x3 크기를 갖는 제1 스캔 윈도우(111), 제2 스캔 윈도우(112), 제3 스캔 윈도우(113)를 생성하고 제어하는 스캔 윈도우 제어부(110); 및 제2 스캔 윈도우(112)의 중심좌표의 픽셀값이 제1, 2, 3 스캔 윈도우 내의 모든 픽셀값 중(26개 픽셀들중) 최소인지 최대인지 파악하고, 그 절대값이 특징점 판별 기준 문턱치 이상인 경우을 유효 특징점으로 판단하는 특징점 판단부(115)를 구비하여, 초음파 이미지상의 특징점들의 좌표 위치 정보를 제공할 수 있다. 또한 도 4b는 상기 얻어진(획득된, 제공된) 특징점들의 좌표 위치 정보에 따른 특징점 위치에 '+' 표시가 중첩된 초음파 이미지(130)의 일 예를 도시하고 있다.
도 5는 특징점(300)을 중심으로 형성된 주변의 16x16 픽셀들로 구성된 패치 이미지들의 일 예를 보인다. 패치 이미지는 제1 서브 패치이미지(300a), 제2 서브 패치이미지(300b) 및 제3 서브 패치이미지(300c) 중 선택된 어느 하나의 이미지로 구성될수 있다.
본 예시는 제1 서브패치 이미지(300a)는 특징점(300)을 중심으로 형성된 주변의 16x16 픽셀들로 구성되고, 제2 서브패치 이미지(300b)는 특징점(300)을 중심으로 형성된 주변의 16x16 픽셀들로 구성된 이미지를 4등분하여 8x8 픽셀로 구성된 4개의 서브 이미지(sub image)로 구성되고, 제3 서브패치 이미지(300c)는 특징점(300)을 중심으로 형성된 주변의 16x16 픽셀들로 구성된 이미지를 16등분하여 4x4 픽셀로 구성된 16개의 서브 이미지로 구성된 경우에 해당한다.
도 6은 서브 패치 이미지상의 각각의 픽셀마다, Gradient direction
Figure 112019077971218-pat00048
및 magnitude
Figure 112019077971218-pat00049
를 계산하고, 픽셀간에 유사 Gradient direction
Figure 112019077971218-pat00050
를 갖는 픽셀들끼리의 magnitude
Figure 112019077971218-pat00051
를 합산한 결과로 얻어진(획득된) 각도정보 {
Figure 112019077971218-pat00052
,
Figure 112019077971218-pat00053
}를 테이블(250) 형태로 도시하고 있다.
본 실시예에 따르면, 유사 Gradient direction
Figure 112019077971218-pat00054
는 45도(45°) 간격으로 배정될 수 있다. 즉, 이경우, 0°≤ θ ≤44°, 45°≤ θ ≤89°, ... ,315°≤ θ ≤359° 로 8개의 각도 구간이 발생하며, 도 6을 참조하면, 0°≤ θ ≤44° 구간에 속한 Gradient direction
Figure 112019077971218-pat00055
를 갖는 magnitude
Figure 112019077971218-pat00056
를 합산한 결과는 m1이고, 45°≤ θ ≤89° 구간에 속한 Gradient direction
Figure 112019077971218-pat00057
를 갖는 magnitude
Figure 112019077971218-pat00058
를 합산한 결과는 m2이다.
따라서, 한 개의 서브 패치 이미지는 8개의 각도 정보를 갖는다.
만약 각도 정보 산출을 위해, 제2 서브패치를 사용한 경우, 각 특징점은 4개의 제2 서브패치 이미지를 포함하고 있으므로, 각 특징점은 총 32개의 각도 정보를 포함한다.
도 7은 본 발명에 따른 초음파 이미지상의 특징점들(Key points)을 이용한 초음파 지방간 자동 진단 장치(600)의 또 다른 실시예로, 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(30); 표준 초음파 사진들에 포함된 횡격막(diaphragm)의 특징점들과 각 특징점의 패치 이미지에 포함된 픽셀에 대한 각도 정보를 저장하고 있는 표준 횡격막 특징점 각도 정보 저장부(44a); 표준 횡격막 특징점들에 해당하는 각각의 패치 이미지들로부터 최대 크기(magnitude)를 갖는 후보 각도들을 구하여, 이들 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 표준 횡격 각도 변위 범위로서 저장하고 있는 표준 횡격막 각도 변위(displacement) 저장부(38a); 초음파 이미지상의 특징점들을 찾기 위한 특징점 검출부(32); 초음파 이미지의 특징점들의 패치(patch) 이미지로부터 패치 이미지 내의 각 이미지 픽셀들에 대한 각도(orientation) 정보를 산출하는 각도 정보 산출부(34); 표준 횡격막의 각도 변위 범위를 벗어나는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점(bad key points)들을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부(38); 각각의 맞출 특징점의 패치(patch) 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도(orientation) 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출하고, 주 회전각에 의해 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정하는 주 각도 보정부(40); 표준 횡격막 특징점들의 패치 이미지와 맞출 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치들을 이용해, 특징점들간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부(42a); 표준 횡격막 특징점들과 쌍을 이룬 맞출 특징점들에 대해, 타원 피팅(Ellipse fitting) 또는 커브 피팅(Curve fitting)을 수행하여 커브 피팅 곡선을 찾는 커브 피팅부(46a); 커브 피팅 곡선으로부터 횡격막 영역 이미지를 추출하는 횡격막 추출부(62); 커브 피팅 곡선과 커브 피팅에 참여한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 산출하는 피팅 거리 계산부(48c); 추출된 횡격막 영역 이미지의 위치로부터, 간(liver)의 상대적인 위치를 산정하여 초음파 이미지로부터 간(liver) 영역의 이미지를 찾아 추출하기 위한 간(liver) 영역 이미지 추출부(60); 추출된 간(liver) 영역 이미지의 픽셀 밝기와 추출된 횡격막 영역 이미지의 픽셀 밝기의 평균값을 계산하고, 이들 두 평균값의 비(ratio)인 "간 영역 대 횡격막 영역 이미지의 픽셀 밝기 비(intensity ratio)"를 계산하고, "간 영역 대 횡격막 영역 이미지의 픽셀 밝기 비(intensity ratio)"를 기반으로 경증(mild), 중등도(moderate), 중증(severe), 간경화 등의 간 지방증(liver steatosis)의 등급을 판정하는 지방간 등급 판정부(58a)를 포함하여, 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 얻어진 "간 영역 대 횡격막 영역 이미지의 픽셀 밝기 비(intensity ratio)"에 의해 환자의 간 지방증 (liver steatosis) 등급을 자동으로 판별할 수 있다.
도 8a는 시맨틱 분할을 이용한 나쁜 특징점 제거부(38)의 일실시예를 나타낸 도면으로, 나쁜 특징점 제거부(38)가 Parasagittal scan plane의 초음파 이미지(22)에 대해 시맨틱 분할을 수행하여 장기별로 서로 다른색을 사용하여 라벨링(labeling)한 초음파 이미지(120a)를 도시하고 있다.
도면 부호 26은 간(liver), 도면부호 25는 비장(spleen), 도면부호 24는 신장(Kidney), 도면부호 23은 횡격막(diaphragm)을 나타낸다.
도 8a를 참조하여 예를 들면, 나쁜 특징점 제거부(38)는 초음파 프로브 센서(30)로부터 얻어진 환자의 초음파 이미지(22)를 시맨틱 분할하여 신장(24) 영역을 검출하고, 특징점 검출부(32)에 의해 환자의 초음파 이미지상에서 얻어진 특징점들이 중첩되어 표시된 초음파 이미지(130)에 대해 나쁜 특징점 제거를 수행할 수 있다. 이 때, 나쁜 특징점 제거부(38)는 시맨틱 분할된 신장(24) 영역의 특징점들 외의 특징점들을 나쁜 특징점("Δ"로 표기)으로 간주하여 상기 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을 수 있다. 도면부호 132a는 나쁜 특징점(bad key points)들을 제거하여 얻은 맞출 특징점("x"로 표기)들을 초음파 이미지상에 중첩하여 표시한 일 예를 나타낸다.
도 8b는 초음파 이미지(22)의 엣지 성분을 이용한 나쁜 특징점 제거부의 일 실시예를 나타낸 도면으로, 나쁜 특징점 제거(38)가 Parasagittal scan plane의 초음파 이미지(22)에 대해 엣지 성분을 추출한 초음파 이미지(120b)의 일 실시예를 도시하고 있다.
도 8a를 참조하여 예를 들면, 나쁜 특징점 제거부(38)는 초음파 프로브 센서(30)로부터 얻어진 환자의 초음파 이미지(22)를 엣지 성분을 검출하고, 특징점 검출부(32)에 의해 환자의 초음파 이미지상에서 얻어진 특징점들이 중첩되어 표시된 초음파 이미지(130)에 대해 나쁜 특징점 제거를 수행할 수 있다. 나쁜 특징점 제거부(38)는 초음파 이미지(130)에 표시된 특징점들 중 엣지 성분 영역 외의 특징점들을 나쁜 특징점("Δ"로 표기)으로 간주하여 상기 초음파 이미지(130)에 표시된 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을 수 있다. 도면부호 132b는 소정의 나쁜 특징점들(bad key points)을 제거하여 얻은 맞출 특징점("x"로 표기)들을 초음파 이미지상에 중첩하여 표시한 일 예를 나타낸다.
도 8c는 엣지 디텍터(edge detector)에 의해 검출된 엣지 성분(520)의 폭(width)을 2차원 공간상에서 확장시켜, 폭이 확장된 엣지 성분(523)을 생성하기 위한 엣지 폭 확장 수단(530)의 일 실시예를 나타낸 도면이다. 도 8c를 참조하면, 엣지 폭 확장 수단(530)은 검출된 엣지 성분(520)으로부터 Blurred 엣지 성분(521)을 얻기 위한 저주파 필터(540, low pass filter) 및 Blurred 엣지 성분(521)에 대해 확장 폭을 조절하는 문턱치(threshold)를 설정하여, 문턱치 이상인 값만을 엣지 성분으로 판정하여 폭이 늘어난 엣지성분(523)을 얻는 엣지 판별부(541)를 포함할 수 있다.
도면부호 527a는 엣지 디텍터(edge detector)에 의해 검출된 실제의 엣지 성분(520)이 포함된 초음파 이미지를 나타내고, 도면부호 537b는 엣지 성분(520)의 폭(width)이 엣지 폭 확장 수단(530)에 의해 확장된 엣지 성분(523)을 포함하는 초음파 이미지를 나타낸다.
실제 엣지 성분(520)보다 확장된 엣지 성분(523)을 사용하는 경우, 나쁜 특징점이 제거되는 동안, 엣지 성분(520)에 바로 인접한 특징점들이 운 없이(제거되지 않는 것이 바람직함에도 불구하고) 제거되는 것을 방지할 수 있어, 커브 피팅과 신장 검색에 더 유리하다.
도 8d는 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들(즉, 최종 특징점을 의미함, "x"로 표기)과 표준 엣지 성분(552)을 서로 스캔닝하면서 비교하여 2차원 공간 좌표상에서 중복(중첩)되는 피팅 특징점 개수를 찾는 일 실시예를 도시하고 있다.
표준 엣지(552)는 표준 초음파 사진(551)에 포함된 신장 테두리의 특징점들을 모두 포함하는 엣지 성분을 말한다.
표준 엣지의 엣지폭은 초음파 이미지의 다양한 변동(변동 가능성) 즉, 다양성을 고려하여 실제 엣지 폭(width)보다 크게 설정하여, 스캔 시 신장 검색에 유리하도록 한다. 다시 말해, 표준 엣지의 엣지폭을 확장시켜 이용함으로써, 향후 신장 검색에 이용될 수 있는 특징점들이 제거되지 않을 수 있고, 이로 인해, 신장 검색이 보다 용이해질 수 있다.
도면부호 555는 최종 특징점들("x"로 표기)이 표시된 이미지(137)와 표준 엣지 (552)를 스캔 비교할 때, 중복되는 피팅 특징점 개수가 최대가 되었을때의 중첩 이미지를 나타낸다. 많은 최종 특징점들이 표준 엣지(552)상에 중첩된 것을 확인할 수 있다.
도 8e는 표준 엣지(552)를 이용하여 최종 특징점들(137)로부터 피팅 특징점 개수를 산출하여 초음파 이미지상의 신장 위치를 검색하는 과정의 일 실시예를 나타내고 있다.
도면부호 130은 특징점 검출부(32)에 의해 환자의 초음파 이미지상에서 얻어진 특징점들을 편의상 초음파 이미지상에 중첩하여 표시한 초음파 이미지이다.
도면부호 120b는 상기 초음파 이미지의 엣지 성분을 나타낸다.
도면부호 132b는 초음파 이미지(130)의 특징점들 중 엣지 성분(120b) 영역 외의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지(130)의 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻은 일 예를 나타낸다. 초음파 이미지(130)의 특징점들(130)에 포함된 많은 나쁜 특징점들이 제거된 것을 확인할 수 있다.
이후, 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들이 얻어질 수 있다. 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들은 최종 특징점들(137)이 된다.
최종 특징점들(137)은 표준 신장 테두리 특징점들과 쌍을 이룬 특징점들이기 때문에 초음파 이미지의 신장 테두리상에 존재할 가능성이 더욱 높아진다.
이후, 표준 초음파 사진(551)에 포함된 신장 테두리의 특징점들을 모두 포함하는 표준 엣지(552)가 추출될 수 있다.
이후, 커브 피팅부(46)는 최종 특징점들(137)과 표준 엣지(552) 성분을 서로 스캔(스캐닝, scanning)하면서 비교하여 2차원 공간 좌표상에서 중복(중첩)되는 피팅 특징점 개수를 찾을 수 있다.
최종 특징점들(137)과 표준 엣지(552) 성분을 스캔 비교할 때, 중복되는 피팅 특징점 개수가 최대가 되었을 때의 좌표 위치가 신장의 위치가 된다.
도 9는 본 발명에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치(600)가 원격 의료 진단 시스템(700)에 상주하는 인공지능형 가상 의사(79)를 통해 환자의 의료영상 데이터를 자동 분석하여 진단하는 일 실시예를 나타낸 도면이다. 도 9를 참조하면, 본원의 일 실시예에 따른 원격 의료 진단 시스템(700)은 초음파 프로브 센서(30)를 구비한 초음파 의료장비(3); 초음파 의료장비(3)내에 집적화되어, 초음파 의료장비(3a)에 의해 측정된 환자의 의료영상 데이터를 무선 송신하는 무선 송출부(3a); 무선 송출부(3a)로부터 송출된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 판별하는 본원의 다양한 실시예에 따른 초음파 지방간 자동 진단 장치(600); 초음파 의료장비(3)의 사용 상황을 모니터링하기 위한 카메라(61), 초음파 의료장비(3)의 제품 ID를 무선으로 인증하는 제1 인증부(67), 초음파 의료장비(3)로부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부(63), 통신 네트워크(202)를 통해 초음파 이미지와 초음파 의료장비(3)의 제품 ID를 원격 진단 서버(203)로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부(64) 및 의료 전문가와의 상담 서비스를 제공하는 제1 상담 서비스부(65)를 구비한 사용자 단말기(400); 초음파 지방간 자동 진단 장치(600)와 사용자 단말기(400)에 대한 연결을 제공하는 통신 인터페이스(602); 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 초음파 의료장비(3)에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝(Deep learning) 학습된 인공 지능 신경망(70); 사용자 단말기(400)상에 소프트웨어 형태로 상주하여 초음파 의료장비(3)의 사용방법을 안내하거나 지시하는 안내부(71) 및 상기 초음파 의료장비(3)에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 딥런닝 학습 완료된 인공지능 신경망(70)에 의해 자동 분석하여 진단결과를 출력하는 진단부(72)를 구비한 가상 의사(79); 및 통신 네트워크(202)를 통해 의료 영상 데이터 내지 초음파 이미지를 수신하는 수신부(미도시) 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비하는 의료 전문가 단말기(200)를 포함하는 원격 의료 진단 시스템(700)을 구비할수 있다.
안내부(71)는 카메라(61)에 의해 상기 초음파 의료장비(3)의 사용상황을 실시간 모니터링하여 사용자에게 초음파 의료장비(3)의 사용방법을 안내하거나 지시할 수 있다.
의료 전문가 단말기(200)는 카메라(14), 마이크(15) 및 마우스(11)를 구비한 것이 선호 된다.
이하에서는 상술한 내용을 기반으로 본원의 다양한 실시예에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치에 대하여 간단히 정리하기로 한다.
본원의 일 실시예에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치(600)(이하 '본 초음파 지방간 자동 진단 장치'라 함)는 초음파 프로브 센서(probe sensor)(30), 표준 신장 특징점 각도 정보 저장부(44), 특징점 검출부(32), 각도 정보 산출부(34), 나쁜 특징점 제거부(38), 주(major) 각도 보정부(40), 특징점 쌍 형성부(42), 커브 피팅부(46), 신장 검색부(48), 관심영역 추출부(50) 및 지방간 등급 판정부(58)를 포함할 수 있다.
초음파 프로브 센서(30)는 환자로부터 초음파 이미지를 얻을 수 있다. 달리 표현하여, 초음파 프로브 센서(30)는 환자의 초음파 이미지를 획득할 수 있다.
표준 신장 특징점 각도 정보 저장부(44)는 표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 각 특징점의 패치(patch) 이미지에 포함된 픽셀들에 대한 각도(orientation) 정보를 저장할 수 있다.
본원에서 초음파 이미지의 특징점 주변의 픽셀들을 모아서 얻은 작은 이미지를 패치(patch) 이미지라 칭한다.
여기서 표준 초음파 사진은 정상 지방간 등급의 초음파 사진을 의미할 수 있다.
각도 정보는 각도 정보 산출부(34)에 의해 특징점에 대해 산출되는 각도 정보와 동일 또는 유사하게 정의될 수 있다.
특징점 검출부(32)는 초음파 이미지 내지 초음파 이미지의 엣지(edge) 성분으로부터 특징점들을 찾을 수 있다. 달리 표현하여, 특징점 검출부(32)는 초음파 이미지 내지 초음파 이미지의 엣지 성분으로부터 특징점을 검출(추출)할 수 있다.
도 4a를 참조하면, 특징점 검출부(32)는 가우시안 필터부(80), 픽셀 뺄셈기(99) 및 최대 최소 픽셀 검색부(108)를 포함할 수 있다.
가우시안 필터부(80)는 가우시안 이미지를 생성할 수 있다. 도 4a를 참조하여 예를 들면, 가우시안 필터부(80)는 제1 가우시안 이미지(91)를 생성하는 가우시안 필터 1(81), 제2 가우시안 이미지(92)를 생성하는 가우시안 필터 2(82), 제3 가우시안 이미지(93)를 생성하는 가우시안 필터 3(83), 제4 가우시안 이미지(94)를 생성하는 가우시안 필터 4(84), 제5 가우시안 이미지(95)를 생성하는 가우시안 필터 5(85) 및 제6 가우시안 이미지(96)를 생성하는 가우시안 필터 6(86)을 포함할 수 있다.
픽셀 뺄셈기(99)는 가우시안 이미지간의 픽셀별 뺄셈을 수행하여 차등 이미지를 획득할 수 있다. 도4의 (a)를 참조하여 예를 들면, 픽셀 뺄셈기(99)는, 제1 가우시안 이미지(91)와 제2 가우시안 이미지(92)간의 픽셀별 뺄셈을 수행하여 제1 차등 이미지(101)를 획득할 수 있다. 또한, 픽셀 뺄셈기(99)는 제2 가우시안 이미지(92)와 제3 가우시안 이미지(93)간의 픽셀별 뺄셈을 수행하여 제2 차등 이미지(102)를 획득할 수 있다. 또한, 픽셀 뺄셈기(99)는 제3 가우시안 이미지(93)와 제4 가우시안 이미지(94)간의 픽셀별 뺄셈을 수행하여 제3 차등 이미지(103)를 획득할 수 있다. 또한, 픽셀 뺄셈기(99)는 제4 가우시안 이미지(94)와 제5 가우시안 이미지(95)간의 픽셀별 뺄셈을 수행하여 제4 차등 이미지(104)를 획득할 수 있다. 또한, 픽셀 뺄셈기(99)는 제5 가우시안 이미지(95)와 제6 가우시안 이미지(96)간의 픽셀별 뺄셈을 수행하여 제5 차등 이미지(105)를 획득할 수 있다.
도 4b를 참조하면, 최대 최소 픽셀 검색부(108)는 스캔 윈도우 제어부(110) 및 특징점 판단부(115)를 포함할 수 있다.
스캔 윈도우 제어부(110)는 초음파 이미지상의 특징점을 찾기 위해 차등 이미지와 함께 앞뒤로 이웃한 차등 이미지를 병렬로 동기화하여 스캔하는 스캔 윈도우를 생성하고 제어할 수 있다. 달리 표현하여, 스캔 윈도우 제어부(110)는 차등 이미지 및 그와 앞뒤로(전후로) 이웃한 차등 이미지를 병렬로 동기화하여 스캔하는 스캔 윈도우를 생성 및 제어할 수 있다. 이 때 스캔 윈도우는 복수개 생성될 수 있다. 도 4b를 참조하여 예를 들면, 스캔 윈도우 제어부(110)는 제2 차등 이미지(102) 및 그와 앞뒤로 이웃한 차등 이미지 즉, 제1 차등 이미지(101) 및 제3 차등 이미지(103)를 병렬로 동기화하여 스캔하기 위한 3×3 크기의 제1 스캔 윈도우(111), 제2 스캔 윈도우(112) 및 제3 스캔 윈도우(113)를 생성하고 제어할 수 있다.
특징점 판단부(115)는 스캔 윈도우 제어부(110)에 의해 생성된 스캔 윈도우의 중심좌표의 픽셀값이 스캔 윈도우 내의 모든 픽셀값들 중에서 최소인지 최대인지 여부를 파악하고, 그 절대값이 특징점 판별 기준 문턱치 이상인 경우를 유효 특징점으로 판단할 수 있다. 도 4b를 참조하여 예를 들면, 특징점 판단부(115)는 제2 스캔 윈도우(112)의 중심좌표의 픽셀값이 제1 스캔 윈도우, 제2 스캔 윈도우 및 제3 스캔 윈도우 내의 모든 픽셀값(26개 픽셀들의 픽셀값) 중 최소인지 최대인지 여부를 파악할 수 있다. 여기서, 스캔 윈도우 내의 모든 픽셀값에서 중심좌표에 해당하는 픽셀값은 제외될 수 있다. 또한, 특징점 판단부(115)는 중심좌표의 픽셀값의 절대값이 특징점 판별 기준 문턱치 이상인 경우, 해당 픽셀을 유효 특징점으로 판단할 수 있다. 특징점 검출부(32)는 유효 특징점으로 판단된 초음파 이미지상의 특징점들의 좌표 위치 정보를 제공할 수 있다. 도 4b는 특징점들의 좌표 위치 정보에 따른 특징점 위치에 '+' 표시가 중첩된 초음파 이미지(130)의 일 예를 도시하고 있다.
각도 정보 산출부(34)는 초음파 이미지의 특징점들의 패치 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도(orientation) 정보를 산출할 수 있다. 본원에서 각도 정보는 패치 이미지 내의 픽셀들로부터 계산된 Gradient direction
Figure 112019077971218-pat00059
와 크기(magnitude)
Figure 112019077971218-pat00060
의 집합인
Figure 112019077971218-pat00061
로 정의되고, 다음 식에 의해 계산된다.
[수학식]
Figure 112019077971218-pat00062
위 식에서
Figure 112019077971218-pat00063
는 패치 이미지 내의 픽셀 좌표 (x, y)에 있어서의 가우시안 이미지상의 픽셀의 세기(intensity)임이 바람직하다.
Gradient direction
Figure 112019077971218-pat00064
의 크기 성분은 해당 좌표 (x, y)에서의 magnitude
Figure 112019077971218-pat00065
에 의해 결정된다.
도 5를 참조하여 예를 들면, 각도 정보 산출부(34)는 특징점들의 각도 정보
Figure 112019077971218-pat00066
를 계산하기 위해 우선 각 특징점 주변의 16x16 픽셀들로 제1 서브 패치 이미지(300a)를 구성할 수 있다. 또한, 각도 정보 산출부(34)는 제1 서브 패치 이미지(300a)를 4등분하여 8x8 픽셀로 구성된 4개의 제2 서브 패치 이미지(300b)를 구성할 수 있다. 또한, 각도 정보 산출부(34)는 제1 서브 패치 이미지(300a)를 16등분하여 4x4 픽셀로 구성된 16개의 제3 서브 패치 이미지(300c)를 구성할 수 있다.
각도 정보 산출부(34)는 각 서브 패치 이미지 내의 모든 픽셀마다 위 식을 이용하여 Gradient direction
Figure 112019077971218-pat00067
및 magnitude
Figure 112019077971218-pat00068
를 계산하고, 이후 각 서브 패치 이미지 내의 픽셀간에 유사 Gradient direction
Figure 112019077971218-pat00069
를 갖는 픽셀들끼리의 magnitude
Figure 112019077971218-pat00070
를 합산한 결과로 얻어진 집합 {
Figure 112019077971218-pat00071
,
Figure 112019077971218-pat00072
}를 해당 서브 패치의 각도 정보로 삼을(산출할) 수 있다.
나쁜 특징점 제거부(38)는 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여 맞출 특징점들을 얻을 수 있다. 달리 표현하여, 나쁜 특징점 제거부(38)는 초음파 이미지로부터 검출된 특징점들로부터 나쁜 특징점들을 제거하여 맞출 특징점들을 획득할 수 있다.
도 1 내지 도 2를 참조하면, 나쁜 특징점 제거부(38)는 엣지 디텍터(edge detector) 및 엣지 특징점 중복 판정부를 포함할 수 있다. 또한, 나쁜 특징점 제거부(38)는 엣지 폭 확장 수단(530)을 더 구비할 수 있다.
엣지 디텍터(edge detector)(36a)는 초음파 이미지에 포함된 엣지 성분들을 검출할 수 있다.
엣지 폭 확장 수단(530)은 엣지 디텍터(36a)에 의해 검출된 엣지 성분의 폭(width)을 2차원 공간상에서 확장시켜 폭이 확장된 엣지 성분을 생성할 수 있다. 실제 엣지 성분보다 확장된 엣지 성분을 사용하는 경우, 나쁜 특징점이 제거되는 동안, 엣지 성분에 바로 인접한 특징점들이 운 없이(제거되지 않는 것이 바람직함에도 불구하고) 제거되는 것을 방지할 수 있어, 커브 피팅과 신장 검색에 있어서 더 유리하다. 다시 말해, 엣지 폭 확장 수단(530)에 의해 확장된 엣지 성분을 사용하여 나쁜 특징점 제거부(38)가 나쁜 특징점들을 제거함으로써, 커브 피팅부(46) 및 신장 검색부(48)가 각각 커브 피팅을 수행하고 신장(신장의 위치)를 검색할 때(찾을 때), 엣지 성분과 인접한 특징점들을 활용할 수 있게 되어 신장의 위치를 보다 효과적이고 정확하게 검색(검출)할 수 있다.
엣지 특징점 중복 판정부(36b)는 엣지 성분과 초음파 이미지의 특징점들이 2차원 초음파 이미지 공간 좌표상에서 중복되는지 여부를 체크(확인, 판정)할 수 있다.
이로 인해, 나쁜 특징점 제거부(38)는 엣지 성분과 중복되지 않는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지로부터 얻어진(획득된) 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을(획득할) 수 있다. 즉, 나쁜 특징점은 엣지 성분과 중복되지 않는 초음파 이미지의 특징점을 의미할 수 있다.
또한, 나쁜 특징점 제거부(38)는 초음파 이미지로부터 신장의 위치를 찾기 위해 시맨틱 분할(Semantic Segmentation)을 수행하는 인공 신경망(미도시)을 구비할 수 있다. 이 경우, 나쁜 특징점 제거부(38)는 표준 신장 이미지들에 의해 인공 신경망을 학습시키고, 이후 초음파 이미지를 시맨틱 분할하여 신장 영역을 검출하고, 특징점 검출부(32)에 의해 초음파 이미지상에서 얻어진(획득된) 특징점들 중 시맨틱 분할된 신장 영역의 특징점들 외의 특징점들을 나쁜 특징점으로 간주하여 특징점들로부터 나쁜 특징점들을 제거하여, 맞출 특징점들을 얻을(획득할) 수 있다. 여기서 시맨틱 분할되는 초음파 이미지는 초음파 프로브 센서(30)로부터 얻어진(획득한) 환자의 초음파 이미지를 의미한다. 달리 표현하여, 초음파 이미지는 초음파 프로브 센서(30)로 입력되는 환자의 초음파 이미지일 수 있다. 또한, 시맨틱 분할된 신장 영역의 특징점들은 시맨틱 분할된 신장 영역에 포함되는 특징점들을 의미할 수 있다.
나쁜 특징점 제거부(38)에 의해 초음파 이미지상에 포함된 나쁜 특징점들이 사전에 제거됨으로써 특징점 쌍 형성부(42)의 계산(연산) 부담이 감소될 수 있다.
주 각도 보정부(40)는 각각의 맞출 특징점의 패치 이미지 내의 픽셀들에 대한 각도 정보를 기반으로 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출할 수 있다. 또한, 주 각도 보정부(40)는 주 회전각에 의해 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정할 수 있다.
본원에서 주 각도 보정부(40)는 예를 들어, 상술한 제1 서브 패치 이미지 내에 포함된 256개의 픽셀들에 대한 각도 정보를 기반으로 각도에 대한 256개의 픽셀들의 magnitude
Figure 112019077971218-pat00073
의 누적을 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 할 수 있다. 여기서 주 회전각은 상기 히스토그램에서 최대값을 갖는 각도를 의미할 수 있다. 즉, 주 회전각은 히스토그램에서 최대 넓이의 막대에 대응되는 각도를 의미할 수 있다.
본원에서 주 각도 보정은
Figure 112019077971218-pat00074
로부터 주 회전각을 빼줌으로써 이루어질 수 있다. 다시 말해, 주 각도 보정부(40)는 맞출 특징점의 패치 이미지 내의 픽셀들의 각도
Figure 112019077971218-pat00075
로부터 주 회전각을 빼는 주 각도 보정을 수행할 수 있다. 주 각도 보정부(40)에 의해 맞출 특징점의 패치 이미지 내의 픽셀들의 각도가 보정되고 나면, 맞출 특징점의 패치 이미지의 주 각도(주 회전각)는 0도(0°)가 된다.
본원에서 표준 신장 특징점, 표준 신장 테두리 특징점, 정상 간 지방증 환자의 관심영역의 특징점(정상 등급의 지방간 수치를 갖는 표준 초음파 사진의 관심영역의 특징점) 및 표준 횡격막 특징점의 각도 정보들은 주 회전각이 0도(0°)가 되도록 보정된 것이 사용될 수 있다.
특징점 쌍 형성부(42)는 표준 신장 테두리 특징점들의 패치 이미지와 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치 이미지들에 속한 표준 신장 테두리 특징점들과 맞출 특징점들간의 특징점 쌍(a pair of feature points)을 형성할 수 있다.
다시 말해, 특징점 쌍 형성부(42)는 표준 신장 테두리 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보와 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 비교하여 기 설정된 유사도 이상의 유사도를 갖는 경우, 해당 특징점들간의 특징점 쌍을 형성할 수 있다. 각도 정보 유사도 판별 기법과 관련하여서는 상술하였으므로 자세한 설명은 생략하기로 한다.
한편, 본원에서 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들은 최종 특징점이라 지칭될 수 있다.
커브 피팅부(46)는 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들(최종 특징점들)을 연결하여 형성된 가상의 폐곡선에 대하여 타원 피팅(Ellipse fitting) 내지 커브 피팅(Curve fitting)을 수행하여 제1 피팅 곡선을 찾거나(생성 또는 획득), 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들과 표준 엣지 성분을 서로 스캐닝(scanning)하면서 비교하여 2차원 공간 좌표상에서 중복(중첩)되는 피팅 특징점 개수를 찾을(산출할) 수 있다.
또한, 커브 피팅부(46)는 표준 신장 테두리 특징점들을 포함하는 표준 엣지(template edge) 성분과 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 2차원 공간 좌표상에서 스캐닝하면서 비교하여 중복(중첩)되는 특징점 개수를 찾을(산출할) 수 있다.
본원에서 표준 엣지(template edge)는 표준 초음파 사진들에 포함된 신장 테두리의 특징점들을 모두 포함하는 엣지 성분을 의미한다. 한편, 표준 엣지의 엣지 폭은 초음파 이미지의 다양한 변동(변동 가능성)을 고려하여 실제 엣지 폭(width)보다 크게 설정되는 것이 바람직하다. 이 경우, 스캔(스캐닝) 시, 실제 엣지 폭을 그대로 사용하는 경우에 비해, 신장 검색이 보다 유리할 수 있다.
한편, 타원 피팅 및 커브 피팅에는 기 개발된 또는 향후 개발될 다양한 타원 피팅 알고리즘 및 커브 피팅 알고리즘이 적용될 수 있다.
신장 검색부(48)는 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 초음파 이미지로부터 신장의 위치를 찾을(검출할) 수 있다.
도 1 및 도 2를 참조하면, 신장 검색부(48)는 피팅 거리 계산부(48b) 및 피팅 유사도 판별부(48a)를 포함할 수 있다.
피팅 거리 계산부(48b)는 제1 피팅 곡선과 피팅에 참여(관여)한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 피팅 거리로서 산출할 수 있다. 여기서 피팅에 참여한 맞출 특징점들은 특징점 쌍 형성부(42)에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들(최종 특징점들)을 의미할 수 있다. 즉, 피팅에 참여한 맞출 특징점들은 타원 피팅(Ellipse fitting) 내지 커브 피팅(Curve fitting)된 가상의 폐곡선을 형성한 맞출 특징점들을 의미할 수 있다.
피팅 유사도 판별부(48a)는 피팅 거리로부터 피팅 곡선과의 유사도를 판별할 수 있다.
예를 들어, 피팅 거리 계산부(48b)에 의해 계산된 유클리디안 거리가 소정의 값보다 큰 경우, 피팅 유사도 판별부(48a)는 초음파 이미지상에 신장 영역 이미지가 없는 것으로 판별(판정)할 수 있다. 달리 표현하여, 피팅 유사도 판별부(48a)에 의해 제1 피팅 곡선과 피팅에 참여한 맞출 특징점간에 피팅 유사도가 큰 것으로 판별된 경우, 초음파 이미지상에 신장이 있는 것으로 판단될 수 있다. 다른 예로, 신장 검색부(48)는 제1 피팅 곡선의 직경, 장축(major axis)과 단축(minor axis)의 길이 또는 피팅 곡선의 모양 등이 표준 신장 테두리와 유사한 경우 신장이 있는 것으로 판단할 수 있다.
또한, 피팅 거리 계산부(48b)는 표준 신장 테두리 특징점들을 연결하여 형성된 가상의 폐곡선에 대해, 커브 피팅(Curve fitting)을 수행하여 얻은 제2 피팅 곡선과 제1 피팅 곡선간의 유클리디안 거리(Euclidean distance)를 피팅 거리로서 산출할 수 있다. 이 때, 피팅 유사도 판별부(48a)는 피팅 거리로부터 제1 피팅 곡선과 제2 피팅 곡선간의 유사도를 판별할 수 있다.
여기서, 피팅 유사도 판별에는 제1 피팅 곡선과 제1 피팅 곡선 형성(피팅)에 참여한 맞출 특징점간의 유클리디안 거리의 합 내지 제1 피팅 곡선과 제2 피팅 곡선간의 유클리디안 거리의 합이 사용되는 것이 바람직하다. 이 때, 유클리디안 거리의 합이 작을수록 피팅 유사도가 큰 것으로 판정될 수 있다. 한편, 피팅 유사도 판별 기법과 관련하여서는 상술하였으므로, 자세한 설명은 생략하기로 한다.
또한, 신장 검색부(48)는 피팅 특징점 개수를 이용하여 초음파 이미지로부터 신장의 위치를 찾을(검출할) 수 있다. 여기서 피팅 특징점 개수는 특징점 쌍 형성부(42)에 의해 표준 신장 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들(최종 특징점들)과 표준 엣지 성분과의 스캔(scan) 비교를 통해(스캐닝하면서 비교하여) 획득(산출)된 2차원 공간 좌표상에서 서로 중복(중첩)되는 특징점 개수를 의미한다.
신장 검색부(48)는 피팅 특징점 개수가 소정의 수치(개수) 이상이라는 조건을 만족하면서, 동시에 피팅 특징점 개수가 최대인 좌표 지점에 신장이 있는 것으로 판정할 수 있다.
관심영역 추출부(50)는 검색된 신장(신장의 위치)를 중심으로 하여, 환자의 초음파 이미지상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출할 수 있다.
본원에서 공간 어드레싱은 초음파 이미지상에서 신장 위치가 파악된 경우, 신장 위치를 중심으로, 인간 신체 구조상의 물리적 공간 위치의 상관 관계를 이용하여, 간의 위치, 비장의 위치 등의 알고 싶은 장기(장기 영역)의 위치를 파악하는 과정을 말한다.
본원에서 관심영역은 초음파 이미지에서 간(liver) 실질 영역, 신장(kidney) 실질 영역, 우문맥(right portal vein, RPV), 간정맥(hepatic vein), 비장(spleen), 횡격막(diaphragm), 신장의 신우(renal pelvis) 영역 및 신장의 신동(renal sinus) 영역 중 어느 하나 이상의 영역임이 바람직하다. 달리 표현하여, 관심영역은 초음파 이미지에서 간(liver) 실질 영역의 이미지, 신장(kidney) 실질 영역의 이미지, 우문맥(right portal vein, RPV) 영역의 이미지, 간정맥(hepatic vein) 영역의 이미지, 비장(spleen) 영역의 이미지, 횡격막(diaphragm) 영역의 이미지, 신장의 신우(renal pelvis) 영역의 이미지 및 신장의 신동(renal sinus) 영역의 이미지 중 선택된 어느 한 개 이상의 이미지 영역을 의미할 수 있다.
지방간 등급 판정부(58)는 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
지방간 등급 판정부(58)는 이미지 통합부(52) 및 인공 신경망(54)을 포함할 수 있다.
이미지 통합부(52)는 표준 초음파 사진의 관심영역 내지 초음파 이미지의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성할 수 있다.
인공 신경망(54)은 통합 이미지에 의해 딥런닝(딥러닝, deep learning) 학습될 수 있다.
본 초음파 지방간 자동 진단 장치(600)는 딥런닝 학습된 인공 신경망()54을 사용하여, 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 얻어진(획득된) 통합 이미지를 기반으로 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
또한, 도 2를 참조하면, 본 초음파 지방간 자동 진단 장치(600)는 표준 특징점 통계 정보 저장부(57) 및 특징점 통계 정보 산출부(56)를 포함할 수 있다.
표준 특징점 통계 정보 저장부(57)는 표준 초음파 사진들에서 신장 영역의 특징점들과 신장 영역을 제외한 관심영역의 특징점들에 대한 통계 정보를 저장할 수 있다. 표준 특징점 통계 정보 저장부(57)에 저장된 통계 정보는 표준 특징점 통계 정보를 의미할 수 있다.
특징점 통계 정보 산출부(56)는 신장 검색부(48)로부터 검색(검출)된 신장 영역의 특징점들로부터 특징점 통계 정보를 산출하거나, 관심영역 추출부(50)로부터 추출된 관심영역의 특징점들로부터 특징점 통계 정보를 산출할 수 있다.
여기서 특징점 통계 정보는 초음파 이미지상에 지정된 임의의 영역에 포함된 특징점 개수, 피팅 특징점 개수, 특징점들에 대한 세기(intensity) 분포를 보여주는 히스토그램(histogram), 특징점들의 각도 변위, 특징점들의 각도 정보의 평균, 특징점들의 각도 정보의 분포 및 특징점들의 각도 정보의 표준편차 중 적어도 일부를 포함할 수 있다.
지방간 등급 판정부(58)는 표준 특징점 통계 정보와 특징점 통계 정보 산출부(56)에서 얻어진(산출된) 특징점 통계 정보를 기반으로 경증(mild), 중증도(moderate), 중증(severe), 간경화 등의 간 지방증(liver steatosis) 등급을 판정할 수 있다. 즉, 본 초음파 지방간 자동 진단 장치(600)는 초음파 프로브 센서(30)로부터 입력되는 환자의 초음파 이미지로부터 얻어진(획득된) 특징점들의 특징점 통계 정보를 이용하여 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별할 수 있다.
예를 들어, 지방간 등급 판정부(58)는 환자의 초음파 이미지의 신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역에 포함된 통계 정보 대비 비(非) 신장 영역에 포함된 통계 정보의 상대적 비율 또는 환자의 초음파 이미지의 신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역에 포함된 특징점 개수 대비 비 신장 영역에 포함된 특징점 개수의 상대적 비율을 산출하여 지방간(간 지방증) 등급을 판정할 수 있다.
보다 구체적으로 예를 들면, 지방간 등급 판정부(58)는 통계 정보 중 특징점들의 각도 정보의 평균을 이용할 수 있다. 즉, 지방간 등급 판정부(58)는 신장 영역(신장 실질 내지 신장 테두리 영역)에 포함된(속한) 특징점들의 각도의 평균값과 비 신장 영역에 포함된(속한) 특징점들의 각도의 평균값간의 비율을 이용하여 지방간 등급을 판정할 수 있다.
다른 측면의 지방간 등급 판정부(58)는 환자의 초음파 이미지의 신장 영역(신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역)에 포함된 특징점(신장 특이점) 개수 대비 비 신장 영역에 포함된 특징점(비 신장 특이점) 개수의 상대적 비율을 계산하여 간 지방증 등급을 판정(판별)할 수 있다. 예를 들어, 표준 초음파 사진으로 지방간 등급이 정상(normal) 등급인 초음파 이미지가 사용되는 경우, 상기 환자의 초음파 이미지로부터 계산된 비율이 표준 초음파 사진으로부터 계산된 비율과 차이가 커질수록, 상기 환자의 지방간 등급을 경증(mild), 중증도(moderate), 중증(sever) 순으로 점차 올려서 판정할 수 있다. 즉, 정상 등급에 대응되는 표준 초음파 사진의 비율(신장 특이점 개수 대비 비 신장 특이점 개수의 비율)과 차이가 클수록 정상 등급과 차이가 많이 나는 등급(간경화 등급에 가까운 등급)임을 의미할 수 있다.
또한, 본 초음파 지방간 자동 진단 장치(600)는 표준 관심영역 각도 변위 저장부를 더 구비할 수 있다. 표준 관심영역 각도 변위 저장부는 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 관심영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기(magnitude)를 갖는 후보 각도들을 구하여, 이러한 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장할 수 있다. 본원에서 각도 변위 정보는 각각의 패치 이미지들로부터 magnitude
Figure 112019077971218-pat00076
의 최대치를 갖는 픽셀들의 Gradient direction
Figure 112019077971218-pat00077
를 후보 각도로 취하고, 이러한 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이로 정의될 수 있다. 각도 변위 정보는 각도 변위 범위를 의미할 수 있다.
지방간 등급 판정부(58)는 환자의 초음파 이미지로부터 관심영역에 속한(포함된) 특징점들을 구하고(검출하고), 표준 관심 영역 각도 변위 저장부에 저장된 각도 변위 범위를 벗어나는 환자의 초음파 이미지의 관심 영역에 속한 특징점들을 지방간 특징점으로 간주하고, 이러한 지방간 특징점 개수를 지표로 사용하여 지방간 등급을 산정(판정)할 수 있다.
지방간 등급이 높아질수록, 관심영역 내의 지방간 특징점 개수가 정상(normal) 등급의 초음파 이미지의 경우보다 상대적으로 크게 변동할 것이 자명하다. 다시 말해, 지방간 특징점 개수가 많을수록 지방간 등급이 높은 것으로 판정될 수 있다. 참고로 지방간 등급은 정상, 경증, 중증도, 중증, 간경화 순으로 높아질 수 있다.
예를 들어, 관심영역이 간(liver) 영역으로 설정된 경우, 본 초음파 지방간 자동 진단 장치(600)는 표준 간(liver) 각도 변위 저장부를 더 구비할 수 있다. 표준 간(liver) 각도 변위 저장부는 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 간(liver) 영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여(검출하여), 이러한 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장할 수 있다. 지방간 등급 판정부(58)는 환자의 초음파 이미지로부터 간(liver) 영역에 속한 특징점들을 구하고, 표준 간(liver) 각도 변위 저장부에 저장된 각도 변위 범위를 벗어나는 환자의 초음파 이미지의 간 영역에 속한 특징점들을 지방간 특징점으로 간주하여, 이들 지방간 특징점 개수를 지표로 사용하여 지방간 등급을 산정할 수 있다.
한편, 도 7을 참조하면, 본 초음파 지방간 자동 진단 장치(600)는 초음파 프로브 센서(30), 표준 횡격막 특징점 각도 정보 저장부(44a), 표준 횡격막 각도 변위(displacement) 저장부(38a), 특징점 검출부(32), 각도 정보 산출부(34), 나쁜 특징점 제거부(38), 주 각도 보정부(40), 특징점 쌍 형성부(42a), 커브 피팅부(46a), 횡격막 추출부(62), 피팅 거리 계산부(48c), 관심영역 이미지 추출부(60) 및 지방간 등급 판정부(58a)를 포함할 수 있다.
이하에서는 상술한 실시예에서와 동일 또는 유사한 구성과 관련하여서는 생략된 내용이라고 하더라도 동일 또는 유사하게 적용될 수 있다.
표준 횡격막 특징점 각도 정보 저장부(44a)는 표준 초음파 사진들에 포함된 횡격막의 특징점들과 각 특징점의 패치 이미지에 포함된 픽셀들에 대한 각도 정보를 저장할 수 있다. 예를 들어, 횡격막의 특징점들은 횡격막 영역에 포함된(속한) 특징점들 또는 횡격막 테두리의 특징점을 의미할 수 있다.
표준 횡격막 각도 변위(displacement) 저장부(38a)는 표준 횡격막 특징점들에 해당하는 각각의 패치 이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여, 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 표준 횡격막 각도 변위 범위로서 저장할 수 있다. 다시 말해, 표준 횡격막 각도 변위 저장부(38a)는 정상 등급의 지방간 수치를 갖는 표준 초음파 사진들에서 횡격막 영역에 속한 특징점들의 각각의 패치 이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여(검출하여), 이러한 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 저장할 수 있다. 여기서 표준 횡격막 각도 변위 저장부(38a)에 저장되는 각도 변위 정보는 표준 횡격막 각도 변위 범위를 의미할 수 있다.
나쁜 특징점 제거부(58a)는 표준 횡격막 각도 변위 범위를 벗어나는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지로부터 얻어진(획득된) 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을(획득할) 수 있다. 달리 표현하여, 나쁜 특징점 제거부(58a)는 표준 횡격막 각도 변위 범위를 벗어나는 패치 이미지 내의 픽셀들을 소정의 비율 이상으로 포함하는 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 초음파 이미지로부터 얻어진(획득된, 검출된) 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻을(획득할) 수 있다. 즉, 나쁜 특징점들의 패치 이미지 내에는 표준 횡격막 각도 변위 범위를 벗어나는(표준 횡격막 각도 변위 범위에 포함되지 않는) 각도 정보를 가진 픽셀들이 소정의 비율 이상 포함될 수 있다.
특징점 쌍 형성부(42a)는 표준 횡격막 특징점들의 패치 이미지와 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 높은 패치 이미지들에 속한 표준 횡격막 특징점들과 맞출 특징점들간의 특징점 쌍(a pair of feature points)을 형성할 수 있다. 다시 말해, 특징점 쌍 형성부(42a)는 표준 횡격막 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보와 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 비교하여 기 설정된 유사도 이상의 유사도를 갖는 경우, 해당 특징점들간의 특징점 쌍을 형성할 수 있다.
커브 피팅부(46a)는 특징점 쌍 형성부(42a)에 의해 표준 횡격막 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 곡선에 대해, 커브 피팅(Curve fitting)을 수행하여 2차원 커브 피팅 곡선을 찾을(획득할) 수 있다.
횡격막 추출부(62)는 2차원 커브 피팅 곡선으로부터 횡격막 영역 이미지를 추출할 수 있다.
피팅 거리 계산부(48c)는 2차원 커브 피팅 곡선과 커브 피팅에 참여한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 산출할 수 있다.
관심영역 이미지 추출부(60)는 횡격막 추출부(62)에 의해 추출된 횡격막 영역 이미지의 위치로부터, 관심영역의 상대적인 위치를 산정하여 초음파 이미지로부터 관심영역의 이미지를 찾아 추출할 수 있다. 예를 들어, 관심영역이 간 영역으로 설정된 경우, 관심영역 추출부(60)는 간 영역 이미지 추출부(60)일 수 있다. 따라서, 간 영역 이미지 추출부(60)는 횡격막 영역 이미지의 위치로부터 간 영역의 상대적인 위치를 산정하여 초음파 이미지로부터 간 영역 이미지를 추출할 수 있다.
지방간 등급 판정부(58a)는 추출된 관심영역에 속한 픽셀들의 평균 밝기와 추출된 횡격막 영역에 속한 픽셀들의 평균 밝기를 계산하고, 이들 두 평균값의 비(ratio)인 "관심 영역 대 횡격막 영역 밝기 비(intensity ratio)"를 계산하고, "관심 영역 대 횡격막 영역 밝기 비"를 기반으로 경증, 중증도, 중증 등의 간 지방증의 등급을 판정할 수 있다. 여기서 관심영역은 관심영역 이미지 추출부(60)에 의해 추출된 관심영역의 이미지를 의미하고, 횡격막 영역은 횡격막 추출부(62)에 의해 추출된 횡격막 영역 이미지를 의미할 수 있다.
예를 들어, 관심영역이 간 영역으로 설정된 경우, "관심 영역 대 횡격막 영역 밝기 비"는 "간 영역 대 횡격막 영역 밝기 비"일 수 있다. 이 때, 경증 지방간인 경우에 비해 중증 지방간인 경우 간 영역의 픽셀의 밝기가 증가할 수 있으므로, "간 영역 대 횡격막 영역 밝기 비"가 증가할 수 있다. 한편, 지방간 등급 판정에 있어서, 관심영역은 간 영역에 한정되는 것은 아니다.
한편, 도 9를 참조하면, 원격 의료 진단 시스템(700)은 초음파 의료장비(3), 초음파 지방간 자동 진단 장치(600), 사용자 단말기(400), 통신 인터페이스(602) 및 의료 전문가 단말기(200)를 포함할 수 있다.
초음파 의료장비(3)는 초음파 프로브 센서(30)를 구비할 수 있다. 무선 송출부(3a)는 초음파 의료장비 내에 집적화되어, 초음파 의료장비(3)에 의해 측정된 환자의 의료 영상 데이터를 무선 송신할 수 있다.
초음파 지방간 자동 진단 장치(600)는 본원의 다양한 실시예에 따른 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치(600)를 의미할 수 있다. 초음파 지방간 자동 진단 장치(600)는 무선 송출부(3a)로부터 송출(송신)된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 판별할 수 있다.
사용자 단말기(400)는 카메라(61), 제1 인증부(67), 기록부(63), 인터넷 연결부(64) 및 제1 상담 서비스부(65)를 포함할 수 있다. 카메라(61)는 초음파 의료장비(3)의 사용 상황을 모니터링할 수 있다. 제1 인증부(67)는 초음파 의료장비의 제품 ID를 무선으로 인증할 수 있다. 기록부(63)는 초음파 의료장비로부터 얻어진(획득된) 환자에 대한 초음파 이미지를 저장할 수 있다. 인터넷 연결부(64)는 통신 네트워크(202)를 통해 초음파 이미지와 초음파 의료장비(3)의 제품 ID를 원격 진단 서버(203)로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공할 수 있다. 제1 상담 서비스부(65)는 의료 전문가와의 상담 서비스를 제공할 수 있다.
통신 인터페이스(602)는 초음파 지방간 자동 진단 장치(600)와 사용자 단말기(400)에 대한 연결을 제공할 수 있다.
한편, 사용자 단말기(400)는 인공 지능 신경망(70), 안내부(71) 및 진단부(72)를 구비한 가상 의사(79)를 포함할 수 있다. 여기에서, 인공 지능 신경망(70) 및 가상 의사(79)는 사용자 단말기(400)상에 소프트웨어 형태로 상주할 수 있다.
인공 지능 신경망()은 초음파 의료 장비(3)에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝(딥러닝, deep learning) 학습될 수 있다.
안내부(71)는 초음파 의료장비(3)의 사용방법을 안내하거나 지시할 수 있고, 진단부(72)는 초음파 의료장비(60)에 의해 환자로부터 얻어진(획득된) 의료 영상 데이터를 바탕으로 지방간 등급 판정부(58)에 의해 자동 분석된 간 지방증 진단 결과를 출력할 수 있다.
의료 전문가 단말기(200)는 수신부(미도시) 및 제2 상담 서비스부(미도시)를 구비할 수 있다. 수신부(미도시)는 통신 네트워크(602)를 통해 의료 영상 데이터 내지 초음파 이미지를 수신할 수 있고, 제2 상담 서비스부(미도시)는 사용자와 의료 전문가와의 상담 서비스를 제공할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로 본원의 일 실시예에 따른 원격 의료 진단 방법(이하 '본 원격 의료 진단 방법'이라 함)에 대한 동작 흐름을 간단히 살펴보기로 한다. 본 원격 의료 진단 방법은 앞서 설명된 초음파 지방간 자동 진단 장치(600) 및 원격 의료 진단 시스템(700)의 다양한 실시예를 기반으로 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 초음파 지방간 자동 진단 장치(600) 및 원격 의료 진단 시스템(700)에 대하여 설명된 내용은 본 원격 의료 진단 방법에 대한 설명에도 동일하게 적용될 수 있다.
본 원격 의료 진단 방법은 초음파 이미지로부터 특징점을 추출하는 단계, 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻는(획득하는) 단계, 특징점들을 이용하여 초음파 이미지로부터 신장의 위치를 검색하는 단계, 검색된 신장(신장의 위치)을 중심으로 하여, 환자의 초음파 이미지 상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하는 단계, 가상 의사(79)에 의해 관심영역의 이미지를 기반으로 환자의 간 지방증(liver steatosis) 등급을 자동으로 판별하는 단계 및 원격 의료 진단 시스템(700)에 의해 의료 전문가와의 원격 상담 서비스를 진행하는 단계를 포함할 수 있다.
상술한 설명에서, 각 단계들은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 원격 의료 진단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본원을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본원에 포함되는 다양한 형태의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 본 원격 의료 진단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
600: 초음파 지방간 자동 진단 장치
30: 초음파 프로브 센서 32: 특징점 검출부
34: 각도 정보 산출부 38: 나쁜 특징점 제거부
36a: 엣지 디텍터 36b: 엣지 특징점 중복 판단부
40: 주 각도 보정부 42: 특징점 쌍 형성부
44: 표준 신장 특징점 각도 정보 저장부 46: 커브 피팅부
48: 신장 검색부 50: 관심영역 추출부
48a: 피팅 유사도 판별부 48b: 피팅 거리 계산부
56: 특징점 통계 정보 산출부
57: 표준 특징점 통계 정보 저장부
58: 지방간 등급 판정부

Claims (12)

  1. 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서(probe sensor);
    표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 상기 각 특징점의 패치(patch) 이미지에 포함된 픽셀들에 대한 각도(orientation) 정보를 저장하고 있는 표준 신장 특징점 각도 정보 저장부;
    상기 초음파 이미지 내지 상기 초음파 이미지의 엣지(edge) 성분으로부터 특징점들을 찾기 위한 특징점 검출부;
    상기 초음파 이미지의 특징점들의 패치 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도 정보를 산출하는 각도 정보 산출부;
    상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들(bad key points)을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부;
    상기 각각의 맞출 특징점의 패치 이미지 내의 픽셀들에 대한 각도 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주(major) 회전각으로 산출하고, 상기 주 회전각에 의해 상기 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정하는 주 각도 보정부;
    상기 표준 신장 테두리 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 소정 값보다 높은 패치 이미지들에 속한 표준 신장 테두리 특징점들과 맞출 특징점들간의 특징점 쌍(a pair of feature points)을 형성하기 위한 특징점 쌍 형성부;
    상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 폐곡선에 대해 타원 피팅(Ellipse fitting) 또는 커브 피팅(Curve fitting)을 수행하여 제1 피팅 곡선을 찾거나, 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들과 표준 엣지 성분을 서로 스캐닝(scanning)하면서 비교하여 2차원 공간 좌표상에서 중복되는 피팅 특징점 개수를 찾는 커브 피팅부;
    상기 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 상기 초음파 이미지로부터 신장의 위치를 찾기 위한 신장 검색부;
    상기 검색된 신장을 중심으로 하여, 환자의 초음파 이미지상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심영역 추출부; 및
    상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 간 지방증(liver steatosis) 등급을 자동으로 판별하기 위한 지방간 등급 판정부,
    를 포함하는, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  2. 환자로부터 초음파 이미지를 얻기 위한 초음파 프로브 센서;
    표준 초음파 사진들에 포함된 신장 테두리의 특징점인 표준 신장 테두리 특징점들과 상기 각 특징점의 패치이미지에 포함된 픽셀들에 대한 각도 정보를 저장하고 있는 표준 신장 특징점 각도 정보 저장부;
    상기 표준 초음파 사진들에서 신장 영역의 특징점들과 신장 영역을 제외한 관심영역의 특징점들에 대한 통계 정보를 저장하고 있는 표준 특징점 통계 정보 저장부;
    상기 초음파 이미지 내지 상기 초음파 이미지의 엣지 성분으로부터 특징점들을 찾기 위한 특징점 검출부;
    상기 초음파 이미지의 특징점들의 패치 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도 정보를 산출하는 각도 정보 산출부;
    상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부;
    상기 각각의 맞출 특징점의 패치 이미지로부터 패치 이미지 내의 픽셀들에 대한 각도 정보를 가지고, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출하고, 상기 주 회전각에 의해 상기 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정하는 주 각도 보정부;
    상기 표준 신장 테두리 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 소정 값보다 높은 패치 이미지들에 속한 표준 신장 테두리 특징점들과 맞출 특징점들간의 특징점 쌍을 형성하기 위한 특징점 쌍 형성부;
    상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 폐곡선에 대해 타원 피팅또는 커브 피팅을 수행하여 제1 피팅 곡선을 찾거나, 상기 특징점 쌍 형성부에 의해 표준 신장 테두리 특징점들과 쌍을 이룬 맞출 특징점들을 기반으로 표준 엣지 성분과 스캐닝하면서 비교하여 2차원 공간 좌표상에서 중복되는 피팅 특징점 개수를 찾는 커브 피팅부;
    상기 제1 피팅 곡선이나 피팅 특징점 개수를 이용하여 상기 초음파 이미지로부터 신장의 위치를 찾기 위한 신장 검색부;
    상기 검색된 신장을 중심으로 하여, 초음파 이미지 상에서 공간 어드레싱(space addressing)하여 한 개 이상의 관심영역의 이미지들을 추출하기 위한 관심 영역 추출부;
    상기 신장 검색부로부터 검색된 신장 영역의 특징점들로부터 특징점 통계 정보를 산출하거나, 상기 관심 영역 추출부로부터 추출된 관심영역의 특징점들로부터 특징점 통계 정보를 산출하기 위한 특징점 통계 정보 산출부; 및
    상기 표준 특징점 통계 정보와 상기 특징점 통계 정보 산출부에서 얻어진 특징점 통계 정보를 기반으로 경증(mild), 중등도(moderate), 중증(severe), 간경화의 간 지방증 등급을 판정하기 위한 지방간 등급 판정부,
    를 포함하고,
    상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 특징점들의 특징점 통계 정보를 이용하여 환자의 간 지방증 등급을 자동으로 판별하는, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 신장 검색부는,
    상기 제1 피팅 곡선과 상기 피팅에 참여한 맞출 특징점들간의 유클리디안 거리(Euclidean distance)를 피팅 거리로서 산출하는 피팅 거리 계산부; 및
    상기 피팅 거리로부터 피팅 곡선과의 유사도를 판별하는 피팅 유사도 판별부,
    를 추가 포함하는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 신장 검색부는,
    상기 표준 신장 테두리 특징점들을 연결하여 형성된 가상의 폐곡선에 대해, 커브 피팅을 수행하여 얻은 제 2 피팅 곡선과 상기 제1 피팅 곡선간의 유클리디안 거리를 피팅 거리로서 산출하는 피팅 거리 계산부; 및
    상기 피팅 거리로부터 제1 피팅 곡선과 제2 피팅 곡선간의 유사도를 판별하는 피팅 유사도 판별부,
    를 추가 포함하는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  5. 제2항에 있어서,
    상기 지방간 등급 판정부는,
    환자의 초음파 이미지의 신장에 대응하는 신장 실질(cortex) 내지 신장 테두리 영역에 포함된 통계 정보 대비 비(非) 신장 영역에 포함된 통계 정보의 상대적 비율 또는 환자의 초음파 이미지의 신장에 대응하는 신장 실질 내지 신장 테두리 영역에 포함된 특징점 개수 대비 비 신장 영역에 포함된 특징점 개수의 상대적 비율을 산출하여 지방간 등급을 판정하는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  6. 제1항에 있어서,
    상기 지방간 등급 판정부는,
    상기 표준 초음파 사진의 관심영역 내지 상기 초음파 이미지의 관심영역의 이미지들을 하나로 연결(concatenation)하여 하나의 통합 이미지를 생성하기 위한 이미지 통합부; 및
    상기 통합 이미지에 의해 딥런닝(deep learning) 학습된 인공 신경망을 포함하고,
    상기 초음파 지방간 자동 진단 장치는 상기 딥런닝 학습된 인공 신경망을 사용하여, 상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 통합 이미지를 기반으로 환자의 간 지방증 등급을 자동으로 판별하는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  7. 환자로부터 초음파 이미지을 얻기 위한 초음파 프로브 센서;
    표준 초음파 사진들에 포함된 횡격막(diaphragm)의 특징점들과 상기 각 특징점의 패치 이미지에 포함된 픽셀들에 대한 각도 정보를 저장하고 있는 표준 횡격막 특징점 각도 정보 저장부;
    상기 표준 횡격막 특징점들에 해당하는 각각의 패치 이미지들로부터 최대 크기를 갖는 후보 각도들을 구하여, 상기 후보 각도들 중 최대 각도와 최소 각도간의 상대적 차이인 각도 변위 정보를 표준 횡격막 각도 변위 범위로서 저장하고 있는 표준 횡격막 각도 변위(displacement) 저장부;
    상기 초음파 이미지상의 특징점들을 찾기 위한 특징점 검출부;
    상기 초음파 이미지의 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 산출하는 각도 정보 산출부;
    상기 표준 횡격막 각도 변위 범위를 벗어나는 상기 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들을 제거하여, 맞출 특징점들을 얻기 위한 나쁜 특징점 제거부;
    상기 각각의 맞출 특징점의 패치 이미지 내의 각 픽셀들에 대한 각도 정보를 기반으로, 각도에 대한 픽셀들의 빈도를 나타내는 히스토그램을 계산하여 가장 많이 등장하는 각도를 주 회전각으로 산출하고, 상기 주 회전각에 의해 맞출 특징점의 패치 이미지 내의 픽셀들의 각도를 보정해주는 주 각도 보정부;
    상기 표준 횡격막 특징점들의 패치 이미지와 상기 맞출 특징점들의 패치 이미지 내의 픽셀들에 대한 각도 정보를 서로 비교해서 유사도가 소정 값보다 높은 패치 이미지들에 속한 표준 횡격막 특징점들과 맞출 특징점들간의 특징점 쌍을 형성하기 위한 특징점 쌍 형성부;
    상기 특징점 쌍 형성부에 의해 표준 횡격막 특징점들과 쌍을 이룬 맞출 특징점들을 연결하여 형성된 가상의 곡선에 대해, 커브 피팅을 수행하여 2차원 커브 피팅 곡선을 찾는 커브 피팅부;
    상기 2차원 커브 피팅 곡선으로부터 횡격막 영역 이미지를 추출하는 횡격막 추출부;
    상기 2차원 커브 피팅 곡선과 상기 커브 피팅에 참여한 맞출 특징점들간의 유클리디안 거리를 산출하는 피팅 거리 계산부;
    상기 추출된 횡격막 영역 이미지의 위치로부터, 관심영역의 상대적인 위치를 산정하여 상기 초음파 이미지로부터 관심영역의 이미지를 찾아 추출하기 위한 관심영역 이미지 추출부;
    상기 추출된 관심영역에 속한 픽셀들의 평균 밝기와 상기 추출된 횡격막 영역에 속한 픽셀들의 평균 밝기를 계산하고, 이들 두 평균값의 비(ratio)인 관심 영역 대 횡격막 영역 밝기 비(intensity ratio)를 계산하고, 상기 관심영역 대 횡격막 영역 밝기 비를 기반으로 경증, 중등도, 중증의 간 지방증의 등급을 판정하는 지방간 등급 판정부,
    를 포함하고,
    상기 초음파 프로브 센서로부터 입력되는 환자의 초음파 이미지로부터 얻어진 관심영역 대 횡격막 영역 밝기 비에 의해 환자의 간 지방증 등급을 자동으로 판별하는, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  8. 제1항, 제2항, 제6항 및 제7항 중 어느 한 항에 있어서,
    상기 관심영역은 상기 초음파 이미지에서 간(liver) 실질 영역, 신장(kidney) 실질 영역, 우문맥(right portal vein, RPV) 영역, 간정맥(hepatic vein) 영역, 비장(spleen) 영역, 횡격막(diaphragm) 영역, 신장의 신우(renal pelvis) 영역, 신장의 신동(Renal sinus) 영역 중 선택된 어느 한 개 이상의 영역인 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  9. 제1항 또는 제 2항에 있어서,
    상기 나쁜 특징점 제거부는,
    상기 초음파 이미지에 포함된 엣지 성분들을 검출하는 엣지 디텍터(edge detector);
    상기 엣지 성분의 폭(width)을 2차원 공간상에서 확장시켜, 폭이 확장된 엣지 성분을 생성하는 엣지 폭 확장 수단; 및
    상기 엣지 성분과 상기 초음파 이미지의 특징점들이 2차원 초음파 이미지 공간 좌표상에서 위치가 중복되는지 여부를 체크하는 엣지 특징점 중복 판정부,
    를 구비하되,
    상기 엣지 성분과 중복되지 않는 상기 초음파 이미지의 특징점들을 나쁜 특징점으로 간주하여 상기 초음파 이미지로부터 얻어진 특징점들로부터 나쁜 특징점들을 제거하여, 맞출 특징점들을 얻는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  10. 제1항 또는 제 2항에 있어서,
    상기 나쁜 특징점 제거부는 상기 초음파 이미지로부터 신장의 위치를 찾기 위해 시맨틱 분할(Semantic Segmentation)을 수행하는 인공 신경망을 구비하되,
    표준 신장 이미지들에 의해 상기 인공 신경망을 학습시키고, 이후 상기 초음파 이미지를 시맨틱 분할하여 신장 영역을 검출하고, 상기 특징점 검출부에 의해 상기 초음파 이미지상에서 얻어진 특징점들 중 상기 시맨틱 분할된 신장 영역의 특징점들 외의 특징점들을 나쁜 특징점으로 간주하여 상기 특징점들로부터 나쁜 특징점들을 제거하여, 맞출 특징점들을 얻는 것인, 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치.
  11. 초음파 프로브 센서를 구비한 초음파 의료장비;
    상기 초음파 의료장비 내에 집적화되어, 상기 초음파 의료장비에 의해 측정된 환자의 의료 영상 데이터를 무선 송신하는 무선 송출부;
    상기 무선 송출부로부터 송출된 환자의 초음파 이미지를 수신하여, 지방간 등급을 자동으로 판별하는 제1항 또는 제2항의 초음파 지방간 자동 진단 장치;
    상기 초음파 의료장비의 사용 상황을 모니터링하기 위한 카메라, 상기 초음파 의료장비의 제품 ID를 무선으로 인증하는 제1 인증부, 상기 초음파 의료장비로부터 얻어진 환자에 대한 초음파 이미지를 저장하는 기록부, 통신 네트워크를 통해 상기 초음파 이미지와 초음파 의료장비의 제품 ID를 원격 진단 서버로 송신하고, 원격 상담 서비스를 위한 통신 채널을 제공하는 인터넷 연결부 및 의료 전문가와의 상담 서비스를 제공하는 제1 상담 서비스부를 구비한 사용자 단말기;
    상기 초음파 지방간 자동 진단 장치와 상기 사용자 단말기에 대한 연결을 제공하는 통신 인터페이스;
    상기 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비에 의해 축적된 의료 영상 데이터베이스를 사용하여 딥런닝 학습된 인공 지능 신경망;
    상기 사용자 단말기상에 소프트웨어 형태로 상주하여 상기 초음파 의료장비의 사용방법을 안내하거나 지시하는 안내부 및 상기 초음파 의료장비에 의해 환자로부터 얻어진 의료 영상 데이터를 바탕으로 상기 지방간 등급 판정부에 의해 자동 분석된 간 지방증의 진단결과를 출력하는 진단부를 구비한 가상 의사; 및
    상기 통신 네트워크를 통해 상기 의료 영상 데이터 내지 상기 초음파 이미지를 수신하는 수신부 및 사용자와 의료 전문가와의 상담 서비스를 제공하는 제2 상담 서비스부를 구비하는 의료 전문가 단말기,
    를 포함하는 원격 의료 진단 시스템을 더 구비한 것인, 초음파 지방간 자동진단 장치.
  12. 삭제
KR1020190092089A 2019-07-30 2019-07-30 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 KR102338018B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190092089A KR102338018B1 (ko) 2019-07-30 2019-07-30 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
US16/668,140 US11455720B2 (en) 2019-07-30 2019-10-30 Apparatus for ultrasound diagnosis of liver steatosis using feature points of ultrasound image and remote medical-diagnosis method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190092089A KR102338018B1 (ko) 2019-07-30 2019-07-30 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법

Publications (2)

Publication Number Publication Date
KR20210014267A KR20210014267A (ko) 2021-02-09
KR102338018B1 true KR102338018B1 (ko) 2021-12-10

Family

ID=74258868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190092089A KR102338018B1 (ko) 2019-07-30 2019-07-30 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법

Country Status (2)

Country Link
US (1) US11455720B2 (ko)
KR (1) KR102338018B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
KR102355438B1 (ko) * 2019-11-28 2022-01-26 주식회사 씨자인 초음파 센서를 이용한 사물 인식 시스템 및 그 인식 방법
US20220280133A1 (en) * 2021-03-04 2022-09-08 GE Precision Healthcare LLC Method and system for automatically detecting an ultrasound image view and focus to provide measurement suitability feedback
WO2022234742A1 (ja) * 2021-05-06 2022-11-10 富士フイルム株式会社 表示処理装置、方法及びプログラム
CN116521912B (zh) * 2023-07-04 2023-10-27 广东恒腾科技有限公司 一种基于人工智能的超声数据存储管理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158332A1 (en) 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
JP2015154918A (ja) 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2140412B1 (en) 2007-04-23 2018-12-12 Samsung Electronics Co., Ltd. Remote medical-diagnosis system and method
US10249037B2 (en) * 2010-01-25 2019-04-02 Amcad Biomed Corporation Echogenicity quantification method and calibration method for ultrasonic device using echogenicity index
EP2786309A4 (en) * 2011-11-30 2015-07-08 Univ Rush Medical Center SYSTEM AND METHOD FOR IDENTIFYING IMPLANTED MEDICAL DEVICES AND / OR DETECTING REMAINING SURGICAL PROPERTIES ON MEDICAL PICTURES
KR20140018748A (ko) * 2012-08-03 2014-02-13 삼성전자주식회사 의료 영상에서 병변의 분석 장치 및 방법
KR102002408B1 (ko) * 2012-09-12 2019-07-24 삼성전자주식회사 초음파 영상 생성 장치 및 방법
US9501848B2 (en) * 2013-09-03 2016-11-22 Adobe Systems Incorporated Fitting a parametric curve using maximum curvature
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
KR20180045473A (ko) * 2016-10-26 2018-05-04 (주)모임소프트 이미지 분석을 이용한 흑색종 검사 시스템, 방법 및 컴퓨터 프로그램
US10201389B2 (en) * 2016-10-31 2019-02-12 Edda Technology, Inc. Method and system for interactive grid placement and measurements for lesion removal
KR20180070990A (ko) * 2016-12-19 2018-06-27 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
KR20180087698A (ko) * 2017-01-25 2018-08-02 삼성메디슨 주식회사 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
EP3453336B1 (en) * 2017-09-08 2020-11-04 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
US20210059762A1 (en) * 2017-12-28 2021-03-04 Changi General Hospital Pte Ltd Motion compensation platform for image guided percutaneous access to bodily organs and structures
US10830850B2 (en) * 2019-04-01 2020-11-10 Siemens Healthcare Gmbh Optical camera for patient position monitoring

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158332A1 (en) 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
JP2015154918A (ja) 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
서무정, 유재천 (2019). 초음파 영상을 이용한 지방간 관찰을 위한 횡경막-간신장 지수 딥 컨볼루션

Also Published As

Publication number Publication date
US11455720B2 (en) 2022-09-27
KR20210014267A (ko) 2021-02-09
US20210035286A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
KR102338018B1 (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
US9770172B2 (en) Multimodal segmentation in intravascular images
US9430825B2 (en) Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye
Molinari et al. Completely automated multiresolution edge snapper—a new technique for an accurate carotid ultrasound IMT measurement: clinical validation and benchmarking on a multi-institutional database
JP5498299B2 (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
KR102144672B1 (ko) 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
Korotkov et al. An improved skin lesion matching scheme in total body photography
JP4964191B2 (ja) 画像処理装置および方法ならびにプログラム
JP5157919B2 (ja) 画像表示装置およびプログラム
JP5500216B2 (ja) 画像表示装置およびプログラム
Rahmatullah et al. Anatomical object detection in fetal ultrasound: computer-expert agreements
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
JP6082337B2 (ja) 心胸郭比算出装置
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
JP5565647B2 (ja) 臓器領域特定方法、および臓器領域特定装置
Discher et al. An unsupervised approach for measuring myocardial perfusion in MR image sequences
JP2005224429A (ja) 異常陰影判定装置およびそのプログラム
de Siqueira et al. Cardiac structure recognition in ultrasound images
WO2020138136A1 (ja) 画像処理装置、画像処理方法及びプログラム
Chen QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant