KR101978728B1 - 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 - Google Patents
스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 Download PDFInfo
- Publication number
- KR101978728B1 KR101978728B1 KR1020170116405A KR20170116405A KR101978728B1 KR 101978728 B1 KR101978728 B1 KR 101978728B1 KR 1020170116405 A KR1020170116405 A KR 1020170116405A KR 20170116405 A KR20170116405 A KR 20170116405A KR 101978728 B1 KR101978728 B1 KR 101978728B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- neural network
- hidden layer
- cycle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 85
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 83
- 238000009877 rendering Methods 0.000 claims abstract description 45
- 239000000523 sample Substances 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 27
- 230000006835 compression Effects 0.000 claims description 14
- 238000007906 compression Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000000232 gallbladder Anatomy 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Graphics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계와, 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습(DNN: Deep Neural Network)을 동시 실행하는 단계 및 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다.
Description
본 발명은 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 모바일 GPU를 구비하는 스마트 기기에서 초음파 영상을 분류하는데 있어서 GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하며 신체 부위 분류의 정확도와 실시간 성능을 보장할 수 있는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치에 관한 것이다.
최근 들어, 의료 분야에 IT 기술을 융합하여 구현되는 진단 의료 영상 분야의 기술이 급격히 발전하고 있는 추세이다. 그 중에서도 주로 사용되는 의료 초음파는 인체의 근육, 힘줄, 내부 장기, 장기의 크기, 구조 및 병리학적 손상 여부를 판단하기 위해 실시간으로 단층 영상을 가시화하는데 사용된다.
이처럼 의료 초음파를 이용하여 진단 의료 영상을 구현하기 위해서는 대상물에 프로브를 대고 초음파를 발생시켜 대상물로부터 반사된 초음파를 수신하여 영상을 구성한다. 즉, 초음파를 발생시키면 매우 짧은 시간 안에 음파가 매질 속을 지나가고, 음향 임피던스가 다른 두 매질 사이를 지날 때에는 반사파가 발생한다. 이에 발생된 반사파를 측정해 반사음이 되돌아 올 때까지의 시간을 통해 거리를 역산함으로써 진단 의료 영상을 생성하게 된다.
이처럼 진단 의료 영상이 의료 분야에서 널리 사용됨에 따라, 스마트 기기를 통해 시간과 장소에 구애받지 않고 이동 중에도 초음파 신호를 이용한 진단 의료 영상을 생성하여 확인할 수 있는 기술에 대한 요구가 높아지고 있다. 도 1은 현재 개발된 스마트 폰을 이용한 초음파 의료 영상 장치의 일예를 도시한다.
그러나 이러한 요구에도 불구하고, 휴대성을 목적으로 사용되는 스마트 기기에서는 내부 CPU의 프로세싱 파워로 초음파 신호를 처리하는 경우, 실제 진단에 유용한 프레임율의 영상을 제공하기 어려운 문제가 발생한다.
또한, 스마트 기기는 화면의 크기가 카트형 장치에 비해 작고 화면의 공간 부족으로 인해 기존 장비에서 사용 가능했던 모든 이미지의 매개변수를 제어하기 어려운 문제가 있다.
본 발명이 해결하고자하는 과제는 의료용 초음파 영상을 생성하는 스마트 기기에 있어서 GPU(Graphics processing unit)의 유휴 코어를 줄이고 신체 부위 판별의 정확도를 높이며 실시간 성능을 보장할 수 있는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치를 제공하는데 있다.
본 발명의 일실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계와, 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계 및 상기 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다.
일실시 예에 따르면, 렌더링 주기를 공유하여 상기 심층 신경망 학습을 동시 실행하는 단계는, 스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는 단계와, 상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는 단계와, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는 단계 및 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 3을 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행하는 단계를 포함함으로써, 모바일 GPU를 구비하는 상기 스마트 기기가 상기 B-모드 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행한다.
일실시 예에 따르면, 상기 심층 신경망 학습의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 더 포함하고, 상기 전처리 단계는, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 단계와, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 단계를 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따르면, 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계는, 상기 블랙홀 필터링과 상기 이미지 리사이징 및 히든레이어 1, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유 시킨다.
일실시 예에 따르면, 상기 스마트 기기는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
일실시 예에 따르면, 상기 영상 복원 과정 과정은, 제1 렌더 사이클에서 상기 입력 데이터에 대해 상기 포락선 검파와 로그 압축을 수행하는 단계 및 상기 초음파 영상의 전체적 이득(gain)을 조절하기 위해 이득 제어, 상기 제2 렌더 사이클에서 상기 블랙홀 필터링, 제3 렌더 사이클에서 상기 에지 강화 및 제4 렌더 사이클에서 상기 디지털 스캔변환(DSC: Digital Scan Conversion)을 연속 수행하는 단계를 포함한다.
본 발명의 일실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치는 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부 및 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는 영상 처리부를 포함한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 제1 히든 레이어 내지 3을 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행한다.
일실시 예에 따르면, 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며, 상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따르면 영상 처리부는 상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시킨다.
일실시 예에 따르면 영상 처리부는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
일실시 예에 따르면 영상 처리부는 제1 렌더 사이클에서 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환을 연속 수행한다.
본 발명의 일실시 예에 따른 의료용 초음파 영상을 분류하는 스마트 기기는 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키고, 상기 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키며, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시켜, 영상 복원 과정을 수행하는 렌더링 주기를 공유함으로써, 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제 3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시에 수행하는 GPU(Graphic processing unit)를 포함한다.
일실시 예에 따른 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며, 상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따른 GPU는 상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시킨다.
일실시 예에 따른 GPU는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
본 발명의 일실시 예에 따르면, 모바일 GPU(Graphics processing unit)를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 본 발명의 실시 예에 따르면, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 종래의 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 본 발명의 실시 예에 따르면, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
도 1은 현재 개발된 스마트 폰을 이용한 초음파 의료 영상 장치의 일예를 도시한다.
도 2는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치의 개략적인 구성을 도시하는 블록도이다.
도 3 내지 도 5는 일반적인 선형 어레이, 볼록 어레이 및 위상 어레이 각각에 대한 크롭핑 실행을 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따라 심층 신경망 학습의 데이터 셋으로 설정된 역 변환된 원시 데이터를 도시한다.
도 7a 및 도 7b는 OpenGL ES 프로그래밍을 효율적으로 구현하기 위한 렌더링 주기를 설명하기 위한 도면이다.
도 8은 일반적인 영상 복원 과정 과정을 도시한다.
도 9는 본 발명의 실시 예에 따른 렌더링 주기 공유 방법을 설명하기 위한 도면이다.
도 10은 영상 복원 및 심층 신경망 학습 알고리즘을 캐스케이드 방식으로 구현하는 순서를 도시한다.
도 11은 본 발명의 실시 예에 따라 신체 구조를 분류하기 위해 심층 신경망 학습 알고리즘을 이용하는 과정을 도시하는 도면이다.
도 12 및 도 13은 본 발명의 실시 에에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치의 개략적인 구성을 도시하는 블록도이다.
도 3 내지 도 5는 일반적인 선형 어레이, 볼록 어레이 및 위상 어레이 각각에 대한 크롭핑 실행을 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따라 심층 신경망 학습의 데이터 셋으로 설정된 역 변환된 원시 데이터를 도시한다.
도 7a 및 도 7b는 OpenGL ES 프로그래밍을 효율적으로 구현하기 위한 렌더링 주기를 설명하기 위한 도면이다.
도 8은 일반적인 영상 복원 과정 과정을 도시한다.
도 9는 본 발명의 실시 예에 따른 렌더링 주기 공유 방법을 설명하기 위한 도면이다.
도 10은 영상 복원 및 심층 신경망 학습 알고리즘을 캐스케이드 방식으로 구현하는 순서를 도시한다.
도 11은 본 발명의 실시 예에 따라 신체 구조를 분류하기 위해 심층 신경망 학습 알고리즘을 이용하는 과정을 도시하는 도면이다.
도 12 및 도 13은 본 발명의 실시 에에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법을 설명하기 위한 순서도이다.
본 발명의 실시예들을 설명하기에 앞서, 기존의 스마트 기기 기반 초음파 의료 영상 장치에 대한 특성과 문제점들을 소개한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다.
스마트 기기 기반 초음파 의료 영상 장치는 화면의 크기가 카트형 장치에 비해 작고 화면의 공간 부족으로 인해 기존 장비에서 사용 가능했던 모든 이미지의 매개변수를 제어하기 어려운 문제가 있다.
또한, 의료용 초음파 영상에 대한 배경 지식이 거의 없는 비전문가가 스마트 기기를 사용하면, 영상 판단이 힘들어 신체 구조 분류가 어려운 문제가 있고, 스마트 기기의 GPU(Graphics processing unit) 성능이 제한적이라 초음파 영상을 재구성하기 위해 이미 복잡한 신호 처리 과정을 수행하기 때문에, 다른 목적의 신호 처리 과정이 추가되면 실시간 특성이 보장되지 않는 단점이 있다.
이와 같은 종래의 스마트 기기 기반 초음파 의료 영상 장치의 문제를 해결하기 위해 본 발명의 실시 예에서는 의료용 초음파 장비에서 간, 갑상선 및 담낭과 같은 신체 구조를 분류하는 심층 신경망 네트워크를 개시한다.
본 발명의 실시 예에 따르면, 스마트 기기를 통한 신체 구조 분류의 성능 및 정확도를 향상시키기 위해 초음파 획득 프로브의 종류에 상관없이 이미지 데이터 대신 직사각형 형태로 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
특히, 본 발명의 실시 예는 스마트 기기 GPU의 실시간 동작 특성을 유지하면서 신체 구조 분류를 위한 심층 신경망 알고리즘을 구현하기 위해, 실제 데이터의 입/출력 시간과 GPU 유휴 코어 수를 줄이기 위한 렌더링 주기 공유 방법을 사용한다. 이에 대한 상세한 설명은 이하 도면을 참조하여 개시하기로 한다.
도 2는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치의 개략적인 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치(100)는 대상체로부터 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부(110) 및 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 실행하는 영상 처리부(131)를 포함한다. 이러한 구성 외에 초음파 신호 처리에 필요한 소프트웨어 알고리즘 등을 저장하는 메모리부(150) 및 초음파 영상을 출력하는 디스플레이부(170) 등을 더 구비할 수 있다.
여기서, 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이다. 상기 데이터 집합을 구비하기 위한 데이터 전처리를 위해서, Geometric 정보를 갖는 초음파 영상을 직사각형 형태의 원시 데이터로 역 변환한 형태인 로그 압축 데이터를 심층 신경망 학습 네트워크의 데이터 집합으로 설정한다. 즉, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 심층 신경망 학습에 이용한다.
도 3 내지 도 5는 일반적인 선형 어레이, 볼록 어레이 및 위상 어레이 각각에 대한 크롭핑 실행을 도시하는 도면이고, 도 6은 본 발명의 실시 예에 따라 심층 신경망 학습의 데이터 셋으로 설정된 역 변환된 원시 데이터를 도시한다.
일반적으로, 초음파 영상에서 초음파 부위 판단에 불필요한 환자 정보와 같은 불필요한 부분을 제거하기 위한 잘라내기 즉, 크롭핑(cropping) 과정을 수행한다. 초음파 이미지는 초음파 획득 프로브의 형태로 나뉘는데 크게 선형, 볼록 및 위상 어레이 형태로 나뉠 수 있다.
선형 이미지의 경우, 도 3과 같이 초음파 이미지를 직사각형 형태로 잘라내고, 볼록 또는 위상 어레이는 두 가지 형식으로서 도 4에 도시된 풀 크롭핑(full cropping) 또는 도 5에 도시된 맥스 크롭핑(max cropping)으로 이미지를 잘라낼 수 있다. 풀 크롭핑 방식의 경우에는 초음파 의료 정보가 포함된 부분의 최대 크기를 확장된 직사각형으로 자르기 때문에 실제 초음파 정보가 없는 데이터까지 남아있게 된다. 반면, 맥스 크롭핑의 경우에는 초음파 정보가 있는 부분 중 최대 크기의 직사각형 형태로 이미지를 잘라내기 때문에 원본 의료 영상 내에서 의미있는 특징(feature) 정보가 손실될 수 있는 위험이 있다.
따라서 본 발명의 실시 예에서는 도 6에 도시된 바와 같이, 초음파 획득 프로브의 종류와 상관없이 geometric 정보를 갖는 초음파 영상(620)을 직사각형 형태의 원시 데이터(630)로 역 변환한 형태인 로그 압축 데이터를 심층 신경망 학습의 데이터 셋으로 사용함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
즉, 본원발명은 심층 신경망 학습의 전처리 단계에서 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 과정과, 역 변환된 원시 형태의 데이터를 심층 신경망 학습의 데이터 집합으로 설정하는 과정을 실행함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용할 수 있다.
도 7a 및 도 7b는 OpenGL ES 프로그래밍을 효율적으로 구현하기 위한 렌더링 주기를 설명하기 위한 도면이다. 렌더링 주기란 모든 입력에 대해 일련의 병렬 신호 처리가 수행되는 단위를 말한다. 예를 들어, 도 7a에서 모든 입력 데이터에 5를 더하려면 GPU 프로세스가 5를 가산하는 일련의 작업을 수행한다. 도 7b에서 볼 수 있듯이, 렌더 사이클은 “Processing”외에 “Input texture upload”, “Texture to frame buffer” 및 “Frame buffer to texture”의 물리적 입출력 시간을 필요로 한다.
여기서 “Processing”에 너무 적은 작업이 할당되면, GPU의 유휴 코어가 증가하여 처리 성능이 저하되게 된다. 따라서 이러한 유휴 시간을 최소화하기 위해서 렌더링 주기의 수를 최소화할 필요가 있다.
영상 처리부(130)는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 예를 들어, OpenGL ES 3.0환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
도 8은 일반적인 영상 복원 과정 과정을 도시한다. 도 8을 참조하면, 일반적인 영상 복원 과정는 빔포밍된 입력 데이터로부터 DC 성분을 제거한 후, 디지털 시간 이득 보상(TGC: Time Gain Compensator)을 수행하며, Quadrature 복조와 ratio 2로 데시메이션을 수행하고, 도 8에 도시된 바와 같이 제1 렌더 사이클에 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 스페클 아티팩트(speckle artifact)에 의해 발생한 검은 반점(black dots)을 제거하는 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화(edge enhancement) 및 제4 렌더 사이클에서 디지털 스캔변환(DSC: Digital Scan Converion)을 연속 수행하였다.
본 발명은 특히, 상술한 영상 복원 과정을 수행하는 렌더 사이클을 공유하여 심층 신경망 학습 기반 신체 부위 분류를 수행하고자 한다. 이에 대해 도 9를 참조하여 상세히 설명하기로 한다. 도 9는 본 발명의 실시 예에 따른 렌더링 주기 공유 방법을 설명하기 위한 도면이며, 신경망 학습을 위해 입력 레이어(input layer)와 출력 레이어(output layer) 사이를 연결하는 뉴런 층(neuron layer)인 복수의 히든 레이어(hidden layer)를 활용하였다.
영상 처리부(130)는 영상 복원 과정을 수행하는 렌더링 주기를 공유하기 위해 구체적으로 도 9에 도시된 바와 같이, 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 제2 렌더 사이클에서 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다.
그리고, 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제3 렌더 사이클에서 제2 히든 레이어를 동시 실행한다.
이어서, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하고 제4 렌더 사이클에서 제3 히든 레이어를 동시 실행함으로써, 로그 압축 데이터에 대해 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행할 수 있다. 이와 같은 심층 신경망 학습 네트워크 기반으로 도 11에 도시된 바와 같이 간, 갑상선 및 담낭과 같은 신체 구조를 분류할 수 있다.
여기서, 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어는 상기 GPU에 의한 실행이 각각 서로 독립적이기 때문에 렌더 사이클을 공유할 수 있는 것이다. 심층 신경망 학습의 단계로서 제1 내지 제3 히든 레이어를 예로 들었으며, 히든 레이어의 개수는 이에 한정하지 않을 수 있음이 자명하다.
이와 같이 본 발명의 영상 처리부(130)는 모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 동시 실행할 수 있다.
이와 같이 본 발명의 실시 예에 따른 렌더링 주기 공유 기법은 도 10에 도시된 바와 같이 블록을 순차적으로 실행하는 캐스케이드 렌더 사이클 구조에 비해 신호 처리 속도가 빠르기 때문에 실시간 성능을 보장할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따르면, 모바일 GPU를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 종래의 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
도 12는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법을 설명하기 위한 순서도이다.
먼저, 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 먼저, GPU가 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성한다(S110).
다음으로, 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습을 구성하는 다수의 히든 레이어를 동시 실행한다(S120).
다음으로, 히든 레이어 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다(S130). 즉, 심층 신경망 학습 결과에 따라 초음파 영상의 신체 구조를 분류한다.
여기서, S120 단계인 렌더링 주기를 공유하여 심층 신경망 학습을 구성하는 다수의 히든 레이어를 실행하는 단계는 도 13을 참고하여 구체적으로 설명한다.
도 13을 참조하면, 본 발명의 실시 예에 따른 렌더링 공유 기법은 먼저, 스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다(S121).
다음으로, 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 실행한다(S122).
다음으로, 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 실행한다(S123).
다음으로, 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제 3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행한다(S124).
이로써, 본 발명의 실시 예에 따른 렌더링 공유 기법은 모바일 GPU를 구비하는 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행할 수 있다.
한편, 심층 신경망 학습 네트워크를 생성하는 단계에서 심층 신경망 학습 네트워크의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 실행한다. 상기 전처리 단계는 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 과정과, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 과정을 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
따라서, 본 발명은 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
여기서, 블랙홀 필터링과 이미지 리사이징 및 제1 히든 레이어, 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어는 GPU에 의한 실행이 각각 서로 독립적이기 때문에 렌더 사이클을 공유할 수 있는 것이다.
이와 같이 본 발명의 실시 예에 따른 렌더링 주기 공유 기법은 도 10에 도시된 바와 같이 블록을 순차적으로 실행하는 캐스케이드 렌더 사이클 구조에 비해 신호 처리 속도가 빠르기 때문에 실시간 성능을 보장할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따르면, 모바일 GPU를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시 예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치
110: 초음파 수신부 130: GPU
131: 영상 처리부 150: 메모리부
170: 디스플레이부
110: 초음파 수신부 130: GPU
131: 영상 처리부 150: 메모리부
170: 디스플레이부
Claims (20)
- 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계;
상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습(DNN: Deep Neural Network)을 동시 실행하는 단계; 및
상기 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계;를 포함하고,
빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법. - 제 1 항에 있어서,
상기 렌더링 주기를 공유하여 상기 심층 신경망 학습을 동시 실행하는 단계는,
스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는 단계;
상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는 단계;
상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는 단계; 및
상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행하는 단계;를 포함함으로써,
모바일 GPU를 구비하는 상기 스마트 기기가 상기 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법. - 제 2 항에 있어서,
상기 심층 신경망 학습의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 더 포함하고, 상기 전처리 단계는,
프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 단계;
상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 단계;를 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법. - 제 2 항에 있어서,
상기 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계는,
상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법. - 삭제
- 제 2 항에 있어서,
상기 영상 복원 과정 과정은,
제1 렌더 사이클에서 상기 입력 데이터에 대해 포락선 검파와 로그 압축을 수행하는 단계; 및
상기 초음파 영상의 전체적 이득(gain)을 조절하기 위해 이득 제어, 상기 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환(DSC: Digital Scan Conversion)을 연속 수행하는 단계를 포함하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법. - 제 1 항 내지 제 4 항, 제 6 항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
- 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부; 및
상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습(DNN: Deep Neural Network) 기반으로 신체 부위 분류를 동시 실행하는 영상 처리부;를 포함하고,
상기 영상 처리부는,
빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 8 항에 있어서,
상기 영상 처리부는,
상기 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 9 항에 있어서,
상기 영상 처리부는,
상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 10 항에 있어서,
상기 영상 처리부는,
상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 11 항에 있어서,
상기 영상 처리부는,
모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 9 항에 있어서,
상기 심층 신경망 학습은,
데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며,
상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 제 11 항에 있어서,
상기 영상 처리부는,
상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 스마트 기기에 구비된 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 삭제
- 제 11 항에 있어서,
상기 영상 처리부는,
상기 영상 복원 과정을 위해 제1 렌더 사이클에서 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환을 연속 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치. - 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키고,
상기 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키며,
상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시켜, 영상 복원 과정을 수행하는 렌더링 주기를 공유함으로써, 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시에 수행하는 GPU(Graphic processing unit)를 포함하는, 의료용 초음파 영상을 분류하는 스마트 기기. - 제 17 항에 있어서,
상기 심층 신경망 학습은,
데이터 집합을 기반으로 심층 신경망 구조(DNN: Deep Neural Network)를 학습하여 입력 데이터를 분류하는 구조이며,
상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 의료용 초음파 영상을 분류하는 스마트 기기. - 제 17 항에 있어서,
상기 GPU는,
상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 의료용 초음파 영상을 분류하는 스마트 기기. - 제 17 항에 있어서,
상기 GPU는,
빔포밍된 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 의료용 초음파 영상을 분류하는 스마트 기기.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170116405A KR101978728B1 (ko) | 2017-09-12 | 2017-09-12 | 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 |
| PCT/KR2018/010580 WO2019054711A1 (ko) | 2017-09-12 | 2018-09-11 | 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170116405A KR101978728B1 (ko) | 2017-09-12 | 2017-09-12 | 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190029173A KR20190029173A (ko) | 2019-03-20 |
| KR101978728B1 true KR101978728B1 (ko) | 2019-08-28 |
Family
ID=65722935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170116405A KR101978728B1 (ko) | 2017-09-12 | 2017-09-12 | 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101978728B1 (ko) |
| WO (1) | WO2019054711A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023199357A1 (en) * | 2022-04-13 | 2023-10-19 | Garg Dr Suruchi | A system of identifying plurality of parameters of a subject's skin and a method thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210100530A1 (en) * | 2019-10-04 | 2021-04-08 | GE Precision Healthcare LLC | Methods and systems for diagnosing tendon damage via ultrasound imaging |
| CN112862944B (zh) * | 2019-11-09 | 2024-04-12 | 无锡祥生医疗科技股份有限公司 | 人体组织超声建模方法、超声设备及存储介质 |
| CN113298936B (zh) * | 2021-06-01 | 2022-04-29 | 浙江大学 | 一种基于深度学习的多rgb-d全脸材质恢复方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101710910B1 (ko) * | 2010-09-27 | 2017-03-13 | 삼성전자 주식회사 | 프로세싱 유닛의 동적 자원 할당을 위한 방법 및 장치 |
| KR20120059740A (ko) | 2010-12-01 | 2012-06-11 | 삼성메디슨 주식회사 | 적어도 하나의 ｇｐｕ를 구비하는 초음파 시스템 |
| KR20160049897A (ko) * | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
| JP6148265B2 (ja) * | 2015-02-04 | 2017-06-14 | エヌ・ティ・ティ・コムウェア株式会社 | 学習装置、学習方法、およびプログラム |
| KR20160112186A (ko) * | 2015-03-18 | 2016-09-28 | 삼성전자주식회사 | 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치 |
-
2017
- 2017-09-12 KR KR1020170116405A patent/KR101978728B1/ko active IP Right Grant
-
2018
- 2018-09-11 WO PCT/KR2018/010580 patent/WO2019054711A1/ko active Application Filing
Non-Patent Citations (2)
| Title |
|---|
| CPU-GPU 이종 멀티프로세서 시스템에서의 SDF 그래프 기반 성능 분석 및 버퍼 최적화 기법 |
| 멀티코어 Gp-GPU를 이용한 지오메트리 처리 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023199357A1 (en) * | 2022-04-13 | 2023-10-19 | Garg Dr Suruchi | A system of identifying plurality of parameters of a subject's skin and a method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190029173A (ko) | 2019-03-20 |
| WO2019054711A1 (ko) | 2019-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101978728B1 (ko) | 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 | |
| US9307958B2 (en) | Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus | |
| CN106680825B (zh) | 一种声学阵列成像系统与方法 | |
| KR101771242B1 (ko) | 스마트 기기를 이용한 초음파 신호의 고속 병렬 처리 방법 | |
| CN106204465A (zh) | 基于知识的超声图像增强 | |
| CN106210719B (zh) | 用于超声成像的系统 | |
| CN113077394B (zh) | 图像处理方法、电子设备和存储介质 | |
| US9504450B2 (en) | Apparatus and method for combining three dimensional ultrasound images | |
| CN106600550B (zh) | 超声图像处理方法及系统 | |
| CN106529561A (zh) | 超声彩色流中的闪光伪像检测 | |
| US20210272339A1 (en) | Systems and Methods for Generating and Estimating Unknown and Unacquired Ultrasound Data | |
| KR20190131800A (ko) | 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법 | |
| US11455755B2 (en) | Methods and apparatus for neural network based image reconstruction | |
| JP2020507388A (ja) | 解剖学的特徴の超音波評価 | |
| CN114998150B (zh) | 超声图像的三维重建方法及装置 | |
| Cammarasana et al. | Super-resolution of 2D ultrasound images and videos | |
| Jahren et al. | Reverberation suppression in echocardiography using a causal convolutional neural network | |
| KR102590613B1 (ko) | 전환 가능한 뉴럴 네트워크를 이용한 초음파 영상 처리 방법 및 그 장치 | |
| US9984450B2 (en) | Method and apparatus for enhancement of ultrasound images by selective differencing | |
| CN109276276B (zh) | 基于Labview平台的超声内窥成像系统及方法 | |
| CN112957068B (zh) | 超声信号处理方法及终端设备 | |
| US20220405885A1 (en) | Ultrasound diagnosis apparatus, medical image processing apparatus, and non-transitory computer-readable storage medium storing therein medical image processing program | |
| US20170287206A1 (en) | Method and apparatus for processing three-dimensional image data | |
| JP5072585B2 (ja) | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム | |
| Al Bahou et al. | ScatGAN for reconstruction of ultrasound scatterers using generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |