KR20210117844A - 초음파 영상 장치 및 그 동작 방법 - Google Patents
초음파 영상 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20210117844A KR20210117844A KR1020200034668A KR20200034668A KR20210117844A KR 20210117844 A KR20210117844 A KR 20210117844A KR 1020200034668 A KR1020200034668 A KR 1020200034668A KR 20200034668 A KR20200034668 A KR 20200034668A KR 20210117844 A KR20210117844 A KR 20210117844A
- Authority
- KR
- South Korea
- Prior art keywords
- ultrasound
- fitness
- input
- ultrasound image
- image
- Prior art date
Links
- 238000012285 ultrasound imaging Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 title claims description 32
- 238000002604 ultrasonography Methods 0.000 claims abstract description 407
- 238000003745 diagnosis Methods 0.000 claims abstract description 113
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 111
- 239000000523 sample Substances 0.000 claims abstract description 29
- 230000003902 lesion Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012774 diagnostic algorithm Methods 0.000 claims description 64
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000008014 freezing Effects 0.000 claims description 14
- 238000007710 freezing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000011017 operating method Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 24
- 210000004185 liver Anatomy 0.000 description 17
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 210000003484 anatomy Anatomy 0.000 description 10
- 208000004930 Fatty Liver Diseases 0.000 description 6
- 206010019708 Hepatic steatosis Diseases 0.000 description 6
- 208000010706 fatty liver disease Diseases 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 231100000240 steatosis hepatitis Toxicity 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 210000003734 kidney Anatomy 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010019668 Hepatic fibrosis Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4405—Device being mounted on a trolley
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4427—Device being portable or laptop-like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/464—Displaying means of special interest involving a plurality of displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
- A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Vascular Medicine (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
초음파 영상 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따르면, 초음파 프로브, 디스플레이부, 적어도 하나의 명령어들(instructions)을 저장하는 메모리, 및 메모리에 저장된 상기 적어도 하나의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득하고, 획득된 복수의 초음파 영상이 병변을 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산하고, 계산된 적합도를 디스플레이부 상에 디스플레이하고, 적합도에 기초하여 복수의 초음파 영상 중 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정하는 초음파 영상 장치를 제공한다.
Description
본 개시는 초음파 영상 장치 및 그 동작 방법에 관한 것이다. 구체적으로는 병변을 진단하기 위한 진단 알고리즘에 입력 영상으로 입력되는 최적의 초음파 영상을 결정하는 초음파 영상 장치 및 그 동작 방법에 관한 것이다.
초음파 영상 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 초음파 에코 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 얻는다.
최근에는 초음파 영상을 이용하여 자동으로 생체 데이터를 측정하거나, 병변을 진단하는 자동화된 측정 및 진단 알고리즘이 사용되고 있다. 자동화 측정 및 진단 알고리즘은 종류에 따라 입력되는 초음파 영상의 해부학적 구조 및 스캔 뷰(scan view), 및 영상 설정에 관한 고유의 설정값이 정해져 있다. 자동화 측정 및 진단 알고리즘에 입력되는 입력 초음파 영상은 검사자(사용자)의 주관적이고 정성적인(qualitative) 기준에 의해 결정되는바, 자동화 측정 및 진단 알고리즘을 통한 결과는 일정하지 않고, 변동이 발생될 수 있다. 예를 들어, 검사자(사용자)에 의한 노이즈(noise), 환자의 움직임으로 인한 모션 아티팩트(motion artifact), 초음파 영상에 출력되는 해부학적 구조의 주관적이고 정성적인 선정, 또는 초음파 고유의 아티팩트(예를 들어, 간에 관한 초음파 영상에서 갈비뼈에 의한 shadow) 등의 요인에 의해 진단 알고리즘의 결과의 정확도가 낮아지고, 측정의 소요 시간이 늘어나면서 효율성도 낮아지는 문제점이 있다.
특히, 최근에 널리 이용되고 있는 기계 학습 기반의 측정 및 진단 알고리즘들은 학습 데이터에 의해 효과가 좌우된다. 그러나, 학습을 위해 획득된 데이터는 실제 사용 시 다양한 검사자(사용자)들에 의해 획득된 데이터와는 해부학적 뷰 및 스캔 조건이 다르기 때문에, 진단 알고리즘 결과의 정확도가 낮아지는 문제점이 있다.
본 개시는 진단 알고리즘을 통한 병변 진단의 정확도를 향상시키기 위하여, 사용자의 주관적이고 정성적인 기준을 배제하고, 정량적인 기준을 통해 진단 알고리즘에 입력되는 입력 초음파 영상을 결정하는 초음파 영상 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 초음파 프로브를 이용하여 대상체로부터 반사된 에코 신호를 수신하고, 수신된 상기 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득하는 단계, 상기 복수의 초음파 영상이 병변을 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산하는 단계, 상기 계산된 적합도를 상기 초음파 영상 장치의 디스플레이부 상에 디스플레이하는 단계, 및 상기 적합도에 기초하여, 상기 복수의 초음파 영상 중 상기 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정하는 단계를 포함하는, 초음파 영상 장치의 동작 방법을 제공한다.
예를 들어, 상기 적합도를 계산하는 단계는 상기 복수의 초음파 영상 각각에 대한 해부학적 뷰, 품질, 및 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 상기 진단 알고리즘에 대한 적합도를 계산하는 단계를 포함할 수 있다.
예를 들어, 상기 적합도를 계산하는 단계는 상기 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 상기 복수의 초음파 영상 각각의 상기 진단 알고리즘에 관한 적합도를 계산하는 단계를 포함할 수 있다.
예를 들어, 상기 적합도를 계산하는 단계는 기학습된 심층 신경망(pre-trained Deep Neural Network)에 상기 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 상기 진단 알고리즘에 대한 적합도를 산출하는 단계를 포함하고, 상기 기학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망일 수 있다.
예를 들어, 상기 적합도를 디스플레이하는 단계는 상기 계산된 적합도를 상기 진단 알고리즘의 명칭과 함께 디스플레이할 수 있다.
예를 들어, 상기 적합도를 디스플레이하는 단계는 상기 복수의 초음파 영상 중 상기 적합도가 계산된 초음파 영상을 상기 적합도와 함께 디스플레이할 수 있다.
예를 들어, 상기 초음파 영상을 결정하는 단계는 상기 복수의 초음파 영상 중 상기 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze 하는 단계를 포함할 수 있다.
예를 들어, 상기 초음파 영상을 결정하는 단계는 상기 복수의 초음파 영상 중 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하기 위한 사용자 입력을 수신하는 단계, 및 수신된 사용자 입력에 기초하여 초음파 영상을 freeze함으로써, 상기 진단 알고리즘에 입력되는 상기 입력 초음파 영상을 결정하는 단계를 포함할 수 있다.
예를 들어, 상기 계산된 적합도가 기설정된 임계치를 초과하는 경우, 상기 방법은 적합도가 계산된 초음파 영상을 상기 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 상기 초음파 영상 장치의 디스플레이부 상에 디스플레이하는 단계를 더 포함할 수 있다.
예를 들어, 상기 방법은 기 촬영되어 상기 초음파 영상 장치의 메모리에 저장된 적어도 하나의 초음파 영상을 로드(load)하는 단계, 상기 로드된 적어도 하나의 초음파 영상과 상기 획득된 복수의 초음파 영상 간의 유사도를 측정하는 단계, 및 상기 측정된 유사도가 유사도에 관하여 기설정된 임계치를 초과하는 적어도 하나의 초음파 영상을 결정하는 단계를 더 포함하고, 상기 적합도를 계산하는 단계는 상기 결정된 적어도 하나의 초음파 영상의 상기 진단 알고리즘에 관한 적합도를 계산할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 대상체에 초음파 신호를 송신하고, 상기 대상체로부터 반사된 에코 신호를 수신하는 초음파 프로브, 디스플레이부, 적어도 하나의 명령어들(instructions)을 저장하는 메모리, 및 상기 메모리에 저장된 상기 적어도 하나의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득하고, 상기 획득된 복수의 초음파 영상이 병변을 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산하고, 상기 계산된 적합도를 상기 디스플레이부 상에 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 적합도에 기초하여, 상기 복수의 초음파 영상 중 상기 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정하는, 초음파 영상 장치를 제공한다.
예를 들어, 상기 프로세서는 상기 복수의 초음파 영상 각각에 대한 해부학적 뷰, 품질, 및 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 상기 진단 알고리즘에 대한 적합도를 계산할 수 있다.
예를 들어, 상기 프로세서는 상기 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 상기 복수의 초음파 영상 각각의 상기 진단 알고리즘에 관한 적합도를 계산할 수 있다.
예를 들어, 상기 프로세서는 기학습된 심층 신경망(pre-trained Deep Neural Network)에 상기 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 상기 진단 알고리즘에 대한 적합도를 산출하고, 상기 기학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망일 수 있다.
예를 들어, 상기 프로세서는 상기 계산된 적합도를 상기 진단 알고리즘의 명칭과 함께 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
예를 들어, 상기 프로세서는 상기 복수의 초음파 영상 중 상기 적합도가 계산된 초음파 영상을 상기 적합도와 함께 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
예를 들어, 상기 프로세서는 상기 복수의 초음파 영상 중 상기 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze 할 수 있다.
예를 들어, 상기 초음파 영상 장치는 복수의 초음파 영상 중 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하기 위한 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 프로세서는 상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여 초음파 영상을 freeze함으로써, 상기 진단 알고리즘에 입력되는 상기 입력 초음파 영상을 결정할 수 있다.
예를 들어, 상기 프로세서는 상기 계산된 적합도가 기설정된 임계치를 초과하는 경우, 상기 적합도가 계산된 초음파 영상을 상기 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 상기 디스플레이부 상에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른 초음파 영상 장치의 동작을 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 초음파 영상 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 초음파 영상 장치의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 초음파 영상 장치가 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 5는 본 개시의 초음파 영상 장치가 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 6a 내지 도 6c는 본 개시의 초음파 영상 장치가 초음파 영상의 진단 알고리즘에 관한 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 7은 본 개시의 초음파 영상 장치가 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하고, freeze된 초음파 영상을 이용하여 진단 알고리즘을 수행하는 실시예를 도시한 흐름도이다.
도 8은 본 개시의 초음파 영상 장치가 진단 알고리즘에 대한 입력 초음파 영상을 결정하는 사용자 입력을 수신하기 위한 UI(User Interface)를 디스플레이하는 실시예를 도시한 도면이다.
도 9a 및 도 9b는 본 개시의 초음파 영상 장치가 초음파 영상에 적합한 진단 알고리즘의 종류 및 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 10은 본 개시의 초음파 영상 장치가 기 저장된 초음파 영상과 획득된 초음파 영상 간의 유사도를 측정하고, 측정된 유사도에 기초하여 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 흐름도이다.
도 11a 내지 도 11c는 초음파 영상 장치를 도시한 도면들이다.
도 2는 본 개시의 일 실시예에 따른 초음파 영상 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 초음파 영상 장치의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 초음파 영상 장치가 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 5는 본 개시의 초음파 영상 장치가 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 6a 내지 도 6c는 본 개시의 초음파 영상 장치가 초음파 영상의 진단 알고리즘에 관한 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 7은 본 개시의 초음파 영상 장치가 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하고, freeze된 초음파 영상을 이용하여 진단 알고리즘을 수행하는 실시예를 도시한 흐름도이다.
도 8은 본 개시의 초음파 영상 장치가 진단 알고리즘에 대한 입력 초음파 영상을 결정하는 사용자 입력을 수신하기 위한 UI(User Interface)를 디스플레이하는 실시예를 도시한 도면이다.
도 9a 및 도 9b는 본 개시의 초음파 영상 장치가 초음파 영상에 적합한 진단 알고리즘의 종류 및 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 10은 본 개시의 초음파 영상 장치가 기 저장된 초음파 영상과 획득된 초음파 영상 간의 유사도를 측정하고, 측정된 유사도에 기초하여 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 흐름도이다.
도 11a 내지 도 11c는 초음파 영상 장치를 도시한 도면들이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 '초음파 영상'이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
또한, 명세서 전체에서 '사용자'는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지는 않는다.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 초음파 영상 장치(1000)의 동작을 설명하기 위한 개념도이다.
도 1에 도시된 초음파 영상 장치(1000)는 초음파 프로브(1100)로부터 초음파 에코 신호를 수신하고, 수신된 초음파 에코 신호를 영상 처리하여 대상체, 즉 환자의 신체 내부 부위에 관한 초음파 영상을 생성하는 장치이다. 초음파 영상 장치(1000)는 카트형으로 구성될 수 있으나, 이에 한정되는 것은 아니다. 초음파 영상 장치(1000)는 예를 들어, 팩스 뷰어(PACS viewer), 스마트 폰(smart phone), 랩탑 컴퓨터(laptop computer), 태블릿 PC 및 PDA 중 적어도 하나를 포함하는 휴대형으로 구현될 수도 있다.
도 1을 참조하면, 초음파 영상 장치(1000)는 초음파 프로브(1100), 컨트롤 패널(1310), 및 디스플레이부(1600)를 포함할 수 있다. 그러나, 이는 설명의 편의를 위한 것이고, 본 개시의 초음파 영상 장치(1000)가 상기 나열된 구성 요소만을 포함하는 것은 아니다.
초음파 프로브(1100)는 대상체에 초음파 신호를 송출하고, 대상체로부터 반사된 에코 신호를 수신할 수 있다. 초음파 영상 장치(1000)는 초음파 프로브(1100)를 통해 획득한 에코 신호에 기초하여 초음파 이미지 데이터를 획득할 수 있다. 초음파 영상 장치(1000)는 초음파 이미지 데이터를 영상 처리하여, 복수의 초음파 영상을 획득할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)는 사용자가 대상체(예를 들어, 환자의 복부) 상에서 초음파 프로브(1100)의 스캔 위치를 변경하거나, 또는 컨트롤 패널(1310)을 이용하여 초음파 영상 촬영을 위한 스캔 파라미터의 설정값을 변경하는 입력에 따라 복수 개의 프레임(frame)의 초음파 영상을 실시간으로 획득할 수 있다.
초음파 영상 장치(1000)는 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산할 수 있다. 진단 알고리즘은 초음파 영상이 입력되면, 초음파 영상으로부터 생체 데이터를 측정하거나, 병변을 진단하는 자동화된 애플리케이션이다. 진단 알고리즘은 입력 초음파 영상으로부터 해부학적 정보를 획득하거나, 특징점을 검출함으로써 영상을 분석하고, 생체 데이터를 측정하거나 병변을 예측할 수 있다. 일 실시예에서, 진단 알고리즘은 딥 러닝 등 기계 학습 기반의 알고리즘으로 구성될 수 있다. 진단 알고리즘은 예를 들어, 간 초음파 영상으로부터 간 섬유화 정도를 측정하거나, 지방 간을 진단하는 HRI(Hepato Renal Index), 초음파 영상의 산란(scatter) 정도를 측정하는 TSI(Tissue Scatter distribution Imaging), 초음파 영상의 감쇠(attenuation) 정도를 측정하는 TAI(Tissue Attenuation Imaging) 등이 있다. 그러나, 전술한 예시로 한정되는 것은 아니다. 진단 알고리즘에 대한 '적합도(suitability)'는 초음파 영상이 진단 알고리즘에 대한 입력 영상으로 입력되어 생체 데이터를 측정하고, 측정된 생체 데이터로부터 병변을 진단하는데 적절한지 여부를 정량적으로 나타내는 수치값을 의미한다.
초음파 영상 장치(1000)는 계산된 적합도를 디스플레이부(1600) 상에 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(1600)는 획득된 초음파 영상(100), 초음파 영상(100)의 진단 알고리즘에 관한 적합도를 나타내는 제1 UI(110), 적합도를 계산하기 위한 복수의 파라미터 각각의 측정값의 크기를 나타내는 제2 UI(120), 및 적합도의 수치값에 기초하여 초음파 영상(100)이 진단 알고리즘에 입력되는 입력 초음파 영상으로서 적합한지 여부를 나타내는 제3 UI(130)를 디스플레이할 수 있다. 일 실시예에서, 제1 UI(110), 제2 UI(120), 및 제3 UI(130)는 그래픽 사용자 인터페이스(Graphic User Interface)로 구현될 수 있다.
일 실시예에서, 초음파 영상 장치(1000)는 계산된 적합도에 기초하여, 실시간으로 획득되는 복수의 초음파 영상 중 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정할 수 있다. 초음파 영상 장치(1000)는 결정된 입력 초음파 영상을 이용하여 진단 알고리즘을 수행함으로써, 생체 데이터를 측정하고, 병변을 진단할 수 있다.
종래의 초음파 영상 장치를 통해 진단 알고리즘을 활용하는 경우, 진단 알고리즘에 입력되는 입력 초음파 영상을 사용자의 주관적이고 정성적인(qualitative) 기준에 의해 결정하는바, 진단 알고리즘을 통한 병변 진단 결과의 정확도가 낮은 문제점이 있었다. 예를 들어, 사용자에 의한 노이즈(noise), 환자의 움직임으로 인한 모션 아티팩트(motion artifact), 초음파 영상에 출력되는 해부학적 구조의 주관적이고 정성적인 선정, 또는 초음파 고유의 아티팩트(예를 들어, 간에 관한 초음파 영상에서 갈비뼈에 의한 shadow) 등의 요인에 의해 진단 알고리즘의 결과의 정확도가 낮아지고, 진단 알고리즘을 통한 측정의 소요 시간이 늘어나면서 효율성도 낮아지는 문제점이 있다. 특히, 딥 러닝(Deep Learning) 등 심층 신경망(Deep Neural Network)을 이용하는 기계 학습 기반의 진단 알고리즘들은 학습 데이터에 의해 효과가 좌우되는데, 학습을 위해 획득된 데이터는 실제 사용 시 사용자에 의해 획득된 데이터와는 해부학적 뷰 및 스캔 조건이 다르기 때문에, 진단 알고리즘 결과의 정확도가 낮아지는 문제점이 있다.
본 개시의 일 실시예에 따른 초음파 영상 장치(1000)는 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 정량적으로 계산하고, 계산된 적합도를 이용하여 복수의 초음파 영상 중 진단 알고리즘에 입력되는 최적의 입력 초음파 영상을 결정하는바, 진단 알고리즘을 통한 병변 진단의 정확도를 향상시킬 수 있다. 본 개시의 초음파 영상 장치(1000)는 입력 초음파 영상을 결정하는데 있어서 사용자의 경험 수준이나, 기타 정성적인 기준을 배제하였기 때문에, 비숙련자라도 진단 알고리즘을 통해 정확한 결과를 얻을 수 있는 최적의 입력 초음파 영상을 획득할 수 있다. 또한, 본 개시의 초음파 영상 장치(1000)는 진단 알고리즘에 입력되는 최적의 입력 초음파 영상을 자동으로 결정하는바, 검사 시간을 단축시킬 수 있다.
또한, 본 개시의 초음파 영상 장치(1000)는 초음파 영상(100)의 진단 알고리즘에 대한 적합도를 디스플레이부(1600)를 통해 시각적으로 디스플레이하는바, 사용자가 직관적으로 적합도를 파악할 수 있고, 적합도를 보고 직접 입력 초음파 영상을 선택하도록 할 수 있다. 따라서, 사용자 편의성이 향상될 수 있다.
도 2는 본 개시의 초음파 영상 장치(1000)의 구성을 도시한 블록도이다.
도 2를 참조하면, 초음파 영상 장치(1000)는 초음파 프로브(1100), 초음파 송수신부(1200), 사용자 입력부(1300), 프로세서(1400), 메모리(1500), 디스플레이부(1600), 및 저장부(1700)를 포함할 수 있다. 도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 초음파 영상 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 초음파 영상 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다.
초음파 프로브(1100)는 대상체, 즉 환자의 신체에 초음파 신호를 송신하고, 환자의 신체로부터 반사되는 초음파 에코 신호를 수신하는 복수의 트랜스듀서 엘리먼트(transducer element)를 포함할 수 있다. 초음파 프로브(1100)는 초음파 영상 장치(1000)와 유선 또는 무선으로 연결될 수 있다. 일 실시예에서, 초음파 프로브(1100)는 초음파 영상 장치(1000)와 분리되어 독립적으로 동작하는 분리형 프로브일 수 있다. 또한, 초음파 영상 장치(1000)는 구현 형태에 따라 하나 또는 복수의 초음파 프로브(1100)를 구비할 수 있다.
복수의 트랜스듀서 엘리먼트들은 송신부(1210)로부터 인가되는 송신 신호에 따라 대상체로 초음파 신호를 송신할 수 있다. 복수의 트랜스듀서 엘리먼트들은 대상체로부터 반사된 초음파 에코 신호를 수신하여, 수신 신호를 형성할 수 있다. 프로세서(1400)는 초음파 프로브(1100)에 포함되는 복수의 트랜스듀서 엘리먼트들의 위치 및 집속점(focal point)을 고려하여, 복수의 트랜스듀서 엘리먼트들 각각에 인가될 송신 신호를 형성하도록 송신부(1210)를 제어할 수 있다. 프로세서(1400)는 초음파 프로브(1100)로부터 수신되는 수신 신호를 아날로그 디지털 변환(A/D Conversion)하고, 복수의 트랜스듀서 엘리먼트들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(1220)를 제어할 수 있다.
사용자 입력부(1300)는 초음파 영상 장치(1000)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(1300)는 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knob) 등을 통해 사용자 입력을 수신하거나, 또는 터치 패드나 터치 스크린을 터치하는 터치 입력, 드래그 입력, 스와이프(swipe) 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 수신할 수 있다.
사용자 입력부(1300)는 컨트롤 패널(1310)을 포함할 수 있다. 컨트롤 패널(1310)은 초음파 영상 장치(1000)가 초음파 영상을 촬영하기 위한 스캔 파라미터의 설정값을 변경 또는 조절하기 위한 입력 장치를 포함할 수 있다. 일 실시예에서, 컨트롤 패널(1310)은 복수의 버튼, 트랙볼(trackball), 조그 스위치, 및 놉(knob) 버튼 중 적어도 하나를 포함할 수 있다.
프로세서(1400)는 초음파 프로브(1100), 초음파 송수신부(1200), 사용자 입력부(1300), 디스플레이부(1600), 및 저장부(1700)의 전반적인 동작 및 초음파 영상 장치(1000)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 프로세서(1400)는 메모리(1500)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1400)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
메모리(1500)에는 초음파 영상 장치(1000)를 제어하기 위한 명령어들(instruction)을 포함하는 프로그램이 저장될 수 있다. 메모리(1500)에는 프로세서(1400)가 판독할 수 있는 하나 이상의 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1400)는 메모리(1500)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.
메모리(1500)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(1400)는 초음파 프로브(1100)를 통해 수신된 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 수신부(1220)를 통해 수신되는 초음파 에코 신호를 아날로그 디지털 변환(A/D Conversion)하고, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하며, 초음파 데이터를 이용하여 복수 개의 프레임(frame)의 초음파 영상을 획득할 수 있다.
프로세서(1400)는 획득된 복수의 초음파 영상이 병변이 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산할 수 있다. '적합도(suitability)'는 초음파 영상이 진단 알고리즘에 대한 입력 영상으로 입력되어 생체 데이터를 측정하고, 측정된 생체 데이터로부터 병변을 진단하는데 적절한지 여부를 정량적으로 나타내는 수치값을 의미한다. 프로세서(1400)는 복수의 초음파 영상으로부터 인식되거나, 획득된 파라미터 및 복수의 초음파 영상을 촬영하기 위하여 설정된 스캔 파라미터의 설정값에 기초하여, 진단 알고리즘에 관한 적합도를 계산할 수 있다. 일 실시예에서, 프로세서(1400)는 복수의 초음파 영상 각각에 대한 해부학적 뷰(anatomical view), 품질, 및 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 진단 알고리즘에 대한 적합도를 계산할 수 있다. 복수의 초음파 영상의 품질은 예를 들어, 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 모션 아티팩트(motion artifact), shadow 비율 중 적어도 하나에 의해 측정될 수 있다.
그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 심층 신경망(Deep Neural Network; DNN)을 이용하는 학습(training)을 통해 복수의 초음파 영상 각각의 진단 알고리즘에 관한 적합도를 계산할 수 있다. 이 경우, 프로세서(1400)는 기학습된 심층 신경망 모델(Pre-trained DNN)을 이용할 수 있다. 프로세서(1400)가 복수의 초음파 영상 각각의 진단 알고리즘에 관한 적합도를 계산하는 구체적인 실시예에 대해서는 도 4 및 도 5에서 상세하게 설명하기로 한다.
프로세서(1400)는 초음파 영상 각각에 대하여 계산된 적합도를 디스플레이부(1600) 상에 디스플레이하도록 디스플레이부(1600)를 제어할 수 있다. 일 실시예에서, 프로세서(1400)는 복수의 초음파 영상 각각의 해부학적 뷰 및 스캔 파라미터의 프리셋(preset) 중 적어도 하나의 파라미터에 기초하여 복수의 초음파 영상에 적합한 진단 알고리즘의 종류를 인식하고, 인식된 진단 알고리즘의 명칭 및 인식된 진단 알고리즘에 대하여 계산된 적합도를 디스플레이부(1600) 상에 디스플레이할 수 있다. 프로세서(1400)는 적합도 뿐만 아니라, 적합도를 계산하기 위하여 측정된 파라미터의 크기를 그래픽으로 표시하는 GUI(Graphic User Interface)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 적합도와 관련된 GUI를 디스플레이하는 구체적인 실시예는 도 6a 내지 도 6c에서 상세하게 설명하기로 한다.
프로세서(1400)는 계산된 적합도의 수치에 기초하여, 복수의 초음파 영상 중 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 복수의 초음파 영상 중 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze 할 수 있다. 일 실시예에서, 프로세서(1400)는 자동으로 freeze 된 초음파 영상을 진단 알고리즘을 수행하기 위한 입력 초음파 영상으로 결정할 수 있다.
일 실시예에서, 사용자 입력부(1300)는 복수의 초음파 영상 중 계산된 적합도의 수치에 기초하여 초음파 영상을 freeze 하기 위한 사용자 입력을 수신하고, 프로세서(1400)는 사용자 입력부(1300)를 통해 수신된 사용자 입력에 기초하여 초음파 영상을 freeze 할 수 있다. 일 실시예에서, 프로세서(1400)는 사용자 입력에 따라 freeze된 초음파 영상을 진단 알고리즘을 수행하기 위한 입력 초음파 영상으로 결정할 수 있다. 초음파 영상 장치(1000)가 적합도에 기초하여 입력 초음파 영상을 결정하고, 진단 알고리즘을 수행하는 구체적인 실시예는 도 7에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 freeze 된 초음파 영상을 저장부(1700)에 저장할 수 있다.
프로세서(1400)는 계산된 적합도가 기설정된 임계치를 초과하는 경우, 적합도가 계산된 초음파 영상을 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 디스플레이부(1600) 상에 디스플레이하도록 디스플레이부(1600)를 제어할 수 있다. 입력 초음파 영상을 결정하기 위한 UI에 관한 구체적인 실시예는 도 8에서 상세하게 설명하기로 한다.
프로세서(1400)는 기 촬영되어 저장부(1700)에 저장되어 있는 적어도 하나의 초음파 영상을 저장부(1700)로부터 로드(load)할 수 있다. 적어도 하나의 초음파 영상은 현재 촬영하고 있는 환자의 대상 부위, 예를 들어 간 부위의 초음파 영상으로써, 과거에 촬영되어 저장부(1700) 내에 저장되어 있는 영상을 의미한다. 프로세서(1400)는 로드된 적어도 하나의 초음파 영상과 현재 신규로 촬영하여 획득한 복수의 초음파 영상 간의 유사도를 측정하고, 측정된 유사도가 기설정된 임계치를 초과하는 적어도 하나의 초음파 영상을 진단 알고리즘을 수행하기 위한 입력 초음파 영상으로 결정할 수 있다. 프로세서(1400)가 저장부(1700)에 기 저장된 초음파 영상을 이용하여 신규로 촬영된 복수의 초음파 영상 중 진단 알고리즘을 수행하기 위한 입력 초음파 영상을 결정하는 구체적인 실시예에 대해서는 도 10에서 상세하게 설명하기로 한다.
디스플레이부(1600)는 예를 들어, CRT 디스플레이, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(1600)는 터치 인터페이스를 포함하는 터치스크린으로 구성될 수도 있다. 디스플레이부(1600)가 터치스크린으로 구성되는 경우, 디스플레이부(1600)는 터치 패널로 구성되는 사용자 입력부(1300)와 통합되는 구성 요소일 수 있다.
일 실시예에서, 디스플레이부(1600)는 서브 디스플레이부(sub display)를 더 포함할 수 있다. 서브 디스플레이부는 컨트롤 패널(1310)과 통합될 수 있으며, 이 경우 서브 디스플레이부는 터치 패널을 포함하는 터치스크린으로 구현될 수 있다. 서브 디스플레이부에 대해서는 도 8에 관한 설명 부분을 참조한다.
저장부(1700)에는 과거 시점에 기 촬영된 적어도 하나의 초음파 영상이 저장될 수 있다. 일 실시예에서, 저장부(1700)는 사용자에 의해 설정된 스캔 파라미터의 설정값을 프리셋(preset)의 형태로 저장할 수 있다. 예를 들어, 저장부(1700)는 게인(Gain), 다이내믹 레인지(Dynamic Range), 깊이 값(Depth), 리젝트 레벨(Reject Level), 파워(Power), 필터(Filter), 초음파 신호의 주파수, 및 TGC(Time Gain Compensation) 중 적어도 하나를 포함하는 스캔 파라미터 각각의 설정값 정보를 사용자 식별 정보(예를 들어, 사용자 id)에 따라 사용자 프리셋(User Preset)으로 저장할 수 있다.
저장부(1700)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 비휘발성 메모리로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니다. 일 실시예에서, 저장부(1700)는 초음파 영상 장치(1000)에 포함되는 내부 구성 요소가 아닌, 외부의 데이터베이스(Database) 형태로 구현될 수도 있다.
도 3은 본 개시의 일 실시예에 따른 초음파 영상 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 초음파 영상 장치(1000)는 초음파 프로브를 이용하여, 대상체에 관한 복수의 초음파 영상을 획득한다. 일 실시예에서, 초음파 영상 장치(1000)는 초음파 프로브를 이용하여 수신한 에코 신호를 영상 처리함으로써, 대상체에 관한 복수의 초음파 영상을 획득할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)는 사용자가 대상체(예를 들어, 환자의 복부) 상에서 초음파 프로브의 스캔 위치를 변경하거나, 또는 초음파 영상 촬영을 위한 스캔 파라미터의 설정값을 변경하는 입력에 따라 복수 개의 프레임의 초음파 영상을 실시간으로 획득할 수 있다.
단계 S320에서, 초음파 영상 장치(1000)는 복수의 초음파 영상이 진단 알고리즘에 대한 입력 영상으로서 적합한지를 나타내는 적합도를 계산한다. 일 실시예에서, 초음파 영상 장치(1000)는 복수의 초음파 영상 각각에 대한 해부학적 뷰, 품질, 및 복수의 초음파 영상을 촬영하기 위해 설정된 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 진단 알고리즘에 대한 적합도를 계산할 수 있다. 초음파 영상 장치(1000)는 예를 들어, 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 복수의 초음파 영상 각각의 진단 알고리즘에 관한 적합도를 계산할 수 있다.
그러나, 이에 한정되는 것은 아니다. 초음파 영상 장치(1000)는 기 학습된 심층 신경망(pre-trained Deep Neural Network)에 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 진단 알고리즘에 대한 적합도를 산출할 수도 있다. 일 실시예에서, 기 학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망일 수 있다.
단계 S330에서, 초음파 영상 장치(1000)는 계산된 적합도를 디스플레이한다. 일 실시예에서, 초음파 영상 장치(1000)는 적합도를 진단 알고리즘의 명칭과 함께 디스플레이할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)는 복수의 초음파 영상 중 적합도가 계산된 초음파 영상을 적합도와 함께 디스플레이할 수 있다.
단계 S340에서, 초음파 영상 장치(1000)는 적합도에 기초하여, 복수의 초음파 영상 중 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정한다. 일 실시예에서, 초음파 영상 장치(1000)는 복수의 초음파 영상 중 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)는 복수의 초음파 영상 중 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하기 위한 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 초음파 영상을 freeze 할 수 있다. 초음파 영상 장치(1000)는 자동 또는 수동(사용자 입력을 통한 선택)으로 freeze 된 초음파 영상을 진단 알고리즘을 수행하기 위한 입력 초음파 영상으로 결정할 수 있다.
일 실시예에서, 초음파 영상 장치(1000)는 계산된 적합도가 기설정된 임계치를 초과하는 경우, 적합도가 계산된 초음파 영상을 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 디스플레이할 수 있다.
도 4는 본 개시의 초음파 영상 장치(1000)가 복수의 초음파 영상 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 4를 참조하면, 초음파 영상 장치(1000)는 복수의 초음파 영상(100)과 초음파 영상을 촬영하기 위하여 설정된 스캔 파라미터의 설정값(400)의 정보에 기초하여, 복수의 초음파 영상(100) 각각의 진단 알고리즘에 대한 적합도를 계산할 수 있다.
단계 S410에서, 초음파 영상 장치(1000)는 복수의 초음파 영상(100) 각각의 해부학적 뷰를 인식하고, 해부학적 뷰에 기초하여 복수의 초음파 영상의 뷰를 분류(view classification)한다. 일 실시예에서, 초음파 영상 장치(1000)의 프로세서(1400, 도 2 참조)는 영상 인식 기술을 이용하여 복수의 초음파 영상(100)의 영상 뷰를 검출하고, 복수의 초음파 영상(100)으로부터 대상체의 해부학적 구조를 검출할 수 있다. 예를 들어, 프로세서(1400)는 영상 인식 기술을 이용하여, 초음파 영상으로부터 간 또는 신장 등 사람의 해부학적 구조물들을 검출할 수 있다. 또한, 프로세서(1400)는 영상 인식 기술을 이용하여 적어도 하나의 특정 해부학적 구조물의 위치, 외곽선 위치 등과 같은 시드 정보(seed information)를 획득하고, 시드 정보에 기초하여 특징점을 검출할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 기 학습된 심층 신경망(Deep Neural Network) 등 기계 학습 기반의 모델을 이용하여 초음파 영상으로부터 해부학적 구조물 및 특징점을 검출할 수도 있다.
초음파 영상 장치(1000)는 검출된 특징점에 기초하여 특정 해부학적 구조에 대한 표준 뷰를 결정하고, 표준 뷰에 따라 복수의 초음파 영상(100)의 뷰를 분류할 수 있다. 여기서, '표준 뷰(standard view)'는 초음파 영상을 통하여 진단을 하기 위해 초음파 영상 장치(1000)에 디스플레이되는 초음파 영상이 만족해야 할 조건을 포함한다. 표준 뷰는 의료 영상의 뷰에 포함되어야 하는 해부학적 구조물의 위치, 구조물의 크기 및 구조물이 놓여진 방향 중 적어도 하나에 대한 정보를 포함할 수 있다. 예를 들어, 간 초음파 영상에서의 표준 뷰는 간(liver)과 신장(kidney)의 위치, 간 혈관의 위치, 및 신장 피질 포함 비율 중 적어도 하나에 관한 조건들이 미리 정의될 수 있다.
초음파 영상 장치(1000)의 프로세서(1400)는 복수의 초음파 영상(100)이 표준 뷰에서 정의하는 조건을 만족하는지 여부를 평가함으로써, 복수의 초음파 영상(100)을 특정 뷰로 분류할 수 있다. 프로세서(1400)는 예를 들어, 복수의 초음파 영상(100)으로부터 LK view(Liver Kidney view)를 인식하고, 간 혈관의 위치, 신장 피질 포함 비율 등을 인식하고, 간 초음파 영상의 표준 뷰에서 정의하는 조건에 만족하는지 판단함으로써 복수의 초음파 영상(100)의 뷰를 분류할 수 있다. 일 실시예에서, 프로세서(1400)는 복수의 초음파 영상(100)의 뷰의 분류 결과에 기초하여, 서로 다른 타입의 진단 알고리즘 중 병변을 진단하기에 적절한 진단 알고리즘을 선택할 수 있다.
단계 S420에서, 초음파 영상 장치(1000)는 복수의 초음파 영상(100)의 품질을 평가한다. 일 실시예에서, 프로세서(1400)는 복수의 초음파 영상(100)의 에코 발생도(echogenicity), 모션 아티팩트(motion artifact)로 인한 영상 블러링(blurring), 및 shadow 비율 중 적어도 하나를 포함하는 품질에 영향을 주는 파라미터를 검출하고, 검출된 파라미터에 기초하여 복수의 초음파 영상(100)의 품질을 평가할 수 있다. 에코 발생도는 복수의 초음파 영상(100)이 B-모드 초음파 영상인 경우 적용될 수 있다. 에코 발생도는 B-모드 초음파 영상의 픽셀값에 대응되는 값으로 측정될 수 있다. Shadow는 초음파 영상 고유의 특징에 따라 허용될 수 있는 아티팩트로서, 예를 들어 간 초음파 영상에서 갈비뼈에 의한 shadow 등을 의미한다. 일 실시예에서, 프로세서(1400)는 초음파 영상 전체의 크기 대비 shadow의 비율에 기초하여 복수의 초음파 영상(100)의 품질을 평가할 수 있다.
단계 S430에서, 초음파 영상 장치(1000)는 스캔 파라미터의 설정값 정보를 획득한다. 스캔 파라미터는 초음파 영상 장치(1000)를 통해 복수의 초음파 영상(100)을 촬영하기 위하여 사용자에 의해 설정되는 값으로서, 예를 들어, 게인(Gain), 다이내믹 레인지(Dynamic Range), 깊이 값(Depth), 리젝트 레벨(Reject Level), 파워(Power), 필터(Filter), 초음파 신호의 주파수, 및 TGC(Time Gain Compensation) 중 적어도 하나를 포함할 수 있다. 그러나, 스캔 파라미터가 상기 나열된 예시로 한정되는 것은 아니다. 일 실시예에서, 프로세서(1400)는 사용자 입력부(1300, 도 2 참조)를 통해 입력된 스캔 파라미터 각각의 설정값 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 저장부(1700, 도 2 참조)에 저장된 스캔 파라미터 각각의 설정값에 관한 프리셋(preset)을 로드(load)하고, 로드된 프리셋으로부터 스캔 파라미터의 설정값 정보를 획득할 수 있다.
단계 S440에서, 초음파 영상 장치(1000)는 복수의 초음파 영상(100)의 진단 알고리즘에 대한 적합도를 계산한다. 일 실시예에서, 초음파 영상 장치(1000)는 복수의 초음파 영상(100) 각각의 에코 발생도, 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 복수의 초음파 영상(100) 각각의 진단 알고리즘에 관한 적합도를 계산할 수 있다. 진단 알고리즘에 대한 적합도는 정량적인 수치값으로 계산될 수 있다. 예를 들어, 적합도는 백분위 값(percentage)으로 계산될 수 있다.
도 5는 본 개시의 초음파 영상 장치(1000)가 복수의 초음파 영상(100) 각각의 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 도면이다.
도 5를 참조하면, 초음파 영상 장치(1000)는 심층 신경망(500)을 이용하는 학습(training)을 통해 복수의 초음파 영상(100)의 적합도 수치값(510)을 획득할 수 있다. 일 실시예에서, 심층 신경망(500)은 컨볼루션 신경망 모델(Convolution Neural Network; CNN)일 수 있으나, 이에 한정되지 않는다. 심층 신경망(500)은 예를 들어, 순환 신경망(Recurrent Neural Network; RNN), SVM(Support Vector Machine), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 나이브 베이즈 분류(Naive Bayes), 랜덤 포레스트(random forest), decision tree, 또는 k-nearest neighbor algorithm 일 수 있다. 또는, 전술한 것의 조합 또는 이와 다른 신경망 모델일 수도 있다.
심층 신경망(500)은 학습 모델과 분류 모델을 포함할 수 있다. 학습 모델은 기 획득된 복수의 초음파 영상을 입력 데이터로 입력하고, 적합도 수치값을 출력값으로 입력하여 미리 학습된 모델이다. 예를 들어, CNN으로 구성되는 심층 신경망(500)에서, 학습 모델은 기 획득된 지방 간 또는 간 섬유화에 관한 초음파 영상을 입력 데이터로 이용하고, MRI-PDFF(Magnetic Resonance Imaging derived Proton Density Fat Fraction) 수치 또는 생체 검사 결과 수치를 정규화(normalization)한 수치값을 정답값(groundtruth)으로 이용하여 학습을 수행함으로써 획득된 모델 파라미터(예를 들어, weight 값)를 포함할 수 있다. 다른 예를 들어, CNN으로 구현되는 심층 신경망(500)에서, 학습 모델은 기 획득된 초음파 영상을 입력 데이터로 이용하고, 기 획득된 초음파 영상 각각의 에코 발생도, 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 측정된 진단 알고리즘에 관한 적합도를 정규화한 수치값을 정답값으로 이용하여 학습을 수행함으로써 획득된 모델 파라미터를 포함할 수 있다.
심층 신경망(500)이 CNN으로 구성되는 경우, 학습 모델은 예를 들어, 필터(filter)를 이용하는 컨볼루션 연산을 통해 획득된 특징 벡터 값을 갖는 복수의 컨볼루션 레이어, 컨볼루션 레이어의 값을 풀링(pooling)하는 풀링 레이어, 복수의 레이어들을 연결하는 fully connected layer 등을 포함할 수 있다.
분류 모델은, 기학습된 모델 파라미터를 포함하는 학습 모델에 복수의 초음파 영상(100)을 입력하여 학습을 수행하는 모델이다. 분류 모델은 많은 데이터들을 이용하여 기 학습된 학습 모델을 적용하는 모델로서, 실시간 처리가 가능한 정도로 처리 속도가 빠르다. 초음파 영상 장치(1000)는 심층 신경망(500)의 분류 모델에 복수의 초음파 영상(100)을 입력 데이터로 입력하여 학습을 수행함으로써, 복수의 초음파 영상(100)의 진단 알고리즘에 관한 적합도 수치값(510)을 획득할 수 있다.
도 6a 내지 도 6c는 본 개시의 초음파 영상 장치(1000)가 초음파 영상(100)의 진단 알고리즘에 관한 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 6a를 참조하면, 초음파 영상 장치(1000)의 디스플레이부(1600)는 초음파 영상(100a), 초음파 영상(100a)의 진단 알고리즘에 관한 적합도를 나타내는 제1 UI(110a), 적합도를 계산하기 위한 복수의 파라미터의 측정값의 크기를 나타내는 제2 UI(120a), 및 적합도의 수치값에 기초하여 초음파 영상(100a)이 진단 알고리즘에 입력되는 입력 초음파 영상으로서 적합한지 여부를 나타내는 제3 UI(130a)를 디스플레이할 수 있다. 일 실시예에서, 제1 UI(110a), 제2 UI(120a), 및 제3 UI(130a)는 그래픽 사용자 인터페이스(Graphic User Interface)로 구현될 수 있다.
제1 UI(110a)는 초음파 영상(100a)의 진단 알고리즘에 관한 적합도(suitability)를 수치값으로 표시할 수 있다. 예를 들어, 제1 UI(110a)는 적합도를 백분위 값(percentage)로 표시할 수 있다. 도 6a에 도시된 실시예에서, 초음파 영상(100a)의 진단 알고리즘에 관한 적합도는 65%이고, 제1 UI(110a)는 적합도 수치인 65%를 표시할 수 있다.
제2 UI(120a)는 초음파 영상(100a)의 진단 알고리즘에 관한 적합도를 계산하기 위한 조건에 해당되는 복수의 파라미터의 측정값의 크기를 표시할 수 있다. 복수의 파라미터는 예를 들어, 에코 발생도(echogenicity), 모션 아티팩트(motion artifact), 해부학적 뷰(anatomical view), 스캔 파라미터 프리셋(preset), shadow 비율 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 제2 UI(120a)는 초음파 영상(100a)의 에코 발생도의 측정값을 나타내는 에코 발생도 측정값(121), 모션 아티팩트의 측정값을 나타내는 모션 아티팩트 측정값(122), 초음파 영상(100a)에서 검출된 해부학적 뷰가 진단 알고리즘에서 정의된 해부학적 뷰를 만족하는 정도에 관한 측정값을 나타내는 해부학적 뷰 측정값(123), 스캔 파라미터의 설정값에 관한 프리셋이 진단 알고리즘에서 정의된 스캔 파라미터의 설정값과 유사한지를 나타내는 측정값인 프리셋 측정값(124), 및 shadow 비율에 관한 측정값인 shadow 측정값(125)을 포함하고, 복수의 측정값의 조합을 오각형 형태의 UI로 표시할 수 있다.
제3 UI(130a)는 적합도의 수치값 크기에 기초하여 초음파 영상(100a)이 진단 알고리즘에 입력되는 입력 초음파 영상으로서 적합한지 여부를 나타낼 수 있다. 일 실시예에서, 제3 UI(130a)는 초음파 영상(100a)이 진단 알고리즘에 적합한지 여부를 컬러, 또는 음영으로 표시할 수 있다. 예를 들어, 초음파 영상(100a)의 진단 알고리즘에 관한 적합도 수치값이 부적합 기준값인 제1 임계치 이하여서 진단 알고리즘에 입력 영상으로서 적합하지 않은 경우, 제3 UI(130a)는 빨간색으로 표시될 수 있다. 예를 들어, 초음파 영상(100a)의 진단 알고리즘에 관한 적합도 수치값이 적합 기준값인 제2 임계치를 초과하여 진단 알고리즘에 입력 영상으로서 적합한 경우, 제3 UI(130a)는 녹색으로 표시될 수 있다. 예를 들어, 초음파 영상(100a)의 진단 알고리즘에 관한 적합도 수치값이 기설정된 중간 범위 내의 값인 경우, 제3 UI(130a)는 노란색으로 표시될 수 있다. 도 6a에 도시된 실시예에서, 초음파 영상(100a)의 진단 알고리즘에 관한 적합도 수치는 65%이므로, 제3 UI(130a)는 빨간색으로 표시될 수 있다.
도 6b를 참조하면, 디스플레이부(1600)는 제1 UI(110b), 제2 UI(120b), 및 제3 UI(130b)를 디스플레이할 수 있다. 제1 UI(110 b), 제2 UI(120b), 및 제3 UI(130b)는 도 6a에 도시된 제1 UI(110a), 제2 UI(120a), 및 제3 UI(130a)와 동일하므로, 중복되는 설명은 생략한다.
도 6b에 도시된 실시예에서, 초음파 영상(100b)의 진단 알고리즘에 관한 적합도는 82%이고, 제1 UI(110b)는 적합도 수치값인 82%를 표시할 수 있다. 예를 들어, 제3 UI(130b)는 적합도 수치값이 70%~90% 사이의 값인 경우, 노란색으로 표시될 수 있다. 도 6b에 도시된 실시예에서, 제3 UI(130b)는 적합도 수치값이 82%이므로, 노란색으로 표시될 수 있다.
도 6c를 참조하면, 디스플레이부(1600)는 제1 UI(110c), 제2 UI(120c), 및 제3 UI(130c)를 디스플레이할 수 있다. 제1 UI(110 c), 제2 UI(120c), 및 제3 UI(130c)는 도 6a에 도시된 제1 UI(110a), 제2 UI(120a), 및 제3 UI(130a)와 동일하므로, 중복되는 설명은 생략한다.
도 6c에 도시된 실시예에서, 초음파 영상(100b)의 진단 알고리즘에 관한 적합도는 94%이고, 제1 UI(110c)는 적합도 수치값인 94%를 표시할 수 있다. 제3 UI(130c)는 적합도 수치값이 적합 기준값인 제2 임계치를 초과하는 경우 진단 알고리즘에 입력 영상으로 입력되기에 적합함을 의미하는 녹색으로 표시될 수 있다. 도 6c에 도시된 실시예에서, 제3 UI(130b)는 적합도 수치값이 94%이므로, 녹색으로 표시될 수 있다.
도 7은 본 개시의 초음파 영상 장치(1000)가 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하고, freeze된 초음파 영상을 이용하여 진단 알고리즘을 수행하는 실시예를 도시한 흐름도이다.
단계 S710에서, 초음파 영상 장치(1000)는 복수의 초음파 영상이 진단 알고리즘에 대한 입력 영상으로서 적합한지를 나타내는 적합도를 계산한다. 일 실시예에서, 초음파 영상 장치(1000)의 프로세서(1400)는 예를 들어, 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 복수의 초음파 영상 각각의 진단 알고리즘에 관한 적합도를 계산할 수 있다.
그러나, 이에 한정되는 것은 아니다. 초음파 영상 장치(1000)의 프로세서(1400)는 기 학습된 심층 신경망(pre-trained Deep Neural Network)에 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 진단 알고리즘에 대한 적합도를 산출할 수도 있다. 일 실시예에서, 기 학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망일 수 있다.
단계 S720에서, 초음파 영상 장치(1000)는 계산된 적합도를 기 설정된 임계치(Sth)와 비교한다.
계산된 적합도가 기 설정된 임계치(Sth) 보다 크다고 확인된 경우(단계 S730), 초음파 영상 장치(1000)는 초음파 영상을 자동으로 freeze한다. 일 실시예에서, 초음파 영상 장치(1000)는 사용자가 대상체(예를 들어, 환자의 복부) 상에서 초음파 프로브의 스캔 위치를 변경하거나, 또는 초음파 영상 촬영을 위한 스캔 파라미터의 설정값을 변경하는 입력에 따라 복수 개의 프레임의 초음파 영상을 획득하는 경우, 실시간으로 획득된 초음파 영상 중 계산된 진단 알고리즘에 대한 적합도가 기 설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze할 수 있다.
단계 S740에서, 초음파 영상 장치(1000)는 freeze된 초음파 영상을 입력 초음파 영상으로 결정한다. 일 실시예에서, 초음파 영상 장치(1000)의 프로세서(1400)는 freeze 된 초음파 영상을 저장부(1700, 도 2 참조)에 저장할 수 있다.
계산된 적합도가 임계치 이하로 확인된 경우(단계 S732), 초음파 영상 장치(1000)는 초음파 영상을 freeze하기 위한 UI를 디스플레이한다.
단계 S742에서, 초음파 영상 장치(1000)는 UI를 통한 사용자 입력에 기초하여 입력 초음파 영상을 결정한다. 일 실시예에서, 초음파 영상 장치(1000)는 UI를 터치하거나, 또는 컨트롤 패널(1310, 도 2 참조)을 이용하는 입력을 통해 UI를 선택하는 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 입력 초음파 영상을 결정할 수 있다. 그러나, 이에 한정되는 것은 아니다.
일 실시예에서, 초음파 영상 장치(1000)는 실시간으로 획득되는 초음파 영상 중 어느 하나의 초음파 영상을 직접 선택하는 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 진단 알고리즘을 수행하기 위하여 입력되는 입력 초음파 영상을 결정할 수도 있다.
단계 S730 및 단계 S740은 초음파 영상 장치(1000)가 계산된 적합도의 수치값에 기초하여 자동으로 초음파 영상을 freeze하고 입력 초음파 영상을 결정하는 실시예이고, 단계 S732 및 단계 S742는 사용자 입력에 기초하여, 즉 수동으로 입력 초음파 영상을 결정하는 실시예이다. 도 7에서는 계산된 적합도가 임계치 이하인 경우에만 수동으로 입력 초음파 영상을 결정하는 것으로 도시되어 있는데, 본 개시의 실시예가 이에 한정되는 것은 아니다. 초음파 영상 장치(1000)는 적합도의 수치가 임계치 이하인 경우에도 사용자 입력에 기초하여 입력 초음파 영상을 결정할 수 있다.
단계 S750에서, 초음파 영상 장치(1000)는 입력 초음파 영상을 이용하여 진단 알고리즘을 수행한다.
도 8은 초음파 영상 장치(1000)가 진단 알고리즘에 대한 입력 초음파 영상(100)을 결정하는 사용자 입력을 수신하기 위한 UI(User Interface)를 디스플레이하는 실시예를 도시한 도면이다.
도 8을 참조하면, 초음파 영상 장치(1000)는 초음파 영상(100), 초음파 영상(100)의 진단 알고리즘에 관한 적합도를 나타내는 적합도 UI(810), 및 진단 알고리즘 알림 UI(820)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 일 실시예에서, 사용자가 대상체 상에서 초음파 프로브(1100, 도 2 참조)의 스캔 위치를 변경하거나, 또는 컨트롤 패널(1310)을 이용하여 초음파 영상 촬영을 위한 스캔 파라미터의 설정값을 변경하는 입력에 따라 실시간으로 초음파 영상을 획득하는 경우, 초음파 영상 장치(1000)의 프로세서(1400, 도 2 참조)는 획득된 초음파 영상의 뷰를 표준 뷰에 기초하여 분류하고, 분류 결과에 따라 복수의 타입의 진단 알고리즘 중 병변을 진단하기에 적절한 진단 알고리즘을 선택할 수 있다. 도 8에 도시된 실시예에서, 프로세서(1400)는 초음파 영상(100)으로부터 병변을 진단하기에 적적한 진단 알고리즘으로서 TAI(Tissue Attenuation Imaging) 및 TSI(Tissue Scatter distribution Imaging)를 결정할 수 있다. TAI는 간 초음파 영상의 감쇠(attenuation) 정도를 수치화함으로써, 지방 간 병변을 진단하는 진단 알고리즘이고, TSI는 간 초음파 영상의 산란(scatter) 정도를 수치화함으로써, 지방 간 병변을 진단하는 진단 알고리즘이다.
프로세서(1400)는 결정된 진단 프로세서가 동작 가능함을 사용자에게 알리는 진단 알고리즘 알림 UI(820)를 디스플레이부(1600) 상에 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 결정된 진단 알고리즘을 이용하여 자동 촬영을 수행하는 사용자 입력을 수신하기 위한 자동 촬영 UI(830)를 서브 디스플레이부(1620)에 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 자동 촬영 UI(830)는 디스플레이부(1600) 상에 디스플레이될 수도 있다.
초음파 영상 장치(1000)는 자동 촬영 UI(830)를 터치하는 터치 입력 또는 컨트롤 패널(1310)의 버튼을 이용하여 자동 촬영 UI(830)를 선택하는 사용자 입력을 수신하고, 사용자 입력에 따라 진단 알고리즘을 수행할 수 있다. 도 8에 도시된 실시예에서, 초음파 영상 장치(1000)는 초음파 영상(100)을 TSI 및 TAI 알고리즘에 입력 영상으로 입력하여 진단 알고리즘을 수행하고, 초음파 영상(100)의 산란 및 감쇠에 관한 수치값을 측정하고, 지방 간과 관련된 병변을 진단할 수 있다.
도 9a 및 도 9b는 본 개시의 초음파 영상 장치(1000)가 초음파 영상(100)에 적합한 진단 알고리즘의 종류 및 적합도를 디스플레이하는 실시예를 도시한 도면들이다.
도 9a를 참조하면, 초음파 영상 장치(1000)는 초음파 영상(100), 알고리즘 측정값 UI(140a), 및 관심 영역 UI(150)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)는 사용자 입력에 기초하여 진단 알고리즘을 실행하거나, 또는 초음파 영상(100)을 입력 영상으로 이용하여 병변을 진단하기에 적절한 진단 알고리즘을 자동으로 결정하고, 결정된 진단 알고리즘을 수행할 수 있다. 도 9a에 도시된 실시예에서, 초음파 영상 장치(1000)는 TAI(Tissue Attenuation Imaging) 및 TSI(Tissue Scatter distribution Imaging) 알고리즘을 수행할 수 있다.
알고리즘 측정값 UI(140a)는 진단 알고리즘을 수행함으로써 초음파 영상(100)으로부터 측정된 측정값을 표시할 수 있다. 도 9a에 도시된 실시예에서, 알고리즘 측정값 UI(140a)는 TAI 알고리즘을 통해 측정된 초음파 영상(100)의 감쇠에 관한 수치값인 0.71, 및 TSI 알고리즘을 통해 측정된 초음파 영상(100)의 산란에 관한 수치값인 0.68을 표시할 수 있다.
관심 영역 UI(150)는 초음파 영상(100)의 전체 뷰 중 관심 영역(Region of Interest; ROI)을 표시할 수 있다. 일 실시예에서, 프로세서(1400)는 초음파 영상(100)의 해부학적 뷰에 기초하여, 관심 영역의 위치 및 관심 영역의 범위를 자동으로 결정하고, 결정된 관심 영역의 위치 및 범위를 관심 영역 UI(150)를 통해 디스플레이부(1600) 상에 디스플레이할 수 있다.
도 9b를 참조하면, 초음파 영상 장치(1000)는 초음파 영상(100), 알고리즘 측정값 UI(140b), 및 특징점 UI(160)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 도 9b에 도시된 실시예에서, 초음파 영상 장치(1000)는 HRI 알고리즘을 수행할 수 있다. HRI 알고리즘은 간 초음파 영상에서 간의 이미지 픽셀값과 신장의 이미지 픽셀값의 비율에 기초하여 지방 간을 진단하는 알고리즘이다.
알고리즘 측정값 UI(140b)는 진단 알고리즘을 수행함으로써 초음파 영상(100)으로부터 측정된 측정값을 표시할 수 있다. 도 9b에 도시된 실시예에서, 알고리즘 측정값 UI(140b)는 HRI 알고리즘을 통해 측정된 간과 신장 각각의 이미지의 픽셀값의 비율을 나타내는 1.12를 표시할 수 있다.
특징점 UI(160)는 초음파 영상(100)으로부터 검출된 특징점의 위치를 표시할 수 있다. 일 실시예에서, 초음파 영상 장치(1000)의 프로세서(1400)는 영상 인식 기술을 이용하거나, 또는 심층 신경망과 같은 기계 학습 기반의 학습 모델을 이용하여 초음파 영상(100)으로부터 적어도 하나의 해부학적 구조물의 위치, 외곽선 위치 등과 같은 시드 정보(seed information)를 획득하고, 시드 정보에 기초하여 특징점을 검출할 수 있다. 프로세서(1400)는 검출된 특징점의 위치를 특징점 UI(160)를 통해 디스플레이부(1600) 상에 디스플레이할 수 있다.
도 10은 본 개시의 초음파 영상 장치(1000)가 기 저장된 초음파 영상과 획득된 초음파 영상 간의 유사도를 측정하고, 측정된 유사도에 기초하여 진단 알고리즘에 대한 적합도를 계산하는 실시예를 도시한 흐름도이다. 도 10에 도시된 실시예는 도 3에 도시된 단계 S310과 단계 S330 사이에 추가로 수행되는 단계들에 관한 것이다. 단계 S1010은 도 3의 단계 S310이 수행된 이후에 수행된다.
단계 S1010에서, 초음파 영상 장치(1000)는 기 촬영되어 저장된 적어도 하나의 초음파 영상을 로드(load)한다. 일 실시예에서, 초음파 영상 장치(1000)의 프로세서(1400, 도 2 참조)는 과거에 촬영되어 저장부(1700, 도 2 참조)에 저장되어 있는 적어도 하나의 초음파 영상을 저장부(1700)로부터 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 현재 촬영하고 있는 초음파 영상의 해부학적 뷰를 인식하고, 인식된 해부학적 뷰에 기초하여 영상의 뷰를 분류하며, 저장부(1700)에 저장된 과거에 촬영되었던 초음파 영상들 중 분류된 영상의 뷰와 동일한 뷰로 촬영된 적어도 하나의 초음파 영상을 로드할 수 있다.
단계 S1020에서, 초음파 영상 장치(1000)는 로드된 적어도 하나의 초음파 영상과 신규로 획득된 복수의 초음파 영상 간의 유사도를 측정한다. 일 실시예에서, 프로세서(1400)는 공지의 이미지 프로세싱 기술을 이용하여 로드된 적어도 하나의 초음파 영상과 신규로 촬영하여 획득한 복수의 초음파 영상 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 예를 들어 이미지 기반 CNN(Convolution Neural Network), 순환 신경망(Recurrent Neural Network; RNN), SVM(Support Vector Machine) 등 공지의 심층 신경망 모델을 이용하여 로드된 적어도 하나의 초음파 영상과 신규로 획득된 복수의 초음파 영상 간의 유사도를 측정할 수 있다.
단계 S1030에서, 초음파 영상 장치(1000)는 측정된 유사도를 기 설정된 임계치(α)와 비교함으로서, 유사도의 크기가 임계치(α)를 초과하는지 확인한다.
유사도의 크기가 임계치(α)를 초과하는 경우(단계 S1040), 초음파 영상 장치(1000)는 임계치(α)를 초과하는 적어도 하나의 초음파 영상의 진단 알고리즘에 대한 적합도를 계산한다. 단계 S1040은 도 3에 도시된 단계 S320의 일 실시예이다. 단계 S1040은 도 3에 도시된 단계 S320과는 달리, 신규로 획득된 복수의 초음파 영상 모두의 진단 알고리즘에 관한 적합도를 계산하는 것이 아닌, 신규로 획득된 복수의 초음파 영상 중 저장부(1700)로부터 로드된 적어도 하나의 초음파 영상과의 유사도가 일정 수준 이상인 적어도 하나의 초음파 영상만의 진단 알고리즘에 관한 적합도를 계산한다. 즉, 단계 S1040에서 진단 알고리즘에 관한 적합도를 계산할 대상인 초음파 영상의 수가 도 3의 단계 S320과 비교하여 더 적다.
유사도가 임계치(α) 이하인 경우, 다시 단계 S1010으로 돌아가서 단계 S1010 부터 재 수행한다.
도 10에 도시된 실시예에서, 초음파 영상 장치(1000)는 동일 환자 또는 동일 대상 부위에 관하여 과거에 촬영되어 저장부(1700)에 저장된 초음파 영상과 신규로 촬영되어 획득된 초음파 영상 간의 유사도를 측정함으로써, 과거에 진단 알고리즘을 수행하였던 파라미터들을 이용하는바, 입력 초음파 영상 결정에 대한 정확도를 향상시킬 수 있다. 또한, 동일 환자에 대하여 기 촬영된 초음파 영상을 이용하는 경우, 예후 진단에 적합하도록 사용자에게 신규 촬영을 유도할 수 있고, 신규 촬영된 초음파 영상과의 상이성을 낮추어 환자의 예후 관리의 신뢰성을 향상시킬 수 있다.
도 11a 내지 도 11c는 일 실시예에 따른 초음파 진단 장치(1000a, 1000b, 1000c)를 나타내는 도면들이다.
도 11a 및 도 11b를 참조하면, 초음파 진단 장치(1000a, 1000b)는 메인 디스플레이부(1610) 및 서브 디스플레이부(1620)를 포함할 수 있다. 메인 디스플레이부(1610) 및 서브 디스플레이부(1620) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(1610) 및 서브 디스플레이부(1620)는 초음파 영상 또는 초음파 진단 장치(1000a, 1000b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(1610) 및 서브 디스플레이부(1620)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(1000a, 1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(1610)는 초음파 영상을 표시하고, 서브 디스플레이부(1620)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(1620)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(1000a, 1000b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(1610)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 11b를 참조하면, 초음파 진단 장치(1000b)는 메인 디스플레이부(1610) 및 서브 디스플레이부(1620) 이외에 컨트롤 패널(1310)을 더 포함할 수 있다. 컨트롤 패널(1310)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(1310)은 TGC(Time Gain Compensation) 버튼(1320), Freeze 버튼(1330) 등을 포함할 수 있다. TGC 버튼(1320)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(1000b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(1330) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(1310)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(1610) 또는 서브 디스플레이부(1620)에 GUI로 제공될 수 있다.
도 11c를 참조하면, 초음파 진단 장치(1000c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(1000c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(1000c)는 초음파 프로브(1100)와 본체(1010)를 포함하며, 초음파 프로브(1100)는 본체(1010)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(1010)는 터치 스크린(1020)을 포함할 수 있다. 터치 스크린(1020)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
본 개시에 포함된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 초음파 영상 장치(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 초음파 영상 장치(1000) 및 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 초음파 영상 장치(1000)의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 장치(예를 들어, 초음파 영상 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 장치와 통신 연결되는 제3 장치(예를 들어, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시의 실시예들이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
Claims (20)
- 초음파 영상 장치의 동작 방법에 있어서,
초음파 프로브를 이용하여 대상체로부터 반사된 에코 신호를 수신하고, 수신된 상기 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득하는 단계;
상기 복수의 초음파 영상이 병변을 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산하는 단계;
상기 계산된 적합도를 상기 초음파 영상 장치의 디스플레이부 상에 디스플레이하는 단계; 및
상기 적합도에 기초하여, 상기 복수의 초음파 영상 중 상기 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정하는 단계;
를 포함하는, 방법.
- 제1 항에 있어서,
상기 적합도를 계산하는 단계는,
상기 복수의 초음파 영상 각각에 대한 해부학적 뷰, 품질, 및 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 상기 진단 알고리즘에 대한 적합도를 계산하는, 방법.
- 제1 항에 있어서,
상기 적합도를 계산하는 단계는, 상기 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 상기 복수의 초음파 영상 각각의 상기 진단 알고리즘에 관한 적합도를 계산하는, 방법.
- 제1 항에 있어서,
상기 적합도를 계산하는 단계는,
기학습된 심층 신경망(pre-trained Deep Neural Network)에 상기 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 상기 진단 알고리즘에 대한 적합도를 산출하고,
상기 기학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망인, 방법.
- 제1 항에 있어서,
상기 적합도를 디스플레이하는 단계는,
상기 계산된 적합도를 상기 진단 알고리즘의 명칭과 함께 디스플레이하는, 방법.
- 제1 항에 있어서,
상기 적합도를 디스플레이하는 단계는,
상기 복수의 초음파 영상 중 상기 적합도가 계산된 초음파 영상을 상기 적합도와 함께 디스플레이하는, 방법.
- 제1 항에 있어서,
상기 초음파 영상을 결정하는 단계는,
상기 복수의 초음파 영상 중 상기 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze 하는 단계를 포함하는, 방법.
- 제1 항에 있어서,
상기 초음파 영상을 결정하는 단계는,
상기 복수의 초음파 영상 중 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하기 위한 사용자 입력을 수신하는 단계; 및
수신된 사용자 입력에 기초하여 초음파 영상을 freeze함으로써, 상기 진단 알고리즘에 입력되는 상기 입력 초음파 영상을 결정하는 단계;
를 포함하는, 방법.
- 제1 항에 있어서,
상기 계산된 적합도가 기설정된 임계치를 초과하는 경우, 상기 적합도가 계산된 초음파 영상을 상기 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 상기 초음파 영상 장치의 디스플레이부 상에 디스플레이하는 단계;
를 더 포함하는, 방법.
- 제1 항에 있어서,
기 촬영되어 상기 초음파 영상 장치의 메모리에 저장된 적어도 하나의 초음파 영상을 로드(load)하는 단계;
상기 로드된 적어도 하나의 초음파 영상과 상기 획득된 복수의 초음파 영상 간의 유사도를 측정하는 단계; 및
상기 측정된 유사도가 유사도에 관하여 기설정된 임계치를 초과하는 적어도 하나의 초음파 영상을 결정하는 단계;
를 더 포함하고,
상기 적합도를 계산하는 단계는, 상기 결정된 적어도 하나의 초음파 영상의 상기 진단 알고리즘에 관한 적합도를 계산하는, 방법.
- 대상체에 초음파 신호를 송신하고, 상기 대상체로부터 반사된 에코 신호를 수신하는 초음파 프로브;
디스플레이부;
적어도 하나의 명령어들(instructions)을 저장하는 메모리; 및
상기 메모리에 저장된 상기 적어도 하나의 명령어들을 실행하는 프로세서;
를 포함하고,
상기 프로세서는,
상기 에코 신호를 영상 처리함으로써, 복수의 초음파 영상을 획득하고,
상기 획득된 복수의 초음파 영상이 병변을 진단하기 위한 진단 알고리즘에 대한 입력 영상으로서 적합한지를 수치값으로 나타내는 적합도를 계산하고,
상기 계산된 적합도를 상기 디스플레이부 상에 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 적합도에 기초하여, 상기 복수의 초음파 영상 중 상기 진단 알고리즘에 입력하기 위한 입력 초음파 영상을 결정하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 복수의 초음파 영상 각각에 대한 해부학적 뷰, 품질, 및 스캔 파라미터의 설정값 중 적어도 하나에 기초하여 상기 진단 알고리즘에 대한 적합도를 계산하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 복수의 초음파 영상 각각의 에코 발생도(echogenicity), 해부학적 뷰, 모션 아티팩트(motion artifact), 스캔 파라미터의 프리셋(preset), 및 shadow 비율 중 적어도 하나에 기초하여 상기 복수의 초음파 영상 각각의 상기 진단 알고리즘에 관한 적합도를 계산하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
기학습된 심층 신경망(pre-trained Deep Neural Network)에 상기 복수의 초음파 영상을 입력 데이터로 이용하여 학습(training)을 수행함으로써, 상기 진단 알고리즘에 대한 적합도를 산출하고,
상기 기학습된 심층 신경망은 기 획득된 복수의 초음파 영상을 입력 데이터로, 적합도 수치값을 출력값으로 이용하여 학습된 인공 신경망인, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 계산된 적합도를 상기 진단 알고리즘의 명칭과 함께 디스플레이하도록 상기 디스플레이부를 제어하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 복수의 초음파 영상 중 상기 적합도가 계산된 초음파 영상을 상기 적합도와 함께 디스플레이하도록 상기 디스플레이부를 제어하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 복수의 초음파 영상 중 상기 계산된 적합도가 기설정된 임계치를 초과하는 초음파 영상을 자동으로 freeze 하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 복수의 초음파 영상 중 계산된 적합도 수치에 기초하여 초음파 영상을 freeze하기 위한 사용자 입력을 수신하는 사용자 입력부;
를 더 포함하고,
상기 프로세서는,
상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여 초음파 영상을 freeze함으로써, 상기 진단 알고리즘에 입력되는 상기 입력 초음파 영상을 결정하는, 초음파 영상 장치.
- 제11 항에 있어서,
상기 프로세서는,
상기 계산된 적합도가 기설정된 임계치를 초과하는 경우, 상기 적합도가 계산된 초음파 영상을 상기 진단 알고리즘의 입력 영상으로 결정하기 위한 UI(User Interface)를 상기 디스플레이부 상에 디스플레이하도록 상기 디스플레이부를 제어하는, 초음파 영상 장치.
- 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034668A KR20210117844A (ko) | 2020-03-20 | 2020-03-20 | 초음파 영상 장치 및 그 동작 방법 |
| CN202080098761.9A CN115315215A (zh) | 2020-03-20 | 2020-12-16 | 超声成像装置及其操作方法 |
| PCT/KR2020/018463 WO2021187725A1 (ko) | 2020-03-20 | 2020-12-16 | 초음파 영상 장치 및 그 동작 방법 |
| US17/797,647 US20230058450A1 (en) | 2020-03-20 | 2020-12-16 | Ultrasound imaging device and operation method thereof |
| EP20925242.8A EP4082442A4 (en) | 2020-03-20 | 2020-12-16 | ULTRASONIC IMAGING DEVICE AND OPERATING METHOD THEREOF |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034668A KR20210117844A (ko) | 2020-03-20 | 2020-03-20 | 초음파 영상 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210117844A true KR20210117844A (ko) | 2021-09-29 |
Family
ID=77771299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200034668A KR20210117844A (ko) | 2020-03-20 | 2020-03-20 | 초음파 영상 장치 및 그 동작 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230058450A1 (ko) |
| EP (1) | EP4082442A4 (ko) |
| KR (1) | KR20210117844A (ko) |
| CN (1) | CN115315215A (ko) |
| WO (1) | WO2021187725A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240023937A1 (en) * | 2022-07-19 | 2024-01-25 | EchoNous, Inc. | Automation-assisted venous congestion assessment in point of care ultrasound |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101415667B1 (ko) * | 2012-08-27 | 2014-07-04 | 한국디지털병원수출사업협동조합 | 3차원 초음파 진단기에서 스캔 영상 판별 장치 및 방법 |
| WO2014162232A1 (en) * | 2013-04-03 | 2014-10-09 | Koninklijke Philips N.V. | 3d ultrasound imaging system |
| JP2016531709A (ja) * | 2013-09-20 | 2016-10-13 | トランスムラル・バイオテック・ソシエダ・リミターダ | 疾患を診断するための画像解析技術 |
| JP6382633B2 (ja) * | 2014-08-15 | 2018-08-29 | 株式会社日立製作所 | 超音波診断装置 |
| WO2016194161A1 (ja) * | 2015-06-03 | 2016-12-08 | 株式会社日立製作所 | 超音波診断装置、及び画像処理方法 |
-
2020
- 2020-03-20 KR KR1020200034668A patent/KR20210117844A/ko active Search and Examination
- 2020-12-16 WO PCT/KR2020/018463 patent/WO2021187725A1/ko unknown
- 2020-12-16 EP EP20925242.8A patent/EP4082442A4/en active Pending
- 2020-12-16 CN CN202080098761.9A patent/CN115315215A/zh active Pending
- 2020-12-16 US US17/797,647 patent/US20230058450A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4082442A1 (en) | 2022-11-02 |
| US20230058450A1 (en) | 2023-02-23 |
| WO2021187725A1 (ko) | 2021-09-23 |
| EP4082442A4 (en) | 2024-01-10 |
| CN115315215A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230115439A1 (en) | Tuned medical ultrasound imaging | |
| KR101922180B1 (ko) | 초음파 영상 처리 장치 및 초음파 영상 처리 방법 | |
| US20210177373A1 (en) | Ultrasound system with an artificial neural network for guided liver imaging | |
| KR102296099B1 (ko) | 튜닝식 의료 초음파 이미징 | |
| KR20190060606A (ko) | 의료 영상 진단 장치 및 방법 | |
| CN111000590A (zh) | 超声心脏多普勒研究自动化 | |
| EP3017765B1 (en) | Ultrasound diagnosis apparatus and method | |
| US11564663B2 (en) | Ultrasound imaging apparatus and control method thereof | |
| US20210065370A1 (en) | Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image | |
| CA3174788A1 (en) | Automated prostate analysis system | |
| KR20210117844A (ko) | 초음파 영상 장치 및 그 동작 방법 | |
| CN117017347B (zh) | 超声设备的图像处理方法、系统及超声设备 | |
| KR20190094974A (ko) | 초음파 진단 장치 및 초음파 진단 장치의 제어 방법 | |
| EP3653129B1 (en) | Ultrasound imaging apparatus and operating method thereof | |
| KR102557389B1 (ko) | 초음파 영상장치 및 그 제어 방법 | |
| US11250564B2 (en) | Methods and systems for automatic measurement of strains and strain-ratio calculation for sonoelastography | |
| US20210280298A1 (en) | Methods and systems for detecting abnormalities in medical images | |
| CN113349825A (zh) | 用于基于医学成像分析射血分数和胎儿心脏功能的方法和系统 | |
| KR20210093049A (ko) | 초음파 진단 장치 및 그 동작방법 | |
| CN115279275A (zh) | 超声诊断设备及其操作方法 | |
| CN117036302B (zh) | 主动脉瓣膜钙化程度的确定方法和系统 | |
| US20240127435A1 (en) | System and method for detecting and quantifying a plaque/stenosis in a vascular ultrasound scan data | |
| US20240074726A1 (en) | Ultrasound diagnosis apparatus and diagnosis method | |
| CN114098687B (zh) | 用于超声运动模式的自动心率测量的方法和系统 | |
| US11413019B2 (en) | Method and apparatus for displaying ultrasound image of target object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |