KR20220031819A - 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법 - Google Patents

체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법 Download PDF

Info

Publication number
KR20220031819A
KR20220031819A KR1020200113043A KR20200113043A KR20220031819A KR 20220031819 A KR20220031819 A KR 20220031819A KR 1020200113043 A KR1020200113043 A KR 1020200113043A KR 20200113043 A KR20200113043 A KR 20200113043A KR 20220031819 A KR20220031819 A KR 20220031819A
Authority
KR
South Korea
Prior art keywords
ultrasound
scanning device
imaging system
frame
ultrasound imaging
Prior art date
Application number
KR1020200113043A
Other languages
English (en)
Inventor
황재윤
유천열
이문환
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200113043A priority Critical patent/KR20220031819A/ko
Priority to US17/458,737 priority patent/US11717267B2/en
Publication of KR20220031819A publication Critical patent/KR20220031819A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4227—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by straps, belts, cuffs or braces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461—Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

대상체에 대한 복수의 위치에서 대상체로 초음파 신호를 송신하고 그로부터 반사된 신호를 수신 가능한 스캔 장치를 이용하여, 대상체의 3차원 초음파 영상을 용이하게 생성하는 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법이 개시된다. 초음파 영상 시스템은 대상체를 삽입 가능한 스캔 장치와, 상기 스캔 장치의 일부에 연결된 초음파 탐촉자와, 상기 초음파 탐촉자로 하여금 상기 스캔 장치에 대하여 복수의 위치에서 상기 대상체로 송신 초음파 신호를 발생시키고, 상기 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어하는 제어부와, 상기 스캔 장치에 대한 복수의 위치에서 각각 수신된 상기 반사 초음파 신호에 기초하여 복수의 2D 초음파 영상을 생성하고, 상기 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성하는 영상 처리부를 포함할 수 있다.

Description

체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법{ULTRASOUND IMAGE SYSTEM AND METHOD FOR OPERATING OF ULTRASOUND IMAGE SYSTEM FOR ANALYZING BODY COMPOSITION}
본 발명은 대상체에 대한 복수의 위치에서 대상체로 초음파 신호를 송신하고 그로부터 반사된 신호를 수신 가능한 스캔 장치를 이용하여, 대상체의 3차원(3D, 3 dimensional) 초음파 영상을 용이하게 생성하는 기술에 관한 것이다.
초음파 영상 처리 장치는 초음파 탐촉자(예컨대, 프로브(probe))를 통해 대상체(예컨대, 인체)로 초음파 신호를 송신하고 대상체에서 반사되는 초음파 신호를 수신한 후, 초음파 신호를 이용하여 대상체에 대한 초음파 영상을 생성할 수 있다.
이러한 초음파 영상 처리 장치는 대상체에 대한 초음파 영상으로서, 2차원(2D) 초음파 영상을 생성할 수 있고, 초음파 진단 장치인 경우 생성된 인체의 초음파 영상에 기반하여 병변의 진단 등을 수행할 수 있다.
그러나, 3차원 형태를 가지는 대상체에 대한 초음파 영상은 3D가 아닌 2D 단면에 대한 영상으로 생성됨에 따라, 초음파 영상 처리 장치는 대상체 내부의 3차원적인 형태 등을 파악하는 것에 한계가 있다.
선행기술(공개특허 10-2020-0073965)에는 대상체에 대응되는 초음파 신호로부터 서로 다른 주파수 대역을 갖는 복수의 주파수 대역 영상을 획득하고, 대상체를 포함하는 영역별 밝기에 기초하여 복수의 주파수 대역 영상을 합성함으로써, 선명한 초음파 영상을 생성하는 구성을 개시하고 있으나, 대상체에 대한 3D 초음파 영상을 생성하고, 생성된 3D 초음파 영상을 분석하는 구성을 개시하고 있지 않다.
따라서, 대상체에 대한 3D 초음파 영상을 용이하게 생성할 수 있는 기술이 필요하다.
선행기술: 한국 공개특허공보 제10-2020-0073965호(2020.06.24 공개)
본 발명의 일실시예는, 복수의 위치에서 대상체에 초음파 신호를 송수신할 수 있게 하는 스캔 장치를 이용하여, 대상체에 대한 복수의 2D 초음파 영상을 생성하고, 복수의 2D 초음파 영상에 기초하여 대상체에 대한 3D 초음파 영상을 용이하게 생성하는 것을 목적으로 한다.
본 발명의 일실시예는, 스캔 장치에 연결된 초음파 탐촉자로서, 1D 어레이 타입의 프로브를 이용하여 3D 초음파 영상을 생성함으로써, 저가형 초음파 탐촉자 사용을 통해 비용을 절감하는 것을 목적으로 한다.
본 발명의 일실시예는, 스캔 장치 내에 플렉서블(flexible) 소재 및 초음파 투과 소재로 형성된 원통 바디를 사용함으로써, 원통 바디의 유체량을 조절하여 스캔 장치에 삽입되는 대상물의 종류(예컨대, 인체의 팔, 다리, 복부), 대상물의 부피 또는 표면의 상태(예컨대, 불규칙한 표면)에 무관하게 스캔 장치가 대상체에 밀착된 상태에서, 원통 바디를 통과하여 대상체와 초음파 탐촉자 간의 초음파 신호를 원활하게 송수신할 수 있게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 스캔 장치를 초음파 탐촉자가 탈착 가능한 형태로 형성함으로써, 기존의 초음파 탐촉자를 이용하여 3D 초음파 영상을 생성하는 것을 목적으로 한다.
본 발명의 일실시예는, 대상체에 대한 3D 초음파 영상에 기초하여 대상체에 대한 체성분, 체성분의 3차원적 분포, 지방 및 근육의 3차원적인 형태 등을 분석하는 것을 목적으로 한다.
또한, 본 발명의 일실시예는, 시멘틱 세그먼테이션(semantic segmentation)을 위한 딥 러닝(deep learning) 학습 모델에 기반하여, 3D 초음파 영상에서 근육층, 지방층 등 대상체의 내부 형태를 정확히 인식하는 것을 목적으로 한다.
본 발명의 대상체에 대한 복수의 위치에서 대상체로 초음파 신호를 송신하고 그로부터 반사된 신호를 수신 가능한 스캔 장치를 이용하여, 대상체의 3차원(3D, 3 dimensional) 초음파 영상을 용이하게 생성하는 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법일 수 있다.
본 발명의 일실시예는, 대상체를 삽입 가능한 스캔 장치와, 스캔 장치의 일부에 연결된 초음파 탐촉자와, 초음파 탐촉자로 하여금 스캔 장치에 대하여 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어하는 제어부와, 스캔 장치에 대한 복수의 위치에서 각각 수신된 반사 초음파 신호에 기초하여 복수의 2D(dimension) 초음파 영상을 생성하고, 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성하는 영상 처리부를 포함하는, 초음파 영상 시스템일 수 있다.
또한, 본 발명의 일실시예는, 스캔 장치에 대상체를 삽입하는 단계와, 스캔 장치의 일부에 연결된 초음파 탐촉자로 하여금 스캔 장치에 대하여 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어하는 단계와, 스캔 장치에 대한 복수의 위치에서 각각 수신된 반사 초음파 신호에 기초하여 복수의 2D 초음파 영상을 생성하고, 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성하는 단계를 포함하는, 초음파 영상 시스템의 동작 방법일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 의하면, 복수의 위치에서 대상체에 초음파 신호를 송수신할 수 있게 하는 스캔 장치를 이용하여, 대상체에 대한 복수의 2D 초음파 영상을 생성하고, 복수의 2D 초음파 영상에 기초하여 대상체에 대한 3D 초음파 영상을 용이하게 생성할 수 있다.
본 발명의 실시예들에 의하면, 스캔 장치에 연결된 초음파 탐촉자로서, 1D 어레이 타입의 프로브를 이용하여 3D 초음파 영상을 생성함으로써, 저가형 초음파 탐촉자 사용을 통해 비용을 절감할 수 있다.
본 발명의 실시예들에 의하면, 스캔 장치 내에 플렉서블(flexible) 소재 및 초음파 투과 소재로 형성된 원통 바디를 사용함으로써, 원통 바디의 유체량을 조절하여 스캔 장치에 삽입되는 대상물의 종류(예컨대, 인체의 팔, 다리, 복부), 대상물의 부피 또는 표면의 상태(예컨대, 불규칙한 표면)에 무관하게 스캔 장치가 대상체에 밀착된 상태에서, 원통 바디를 통과하여 대상체와 초음파 탐촉자 간의 초음파 신호를 원활하게 송수신할 수 있게 한다.
본 발명의 실시예들에 의하면, 스캔 장치를 초음파 탐촉자가 탈착 가능한 형태로 형성함으로써, 기존의 초음파 탐촉자를 이용하여 3D 초음파 영상을 생성할 수 있게 한다.
본 발명의 실시예들에 의하면, 대상체에 대한 3D 초음파 영상에 기초하여 대상체에 대한 체성분, 체성분의 3차원적 분포, 지방 및 근육의 3차원적인 형태 등을 분석할 수 있다.
또한, 본 발명의 실시예들에 의하면, 시멘틱 세그먼테이션을 위한 딥 러닝 학습 모델에 기반하여, 3D 초음파 영상에서 근육층, 지방층 등 대상체의 내부 형태를 정확히 인식할 수 있다.
도 1은 본 발명의 일실시예에 따른 초음파 영상 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 초음파 영상 시스템의 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치에 대상체가 삽입되는 일례를 도시한 도면이다.
도 4는 도 2의 스캔 장치에 대한 제어 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치의 인터페이스부를 설명하기 위한 도면이다.
도 6는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치의 구성에 대한 다른 일례를 도시한 도면이다. 도 7은 도 6의 스캔 장치에 대한 제어 일례를 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치와 초음파 탐촉자 간의 연결 일례를 도시한 도면이다.
도 10a 및 도 10b는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 초음파 영상 처리 장치의 일례를 도시한 도면이다.
도 11 내지 도 16는 본 발명의 일실시예에 따른 초음파 영상 시스템에서의 영상 분석 일례를 설명하기 위한 도면이다.
도 17은 본 발명의 일실시예에 따른 초음파 영상 시스템의 동작 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 초음파 영상 시스템의 구성을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 초음파 영상 시스템(100)은 스캔 장치(110) 및 초음파 영상 처리 장치(120)를 포함할 수 있다. 여기서, 초음파 영상 처리 장치(120)는 기존의 초음파 영상 처리 장치에, 본 발명의 초음파 영상 시스템의 동작 방법에 관한 프로그램을 설치하여 사용하거나, 또는 본 발명의 초음파 영상 시스템의 동작 방법을 구현하기 위해 설계된 전용의 초음파 영상 처리 장치일 수 있다.
스캔 장치(110)는 대상체(예컨대, 인체의 팔, 다리, 복부)를 삽입할 수 있다. 이러한 스캔 장치(110)는 중공형(hollow)의 원통 바디(111), 스캔 모듈(112) 및 인터페이스부(113)를 포함할 수 있다.
원통 바디(111)는 대상체를 삽입 가능한 개구부가 형성될 수 있다. 대상체가 삽입되는 개구부는 원통 바디(111)의 양측에 형성될 수 있다. 또한, 원통 바디(111)는 예컨대, 플렉서블(flexible) 소재(예컨대, 라텍스 등의 고신축성 소재) 및 초음파 투과 소재로 형성될 수 있다. 원통 바디(111)는 플렉서블 소재로 형성됨으로써, 인터페이스부(113)를 통해 유입되는 내부의 유체량 변화에 따라 형태가 자유롭게 변형될 수 있다.
또한, 원통 바디(111)는 초음파 투과 소재로 형성됨으로써, 내측에 위치하는 대상체와 외측에 위치하는 초음파 탐촉자(121) 간의 초음파 신호의 송수신을 가능하게 한다.
원통 바디(111)의 일부와 연결된 스캔 모듈(112)은 대상체와 초음파 신호를 송수신하는 초음파 탐촉자(121)를 스캔 장치에 대한 복수의 위치로 이동시킬 수 있다. 구체적으로, 스캔 모듈(112)은 제1 프레임, 제2 프레임, 제1 모터 및 제2 모터를 포함할 수 있다. 여기서, 제1 프레임은 원통 바디(111)의 원형 둘레를 따라 형성될 수 있다. 제2 프레임은 제1 프레임의 일지점과 연결(여기서, 연결은 직접, 간접의 연결을 모두 포함)된 직선 형태일 수 있다. 여기서, 제1, 2 프레임은 예컨대, 철재 또는 플라스틱으로 형성되어, 형태(예컨대, 원형, 타원형)를 유지할 수 있다. 또한, 제1 모터는 제1 프레임을 따라 초음파 탐촉자(121)를 이동시킬 수 있다. 제2 모터는 제2 프레임을 따라 초음파 탐촉자(121)를 이동시킬 수 있다.
인터페이스부(113)는 원통 바디(111)와 유체 공급원(도시하지 않음)을 연결하여, 원통 바디(111)에 유체의 주입 또는 배출을 가능하게 한다.
또한, 스캔 장치(110)는 원통 바디(111)의 유체 압력을 측정하는 압력 센서(도시하지 않음)를 더 포함할 수 있다. 스캔 장치(110)를 제어하는 초음파 영상 처리 장치(120)의 제어부(140)는 압력 센서에 의해 측정된 유체 압력에 기반하여 원통 바디(111)에 대한 유체의 주입 또는 배출을 제어할 수 있다. 예컨대, 초음파 영상 처리 장치(120)의 제어부(140)는 측정된 유체 압력이 미리 설정된 기준 압력에 도달함에 기초하여 원통 바디(111)로의 유체의 주입을 제한하고, 측정된 유체 압력이 미리 설정된 기준 압력을 초과함에 기초하여 원통 바디(111)에서의 유체의 배출을 허용하거나, 또는 초음파 영상 처리 장치(120)로부터의 압력 조정 요청(입력부를 통한 사용자 요청)에 따라 유체의 주입 또는 배출을 제어할 수 있다. 즉, 초음파 영상 처리 장치(120)의 제어부(140)는 대상체가 삽입된 원통 바디(111)가 설정된 기준 압력을 유지하도록 함으로써, 대상물의 종류(예컨대, 인체의 팔, 다리, 복부), 대상물의 부피 또는 표면의 상태(예컨대, 불규칙한 표면)에 무관하게, 대상체를 과도하게 압박하지 않으면서, 원통 바디(111)가 대상체에 밀착되도록 한다. 이로써, 스캔 장치(110)는 대상체와 원통 바디(111) 간의 공간(즉, 초음파 신호가 송수신되는 경로에서의 공기층)이 생기지 않도록 하여, 대상체로의 초음파 신호 전달율(또는, 원통 바디에서의 초음파 신호 투과율)을 높일 수 있게 한다.
스캔 장치(110)를 제어하는 초음파 영상 처리 장치(120)는 예컨대, 초음파 탐촉자(121), 초음파 송수신부(130), 제어부(140), 영상 처리부(150), 디스플레이부(160), 저장부(170), 통신부(180) 및 입력부(190)를 포함할 수 있다.
초음파 탐촉자(121)는 예컨대, 1D 어레이 타입의 프로브일 수 있으며, 이에 한정되지 않는다. 또한, 초음파 탐촉자(121)는 리니어(linear) 타입의 프로브일 수 있으나, 이에 한정되지 않고 컨백스(convex) 타입일 수도 있다.
이러한 초음파 탐촉자(121)는 초음파 송수신부(130)(또는, 제어부)와 유선으로 연결될 수 있으나, 이에 한정되지 않고 무선으로 연결될 수 있다. 이러한 초음파 탐촉자(121)는 스캔 장치(110)에 장착되거나, 또는 스캔 장치(110) 내 거치부에 탈착 가능하게 거치되어, 스캔 장치(110)의 일부에 연결될 수 있다.
스캔 장치(110)의 일부에 연결된 초음파 탐촉자(121)는 초음파 영상 처리 장치(120)의 제어에 따라, 스캔 장치에 대한 복수의 위치로 이동할 수 있으며, 상기 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신할 수 있다. 구체적으로, 초음파 탐촉자(121)는 제어부(140)의 제어에 의해 초음파 송수신부(130)의 송신부(131)로부터 인가된 송신 신호에 따라 대상체로 송신 초음파 신호를 발생할 수 있다. 또한, 초음파 탐촉자(121)는 대상체로부터 반사된 반사 초음파 신호를 수신하여 수신 신호를 형성할 수 있다. 이때, 초음파 탐촉자(121)는 내부의 복수의 트랜스듀서들을 통해 송신 초음파 신호를 발생하거나, 또는 반사 초음파 신호를 수신할 수 있다.
초음파 송수신부(130)는 송신부(131) 및 수신부(132)를 포함할 수 있다. 송신부(131)는 제어부(140)의 제어에 따라 송신 신호를 생성하고, 생성한 송신 신호를 초음파 탐촉자(121)에 전달할 수 있다. 수신부(132)는 제어부(140)의 제어에 따라 초음파 탐촉자(121)로부터 수신되는 수신 신호를 이용하여 초음파 데이터를 생성하고, 생성된 초음파 데이터를 영상 처리부(150)에 전달할 수 있다. 이때, 제어부(140)는 초음파 데이터와 연관된 위치(즉, 초음파 데이터를 생성하기 위해 초음파 신호가 송수신되는 스캔 장치에 대한 초음파 탐촉자(121)의 위치)를 상기 초음파 데이터와 함께 영상 처리부(150)에 전달하도록 수신부(132)를 제어할 수 있다.
제어부(140)는 스캔 장치(110) 내 압력 센서에 의해 측정된 원통 바디(111)의 유체 압력에 기반하여 원통 바디에 대한 유체의 주입 또는 배출을 제어함으로써, 초음파 탐촉자(121)를 이용하여 대상체를 스캔할 수 있는 최적의 상태를 마련할 수 있다. 이러한 제어부(140)는 스캔 장치(110)의 프로세서 및 초음파 영상 처리 장치(120)의 프로세서를 모두 포함하는 구성일 수 있다.
제어부(140)는 초음파 탐촉자(121)로 하여금 스캔 장치(110)에 대하여 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어할 수 있다. 이때, 제어부(140)는 초음파 탐촉자(121)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점에 기초하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 생성하도록 송신부(131)를 제어할 수 있다. 또한, 제어부(140)는 초음파 탐촉자(121)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점에 기초하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(132)를 제어할 수 있다. 상기 송신부(131) 또는 수신부(132)의 제어는 초음파 신호 송신 및 수신을 위한 트랜스듀서들의 동작 타이밍을 제어하는 것일 수 있다.
또한, 제어부(140)는 스캔 장치(110)에 대한 복수의 위치로 초음파 탐촉자(121)의 이동을 제어할 수 있다. 제어부(140)는 초음파 탐촉자(121)로 하여금 스캔 장치(110)에 대한 복수의 위치에서 원통 바디(111)를 통과하여 대상체 방향으로 송신 초음파 신호를 발생시키도록 제어하고, 초음파 탐촉자(121)로 하여금 스캔 장치(110)에 대한 복수의 위치에서 대상체로부터 반사되어 원통 바디(111)를 통과한 반사 초음파 신호를 수신하도록 제어할 수 있다.
이때, 제어부(140)는 스캔 장치(110) 내 스캔 모듈(112)의 제2 프레임에 대한 복수의 위치에서 스캔 모듈(112)의 제1 모터로 하여금 초음파 탐촉자(121)를 스캔 모듈(112)의 제1 프레임을 따라 이동시키도록 제어할 수 있다. 예컨대, 제어부(140)는 제2 프레임에 대한 제1 위치(예컨대, 제2 프레임의 가장 끝지점)에서 제1 모터로 하여금 초음파 탐촉자(121)를 제1 프레임을 따라 설정된 간격만큼 횡방향 이동시키도록 제어할 수 있다. 또한, 제어부(140)는 제2 프레임에 대한 제2 위치(예컨대, 제2 프레임의 가장 끝지점에서 제2 프레임을 따라 설정된 간격만큼 종방향으로 이동한 지점)에서 제1 모터로 하여금 초음파 탐촉자(121)를 제1 프레임을 따라 설정된 간격만큼 횡방향 이동시키도록 제어할 수 있다.
또한, 제어부(140)는 스캔 장치(110) 내 스캔 모듈(112)의 제2 프레임에 대해 초음파 탐촉자(121)의 탐촉 범위가 중첩되는 복수의 위치에서 송신 초음파 신호를 송신하도록 제어함으로써, 제2 프레임을 따라 초음파 탐촉자(121)가 종방향으로 이동할 때, 탐촉 범위가 이격되는 것을 방지하여 대상체의 전체 면적에 초음파 신호가 전달될 수 있게 한다.
실시예에서, 제어부(140)는 스캔 장치(110) 내 스캔 모듈(112)의 제2 프레임에 대한 복수의 위치 중 서로 다른 적어도 두 위치에서 스캔 모듈(112)의 제1 모터로 하여금 초음파 탐촉자(121)를 스캔 모듈(112)의 제1 프레임을 따라 서로 다른 방향으로 이동시키도록 제어할 수 있다. 이에 대한 구체적인 내용은 설명의 편의상 이하, 도 4를 참조하여 설명하기로 한다.
또한, 제어부(140)는 초음파 영상 처리 장치(120)의 전반적인 동작 및 초음파 영상 처리 장치(120)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(140)는 초음파 영상 처리 장치(120)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(140)는 입력부(190) 또는 외부 장치로부터 제어 신호를 수신하고, 제어 신호에 따라 초음파 영상 처리 장치(120)의 동작을 제어할 수 있다.
영상 처리부(150)는 스캔 장치(110)에 대한 복수의 위치에서 각각 수신된 반사 초음파 신호에 기초하여 대상체에 대한 복수의 2D(dimension) 초음파 영상을 생성할 수 있다. 이때, 영상 처리부(150)는 각 위치에서 초음파 탐촉자(121)가 수신한 반사 초음파 신호가 변환된 초음파 데이터를 수신부(132)로부터 수신하고, 수신한 초음파 데이터에 기초하여 대상체에 대한 복수의 2D 초음파 영상을 생성할 수 있다. 영상 처리부(150)는 초음파 데이터와 연관된 위치를, 초음파 데이터와 함께 수신할 수 있으며, 초음파 데이터를 이용하여 생성된 2D 초음파 영상에 상기 위치를 매칭(matching)시킬 수 있다. 이때, 영상 처리부(150)는 2D 초음파 영상 및 2D 초음파 영상에 매칭된 위치를 저장부(170)에 저장할 수 있다.
영상 처리부(150)는 저장부(170)에 저장된 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 있다. 이때, 영상 처리부(150)는 각 2D 초음파 영상에 매칭된 위치(즉, 스캔 장치에 대한 초음파 탐촉자(121)의 위치)에 기초하여 복수의 2D 초음파 영상을 연결함으로써, 3D 초음파 영상을 생성할 수 있다.
영상 처리부(150)는 3D 초음파 영상에 기초하여 대상체에 대한 상태정보(예컨대, 단위 면적당 체성분, 체성분의 3차원적 분포, 지방량, 근육량, 지방 및 근육의 3차원적인 형태 등)를 획득하여 디스플레이부(160)를 통해 출력함으로써, 입체적인 대상체의 내부를 정확히 파악할 수 있게 한다. 이때, 영상 처리부(150)는 3D 초음파 영상에, 복수의 학습 영상으로부터 체성분을 구분하도록 훈련된 심층 신경망을 적용함으로써, 3D 초음파 영상으로부터 대상체의 지방층 및 근육층을 신속하고 정확하게 검출(segmentation)하고, 대상체의 지방층 및 근육층에 기초하여 대상체에 대한 상태정보를 획득할 수 있다. 또한, 영상 처리부(150)는 3D 초음파 영상에서 지방층 및 근육층의 텍스쳐를 분석하여, 대상체에 대한 상태정보로서, 지방 및 근육의 양적 상태뿐 아니라, 지방 및 근육의 질적 상태를 더 획득할 수 있다.
3차원 초음파 영상 분석을 통해 체성분을 정확하게 제공할 수 있는 본 발명의 초음파 영상 시스템은 정확한 체성분 분석에 대한 모니터링이 지속적으로 필요한 사용자(예컨대, 보디빌더, 스포츠 선수)에게 유용하게 활용될 수 있다.
실시예에서, 영상 처리부(150)는 2D 초음파 영상 또는 3D 초음파 영상으로부터 생성한 2D 단면 영상을 시멘틱 세그먼테이션(semantic segmentation)을 수행하는 딥 러닝 기반의 학습 모델에 적용한 결과에 기반하여 대상체에 대한 체성분을 획득할 수 있다. 여기서, 학습 모델은 컨볼루션(convolution) 필터를 포함하는 엔코더(encoder) 및 트랜스포즈 컨볼루션(transposed convolution) 필터를 포함하는 디코더(decoder)를 포함할 수 있다.
이때, 엔코더는 맥스 풀링(max pooling) 오퍼레이션을 포함할 수 있다. 또한, 엔코더는 서로 크기가 다른 그리드(grid)를 포함하는 복수의 채널 어텐션 모듈(channel attention module)을 더 포함할 수 있다. 여기서, 그리드는 복수이고, 복수의 그리드의 크기는 엔코더에서 엔코딩이 진행되는 방향으로 예컨대, n(예컨대, n은 2)의 배수만큼 감소할 수 있다. 디코더는 세그먼테이션 결과를 출력할 수 있다. 또한, 엔코더의 복수의 피쳐 맵(feature map) 중 엔코딩 과정에 포함된 2개의 피쳐 맵이 디코더에 연결될 수 있다.
상기 2D 단면 영상을 딥 러닝 기반의 학습 모델에 적용하여 영상을 분석하는 일례는 설명의 편의상 이하, 도 11 내지 16도를 참조하여 설명하기로 한다.
디스플레이부(160)는 생성된 3D 초음파 영상 및 초음파 영상 처리 장치(120)에서 처리되는 다양한 정보(예컨대, 대상체에 대한 상태정보)를 표시할 수 있다. 디스플레이부(160)는 예컨대, 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
저장부(170)는 초음파 영상 처리 장치(120)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
통신부(180)는 예컨대, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있으며, 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와의 통신을 가능하게 한다.
통신부(180)는 외부 장치로부터 제어 신호를 수신하고, 수신된 제어 신호를 제어부(140)에 전달하여 제어부(140)로 하여금 수신된 제어 신호에 따라 초음파 영상 처리 장치(120)를 제어하도록 한다. 반대로, 통신부(180)는 제어부(140)로부터 수신된 제어 신호를 외부 장치에 송신하여, 제어 신호에 따라 외부 장치가 동작하도록 함으로써, 제어부(140)가 외부 장치를 제어할 수 있다.
외부 장치에는 초음파 영상 처리 장치(120)를 제어할 수 있는 프로그램이 설치될 수 있다. 프로그램은 제어부(140)의 동작의 적어도 일부를 수행하는 명령어를 포함할 수 있다. 프로그램은 외부 장치에 미리 설치되거나, 또는 외부 장치의 사용자가 애플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다.
입력부(190)는 초음파 영상 처리 장치(120)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나, 이에 한정되지 않는다.
도 2는 본 발명의 일실시예에 따른 초음파 영상 시스템의 일례를 도시한 도면이다. 도 3은 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치에 대상체가 삽입되는 일례를 도시한 도면이다. 도 4는 도 2의 스캔 장치에 대한 제어 일례를 설명하기 위한 도면이다. 도 5는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치의 인터페이스부를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 초음파 영상 시스템은 스캔 장치(200) 및 초음파 영상 처리 장치(201)를 포함할 수 있다.
스캔 장치(200)는 중공형의 원통 바디(210), 스캔 모듈(220) 및 인터페이스부(230)를 포함할 수 있다. 스캔 장치(200)는 도 3에 도시된 바와 같이, 대상체로서 예컨대, 인체의 팔, 다리, 복부가 삽입될 수 있다.
원통 바디(210)는 예컨대, 높이를 갖는 튜브 형태일 수 있으며, 양측에 대상체를 삽입할 수 있는 원형(또는, 타원형)의 개구부(211)(개구부_#1(211-1) 및 개구부_#2(211-2))를 포함할 수 있다.
스캔 모듈(220)은 원통 바디(210)의 양측 원형 둘레를 따라 형성된 제1 프레임(221)(제1 프레임_#1(221-1) 및 제1 프레임_#2(221-2)) 및 제1 프레임과 연결된 직선 형태의 제2 프레임(222)을 포함할 수 있다. 여기서, 제1 프레임(221) 및 제2 프레임(222)은 수직을 이루면서 연결될 수 있다.
실시예에서, 제1 프레임(221)은 원통 바디(210)의 양측에 각각 형성될 수 있으나, 이에 한정되지 않고 다른 실시예로서, 원통 바디(210)의 일측에만 형성될 수 있다.
또한, 스캔 모듈(220)은 제1 프레임(221)을 따라 횡방향(225)(xy축)으로 초음파 탐촉자(240)를 이동시키는 제1 모터(223) 및 제2 프레임(222)을 따라 종방향(226)(z축)으로 초음파 탐촉자(240)를 이동시키는 제2 모터(224)를 더 포함할 수 있다. 이때, 제1 모터(223)는 초음파 영상 처리 장치(201)의 제어에 따라 제1 프레임(221)과 제2 프레임(222)이 연결되는 지점을 변경하여 제2 프레임(222)을 이동시킴으로써, 제2 프레임(222)에 연결(또는, 장착)된 초음파 탐촉자(240)를 횡방향(225)으로 이동시킬 수 있다. 즉, 제1 모터(223)는 초음파 영상 처리 장치(201)의 제어에 따라 제2 프레임(222)을 이동시킴으로써, 초음파 탐촉자(240)를 간접적으로 이동시킬 수 있다. 또한, 제2 모터(224)는 초음파 영상 처리 장치(201)의 제어에 따라 제2 프레임(222)에서 초음파 탐촉자(240)가 연결(또는, 장착)된 지점을 변경함으로써, 초음파 탐촉자(240)를 종방향(226)으로 이동시킬 수 있다. 즉, 제2 모터(224)는 초음파 영상 처리 장치(201)의 제어에 따라 초음파 탐촉자(240)를 직접적으로 이동시킬 수 있다.
이때, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라 횡방향(225)으로 초음파 탐촉자(240)를 설정된 간격만큼 반복적으로 이동시켜, 대상체를 기준으로 360°회전시킨 후, 초음파 탐촉자(240)를 설정된 간격만큼 종방향(226)으로 이동시킬 수 있다. 이후, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라 횡방향(225)으로의 이동을 통한 360°회전 및 종방향(226)으로 이동을 반복적으로 수행하여, 대상체의 전체 면적에 초음파 신호를 송수신할 수 있게 한다.
예컨대, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라 도 4에 도시된 바와 같이, 제2 프레임(222)에 대해 제1 위치(예컨대, 제2 프레임의 가장 끝지점)에서 설정된 간격만큼 제1 횡방향(225-1)으로 초음파 탐촉자(240)를 이동시킬 수 있다. 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라 제1 횡방향(225-1)으로의 위치 이동을 반복하여 대상체를 기준으로 360°회전시킨 후, 초음파 탐촉자(240)를 설정된 간격만큼 종방향(226)으로 이동시킬 수 있다. 이후, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라 종방향(226)으로 이동된 제2 위치에서 설정된 간격만큼 제2 횡방향(225-2)으로 초음파 탐촉자(240-2)를 이동시켜, 대상체를 기준으로 360°회전시킬 수 있다.
초음파 탐촉자(240)의 이동시, 초음파 영상 처리 장치(201)는 제2 프레임(222)에 대한 제1 위치 및 제2 위치에서 제1 모터(223)로 하여금 초음파 탐촉자(240)를 제1 프레임(221)을 따라 서로 다른 방향(즉, 제1 횡방향(225-1), 제2 횡방향(225-2))으로 이동시키도록 제어함으로써, 초음파 영상 처리 장치(201)에 연결된 초음파 탐촉자(240)의 통신 선이, 초음파 탐촉자(240)의 360° 회전으로 인해 꼬이는 것을 방지할 수 있다.
실시예에서, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라, 초음파 탐촉자(240)에 대해 횡방향으로의 이동 반복에 따른 360°스캔 후, 종방향으로 이동시킬 수 있으나, 이에 한정되지 않고, 종방향으로의 이동 반복에 따른 일직선 스캔 후, 횡방향으로 이동시킬 수 있다. 일직선 스캔시, 초음파 탐촉자(240)는 예컨대, 90°로 회전된 상태에서 이동될 수 있다.
또한, 다른 실시예로서, 스캔 모듈(220)은 초음파 영상 처리 장치(201)의 제어에 따라, 횡방향으로의 이동 거리(회전 거리) 및 종방향으로의 이동 거리(일직선 거리)의 비교 결과에 기초하여, 선택된 제어 방법에 따라 초음파 탐촉자(240)를 이동시킬 수 있다. 예컨대, 초음파 영상 처리 장치(201)는 이동 거리가 더 긴 방향으로 초음파 탐촉자(240)를 이동시키도록 스캔 모듈(220)을 제어할 수 있다.
또한, 초음파 영상 처리 장치(201)는 제2 프레임(222)에 대해 초음파 탐촉자의 탐촉 범위가 중첩되는 복수의 위치에서 송신 초음파 신호를 송신하도록 제어할 수 있다. 이에 따라, 도 4에서, 제2 프레임(222)에 대한 제1 위치(예컨대, 제2 프레임의 가장 끝지점)에 존재하는 초음파 탐촉자(240-1)의 탐촉 범위와 제2 프레임(222)에 대한 제2 위치(제1 위치와 설정된 간격만큼 이격된 지점)에 존재하는 초음파 탐촉자(240-2)의 탐촉 범위는 중첩될 수 있다.
인터페이스부(230)는 원통 바디(210)와 유체 공급원을 연결하여, 원통 바디(210)에 유체의 주입 또는 배출이 가능하다. 인터페이스부(230)는 예컨대, 도 5에 도시된 바와 같이, 원통 바디(210)에서 유체가 배출됨에 따라 원통 바디(210)가 수축되어 원통 바디(210)의 두께가 감소하게 되고(a), 원통 바디(210)에 유체가 주입됨에 따라 원통 바디(210)가 팽창되어 원통 바디(210)의 두께가 증가하게 된다(b).
초음파 영상 처리 장치(201)는 초음파 탐촉자(240)로 하여금 스캔 장치(200)에 대하여 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어할 수 있다.
도 6는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치의 구성에 대한 다른 일례를 도시한 도면이다. 도 7은 도 6의 스캔 장치에 대한 제어 일례를 설명하기 위한 도면이다.
도 6를 참조하면, 스캔 장치(600)의 기본적인 구성은 도 2를 참조하여 설명한 스캔 장치의 구성과 동일하므로, 그 내용은 생략한다.
다만, 스캔 장치(600) 내 스캔 모듈은 원통 바디의 양측 원형 둘레를 따라 형성된 제1 프레임(621)(제1 프레임_#1(621-1) 및 제1 프레임_#2(621-2)) 및 제1 프레임(621)과 평행하게 위치하는 제3 프레임(627)을 포함할 수 있다.
스캔 장치(600) 내 스캔 모듈은 제1 프레임(621) 및 제3 프레임(627)과 연결된 직선 형태의 제2 프레임(622)을 더 포함할 수 있다.
또한, 스캔 장치(600) 내 스캔 모듈은 제1 프레임(621)을 따라 횡방향(625)으로 초음파 탐촉자(640)를 이동시키는 제1 모터(623) 및 제2 프레임(622)을 따라 종방향(626)으로 초음파 탐촉자(640)를 이동시키는 제2 모터(624)를 더 포함할 수 있다. 이때, 제1 모터(623)는 초음파 영상 처리 장치(601)의 제어에 따라 제3 프레임(627)에서 초음파 탐촉자(640)가 연결(또는, 장착)된 지점을 변경함으로써, 초음파 탐촉자(640)를 횡방향으로 이동시킬 수 있다. 즉, 제1 모터(623)는 초음파 영상 처리 장치(601)의 제어에 따라 초음파 탐촉자(640)를 직접적으로 이동시킬 수 있다. 또한, 제2 모터(624)는 제2 프레임(622)과 제3 프레임(627)이 연결되는 지점을 변경하여 제3 프레임(627)을 이동시킴으로써, 제3 프레임(627)에 연결(또는, 장착)된 초음파 탐촉자(640)를 종방향(626)으로 이동시킬 수 있다. 즉, 제2 모터(624)는 초음파 영상 처리 장치(601)의 제어에 따라 초음파 탐촉자(640)를 간접적으로 이동시킬 수 있다.
스캔 장치(600) 내 스캔 모듈은 도 2의 스캔 모듈과 마찬가지로, 초음파 영상 처리 장치(601)의 제어에 따라 도 7에 도시된 바와 같이, 제2 프레임(622)에 대한 제1 위치(예컨대, 제2 프레임의 가장 끝지점)에서, 제3 프레임(627)에 초음파 탐촉자(640)가 연결된 지점을 이동시켜, 초음파 탐촉자(640)를 설정된 간격만큼 횡방향(625)으로 이동시킬 수 있다. 또한, 스캔 장치(600) 내 스캔 모듈은 초음파 영상 처리 장치(601)의 제어에 따라 횡방향(625)으로의 위치 이동을 반복하여 대상체를 기준으로 360°회전시킨 후, 제3 프레임(627)을 이동시켜 제3 프레임(627)에 연결(또는, 장착)된 초음파 탐촉자(640)를 설정된 간격만큼 종방향(626)으로 이동시키는 동작을 반복함으로써, 대상체의 전체 면적에 초음파 신호를 송수신할 수 있게 한다.
도 8 및 도 9는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 스캔 장치와 초음파 탐촉자 간의 연결 일례를 도시한 도면이다.
도 8을 참조하면, 스캔 장치는 체결부를 포함하고, 체결부를 통해 초음파 탐촉자와 체결되어 초음파 탐촉자를 연결시킬 수 있다. 구체적으로, 스캔 장치는 예컨대, 스캔 모듈의 제1 모터(또는, 제2 모터)에 연결되어 형성된 제1 체결부(810)에 초음파 탐촉자(예컨대, 초음파 탐촉자의 측면)에 형성된 제2 체결부(820)를 체결하여 초음파 탐촉자를 탈착 가능하게 연결할 수 있으나, 이에 한정되지 않고, 스캔 모듈에 전용의 초음파 탐촉자가 장착된 형태로 제작될 수 있다.
또한, 다른 실시예로서, 스캔 장치는 도 9에 도시된 바와 같이, 스캔 모듈의 제1 모터(또는, 제2 모터)에 연결되어 형성된 거치부(910)를 포함하고, 거치부(910)를 통해 탈착 가능한 초음파 탐촉자를 거치시킴으로써, 기존의 초음파 탐촉자를 스캔 모듈에 쉽게 거치시킬 수 있다.
도 10a 및 도 10b는 본 발명의 일실시예에 따른 초음파 영상 시스템 내 초음파 영상 처리 장치의 일례를 도시한 도면이다.
도 10a을 참조하면, 초음파 영상 처리 장치(1000a, 1000b)는 메인 디스플레이부(1010) 및 서브 디스플레이부(1020)를 포함할 수 있다. 메인 디스플레이부(1010) 및 서브 디스플레이부(1020) 중 하나는 터치스크린으로 구현될수 있다. 메인 디스플레이부(1010) 및 서브 디스플레이부(1020)는 초음파 영상 또는 초음파 영상 처리 장치(1000a, 1000b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(1010) 및 서브 디스플레이부(1020)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 영상 처리 장치(1000a, 1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(1010)는 초음파 영상을 표시하고, 서브 디스플레이부(1020)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(1020)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 영상 처리 장치(1000a, 1000b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(1010)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 10b를 참조하면, 초음파 영상 처리 장치(1000b)는 메인 디스플레이부(1010) 및 서브 디스플레이부(1020) 이외에 컨트롤 패널(1030)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 영상 처리 장치(1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(1030)은 TGC(Time Gain Compensation) 버튼(1040), Freeze 버튼(1050) 등을 포함할 수 있다. TGC 버튼(1050)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 영상 처리 장치(1000b)는 초음파영상을 스캔하는 도중에 Freeze 버튼(1050) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(1030)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(1010) 또는 서브 디스플레이부(1020)에 GUI로 제공될 수 있다.
다른 실시예로서, 초음파 영상 처리 장치는 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 처리 장치의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
이하, 도 11 내지 도 16을 참조하여, 본 발명의 일실시예에 따른 초음파 영상 시스템에서의 영상 분석 일례를 설명한다.
초음파 영상 시스템 내 초음파 영상 처리 장치는 대상체로부터 반사된 복수의 초음파 신호를 이용하여 복수의 2D 초음파 영상을 생성하고, 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 있다.
초음파 영상 처리 장치는 2D 초음파 영상 또는 3D 초음파 영상으로부터 생성한 2D 단면 영상을 시멘틱 세그먼테이션(semantic segmentation)을 수행하는 딥 러닝 기반의 학습 모델에 적용한 결과에 기반하여 대상체에 대한 체성분을 획득할 수 있다. 이때, 초음파 영상 처리 장치는 2D 초음파 영상 또는 2D 단면 영상을 시멘틱 세그먼테이션을 수행하는 딥 러닝 기반의 학습 모델에 적용한 결과에 기초하여, 예컨대, 도 11에 도시된 바와 같이, 피부, 지방, 근육 각각의 층을 검출할 수 있다.
여기서, 학습 모델은 도 12에 도시된 바와 같이, 컨볼루션(convolution) 필터를 포함하는 엔코더(encoder)(1210) 및 트랜스포즈 컨볼루션(transposed convolution) 필터를 포함하는 디코더(decoder)(1220)를 포함할 수 있다. 엔코더(1210)는 컨볼루션 필터와 함께, ReLU 활성화 함수, GN(Group Normalization) 필터 및 채널 어텐션 모듈(channel attention module)을 더 포함할 수 있다.
엔코더(1210)는 복수의 채널 어텐션 모듈(channel attention module) 및 서로 크기가 다른 그리드(grid)를 포함할 수 있다(그리드는 채널 어텐션 모듈에 포함된 것일 수 있다). 여기서, 그리드는 복수이고, 복수의 그리드의 크기는 엔코더(1210)에서 엔코딩이 진행되는 방향으로 예컨대, 2의 배수만큼 감소할 수 있다.
또한, 엔코더(1210)는 맥스 풀링(max pooling) 오퍼레이션을 포함하고, 디코더(1220)는 세그먼테이션 결과를 출력할 수 있다. 여기서, 엔코더(1210)의 복수의 피쳐 맵(feature map) 중 엔코딩 과정에 포함된 2개의 피쳐 맵이 디코더(1220)에 연결될 수 있다.
실시예에서, 채널 어텐션 모듈은 예컨대, MSGRAP(Multiscale Grid Average Pooling)에 기반한 채널 어텐션 모듈(CA with MSGRAP)일 수 있다. MSGRAP에 기반한 채널 어텐션 모듈은 GRAP(Grid Average Pooling)에 기반한 채널 어텐션 모듈에서 사용되는 그리드의 크기가 변형(예컨대, 10x10→8x8→6x6)된 것으로서, 서로 크기가 다른 복수의 그리드를 사용할 수 있다.
참고로, GRAP에 기반한 채널 어텐션 모듈은 예컨대, 도 13에 도시된 바와 같은 과정을 수행할 수 있다. 먼저, GRAP에 기반한 채널 어텐션 모듈은 채널 통계 정보를 획득할 수 있다. 여기서, 채널 통계 정보는 k Х k GRAP을 이용하여 획득될 수 있다. GRAP에서, 입력 피쳐 맵은 H/k 및 W/k의 픽셀 사이즈를 가지는 k Х k 그리드 셀(grid cell)로 나뉠 수 있다. 각 분할된 그리드 셀의 픽셀들은 평균화된다.
입력 피쳐 맵(xc)의 각 채널(zc)에 대한 통계 정보는 [수학식 1]에 의해, 획득될 수 있다.
Figure pat00001
여기서, xc는 입력 피쳐 볼륨(input feature volume)(x)의 c번째 채널이고, k는 평균 풀링(average pooling)의 그리드 사이즈이다. 또한, a는 입력 피쳐 맵의 x 좌표이고, b는 입력 피쳐 맵의 y 좌표이다. i는 GRAP 이후의 결과 이미지의 x 좌표이고, j는 결과 이미지의 y 좌표이다. H는 피쳐 맵의 높이이고, W는 피쳐 맵의 너비이다. H/k Х W/k는 각 그리드 셀의 픽셀 사이즈이다.
획득된 통계 정보는 1Х1 컨볼루션 레이어와 두 개의 비선형 활성화 함수(ReLU, sigmoid) 간의 종속성을 계산하는데 사용될 수 있다.
이후, GRAP에 기반한 채널 어텐션 모듈은 [수학식 2]에 의해, 스케일링 벡터(scaling factor)(s)를 획득할 수 있다.
Figure pat00002
여기서, σ는 시그모이드(sigmoid) 비선형 활성화 함수이고, δ는 ReLU(Rectified Linear Unit) 비선형 활성화 함수이다, W1∈RCХC/r 및 W2∈RC/rХC는 1Х1 컨볼루션 레이어의 가중치이다, zc 는 GRAP를 통해 획득될 수 있다.
이후, GRAP에 기반한 채널 어텐션 모듈은 입력 피쳐 맵(xc) 및 스케일링 벡터(scaling factor)(s)의 c번째 채널(sc)을 이용하여 [수학식 3]에 의해, 리스케일된 피쳐 맵(rescaled feature map)의 c번째 채널(
Figure pat00003
)를 획득할 수 있다.
Figure pat00004
여기서, ×는 픽셀 멀티플리케이션(pixel-wise multiplication)이고, U는 업샘플링 함수(upsampling function)이다,
GRAP에 기반한 채널 어텐션 모듈은 입력 이미지의 로컬 정보(local information)을 이용함으로써, 세그먼테이션 성능을 향상시킬 수 있다. 이를 위해, GRAP에 기반한 채널 어텐션 모듈은 예컨대, 10x10 크기의 그리드를 이용할 수 있다.
GRAP에 기반한 채널 어텐션 모듈을 포함하는 인코더는 예컨대, 도 14의 (a)에 도시된 바와 같이, 입력 이미지에 ReLU 활성화 함수, GN 필터, GRAP에 기반한 채널 어텐션 모듈 및 맥스 풀링 오퍼레이션을 적용할 수 있다.
또한, MSGRAP에 기반한 채널 어텐션 모듈을 포함하는 인코더는 예컨대, 도 14의 (b)에 도시된 바와 같이, 입력 이미지에 ReLU 활성화 함수, GN 필터, MSGRAP에 기반한 채널 어텐션 모듈 및 맥스 풀링 오퍼레이션을 적용하되, MSGRAP에 기반한 채널 어텐션 모듈로서 GRAP에 기반한 채널 어텐션 모듈에서 사용되는 그리드의 크기가 변형된 것을 적용할 수 있다.
MSGRAP에 기반한 채널 어텐션 모듈을 사용하는 엔코더(1210)를 포함한 학습 모델에, 2D 단면 영상을 적용하여 대상체에 대한 상태정보를 획득하는 초음파 영상 시스템은 도 15에 도시된 바와 같이, 다른 채널 어텐션 모듈(예컨대, FCN, U-NET,??, GAP 등)을 사용하는 것에 비해, 시멘틱 세그먼테이션의 성능을 향상시킴으로써, 대상체에 대한 상태 정보를 정확하게 파악할 수 있다. 예컨대, MSGRAP에 기반한 채널 어텐션 모듈을 활용한 초음파 영상 시스템은 전체 정확도(global accuracy), F1 스코어(score), 민감도(sensitivity), 특이도(specificity), 정밀도(precision) 등에서, 다른 채널 어텐션 모듈을 사용하는 것에 비해, 높은 결과를 도출할 수 있다.
이러한 초음파 영상 시스템은 예컨대, 유방암 초음파 이미지를 MSGRAP에 기반한 채널 어텐션 모듈을 사용하는 엔코더(1210)를 포함한 학습 모델에 적용할 수 있으며, 도 16에 도시된 바와 같이, 다른 채널 어텐션 모듈(예컨대, FCN, U-NET,??, GAP 등)을 사용하는 것에 비해, 관심 영역(ROI)을 보다 정확하게 분리(segmentation)할 수 있다.
도 17은 본 발명의 일실시예에 따른 초음파 영상 시스템의 동작 방법을 도시한 흐름도이다. 여기서, 초음파 영상 시스템의 동작 방법은 스캔 장치 및 초음파 영상 처리 장치를 포함하는 초음파 영상 시스템에 의해 구현될 수 있다.
도 17을 참조하면, 단계 S1710에서, 초음파 영상 시스템 내 스캔 장치에 대상체(예컨대, 인체의 팔, 다리, 복부)가 삽입될 수 있다. 여기서, 스캔 장치는 대상체를 삽입 가능한 개구부가 형성된 중공형의 원통 바디, 초음파 탐촉자를 이동시키는 스캔 모듈 및 원통 바디에 유체의 주입 또는 배출이 가능한 인터페이스부를 포함할 수 있다.
여기서, 원통 바디는 대상체를 삽입 가능한 개구부가 형성될 수 있다. 대상체가 삽입되는 개구부는 원통 바디의 양측에 형성될 수 있다. 또한, 원통 바디는 예컨대, 플렉서블 소재(예컨대, 라텍스 등의 고신축성 소재) 및 초음파 투과 소재로 형성될 수 있다. 원통 바디는 플렉서블 소재로 형성됨으로써, 인터페이스부를 통해 유입되는 내부의 유체량 변화에 따라 형태가 자유롭게 변형될 수 있다. 또한, 원통 바디는 초음파 투과 소재로 형성됨으로써, 내측에 위치하는 대상체와 외측에 위치하는 초음파 탐촉자 간의 초음파 신호의 송수신을 가능하게 한다.
원통 바디의 일부와 연결된 스캔 모듈은 대상체와 초음파 신호를 송수신하는 초음파 탐촉자를 이동시켜, 스캔 장치에 대한 복수의 위치에 위치시킬 수 있다.
스캔 모듈은 제1 프레임, 제2 프레임, 제1 모터 및 제2 모터를 포함할 수 있다. 여기서, 제1 프레임은 원통 바디의 원형 둘레를 따라 형성될 수 있다. 제2 프레임은 제1 프레임의 일지점과 연결된 직선 형태일 수 있다. 제1 모터는 제1 프레임을 따라 초음파 탐촉자를 이동시킬 수 있다. 제2 모터는 제2 프레임을 따라 초음파 탐촉자를 이동시킬 수 있다.
또한, 스캔 모듈은 체결부 또는 거치부를 더 포함할 수 있으며, 체결부를 통해 초음파 탐촉자와 체결되어 초음파 탐촉자를 연결시키거나, 또는 거치부를 통해 탈착 가능한 초음파 탐촉자를 거치시킬 수 있다. 다른 실시예로서, 스캔 모듈은 전용의 초음파 탐촉자가 장착된 형태로 제작될 수 있다.
인터페이스부는 원통 바디와 유체 공급원(도시하지 않음)을 연결하여, 원통 바디에 유체의 주입 또는 배출이 가능하다.
또한, 스캔 장치는 원통 바디의 유체 압력을 측정하는 압력 센서를 더 포함할 수 있다.
단계 S1720에서, 초음파 영상 시스템은 스캔 장치의 압력을 제어하여, 스캔 장치와 대상체 간의 밀착도를 조정할 수 있다. 이때, 초음파 영상 시스템은 스캔 장치의 압력 센서를 통해, 원통 바디의 유체 압력을 측정하고, 측정된 유체 압력에 기반하여 원통 바디에 대한 유체의 주입 또는 배출을 제어할 수 있다.
단계 S1730에서, 초음파 영상 시스템은 스캔 장치의 일부에 연결된 초음파 탐촉자로 하여금 스캔 장치에 대하여 복수의 위치에서 대상체로 송신 초음파 신호를 발생시키고, 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어할 수 있다. 구체적으로, 초음파 영상 시스템은 초음파 탐촉자로 하여금 스캔 장치에 대한 복수의 위치에서 원통 바디를 통과하여 대상체 방향으로 송신 초음파 신호를 발생시키도록 제어하고, 초음파 탐촉자로 하여금 스캔 장치에 대한 복수의 위치에서 대상체로부터 반사되어 원통 바디를 통과한 반사 초음파 신호를 수신하도록 제어할 수 있다.
이때, 초음파 영상 시스템은 제2 프레임에 대한 복수의 위치에서 제1 모터로 하여금 초음파 탐촉자를 제1 프레임을 따라 이동시키도록 제어할 수 있다. 예컨대, 초음파 영상 시스템은 제2 프레임에 대한 제1 위치(예컨대, 제2 프레임의 가장 끝지점)에서 제1 모터로 하여금 초음파 탐촉자를 제1 프레임을 따라 설정된 간격만큼 횡방향 이동시키도록 제어할 수 있다. 이때, 초음파 영상 시스템은 횡방향으로 초음파 탐촉자를 설정된 간격만큼 반복적으로 이동시켜, 대상체를 기준으로 360°회전시킬 수 있다. 또한, 초음파 영상 시스템은 제2 프레임에 대한 제2 위치(예컨대, 제2 프레임의 가장 끝지점에서 제2 프레임을 따라 설정된 간격만큼 종방향으로 이동한 지점)에서 제1 모터로 하여금 초음파 탐촉자를 제1 프레임을 따라 설정된 간격만큼 횡방향 이동시키도록 제어할 수 있다.
초음파 영상 시스템은 초음파 탐촉자에 대해, 횡방향(225)으로의 이동을 통한 360°회전 및 종방향으로 이동을 반복적으로 수행하여, 대상체의 전체 면적에 초음파 신호를 송수신할 수 있게 한다.
초음파 영상 시스템은 제2 프레임에 대한 복수의 위치 중 서로 다른 적어도 두 위치에서 제1 모터로 하여금 초음파 탐촉자를 제1 프레임을 따라 서로 다른 방향으로 이동시키도록 제어할 수 있다. 예컨대, 초음파 영상 시스템은 제2 프레임에 대한 제1 위치에서의 초음파 탐촉자에 대한 360°회전과 제2 프레임에 대한 제2 위치에서의 초음파 탐촉자에 대한 360°회전을 서로 다른 방향으로 이동시키도록 제어함으로써, 반복적인 회전으로 인해 초음파 탐촉자(240)의 통신 선이 꼬이는 것을 방지할 수 있다.
또한, 실시예에서, 초음파 영상 시스템은 스캔 장치의 제2 프레임에 대해 초음파 탐촉자의 탐촉 범위가 중첩되는 복수의 위치에서 송신 초음파 신호를 송신하도록 제어함으로써, 제2 프레임을 따라 초음파 탐촉자가 종방향으로 이동할 때, 탐촉 범위가 이격되는 것을 방지하여 대상체의 전체 면적에 초음파 신호가 전달될 수 있게 한다.
단계 S1740에서, 초음파 영상 시스템은 스캔 장치에 대한 복수의 위치에서 각각 수신된 반사 초음파 신호에 기초하여 복수의 2D 초음파 영상을 생성할 수 있다. 초음파 영상 시스템은 스캔 장치에 대한 각 위치에서의 반사 초음파 신호 수신에 연동하여, 2D 초음파 영상을 생성할 수 있으며, 반사 초음파 신호를 수신한 초음파 탐촉자의 위치와 2D 초음파 영상을 매칭시켜 저장부에 저장할 수 있다.
단계 S1750에서, 초음파 영상 시스템은 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 있다. 이때, 초음파 영상 시스템은 복수의 2D 초음파 영상에 각각 매칭되는 복수의 위치(2D 초음파 영상의 생성에 사용된 초음파 신호가 송수신되는 각각의 위치) 및 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 있다.
단계 S1760에서, 초음파 영상 시스템은 3D 초음파 영상을 분석할 수 있다. 이때, 초음파 영상 시스템은 3D 초음파 영상에 기초하여 대상체에 대한 상태정보(예컨대, 체성분, 체성분의 3차원적 분포, 지방량, 근육량, 지방 및 근육의 3차원적인 형태 등)를 획득하여 출력할 수 있다. 이때, 초음파 영상 시스템은 3D 초음파 영상에, 복수의 학습 영상으로부터 체성분을 구분하도록 훈련된 심층 신경망을 적용함으로써, 3D 초음파 영상으로부터 대상체의 지방층 및 근육층을 신속하고 정확하게 검출하고, 대상체의 지방층 및 근육층에 기초하여 대상체에 대한 상태정보를 획득할 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 초음파 영상 시스템
110: 스캔 장치
120: 초음파 영상 처리 장치

Claims (15)

  1. 대상체를 삽입 가능한 스캔 장치;
    상기 스캔 장치의 일부에 연결된 초음파 탐촉자;
    상기 초음파 탐촉자로 하여금 상기 스캔 장치에 대하여 복수의 위치에서 상기 대상체로 송신 초음파 신호를 발생시키고, 상기 대상체로부터 반사된 반사 초음파 신호를 수신하도록 제어하는 제어부; 및
    상기 스캔 장치에 대한 복수의 위치에서 각각 수신된 상기 반사 초음파 신호에 기초하여 복수의 2D(dimensional) 초음파 영상을 생성하고, 상기 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성하는 영상 처리부를 포함하는,
    초음파 영상 시스템.
  2. 제1항에 있어서,
    상기 스캔 장치는 상기 대상체를 삽입 가능한 개구부가 형성되고 플렉서블(flexible) 소재로 형성된 중공형(hollow)의 원통 바디(body) 및 상기 원통 바디에 유체의 주입 또는 배출이 가능한 인터페이스부를 포함하는,
    초음파 영상 시스템.
  3. 제2항에 있어서,
    상기 제어부는 상기 스캔 장치에 대한 복수의 위치로 상기 초음파 탐촉자의 이동을 제어하고, 상기 초음파 탐촉자로 하여금 상기 스캔 장치에 대한 복수의 위치에서 상기 원통 바디를 통과하여 상기 대상체 방향으로 상기 송신 초음파 신호를 발생시키도록 제어하고, 상기 초음파 탐촉자로 하여금 상기 스캔 장치에 대한 복수의 위치에서 상기 대상체로부터 반사되어 상기 원통 바디를 통과한 상기 반사 초음파 신호를 수신하도록 제어하는,
    초음파 영상 시스템.
  4. 제2항에 있어서,
    상기 스캔 장치는 상기 초음파 탐촉자를 이동시키는 스캔 모듈을 더 포함하고,
    상기 스캔 모듈은,
    상기 원통 바디의 원형 둘레를 따라 형성된 제1 프레임, 상기 제1 프레임의 일지점과 연결된 직선 형태의 제2 프레임, 상기 제1 프레임을 따라 상기 초음파 탐촉자를 이동시키는 제1 모터 및 상기 제2 프레임을 따라 상기 초음파 탐촉자를 이동시키는 제2 모터를 포함하는,
    초음파 영상 시스템.
  5. 제4항에 있어서,
    상기 제어부는 상기 제2 프레임에 대해 상기 초음파 탐촉자의 탐촉 범위가 중첩되는 복수의 위치에서 상기 송신 초음파 신호를 송신하도록 제어하는,
    초음파 영상 시스템.
  6. 제4항에 있어서,
    상기 제어부는 상기 제2 프레임에 대한 복수의 위치에서 상기 제1 모터로 하여금 상기 초음파 탐촉자를 상기 제1 프레임을 따라 이동시키도록 제어하는,
    초음파 영상 시스템.
  7. 제4항에 있어서,
    상기 제어부는 상기 제2 프레임에 대한 복수의 위치 중 서로 다른 적어도 두 위치에서 상기 제1 모터로 하여금 상기 초음파 탐촉자를 상기 제1 프레임을 따라 서로 다른 방향으로 이동시키도록 제어하는,
    초음파 영상 시스템.
  8. 제2항에 있어서,
    상기 스캔 장치는 상기 원통 바디의 유체 압력을 측정하는 압력 센서를 더 포함하고,
    상기 제어부는 측정된 상기 유체 압력에 기반하여 상기 원통 바디에 대한 상기 유체의 주입 또는 배출을 제어하는,
    초음파 영상 시스템.
  9. 제1항에 있어서,
    상기 초음파 탐촉자는 상기 스캔 장치에 장착되거나 또는 상기 스캔 장치 내 거치부에 탈착 가능하게 거치되어, 상기 스캔 장치에 연결되는,
    초음파 영상 시스템.
  10. 제1항에 있어서,
    상기 영상 처리부는 상기 3D 초음파 영상에 기초하여 상기 대상체에 대한 체성분을 획득하는,
    초음파 영상 시스템.
  11. 제10항에 있어서,
    상기 영상 처리부는 상기 2D 초음파 영상 또는 상기 3D 초음파 영상으로부터 생성한 2D 단면 영상을 시멘틱 세그먼테이션(semantic segmentation)을 수행하는 딥 러닝 기반의 학습 모델에 적용한 결과에 기반하여 상기 대상체에 대한 체성분을 획득하는,
    초음파 영상 시스템.
  12. 제11항에 있어서,
    상기 학습 모델은 컨볼루션(convolution) 필터를 포함하는 엔코더(encoder) 및 트랜스포즈 컨볼루션(transposed convolution) 필터를 포함하는 디코더(decoder)를 포함하고,
    상기 엔코더는 맥스 풀링(max pooling) 오퍼레이션을 포함하고,
    상기 디코더는 세그먼테이션 결과를 출력하고,
    상기 엔코더의 복수의 피쳐 맵(feature map) 중 엔코딩 과정에 포함된 2개의 피쳐 맵이 상기 디코더에 연결되는,
    초음파 영상 시스템.
  13. 제11항에 있어서,
    상기 학습 모델은 컨볼루션 필터를 포함하는 엔코더 및 트랜스포즈 컨볼루션 필터를 포함하는 디코더를 포함하고,
    상기 엔코더는 서로 크기가 다른 그리드(grid)를 포함하는 복수의 채널 어텐션 모듈(channel attention module)을 포함하는,
    초음파 영상 시스템.
  14. 제13항에 있어서,
    상기 그리드는 복수이고, 복수의 상기 그리드의 크기는 상기 엔코더에서 엔코딩이 진행되는 방향으로 감소하는,
    초음파 영상 시스템.
  15. 스캔 장치에 삽입된 대상체의 3D 초음파 영상을 생성하기 위한 초음파 영상 시스템의 동작 방법으로서,
    상기 스캔 장치의 일부에 연결된 초음파 탐촉자로 하여금 상기 스캔 장치에 대한 복수의 위치에서 상기 대상체로 송신 초음파 신호를 발생시키고, 상기 대상체로부터 반사된 반사 초음파 신호를 수신하도록 상기 초음파 탐촉자를 제어하는 단계; 및
    상기 스캔 장치에 대한 복수의 위치에서 각각 수신된 상기 반사 초음파 신호에 기초하여 복수의 2D 초음파 영상을 생성하고, 상기 복수의 2D 초음파 영상에 기초하여 3D 초음파 영상을 생성하는 단계를 포함하는,
    초음파 영상 시스템의 동작 방법.
KR1020200113043A 2020-09-04 2020-09-04 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법 KR20220031819A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200113043A KR20220031819A (ko) 2020-09-04 2020-09-04 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법
US17/458,737 US11717267B2 (en) 2020-09-04 2021-08-27 Hollow cylindrical ultrasound imaging system for analyzing body composition and operation method of the ultrasound imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200113043A KR20220031819A (ko) 2020-09-04 2020-09-04 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220031819A true KR20220031819A (ko) 2022-03-14

Family

ID=80469335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200113043A KR20220031819A (ko) 2020-09-04 2020-09-04 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법

Country Status (2)

Country Link
US (1) US11717267B2 (ko)
KR (1) KR20220031819A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073965A (ko) 2018-12-14 2020-06-24 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7771360B2 (en) * 2003-04-09 2010-08-10 Techniscan, Inc. Breast scanning system
US7521708B1 (en) * 2004-12-29 2009-04-21 The United States Of America As Represented By The Secretary Of The Navy High sensitivity ring-SQUID magnetic sensor
US20120029358A1 (en) * 2005-03-03 2012-02-02 Sonowise, Inc. Three -Dimensional Ultrasound Systems, Methods, and Apparatuses
EP2811909A4 (en) * 2012-02-08 2015-11-18 Smith & Nephew Inc echogram
RU2578298C1 (ru) 2014-11-24 2016-03-27 Самсунг Электроникс Ко., Лтд. Сверхширокополосное устройство для определения профиля слоев ткани живого организма и соответствующий способ
CN107635470B (zh) 2015-02-25 2021-02-02 决策科学医疗有限责任公司 声学信号传输联接和联接介质
KR20170108461A (ko) 2016-03-17 2017-09-27 경희대학교 산학협력단 체지방 측정장치 및 방법
WO2018127497A1 (en) 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for deriving imaging data and tissue information
EP3432263B1 (en) * 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
WO2020033380A1 (en) * 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073965A (ko) 2018-12-14 2020-06-24 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20220071598A1 (en) 2022-03-10
US11717267B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
US10736609B2 (en) Ultrasound imaging apparatus and method of controlling the same
CN103068316B (zh) 超声波诊断装置、医用图像处理装置及医用图像处理方法
CN105662460B (zh) 用于处理超声图像的超声方法及设备
KR20220020359A (ko) 초음파 탐침 조준 중 표적의 표현
CN104379064A (zh) 超声波诊断装置以及图像数据的校正方法
KR102347038B1 (ko) 초음파 진단 장치 및 초음파 진단 방법
US10004478B2 (en) Method and apparatus for displaying ultrasound image
KR102462391B1 (ko) 초음파 장치 및 그 동작 방법
US11636593B2 (en) Robust segmentation through high-level image understanding
CN114119362A (zh) 利用神经网络提高超声图像分辨率的系统和方法
US11272906B2 (en) Ultrasonic imaging device and method for controlling same
CN114025670A (zh) 用于超声数据的收集和可视化的方法和装置
JP6358192B2 (ja) 超音波診断装置、及び超音波診断装置の制御方法
US11484286B2 (en) Ultrasound evaluation of anatomical features
KR20220031819A (ko) 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법
US9911224B2 (en) Volume rendering apparatus and method using voxel brightness gain values and voxel selecting model
CN102958446B (zh) 超声波诊断装置以及医用图像处理装置
US10064600B2 (en) Method for displaying ultrasound image using doppler data and ultrasound medical apparatus thereto
US10191632B2 (en) Input apparatus and medical image apparatus comprising the same
US20220039773A1 (en) Systems and methods for tracking a tool in an ultrasound image
EP3849424A1 (en) Systems and methods for tracking a tool in an ultrasound image
US20210093298A1 (en) Methods and apparatuses for providing feedback for positioning an ultrasound device
KR102196878B1 (ko) 초음파 프로브 및 초음파 프로브 제조 방법
US11631172B2 (en) Methods and apparatuses for guiding collection of ultrasound images
US11457898B2 (en) Method of obtaining contrast image and ultrasound diagnosis apparatus for performing the method