KR20220112389A - 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치 - Google Patents

하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치 Download PDF

Info

Publication number
KR20220112389A
KR20220112389A KR1020210015862A KR20210015862A KR20220112389A KR 20220112389 A KR20220112389 A KR 20220112389A KR 1020210015862 A KR1020210015862 A KR 1020210015862A KR 20210015862 A KR20210015862 A KR 20210015862A KR 20220112389 A KR20220112389 A KR 20220112389A
Authority
KR
South Korea
Prior art keywords
scan line
signal
hifu
output
hifu signal
Prior art date
Application number
KR1020210015862A
Other languages
English (en)
Other versions
KR102649718B1 (ko
Inventor
송태경
김정연
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020210015862A priority Critical patent/KR102649718B1/ko
Publication of KR20220112389A publication Critical patent/KR20220112389A/ko
Application granted granted Critical
Publication of KR102649718B1 publication Critical patent/KR102649718B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명의 실시예에 따른 하이푸 신호 제거장치는 입력부, 딥뉴럴 네트워크 및 출력신호 제공부를 포함할 수 있다. 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공할 수 있다. 딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공할 수 있다. 출력신호 제공부는 제N 스캔라인 데이터 및 출력 마스크에 따라 하이푸 신호의 성분이 제거된 출력신호를 제공할 수 있다.
본 발명에 따른 하이푸 신호 제거장치에서는, 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 딥뉴럴 네트워크에 기초하여 제N 스캔라인 데이터로부터 하이푸 신호의 성분이 제거된 출력신호를 제공함으로써 초음파 영상의 화질을 개선할 수 있다.

Description

하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치{HIFU SIGNAL ELIMINATION DEVICE AND ULTRASOUND IMAGE DEVICE INCLUDING THE SAME}
본 발명은 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치에 관한 것이다.
초음파 영상에 하이푸 신호 및 이미지 영상신호를 모두 포함하는 경우, 하이푸 신호로 인해서 초음파 영상의 화질이 저하될 수 있다. 최근, 하이푸 신호로 인한 초음파 영상의 화질이 저하되는 것을 방지하기 위하여 다양한 연구가 진행되고 있다.
(한국등록특허) 제10-1956308호 (등록일자, 2019.03.04)
본 발명이 이루고자 하는 기술적 과제는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 딥뉴럴 네트워크에 기초하여 제N 스캔라인 데이터로부터 하이푸 신호의 성분이 제거된 출력신호를 제공함으로써 초음파 영상의 화질을 개선할 수 있는 하이푸 신호 제거장치를 제공하는 것이다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 하이푸 신호 제거장치는 입력부, 딥뉴럴 네트워크 및 출력신호 제공부를 포함할 수 있다. 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공할 수 있다. 딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공할 수 있다. 출력신호 제공부는 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공할 수 있다.
일 실시예에 있어서, 상기 딥뉴럴 네트워크는 상기 제N 스캔라인 학습 데이터를 퓨리어 트랜스폼(Fourior Transform)한 값의 절대값에 해당하는 학습 스펙트로그램에 기초하여 학습할 수 있다.
일 실시예에 있어서, 상기 딥뉴럴 네트워크는 상기 학습 스펙트로그램에 상응하는 기준 스펙트로그램 및 상기 학습 스펙트로그램에 기초하여 학습할 수 있다.
일 실시예에 있어서, 상기 딥뉴럴 네트워크가 제공하는 상기 출력 마스크는 상기 제N 스캔라인 데이터에 상응하는 상기 하이푸 신호의 성분을 마스킹할 수 있다.
일 실시예에 있어서, 상기 입력부는 상기 제N 스캔라인 데이터를 퓨리어 트랜스폼한 값의 절대값에 해당하는 입력 스펙트로그램을 상기 딥뉴럴 네트워크에 제공할 수 있다.
일 실시예에 있어서, 상기 출력신호 제공부는 상기 출력 마스크 및 상기 입력 스펙트로그램을 합성하여 상기 출력신호를 제공할 수 있다.
일 실시예에 있어서, 상기 하이푸 신호 제거장치는 상기 출력신호의 위상을 보정하기 위한 위상 보정부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 하이푸 신호 제거장치는 상기 출력신호 제공부에 상기 보정위상의 값을 제공하는 위상정보 제공부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 위상정보 제공부는 상기 초음파 영상을 제공하기 위해 사용되는 이미지 초음파를 송신하는 이미지 시퀀스들 및 상기 하이푸 신호를 송신하는 하이푸 시퀀스들이 겹치지 않는 위상 시퀀스에 해당하는 상기 초음파 영상의 제N 번째 스캔라인 데이터에 해당하는 제N 위상 데이터에 기초하여 상기 보정위상의 값이 결정될 수 있다.
일 실시예에 있어서, 상기 위상정보 제공부에서 제공되는 상기 보정위상의 값은 상기 제N 위상 데이터를 퓨리어 트랜스폼한 값에 따라 결정될 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 초음파 영상장치는 입력부, 딥뉴럴 네트워크, 출력신호 제공부 및 디스플레부를 포함할 수 있다. 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공할 수 있다. 딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공할 수 있다. 출력신호 제공부는 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공할 수 있다. 디스플레이부는 상기 출력신호에 따라 영상을 제공할 수 있다.
일 실시예에 있어서, 상기 딥뉴럴 네트워크가 제공하는 상기 출력 마스크는 상기 제N 스캔라인 데이터에 상응하는 상기 하이푸 신호의 성분을 마스킹할 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 하이푸 신호 제거장치의 동작방법에서는, 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공할 수 있다. 딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공할 수 있다. 출력신호 제공부가 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공할 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 초음파 영상장치의 동작방법에서는, 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공할 수 있다. 딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공할 수 있다. 출력신호 제공부가 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공할 수 있다. 디스플레이부가 상기 출력신호에 따라 영상을 제공할 수 있다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.
본 발명에 따른 하이푸 신호 제거장치에서는, 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 딥뉴럴 네트워크에 기초하여 제N 스캔라인 데이터로부터 하이푸 신호의 성분이 제거된 출력신호를 제공함으로써 초음파 영상의 화질을 개선할 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시예들에 따른 하이푸 신호 제거장치를 나타내는 도면이다.
도 2 내지 4는 도 1의 하이푸 신호 제거장치의 학습동작을 설명하기 위한 도면들이다.
도 5 내지 7은 도 1의 하이푸 신호 제거장치의 동작을 설명하기 위한 도면들이다.
도 8 및 9는 도 1의 하이푸 신호 제거장치의 일 실시예를 나타내는 도면이다.
도 10은 본 발명의 실시예들에 따른 초음파 영상장치를 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 하이푸 신호 제거장치의 동작방법을 나타내는 순서도이다.
도 12는 본 발명의 실시예들에 따른 초음파 영상장치의 동작방법을 나타내는 순서도이다.
본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 실시예들에 따른 하이푸 신호 제거장치를 나타내는 도면이고, 2 내지 4는 도 1의 하이푸 신호 제거장치의 학습동작을 설명하기 위한 도면들이다.
도 1 내지 4를 참조하면, 본 발명의 실시예에 따른 하이푸 신호 제거장치(10)는 입력부(100), 딥뉴럴 네트워크(200) 및 출력신호 제공부(300)를 포함할 수 있다. 입력부(100)는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터(SD_N)를 제공할 수 있다.
딥뉴럴 네트워크(200)는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)에 기초하여 학습되고, 제N 스캔라인 데이터(SD_N)에 상응하는 출력 마스크(OMK)를 제공할 수 있다. 일 실시예에 있어서, 딥뉴럴 네트워크(200)는 제N 스캔라인 학습 데이터(TSD_N)를 퓨리어 트랜스폼(Fourior Transform)한 값의 절대값에 해당하는 학습 스펙트로그램(TSP)에 기초하여 학습할 수 있다. 예를 들어, 스캔라인 학습 데이터(TSD)는 제1 스캔라인에 상응하는 제1 스캔라인 학습 데이터(TSD_1), 제2 스캔라인에 상응하는 제2 스캔라인 학습 데이터(TSD_2) 내지 제N 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)를 포함할 수 있다. 스캔라인 학습 데이터(TSD)는 하이푸 신호의 성분(HC)을 포함할 수 있다.
입력부(100)는 스캔라인 데이터부(110), 푸리에 트랜스폼부(120) 및 절대값부(130)를 포함할 수 있다. 본 발명에 따른 딥뉴럴 네트워크(200)의 트래이닝 모드(TR)에서는, 스캔라인 데이터부(110)는 제N 스캔라인 학습 데이터(TSD_N)를 푸리에 트랜스폼부(120)에 제공하여 푸리에 트랜스폼한 후, 절대값부(130)를 통해서 학습 스펙트로그램(TSP)을 제공할 수 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)는 학습 스펙트로그램(TSP)에 상응하는 기준 스펙트로그램(RSP) 및 학습 스펙트로그램(TSP)에 기초하여 학습할 수 있다. 예를 들어, 학습 스펙트로그램(TSP)에는 하이푸 신호의 성분(HC)이 포함될 수 있고, 기준 스펙트로그램(RSP)은 학습 스펙트로그램(TSP)에서 하이푸 신호의 성분(HC)이 제거된 스펙트로그램으로 본 발명에 따른 딥뉴럴 네트워크(200)를 학습시키기 위해서 생성된 것일 수 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)가 학습 스펙트로그램(TSP) 및 기준 스펙트로그램(RSP)에 기초하여 마스크를 생성하여 학습하는 경우, 딥뉴널 네트워크(200)는 출력 마스크(OMK)의 형태로 출력을 제공할 수 있다. 또한, 딥뉴럴 네트워크(200)가 학습 스펙트로그램(TSP) 및 기준 스펙트로그램(RSP)만을 기준으로 학습하는 경우, 딥뉴널 네트워크(200)는 스펙트로그램의 형태로 출력을 제공할 수도 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)는 학습 스펙트로그램(TSP)에 상응하는 기준 마스크(RMK) 및 학습 스펙트로그램(TSP)에 기초하여 학습할 수 있다. 예를 들어, 학습 스펙트로그램(TSP)에는 하이푸 신호의 성분(HC)이 포함될 수 있고, 기준 마스크(RMK)는 아래의 [수학식 1]과 같이 하이푸 신호의 성분(HC)을 학습 스펙트로그램(TSP)을 하이푸 신호의 성분(HC)이 제거된 기준 스펙트로그램(RSP)으로 나눈 형태로 제공될 수 있다.
[수학식 1]
Figure pat00001
여기서, SMM는 출력 마스크, S는 기준 스펙트로그램, Y는 하이푸 신호의 성분을 포함하는 스펙트로그램일 수 있다. n은 스캐라인 번호, f는 주파수일 수 있다.
도 5 내지 7은 도 1의 하이푸 신호 제거장치의 동작을 설명하기 위한 도면들이다.
도 1 내지 7을 참조하면, 본 발명의 실시예에 따른 하이푸 신호 제거장치(10)는 입력부(100), 딥뉴럴 네트워크(200) 및 출력신호 제공부(300)를 포함할 수 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)가 제공하는 출력 마스크(OMK)는 제N 스캔라인 데이터(SD_N)에 상응하는 하이푸 신호의 성분(HC)을 마스킹할 수 있다. 예를 들어, 본 발명에 따른 하이푸 신호 제거장치(10)의 동작모드에서 입력부(100)로부터 제1 스캔라인 데이터가 딥뉴럴 네트워크(200)에 제공되는 경우, 학습된 딥뉴럴 네트워크(200)는 제1 스캔라인 데이터에 상응하는 출력 마스크(OMK)를 제공할 수 있다. 출력 마스크(OMK)는 아래의 [수학식 2]과 같이 하이푸 신호의 성분(HC)을 포함하는 스펙트로그램을 하이푸 신호의 성분(HC)이 제거된 기준 스펙트로그램(RSP)으로 나눈 형태로 제공될 수 있다.
[수학식 2]
Figure pat00002
여기서, SMM는 출력 마스크, S는 기준 스펙트로그램, Y는 하이푸 신호의 성분을 포함하는 스펙트로그램일 수 있다. n은 스캐라인 번호, f는 주파수일 수 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)가 제공하는 출력 마스크(OMK)는 제N 스캔라인 데이터(SD_N)에 상응하는 하이푸 신호의 성분(HC)을 마스킹할 수 있다. 예를 들어, 본 발명에 따른 하이푸 신호 제거장치(10)의 동작모드(OM)에서 입력부(100)로부터 제1 스캔라인 데이터에 상응하는 입력 스펙트로그램(IPS)이 딥뉴럴 네트워크(200)에 제공될 수 있다. 입력부(100)로부터 제1 스캔라인 데이터에 상응하는 입력 스펙트로그램(IPS)이 딥뉴럴 네트워크(200)에 제공되는 경우, 학습된 딥뉴럴 네트워크(200)는 입력 스펙트로그램(IPS)에 상응하는 출력 마스크(OMK)를 제공할 수 있다.
출력신호 제공부(300)는 제N 스캔라인 데이터(SD_N) 및 출력 마스크(OMK)에 따라 하이푸 신호의 성분(HC)이 제거된 출력신호(OS)를 제공할 수 있다. 예를 들어, 입력부(100)는 제N 스캔라인 데이터(SD_N)를 퓨리어 트랜스폼한 값의 절대값에 해당하는 입력 스펙트로그램(IPS)을 딥뉴럴 네트워크(200)에 제공할 수 있고, 학습된 딥뉴럴 네트워크(200)는 입력 스펙트로그램(IPS)에 상응하는 출력 마스크(OMK)를 제공할 수 있다.
일 실시예에 있어서, 출력신호 제공부(300)는 출력 마스크(OMK) 및 입력 스펙트로그램(IPS)을 합성하여 출력신호(OS)를 제공할 수 있다. 예를 들어, 출력신호 제공부(300)는 입력 스펙트로그램(IPS)을 출력 마스크(OMK)를 주파수 축에서 곱하는 형태로 합성하여 출력신호(OS)를 제공할 수 있다.
도 8 및 9는 도 1의 하이푸 신호 제거장치의 일 실시예를 나타내는 도면이다.
도 1 내지 9을 참조하면, 본 발명의 실시예에 따른 하이푸 신호 제거장치(10)는 입력부(100), 딥뉴럴 네트워크(200) 및 출력신호 제공부(300)를 포함할 수 있다.
일 실시예에 있어서, 하이푸 신호 제거장치(10)는 출력신호(OS)의 위상을 보정하기 위한 위상 보정부(400)를 더 포함할 수 있다. 위상 보정부(400)는 위상 스캔라인 데이터부(410), 위상 트랜스폼부(420) 및 위상정보 제공부(430)를 포함할 수 있다. 위상정보 제공부(430)는 출력신호 제공부(300)에 보정위상의 값(PD)을 제공할 수 있다.
일 실시예에 있어서, 위상정보 제공부(430)는 초음파 영상을 제공하기 위해 사용되는 이미지 초음파를 송신하는 이미지 시퀀스들(IS) 및 하이푸 신호를 송신하는 하이푸 시퀀스들(HS)이 겹치지 않는 위상 시퀀스에 해당하는 초음파 영상의 제N 번째 스캔라인 데이터에 해당하는 제N 위상 데이터(PSD)에 기초하여 보정위상의 값(PD)이 결정될 수 있다. 예를 들어, 이미지 시퀀스들(IS)은 제1 이미지 시퀀스(IS1), 제2 이미지 시퀀스(IS2) 내지 제5 이미지 시퀀스(IS5)를 포함할 수 있고, 하이푸 시퀀스는 제1 하이푸 시퀀스(HS1)를 포함할 수 있다. 이미지 시퀀스들(IS) 중 제2 이미지 시퀀스(IS2) 내지 제5 이미지 시퀀스(IS5)는 제1 하이푸 시퀀스(HS1)와 겹치는 구간일 수 있고, 이미지 시퀀스와 하이푸 시퀀스가 겹치지 않는 구간은 제1 이미지 시퀀스(IS1)일 수 있다. 이 경우, 제1 이미지 시퀀스(IS1)에 상응하는 초음파 영상의 제N 번째 스캔라인 데이터에 해당하는 제N 위상 데이터(PSD)에 기초하여 보정위상의 값(PD)이 결정될 수 있다.
일 실시예에 있어서, 위상정보 제공부(430)는 보정위상의 값(PD)은 제N 위상 데이터(PSD)를 퓨리어 트랜스폼한 값에 따라 결정될 수 있다.
본 발명에 따른 하이푸 신호 제거장치(10)에서는, 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)에 기초하여 학습되고, 제N 스캔라인 데이터(SD_N)에 상응하는 출력 마스크(OMK)를 제공하는 딥뉴럴 네트워크(200)에 기초하여 제N 스캔라인 데이터(SD_N)로부터 하이푸 신호의 성분(HC)이 제거된 출력신호(OS)를 제공함으로써 초음파 영상의 화질을 개선할 수 있다.
도 10은 본 발명의 실시예들에 따른 초음파 영상장치를 나타내는 도면이다.
도 1 내지 10을 참조하면, 본 발명의 실시예에 따른 초음파 영상장치(20)는 입력부(100), 딥뉴럴 네트워크(200), 출력신호 제공부(300) 및 디스플레부를 포함할 수 있다. 입력부(100)는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터(SD_N)를 제공할 수 있다. 딥뉴럴 네트워크(200)는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)에 기초하여 학습되고, 제N 스캔라인 데이터(SD_N)에 상응하는 출력 마스크(OMK)를 제공할 수 있다. 출력신호 제공부(300)는 제N 스캔라인 데이터(SD_N) 및 출력 마스크(OMK)에 따라 하이푸 신호의 성분(HC)이 제거된 출력신호(OS)를 제공할 수 있다. 디스플레이부(500)는 출력신호(OS)에 따라 영상을 제공할 수 있다.
일 실시예에 있어서, 딥뉴럴 네트워크(200)가 제공하는 출력 마스크(OMK)는 제N 스캔라인 데이터(SD_N)에 상응하는 하이푸 신호의 성분(HC)을 마스킹할 수 있다.
도 11은 본 발명의 실시예들에 따른 하이푸 신호 제거장치의 동작방법을 나타내는 순서도이고, 도 12는 본 발명의 실시예들에 따른 초음파 영상장치의 동작방법을 나타내는 순서도이다.
도 1 내지 12을 참조하면, 본 발명의 실시예에 따른 하이푸 신호 제거장치(10)의 동작방법에서는, 입력부(100)는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터(SD_N)를 제공할 수 있다(S100). 딥뉴럴 네트워크(200)는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)에 기초하여 학습되고, 제N 스캔라인 데이터(SD_N)에 상응하는 출력 마스크(OMK)를 제공할 수 있다(S200). 출력신호 제공부(300)가 제N 스캔라인 데이터(SD_N) 및 출력 마스크(OMK)에 따라 하이푸 신호의 성분(HC)이 제거된 출력신호(OS)를 제공할 수 있다(S300). 디스플레이부(500)가 출력신호(OS)에 따라 영상을 제공할 수 있다(S410).
본 발명에 따른 하이푸 신호 제거장치(10)의 동작방법에서는, 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터(TSD_N)에 기초하여 학습되고, 제N 스캔라인 데이터(SD_N)에 상응하는 출력 마스크(OMK)를 제공하는 딥뉴럴 네트워크(200)에 기초하여 제N 스캔라인 데이터(SD_N)로부터 하이푸 신호의 성분(HC)이 제거된 출력신호(OS)를 제공함으로써 초음파 영상의 화질을 개선할 수 있다.
10: 하이푸 신호 제거장치 20: 초음파 영상장치
100: 입력부 200: 딥뉴럴 네트워크
300: 출력신호 제공부

Claims (14)

  1. 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공하는 입력부;
    학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 딥뉴럴 네트워크; 및
    상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공하는 출력신호 제공부를 포함하는 하이푸 신호 제거장치.
  2. 제1항에 있어서,
    상기 딥뉴럴 네트워크는,
    상기 제N 스캔라인 학습 데이터를 퓨리어 트랜스폼(Fourior Transform)한 값의 절대값에 해당하는 학습 스펙트로그램에 기초하여 학습하는 것을 특징으로 하는 하이푸 신호 제거장치.
  3. 제2항에 있어서,
    상기 딥뉴럴 네트워크는,
    상기 학습 스펙트로그램에 상응하는 기준 스펙트로그램 및 상기 학습 스펙트로그램에 기초하여 학습하는 것을 특징으로 하는 하이푸 신호 제거장치.
  4. 제3항에 있어서,
    상기 딥뉴럴 네트워크가 제공하는 상기 출력 마스크는,
    상기 제N 스캔라인 데이터에 상응하는 상기 하이푸 신호의 성분을 마스킹하는 것을 특징으로 하는 하이푸 신호 제거장치.
  5. 제4항에 있어서,
    상기 입력부는 상기 제N 스캔라인 데이터를 퓨리어 트랜스폼한 값의 절대값에 해당하는 입력 스펙트로그램을 상기 딥뉴럴 네트워크에 제공하는 것을 특징으로 하는 하이푸 신호 제거장치.
  6. 제5항에 있어서,
    상기 출력신호 제공부는 상기 출력 마스크 및 상기 입력 스펙트로그램을 합성하여 상기 출력신호를 제공하는 것을 특징으로 하는 하이푸 신호 제거장치.
  7. 제6항에 있어서,
    상기 하이푸 신호 제거장치는,
    상기 출력신호의 위상을 보정하기 위한 위상 보정부를 더 포함하는 것을 특징으로 하는 하이푸 신호 제거장치.
  8. 제7항에 있어서,
    상기 하이푸 신호 제거장치는,
    상기 출력신호 제공부에 상기 보정위상의 값을 제공하는 위상정보 제공부를 더 포함하는 것을 특징으로 하는 하이푸 신호 제거장치.
  9. 제8항에 있어서,
    상기 위상정보 제공부는,
    상기 초음파 영상을 제공하기 위해 사용되는 이미지 초음파를 송신하는 이미지 시퀀스들 및 상기 하이푸 신호를 송신하는 하이푸 시퀀스들이 겹치지 않는 위상 시퀀스에 해당하는 상기 초음파 영상의 제N 번째 스캔라인 데이터에 해당하는 제N 위상 데이터에 기초하여 상기 보정위상의 값이 결정되는 것을 특징으로 하는 하이푸 신호 제거장치.
  10. 제9항에 있어서,
    상기 위상정보 제공부에서 제공되는 상기 보정위상의 값은 상기 제N 위상 데이터를 퓨리어 트랜스폼한 값에 따라 결정되는 것을 특징으로 하는 하이푸 신호 제거장치.
  11. 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공하는 입력부;
    학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 딥뉴럴 네트워크;
    상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공하는 출력신호 제공부; 및
    상기 출력신호에 따라 영상을 제공하는 디스플레이부를 포함하는 초음파 영상장치.
  12. 제11항에 있어서,
    상기 딥뉴럴 네트워크가 제공하는 상기 출력 마스크는,
    상기 제N 스캔라인 데이터에 상응하는 상기 하이푸 신호의 성분을 마스킹하는 것을 특징으로 하는 초음파 영상장치.
  13. 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공하는 단계;
    딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 단계; 및
    출력신호 제공부가 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공하는 단계를 포함하는 하이푸 신호 제거장치의 동작방법.
  14. 입력부는 하이푸 신호가 포함되는 초음파 영상의 제N 번째 스캔라인(N은 자연수)에 상응하는 제N 스캔라인 데이터를 제공하는 단계;
    딥뉴럴 네트워크는 학습 하이푸 신호가 포함되는 학습 초음파 영상의 제N 번째 스캔라인에 상응하는 제N 스캔라인 학습 데이터에 기초하여 학습되고, 상기 제N 스캔라인 데이터에 상응하는 출력 마스크를 제공하는 단계;
    출력신호 제공부가 상기 제N 스캔라인 데이터 및 상기 출력 마스크에 따라 상기 하이푸 신호의 성분이 제거된 출력신호를 제공하는 단계; 및
    디스플레이부가 상기 출력신호에 따라 영상을 제공하는 단계를 포함하는 초음파 영상장치의 동작방법.
KR1020210015862A 2021-02-04 2021-02-04 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치 KR102649718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210015862A KR102649718B1 (ko) 2021-02-04 2021-02-04 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210015862A KR102649718B1 (ko) 2021-02-04 2021-02-04 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치

Publications (2)

Publication Number Publication Date
KR20220112389A true KR20220112389A (ko) 2022-08-11
KR102649718B1 KR102649718B1 (ko) 2024-03-19

Family

ID=82803296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210015862A KR102649718B1 (ko) 2021-02-04 2021-02-04 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치

Country Status (1)

Country Link
KR (1) KR102649718B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312307B1 (ko) * 2011-10-13 2013-09-27 서강대학교산학협력단 Ｈｉｆｕ 신호를 제거하는 초음파신호처리방법 및 초음파신호처리장치
KR101334375B1 (ko) * 2012-07-31 2013-11-29 서강대학교산학협력단 Ｈｉｆｕ 간섭 신호 제거 방법 및 장치
JP2014233305A (ja) * 2013-05-30 2014-12-15 国立大学法人 東京大学 超音波治療装置
KR101956308B1 (ko) 2016-11-04 2019-03-08 서강대학교산학협력단 광음향 영상의 배경 노이즈를 제거하는 시스템 및 그 방법
KR102174627B1 (ko) * 2018-05-11 2020-11-05 서강대학교산학협력단 실시간 초음파 모니터링을 위한 초음파 잡음 제거 장치 및 방법
KR102216965B1 (ko) * 2019-05-07 2021-02-18 주식회사 힐세리온 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템
KR102644841B1 (ko) * 2020-12-09 2024-03-11 한국과학기술원 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 다중 초음파 영상 처리 방법 및 그 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312307B1 (ko) * 2011-10-13 2013-09-27 서강대학교산학협력단 Ｈｉｆｕ 신호를 제거하는 초음파신호처리방법 및 초음파신호처리장치
KR101334375B1 (ko) * 2012-07-31 2013-11-29 서강대학교산학협력단 Ｈｉｆｕ 간섭 신호 제거 방법 및 장치
JP2014233305A (ja) * 2013-05-30 2014-12-15 国立大学法人 東京大学 超音波治療装置
KR101956308B1 (ko) 2016-11-04 2019-03-08 서강대학교산학협력단 광음향 영상의 배경 노이즈를 제거하는 시스템 및 그 방법
KR102174627B1 (ko) * 2018-05-11 2020-11-05 서강대학교산학협력단 실시간 초음파 모니터링을 위한 초음파 잡음 제거 장치 및 방법
KR102216965B1 (ko) * 2019-05-07 2021-02-18 주식회사 힐세리온 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템
KR102644841B1 (ko) * 2020-12-09 2024-03-11 한국과학기술원 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 다중 초음파 영상 처리 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Investigation of feasibility of noise suppression method for cavitation-enhanced high-intensity focused ultrasound treatment", Ultrasonics, Volume 114, 2021 *
"Noise reduction technique using deep learning for ultrasound imaging during high-intensity focused ultrasound treatment", Jpn. J. Appl. Phys. 61 SG1069(2022.7.10.) *

Also Published As

Publication number Publication date
KR102649718B1 (ko) 2024-03-19

Similar Documents

Publication Publication Date Title
Pons et al. Upsampling artifacts in neural audio synthesis
US10083375B1 (en) Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
WO2019127231A1 (en) Training data generators and methods for machine learning
RU2296377C2 (ru) Способ анализа и синтеза речи
KR20220112389A (ko) 하이푸 신호 제거장치 및 이를 포함하는 초음파 영상장치
JP2009109805A (ja) 音声処理装置及びその方法
Wilson Speech perception when the motor system is compromised
CN101836868B (zh) 自适应的动态范围调整方法和设备
EP3396670B1 (en) Speech signal processing
CN112069805A (zh) 结合rpa与ai的文本标注方法、装置、设备及存储介质
JP2007012257A (ja) 磁気記録装置、および磁気記録装置の読取データ信号における非対称性の影響を少なくとも低減する方法および装置
CN115565542A (zh) 一种基于纯时域信息的实时语音去噪方法和装置以及设备
US20210166128A1 (en) Computer-implemented method and device for generating frequency component vector of time-series data
US10194046B2 (en) Image processing device and computer program product recognizing genuine synchronization signal to generate image signal
US10356271B2 (en) Image processing device and non-transitory recording medium
US10382643B2 (en) Image processing device and non-transitory computer-readable medium
US20230233931A1 (en) Information processing apparatus, information processing method, and program
CN115691541B (zh) 语音分离方法、装置及存储介质
JP4638999B2 (ja) 送信パルス信号生成方法、送信方法、受信信号処理方法および超音波診断装置
US20230197098A1 (en) System and method for removing noise and echo for multi-party video conference or video education
JP5774280B2 (ja) 磁気共鳴イメージング装置
JPH05317286A (ja) 複数エコーを用いたｍｒｉにおける位相補正方法
US10645254B2 (en) Image processing device and non-transitory recording medium including setting of a prohibition period that prohibits reception of a different synchronization signal
US20120066162A1 (en) System and Method for Training an Adaptive Filter in an Alternate Domain with Constraints
Bernat Rodríguez Using Curriculum Learning to transmit images over the air

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant