KR20210075831A - 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치 - Google Patents

단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치 Download PDF

Info

Publication number
KR20210075831A
KR20210075831A KR1020200086059A KR20200086059A KR20210075831A KR 20210075831 A KR20210075831 A KR 20210075831A KR 1020200086059 A KR1020200086059 A KR 1020200086059A KR 20200086059 A KR20200086059 A KR 20200086059A KR 20210075831 A KR20210075831 A KR 20210075831A
Authority
KR
South Korea
Prior art keywords
image
time delay
ultrasound
sound velocity
neural network
Prior art date
Application number
KR1020200086059A
Other languages
English (en)
Other versions
KR102380167B1 (ko
Inventor
배현민
김명기
이기쁨
오석환
김영민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US17/115,939 priority Critical patent/US20210177380A1/en
Publication of KR20210075831A publication Critical patent/KR20210075831A/ko
Application granted granted Critical
Publication of KR102380167B1 publication Critical patent/KR102380167B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 다각도 초음파-에코 데이터를 이용하여 입사각별 시간 지연 정보를 포함하는 빔포밍 RF-모드 이미지들을 생성하는 단계, 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴(speckle pattern) 변위를 나타내는 시간 지연 맵들을 생성하는 단계, 그리고 학습용 시간 지연 맵들로부터 조직의 음속도 분포를 복원하도록 학습된 심층 신경망을 이용하여, 상기 시간 지연 맵들에 해당하는 음속도 분포 이미지를 획득하는 단계를 포함한다.

Description

단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치{METHOD AND APPARATUS FOR QUANTITATIVE ULTRASOUND IMAGING USING SINGLE-ULTRASOUND PROBE}
본 발명은 초음파를 사용한 이미지 복원 기술에 관한 것이다.
암은 조기 발견이 어려워 주기적인 진단이 필요하고, 병변의 크기 및 특성을 지속적으로 모니터링해야 한다. 이를 위한 대표적인 영상 장비로는 엑스레이(X-ray), MRI(magnetic resonance imaging), CT(computed tomography), 초음파(ultrasound) 등이 있다. 엑스레이, MRI, CT는 방사능 노출 위험이 있고, 측정 시간이 길며 비용이 비싼 단점이 있는 반면, 초음파 영상 장비는 안전하고 비교적 저렴하며, 실시간 영상을 제공해서 사용자가 병변을 실시간으로 모니터링하면서 원하는 이미지를 얻을 수 있다.
현재 가장 많이 상용화되어 있는 초음파 영상 장비로서, B-모드(Brightness mode) 이미징 시스템이 있다. 이는 실시간으로 병변의 위치를 찾아주기 때문에, 사용자가 병변을 실시간으로 모니터링하면서 원하는 영상을 효율적으로 얻을 수 있고, 안전하고 비교적 저렴하여 접근성이 좋다. 하지만 사용자의 숙련도에 따라 이미지의 질이 일정하게 유지되지 못하고, 정량적인 특성을 이미징하지 못한다는 단점이 있다. 즉, B-모드 기법은 조직의 형태학적인 정보만을 제공하기 때문에, 조직학적 특성으로 구분되는 양성종양과 악성종양을 구분하는 감별진단에서 민감도(sensitivity)와 특이도(specificity)가 낮을 수 있다.
최근에는 조직의 초음파 특성을 정량적으로 이미징하여 조직학적 정보를 얻으려는 연구가 진행되고 있다. 조직의 병리학적 변화는 세포의 구조적인 변화를 초래하며, 이에 따라 해당 조직에서 초음파 특성이 변하는 것을 이미징하는 것으로서, 대표적으로 탄성영상 기법(Elastography)과 초음파 단층촬영 기법(Ultrasound Computed Tomography, USCT)이 있다. 탄성영상 기법은 조직의 탄성도 및 강직도를 정량적으로 영상화할 수 있으나 전용 장치가 추가적으로 필요하고 많은 에너지를 소모한다. 따라서, 탄성영상 기법은 고가 초음파 장비에서만 적용이 가능하고, 프레임 속도(frame rate)가 낮아 동적으로 움직이는 조직을 영상화하는데 적합하지 않다. 초음파 단층촬영 기법은 고해상도의 정량적 이미지를 얻을 수 있지만 초음파 센서가 물체 주위를 둘러싸고 있어야 해서, 유방 촬영에 국한되고, 다양한 기관을 측정하는데 한계가 있다. 또한, 초음파 단층촬영 기법은 이미징까지 분 단위의 시간이 소요되어 실시간 움직임을 보지 못하고, 시스템의 크기가 매우 커서 이동이 불가능하다.
해결하고자 하는 과제는, 단일 초음파 프로브로 획득한 다각도 초음파-에코 데이터를 이용하여 정량적 이미징하는 방법 및 이미징 장치를 제공하는 것이다.
해결하고자 하는 과제는, 단일 초음파 프로브로 획득한 다각도 초음파-에코 데이터를 이용하여 인접한 두 입사각마다 시간 지연 맵(phase shift map)을 생성하고, 시간 지연 맵들을 심층 신경망으로 입력하여 조직의 음속도(Speed-of-Sound, SoS) 분포를 이미징하는 방법 및 장치를 제공하는 것이다.
해결하고자 하는 과제는, 조직 내 타겟의 형태학적 정보(geometric information)을 가이드 정보로 이용하여 시간 지연 맵들로부터 조직의 음속도 특성을 복원하는 타겟 인지 심층 신경망(target-aware deep neural network)을 제공하는 것이다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 다각도 초음파-에코 데이터를 이용하여 입사각별 시간 지연 정보를 포함하는 빔포밍 RF-모드 이미지들을 생성하는 단계, 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴(speckle pattern) 변위를 나타내는 시간 지연 맵들을 생성하는 단계, 그리고 학습용 시간 지연 맵들로부터 조직의 음속도 분포를 복원하도록 학습된 심층 신경망을 이용하여, 상기 시간 지연 맵들에 해당하는 음속도 분포 이미지를 획득하는 단계를 포함한다.
상기 다각도 초음파-에코 데이터는 단일 초음파 프로브에서 서로 다른 입사각을 가지는 평면파들을 조직에 입사하여 수득된 데이터일 수 있다.
상기 음속도 분포 이미지를 획득하는 단계는 상기 시간 지연 맵들, 그리고 타겟 조직의 형태학적 정보를 포함하는 형태 이미지를 상기 심층 신경망으로 입력하고, 상기 심층 신경망에서 출력된 상기 음속도 분포 이미지를 획득할 수 있다. 상기 심층 신경망은 상기 형태 이미지를 가이드 정보로 이용하여 상기 시간 지연 맵들로부터 상기 타겟 조직의 음속도 분포를 복원할 수 있다.
상기 형태 이미지는 상기 다각도 초음파-에코 데이터로부터 생성된 B-모드 이미지를 형태에 따른 영역으로 분할한 이미지일 수 있다.
상기 시간 지연 맵들을 생성하는 단계는 입사각이 인접한 두 빔포밍 RF-모드 이미지들의 서브 블록들 중에서 가장 큰 교차상관관계(cross-correlation)가 있는 두 서브 블록 간의 변위를 상기 반점 패턴 변위로 계산하고, 상기 반점 패턴 변위를 나타내는 이미지를 상기 두 빔포밍 RF-모드 이미지들의 시간 지연 맵으로 생성할 수 있다.
상기 심층 신경망은 입력된 시간 지연 맵들의 특징을 추출하는 인코더, 그리고 상기 인코더로부터 전달된 특징 맵을 업샘플링하면서 고해상도의 이미지를 복원하는 디코더로 구성될 수 있다.
상기 디코더는 타겟 조직의 형태학적 정보를 포함하는 이미지를 가이드 정보로 입력받을 수 있다.
다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 조직의 다각도 초음파-에코 데이터 그리고 해당 조직의 음속도 분포 이미지를 학습 데이터로 입력받는 단계, 그리고 상기 학습 데이터를 이용하여, 상기 다각도 초음파-에코 데이터로부터 해당 조직의 음속도 분포를 이미징하도록 심층 신경망을 학습시키는 단계를 포함한다.
상기 다각도 초음파-에코 데이터는 조직의 음속도 분포 및 산란체들을 모델링한 팬텀 또는 시뮬레이션 툴을 이용하여 획득될 수 있다.
상기 학습 데이터는 해당 조직의 형태학적 정보를 포함하는 형태 이미지를 더 포함할 수 있다.
상기 심층 신경망을 학습시키는 단계는 상기 형태 이미지를 가이드 정보로 이용하여, 상기 다각도 초음파-에코 데이터로부터 해당 조직의 음속도 분포를 이미징하도록 심층 신경망을 학습시킬 수 있다.
상기 심층 신경망을 학습시키는 단계는 상기 다각도 초음파-에코 데이터를 이용하여 입사각별 시간 지연 정보를 포함하는 빔포밍 RF-모드 이미지들을 생성하는 단계, 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴(speckle pattern) 변위를 나타내는 시간 지연 맵들을 생성하는 단계, 그리고 상기 심층 신경망에서 상기 시간 지연 맵들의 특징을 복원한 결과와, 해당 조직의 음속도 분포 이미지를 비교하여 복원 손실이 최소화되도록 상기 심층 신경망을 학습시키는 단계를 포함할 수 있다.
상기 시간 지연 맵들을 생성하는 단계는 입사각이 인접한 두 빔포밍 RF-모드 이미지들의 서브 블록들 중에서 가장 큰 교차상관관계(cross-correlation)가 있는 두 서브 블록 간의 변위를 상기 반점 패턴 변위로 계산하고, 상기 반점 패턴 변위를 나타내는 이미지를 상기 두 빔포밍 RF-모드 이미지들의 시간 지연 맵으로 생성할 수 있다.
상기 심층 신경망은 입력된 이미지들의 특징을 추출하는 인코더, 그리고 상기 인코더로부터 전달된 특징 맵을 업샘플링하면서 고해상도의 이미지를 복원하는 디코더로 구성될 수 있다.
또 다른 실시예에 따른 컴퓨팅 장치.로서, 프로그램의 명령어들을 저장하는 메모리, 그리고 상기 명령어들을 실행하여, 타겟 조직에서 수득된 다각도 초음파-에코 데이터로부터 상기 타겟 조직의 음속도 분포 이미지를 생성하는 프로세서를 포함한다. 상기 프로세서는 상기 다각도 초음파-에코 데이터를 이용하여 입사각에 따라 달라지는 반점 패턴(speckle pattern) 변위를 이미지들로 변환하고, 상기 이미지들에 포함된 시간 지연 정보를 복원하여 상기 음속도 분포 이미지를 생성한다.
상기 다각도 초음파-에코 데이터는 단일 초음파 프로브에서 서로 다른 입사각을 가지는 평면파들을 상기 타겟 조직에 입사하여 수득된 데이터일 수 있다.
상기 프로세서는 상기 다각도 초음파-에코 데이터를 이용하여 입사각별 빔포밍 RF-모드 이미지를 생성하고, 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 나타내는 시간 지연 맵들을 생성하며, 상기 시간 지연 맵들의 특징을 복원하여 상기 음속도 분포 이미지를 생성할 수 있다.
상기 프로세서는 상기 다각도 초음파-에코 데이터를 이용하여 상기 타겟 조직의 형태학적 정보를 포함하는 형태 이미지를 생성하고, 상기 형태 이미지를 가이드 정보로 이용하여 상기 이미지들에 포함된 시간 지연 정보를 복원할 수 있다.
상기 프로세서는 상기 반점 패턴 변위로 생성된 이미지들로부터 음속도 분포를 복원하도록 학습된 심층 신경망을 이용하여, 상기 이미지들에 해당하는 음속도 분포 이미지를 획득할 수 있다.
상기 프로세서는 상기 다각도 초음파-에코 데이터로부터 형태학적 정보를 포함하는 B-모드 이미지를 생성하고, 상기 B-모드 이미지에 상기 음속도 분포 이미지를 오버레이하여 출력할 수 있다.
실시예에 따르면, B-모드(Brightness mode) 이미징용 초음파 프로브 및 영상기기를 그대로 이용해서 정량적인 음속도 분포를 이미징할 수 있으므로, 영상 촬영이 간단하고, 기존 초음파 영상장비로 측정 가능한 여러 기관들의 측정이 가능하며, 고가 초음파 장치를 일정 부분 대체할 수 있으며, 기존의 생산된 초음파 영상장비에 추가 가능하다.
실시예에 따르면, 단일 초음파 프로브를 이용하여 조직을 실시간 이미징할 수 있고, 사용자의 숙련도에 따른 성능 차이가 적다.
실시예에 따르면, 심층 신경망 모델의 복원 네트워크 레이어(reconstruction network layer)에 타겟의 형태학적 특성(geometric characteristics)을 가이드하여, 정량적 이미지의 콘트라스트(contrast) 및 정확도(accuracy)를 높일 수 있고, 잡음 환경에서 획득된 다각도 초음파-에코 데이터로부터 음속도 특성을 안정적으로 복원할 수 있다.
실시예에 따르면, 인접 입사각들에서 획득한 초음파-에코 데이터 간의 상대적인 시간 지연(위상 차이)을 이용하여 음속도 특성을 복원하므로, 심하게 감쇠된 초음파-에코 데이터 또는 불규칙한 강한 초음파-에코가 섞인 데이터로도 음속도 분포를 안정적으로 획득할 수 있다.
도 1은 조직의 음속도 분포에 따른 시간 지연을 설명하는 도면이다.
도 2는 입사각에 따른 이미징을 개념적으로 설명하는 도면이다.
도 3 및 도 4 각각은 한 실시예에 따른 단일 초음파 프로브를 이용한 정량적 이미징 장치를 개념적으로 설명하는 도면이다.
도 5는 한 실시예에 따른 심층 신경망을 위한 입력 이미지 생성 방법을 설명하는 도면이다.
도 6은 한 실시예에 따른 심층 신경망을 위한 가이드 입력 이미지 생성 방법을 설명하는 도면이다.
도 7은 한 실시예에 따른 심층 신경망의 구조도이다.
도 8은 한 실시예에 따른 학습 데이터 수집 방법을 설명하는 도면이다.
도 9는 한 실시예에 따라 다각도 초음파-에코 데이터로부터 시간 지연 맵을 생성하는 방법을 예시적으로 설명하는 도면이다.
도 10은 한 실시예에 따른 심층 신경망의 학습 방법의 흐름도이다.
도 11은 한 실시예에 따른 정량적 이미징 방법의 흐름도이다.
도 12와 도 13 각각은 한 실시예에 따른 심층 신경망을 이용한 정량적 이미지 복원 결과를 나타내는 도면이다
도 14는 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명의 심층 신경망은 적어도 하나의 태스크를 학습하는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 프로그램은 저장 매체(non-transitory storage media)에 저장되고, 프로세서에 의해 본 발명의 동작을 실행하도록 기술된 명령들(instructions)을 포함한다. 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
도 1은 조직의 음속도 분포에 따른 시간 지연을 설명하는 도면이다.
도 1을 참고하면, B-모드(Brightness-mode) 이미지는 병변의 위치 및 형태를 그레이 스케일(gray scale)로 제공한다. 병변의 위치 및 형태는 초음파 프로브(10)에서 방사된 신호가 focusing depth에서 반사되어 돌아오는 에코의 진폭 및 시간 지연(왕복 시간)을 이용하여 추정된다. 이때, B-모드 이미지는 조직의 음속도가 균일하다는 가정에서, 예측된 시간 지연을 적용한 지연-합(delay and sum, DAS) 기법을 초음파 프로브(10)에서 수득된 RF(Radio Frequency) 데이터에 적용한 후, 획득된 진폭(amplitude)으로 생성된다.
하지만, 실제 조직의 음속도는 균일하지 않고, 어느 병변(lesion)은 조직의 평균 음속도보다 느리고, 어느 병변은 조직의 평균 음속도보다 빠를 수 있다. 즉, 조직의 음속도 분포에 따라 시간 지연이 다르게 발생하는데, 이러한 시간 지연 정보는 반사 신호인 에코 신호에 내포되어 있다.
도 2는 입사각에 따른 이미징을 개념적으로 설명하는 도면이다.
도 2를 참고하면, (a)는 초음파 프로브(10)에서 0°평면파를 입사시켰을 때 반사되어 돌아오는 초음파-에코 데이터를 이용하여 이미지를 생성하는 경우이고, (b)는 초음파 프로브(10)에서 15°평면파를 입사시켰을 때 반사되어 돌아오는 초음파-에코 데이터를 이용하여 이미지를 생성하는 경우를 설명하는 도면이다.
조직 내에는 음파의 파장보다 작은 산란체들(scatterers)들이 존재하는데, 이미지에서 노이즈로 보이는 작은 반점들(speckles)로 이미징된다. 이때, 주변 조직과 음속도가 다른 병변(20)이 존재하는 경우, 조직의 음속도 분포가 균일하지 않기 때문에, 입사각에 따라 반사되어 돌아오는 초음파-에코 데이터의 시간 지연이 다르게 된다. 따라서, 서로 다른 입사각의 초음파 에코 신호로 이미징하면, (a) 및 (b)와 같이 작은 반점들의 위치가 다르게 이미징된다.
이처럼, 조직의 음속도 분포가 불균일하면, 시간 지연이 달라지고, 특히 서로 다른 입사각의 초음파-에코 데이터로 이미징하는 경우, 동일한 조직이라고 하더라도 반점 패턴(speckle pattern)이 달라진다. 다음에서 이러한 특성을 이용하여, 조직의 음속도 분포를 이미징하는 장치 및 방법에 대해 자세히 설명한다.
도 3 및 도 4 각각은 한 실시예에 따른 단일 초음파 프로브를 이용한 정량적 이미징 장치를 개념적으로 설명하는 도면이다.
도 3을 참고하면, 이미징 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서, 단일한 초음파 프로브(10)에서 수득된 다각도 초음파-에코 데이터를 입력받고, 심층 신경망(200)을 이용하여 조직의 정량적 특성을 이미징한다. 설명에서, 정량적 이미지는 음속도 분포 이미지를 예로 들어 설명한다.
초음파 프로브(10)는 다양한 입사각으로 초음파 신호를 방사하고, 초음파-에코 데이터를 수득할 수 있는 프로브이다. 초음파 프로브(10)는 일반적인 B-모드 이미징용 프로브가 사용될 수 있다. 초음파 프로브(10)는 N개의 압전 소자들(piezoelectrical elements)이 배열되고, 배열 모양에 따라 종류가 다양할 수 있다. 예를 들어 linear array 프로브 및 curvilinear array 프로브가 있다. 또한, 초음파 프로브(10)는 각 압전 소자에 일정한 시간 간격으로 전기적 신호를 가하여 초음파 신호를 생성하는 위상차 배열(phased array) 프로브일 수 있다.
초음파 프로브(10)에서 방사되는 초음파 신호는 단일 주파수의 펄스(pulse), 첩(chirp) 또는 연속파(continuous wave)와 같이 다양할 수 있다.
설명에서, 특정 입사각으로 방사된 초음파 신호에 대해, 복수의 압전 소자들에서 수득된 RF(Radio Frequency) 데이터를 특정 입사각의 초음파-에코 데이터라고 부른다. 복수의 입사각들에서 수득된 초음파-에코 데이터를 간단히 다각도 초음파-에코 데이터라고 부른다. 설명에서, 다각도 초음파-에코 데이터는 7개의 서로 다른 입사각들(θ1::θ7)의 초음파-에코 데이터라고 가정한다.
B-모드 이미지는, 수득된 초음파-에코 데이터로 생성된 파형의 포락선을 검출(envelope detection)한 후, 이를 통해 획득된 진폭(amplitude)으로 생성된 이미지이다.
설명에서, 시간 지연 맵(phase shift map)을 얻기 위해 입사각별로 생성되는 이미지는 초음파 프로브의 특정 입사각에서 수득된 초음파-에코 데이터로 생성되는데, B-모드 이미지와 구분되도록, 빔포밍 RF-모드(Beamformed RF-mode) 이미지, 간단히 RF-모드 이미지, 또는 입사각 이미지라고 부를 수 있다. 설명에서, RF 데이터인 초음파-에코 데이터에 지연-합(DAS) 기법을 적용하여 생성된 이미지를 나타내기 위해, 주로 빔포밍 RF-모드 이미지로 부른다. 빔포밍 RF-모드 이미지는 RF 데이터에 포함된 시간 지연 정보로 생성된 이미지이다. 따라서, 빔포밍 RF-모드 이미지는, RF 데이터에 지연-합(DAS) 기법을 적용한 후 포락선 검출해서 생성되는 B-모드 이미지와 차이가 있다.
이미징 장치(100)는 학습된 심층 신경망(200)을 탑재하는데, 심층 신경망(200)의 학습은 별도의 장치에서 수행될 수 있으나, 설명의 편의를 위해 이미징 장치(100)가 심층 신경망(200)을 학습시킨다고 설명한다.
도 4를 참고하면, 이미징 장치(100)는 심층 신경망(200)을 포함하고, 다각도 초음파-에코 데이터를 이용하여 심층 신경망(200)의 입력 데이터를 생성하는 입력 이미지 생성기(110), 입력 이미지 생성기(110)에서 생성된 학습 데이터를 이용하여 심층 신경망(200)을 학습시키는 학습기(Trainer)(130)를 포함할 수 있다.
학습된 심층 신경망(200)은 입력 이미지 생성기(110)에서 생성된 분석 대상 데이터를 입력받으면, 분석 대상 데이터에 포함된 음속도 특성을 복원하여 음속도 분포 이미지를 출력한다.
도 5는 한 실시예에 따른 심층 신경망을 위한 입력 이미지 생성 방법을 설명하는 도면이고, 도 6은 한 실시예에 따른 심층 신경망을 위한 가이드 입력 이미지 생성 방법을 설명하는 도면이다.
도 5를 참고하면, 이미징 장치(100)는 심층 신경망(200)을 다각도 초음파-에코 데이터로 생성된 이미지들을 이용하여 학습시킬 수 있다. 이미징 장치(100)는 인접한 두 입사각의 초음파-에코 데이터에 포함된 시간 지연 정보가 반영된 2차원의 시간 지연 맵(phase shift map)(300)으로 심층 신경망(200)을 학습시킬 수 있다.
(a)를 참고하면, 이미징 장치(100)는, 초음파 프로브(10)에서 입사각(incident angle)이 다른 평면파를 조직에 입사하여 입사각별로 수득한 초음파-에코 데이터 A(t, Rx, [θ1::θ7])를 입력받는다. t는 시간이고, Rx는 초음파-에코 데이터를 수신한 트랜스듀스 소자들(elements)이며, [θ1::θ7]는 복수의 입사각들이다. 입사각별 초음파-에코 데이터는 소자별 수신 시간을 나타내는 이미지로 표현될 수 있다.
(b)를 참고하면, 이미징 장치(100)는, 입사각별 초음파-에코 데이터를 이용하여 빔포밍 RF-모드 이미지들 B1(x, y, θ1), B2(x, y, θ2), [B3:B7]을 생성한다. 빔포밍 RF-모드 이미지는 특정 입사각의 B-모드 이미지일 수 있다. 이미징 장치(100)는, 수학식 1과 같이, 입사각 θn에 대한 초음파-에코 데이터 A(t, Rx, θn)를 이용하여 해당 입사각의 빔포밍 RF-모드 이미지 Bn(x, y, θn)를 생성할 수 있다. 입사각 θn에 대한 빔포밍 RF-모드 이미지 Bn(x, y, θn)는 초음파-에코 데이터 A(t, Rx, θn)의 지연-합(delay and sum)으로 생성된다. tTx 및 tRx 는 전송 지연 및 수신 지연이고, 수학식 2 및 수학식 3과 같이 계산될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
수학식 2 및 수학식 3에서,
Figure pat00004
는 초음파-에코 데이터를 수신한 트랜스듀스 소자들의 간격(pitch)이고, co는 조직의 평균 음속도이다.
도 2에서 설명한 바와 같이, 서로 다른 입사각의 초음파-에코 데이터로 생성된 빔포밍 RF-모드 이미지 B1과 B2를 비교하면, 반점 패턴(speckle pattern)의 변위가 존재한다.
(c)를 참고하면, 이미징 장치(100)는, 입사각이 인접한 빔포밍 RF-모드 이미지들(Bn(x, y, θn), Bn+1(x, y, θn+1)) 사이의 반점 패턴 변위(displacement of speckle pattern)를 2차원 이미지인 시간 지연 맵 Sn(x, y, θn, θn+1)으로 변환한다. 반점 패턴 변위는 두 인접 빔포밍 RF-모드 이미지들(Bn, Bn+1)의 서브 블록들 중 가장 큰 교차상관관계(cross-correlation)가 있는 두 서브 블록의 변위로 정의될 수 있다. 교차상관관계는 zero-normalized cross-correlation(ZNCC)일 수 있다. 시간 지연 맵 Sn은 인접한 두 입사각에서 수득한 초음파-에코 데이터에 포함된 시간 지연 정보를 2차원 이미지로 변환한 것이다.
이미징 장치(100)는 빔포밍 RF-모드 이미지들 B1, B2, …, B7로부터, 시간 지연 맵 S1, S2, …, S6을 생성할 수 있다. 시간 지연 맵 S1, S2, …, S6은 심층 신경망(200)의 입력 이미지로 사용된다.
도 6을 참고하면, 심층 신경망(200)은 시간 지연 맵 S1, S2, …, S6으로부터 음속도 분포를 복원하는데, 타겟의 형태학적 특성(geometric characteristics)을 가이드 정보로 이용할 수 있다. 이를 위해, 이미징 장치(100)는 (a)와 같이 수득한 초음파-에코 데이터 A(t, Rx, [θ1::θ7])의 포락선(envelope)을 검출하여, (b)와 같은 B-모드 이미지를 생성한다.
(c)를 참고하면, 이미징 장치(100)는 B-모드 이미지에서 구조적/형태적 정보를 추출하여, 타겟의 위치(location) 및 모양(shape) 정보를 포함하는 형태 이미지(400)를 생성한다. 이미징 장치(100)는 다양한 방법을 통해 B-모드 이미지에서 형태 이미지(320)를 생성할 수 있다. 예를 들면, 이미징 장치(100)는 그래디언트 벡터 플로우(Gradient vector flow, GVF) 알고리즘을 통해 형태 이미지(320)를 생성할 수 있다. 형태 이미지(320)는 B-모드 이미지의 이진 이미지 또는 영역으로 분할된 분할 이미지(segmented image)일 수 있다.
도 7은 한 실시예에 따른 심층 신경망의 구조도이다.
도 7을 참고하면, 초음파 이미징을 위하 심층 신경망(200)은 적어도 하나의 태스크를 학습할 수 있는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 심층 신경망(200)은 입력 이미지들(300)의 특징들을 인코딩하는 인코더(encoder)(210), 그리고 인코더에서 생성한 특징 맵을 디코딩(역 렌더링)하여 음속도 분포 이미지(400)를 복원하는 디코더(decoder)(230)를 포함한다.
인코더(210)는 복수 채널들에서 입력을 받는데, 입력 이미지들(300)은 도 5에서 설명한 시간 지연 맵들(S1, S2, …, S6)일 수 있다. 시간 지연 맵의 개수(채널 수)는 초음파 프로브에서의 입사각 개수에 따라 달라질 수 있다. 한편, 입력 이미지들(300)은 다각도 초음파-에코 데이터로 생성된 빔포밍 RF-모드 이미지들일 수도 있으나, 더 나은 성능을 제공하는 시간 지연 맵들을 이용한다고 설명한다. 시간 지연 맵은 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 나타내는 2차원 이미지로서, 이미지의 크기는 다양하게 결정될 수 있다.
인코더(210)는 각 시간 지연 맵에서 정량적인 특징을 추출하는 적어도 하나의 컨볼루션 레이어(convolution layer), 그리고 각 시간 지연 맵의 특징 맵을 통합한 후, 통합된 입력의 특징을 추출하는 컨볼루션 레이어들을 포함할 수 있다. 컨볼루션 레이어들은 각 시간 지연 맵의 상관관계로 생성된 정량적 특징을 분석하면서, 입력을 공간적으로 인코딩한다.
예를 들면, 128x128 크기의 시간 지연 맵 각각은 3x3 2d 컨볼루션 레이어 및 2x2 맥스풀링 레이어, 그리고 연속된 3x3 2d 컨볼루션 레이어 및 2x2 맥스풀링 레이어를 통해, 128개의 32x32 특징 맵으로 인코딩될 수 있다. 채널별 특징 맵(128-32x32)이 통합된 특징 맵(768-32x32)은 3x3 2d 컨볼루션 레이어 및 2x2 맥스풀링 레이어, 3x3 2d 컨볼루션 레이어 및 2x2 맥스풀링 레이어, 3x3 2d 컨볼루션 레이어 및 2x2 맥스풀링 레이어, 3x3 2d 컨볼루션 레이어, 그리고 완전 연결 레이어(fully Connected layer, FC)를 통해, 512개의 32x32 크기의 특징 맵으로 인코딩될 수 있다. 완전 연결 레이어(222)의 출력은 디코더(230)로 전달된다.
디코더(230)는 인코더(210)에서 출력된 특징 맵을 입력받고, 저해상도 입력을 업샘플링하면서 점차적으로 고해상도 이미지를 복원해서, 음속도 분포 이미지(400)를 출력한다. 이때, 디코더(230)는 타겟의 위치 및 모양 정보를 포함하는 형태 이미지(400)를 가이드 정보(사전 정보)로 입력받고, 가이드 정보를 통해 조직의 음속도 분포를 더욱 정교하고 정확하게 복원할 수 있다. 형태 이미지(400)는 형태학적 정보를 포함하는 B-모드 이미지의 이진 마스크(binary mask) 이미지일 수 있다.
디코더(230)의 복원 네트워크 레이어들(reconstruction network layers)은 적어도 하나의 잔차 블록(Residual Block, ResBlock)(232)과 2x2 업샘플링 레이어(234)로 구성될 수 있다. 도 6에서 설명한 형태 이미지(400)는 각 잔차블록의 입력 크기에 맞게 다운샘플링된 후, 해당 잔차블록으로 입력되어 coarse-to-fine 가이딩을 한다. 잔차 블록(232)은 가이드된 잔차 블록(Guided ResBlock, G-ResBlock)으로 부를 수 있다.
잔차 블록(232)은, 가이딩 블록(Guiding Block)(234)을 통해, 인코더(210)에서 전달된 정량적인 특징과 가이드 정보로 입력된 형태학적 정보를 결합(combine)할 수 있다. 예를 들면, 잔차 블록(232)은, 가이딩 블록을 포함하는 하나의 유닛 블록으로 형성된 경로와, 두 개의 유닛 블록들로 형성된 경로를 합하는 구조를 가질 수 있다. 각 유닛 블록은 가이딩 블록, ReLU, 그리고 3x3 2d 컨볼루션 레이어로 구성될 수 있다.
이와 같이, 디코더(230)는 타겟의 형태학적 정보를 가이드 정보로 이용하여, 정량적인 특징을 복원하기 때문에, 음속도 분포 이미지(400)의 콘트라스트 및 정확도를 높일 수 있다.
심층 신경망(200)는 복원 손실을 최소화하는 학습을 할 수 있다. 학습기(130)가 학습 데이터를 이용하여 심층 신경망(200)을 학습시킬 수 있다. 손실 함수 Ll2는 예를 들면, 수학식 4와 같이 정의될 수 있다.
Figure pat00005
수학식 4에서, c (c ∈ C∼R128×128)는 병변의 공간적 위치를 나타내는 이진 마스크(binary mask)이고, y는 그라운드 트루스 레이블(ground truth label)이고, G(u,c)는 c와 u를 입력받은 심층 신경망(200)의 출력이며, u는 6 채널의 시간 지연 맵(phase shift map)일 수 있다.
도 8은 한 실시예에 따른 학습 데이터 수집 방법을 설명하는 도면이다.
도 8을 참고하면, 심층 신경망(200)의 학습 데이터는 여러 인체 환경에서 얻은 초음파-에코 데이터로 구성될 수 있고, 초음파 시뮬레이션 툴(예를 들면, k-wave toolbox in Matlab)을 이용하여 수집될 수 있다.
(a)를 참고하면, 장기(organs)와 병변(lesions)을 나타내는 시뮬레이션 팬텀(simulation phantoms)은 인체의 모방하면서도 간단하고 일반성을 잃지 않도록 음속도 분포가 모델링된다. 예를 들면, 1400m/s에서 1700m/s의 음속도를 가지는 타원이, 관심영역의 내부 임의 위치에 임의 크기로 배치될 수 있다. 관심영역은 예를 들면, 36mm x 36mm으로 설정될 수 있다.
(b)를 참고하면, 초음파 시뮬레이션 툴에서 조직의 산란체들이 모델링된다. 예를 들면, 50,000개의 산란체들을 밀도 도메인에 균등 분포(uniform distribution)로 배치할 수 있다. 배경 밀도(mass density) 및 감쇠 계수(attenuation) 각각은 1000kg/m3, 0.5dB/MHz/cm 일 수 있다.
도 9는 한 실시예에 따라 다각도 초음파-에코 데이터로부터 시간 지연 맵을 생성하는 방법을 예시적으로 설명하는 도면이다.
도 9를 참고하면, 다각도 입사각을 가지는 평면파를 이용하여 다각도 초음파-에코 데이터를 얻을 수 있다. 예를 들면, 다각도는 -15°, -10°, -5°, 0°, 5°, 10°, 15°일 수 있다.
(a), (b), (c)는, 입사각 -15°, 0°, 15° 각각에서, 시간에 따라 수신 소자들(element number)에서 수득된 초음파-에코 데이터를 나타낸 이미지이다. 입사각별 초음파-에코 데이터의 시간 지연 정보를 이용하여 빔포밍 RF-모드 이미지들이 생성된다.
(d), (e), (f)는 입사각이 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 나타낸 2차원 이미지이다.
도 10은 한 실시예에 따른 심층 신경망의 학습 방법의 흐름도이다.
도 10을 참고하면, 이미징 장치(100)는 다양한 조직의 다각도 초음파-에코 데이터 그리고 해당 조직의 음속도 분포 이미지(ground truth)를 학습 데이터로 입력받는다(S110). 다각도 초음파-에코 데이터는 입사각이 다른 평면파를 조직에 입사하여 입사각별로 수득한 초음파-에코 데이터로서, 초음파 시뮬레이션 툴을 이용하여 수집될 수 있다. 이때, 학습용 다각도 초음파-에코 데이터는, 조직의 음속도 분포 및 산란체들을 모델링한 시뮬레이션 팬텀을 이용하여 수집될 수 있다. 조직의 음속도 분포 이미지는 시뮬레이션 팬텀의 음속도 분포 이미지일 수 있다. 한편, 학습 데이터는 조직의 형태학적 정보를 포함하는 형태 이미지를 더 포함할 수 있다.
이미징 장치(100)는 다각도 초음파-에코 데이터를 이용하여 입사각별 빔포밍 RF-모드 이미지를 생성한다(S120). 빔포밍 RF-모드 이미지는 특정 입사각에서 수득된 초음파-에코 데이터의 시간 지연 정보를 이용하여 생성되는 이미지로서, 초음파-에코 데이터에 지연-합(DAS) 기법을 적용하여 생성될 수 있다.
이미징 장치(100)는 입사각이 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 2차원 이미지인 시간 지연 맵으로 변환한다(S130).
이미징 장치(100)는 시간 지연 맵들을 인코더-디코더 구조의 심층 신경망(200)으로 입력하고, 심층 신경망(200)에서 복원된 음속도 분포 이미지와 그라운드 트루스 간의 손실이 최소화되도록 심층 신경망(200)을 학습시킨다(S140). 이때, 심층 신경망(200)이, 조직의 형태 이미지를 가이드 정보로 입력받아 복원하는 타겟 인지 심층 신경망(target-aware deep neural network)인 경우, 이미징 장치(100)는 형태 이미지를 디코더 블록의 입력 크기에 맞게 생성하여 해당 디코더 블록의 가이드 정보로 입력할 수 있다. 심층 신경망(200)은 형태 이미지를 통해 음속도가 다른 위치 및 영역을 인지하면서, 시간 지연 맵들의 특징에서 음속도 분포를 복원하도록 학습될 수 있다.
도 11은 한 실시예에 따른 정량적 이미징 방법의 흐름도이다.
도 11을 참고하면, 이미징 장치(100)는 단일한 초음파 프로브(10)에서 수득된 다각도 초음파-에코 데이터를 입력받는다(S210). 다각도 초음파-에코 데이터는 입사각이 다른 평면파를 조직에 입사하여 입사각별로 수득한 초음파-에코 데이터로서, 단일 초음파 프로브(10)를 이용하여 수집될 수 있다.
이미징 장치(100)는 다각도 초음파-에코 데이터를 이용하여 입사각별 빔포밍 RF-모드 이미지를 생성한다(S220). 빔포밍 RF-모드 이미지는 특정 입사각에서 수득된 초음파-에코 데이터의 시간 지연 정보를 이용하여 생성되는 이미지로서, 초음파-에코 데이터에 지연-합(DAS) 기법을 적용하여 생성될 수 있다. 이때, 이미징 장치(100)는 정량적 이미지 복원에서 사용되는 가이드 정보인 형태 이미지를 생성할 수 있다. 형태 이미지는 다각도 초음파-에코 데이터를 이용하여 생성한 B-모드 이미지의 이진 마스크일 수 있다.
이미징 장치(100)는 입사각이 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 나타내는 시간 지연 맵을 생성한다(S230).
이미징 장치(100)는 시간 지연 맵들로부터 조직의 음속도 분포를 복원하도록 학습된 심층 신경망(200)을 이용하여, 변환한 시간 지연 맵들에 해당하는 음속도 분포 이미지를 획득한다(S240).
심층 신경망(200)이 조직의 형태 이미지를 가이드 정보로 입력받아 복원하는 타겟 인지 심층 신경망인 경우, 이미징 장치(100)는 시간 지연 맵들과 함께 형태 이미지를 심층 신경망(200)으로 입력하고, 형태 이미지에 의해 가이드되어 복원된 정량적인 음속도 분포 이미지를 획득할 수 있다. 이미징 장치(100)는 형태학적 정보를 포함하는 B-모드 이미지에 음속도 분포 이미지를 오버레이하여 출력할 수 있다.
도 12와 도 13 각각은 한 실시예에 따른 심층 신경망을 이용한 정량적 이미지 복원 결과를 나타내는 도면이다
도 12를 참고하면, 소고기와 돼지고기에 지방종, 양성 종양 그리고 악성 종양을 모방한 물체를 넣어 팬텀을 만들고, 이미징 장치(100)가 팬텀에서 획득한 다각도 초음파-에코 데이터를 기초로 정량적인 음속도 분포 이미지를 복원한 결과이다.
(a), (b) 각각은 소고기 및 돼지고기에 지방종을 모방한 물체가 있는 팬텀을 B-모드 이미지와 정량적 이미지로 복원한 결과이다. (c), (d) 각각은 소고기 및 돼지고기에 양성 종양을 모방한 물체가 있는 팬텀을 B-모드 이미지와 정량적 이미지로 복원한 결과이다. (e), (f) 각각은 소고기 및 돼지고기에 악성 종양을 모방한 물체가 있는 팬텀을 B-모드 이미지와 정량적 이미지로 복원한 결과이다.
기존 초음파 이미징 장치는 B-모드 이미지만을 제공하는 반면, 이미징 장치(100)는, 기존 B-모드 이미지에서 얻을 수 없는 정량적인 음속도 분포 이미지를 얻을 수 있다. 음속도 분포 이미지를 통해 병변의 위치 및 형태를 확인할 수 있을 뿐만 아니라 음속도를 통해 조직학적 정보를 알아낼 수 있다. 더 나아가 이미징 장치(100)는 지방종, 양성 종양 그리고 악성 종양의 음속도 특성에 따라, 음속도 분포 이미지로부터 병변을 구별할 수 있다.
도 13을 참고하면, 10명의 정상인을 대상으로 경동맥, 목 근육 및 갑상선의 정량적 음속도 이미지를 복원하고 그 값을 비교한 결과이다. (a)는 기존 B-모드 이미지이고, (b)는 이미징 장치(100)에서 복원한 정량적인 음속도 분포 이미지이며, (c)는 정상인 10명의 갑상선, 근육 및 경동맥의 정량적 음속도 값이다.
기존 B-모드 이미지와 비교하면, 이미징 장치(100)는 정량적인 음속도 분포 이미지를 더 제공할 수 있다. 이미징 장치(100)는 B-모드 이미지에 음속도 분포 이미지를 오버레이하여 출력할 수 있다.
음속도 분포 이미지를 통해 각 기관을 정량적인 수치로 구분할 수 있음을 확인할 수 있다.
도 14는 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
도 14를 참고하면, 이미징 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(500)일 수 있고, 초음파 프로브(10) 또는 초음파 프로브(10)에서 획득된 데이터를 제공하는 장치와 연결된다.
컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 프로세서(510)에 의하여 수행되는 프로그램을 로드하는 메모리(530), 프로그램 및 각종 데이터를 저장하는 스토리지(550), 통신 인터페이스(570), 그리고 이들을 연결하는 버스(590)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(500)는 다양한 구성 요소가 더 포함될 수 있다. 프로그램은 메모리(530)에 로드될 때 프로세서(510)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(510)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 명령어는 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(550)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
스토리지(550)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(550)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 통신을 지원한다. 이를 위해, 통신 인터페이스(570)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
버스(590)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한 다. 버스(590)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
이와 같이, 실시예에 따르면, B-모드 이미징용 초음파 프로브 및 영상기기를 그대로 이용해서 정량적인 음속도 분포를 이미징할 수 있으므로, 영상 촬영이 간단하고, 기존 초음파 영상장비로 측정 가능한 여러 기관들의 측정이 가능하며, 고가 초음파 장치를 일정 부분 대체할 수 있으며, 기존의 생산된 초음파 영상장비에 추가 가능하다.
실시예에 따르면, 단일 초음파 프로브를 이용하여 조직을 실시간 이미징할 수 있고, 사용자의 숙련도에 따른 성능 차이가 적다.
실시예에 따르면, 심층 신경망 모델의 복원 네트워크 레이어(reconstruction network layer)에 타겟의 형태학적 특성(geometric characteristics)을 가이드하여, 정량적 이미지의 콘트라스트(contrast) 및 정확도(accuracy)를 높일 수 있고, 잡음 환경에서 획득된 다각도 초음파-에코 데이터로부터 음속도 특성을 안정적으로 복원할 수 있다.
실시예에 따르면, 인접 입사각들에서 획득한 초음파-에코 데이터 간의 상대적인 시간 지연(위상 차이)을 이용하여 음속도 특성을 복원하므로, 심하게 감쇠된 초음파-에코 데이터 또는 불규칙한 강한 초음파-에코 데이터로도 음속도 분포를 안정적으로 획득할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서,
    다각도 초음파-에코 데이터를 이용하여 입사각별 시간 지연 정보를 포함하는 빔포밍 RF-모드 이미지들을 생성하는 단계,
    인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴(speckle pattern) 변위를 나타내는 시간 지연 맵들을 생성하는 단계, 그리고
    학습용 시간 지연 맵들로부터 조직의 음속도 분포를 복원하도록 학습된 심층 신경망을 이용하여, 상기 시간 지연 맵들에 해당하는 음속도 분포 이미지를 획득하는 단계
    를 포함하는 동작 방법.
  2. 제1항에서,
    상기 다각도 초음파-에코 데이터는 단일 초음파 프로브에서 서로 다른 입사각을 가지는 평면파들을 조직에 입사하여 수득된 데이터인, 동작 방법.
  3. 제1항에서,
    상기 음속도 분포 이미지를 획득하는 단계는
    상기 시간 지연 맵들, 그리고 타겟 조직의 형태학적 정보를 포함하는 형태 이미지를 상기 심층 신경망으로 입력하고, 상기 심층 신경망에서 출력된 상기 음속도 분포 이미지를 획득하며,
    상기 심층 신경망은 상기 형태 이미지를 가이드 정보로 이용하여 상기 시간 지연 맵들로부터 상기 타겟 조직의 음속도 분포를 복원하는, 동작 방법.
  4. 제3항에서,
    상기 형태 이미지는 상기 다각도 초음파-에코 데이터로부터 생성된 B-모드 이미지를 형태에 따른 영역으로 분할한 이미지인, 동작 방법.
  5. 제1항에서,
    상기 시간 지연 맵들을 생성하는 단계는
    입사각이 인접한 두 빔포밍 RF-모드 이미지들의 서브 블록들 중에서 가장 큰 교차상관관계(cross-correlation)가 있는 두 서브 블록 간의 변위를 상기 반점 패턴 변위로 계산하고, 상기 반점 패턴 변위를 나타내는 이미지를 상기 두 빔포밍 RF-모드 이미지들의 시간 지연 맵으로 생성하는, 동작 방법.
  6. 제1항에서,
    상기 심층 신경망은
    입력된 시간 지연 맵들의 특징을 추출하는 인코더, 그리고
    상기 인코더로부터 전달된 특징 맵을 업샘플링하면서 고해상도의 이미지를 복원하는 디코더로 구성되는, 동작 방법.
  7. 제6항에서,
    상기 디코더는
    타겟 조직의 형태학적 정보를 포함하는 이미지를 가이드 정보로 입력받는, 동작 방법.
  8. 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서,
    조직의 다각도 초음파-에코 데이터 그리고 해당 조직의 음속도 분포 이미지를 학습 데이터로 입력받는 단계, 그리고
    상기 학습 데이터를 이용하여, 상기 다각도 초음파-에코 데이터로부터 해당 조직의 음속도 분포를 이미징하도록 심층 신경망을 학습시키는 단계
    를 포함하는 동작 방법.
  9. 제8항에서,
    상기 다각도 초음파-에코 데이터는
    조직의 음속도 분포 및 산란체들을 모델링한 팬텀 또는 시뮬레이션 툴을 이용하여 획득되는, 동작 방법.
  10. 제8항에서,
    상기 학습 데이터는
    해당 조직의 형태학적 정보를 포함하는 형태 이미지를 더 포함하는, 동작 방법.
  11. 제10항에서,
    상기 심층 신경망을 학습시키는 단계는
    상기 형태 이미지를 가이드 정보로 이용하여, 상기 다각도 초음파-에코 데이터로부터 해당 조직의 음속도 분포를 이미징하도록 심층 신경망을 학습시키는, 동작 방법.
  12. 제10항에서,
    상기 심층 신경망을 학습시키는 단계는
    상기 다각도 초음파-에코 데이터를 이용하여 입사각별 시간 지연 정보를 포함하는 빔포밍 RF-모드 이미지들을 생성하는 단계,
    인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴(speckle pattern) 변위를 나타내는 시간 지연 맵들을 생성하는 단계, 그리고
    상기 심층 신경망에서 상기 시간 지연 맵들의 특징을 복원한 결과와, 해당 조직의 음속도 분포 이미지를 비교하여 복원 손실이 최소화되도록 상기 심층 신경망을 학습시키는 단계
    를 포함하는, 동작 방법.
  13. 제12항에서,
    상기 시간 지연 맵들을 생성하는 단계는
    입사각이 인접한 두 빔포밍 RF-모드 이미지들의 서브 블록들 중에서 가장 큰 교차상관관계(cross-correlation)가 있는 두 서브 블록 간의 변위를 상기 반점 패턴 변위로 계산하고, 상기 반점 패턴 변위를 나타내는 이미지를 상기 두 빔포밍 RF-모드 이미지들의 시간 지연 맵으로 생성하는, 동작 방법.
  14. 제8항에서,
    상기 심층 신경망은
    입력된 이미지들의 특징을 추출하는 인코더, 그리고
    상기 인코더로부터 전달된 특징 맵을 업샘플링하면서 고해상도의 이미지를 복원하는 디코더로 구성되는, 동작 방법.
  15. 프로그램의 명령어들을 저장하는 메모리, 그리고
    상기 명령어들을 실행하여, 타겟 조직에서 수득된 다각도 초음파-에코 데이터로부터 상기 타겟 조직의 음속도 분포 이미지를 생성하는 프로세서를 포함하고,
    상기 프로세서는
    상기 다각도 초음파-에코 데이터를 이용하여 입사각에 따라 달라지는 반점 패턴(speckle pattern) 변위를 이미지들로 변환하고, 상기 이미지들에 포함된 시간 지연 정보를 복원하여 상기 음속도 분포 이미지를 생성하는, 컴퓨팅 장치.
  16. 제15항에서,
    상기 다각도 초음파-에코 데이터는 단일 초음파 프로브에서 서로 다른 입사각을 가지는 평면파들을 상기 타겟 조직에 입사하여 수득된 데이터인, 컴퓨팅 장치.
  17. 제15항에서,
    상기 프로세서는
    상기 다각도 초음파-에코 데이터를 이용하여 입사각별 빔포밍 RF-모드 이미지를 생성하고, 인접한 빔포밍 RF-모드 이미지들 사이의 반점 패턴 변위를 나타내는 시간 지연 맵들을 생성하며, 상기 시간 지연 맵들의 특징을 복원하여 상기 음속도 분포 이미지를 생성하는, 컴퓨팅 장치.
  18. 제15항에서,
    상기 프로세서는
    상기 다각도 초음파-에코 데이터를 이용하여 상기 타겟 조직의 형태학적 정보를 포함하는 형태 이미지를 생성하고, 상기 형태 이미지를 가이드 정보로 이용하여 상기 이미지들에 포함된 시간 지연 정보를 복원하는, 컴퓨팅 장치.
  19. 제15항에서,
    상기 프로세서는
    상기 반점 패턴 변위로 생성된 이미지들로부터 음속도 분포를 복원하도록 학습된 심층 신경망을 이용하여, 상기 이미지들에 해당하는 음속도 분포 이미지를 획득하는, 컴퓨팅 장치.
  20. 제15항에서,
    상기 프로세서는
    상기 다각도 초음파-에코 데이터로부터 형태학적 정보를 포함하는 B-모드 이미지를 생성하고, 상기 B-모드 이미지에 상기 음속도 분포 이미지를 오버레이하여 출력하는, 컴퓨팅 장치.
KR1020200086059A 2019-12-13 2020-07-13 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치 KR102380167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/115,939 US20210177380A1 (en) 2019-12-13 2020-12-09 Method and apparatus for quantitative ultrasound imaging using single-ultrasound probe

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190166617 2019-12-13
KR1020190166617 2019-12-13

Publications (2)

Publication Number Publication Date
KR20210075831A true KR20210075831A (ko) 2021-06-23
KR102380167B1 KR102380167B1 (ko) 2022-03-29

Family

ID=76599408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200086059A KR102380167B1 (ko) 2019-12-13 2020-07-13 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102380167B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023287083A1 (ko) * 2021-07-14 2023-01-19 한국과학기술원 의료 초음파의 정량적 이미징 방법 및 장치
WO2023287084A1 (ko) * 2021-07-14 2023-01-19 한국과학기술원 의료 초음파의 정량 정보 추출 방법 및 장치
CN116778020A (zh) * 2023-08-17 2023-09-19 山东大学 一种基于深度学习的柔性超声聚束成像方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070069322A (ko) * 2005-12-28 2007-07-03 주식회사 메디슨 병변조직을 검출하는 초음파 진단 시스템 및 방법
JP2012239546A (ja) * 2011-05-17 2012-12-10 Fujifilm Corp 超音波診断装置
KR20130080640A (ko) * 2012-01-05 2013-07-15 삼성메디슨 주식회사 초음파 영상 제공 방법 및 초음파 영상 제공 장치
JP6457157B2 (ja) * 2016-06-23 2019-01-23 株式会社日立製作所 超音波撮像装置、および、超音波撮像装置における超音波撮像方法
KR102067340B1 (ko) * 2018-07-16 2020-01-16 한국과학기술원 유방암 병변 특성에 따른 유방 종괴 생성 방법 및 그 시스템
JP2021133123A (ja) * 2020-02-28 2021-09-13 キヤノン株式会社 超音波診断装置、学習装置、画像処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070069322A (ko) * 2005-12-28 2007-07-03 주식회사 메디슨 병변조직을 검출하는 초음파 진단 시스템 및 방법
JP2012239546A (ja) * 2011-05-17 2012-12-10 Fujifilm Corp 超音波診断装置
KR20130080640A (ko) * 2012-01-05 2013-07-15 삼성메디슨 주식회사 초음파 영상 제공 방법 및 초음파 영상 제공 장치
JP6457157B2 (ja) * 2016-06-23 2019-01-23 株式会社日立製作所 超音波撮像装置、および、超音波撮像装置における超音波撮像方法
KR102067340B1 (ko) * 2018-07-16 2020-01-16 한국과학기술원 유방암 병변 특성에 따른 유방 종괴 생성 방법 및 그 시스템
JP2021133123A (ja) * 2020-02-28 2021-09-13 キヤノン株式会社 超音波診断装置、学習装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Robust Single-Probe Quantitative Ultrasonic Imaging System With a Target-Aware Deep Neural Network", IEEE transaction on Bio. vol.68, No.12(2021.6.7.) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023287083A1 (ko) * 2021-07-14 2023-01-19 한국과학기술원 의료 초음파의 정량적 이미징 방법 및 장치
WO2023287084A1 (ko) * 2021-07-14 2023-01-19 한국과학기술원 의료 초음파의 정량 정보 추출 방법 및 장치
CN116778020A (zh) * 2023-08-17 2023-09-19 山东大学 一种基于深度学习的柔性超声聚束成像方法及系统
CN116778020B (zh) * 2023-08-17 2023-11-14 山东大学 一种基于深度学习的柔性超声聚束成像方法及系统

Also Published As

Publication number Publication date
KR102380167B1 (ko) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110381845B (zh) 具有用于导出成像数据和组织信息的神经网络的超声成像系统
KR102380167B1 (ko) 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치
US6585647B1 (en) Method and means for synthetic structural imaging and volume estimation of biological tissue organs
US20190336107A1 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
CN104688266B (zh) 三维弹性超声成像中的运动修正
CN110192893B (zh) 量化超声成像的感兴趣区域放置
US10338203B2 (en) Classification preprocessing in medical ultrasound shear wave imaging
US20080183077A1 (en) High intensity focused ultrasound path determination
EP1747757B1 (en) Ultrasound system for displaying an elastic image
CN101889216A (zh) 用于对血管成像的方法和系统
JP2021502164A (ja) 超音波画像生成システム
US20200337681A1 (en) Ultrasound diagnostic system and ultrasound diagnostic method
KR20150014315A (ko) 횡파를 이용한 초음파 진단 방법 및 장치
US20210204904A1 (en) Ultrasound diagnostic system
Kim et al. Robust single-probe quantitative ultrasonic imaging system with a target-aware deep neural network
CN113440166A (zh) 利用超声医学成像的肝病活动估计
KR102490019B1 (ko) 초음파 데이터를 이용한 정량적 이미징 방법 및 장치
KR102655333B1 (ko) 초음파 데이터를 이용한 다변수 정량적 이미징 방법 및 장치
US20210177380A1 (en) Method and apparatus for quantitative ultrasound imaging using single-ultrasound probe
KR20180031557A (ko) 초음파 영상 장치 및 초음파 영상 표시 방법
JP6483659B2 (ja) 超音波による微小石灰化の検出のためのビームフォーミング技術
CN115279275A (zh) 超声诊断设备及其操作方法
KR20230011856A (ko) 의료 초음파의 정량적 이미징 방법 및 장치
CN114072060A (zh) 一种超声成像方法以及超声成像系统
US20210183521A1 (en) Method and apparatus for quantitative imaging using ultrasound data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant