KR20230011856A - 의료 초음파의 정량적 이미징 방법 및 장치 - Google Patents

의료 초음파의 정량적 이미징 방법 및 장치 Download PDF

Info

Publication number
KR20230011856A
KR20230011856A KR1020220033573A KR20220033573A KR20230011856A KR 20230011856 A KR20230011856 A KR 20230011856A KR 1020220033573 A KR1020220033573 A KR 1020220033573A KR 20220033573 A KR20220033573 A KR 20220033573A KR 20230011856 A KR20230011856 A KR 20230011856A
Authority
KR
South Korea
Prior art keywords
quantitative
style
pulse
image
echo data
Prior art date
Application number
KR1020220033573A
Other languages
English (en)
Inventor
배현민
오석환
김명기
김영민
정구일
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2022/009522 priority Critical patent/WO2023287083A1/ko
Publication of KR20230011856A publication Critical patent/KR20230011856A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 조직에서 수득된 펄스-에코 데이터를 입력받는 단계, 그리고 상기 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 상기 펄스-에코 데이터로부터 추출된 정량 스타일 특징의 상관 관계를 이용하여 목적 변수의 정량적 이미지를 출력하는 단계를 포함한다.

Description

의료 초음파의 정량적 이미징 방법 및 장치{METHOD AND APPARATUS FOR QUANTITATIVE IMAGING IN MEDICAL ULTRASOUND}
본 개시는 초음파 정량화 기술에 관한 것이다.
암은 조기 발견이 어려워 주기적인 진단이 필요하고, 병변의 크기 및 특성을 지속적으로 모니터링해야 한다. 이를 위한 대표적인 영상 장비로는 엑스레이(X-ray), MRI(magnetic resonance imaging), CT(computed tomography), 초음파(ultrasound) 등이 있다. 엑스레이, MRI, CT는 방사능 노출 위험이 있고, 측정 시간이 길며 비용이 비싼 단점이 있는 반면, 초음파 영상 장비는 안전하고 비교적 저렴하며, 실시간 영상을 제공해서 사용자가 병변을 실시간으로 모니터링하면서 원하는 이미지를 얻을 수 있다.
현재 가장 많이 상용화되어 있는 초음파 영상 장비로서, B-모드(Brightness mode) 이미징 시스템이 있다. B-모드 이미징 방법은 초음파가 물체 표면에서 반사되어 돌아오는 시간과 세기를 통해 물체 위치와 크기를 파악하는 방법이다. 이는 실시간으로 병변의 위치를 찾아 주기 때문에, 사용자가 병변을 실시간으로 모니터링하면서 원하는 영상을 효율적으로 얻을 수 있고, 안전하고 비교적 저렴하여 접근성이 좋다. 하지만 사용자의 숙련도에 따라 이미지의 질이 일정하게 유지되지 못하고, 정량적인 특성을 이미징하지 못한다는 단점이 있다. 즉, B-모드 기법은 조직의 형태학적인 정보만을 제공하기 때문에, 조직학적 특성으로 구분되는 양성종양과 악성종양을 구분하는 감별진단에서 민감도(sensitivity)와 특이도(specificity)가 낮을 수 있다.
조직의 병리학적 변화는 세포의 구조적인 변화를 초래하며, 이에 따라 해당 조직에서 초음파 특성이 변하는 것을 이미징하는 것으로서, 대표적으로 탄성영상 기법(Elastography)과 초음파 단층촬영 기법(Ultrasound Computed Tomography, USCT)이 있다. 탄성영상 기법은 조직의 탄성도 및 강직도를 정량적으로 영상화할 수 있으나 전용 장치가 추가적으로 필요하고 많은 에너지를 소모한다. 따라서, 탄성영상 기법은 고가 초음파 장비에서만 적용이 가능하고, 프레임 속도(frame rate)가 낮아 동적으로 움직이는 조직을 영상화하는데 적합하지 않다. 초음파 단층촬영 기법은 고해상도의 정량적 이미지를 얻을 수 있지만 초음파 센서가 물체 주위를 둘러싸고 있어야 해서, 유방 촬영에 국한되고, 다양한 기관을 측정하는데 한계가 있다. 또한, 초음파 단층촬영 기법은 이미징까지 분 단위의 시간이 소요되어 실시간 움직임을 보지 못하고, 시스템의 크기가 매우 커서 이동이 불가능하다.
최근에는 펄스-에코 데이터에서 정량 변수를 추출하려는 시도가 있었으나, B-모드 이미지에 비해 복잡한 조직 구조를 재구성하지 못하는 한계가 있다.
본 개시는, B-모드 이미지에 정량 스타일 정보(quantitative style information)를 적용하여, 펄스-에코 데이터로부터 조직의 다양한 변수들에 대한 정량적 특징을 이미징하는 방법 및 장치를 제공하는 것이다.
본 개시는, 단일 초음파 프로브를 통해 조직에서 획득한 펄스-에코 데이터를 이용하여, 음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 산란체 크기(Effective Scatterer Diameter, ESD)를 포함하는 변수들 정량 정보를 복원하는 신경망(neural network)을 제공하는 것이다.
한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 조직에서 수득된 펄스-에코 데이터를 입력받는 단계, 그리고 상기 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 상기 펄스-에코 데이터로부터 추출된 정량 스타일 특징을 이용하여 목적 변수의 정량적 이미지를 출력하는 단계를 포함한다.
상기 펄스-에코 데이터는 서로 다른 빔패턴들로 상기 조직에 입사된 초음파 신호들이, 상기 조직에서 반사되어 되돌아온 RF(Radio Frequency) 데이터일 수 있다.
상기 목적 변수는 음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함할 수 있다.
상기 목적 변수의 정량적 이미지를 출력하는 단계는 상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력할 수 있다.
상기 목적 변수의 정량적 이미지를 출력하는 단계는 상기 펄스-에코 데이터에 포함된 상기 목적 변수의 정량 스타일 특징을 추출하는 단계, 상기 펄스-에코 데이터로부터 상기 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계, 그리고 상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원하는 단계를 포함할 수 있다.
상기 목적 변수의 정량 스타일 특징을 추출하는 단계는 선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출할 수 있다.
상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계는 상기 B-모드 이미지에서 상기 조직의 기하학적 정보를 포함하는 상기 콘텐츠 특징들을 추출할 수 있다.
상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계는 다중 해상도 콘텐츠 특징들을 추출할 수 있다.
상기 목적 변수의 정량적 이미지를 복원하는 단계는 병렬적 다중 해상도 서브네트워크들(parallel multi-resolution subnetworks)을 이용하여, 고해상도의 정량적 이미지를 생성할 수 있다.
한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서, 스타일 인코더를 이용하여, 펄스-에코 데이터에 포함된 목적 변수의 정량 스타일 특징을 추출하는 단계, B-모드 인코더를 이용하여, 상기 펄스-에코 데이터로부터 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계, 그리고 디코더를 이용하여, 상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원하는 단계를 포함한다.
상기 스타일 인코더는 선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출하도록 학습된 신경망일 수 있다.
상기 B-모드 인코더는 상기 펄스-에코 데이터로부터 B-모드 이미지를 생성하고, 상기 B-모드 이미지에서 기하학적 정보를 포함하는 상기 콘텐츠 특징들을 추출하도록 학습된 신경망일 수 있다.
상기 디코더는 상기 B-모드 인코더에서 추출된 콘텐츠 특징들을 입력받고, 상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력하도록 학습된 신경망일 수 있다.
상기 디코더는 병렬적 다중 해상도 서브네트워크들(parallel multi-resolution subnetworks)의 구조를 가지는 신경망일 수 있다.
상기 목적 변수는 음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따른 이미징 장치로서, 명령어들을 저장하는 메모리, 그리고 상기 명령어들을 실행하여, 조직에서 수득된 펄스-에코 데이터를 입력받고, 상기 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 상기 펄스-에코 데이터로부터 추출된 정량 스타일 특징을 이용하여 목적 변수의 정량적 이미지를 출력하는 프로세서를 포함한다.
상기 프로세서는 상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력할 수 있다.
상기 프로세서는 상기 펄스-에코 데이터에 포함된 상기 목적 변수의 정량 스타일 특징을 추출하고, 상기 펄스-에코 데이터로부터 상기 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하며, 상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원할 수 있다.
상기 프로세서는 선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출할 수 있다.
상기 목적 변수는 음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함할 수 있다.
실시예에 따르면, 단일한 신경망을 통해 조직의 초음파 데이터로부터 실시간으로 다변수 정량적 이미지들을 재구성할 수 있다.
실시예에 따르면, 정확한 조직 구조 정보를 제공하는 B-모드 이미지에 정량 스타일 정보를 적용하여, 임상적으로 중요한 다양한 종류의 정량 정보를 동시에 제공할 수 있고, 암 병변을 식별하고 분류하는데 충분한 높은 민감도와 특이도를 제공할 수 있다.
실시예에 따르면, B-모드 이미징용 초음파 프로브 및 영상 기기를 그대로 이용할 수 있으므로, 영상 촬영이 간단하고, 기존 초음파 영상장비로 측정 가능한 여러 기관들의 측정이 가능하다.
실시예에 따르면, 단일 초음파 프로브를 이용하는 사용자의 숙련도에 관계없이, 고품질의 정량적 이미지를 복원할 수 있다.
도 1은 한 실시예에 따른 다변수 정량적 이미징 장치를 개념적으로 설명하는 도면이다.
도 2는 한 실시예에 따른 신경망의 개념도이다.
도 3은 한 실시예에 따른 스타일 인코더의 네트워크 구조이다.
도 4는 한 실시예에 따른 B-모드 인코더의 네트워크 구조이다.
도 5는 한 실시예에 따른 디코더의 네트워크 구조이다.
도 6은 한 실시예에 따른 신경망의 학습 방법의 흐름도이다.
도 7은 한 실시예에 따른 의료 초음파의 다변수 정량적 이미징 방법의 흐름도이다.
도 8은 생체 모방 팬텀의 다변수 정량적 이미징 결과를 나타내는 도면이다.
도 9는 Ex-vivo 실험을 통한 다변수 정량적 이미징 결과를 나타내는 도면이다.
도 10은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 개시의 신경망은 적어도 하나의 태스크를 학습하는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 프로그램은 저장 매체(non-transitory storage media)에 저장되고, 프로세서에 의해 본 개시의 동작을 실행하도록 기술된 명령들(instructions)을 포함한다. 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
도 1은 한 실시예에 따른 다변수 정량적 이미징 장치를 개념적으로 설명하는 도면이다.
도 1을 참고하면, 다변수 정량적 이미징 장치(간단히, ‘이미징 장치’라고 함)(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서, 단일한 초음파 프로브(10)를 통해 조직에서 수득된 펄스-에코 데이터를 입력받고, 신경망(200)을 이용하여 조직의 정량 정보를 추출한다. 이미징 장치(100)는 본 개시에서 설명하는 동작을 위한 컴퓨터 프로그램을 탑재하고, 컴퓨터 프로그램은 프로세서에 의해 실행된다.
이미징 장치(100)는 펄스-에코 데이터로부터 조직의 정량적 특징을 추출하는 신경망(200)을 이용하여, 조직의 다변수 정량적 이미지들(Multi-variable quantitative images)을 복합적으로 생성할 수 있다. 여기서, 이미징 장치(100)는 조직의 정량적 변수들인 음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 조직 내 밀도 분포를 나타내는 산란체 밀도(Effective Scatterer Concentration, ESC), 조직 내 세포 등의 크기를 나타내는 산란체 크기(Effective Scatterer Diameter, ESD) 등을 복원할 수 있다. 신경망(200)은 BQI-Net(b-mode-to-quantitative imaging network)이라고 부를 수 있다.
한편, 음속도, 감쇠 계수, 산란체 밀도, 산란체 크기 각각은 병변 추출의 바이오마커로 알려져 있는 파라미터로서, 조직의 생체 역학적 특성과 밀접한 관련이 있다. 따라서, 여러 변수들을 사용할수록 병변의 포괄적 분석이 가능해서 진단 민감도(sensitivity)와 특이도(specificity)를 높일 수 있다. 하지만, 각 변수가 초음파 전파에 서로 다른 영향(distinct effect)을 미치기 때문에, 펄스-에코 데이터로부터 여러 변수들을 동시에 복원하는 것이 쉽지 않다.
이를 해결하기 위해, 신경망(200)은 정확한 구조 정보를 제공하는 B-모드 이미지에 정량 스타일 정보(quantitative style information)를 적용하여, 펄스-에코 데이터로부터 임상적으로 중요한 다양한 종류의 정량 정보를 동시에 제공한다. 신경망(200)은 효율적인 정량적 이미지 생성을 위해, 조건부 정량 스타일 인코딩(conditional quantitative style encoding)을 수행할 수 있다.
신경망(200)은 적어도 하나의 태스크를 학습할 수 있는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다.
초음파 프로브(10)는 N개(예를 들면, 128개)의 초음파 센서들이 배열되고, 센서들은 압전 소자들(piezoelectrical elements)로 구현될 수 있다. 또한, 초음파 프로브(10)는 각 압전 소자에 일정한 시간 간격으로 전기적 신호를 가하여 초음파 신호를 생성하는 위상차 배열(phased array) 프로브일 수 있다. 참고로, 초음파 프로브(10)는 전형적인 B-모드 이미징용 프로브일 수 있다.
초음파 프로브(10)는 서로 다른 빔패턴들(Tx pattern #1~ #k)의 초음파 신호를 조직에 순차적으로 방사하고, 조직에서 반사되어 되돌아온 RF(Radio Frequency) 데이터를 획득할 수 있다. 복수의 빔 패턴들로부터 수득된 RF 데이터를 묶어서, 간단히 펄스-에코 데이터라고 부른다. 펄스-에코 데이터는 빔포밍 초음파 데이터(beamformed ultrasound data)라고 부를 수 있다. 펄스-에코 데이터는 예를 들면, 7개의 서로 다른 빔패턴들(θ1~θ7)에서 수득한 RF 데이터이고, 서로 다른 빔패턴들은 예를 들면, 입사각이 -15°, -10°, -5°, 0°, 5°, 10°, 15°로 설정될 수 있다. 초음파 프로브(10)의 트랜스듀서 너비를 고려하여 관심영역(Region of Interest, ROI)이 설정될 수 있다. 예를 들면, 관심영역은 40mmx40mm로 설정될 수 있다.
한편, 초음파 프로브(10)에서 수득된 펄스-에코 데이터는, 초음파 프로브(10)의 센서별로, 반사된 초음파 신호를 수신한 지연 시간 정보를 포함한다. 펄스-에코 데이터는 센서별 지연 시간 정보를 나타내는 이미지로 표현될 수 있다.
도 2는 한 실시예에 따른 신경망의 개념도이다.
도 2를 참고하면, 신경망(200)은 펄스-에코 데이터(300)로부터 목적 변수(음속도, 감쇠 계수, 산란체 밀도, 산란체 크기 등)의 정량 정보를 복원하여 정량적 이미지(400)를 출력한다. 여기서, 신경망(200)은 정확한 구조 정보를 제공하는 B-모드 이미지에 정량 스타일 정보를 적용하여, 펄스-에코 데이터(300)로부터 임상적으로 중요한 다양한 종류의 정량 정보를 동시에 제공한다.
펄스-에코 데이터(300)는 서로 다른 빔패턴들의 초음파 신호를 조직에 순차적으로 방사하고, 조직에서 반사되어 되돌아온 RF 데이터로서, 예를 들면, 7개의 서로 다른 빔패턴들(θ1~θ7)에서 수득한 RF 데이터(U1~U7)일 수 있다. 펄스-에코 데이터 U는 초음파 프로브(10)의 센서들에서 초음파 에코를 수신한 시간 정보를 포함한다.
목적 변수가 음속도인 경우, 신경망(200)은 음속도 이미지(400-1)를 복원할 수 있다. 목적 변수가 감쇠 계수인 경우, 신경망(200)은 감쇠 계수 이미지(400-2)를 복원할 수 있다. 목적 변수가 산란체 밀도인 경우, 신경망(200)은 산란체 밀도 이미지(400-3)를 복원할 수 있다. 목적 변수가 산란체 크기인 경우, 신경망(200)은 산란체 크기 이미지(400-4)를 복원할 수 있다. 이외에도, 신경망(200)은 복수의 목적 변수들의 정량 정보가 조합된 이미지들을 출력할 수 있다.
신경망(200)은 목적 변수(q)의 정량 스타일 특징 Sq을 추출하는 스타일 인코더(style encoder)(210), B-모드 이미지의 컨텐츠 특징(content feature)을 추출하는 B-모드 인코더(B-mode encoder)(230), 그리고 컨텐츠 특징을 목적 변수의 스타일로 변환하여 정량적 이미지 Iq를 복원하는 디코더(250)를 포함할 수 있다.
스타일 인코더(210)는 펄스-에코 데이터(300)에 포함된 목적 변수 q의 정량 스타일 특징 Sq(SSOS, SAC, SESC, SESD)을 선택적으로 추출한다. 스타일 인코더(210)는 모델의 바이어스를 조정하는 것만으로 다양한 태스크를 수행할 수 있도록 재구성될 수 있다. 스타일 인코더(210)는 예를 들면, 조건부 인스턴스 정규화(conditional instance normalization, CIN)을 수행해서, 목적 변수에 대응하는 정량 스타일 특징을 추출할 수 있다. 이때, 정량 스타일 특징 Sq는 공간 해상도 R16X16X512로 표현될 수 있다.
스타일 인코더(210)는 목적 변수에 따라 네트워크 파라미터를 변경하여, 펄스-에코 데이터(300)로부터 목적 변수에 해당하는 정량 스타일 특징을 추출할 수 있다. 구체적으로, 스타일 인코더(210)는 목적 변수 q에 따라,
Figure pat00001
행렬에서 선택된 값인
Figure pat00002
Figure pat00003
및
Figure pat00004
으로, 입력 x를 변환(스케일링 및 이동)하여 정규화할 수 있다. 각 목적 변수(q)는 원-핫 벡터로 표현될 수 있고,
Figure pat00005
행렬에서 해당 목적 변수의 정규화 파라미터들을 추출하는 데 사용될 수 있다.
Figure pat00006
는 목적 변수 q에 대한 스케일링(scaling) 값이고,
Figure pat00007
는 목적 변수 q에 대한 이동(shift) 값이다.
스타일 인코더(210)는 수학식 1과 같이, 목적 변수 q에 따라 선택된 정규화 파라미터들
Figure pat00008
,
Figure pat00009
를 이용하여, 입력 x를 정규화(CIN)할 수 있다. 수학식 1에서,
Figure pat00010
와
Figure pat00011
는 입력 x의 평균과 표준편차이다.
Figure pat00012
B-모드 인코더(230)는 펄스-에코 데이터(300)로부터 생성한 B-모드 이미지의 컨텐츠 특징을 추출한다. B-모드 인코더(230)는 B-모드 이미지로부터 조직의 기하학적 정보를 추출할 수 있다. B-모드 이미지는 펄스-에코 데이터(300)에 지연-합(Delay and Sum, DAS) 및 시간 이득 보상(time gain compensation, TGC)을 적용하여 생성될 수 있다. B-모드 인코더(230)는 조직의 구조 정보를 포함하는 B-모드 이미지로부터, 조직 구조에 대한 의미 콘텐트(semantic contents)를 추출할 수 있다. 이때, B-모드 인코더(230)는 B-모드 이미지로부터 다중 해상도의 콘텐츠 특징들(예를 들면, c16×16, c32×32, c64×64, c128×128)을 추출하고, 이를 디코더(250)에게 제공할 수 있다.
디코더(250)는 스타일 인코더(210)에서 추출된 목적 변수 q의 정량 스타일 특징 Sq와 B-모드 인코더(230)에서 추출한 B-모드 이미지의 콘텐츠 특징들을 입력받는다. 디코더(250)는 B-모드 이미지의 콘텐츠 특징들에 목적 변수 q의 정량 스타일링 특징 Sq을 반영하여, 목적 변수 q의 정량적 이미지 Iq를 복원한다. 정량적 이미지 Iq는 음속도 이미지(400-1), 감쇠 계수 이미지(400-2), 산란체 밀도 이미지(400-3), 산란체 크기 이미지(400-4)일 수 있다.
디코더(250)는 B-모드 인코더(230)에서 출력된 다중 해상도 콘텐츠 특징들을 점진적으로 합성하여 상세한 정량적 이미지를 재구성할 수 있다. 디코더(250)는 고해상도 정량적 이미지를 재구성할 수 있는 네트워크 구조를 가질 수 있고, 예를 들면, 고해상도 네트워크(High-Resolution Network, HRNet) 기반의 병렬적 다중 해상도 서브네트워크들(parallel multi-resolution subnetworks)을 이용하여, 고해상도의 정량적 이미지를 생성할 수 있다.
이때, 디코더(250)는 스타일 변환기(style transfer)를 통해, 콘텐츠 특징 c를 정량 스타일링 특징 Sq이 반영된 정량적 이미지들로 변환하고, 스타일 변환된 정량적 이미지를 순차적인 컨볼루션 레이어들을 통해 점진적으로 합성하여 고해상도 정량적 이미지를 복원할 수 있다. 스타일 변환기는 공간 적응적 변환(spatially adaptive demodulation, SPADE)을 수행할 수 있다. 디코더(250)는 수학식 2와 같이 각 콘텐츠 특징 c를 정량 스타일링 특징 Sq을 통해 공간 적응적변환할 수 있다.
Figure pat00013
수학식 2에서, B-모드 콘텐츠 특징 c는 정량 스타일링 특징 Sq의 채널단위로 변환된다. 예를 들면, 정량 스타일링 특징 Sq 이 R16X16X512로 표현되는 경우, 16x16 크기의 콘텐츠 특징 c는 정량 스타일링 특징 Sq에 의해 512 채널을 가진 정량적 이미지로 변환될 수 있다.
Figure pat00014
와
Figure pat00015
는 입력 c의 채널별 평균과 표준편차이다.
Figure pat00016
와
Figure pat00017
는 변환 파라미터들로서, 2D 컨볼루션에 의해 생성된 학습된 파라미터들일 수 있다. 변환 파라미터들은 콘텐츠 특징 c와 정량 스타일링 특징 Sq의 공간적 관계에 따라 적응적으로 도출될 수 있다. 공간 적응적 변환은 정량 정보와 병변 위치 사이의 상관 관계에 대한 정확한 해석을 제공할 수 있다.
신경망(200)의 학습 데이터는 시뮬레이션 팬텀을 통해 얻은 펄스-에코 데이터로 구성될 수 있고, 초음파 시뮬레이션 툴(예를 들면, Matlab의 k-wave toolbox)을 이용하여 수집될 수 있다. 예를 들면, 19.5k개의 시뮬레이션 팬텀을 통해, 신경망(200)을 학습시킬 수 있다. 여기서 17.5k개의 팬텀은 학습용이고, 1.5k개의 팬텀은 검증용이며, 1.5k개의 팬텀은 테스트용으로 사용될 수 있다.
예를 들면, 시뮬레이션 팬텀에, 반지름이 2-30mm인 타원을 50x50mm 배경의 임의의 위치에 0~5개의 배치하여 장기와 병변을 표현할 수 있다. 각 병변 및 배경은 일반적인 연조직 특성을 포함하도록 생체역학적 특성(biomechanical property)이 설정된다. 예를 들면, 음속도는 1400m/s~1700m/s, 감쇠 계수는 0dB/MHz/cm~1.5dB/MHz/cm, 산란체 크기는 25-150μm, 산란체 밀도는 0-10/wavelength(wav)2, 그리고 배경 밀도(density)는 0.9kg/m~1.1kg/m3로 설정될 수 있다.
훈련 장치는 시뮬레이션 팬텀을 통해 얻은 펄스-에코 데이터로부터, 목적 변수 q의 정량적 이미지를 복원하도록 신경망(200)을 훈련시킬 수 있다. 편의 상, 이미징 장치(100)가 신경망(200)을 훈련시킨다고 설명하나, 신경망(200)은 별도 장치에 의해 훈련된 후, 이미징 장치(100)에 설치될 수 있다.
신경망(200)의 학습에 사용되는 목적 함수 G*는 수학식 3과 같은 손실 함수로 정의될 수 있고, 수학식 3의 LSUB는 수학식 4와 같이 정의될 수 있다. 신경망(200)은 목적 함수 G*를 이용하여, 복원 손실을 최소화하는 학습을 할 수 있다.
Figure pat00018
Figure pat00019
수학식 3에서, Yq는 목적 변수 q에 대한 정답값(ground truth) 정량적 이미지다이다. G(U, q)는 펄스-에코 데이터 U와 목적 변수 q에 따른 신경망(200)의 출력값이다. Yq,R은 공간 해상도 {R16×16, R32×32, R64×64, R128×128} ∈ R을 가진 Yq의 다운 샘플링 이미지이다.
목적 함수 G*는 펄스-에코 데이터 U와 목적 변수 q로부터 추론된 출력값 G(U,q)와, 목적 변수 q에 대한 정답값 Yq의 차이를 최소화하는 함수이다. 이때, 목적 함수 G*는 수학식 4와 같이, 디코더(250)의 서브네트워크를 정규화하는 LSUB를 포함할 수 있다. LSUB는 해상도별로 추론된 값 GR(U,q)과, 해당 해상도의 정답값 Yq,R의 차이를 기초로, 해상도별 정량적 이미지 Iq,R을 점진적으로 합성하는 서브네트워크를 정규화(regulation)하는 항이다. L2는 신경망의 가중치 wi를 정규화(regulation)하여 과적합을 피하기 위한 항이다.
도 3은 한 실시예에 따른 스타일 인코더의 네트워크 구조이고, 도 4는 한 실시예에 따른 B-모드 인코더의 네트워크 구조이며, 도 5는 한 실시예에 따른 디코더의 네트워크 구조이다.
도 3을 참고하면, 스타일 인코더(210)는 펄스-에코 데이터(300)에 포함된 목적 변수 q의 정량 스타일 특징 Sq(SSOS, SAC, SESC, SESD)을 선택적으로 추출할 수 있는 다양한 네트워크 구조를 가질 수 있다.
예를 들면, 스타일 인코더(210)는 각도별 펄스-에코 데이터(U1, U2, …, U7)를 입력받아 개별적으로 필터링하는 개별 인코딩 레이어(211), 개별 인코딩 레이어(211)에서 필터링된 특징들을 연결하여 인코딩 및 조건부 정규화하는 복수의 조건부 인코딩 레이어들(213, 215, 217, 219)를 포함할 수 있다.
개별 인코딩 레이어(211)는 3X3 커널 크기의 컨볼루션, 배치 정규화(batch norm), ReLU, 1x2 스트라이드 다운 샘플링을 수행하도록 구성될 수 있다.
복수의 조건부 인코딩 레이어들(213, 215, 217, 219)은 순차적으로 연결되고, 각 조건부 인코딩 레이어는 컨볼루션 및 조건부 정규화를 수행하도록 구성될 수 있다. 각 조건부 인코딩 레이어는 목적 변수 q에 따라,
Figure pat00020
행렬에서 선택된 값인
Figure pat00021
및
Figure pat00022
으로, 입력 x를 변환(스케일링 및 이동)하여 정규화할 수 있다. 수학식 1을 참고하면,
Figure pat00023
는 목적 변수 q에 대한 스케일링 값이고,
Figure pat00024
는 목적 변수 q에 대한 이동 값이다.
마지막 조건부 인코딩 레이어(219)는 목적 변수 q의 정량 스타일 특징 Sq를 출력한다. 정량 스타일 특징 Sq는 공간 해상도 R16X16X512로 표현될 수 있다.
도 4를 참고하면, B-모드 인코더(230)는 B-모드 이미지 생성기(231), 그리고 컨볼루션 신경망(233)을 포함할 수 있다.
B-모드 이미지 생성기(231)는 펄스-에코 데이터(300)에 지연-합(Delay and Sum, DAS) 및 시간 이득 보상(time gain compensation, TGC)을 적용하여 B-모드 이미지(310)를 생성할 수 있다.
컨볼루션 신경망(233)은 B-모드 이미지(310)를 입력받고, B-모드 이미지(310)의 조직의 구조 정보를 나타내는 컨텐츠 특징을 추출할 수 있다. 컨볼루션 신경망(233)은 다양한 네트워크 구조를 가질 수 있고, 예를 들면, VGG-16 모델의 네트워크 구조를 가질 수 있다.
컨볼루션 신경망(233)은 B-모드 이미지(310)로부터 다중 해상도 콘텐츠 특징들(321, 322, 323, 324)를 추출할 수 있다. 다중 해상도 콘텐츠 특징들(321, 322, 323, 324)은 예를 들면, c16×16, c32×32, c64×64, c128×128로 표현될 수 있다. 컨볼루션 신경망(233)은 컨볼루션 레이어와 풀링 레이어를 포함할 수 있고, 컨볼루션 레이어와 풀링 레이어는 B-모드 이미지를 순차적으로 더 낮은 특징 공간으로 인코딩할 수 있다. 각 콘텐츠 특징은 컨볼루션 레이어에서 추출될 수 있다.
도 5를 참고하면, 디코더(250)는 스타일 인코더(210)에서 추출된 목적 변수 q의 정량 스타일 특징 Sq와 B-모드 인코더(230)에서 추출한 B-모드 이미지의 콘텐츠 특징들을 입력받는다. 디코더(250)는 정량 스타일링 특징 Sq을 이용하여, B-모드 이미지의 콘텐츠 특징을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 정량적 이미지들을 점진적으로 복원하여 목적 변수의 상세한 정량적 이미지 Iq를 출력한다.
디코더(250)는 다중 해상도 콘텐츠 특징들을 점진적으로 합성하여 고해상도 정량적 이미지를 재구성할 수 있는 네트워크 구조를 가질 수 있고, 예를 들면, HRNet 기반의 기반의 병렬적 다중 해상도 서브네트워크들을 포함할 수 있다.
디코더(250)는 병렬적 다중 해상도 서브네트워크를 통해 정량적 이미지를 복원할 수 있다. 다중 해상도 컨볼루션은 다양한 정량적 프로파일들을 통합하여 고해상도의 정량적 이미지들을 생성하는 동안, 정보 손실을 최소화하면서, 저해상도 특징을 보존할 수 있다. 다중 해상도 융합은 서브네트워크들의 모든 노드에서 구현되어, 다중 해상도 표현을 통해 정보를 교환하는 데, 이것이 고해상도의 정량적 이미지를 추출하는 데 중요한 역할을 한다.
디코더(250)에서, 아래쪽 N 단계를 가리키는 화살표는 다운 샘플링으로서, 이전 레이어보다 너비와 높이가 2N배 줄어들지만 채널수는 2N배 증가한 특징을 출력한다. 위쪽 N 단계를 가리키는 화살표는 업 샘플링으로서, 이전 레이어보다 너비와 높이가 2N배 늘어나지만 채널수는 2N배 줄어든 특징을 출력한다. 예를 들면, 디코더(250)는 4개의 콘텐츠 특징들을 입력받는 4개의 단계들로 구성될 수 있다. 디코더(250)의 각 단계는 입력을 다운 샘플링, 업 샘플링, 통합을 반복하면서 출력 서브네트워크에서 해당 단계의 정량적 이미지(Iq, 16X16, Iq, 32X32, Iq, 64X64, Iq, 128X128)를 출력하고, 정량적 이미지들은 1x1 컨볼루션을 통해 합성될 수 있다.
각 서브네트워크는 예를 들면, 2개의 잔차 컨볼루션 블록(Residual convolution block, RES)으로 구성될 수 있다. 한편 입력 서브네트워크는 스타일 변환기(style transfer) 및 잔차 컨볼루션 블록(RES)으로 구성되어, 입력된 콘텐츠 특징에 정량 스타일링 특징을 적용한 후, 정량적 이미지를 복원할 수 있다.
스타일 변환기(251)는 콘텐츠 특징 c16×16에 정량 스타일링 특징 Sq을 적용하여 스타일 변환한다. 스타일 변환기(251)는 수학식 2와 같이, 콘텐츠 특징을 정량적 이미지로 스타일 변환할 수 있다.. 스타일 변환기(251)에서 스타일 변환으로 생성된 정량적 이미지는 잔차 컨볼루션 블록(RES)으로 전달된다.
나머지 스타일 변환기(252, 253, 254)는 상위 단계로부터 콘텐츠 특징에 정량 스타일 특징이 반영된 정량적 이미지를 입력받고, 이를 해당 단계에 입력된 콘텐츠 특징에 적용하여 입력을 정량 스타일로 변환할 수 있다.
도 6은 한 실시예에 따른 신경망의 학습 방법의 흐름도이다.
도 6을 참고하면, 이미징 장치(100)는 시뮬레이션 팬텀을 통해 얻은 학습용 펄스-에코 데이터 그리고 목적 변수에 대한 정답값 정량적 이미지들을 학습 데이터로 입력받는다(S110).
이미징 장치(100)는 학습 데이터를 이용하여, 신경망(200)이 B-모드 이미지와 정량 스타일 특징으로부터 목적 변수의 정량적 이미지를 출력하도록, 신경망(200)을 훈련시킨다(S120). 이미징 장치(100)는 수학식 3과 같은 목적 함수를 이용하여, 신경망(200)을 학습시킬 수 있다. B-모드 이미지는 학습용 펄스-에코 데이터에 지연-합(Delay and Sum, DAS) 및 시간 이득 보상(time gain compensation, TGC)을 적용하여 생성될 수 있다. 정량 스타일 특징은 학습용 펄스-에코 데이터를 목적 변수에 따라 조건부 인코딩하여 추출될 수 있다.
도 7은 한 실시예에 따른 의료 초음파의 다변수 정량적 이미징 방법의 흐름도이다.
도 7을 참고하면, 이미징 장치(100)는 조직에서 수득된 펄스-에코 데이터를 입력받는다(S210). 펄스-에코 데이터는 서로 다른 빔패턴으로 방사된 초음파 신호에 대해 수득한 RF 데이터이다.
이미징 장치(100)는 펄스-에코 데이터에 포함된 목적 변수의 정량 스타일 특징을 추출한다(S220). 이미징 장치(100)는 학습된 스타일 인코더(210)를 이용하여, 펄스-에코 데이터에 포함된 정량 스타일 정보를 목적 변수 q에 따라 선택적으로 정규화하면서, 목적 변수의 정량 스타일 특징을 추출할 수 있다.
이미징 장치(100)는 펄스-에코 데이터로부터 생성된 B-모드 이미지의 콘텐츠 특징을 추출한다(S230). 이미징 장치(100)는 학습된 B-모드 인코더(230)를 이용하여, 펄스-에코 데이터에 지연-합 및 시간 이득 보상을 적용하여 B-모드 이미지를 생성하고, B-모드 이미지의 조직 구조 정보를 포함하는 콘텐츠 특징을 추출한다. 이미징 장치(100)는 B-모드 이미지로부터 다중 해상도의 콘텐츠 특징들을 추출할 수 있다.
이미징 장치(100)는 B-모드 이미지의 콘텐츠 특징들에 목적 변수의 정량 스타일 특징을 반영하여, 목적 변수의 정량적 이미지를 복원한다(S240). 이미징 장치(100)는 정량 스타일링 특징을 이용하여, B-모드 이미지의 콘텐츠 특징을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 정량적 이미지들을 점진적으로 복원하여 목적 변수의 상세한 정량적 이미지를 출력할 수 있다. 이미징 장치(100)는 HRNet 기반의 병렬적 다중 해상도 서브네트워크들로 구성된 디코더(250)를 이용하여, 다중 해상도 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 이들을 병렬 컨볼루션을 통해 융합하여 상세한 정량적 이미지를 출력할 수 있다. 디코더(250)는 스타일 변환기(style transfer)를 통해 B-모드 이미지의 콘텐츠 특징을 정량적 이미지들로 스타일 변환할 수 있다.
이와 같이, 이미징 장치(100)는 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 펄스-에코 데이터로부터 추출된 정량 스타일 정보의 상관 관계를 이용하여 목적 변수의 정량적 이미지를 출력한다.
도 8은 생체 모방 팬텀의 다변수 정량적 이미징 결과를 나타내는 도면이고, 도 9는 Ex-vivo 실험을 통한 다변수 정량적 이미징 결과를 나타내는 도면이다.
도 8을 참고하면, B-모드 이미지의 구조 정보를 이용하여 정량 정보를 추출하는 BQI-Net 신경망(200)은 갑상선 팬텀(Thyroid phantom)에서 주변 근육 배경으로 동맥(artery)을 명확하게 식별한다. 신경망(200)은 B-모드 이미지나 탄성영상 기법(Elastography)으로 추출한 이미지에 비해, 정확한 구조 정보를 포함하는 것을 알 수 있다. 또한, 표 1을 참고하면, 신경망(200)이 펄스-에코 데이터로부터 복원한 감쇠계수(AC), 음속도(SoS), 산란체 밀도(ESC), 산란체 크기(ESD)는 정답값의 범위에 존재하는 것을 확인할 수 있다.
Figure pat00025
암 병변의 구별 능력을 평가하기 위한 유방 팬텀(Breast phantom)에서, BQI-Net 신경망(200)이 병변을 조밀 종괴(dense mass)로 정확히 분류한 것을 확인할 수 있다. 또한, BQI-Net 신경망(200)은 낮은 음향 임피던스 대조(low acoustic impedance contrast)에도 불구하고, 고대비의 감쇠 계수 이미지 및 음속도 이미지를 제공한다. 신경망(200)은 0.04dB/cm/MHz 및 3m/s 미만의 오차로 병변의 감쇠 계수 및 음속도를 출력할 수 있다. 또한, 신경망(200)에서 추출한 병변의 ESD와 ESC는 배경보다 낮은 ESD와 높은 ESC를 가지는 것으로 보아, 신경망(200)이 작고 조밀한 종괴의 특성과 잘 상관된 결과를 출력하는 것을 알 수 있다.
도 9를 참고하면, BQI-Net 신경망(200)이 암 병변을 높은 특이도로 구별하는 것을 확인하기 위해, 낭종(Cyst), 양성(Benign), 악성(Malignant) 병변 조직을 이용하여 Ex-vivo 실험한 결과이다. 악성 세포 분열 및 농도를 고려하여 악성 병변은 낮은 ESD와 높은 ESC를 갖도록 제작된다.
BQI-Net 신경망(200)에서 복원한 양성 병변은 낭종 병변에 비해, 0.26dB/cm/MHz, 63m/s 더 높은 감쇠 계수와 음속도를 나타내고, 오차는 각각 2.0% 및 1.4% 미만이다. 이는 낭종 병변과 양성 병변의 실제 생체 역학적 차이에 해당한다.
BQI-Net 신경망(200)에서 복원한 악성 병변은 양성 병변보다 83.8μm 낮은 ESD와 4.21/wav2 높은 ESC를 나타낸다.
따라서, BQI-Net 신경망(200)에서 복원한 다양한 정량 정보를 기초로 병변을 구별할 수 있다.
도 10은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
도 10을 참고하면, 이미징 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(500)일 수 있고, 초음파 프로브(10) 또는 초음파 프로브(10)에서 획득된 데이터를 제공하는 장치와 연결된다.
컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 프로세서(510)에 의하여 수행되는 프로그램을 로드하는 메모리(530), 프로그램 및 각종 데이터를 저장하는 저장 장치(550), 통신 인터페이스(570), 그리고 이들을 연결하는 버스(590)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(500)는 다양한 구성 요소가 더 포함될 수 있다. 프로그램은 메모리(530)에 로드될 때 프로세서(510)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(510)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 명령어는 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 장치(550)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
저장 장치(550)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(550)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 통신을 지원한다. 이를 위해, 통신 인터페이스(570)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
버스(590)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한 다. 버스(590)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
이와 같이, 실시예에 따르면, 단일한 신경망을 통해 조직의 초음파 데이터로부터 실시간으로 다변수 정량적 이미지들을 재구성할 수 있다.
실시예에 따르면, 정확한 조직 구조 정보를 제공하는 B-모드 이미지에 정량 스타일 정보를 적용하여, 임상적으로 중요한 다양한 종류의 정량 정보를 동시에 제공할 수 있고, 암 병변을 식별하고 분류하는데 충분한 높은 민감도와 특이도를 제공할 수 있다.
실시예에 따르면, B-모드 이미징용 초음파 프로브 및 영상 기기를 그대로 이용할 수 있으므로, 영상 촬영이 간단하고, 기존 초음파 영상장비로 측정 가능한 여러 기관들의 측정이 가능하다.
실시예에 따르면, 단일 초음파 프로브를 이용하는 사용자의 숙련도에 관계없이, 고품질의 정량적 이미지를 복원할 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

  1. 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서,
    조직에서 수득된 펄스-에코 데이터를 입력받는 단계, 그리고
    상기 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 상기 펄스-에코 데이터로부터 추출된 정량 스타일 특징을 이용하여 목적 변수의 정량적 이미지를 출력하는 단계
    를 포함하는 동작 방법.
  2. 제1항에서,
    상기 펄스-에코 데이터는 서로 다른 빔패턴들로 상기 조직에 입사된 초음파 신호들이, 상기 조직에서 반사되어 되돌아온 RF(Radio Frequency) 데이터인, 동작 방법.
  3. 제1항에서,
    상기 목적 변수는
    음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함하는, 동작 방법.
  4. 제1항에서,
    상기 목적 변수의 정량적 이미지를 출력하는 단계는
    상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력하는, 동작 방법.
  5. 제1항에서,
    상기 목적 변수의 정량적 이미지를 출력하는 단계는
    상기 펄스-에코 데이터에 포함된 상기 목적 변수의 정량 스타일 특징을 추출하는 단계,
    상기 펄스-에코 데이터로부터 상기 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계, 그리고
    상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원하는 단계
    를 포함하는, 동작 방법.
  6. 제5항에서,
    상기 목적 변수의 정량 스타일 특징을 추출하는 단계는
    선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출하는, 동작 방법.
  7. 제5항에서,
    상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계는
    상기 B-모드 이미지에서 상기 조직의 기하학적 정보를 포함하는 상기 콘텐츠 특징들을 추출하는, 동작 방법.
  8. 제7항에서,
    상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계는
    다중 해상도 콘텐츠 특징들을 추출하는, 동작 방법.
  9. 제5항에서,
    상기 목적 변수의 정량적 이미지를 복원하는 단계는
    병렬적 다중 해상도 서브네트워크들(parallel multi-resolution subnetworks)을 이용하여, 고해상도의 정량적 이미지를 생성하는, 동작 방법.
  10. 적어도 하나의 프로세서에 의해 동작하는 이미징 장치의 동작 방법으로서,
    스타일 인코더를 이용하여, 펄스-에코 데이터에 포함된 목적 변수의 정량 스타일 특징을 추출하는 단계,
    B-모드 인코더를 이용하여, 상기 펄스-에코 데이터로부터 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하는 단계, 그리고
    디코더를 이용하여, 상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원하는 단계
    를 포함하는, 동작 방법.
  11. 제10항에서,
    상기 스타일 인코더는
    선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출하도록 학습된 신경망인, 동작 방법.
  12. 제10항에서,
    상기 B-모드 인코더는
    상기 펄스-에코 데이터로부터 B-모드 이미지를 생성하고, 상기 B-모드 이미지에서 기하학적 정보를 포함하는 상기 콘텐츠 특징들을 추출하도록 학습된 신경망인, 동작 방법.
  13. 제10항에서,
    상기 디코더는
    상기 B-모드 인코더에서 추출된 콘텐츠 특징들을 입력받고, 상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력하도록 학습된 신경망인, 동작 방법.
  14. 제13항에서,
    상기 디코더는
    병렬적 다중 해상도 서브네트워크들(parallel multi-resolution subnetworks)의 구조를 가지는 신경망인, 동작 방법.
  15. 제10항에서,
    상기 목적 변수는
    음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함하는, 동작 방법.
  16. 명령어들을 저장하는 메모리, 그리고
    상기 명령어들을 실행하여, 조직에서 수득된 펄스-에코 데이터를 입력받고, 상기 펄스-에코 데이터로부터 생성된 B-모드 이미지와, 상기 펄스-에코 데이터로부터 추출된 정량 스타일 특징을 이용하여 목적 변수의 정량적 이미지를 출력하는 프로세서
    를 포함하는 이미징 장치.
  17. 제16항에서,
    상기 프로세서는
    상기 정량 스타일링 특징을 이용하여 상기 B-모드 이미지의 콘텐츠 특징들을 정량적 이미지들로 스타일 변환하고, 스타일 변환으로 생성된 상기 정량적 이미지들을 복원하여 상기 목적 변수의 정량적 이미지를 출력하는, 이미징 장치.
  18. 제16항에서,
    상기 프로세서는
    상기 펄스-에코 데이터에 포함된 상기 목적 변수의 정량 스타일 특징을 추출하고,
    상기 펄스-에코 데이터로부터 상기 B-모드 이미지를 생성하고, 상기 B-모드 이미지의 콘텐츠 특징들을 추출하며,
    상기 B-모드 이미지의 콘텐츠 특징들에 상기 목적 변수의 정량 스타일 특징을 반영하여, 상기 목적 변수의 정량적 이미지를 복원하는, 이미징 장치.
  19. 제18항에서,
    상기 프로세서는
    선택된 목적 변수에 따른 조건부 인코딩을 통해, 상기 펄스-에코 데이터로부터 해당 목적 변수에 해당하는 정량 스타일 특징을 추출하는, 이미징 장치.
  20. 제16항에서,
    상기 목적 변수는
    음속도(Speed of Sound, SoS), 감쇠 계수(Attenuation Coefficient, AC), 산란체 밀도(Effective Scatterer Concentration, ESC), 그리고 산란체 크기(Effective Scatterer Diameter, ESD) 중 적어도 하나를 포함하는, 이미징 장치.
KR1020220033573A 2021-07-14 2022-03-17 의료 초음파의 정량적 이미징 방법 및 장치 KR20230011856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/009522 WO2023287083A1 (ko) 2021-07-14 2022-07-01 의료 초음파의 정량적 이미징 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210091918 2021-07-14
KR1020210091918 2021-07-14

Publications (1)

Publication Number Publication Date
KR20230011856A true KR20230011856A (ko) 2023-01-25

Family

ID=85109639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220033573A KR20230011856A (ko) 2021-07-14 2022-03-17 의료 초음파의 정량적 이미징 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230011856A (ko)

Similar Documents

Publication Publication Date Title
CN110381845B (zh) 具有用于导出成像数据和组织信息的神经网络的超声成像系统
WO2021004076A1 (zh) 基于人工智能芯片的适形穿戴式生物信息监测设备及系统
KR20210069655A (ko) 학습식 비선형 매핑을 기반으로 한 영상 복원 방법
KR102380167B1 (ko) 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치
WO2020047599A1 (en) Apparatus and process for medical imaging
Lu et al. Complex convolutional neural networks for ultrafast ultrasound imaging reconstruction from in-phase/quadrature signal
Jush et al. Dnn-based speed-of-sound reconstruction for automated breast ultrasound
JP2021530303A (ja) 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法
Jush et al. Deep learning for ultrasound speed-of-sound reconstruction: Impacts of training data diversity on stability and robustness
US20210204904A1 (en) Ultrasound diagnostic system
KR102655333B1 (ko) 초음파 데이터를 이용한 다변수 정량적 이미징 방법 및 장치
Oh et al. A neural framework for multi-variable lesion quantification through b-mode style transfer
Kim et al. Robust single-probe quantitative ultrasonic imaging system with a target-aware deep neural network
Duan et al. Validation of optical-flow for quantification of myocardial deformations on simulated RT3D ultrasound
KR20230011856A (ko) 의료 초음파의 정량적 이미징 방법 및 장치
Peterlik et al. Regularized image reconstruction for ultrasound attenuation transmission tomography
WO2023287083A1 (ko) 의료 초음파의 정량적 이미징 방법 및 장치
EP4045940A1 (en) Method and apparatus for deep learning-based ultrasound beamforming
Ossenkoppele et al. Improving Lateral Resolution in 3-D Imaging With Micro-beamforming Through Adaptive Beamforming by Deep Learning
KR20240061596A (ko) 경량 신경망을 이용한 정량적 초음파 이미징 방법 및 장치
US20210177380A1 (en) Method and apparatus for quantitative ultrasound imaging using single-ultrasound probe
Quang-Huy et al. Frequency-hopping along with Resolution-turning for Fast and Enhanced Reconstruction in Ultrasound Tomography
US20230360225A1 (en) Systems and methods for medical imaging
US20240037746A1 (en) Method and system of linking ultrasound image data associated with a medium with other image data associated with the medium
US20200222030A1 (en) Ultrasound image apparatus and method of controlling the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal