KR20230011855A - 의료 초음파의 정량 정보 추출 방법 및 장치 - Google Patents
의료 초음파의 정량 정보 추출 방법 및 장치 Download PDFInfo
- Publication number
- KR20230011855A KR20230011855A KR1020220033572A KR20220033572A KR20230011855A KR 20230011855 A KR20230011855 A KR 20230011855A KR 1020220033572 A KR1020220033572 A KR 1020220033572A KR 20220033572 A KR20220033572 A KR 20220033572A KR 20230011855 A KR20230011855 A KR 20230011855A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- interest
- pulse
- echo data
- quantitative information
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 65
- 239000000523 sample Substances 0.000 claims abstract description 35
- 238000011017 operating method Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims description 48
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 206010019708 Hepatic steatosis Diseases 0.000 claims description 21
- 210000004185 liver Anatomy 0.000 claims description 19
- 208000004930 Fatty Liver Diseases 0.000 claims description 18
- 208000010706 fatty liver disease Diseases 0.000 claims description 18
- 231100000240 steatosis hepatitis Toxicity 0.000 claims description 18
- 230000003187 abdominal effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 26
- 238000004088 simulation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000000090 biomarker Substances 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 210000004003 subcutaneous fat Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서, 조직으로 방사된 빔 패턴들에 따라 초음파 프로브의 센서들에서 수득된 펄스-에코 데이터를 입력받는 단계, 관심영역의 위치를 입력받는 단계, 그리고 입력으로부터 정량 정보를 추출하도록 학습된 신경망을 이용하여, 상기 펄스-에코 데이터로부터 상기 관심 영역의 정량 정보를 추출하는 단계를 포함한다.
Description
본 개시는 초음파 정량화 기술에 관한 것이다.
지방간(Hepatic steatosis)은 흔한 간 질환이다. 지방간은 생검(biopsy)을 통해 진단될 수 있지만, 이러한 침습적 방법은 감염 및 샘플링 오류의 위험이 있다. 자기공명영상(MRI)은 비침습적으로 간 지방증을 정량화할 수 있지만, 높은 비용과 제한된 접근성으로 인해 널리 사용되기 어렵다. 현재 간 지방증의 진단에는 의료용 초음파가 이용되고 있다.
현재 가장 많이 상용화되어 있는 초음파 영상 장비로서, B-모드(Brightness mode) 이미징 시스템이 있다. B-모드 이미징 방법은 초음파가 물체 표면에서 반사되어 돌아오는 시간과 세기를 통해 물체 위치와 크기를 파악하는 방법이다. B-모드는 실시간으로 병변의 위치를 찾아주기 때문에, 사용자가 병변을 실시간으로 모니터링하면서 원하는 영상을 효율적으로 얻을 수 있고, 안전하고 비교적 저렴하여 접근성이 좋다. 하지만 사용자의 숙련도에 따라 이미지의 질이 일정하게 유지되지 못하고, 정량 정보를 추출하지 못한다는 단점이 있다.
조직의 감쇠 계수(Attenuation Coefficient, AC)는 병리학적 특성에 대한 높은 민감도로 인해 정량적 바이오마커로서 큰 잠재력을 가지고 있다. 특히, 감쇠 계수가 지방간 진단의 새로운 바이오마커로 부상하고 있지만, 현재 가장 많이 상용화되어 있는 초음파 영상 장비는 이러한 정량 정보를 제공하지 못하는 한계가 있다.
본 개시는 의료 초음파의 정량 정보를 추출하는 방법 및 장치에 관한 것이다.
본 개시는 단일 초음파 프로브로 획득한 펄스-에코 데이터에서 감쇠 계수와 같은 정량 정보를 추출하는 방법 및 장치를 제공하는 것이다.
본 개시는 관심영역의 위치에 따른 라 적응적 정규화(ROI Adaptive Normalization, RAN)를 수행하는 신경망을 제공하는 것이다.
본 개시는 복부 초음파로부터 추출한 간 영역의 감쇠 계수를 기초로 지방간 관련 정보를 제공하는 방법 및 장치를 제공하는 것이다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서, 조직으로 방사된 빔 패턴들에 따라 초음파 프로브의 센서들에서 수득된 펄스-에코 데이터를 입력받는 단계, 관심영역을 입력받는 단계, 그리고 입력으로부터 정량 정보를 추출하도록 학습된 신경망을 이용하여, 상기 펄스-에코 데이터로부터 상기 관심 영역의 정량 정보를 추출하는 단계를 포함한다.
상기 관심영역을 입력받는 단계는 상기 펄스-에코 데이터로 생성된 B-모드 이미지에서 상기 관심영역의 위치를 입력받을 수 있다.
상기 동작 방법은 상기 관심영역의 위치에 따라, 상기 펄스-에코 데이터에서 관심영역 펄스-에코 데이터를 추출하고, 상기 관심영역 펄스-에코 데이터를 상기 신경망으로 입력하는 단계를 더 포함할 수 있다.
상기 신경망은 상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화할 수 있다.
상기 신경망은 입력 펄스-에코 데이터에 포함된 정량 특징을 인코딩하여 인코딩 프로파일을 생성하고, 관심영역 적응적 정규화 레이어를 통해 각 센서 특징을 정규화하면서 상기 인코딩 프로파일로부터 정량 정보를 추출할 수 있다.
상기 정량 정보는 감쇠 계수일 수 있다.
상기 펄스-에코 데이터는 복부 초음파 데이터이고, 상기 관심영역은 간(Liver)의 부분 영역을 포함할 수 있다.
상기 동작 방법은 상기 펄스-에코 데이터로부터 추출된 상기 감쇠 계수를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계를 더 포함할 수 있다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서, 복부로 방사된 빔 패턴들에 따라 초음파 프로브의 센서들에서 수득된 펄스-에코 데이터를 입력받는 단계, 상기 펄스-에코 데이터로부터 생성된 B-모드 이미지를 인터페이스 화면에 제공하고, 상기 인터페이스 화면에서 관심영역을 입력받는 단계, 입력으로부터 정량 정보를 추출하도록 학습된 신경망으로 상기 펄스-에코 데이터와 상기 관심영역의 위치를 입력하고, 상기 관심영역의 정량 정보를 추출하는 단계, 그리고 상기 정량 정보 및/또는 상기 정량 정보를 기초로 추출된 분석 정보를 상기 인터페이스 화면에 제공하는 단계를 포함한다.
상기 동작 방법은 감쇠 계수를 포함하는 상기 정량 정보를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계를 더 포함할 수 있다.
상기 관심영역의 위치는 상기 초음파 프로브로부터의 깊이 및 각도를 나타내는 벡터로 표현될 수 있다.
상기 신경망은 상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화하는 관심영역 적응적 정규화 레이어를 포함할 수 있다.
상기 신경망은 입력 펄스-에코 데이터에 포함된 정량 특징을 인코딩하여 인코딩 프로파일을 생성하고, 상기 관심영역 적응적 정규화 레이어를 통해 각 센서 특징을 정규화하면서 상기 인코딩 프로파일로부터 상기 관심영역의 관심계수를 추출할 수 있다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서, 초음파 프로브의 센서들에서 빔 패턴들에 따라 수득된 펄스-에코 데이터로부터, 관심영역의 펄스-에코 데이터를 추출하는 단계, 상기 관심영역의 펄스-에코 데이터를 빔 패턴의 각도에 해당하는 채널별로 인코딩하고, 채널별로 인코딩된 출력을 통합하여 인코딩 프로파일을 생성하는 단계, 상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여, 상기 인코딩 프로파일에 포함된 각 센서의 특징을 정규화하는 단계, 그리고 상기 관심영역의 위치에 적응적으로 정규화된 특징으로부터 상기 관심영역의 정량 정보를 추출하는 단계를 포함한다.
상기 관심영역의 위치는 상기 초음파 프로브로부터의 깊이 및 각도를 나타내는 벡터로 표현될 수 있다.
상기 각 센서의 정규화 파라미터들은 각 센서의 특징을 스케일링 및 이동시키는 파라미터들일 수 있다.
상기 관심영역의 정량 정보를 추출하는 단계는 순차 회귀 레이어를 통해 상기 인코딩 프로파일에 포함된 정량 정보를 추출하도록 학습된 회귀 네트워크를 이용하여, 상기 관심영역의 정량 정보를 추출할 수 있다.
상기 정량 정보는 감쇠 계수일 수 있다.
상기 펄스-에코 데이터는 복부 초음파 데이터이고, 상기 관심영역은 간(Liver)의 부분 영역을 포함할 수 있다.
상기 동작 방법은 상기 관심영역의 감쇠 계수를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계를 더 포함할 수 있다.
실시예에 따르면, B-모드(Brightness mode) 이미징용 초음파 프로브 및 영상기기를 그대로 이용해서 정량 정보를 추출할 수 있고, 특히 초음파를 통해, 지방간 판단에 사용되는 바이오마커인 감쇠 계수를 획득할 수 있다.
실시예에 따르면, 관심영역 적응적 빔 포커싱(ROI adaptive beam focusing) 및 포락선 검출(envelope detection)을 통해 추정 정확도와 잡음 복원력을 높일 수 있다.
실시예에 따르면, 관심영역 적응적 정규화를 통해 감쇠 계수를 정확히 추출할 수 있다. 실시예에 따르면, 자기공명영상(MRI)을 이용하여 획득한 양성자밀도지방분율(Proton Density Fat Fraction, PDFF)과 추출된 감쇠 계수와의 상관관계를 통해 임상적 타당성을 제공할 수 있다.
도 1은 한 실시예에 다른 정량 정보 추출 장치의 개념도이다.
도 2는 관심영역 적응적 빔 포커싱을 설명하는 도면이다.
도 3은 한 실시예에 따른 관심영역의 정량 정보를 제공하는 화면의 예시이다.
도 4는 한 실시예에 따른 관심영역의 위치를 설명하는 도면이다.
도 5는 한 실시예에 따른 신경망의 개념도이다.
도 6은 한 실시예에 따른 인코더의 네트워크 구조이다.
도 7은 한 실시예에 따른 회귀 네트워크의 구조이다.
도 8은 시뮬레이션 팬텀의 예시이다.
도 9는 한 실시예에 따른 신경망의 학습 방법의 흐름도이다.
도 10은 한 실시예에 따른 정량 정보 추출 방법의 흐름도이다.
도 11은 한 실시예에 따른 복부 초음파 기반의 정량 정보 제공 방법의 흐름도이다.
도 12와 도 13은 한 실시예에 따른 신경망을 이용한 감쇠 계수 추출결과를 나타내는 도면이다.
도 14는 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
도 2는 관심영역 적응적 빔 포커싱을 설명하는 도면이다.
도 3은 한 실시예에 따른 관심영역의 정량 정보를 제공하는 화면의 예시이다.
도 4는 한 실시예에 따른 관심영역의 위치를 설명하는 도면이다.
도 5는 한 실시예에 따른 신경망의 개념도이다.
도 6은 한 실시예에 따른 인코더의 네트워크 구조이다.
도 7은 한 실시예에 따른 회귀 네트워크의 구조이다.
도 8은 시뮬레이션 팬텀의 예시이다.
도 9는 한 실시예에 따른 신경망의 학습 방법의 흐름도이다.
도 10은 한 실시예에 따른 정량 정보 추출 방법의 흐름도이다.
도 11은 한 실시예에 따른 복부 초음파 기반의 정량 정보 제공 방법의 흐름도이다.
도 12와 도 13은 한 실시예에 따른 신경망을 이용한 감쇠 계수 추출결과를 나타내는 도면이다.
도 14는 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 개시의 신경망은 적어도 하나의 태스크를 학습하는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 프로그램은 저장 매체(non-transitory storage media)에 저장되고, 프로세서에 의해 본 개시의 동작을 실행하도록 기술된 명령들(instructions)을 포함한다. 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
도 1은 한 실시예에 따른 정량 정보 추출 장치의 개념도이고, 도 2는 관심영역 적응적 빔 포커싱을 설명하는 도면이고, 도 3은 한 실시예에 따른 관심영역의 정량 정보를 제공하는 화면의 예시이며, 도 4는 한 실시예에 따른 관심영역의 위치를 설명하는 도면이다.
도 1을 참고하면, 정량 정보 추출 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서, 단일한 초음파 프로브(10)에서 수득된 펄스-에코 데이터를 입력받고, 신경망(200)을 이용하여 조직의 정량 정보를 추출한다. 정량 정보 추출 장치(100)는 본 개시에서 설명하는 동작을 위한 컴퓨터 프로그램을 탑재하고, 컴퓨터 프로그램은 프로세서에 의해 실행된다.
신경망(200)에서 출력되는 정량 정보는 학습 데이터에 따라 달라질 수 있는데, 설명에서, 감쇠 계수(Attenuation Coefficient, AC)를 예로 들어 설명한다. 이외에도, 신경망(200)이 음속도, 산란체 밀도, 산란체 크기 등의 정량 정보를 출력하도록 학습될 수 있다.
초음파 프로브(10)는 N개(예를 들면, 128개)의 초음파 센서들이 배열되고, 센서들은 압전 소자들(piezoelectrical elements)로 구현될 수 있다. 또한, 초음파 프로브(10)는 각 소자에 일정한 시간 간격으로 전기적 신호를 가하여 초음파 신호를 생성하는 위상차 배열(phased array) 프로브일 수 있다. 참고로, 초음파 프로브(10)는 전형적인 B-모드 이미징용 프로브일 수 있다.
초음파 프로브(10)는 서로 다른 빔 패턴(Tx pattern #1~ #k)으로 초음파 신호를 조직에 순차적으로 방사하고, 조직에서 반사되어 되돌아온 RF(Radio Frequency) 데이터를 획득할 수 있다. 복수의 빔 패턴들로부터 수득된 RF 데이터를 묶어서, 간단히 펄스-에코 데이터라고 부른다. 펄스-에코 데이터는 빔포밍 초음파 데이터(beamformed ultrasound data)라고 부를 수 있다. 빔 패턴은 초점 깊이(focal depth)와 각도(steering angle)로 정의될 수 있다. 초음파 신호는 예를 들면, 7개의 각도(-12°, -8°, -4°, 0°, 4°, 8°, 12°)로 입사될 수 있다. 초점 깊이는 예를 들면, 6개의 깊이(40mm, 50mm, 60mm, 70mm, 80mm, 90mm)로 조정할 수 있다.
한편, 초음파 프로브(10)에서 수득된 펄스-에코 데이터는, 초음파 프로브(10)의 센서별로, 전송 지연 시간 정보를 포함한다. 펄스-에코 데이터는 센서별 지연 시간 정보를 나타내는 이미지로 표현될 수 있다. 빔 패턴(F,
)에서의 센서별 전송 지연 시간(transmission time delay, DT)는 수학식 1과 같이 계산될 수 있다.
수학식 1에서, Tx는 초음파 프로브(10)의 전송 센서의 순서이고, 
는 트랜스듀서 간격(pitch)이고, co는 평균 음속도(Speed of Sound)이고, 
는 빔 패턴의 각도이며, F는 빔 패턴의 초점거리이다.
도 2를 참고하면, 초음파 프로브(10)는 관심영역 적응적 빔 포커싱(ROI adaptive beam focusing)을 통해 타겟 영역에 파동을 집중시킬 수 있다. 이를 통해 획득한 펄스-에코 데이터를 사용함으로써 추정 정확도와 잡음 복원력을 높일 수 있다. 예를 들어, 복부 초음파의 관심영역은 간(liver)의 부분 영역일 수 있다.
정량 정보 추출 장치(100)는 펄스-에코 데이터에서 관심영역(Region of Interest, ROI)의 정량 정보를 추출한다. 정량 정보 추출 장치(100)는 사용자(오퍼레이터)로부터 관심영역을 입력받고, 펄스-에코 데이터에서 관심영역의 정량 정보를 추출할 수 있다.
도 3을 참고하면, 정량 정보 추출 장치(100)는 펄스-에코 데이터로부터 생성된 B-모드 이미지를 인터페이스 화면(300)에 표시하고, 사용자(오퍼레이터)로부터 관심영역(310)을 입력을 수 있다. 사용자는 인터페이스 화면(300)에서 적어도 하나의 관심영역을 설정할 수 있다. 인터페이스 화면(300)에서 설정되는 관심영역(310)의 위치는 초음파 프로브로부터의 깊이와, 초음파 프로브의 중심 축으로부터의 각도로 표현될 수 있다.
정량 정보 추출 장치(100)는 인터페이스 화면(300)에 관심영역(310)의 정량 정보, 예를 들면 감쇠계수(AC)를 표시할 수 있다. 또한, 정량 정보 추출 장치(100)는 관심영역(310)이 간(liver) 영역인 경우, 정량 정보(감쇠계수)를 기초로 추출한 지방간 관련 정보, 예를 들면, 지방 비율(Fat ratio)을 더 표시할 수 있다.
도 4를 참고하면, 인터페이스 화면(300)에서 설정되는 관심영역(310)의 위치는 예를 들면, 복수의 깊이 값(40mm, 50mm, 60mm, 70mm, 80mm, 90mm)과 복수의 각도 값(-6°, -3°, 0°, -3°, 6°)으로 정의될 수 있다.
또는, 인터페이스 화면(300)에서 설정되는 관심영역(310)의 위치는 사용자에 의해 선택된 임의 좌표를 포함하는 일정 크기의 영역으로 정의될 수 있다.
정량 정보 추출 장치(100)는 관심영역의 위치에 따라 펄스-에코 데이터의 세기를 적응적으로 정규화(ROI Adaptive Normalization, RAN)하는 신경망(200)을 포함하고, 신경망(200)을 통해 펄스-에코 데이터에 포함된 정량 정보(감쇠 계수)를 추출한다. 음파의 감쇠는 투과 매질의 감쇠 특성과 전파 거리의 함수이므로 관심영역의 위치에 따라 센서별 수신 데이터를 적응적으로 정규화한다.
정량 정보 추출 장치(100)는 수신된 펄스-에코 데이터에서, 관심영역의 데이터를 추출하고, 이를 신경망(200)으로 입력할 수 있다. 관심영역의 데이터를 추출하는 전처리 방법은 다양할 수 있다. 예를 들면, 정량 정보 추출 장치(100)는 펄스-에코 데이터를 관심영역을 기초로 크롭(crop)할 수 있다. 이때, 정량 정보 추출 장치(100)는 펄스-에코 데이터를 포락선 검출(envelope-detection)하고, 포락선 검출된 펄스-에코 데이터를 관심영역을 기초로 크롭할 수 있다. 예를 들어, 정량 정보 추출 장치(100)는 15cm까지의 펄스-에코 데이터가 입력되면, 관심 영역(예를 들어, 6cm 깊이 간 영역)의 데이터를 얻기 위해, 펄스-에코 데이터를 크롭할 수 있다.
신경망(200)은 펄스-에코 데이터에서 전체 영역의 정량 정보를 추출하고, 전체 영역 중 관심영역의 정량 정보를 추출할 수 있다. 또는, 신경망(200)은 관심영역의 정량 정보를 빠르고 정확하게 추출하기 위해, 관심영역의 데이터로 전처리된 펄스-에코 데이터를 입력받을 수 있다. 신경망(200)은 포락선 검출된 펄스-에코 데이터(envelope detected pulse-echo data)를 입력받을 수 있다. 신경망(200)은 관심영역 적응형 정규화 (ROI adaptive normalization) 방법을 이용하여 펄스-에코 데이터로부터 관심 영역의 위치와 관계없이 정확한 정량 정보를 추출할 수 있다.
신경망(200)은 펄스-에코 데이터에 포함된 감쇠 특징을 인코딩하는 인코더, 그리고 인코더의 출력으로부터 감쇠 정보를 추출하는 디코더를 포함한다. 디코더는 다양하게 구현될 수 있는데, 설명에서는 회귀 네트워크(regression network)를 예로 들어 설명한다.
신경망(200)은 빔 패턴의 각도에 해당하는 채널별로 순차 컨볼루션 네트워크를 구성하고, 채널별 순차 컨볼루션 네트워크를 통해, 해당 채널로 입력된 펄스-에코 데이터에 포함된 감쇠 특징을 인코딩할 수 있다. 이때, 신경망(200)은 관심영역의 위치를 기초로 크롭된 펄스-에코 데이터를 입력받을 수 있다.
감쇠 계수를 출력하도록 학습된 신경망(200)은 채널별로 인코딩된 출력을 통합하여, 감쇠 특징에 대한 인코딩 프로파일을 추출할 수 있다. 그리고, 신경망(200)은 순차 회귀 레이어를 통해 인코딩 프로파일에 포함된 감쇠 계수를 추출한다. 이때, 신경망(200)은 초음파 프로브의 센서별로 관심영역에 종속된 파라미터들(ROI-dependent parameters)을 이용하여, 인코딩 프로파일에서 각 센서의 특징값을 스케일링(scaling) 및 이동(shift)하여 정규화할 수 있다. 이를 위해, 신경망(200)은 관심영역 적응적 정규화(ROI Adaptive Normalization, RAN) 레이어를 포함할 수 있다. 관심영역 적응적 정규화 레이어를 통해, 센서들에서 획득한 데이터가 관심영역의 위치에 따라 조정되기 때문에, 추정 정확도와 잡음 복원력을 높일 수 있다.
도 5는 한 실시예에 따른 신경망의 개념도이다.
도 5를 참고하면, 신경망(200)은 펄스-에코 데이터(20)에 포함된 정량적인 특징을 인코딩하는 인코더(210), 그리고 인코더(210)의 출력으로부터 정량 정보를 추출하는 회귀 네트워크(230)를 포함할 수 있다. 여기서, 신경망(200)은 감쇠 계수를 출력하도록 학습되었다고 가정한다.
펄스-에코 데이터(20)는 초음파 프로브(10)에서 특정 초점 깊이(F) 및 각도(
:
)의 빔 패턴(F, 
:
)에 대해 획득한 초음파 데이터이다. 각 빔 패턴의 펄스-에코 데이터는 128(센서 수) x 2048(시간)의 이미지로 획득될 수 있다. 인코더(210)는 펄스-에코 데이터(20)를 입력받을 수 있지만, 관심영역으로 가이드된 펄스-에코 데이터(22)를 입력받을 수 있다. 이를 위해, 정량 정보 추출 장치(100)는 펄스-에코 데이터(20)을 관심영역의 위치를 기초로 잘라서, 크롭된(cropped) 펄스-에코 데이터(22)를 생성할 수 있다.
펄스-에코 데이터(20)를 관심영역의 위치에 따라 전처리하여, 관심영역의 펄스-에코 데이터(22)가 생성될 수 있다. 예를 들면, 펄스-에코 데이터(20)에서 관심영역의 펄스-에코 데이터(22)를 추출하기 위해, 크롭 마스크(crop mask)(30)가 사용될 수 있다. 크롭 마스크(30)는 관심영역의 위치에 따라 생성될 수 있다. 관심영역의 위치는 관심영역의 깊이 및 각도를 나타내는 관심영역 벡터(40)로 표현될 수 있다.
관심영역의 위치를 나타내는 관심영역 벡터(40)는 다양한 형태로 표현될 수 있다. 예를 들면, 관심영역 벡터(40)는 관심영역의 깊이를 나타내는 원-핫 벡터와 각도를 나타내는 원-핫 벡터가 결합된 형태로 표현될 수 있다. 관심영역 벡터(40)는 관심영역의 위치를 나타내는 벡터로서, 예를 들면, 6개의 깊이(40mm, 50mm, 60mm, 70mm, 80mm, 90mm)와 5개의 각도(-6°, -3°, 0°, -3°, 6°)를 나타내는 11차원의 벡터일 수 있다. 예를 들어, 깊이가 50mm이고, 각도가 0°인 관심 영역은 “01000000100”로 표현될 수 있다. 사용자가 도 4의 인터페이스 화면(300)에서 관심영역을 설정하면, 관심영역의 위치에 따라 관심영역 벡터(40)가 생성될 수 있다.
인코더(210)는 크롭된 펄스-에코 데이터(22)를 입력받고, 빔 패턴에 해당하는 채널별로 순차 컨볼루션 네트워크를 구성하고, 채널별 순차 컨볼루션 네트워크를 통해, 해당 채널로 입력된 펄스-에코 데이터에 포함된 감쇠 특징을 인코딩할 수 있다. 인코더(210)는 채널별로 인코딩된 출력을 통합하여, 감쇠 특징에 대한 인코딩 프로파일을 출력할 수 있다.
회귀 네트워크(230)는 순차 회귀 레이어를 통해 인코딩 프로파일에 포함된 감쇠 계수를 추출한다. 이때, 회귀 네트워크(230)는 초음파 프로브의 센서별 정규화 파라미터들(
, 
)을 이용하여, 인코딩 프로파일에서 각 센서의 특징을 스케일링(scaling) 및 이동(shift)하여 정규화할 수 있다. 센서별 정규화 파라미터들은 관심영역에 종속된 파라미터들(ROI-dependent parameters)일 수 있다. 음파의 감쇠는 투과 매질의 감쇠 특성과 전파 거리의 함수이므로 관심영역의 위치에 따라 수신 데이터를 적응적으로 정규화한다. 이러한 센서 차원에서의 정규화를 위해, 회귀 네트워크(230)는 관심영역 적응적 정규화(ROI Adaptive Normalization, RAN) 레이어를 포함할 수 있다.
각 센서의 특징 x(n, m)은 수학식 2와 같이, 
및 
에 의해 X(n,m)으로 정규화될 수 있다. 수학식 2에서, n은 시간이고, m은 센서 순서이고, 
은 m번째 센서의 데이터 평균이고, 
은 m번째 센서의 데이터 표준편차이다.
센서별 정규화 파라미터들 
, 
은 정규화 파라미터 제공부(250)에서 제공될 수 있다. 정규화 파라미터 제공부(250)는 관심영역의 위치에 따라, 각 센서의 특징을 정규화하는 파라미터들을 출력할 수 있다. 관심영역의 위치는 관심영역 벡터(40)로 표현될 수 있다. 정규화 파라미터 제공부(250)는, 관심영역의 위치를 기초로, 각 센서에서 획득된 특징을 정규화하는 파라미터들, 예를 들면, 128개 센서들에 대한 스케일링 파라미터들(
~
)과 이동 파라미터들(
~
)을 제공할 수 있다. 정규화 파라미터들은 관심영역의 위치에 따라 생성되므로, 관심영역 종속 파라미터들이다.
정규화 파라미터 제공부(250)는 관심영역의 위치를 나타내는 관심영역 벡터(40)를 입력받아, 센서별 정규화 파라미터들을 출력할 수 있는 다양한 네트워크 구조를 가질 수 있다. 예를 들면, 정규화 파라미터 제공부(250)는 4개의 공통 블록들, 그리고 이에 병렬로 연결되는 4개의 스케일링 파라미터 블록들과 4개의 이동 파라미터 블록들로 구성될 수 있다. 각 블록은 완전 연결 레이어(Fully-connected layer)와 활성 레이어(예를 들면, ReLU)로 구성될 수 있다.
도 6은 한 실시예에 따른 인코더의 네트워크 구조이고, 도 7은 한 실시예에 따른 회귀 네트워크의 구조이다.
도 6을 참고하면, 인코더(210)는 빔 패턴의 각도에 해당하는 채널별로 입력을 인코딩한다. 인코더(210)는 관심영역의 데이터를 포함하는 펄스-에코 데이터(22)를 입력받을 수 있다. 인코더(210)는 포락선 검출된 펄스-에코 데이터를 관심영역으로 크롭한 이미지들을 입력받을 수 있다. 각 채널은 컨볼루션 기반의 순차적인 인코딩 레이어들(211, 212, 213)을 통해 입력을 인코딩한다. 채널별로 인코딩된 출력은 노드(214)에서 통합되고, 노드(214)에서 감쇠 특징에 대한 인코딩 프로파일이 출력될 수 있다.
각 인코딩 레이어는 잔차 네트워크(residual network)로 구성될 수 있다. 각 인코딩 경로는 1x2 스트라이드의 3x3 2차원 컨볼루션 레이어과 ReLU 레이어로 시작될 수 있다.
도 7을 참고하면, 회귀 네트워크(230)는 순차 회귀 레이어(231, 232, 233, 234)를 통해 인코딩 프로파일에 포함된 감쇠 계수를 추출하고, 완전 연결 레이어(FC)(235)를 통해 감쇠 계수를 출력할 수 있다.
순차 회귀 레이어(231, 232, 233, 234) 중 적어도 하나의 레이어에, 관심영역의 위치에 따라 센서별 데이터를 적응적으로 정규화하는 관심영역 적응적 정규화(ROI Adaptive Normalization, RAN) 모듈이 포함될 수 있다.
예를 들면, 제1 회귀 레이어(231)는 스킵 연결(skip connection)이 구현된, 연속된 단위 블록들로 구현될 수 있다. 단위 블록은 예를 들면, 3x3 2차원 컨볼루션 레이어, 정규화 레이어, Leaky ReLU 레이어를 포함할 수 있다. 이때, 정규화 레이어(236)는 관심영역의 위치에 따라 센서별 데이터를 적응적으로 정규화하는 관심영역 적응적 정규화(RAN) 레이어일 수 있다. 정규화 레이어(236)는 수학식 2에 따라 각 센서의 특징 x(n, m)을 
및 
에 의해 X(n,m)으로 정규화할 수 있다.
인코딩 프로파일이 관심영역에 따라 크롭된 펄스-에코 데이터로부터 추출되므로, 회귀 네트워크(230)는 관심영역의 위치에 따라 각 센서의 특징을 정규화하는 것이다. 이를 통해, 인코딩 프로파일은 센서 차원(sensor dimension)에서 관심영역의 위치에 따라 적응적으로 정규화된다.
이후, 제1 회귀 레이어(231)를 따르는 후속 회귀 레이어들(232, 233, 234)은 배치 정규화를 하면서 특징으로부터 감쇠 계수를 복원한다.
도 8은 시뮬레이션 팬텀의 예시이다.
도 8을 참고하면, 신경망(200)의 학습을 위해, 초음파 촬영이 이루어지는 부위를 시뮬레이션 팬텀(simulation phantoms)으로 구현할 수 있다. 예를 들면, 복부 초음파로부터 정량 정보를 추출하는 신경망(200)의 학습을 위해서, 복부의 장기(organs)와 병변(lesions)을 모방한 시뮬레이션 팬텀을 생성할 수 있다.
예를 들면, 시뮬레이션 팬텀에, 반지름이 10mm~100mm인 타원을 임의의 위치에 1~5개 배치하여 장기와 병변을 표현할 수 있다. 또한 시뮬레이션 팬텀에, 축방향 반경 1mm~2mm, 측면 반경 10mm~100mm의 5개의 타원을 30mm 깊이에 배치하여 피하지방(subcutaneous fat)을 표현할 수 있다.
장기인 간(liver)의 전파 특성을 모델링하기 위해, 음속도는 1500m/s~1600m/s, 감쇠 계수는 0dB/MHz/cm~1.5dB/MHz/cm, 배경 밀도는 900 kg/m3에서 1100 kg/m3로 설정될 수 있다. 피하지방을 나타내는 타원 객체의 음속도는 1400m/s에서 1700m/s로 설정될 수 있다. 산란체(scatterers)를 모델링하기 위해, 단위 영역에 10개 이내의 산란체들을 균등하게 분포시킬 수 있다.
신경망(200)의 학습 데이터는 시뮬레이션 팬텀을 통해 얻은 펄스-에코 데이터로 구성될 수 있고, 초음파 시뮬레이션 툴(예를 들면, Matlab의 k-wave toolbox)을 이용하여 수집될 수 있다. 예를 들면, 4,000개의 시뮬레이션 팬텀을 통해, 신경망(200)을 학습시킬 수 있다. 여기서 3200개의 팬텀은 학습용이고, 400개의 팬텀은 검증용이며, 400개의 팬텀은 테스트용으로 사용될 수 있다.
시뮬레이션 팬텀에서 관심영역의 위치는 일정 깊이(예를 들면, 40mm~90mm)와 일정 각도 사이에서 조정될 수 있다. 관심영역의 크기는 깊이 축에서 ± 5 mm, 각도 축에서 ± 2º로 설정될 수 있다. 펄스-에코 데이터는 관심영역 주변에서 ±35mm 추가적인 수직 영역을 포함하도록 잘릴 수 있다.
훈련 장치는 시뮬레이션 팬텀을 통해 얻은 펄스-에코 데이터로부터, 시뮬레이션 팬텀의 정량 정보, 즉 감쇠 계수가 추정되도록, 신경망(200)을 훈련시킬 수 있다. 편의 상, 정량 정보 추출 장치(100)가 신경망(200)을 훈련시킨다고 설명하나, 신경망(200)은 별도 장치에 의해 훈련된 후, 정량 정보 추출 장치(100)에 설치될 수 있다.
목적 함수 J는 수학식 3과 같이 정의될 수 있고, 신경망(200)은 추정값과 정답값의 차이가 최소화되도록 학습한다.
수학식 3에서, Y는 정답값(ground truth)이고, G(E1:7,P)는 신경망(200)의 출력값이다. E1:7는 입력된 펄스-에코 데이터로서, 관심영역의 위치에 따라 크롭된 펄스-에코 데이터일 수 있다. P는 관심영역의 위치(깊이 및 각도)를 나타내는 값으로서, 벡터로 표현될 수 있다. λ는 정규화 파라미터로서, 신경망의 가중치 wi를 정규화하여 과적합을 피하기 위해 사용된다.
도 9는 한 실시예에 따른 신경망의 학습 방법의 흐름도이다.
도 9를 참고하면, 정량 정보 추출 장치(100)는 시뮬레이션 팬텀을 통해 얻은 학습용 펄스-에코 데이터 그리고 정답값(ground truth)인 정량 정보를 학습 데이터로 입력받는다(S110). 정량 정보는 감쇠 계수일 수 있다. 시뮬레이션 팬텀에서 관심영역의 위치는 일정 깊이와 일정 각도 사이에서 조정될 수 있다. 학습용 펄스-에코 데이터는 초음파 시뮬레이션 툴을 이용하여 수집될 수 있다.
정량 정보 추출 장치(100)는 관심영역의 위치를 기초로, 학습용 펄스-에코 데이터에서 관심영역 펄스-에코 데이터를 생성하는 전처리를 수행한다(S120). 관심영역의 위치는 관심영역의 깊이 및 각도를 나타내는 벡터로 표현될 수 있다. 경우에 따라, 관심영역 펄스-에코 데이터를 생성하는 전처리가 생략될 수 있다.
정량 정보 추출 장치(100)는 전처리된 펄스-에코 데이터, 그리고 관심영역의 위치에 따른 각 센서의 정규화 파라미터들을 신경망(200)으로 입력하고, 입력에 대한 추정값과 정답값의 차이가 최소화되도록 신경망(200)을 학습시킨다(S130). 신경망(200)은 펄스-에코 데이터에 포함된 정량적인 특징을 인코딩하는 인코더(210), 그리고 인코더(210)의 출력으로부터 정량 정보를 추출하는 회귀 네트워크(230)를 포함할 수 있다. 회귀 네트워크(230)는 각 센서의 정규화 파라미터들을 이용하여, 각 센서의 특징을 정규화하는 관심영역 적응적 정규화 레이어를 포함할 수 있다.
도 10은 한 실시예에 따른 정량 정보 추출 방법의 흐름도이다.
도 10을 참고하면, 정량 정보 추출 장치(100)는 빔 패턴들에 따라 초음파 프로브(10)의 센서들에서 수득된 펄스-에코 데이터를 입력받는다(S210). 펄스-에코 데이터는 다양한 빔 패턴으로 초음파 신호를 순차적으로 방사하고, 조직에서 반사되어 되돌아온 RF 데이터이다. 빔 패턴은 초점 깊이와 각도로 정의될 수 있다.
정량 정보 추출 장치(100)는 관심영역을 입력받는다(S220). 정량 정보 추출 장치(100)는 펄스-에코 데이터로 생성된 B-모드 이미지에서 선택된 관심영역을 입력받을 수 있다. 관심영역의 위치는 관심영역의 깊이 및 각도를 나타내는 벡터로 표현될 수 있다.
정량 정보 추출 장치(100)는 학습된 신경망(200)으로 펄스-에코 데이터와 관심영역의 위치를 입력하고, 관심영역의 정량 정보를 추출한다(S230). 신경망(200)은 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화한 후, 인코딩 프로파일에 포함된 정량 정보를 추출한다. 신경망(200)은 관심 영역(간 영역)의 감쇠 계수를 추출하도록 학습될 수 있고, 지방간 판단에 사용되는 감쇠 계수를 추출할 수 있다.
한편, 정량 정보 추출 장치(100)는 관심영역의 위치를 기초로, 펄스-에코 데이터에서 관심영역의 펄스-에코 데이터를 추출하고, 이를 신경망(200)으로 입력할 수 있다. 정보 추출 장치(100)는 관심영역의 위치를 기초로 생성된 크롭 마스크를 이용하여, 펄스-에코 데이터에서, 관심영역의 펄스-에코 데이터를 크롭할 수 있다.
도 11은 한 실시예에 따른 복부 초음파 기반의 정량 정보 제공 방법의 흐름도이다.
도 11을 참고하면, 정량 정보 추출 장치(100)는 복부로 방사된 빔 패턴들에 따라 초음파 프로브(10)의 센서들에서 수득된 복부 펄스-에코 데이터를 입력받는다(S310). 펄스-에코 데이터는 다양한 빔 패턴으로 초음파 신호를 순차적으로 방사하고, 조직에서 반사되어 되돌아온 RF 데이터이다. 빔 패턴은 초점 깊이와 각도로 정의될 수 있다. 사용자(오퍼레이터)는 초음파 프로브(10)를 통해 복부의 B-모드 이미지를 확인하면서 간 영역을 찾고, 간 영역을 적절히 표시하는 B-모드 이미지가 확보되면, 정량 분석을 위한 데이터 수득을 위한 특정 버튼을 누를 수 있다. 그러면, 초음파 프로브(10)가 정량 분석을 위한 빔 패턴들을 방사하고, 펄스-에코 데이터를 수득할 수 있다.
정량 정보 추출 장치(100)는 복부 펄스-에코 데이터로부터 생성된 B-모드 이미지를 인터페이스 화면에 제공하고, 관심영역의 위치를 입력받는다(S320). 관심영역은 간(Liver)의 부분 영역을 포함할 수 있다. 정량 정보 추출 장치(100)는 복부 펄스-에코 데이터와 관심영역의 위치를 이용하여, 학습된 신경망(200)으로부터, 관심영역의 정량 정보를 추출한다(S330). 신경망(200)은 관심영역 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화한 후, 인코딩 프로파일에 포함된 감쇠 계수를 추출할 수 있다. 관심영역의 위치는 깊이 및 각도를 나타내는 벡터로 표현될 수 있다. 정량 정보 추출 장치(100)는 관심영역의 위치를 기초로 생성된 크롭 마스크를 이용하여, 관심영역으로 크롭된 펄스-에코 데이터를 신경망(200)으로 입력할 수 있다.
정량 정보 추출 장치(100)는 감쇠 계수를 포함하는 정량 정보, 그리고 정량 정보를 기초로 추출한 분석 정보를 인터페이스 화면에 제공한다(S340). 분석 정보는 간에 관련된 정보이고, 예를 들면, 지방간에 관련된 지방(fat) 비율일 수 있다. 또는, 분석 정보는 지방간 여부, 지방간 등급일 수 있다. 정량 정보 추출 장치(100)는 감쇠 계수와 지방간과의 관계를 기초로, 추출한 감쇠 계수가 정상간/지방간에 해당하는 지 판단하고, 감쇠 계수에 대응되는 지방간 등급(mild, moderate, 등)을 판단할 수 있다.
도 12와 도 13은 한 실시예에 따른 신경망을 이용한 감쇠 계수 추출결과를 나타내는 도면이다.
도 12를 참고하면, 복부 팬텀을 이용한 팬텀 테스트 결과, 관심영역 적응적 정규화를 수행하는 신경망(200)은 다른 네트워크에 비해, 관심영역의 감쇠 계수를 정확하게 추출할 수 있다.
도 13을 참고하면, 관심영역 적응적 정규화를 수행하는 신경망(200)을 통해, 정상 간과 지방간 등급(Mild, Moderate 등)의 복부 초음파에 대한 감쇠 계수를 추출할 수 있다. 이렇게 신경망(200)에서 추출한 감쇠 계수는 MRI-PDFF와 강한 상관관계를 가지는 것을 확인할 수 있다. MRI-PDFF는 정상 간과 지방간 등급(Mild, Moderate 등)에 대해, 자기공명영상(MRI)을 이용하여 획득한 양성자밀도지방분율(Proton Density Fat Fraction, PDFF)이다.
도 14는 한 실시예에 따른 컴퓨팅 장치의 구성도이다.
도 14를 참고하면, 정량 정보 추출 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(400)일 수 있다. 초음파 프로브(10) 또는 초음파 프로브(10)에서 획득된 데이터를 제공하는 장치와 연결될 수 있다.
컴퓨팅 장치(400)는 하나 이상의 프로세서(410), 프로세서(410)에 의하여 수행되는 프로그램을 로드하는 메모리(430), 프로그램 및 각종 데이터를 저장하는 저장 장치(450), 통신 인터페이스(470), 그리고 이들을 연결하는 버스(490)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(400)는 다양한 구성 요소가 더 포함될 수 있다. 프로그램은 메모리(430)에 로드될 때 프로세서(410)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(410)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 명령어는 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
프로세서(410)는 컴퓨팅 장치(400)의 각 구성의 전반적인 동작을 제어한다. 프로세서(410)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(410)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
메모리(430)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(430)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 장치(450)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(430)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
저장 장치(450)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(450)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(470)는 컴퓨팅 장치(400)의 유무선 통신을 지원한다. 이를 위해, 통신 인터페이스(470)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
버스(490)는 컴퓨팅 장치(400)의 구성 요소 간 통신 기능을 제공한 다. 버스(490)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
이와 같이, 실시예에 따르면, B-모드(Brightness mode) 이미징용 초음파 프로브 및 영상기기를 그대로 이용해서 정량 정보를 추출할 수 있고, 특히 초음파를 통해, 지방간 판단에 사용되는 바이오마커인 감쇠 계수를 획득할 수 있다.
실시예에 따르면, 관심영역 적응적 빔 포커싱(ROI adaptive beam focusing) 및 포락선 검출(envelope detection)을 통해 추정 정확도와 잡음 복원력을 높일 수 있다.
실시예에 따르면, 관심영역 적응적 정규화를 통해 감쇠 계수를 정확히 추출할 수 있다. 실시예에 따르면, 자기공명영상(MRI)을 이용하여 획득한 양성자밀도지방분율(Proton Density Fat Fraction, PDFF)과 추출된 감쇠 계수와의 상관관계를 통해 임상적 타당성을 제공할 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.
Claims (20)
- 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서,
조직으로 방사된 빔 패턴들에 따라 초음파 프로브의 센서들에서 수득된 펄스-에코 데이터를 입력받는 단계,
관심영역을 입력받는 단계, 그리고
입력으로부터 정량 정보를 추출하도록 학습된 신경망을 이용하여, 상기 펄스-에코 데이터로부터 상기 관심 영역의 정량 정보를 추출하는 단계
를 포함하는 동작 방법. - 제1항에서,
상기 관심영역을 입력받는 단계는
상기 펄스-에코 데이터로 생성된 B-모드 이미지에서 상기 관심영역의 위치를 입력받는, 동작 방법. - 제1항에서,
상기 관심영역의 위치에 따라, 상기 펄스-에코 데이터에서 관심영역 펄스-에코 데이터를 추출하고, 상기 관심영역 펄스-에코 데이터를 상기 신경망으로 입력하는 단계
를 더 포함하는, 동작 방법. - 제1항에서,
상기 신경망은 상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화하는, 동작 방법. - 제4항에서,
상기 신경망은
입력 펄스-에코 데이터에 포함된 정량 특징을 인코딩하여 인코딩 프로파일을 생성하고, 관심영역 적응적 정규화 레이어를 통해 각 센서 특징을 정규화하면서 상기 인코딩 프로파일로부터 정량 정보를 추출하는, 동작 방법. - 제1항에서,
상기 정량 정보는 감쇠 계수인 동작 방법. - 제6항에서,
상기 펄스-에코 데이터는 복부 초음파 데이터이고,
상기 관심영역은 간(Liver)의 부분 영역을 포함하는, 동작 방법. - 제7항에서,
상기 펄스-에코 데이터로부터 추출된 상기 감쇠 계수를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계
를 더 포함하는, 동작 방법. - 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서,
복부로 방사된 빔 패턴들에 따라 초음파 프로브의 센서들에서 수득된 펄스-에코 데이터를 입력받는 단계,
상기 펄스-에코 데이터로부터 생성된 B-모드 이미지를 인터페이스 화면에 제공하고, 상기 인터페이스 화면에서 관심영역을 입력받는 단계,
입력으로부터 정량 정보를 추출하도록 학습된 신경망으로 상기 펄스-에코 데이터와 상기 관심영역의 위치를 입력하고, 상기 관심영역의 정량 정보를 추출하는 단계, 그리고
상기 정량 정보 및/또는 상기 정량 정보를 기초로 추출된 분석 정보를 상기 인터페이스 화면에 제공하는 단계
를 포함하는, 동작 방법. - 제9항에서,
감쇠 계수를 포함하는 상기 정량 정보를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계
를 더 포함하는, 동작 방법. - 제9항에서,
상기 관심영역의 위치는
상기 초음파 프로브로부터의 깊이 및 각도를 나타내는 벡터로 표현되는, 동작 방법. - 제9항에서,
상기 신경망은
상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여 각 센서의 특징을 정규화하는 관심영역 적응적 정규화 레이어를 포함하는, 동작 방법. - 제12항에서,
상기 신경망은
입력 펄스-에코 데이터에 포함된 정량 특징을 인코딩하여 인코딩 프로파일을 생성하고, 상기 관심영역 적응적 정규화 레이어를 통해 각 센서 특징을 정규화하면서 상기 인코딩 프로파일로부터 상기 관심영역의 관심계수를 추출하는, 동작 방법. - 적어도 하나의 프로세서에 의해 동작하는 정량 정보 추출 장치의 동작 방법으로서,
초음파 프로브의 센서들에서 빔 패턴들에 따라 수득된 펄스-에코 데이터로부터, 관심영역의 펄스-에코 데이터를 추출하는 단계,
상기 관심영역의 펄스-에코 데이터를 빔 패턴의 각도에 해당하는 채널별로 인코딩하고, 채널별로 인코딩된 출력을 통합하여 인코딩 프로파일을 생성하는 단계,
상기 관심영역의 위치에 따라 추출된 각 센서의 정규화 파라미터들을 이용하여, 상기 인코딩 프로파일에 포함된 각 센서의 특징을 정규화하는 단계, 그리고
상기 관심영역의 위치에 적응적으로 정규화된 특징으로부터 상기 관심영역의 정량 정보를 추출하는 단계
를 포함하는, 동작 방법. - 제14항에서,
상기 관심영역의 위치는
상기 초음파 프로브로부터의 깊이 및 각도를 나타내는 벡터로 표현되는, 동작 방법. - 제14항에서
상기 각 센서의 정규화 파라미터들은
각 센서의 특징을 스케일링 및 이동시키는 파라미터들인, 동작 방법. - 제14항에서
상기 관심영역의 정량 정보를 추출하는 단계는
순차 회귀 레이어를 통해 상기 인코딩 프로파일에 포함된 정량 정보를 추출하도록 학습된 회귀 네트워크를 이용하여, 상기 관심영역의 정량 정보를 추출하는, 동작 방법. - 제14항에서
상기 정량 정보는 감쇠 계수인 동작 방법. - 제18항에서,
상기 펄스-에코 데이터는 복부 초음파 데이터이고,
상기 관심영역은 간(Liver)의 부분 영역을 포함하는, 동작 방법. - 제19항에서,
상기 관심영역의 감쇠 계수를 기초로 상기 관심영역의 지방간 관련 정보를 추출하는 단계
를 더 포함하는, 동작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/009523 WO2023287084A1 (ko) | 2021-07-14 | 2022-07-01 | 의료 초음파의 정량 정보 추출 방법 및 장치 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210091917 | 2021-07-14 | ||
| KR1020210091917 | 2021-07-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230011855A true KR20230011855A (ko) | 2023-01-25 |
Family
ID=85109794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220033572A KR20230011855A (ko) | 2021-07-14 | 2022-03-17 | 의료 초음파의 정량 정보 추출 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230011855A (ko) |
-
2022
- 2022-03-17 KR KR1020220033572A patent/KR20230011855A/ko not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7407790B2 (ja) | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム | |
| CN110381845B (zh) | 具有用于导出成像数据和组织信息的神经网络的超声成像系统 | |
| JP5730979B2 (ja) | 超音波診断装置、及び弾性評価方法 | |
| CN103747742B (zh) | 使用超声成像的脉管表征 | |
| RU2667617C2 (ru) | Система и способ эластографических измерений | |
| CN101889216A (zh) | 用于对血管成像的方法和系统 | |
| JP6216736B2 (ja) | 超音波診断装置、及び超音波診断方法 | |
| JP7461501B2 (ja) | 前立腺自動解析システム | |
| US11593933B2 (en) | Systems and methods for ultrasound image quality determination | |
| KR102380167B1 (ko) | 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치 | |
| KR20210069644A (ko) | 매질 내 음속을 결정하는 방법, 상기 방법을 구현하는 초음파 이미징 시스템 | |
| CN115715170A (zh) | 用于估计血液动力学参数的方法 | |
| EP3787519B1 (en) | Shear wave amplitude reconstruction for tissue elasticity monitoring and display | |
| US20210204904A1 (en) | Ultrasound diagnostic system | |
| EP3787518B1 (en) | Shear wave amplitude reconstruction for tissue elasticity monitoring and display | |
| CN112773403A (zh) | 一种超声成像方法和系统 | |
| KR20230011855A (ko) | 의료 초음파의 정량 정보 추출 방법 및 장치 | |
| CN115279275A (zh) | 超声诊断设备及其操作方法 | |
| CN113440166A (zh) | 利用超声医学成像的肝病活动估计 | |
| WO2023287084A1 (ko) | 의료 초음파의 정량 정보 추출 방법 및 장치 | |
| KR20210075832A (ko) | 초음파 데이터를 이용한 정량적 이미징 방법 및 장치 | |
| CN114072060A (zh) | 一种超声成像方法以及超声成像系统 | |
| US20210177380A1 (en) | Method and apparatus for quantitative ultrasound imaging using single-ultrasound probe | |
| KR102655333B1 (ko) | 초음파 데이터를 이용한 다변수 정량적 이미징 방법 및 장치 | |
| US20230329674A1 (en) | Ultrasound imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |