KR20240015562A - 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템 - Google Patents
매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR20240015562A KR20240015562A KR1020230061631A KR20230061631A KR20240015562A KR 20240015562 A KR20240015562 A KR 20240015562A KR 1020230061631 A KR1020230061631 A KR 1020230061631A KR 20230061631 A KR20230061631 A KR 20230061631A KR 20240015562 A KR20240015562 A KR 20240015562A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- medium
- subset
- ultrasound
- deformation
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000009607 mammography Methods 0.000 claims description 24
- 210000000481 breast Anatomy 0.000 claims description 19
- 238000012285 ultrasound imaging Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 239000002245 particle Substances 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000003325 tomography Methods 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012634 optical imaging Methods 0.000 claims description 2
- 238000002099 shear wave elastography Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 42
- 230000003902 lesion Effects 0.000 description 37
- 238000003384 imaging method Methods 0.000 description 36
- 238000001914 filtration Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101150013568 US16 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002607 contrast-enhanced ultrasound Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009543 diffuse optical tomography Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 개시는, 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법에 관한 것이다. 방법은, 초음파 데이터에 기초하여 매질의 변형 특성을 추정하는 단계 및 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계를 포함한다.
Description
본 기술은 특히 의료 이미징(medical imaging)을 위해 매질(medium)과 연관된 초음파 이미지 데이터(ultrasound image data)를 매질과 연관된 다른 이미지 데이터와 연결하는(linking) 방법 및 시스템에 관한 것이다. 특히, 방법은 매질의 신호 데이터(signal data) 처리에 적합하다.
예를 들어 의료 이미징, 레이더(adar), 소나(sonar), 지진학(seismology), 무선 통신(wireless communications), 전파 천문학(radio astronomy), 음향학(acoustics) 및 생물의학(biomedicine) 분야에서 통신, 이미징 또는 스캐닝(scanning) 목적을 위해 복수의 트랜스듀서 요소(transducer elements) 또는 트랜시버(transceivers)(예를 들어 어레이로 배치됨)를 사용하는 것은 알려져 있다. 한 가지 예는 초음파 이미징(ultrasound imaging)을 포함한다.
초음파 이미징의 목적은 매질 반사율(medium reflectivity)을 추정(estimate)하는 것이다. 종래의 초음파 이미징 방법(ultrasound imaging method)에서, 초음파 트랜스듀서 요소(ultrasound transducer elements)의 세트를 갖는 초음파 트랜스듀서 장치(ultrasound transducer device)(초음파 프로브(ultrasound probe)라고도 함)가 사용될 수 있다. 이 방법에서, 송신 동작(transmission operation)에 대응하는 하나 또는 여러 개의 초음파 빔을 매질에 송신하기 위해 하나 또는 여러 개의 트랜스듀서를 사용한다. 그런 다음, 수신 동작(reception operation)에서, 후방 산란 에코 신호의 세트가 트랜스듀서 요소의 세트트에 의해 매질로부터 수신된다. 특히, 각각의 트랜스듀서 요소는 수신된 에코 신호를, 예를 들어 전기 신호로 변환한다. 신호는 초음파 시스템 및/또는 프로브에 의해 추가로 처리될 수 있다. 예를 들어, 그것들은 증폭되고, 필터링되고, 디지털화되고/되거나 신호 컨디셔닝 동작(signal conditioning operation)이 수행될 수 있다. 트랜스듀서 요소(transducer elements)는 트랜스듀서 어레이(transducer array)로 배치될 수 있다.
초음파 이미징 이외의 다른 이미징 방법, 예를 들어 광학 및/또는 x-레이 이미징(x-ray imaging)을 사용하는 방법이 있다.
현재, 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템을 제공하는 것이 여전히 바람직하며, 이는 유리하게는 신뢰할 수 있고 견고하다.
예를 들어 이러한 방법은 유방 검사(breast examinations)와 관련하여 사용될 수 있고: 유방조영(Mammography) 또는 단층영상합성(tomosynthesis) 스크리닝(screenings)을 통해 조기 암 및 미세석회화를 발견할 수 있으며 사망률이 30% 이상 감소한 것으로 입증되었다. 그러나, 치밀 유방이 있는 경우 그 효능이 감소하고, 생검(biopsy)과 같은 중재적 절차(interventional procedure) 중에 항상 적합한 것은 아니다.
잠재적 위험이 있는 병변이 유방조영이나 단층영상합성로 확인되면, 환자는 대개 진단을 위해 초음파 검사를 받는다. 유방조영영이나 단층영상합성검사에서는 두 개의 판 사이에 유방이 압착되는 반면, 초음파 검사에서는 유방이 물리적으로 구속되지 않고, 초음파 검사를 수행하는 사람이 초음파로 관찰된 병변이 실제로 확인된 병변인지 확인하기 어려울 수 있다. 유방과 병변(lesion) 모두 유방조영 및/또는 단층영상합성 및/또는 단층촬영(tomography) 동안 변형된다. 그 결과 초음파 검사 시 유방조영/단층영상합성로 확인된 병변의 위치를 예측하기 어려울 수 있다. 또한, 병변의 모양도 다를 수 있다.
따라서, 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법이 제공되며, 방법은, 초음파 데이터에 기초하여 매질의 변형 특성(Deformability properties)을 추정하는 단계 및 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계를 포함한다.
"~와 연관된(associated with)" 및 "~에 의해 대표되는(represented by)"이라는 용어는 다르게 나타내지 않는 한 본 명세서 전반에 걸쳐 동의어로 사용될 수 있다.
본 개시는, 예를 들어 유방조영 또는 단층영상합성에 기초하여, 매질에서 식별된 병변을, 초음파 이미징에 기초하여 식별된 매질 내의 병변과 연결(link)하는 것을 허용할 수 있다. 예를 들어, 연결(linking)은 본 발명의 시스템에 의해 정의될 수 있고 및/또는, 예를 들어 자동화될 수 있다.
본 개시는, 예를 들어 유방조영 및/또는 단층영상합성 데이터에 기초하여 검출되고 식별된 병변이 초음파 데이터에 기초하여 검색될 수 있음을 선택적으로 신뢰 수준(confidence level)으로 보장할 수 있으므로 증가된 연결 효능을 제공할 수 있다. 초음파 이미지 데이터에 기초하여 병변을 특성화하는 것이 가능할 수 있으며, 유방조영이나 단층영상합성, 초음파와 같은 다른 이미징 방법의 이점을 결합할 수 있다. 생검이 필요한 경우, 예를 들어 유방조영 이미지 데이터 및/또는 단층영상합성 이미지 데이터에 기초하여 식별된 위치에서 선택적으로 신뢰 수준으로 초음파 가이드 생검(ultrasound guided biopsy)이 수행될 수 있다. 이러한 모든 작업은 스캐닝(scanning)하는 사람의 기술에 의존하지 않는다. 선택적 신뢰 수준(optional confidence level)은, 예를 들어 가이드(guide)가 얼마나 확실한지, 즉 사용자가 제공된 안내(guidance)를 어느 정도 신뢰할 수 있는지 여부를 사용자에게 표시할 수 있다.
본 개시는, 예를 들어 초음파 병변 찾기 절차가 자동화되고 재현 가능할 수 있기 때문에 예를 들어 증가된 연결 효율을 허용할 수 있다.
변형 특성(Deformability properties)은 3차원(3D) 변형 특성 및/또는 2D 변형 특성을 포함할 수 있다. 3D 변형 특성은 매질의 사실적으로 변형된 3D 모델을 설정하고/하거나 매질 및/또는 변형된 매질의 변형을 사실적으로 시뮬레이션(simulating)하는 데 유용할 수 있다. 변형 특성은, 예를 들어 파라메트릭 모델, 예를 들어 3D 파라메트릭 모델과 같은 매질의 모델을 구축하도록 허용할 수 있다.
"변형(deformation)" 및 "변형 상태(deformation state)"라는 용어는 다르게 나타내지 않는 한 본 명세서 전반에 걸쳐 동의어로 사용될 수 있다.
변형 특성은 매질 및/또는 변형된 매질의 변형을 시뮬레이션 하도록 허용할 수 있다. 매질의 변형 및/또는 변형된 매질은 이미지 데이터, 예를 들어 초음파 이미지 데이터 및/또는 다른 이미지 데이터 및/또는 제3 이미지 데이타와 연관되거나 이미지 데이터에 의해 표현되는 매질과 비교한 매질의 변형과 연관될 수 있다. 변형된 매질을 시뮬레이션(simulating)하는 단계는, 모델에 기초할 수 있다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는(Linking) 단계는, 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 매칭(matching) 및/또는 매핑(mapping) 및/또는 상관(correlating)시키는 단계를 포함할 수 있다. 변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는, 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 매칭 및/또는 매핑 및/또는 상관시키는 단계를 포함할 수 있는데, 예를 들어 시뮬레이션된 변형된 매질(simulated deformed medium)/매질 변형 시뮬레이션을 다른 이미지 데이터와의 연결이다. 연결(linking), 매칭(matching), 매핑(mapping) 및/또는 상관(correlating)은, 예를 들어 각각의 신뢰 수준과 연결, 매칭, 매핑 및/또는 상관에 점수를 매길 수 있는 하나 이상의 신뢰 수준을 포함할 수 있다. 신뢰 수준(confidence levels)은 최종 사용자에게 표시될 수 있는 알려진 값 범위에서 미리 선택될 수 있다.
변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 초음파 이미지 데이터와 연관된 매질과 비교한 매질 변형의 시뮬레이션을, 다른 이미지 데이터와 연결하는 단계를 포함할 수 있다. 예를 들어 시뮬레이션(simulation)은 초음파 이미지 데이터에 기초할 수 있다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는: 초음파 이미지 데이터를 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 다른 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션과 연결하는 단계를 포함할 수 있다. 예를 들어 시뮬레이션은 다른 이미지 데이터에 기초할 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 이미지 데이터에서 획득된 매질에 대한 정보를 결합할 수 있다. 따라서, 더 많은 정보 및/또는 무료 정보를 획득할 수 있고, 두 방법의 장점을 모두 획득할 수 있다. 예를 들어, 초음파 이미지 데이터와 연관된 매질은 변형되지 않을 수 있고 및/또는 추가 치료를 받을 때, 예를 들어 수술 중에 매질과 비교하여 유사한 변형 상태에 있을 수 있으며, 이는 추가 치료를, 예를 들어 수술(surgery)을, 용이하게 할 수 있다. 다른 이미징 방법, 예를 들어 유방조영 및/또는 단층영상합성은, 예를 들어 병변 검색과 같은 특정 작업을 수행하기 위한 표준 방법일 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 초음파 이미지 데이터와 다른 이미지 데이터 간의 관계를 정의하는 것으로 이해될 수 있다.
초음파 이미지 데이터를 다른 이미지와 연결하는 단계는, 트래킹 방식에 기초될 수 있다. 예를 들어, 블록 매칭 알고리즘(block-matching algorithm)이 사용될 수 있다. 블록 매칭 알고리즘은, 예를 들어 출원인의 특허 출원 EP 3 771 927 A1에 개시되어 있다. 예를 들어, 픽셀 트래킹 알고리즘(pixel tracking algorithm)이 사용될 수 있다.
다른 이미지 데이터는 다음 중 적어도 하나를 포함할 수 있다: 초음파 이미징 소스가 아닌 다른 소스에서 생성된 이미지 데이터, X-레이 이미지 데이터, 유방조영 및/또는 단층영상합성 및/또는 단층촬영 이미지 데이터(tomography image data), 자기 공명(MR) 이미지 데이터, 광학 이미징 장치에서 생성된 이미지 데이터 및 기타 초음파 이미지 데이터. 다른 이미지 데이터는 매질의 내부 및/또는 내부 이미지 데이터와 연관된 이미지 데이터인 이미지 데이터를 포함할 수 있다.
광학 장치에서 발생하는 이미지 데이터는, 예를 들어 확산 광학 단층촬영 이미지 데이터(diffuse optical tomography image data)를 포함할 수 있다.
초음파 데이터는 3D 초음파 이미지 데이터를 포함할 수 있고 그리고/또는 3차원 초음파 이미지 데이터일 수 있으며, 초음파 데이터는 전단파 탄성(Shear Wave Elasticity)(SWE) 데이터, 비선형 전단파 탄성(Non-Linear Shear Wave Elasticity)(NL-SWE) 데이터, B-모드 데이터 중 적어도 하나를 포함할 수 있다.
초음파 이미지 데이터, 예를 들어 3D 초음파 이미지 데이터는 미리 정의된 초음파 이미징 프로세스를 사용하여 및/또는 3D 트랜스듀서를 사용하여 및/또는 선택적으로 내비게이션과 결합되는 핸드헬드 장치를 사용하여 획득될 수 있다. 초음파 이미지 데이터, 예를 들어 3D 초음파 이미지 데이터는, 내비게이션 시스템과 선택적으로 결합된 일반 1D 어레이 트랜스듀서, 및/또는, 예를 들어 1D 어레이 트랜스듀서 및 기계적 스위핑이 있는 자동화된 유방 시스템, 및/또는 전용 매트릭스 어레이 트랜스듀서를 사용하여 획득할 수 있다.
전단파 탄성 데이터(Shear wave elasticity data)는 B-모드 이미징과 조합하여 획득할 수 있다. 전단파 탄성 초음파 이미징 방법(elasticity ultrasound imaging method)을 적용하면 매질의 탄성 특성을 추정하기 위해 매질을 변형할 필요가 없다.
비선형 전단파 탄성 데이터는 B-모드 이미지와 조합하여 획득할 수 있다. 비선형 전단파 탄성은 변형의 상대적으로 약간의 변형 또는 하나 이상의 변형 단계를 요구할 수 있다. 얻어진 비선형 전단파 탄성 데이터에 기초하여 상대적으로 강한 변형을 포함하여 매질의 다양한 변형 상태를 추정할 수 있다.
비선형 전단파 탄성 데이터를 획득하는 한 가지 예는, 예를 들어 출원인의 특허 출원 FR1914432A에 개시되어 있다. 매질에 연속적으로 변화하는 변형이 가해지는 동안 매질로부터 시간적 연속적인 전단파 탄성 데이터가 수집될 수 있다. 전단파 탄성 데이터의 시간적 연속성과 변형 변화에 대한 함수로 매질의 비선형 탄성을 정량화할 수 있다.
B-모드 데이터는 모델을 생성하기 위해 매질의 기하학을 평가하는 데 사용될 수 있다. 예를 들어, 매질의 (기하학적/물리적) 모델은 유한 요소 모델링 및/또는 B-모드 데이터에 기반하여 구축될 수 있다. (기하학적) 모델은 이미지 데이터를 메쉬화할 수 있다.
초음파 데이터에 기초하여 매질의 감쇠 특성(Attenuation properties)이 추정될 수 있다. 초음파 이미지 데이터와 다른 이미지 데이터를 추가적으로 연결하는 단계는, 추정된 감쇠 특성에 기초할 수 있다. 다시 말해서: 초음파 데이터로부터 추정 및/또는 도출된 감쇠 특성은 연결 정확도를 개선하는 데 사용될 수 있다.
다른 이미지 데이터와 연관되고/되거나 이에 의해 표현되는 매질은 초음파 이미지 데이터와 연관되고/되거나 이에 의해 표현되는 매질과 비교하여 상이한 변형 상태에 있을 수 있다.
서로 다른 변형 상태는 매질에 작용하는 힘 및/또는 외력과 관련될 수 있다. 상이한 변형 상태는 매질에 작용하는 압력 및/또는 외부 압력과 관련/유발될 수 있다.
초음파 이미지 데이터와 연관되거나 이에 의해 표현되는 매질은 변형될 수 있고 및/또는 변형되지 않을 수 있으며, 즉, 외력/압력을 받거나 외력/압력이 없는 것이다. 예를 들어, 비선형 전단파 탄성 이미지 데이터를 획득(acquisition)하는 동안, 매질이 변형되어 변형의 상태가 달라질 수 있다. 다른 예에서, 전단파 탄성 이미지 데이터를 획득(acquisition)하는 동안, 매질은 변형될 필요가 없으며 및/또는 그 위에 있는 초음파 프로브에 의해 약간만 변형된다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는, 다른 이미지 데이터 및/또는 초음파 이미지 데이터에 의해 표현/연관되는 매질의 변형에 의해 방해받지 않는 신뢰할 수 있고 재생산 가능한 방식으로 두 이미지 데이터로부터의 정보를 결합하는 것을 허용할 수 있다.
예를 들어, 다른 이미지 데이터는 유방조영 이미지 데이터를 포함할 수 있다. 유방조영 검사 중에, 일반적으로 환자는 서 있고, 유방은 두 개의 플라크(plaques) 사이에서 압축되는 반면, 초음파 검사 중에 환자는 일반적으로 누워 있고, 일반적으로 (주요) 외부 압박이 없다(예를 들어 중력의 다른 영향 등으로 인한 경우 제외).
다른 이미지 데이터는 단층영상합성 이미지 데이터를 포함할 수 있다. 또한 단층영상합성 검사 중에, 환자의 유방은 일반적으로 플라크를 포함하여 외부 힘/외부 압력에 의해 변형된다.
예를 들어, 유방 초음파 검사 시 유방의 특정 부위가 관심 영역(Region of Interest)(ROI)이 될 수 있다. 예를 들어, 유방에 대한 초음파 검사 시 유방의 특정 부위가 관심 영역(Region of Interest)(ROI)에 대응할 수 있다. 유방의 변형성/탄성/강성 특성은 ROI 이외의 다른 영역/ROI와 관련된 것 이외의 다른 부분을 사용하여 추정할 수 있고, ROI/관련 부분은 평가된 압축을 사용하여 나중에 이미지화될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 초음파 이미지 데이터를 제3 이미지 데이터와 연결하는 것, 및 다른 이미지 데이터를 제3 이미지 데이터와 연결하는 단계를 포함할 수 있다.
제3 이미지 데이터는, 예를 들어 MR 이미지 데이터일 수 있고, 다른 이미지 데이터는, 예를 들어 X-레이 이미지 데이터일 수 있다. 변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는: 초음파 이미지 데이터를 제3 이미지 데이터, 예를 들어 MR 이미지 데이터와 연결하고, 다른 이미지 데이터, 예를 들어 X-레이 이미지 데이터를 제3 이미지 데이터, 예를 들어 MR 이미지 데이터와 연결하는 단계를 포할 수 있다.
초음파 이미지 데이터를 제3 이미지 데이터와 연결하는 단계는, 변형 특성에 기초할 수 있다. 다른 이미지 데이터를 제3 이미지 데이터와 연결하는 단계는, 변형 특성에 기초할 수 있다.
초음파 이미지 데이터 및/또는 다른 이미지 데이터를 제3 이미지 데이터와 연결하는 단계는: 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 초음파 이미지 데이터 및/또는 다른 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션을, 제3 이미지 데이터와 연결하는 단계를 포함할 수 있다. 시뮬레이션된 변형된 매질/매질 변형 시뮬레이션은 변형 특성에 기초하여 시뮬레이션될 수 있다. 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션은 각각의 이미지 데이터, 예를 들어 초음파 이미지 데이터 및/또는 제3 이미지 데이터 및/또는 다른 이미지 데이터에 기초하여 시뮬레이션될 수 있다. 시뮬레이션된 변형된 매질/매질 변형 시뮬레이션은 각각의 이미징 방법, 예를 들어, 초음파 이미징 방법 및/또는 제3 이미징 방법 및/또는 다른 이미징 방법에 기초하여, 예를 들어 각각의 이미징 방법, 예를 들어 초음파 이미징 방법 및/또는 제3 이미징 방법 및/또는 다른 이미징 방법에 대한 전형적인 변형에 기초하여, 예를 들어 각각의 이미징 방법, 예를 들어 초음파 이미징 방법 및/또는 제3 이미징 방법 및/또는 다른 이미징 방법 동안 매질에 가해지는 일반적인 외력에 기초하여, 시뮬레이션될 수 있다.
초음파 이미지 데이터/다른 이미지 데이터를 제3 이미지 데이터와 연결하는 단계는, 초음파 이미지 데이터/다른 이미지 데이터를 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 제3 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션과 연결하는 단계를 포함할 수 있다. 시뮬레이션된 변형된 매질/매질 변형 시뮬레이션은 변형 특성에 기초하여 시뮬레이션될 수 있다. 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션은 이미징 방법, 예를 들어 제3 이미징 방법에 기초하여, 예를 들어 이미징 방법, 예를 들어 제3 이미징 방법에 대한 전형적인 변형에 기초하여, 예를 들어 이미징 방법, 예를 들어 제3 이미징 방법 동안 매질에 적용되는 일반적인 외력에 기초하여 실뮬레이션될 수 있다.
초음파 이미지 데이터/다른 이미지 데이터를 제3 이미지 데이터와 연결하는 단계는, 시뮬레이션된 변형된 매질/변형의 시뮬레이션을 - 변형의 시뮬레이션은, 예를 들어, 초음파 이미지 데이터 및/또는 다른 이미지 데이터와 연관된 매질과 비교한 매질의 변형의 시뮬레이션, 초음파 이미지 데이터/다른 이미지 데이터에 기초함 - 또 다른 시뮬레이션된 변형된 매질/변형의 또 다른 시뮬레이션 - 변형의 또 다른 시뮬레이션은 제3 이미지 데이터, 예를 들어 제3 이미지 데이터와 관련된 매질과 비교한 매질의 변형 시뮬레이션에 기초함 - 과 연결하는 단계를 포함할 수 있다. 각각의 시뮬레이션은, 예를 들어 각각 변형 특성에 기초될 수 있다.
제3 이미지 데이터, 예를 들어 MR 이미지 데이터는 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 레퍼런스를 제공할 수 있다. 제3 이미지 데이터, 예를 들어 MR 이미지 데이터는 초음파 이미지 데이터를 다른 이미지 데이터, 예컨대 X-레이 이미지 데이터와 연결하게 될 수 있다. 초음파 이미지 데이터 및/또는 X-레이 이미지 데이터와 연관되거나 이에 의해 표현되는 매질의 변형 상태가 알려지지 않은 및/또는 정밀하지 않게/부정확하게 알려진 변형 상태를 가질 수 있는 경우 및 예를 들어, MR 이미지 데이터와 같은, 제3 이미지 데이터와 연관되거나 이에 의해 표현되는 매질의 변형 상태가 알려진 경우, 이는 특히 유용하다. 제3 이미지 데이터와 연관된 매질의 변형 상태는 레퍼런스 변형 상태(reference deformation state)일 수 있다. 그러면, 서로 연결된 두 이미지 데이터의 알려지지 않은 변형 상태를 갖는 것과는 대조적으로, 각 연결 동작에 대해 하나의 알려지지 않은 변형 조건만 있을 수 있고/단지 하나의 이미지 데이터의 변형 상태만이 알려지지 않을 수 있다.
매질은 사람의 유방 조직을 포함할 수 있다.
매질은, 예를 들어 동물 조직, 인간 조직, 인간 유방 조직, 인간 유방 전체, 근골격계 물질, 상체의 공간 영역, 상체의 일부, 복부의 공간 영역, 복부, 변형 가능한 매질, 비인간 조직, 비인간 물질 및/또는 팬텀을 포함할 수 있다.
변형 특성을 추정하는 단계는, 매질의 탄성 특성, 매질의 비선형 탄성 특성, 매질의 강성 특성, 매질의 기하학적 특성(geometrical properties), 매질의 구조적 및/또는 입도 특성(granularity properties), 매질의 밀도 특성(density properties), 매질의 흡수 특성(absorption properties) 중 적어도 하나를 추정하는 단계를 포함할 수 있다.
변형 특성을 추정하는 단계는, 투명도 특성 및/또는 반사 특성 및/또는 흡수 특성을 추정하는 단계를 포함할 수 있다. 변형 특성을 추정하는 단계는, 고려되는 매질의 점탄성(viscoelasticity)을 추정하는 단계를 포함할 수 있다.
매질의 탄성 특성은 영률(Youngs modulus)을 포함할 수 있다. 매질의 비선형 탄성 특성은 비선형 전단 계수(non-linear shear modulus)를 포함할 수 있다.
변형 특성은 매질에서 균일하지 않을 수 있다. 매질의 변형 특성을 추정하는 단계는, 매질의 불균일한 변형 특성을 추정하는 단계를 포함할 수 있다.
매질의 탄성 특성은, 예를 들어 전단파 탄성 데이터에 기초하여 결정될 수 있다. 매질의 비선형 탄성 특성은, 예를 들어 비선형 전단파 탄성 데이터에 기초하여 결정될 수 있다. 매질의 강성 특성은, 예를 들어 전단파 탄성 데이터 및/또는 비선형 전단파 탄성 데이터에 기초하여 결정될 수 있다.
예를 들어 매질의 기하학적 특성은 B-모드 이미지 데이터에 기초하여 결정될 수 있다. 예를 들어 기하학적 특성은 광학 센서, 예를 들어 카메라의 데이터에 기초하여 결정될 수 있다. 기하학적 특성은, 예를 들어 외부 기하학적 특성을 포함할 수 있다. 외부 기하학적 특성은, 예를 들어 광학 센서, 예를 들어 카메라에 의해 결정될 수 있다. 예를 들어, 초음파 데이터를 획득하기 위해 사용되는 초음파 트랜스듀서/초음파 프로브의 위치 정보를 제공하는 위치 추적기(localization tracker)를 사용하여 기하학적 특성이 결정될 수 있다. 예를 들어 기하학적 특성은 매질에 존재하는 마커, 예를 들어 기하학적 랜드마크에 기초하여 결정될 수 있다. 용어 마커(term marker)는 이식된 마커(implanted markers)를 포함할 수 있다. 매질의 마커는 변형/변형된 매질의 더 나은 추정 및/또는 그것의 더 나은 시뮬레이션을 가능하게 할 수 있다.
매질의 구조적 및/또는 입도 특성을 결정하는 단계는, 다음을 포함할 수 있다: 예를 들어 초음파 볼륨 분할(ultrasound volume segmentation)과 같은 매질의 볼륨 분할을 수행하는 것. 볼륨 분리(Volume separation)는 지방 및 선 조직의 분리를 포함할 수 있다. 매질의 구조적 및/또는 입도 특성은 B-모드 이미지 데이터에 기초하여 결정될 수 있다.
매질의 밀도 특성은, 예를 들어 사운드 추정 속도에 따라 결정될 수 있다.
매질의 흡수 특성은, 예를 들어 초음파 데이터에 기초하여, 예를 들어 초음파 데이터에 대해 수행된 감쇠 추정에 기초하여 결정될 수 있다.
변형 특성은 다음 방법 중 적어도 하나에 기초하여 추정할 수 있다: 유한 요소 모델링(FEM), 경계(boundaries)를 사용한 유한 요소 모델링(Finite Element modelling), 영률 추정(estimating Youngs modulus), 비선형 전단 계수 추정(estimating non-linear shear modulus), 활성 큐브(Active Cubes) 및/또는 마칭 큐브(marching cubes)를 사용한 모델링, 경계 요소 모델링(Boundary Element Modelling) 및/또는 미리 정의된 등록 방법(predefined registration method).
변형 가능성 특성을 추정하는 단계는, 다음 중 적어도 하나를 포함할 수 있고 및/또는 기초할 수 있다: 유한 요소 모델링(FEM), 선택적으로 경계를 사용하는 FEM, 영률 추정, 비선형 전단 계수 추정, 활성 큐브 및/또는 마칭 큐브를 사용한 모델링, 경계 요소 모델링 및/또는 미리 정의된 등록 방법.
예를 들어 유한 요소 모델링은 B-모드 이미지 데이터에 기초/연결될 수 있다. 예를 들어 영률은 전단파 탄성 데이터에 기초하여 결정/획득/추정될 수 있다. 예를 들어, 비선형 전단 계수는 비선형 전단파 탄성 데이터에 기초하여 결정/획득/추정될 수 있다.
예를 들어 변형 특성이 마커 위치의 두 데이터 세트에서 유도되는 경우 미리 정의된 등록 방법을 사용할 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 다음을 포함할 수 있다: 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 매치(match)하도록 변형 특성에 기초하여 변형된 매질을 시뮬레이션하는 것.
매질의 변형 및/또는 변형된 매질은 각각의 이미지 데이터, 예를 들어 초음파 이미지 데이터 및/또는 다른 이미지 데이터 및/또는 제3 이미지 데이타와 연관되거나 이미지 데이터에 의해 표현되는 매질과 비교한 매질의 변형과 연관될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태에 대응 및/또는 연관되도록 변형된 매질을 시뮬레이션하는 단계를 포함할 수 있다. 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 다른 이미지 데이터와 연관된 매질의 변형 상태에 따라 변형된 매질을 시뮬레이션하는 단계를 포함할 수 있다. 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 연관되도록 변형된 매질을 시뮬레이션하는 단계를 포함할 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 시뮬레이션된 변형된 매질, 예를 들어 초음파 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션을 다른 이미지 데이터와 연결하는 단계를 포함할 수 있다. 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 초음파 이미지 데이터를 시뮬레이션된 변형된 매질, 예를 들어 다른 이미지 데이터와 연관된 매질과 비교하여 매질의 변형의 시뮬레이션과 연결하는 단계를 포함할 수 있다.
시뮬레이션된 변형된 매질은 변형 특성에 기초하여 및/또는 초음파 이미지 데이터에 기초하여 및/또는 다른 이미지 데이터에 기초하여 시뮬레이션될 수 있다.
변형된 매질을 시뮬레이션하는 단계는, 미리 정의된 수학적 연산을 포함할 수 있다.
변형된 매질을 시뮬레이션하는 단계는, 매질의 모델, 예를 들어 매질의 파라메트릭 모델, 예를 들어 3D 파라메트릭 모델을 구축하는 단계를 포함할 수 있다. 파라메트릭 모델은 매질의 변형 특성에 기초할 수 있다. 변형된 매질을 시뮬레이션하는 단계는, 매질의 변형 특성에 기초할 수 있다.
변형된 매질을 시뮬레이션하는 단계는, 모델에서 변형의 대략적인 시뮬레이션(coarse simulation)을 포함할 수 있고/있거나 시작할 수 있다. 대략적인 시뮬레이션은 매질의 사실적인 변형을 시뮬레이션하기 위해 변형 특성에 기초될 수 있고 이에 의해 가이드(guide)될 수 있다. 변형된 매질을 시뮬레이션하는 단계는, 다음을 더 포함할 수 있다: 시뮬레이션이 매질의 모든 영역/매질의 모든 부분에서 변형 특성을 충족/대응하도록 대략적인 시뮬레이션을 정제하는 것. 선택적으로, 시뮬레이션은 추정된 매질의 변형 특성과 비교될 수 있고 시뮬레이션에서 추정된 매질의 변형 특성이 만족/대응되는지 여부가 확인될 수 있다. 추정된 변형 특성은, 예를 들어 매질의 탄성 특성, 매질의 비선형 탄성 특성, 매질의 강성 특성, 매질의 기하학적 특성, 매질의 구조적 및/또는 입도 특성, 및/또는 매질의 밀도 특성를 포함할 수 있다.
유방조영 이미지와 연관되고 이에 의해 표현되는 바와 같은 매질의 변형 상태를 추정하고 이 변형 수준이 시뮬레이션된 변형된 매질에 도달하는지 여부를 추정하기 위해 매질의 마커가 사용될 수 있다.
또한 유방조영 이미지 데이터를 사용하여 유방조영 이미지 데이터와 연관되거나 이에 의해 표현되는 매질의 변형 수준이 시뮬레이션된 변형된 매질에 도달했는지 여부를 평가하는 것도 가능하다.
시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 매치하도록 변형된 매질을 시뮬레이션하는 단계는, 다음을 포함할 수 있다: 예를 들어 다른 이미지 데이터에 의해 연관/표시되는 매질에 적용된 외부 힘에 대응하는 힘을 가정한다. 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 매치하도록 변형된 매질을 시뮬레이션하는 단계는, 다음을 포함할 수 있다: 예를 들어 다른 이미지 데이터에 의해 연관/표시되는 매질에 적용된 외부 압력(pressure)에 대응하는 압력을 가정한다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는, 또한 시뮬레이션된 변형된 매질에 기초할 수 있다.
변형된 매질을 시뮬레이션하는 단계는, 추가로 다른 이미지 데이터에 기초할 수 있고 및/또는 변형된 매질을 시뮬레이션하는 단계는, 예를 들어 제어 루프에서 다른 이미지 데이터를 사용할 수 있다.
다른 이미지 데이터에 기초하여 변형된 매질을 시뮬레이션하고 및/또는 제어 루프에서 다른 이미지 데이터를 사용하는 단계는, 더 좋고/더 정확하고/더 정밀한 시뮬레이션된 변형된 매질을 획득할 수 있게 해줄 수 있고/있거나 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 것을 개선할 수 있게 해줄 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 매질의 제1 부분(first portion)/매질 내의 제1 영역(first region)과 연관된/상응하는 초음파 이미지 데이터의 제1 서브세트(first subset)를 결정하고, 매질의 제2 부분(second portion)/매질 내의 제2 영역(second region)과 연관된/대응하는 다른 이미지 데이터의 제2 서브세트를 결정하고, 및 선택적으로 시뮬레이션된 변형된 매질에 기초하여 제2 서브세트를 제1 서브세트와 연결하는 단계를 포함할 수 있다.
매질의 제1 부분 및 매질의 제2 부분은 매질 내의 공간 영역에 대응할 수 있다. 매질의 제1 부분과 매질의 제2 부분은 매질의 병변에 대응할 수 있다. 매질의 제1 부분 및 매질의 제2 부분은 수동 입력에 기초하여 및/또는 미리 정의된 컴퓨터 구현 알고리즘의 사용에 기초하여 결정될 수 있으며, 예를 들어 일반 자동화 알고리즘 및/또는 인공 지능(AI) 기반 알고리즘은, 예를 들어 신경망, 컨볼루셔널 신경망 등을 사용하는 단계를 포함할 수 있다. 예를 들어, 종양 인식 기술(tumor recognition technique)이 사용될 수 있다. 매질의 제1 부분 및/또는 매질의 제2 부분은 패턴 인식 방식에 기초하여 결정될 수 있다.
제2 서브세트를 제1 서브세트와 연결하는 단계는, 예를 들어 유방조영 및/또는 단층영상합성 검사에서 식별된 병변을 초음파 검사에서 식별된 병변과 연결하도록 허용할 수 있다. 제1 서브세트 및/또는 제2 서브세트는, 예를 들어 병변 및/또는 뚜렷한 조직을 포함할 수 있다. 예를 들어, 초음파 이미지 데이터에서 식별된 병변과 다른 이미지 데이터에서 식별된 병변은 동일한 병변일 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 예를 들어 유방조영 및/또는 단층영상합성 검사에서 식별된 병변의 위치를 초음파 검사에서 식별된 병변의 위치, 예를 들어 동일한 병변과 연결하는 것을 허용할 수 있다.
매질의 제1 부분 및 매질의 제2 부분은 라벨링될 수 있다.
제2 서브세트는 제1 서브세트와 연결될 수 있고/있거나 제1 서브세트는 제2 서브세트와 연결될 수 있다.
매질의 제1 영역/매질의 제1 부분은 매질의 제2 영역/매질의 제2 부분과 중첩 및/또는 동일할 수 있다. 특히, 매질 내의 제1 영역/매질의 제1 부분 및 매질 내의 제2 영역/매질의 제2 부분은 동일한 조직을 포함할 수 있다.
제1 서브세트를 결정하는 것 및/또는 제2 서브세트를 결정하는 것 및/또는 제2 서브세트를 제1 서브세트와 연결하는 단계는, 추적 방식(tracking schemes)에 기초될 수 있다. 예를 들어, 제2 서브세트와 제1 서브세트를 연결하기 위해 블록 매칭 알고리즘을 사용할 수 있다. 블록 매칭 알고리즘은, 예를 들어 출원인의 특허 출원 US16/941,865에 개시되어 있다. 예를 들어, 픽셀 트래킹 알고리즘(pixel tracking algorithm)이 사용될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 각각이 매질의 동일 및/또는 유사한 부분 및/또는 매질 내의 동일 및/또는 유사한 영역을 나타내는 초음파 이미지 데이터 및 기타 이미지 데이터를 결정/식별하는 단계를 포함할 수 있다.
일부 이미징 방법은, 예를 들어 3D 초음파 및 단층촬영과 같은 3D 이미지에 대응하는 이미지 데이터를 생성할 수 있는 반면, 일부 이미징 방법은, 예를 들어 유방조영 및 단층영상합성, 예를 들어 단층영상합성 슬라이스와 같은 3D 매질의 2D 프로젝션에 대응하는 이미지 데이터를 제공할 수 있다. 예를 들어, 다른 이미지 데이터가 유방조영 이미지 데이터 및/또는 단층영상 합성 이미지 데이터를 포함하는 경우, 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 예를 들어 초음파 3D 데이터를 2D 유방조영 데이터에 연결하는 것을 허용할 수 있다.
본 개시는 서로 다른 차원의 이미지 데이터를 서로 연결하게 하는 쉽고 재현 가능한 방법을 제공하는 이점이 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 모의 변형 매질에 기초할 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 시뮬레이션된 변형된 매질에 기초할 수 있고, 예를 들어 제2 서브세트를 제1 서브세트와 연결하는 단계는, 제2 서브세트를 시뮬레이션된 변형된 제1 서브세트 및/또는 시뮬레이션된 변형된 매질 내의 제1 서브세트와 연결하는 단계를 포함할 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 시뮬레이션된 변형된 매질에 기초할 수 있으며, 예를 들어 제2 서브세트를 제1 서브세트와 연결하는 단계는, 변형된 제2 서브세트 및/또는 시뮬레이션된 변형된 매질에서의 제2 서브세트를 제1 서브세트와 연결하는 단계를 포함할 수 있다.
매질의 제1 부분은: 매질의 탄성 특성, 매질의 비선형 탄성 특성, 미리 정의된 컴퓨터 구현 알고리즘을 사용하는 이미지 분할(image segmentation) 및/또는 분류 방법 중 적어도 하나에 기초하여 주변 매질(surrounding medium)과 구별될 수 있고, 및/또는 매질의 제2 부분은 미리 정의된 컴퓨터 구현 알고리즘을 사용하는 이미지 분할 및/또는 분류 방법에 기초하여 주변 매질과 구별될 수 있다.
매질의 제1 부분은, 예를 들어 투명 특성 및/또는 반사 특성 및/또는 점탄성 특성에 기초하여, 예를 들어 고려되는 매질의 점탄성에 의해 주변 매질과 구별될 수 있다.
매질의 제1 부분 및/또는 매질의 제2 부분은, 양성 또는 악성 종양, 병변, 의심스러운 조직(suspicious tissue), 종양 후보, 마커, 유방암 중 적어도 하나를 포함할 수 있다.
예를 들어 미리 정의된 컴퓨터 구현 알고리즘은 AI 기반일 수 있으며, 예를 들어 신경망, 컨볼루셔널 신경망(convolutional neural network) 등을 사용하는 단계를 포함할 수 있다. 예를 들어, 종양 인식 기술(tumor recognition technique)이 사용될 수 있다.
방법은 선택적으로 변형 특성 신뢰도(deformability properties confidence) 및/또는 변형 특성 품질(deformability properties quality)을 결정하는 단계를 포함할 수 있다. 방법은: 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도(linking confidence)를 결정하는 단계를 더 포함할 수 있다. 연결 신뢰도를 결정하는 단계는, 변형 특성, 변형 특성 신뢰도 중 적어도 하나에 기초할 수 있다.
연결 신뢰도는, 예를 들어 신뢰 지수(confidence index)일 수 있다.
예를 들어 변형 특성 신뢰도는 변형 특성 추정의 품질 및/또는 신뢰도에 대한 척도일 수 있다. 예를 들어 변형 특성 신뢰도는 미리 정의된 신뢰 수준에서 오류 막대/불확실성 막대일 수 있다. 변형 특성 신뢰도가 낮으면 예를 들어 연결 신뢰도가 낮아질 수 있다. 또한, 예를 들어 변형 특성이 특정 값 범위 내에 있는 경우, 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 것이 더 쉬울 수 있다. 이러한 방식으로, 예를 들어 연결 신뢰도는 변형 특성에 기초하나 변형 특성의 영향을 받을 수 있다.
변형 특성 신뢰도(deformability properties confidence)는, 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터에 의해 표현/연관 및/또는 재구성된 매질 사이의 차이와 연관될 수 있다. 변형 특성 신뢰도는 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터로 표현되고/되거나 다른 이미지 데이터로부터 재구성된 매질 사이의 차이에 기초하여 결정될 수 있다.
방법은 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계를 더 포함할 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 제1 부분의 및 제2 부분의/제1 부분과 제2 부분 사이의 공간적 거리, 시뮬레이션된 변형된 매질에서의 제1 부분의 및 제2 부분의/시뮬레이션된 변형된 매질에서의 제1 부분과 제2 부분 사이의 공간적 거리, 제1 부분과 제2 부분 사이의 공간적 중첩, 시뮬레이션된 변형된 매질의 제1 부분의 및 제2 부분의 공간적 중첩, 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기, 시뮬레이션된 변형된 매질에서의 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기, 변형 특성, 변형 특성 신뢰도 중 적어도 하나에 기초될 수 있다.
제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 제1 부분의 및 시뮬레이션된 변형된 매질에서의 제2 부분의/제1 부분과 시뮬레이션된 변형된 매질에서의 제2 부분 사이의 공간 거리, 제1 부분과 제2 부분 사이의 공간적 중첩, 제1 부분의 및 시뮬레이션된 변형된 매질에서 제2 부분의 공간적 중첩, 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기, 시뮬레이션된 변형된 매질에서 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기 중 적어도 하나에 기초될 수 있다.
예를 들어, 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도는 점수(score) 및/또는 제2 서브세트를 제1 서브세트와 연결하는 점수일 수 있다.
예를 들어, 제1 부분과 제2 부분의 윤곽 및/또는 모양 및/또는 크기가 매우 유사한 경우 연결 신뢰도가 더 높을 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 베이지안 방법 및/또는 조건부 방법에 기초할 수 있고, 및 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터로 표현 및/또는 재구성된 매질 사이의 변형 특성 신뢰도 및/또는 차이에 기초한다.
제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있다. 컴퓨터 구현 알고리즘은 AI 기반일 수 있으며, 학습 방식, 예를 들어 딥 러닝 및/또는 머신 러닝, 및/또는 인공 지능 및/또는 신경망 및/또는 컨볼루셔널 신경망 및/또는 기타의 사용을 포함할 수 있다. 컴퓨터 구현 알고리즘은 또한 사용자에 의한 수동 입력에 기초될 수 있고 및/또는 자동화된 방식으로 수행될 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 커널 기반일 수 있으며 예를 들어 윤곽선 추적, 칼만 필터링, 입자 필터링을 포함할 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 자동화될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는 단계는, 선택적으로 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 것에 기초할 수 있다.
변형된 매질을 시뮬레이션하는 단계 및/또는 제1 서브세트를 결정하는 단계 및/또는 제2 서브세트를 결정하는 단계 및/또는 제2 서브세트를 제1 서브세트와 연결하는 단계 및/또는 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는 단계 및/또는 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있고/컴퓨터 구현 알고리즘에 기초될 수 있다.
변형 특성 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있다.
"신뢰도(confidence)" 및 "품질(quality)"이라는 용어는 다르게 나타내지 않는 한 본 명세서 전반에 걸쳐 동의어로 사용될 수 있다.
예를 들어 컴퓨터 구현 알고리즘은 AI 기반일 수 있으며, 학습 방식, 예를 들어 딥 러닝 및/또는 머신 러닝, 및/또는 인공 지능 및/또는 신경망 및/또는 컨볼루셔널 신경망 및/또는 기타의 사용을 포함할 수 있다. 컴퓨터 구현 알고리즘은 또한 사용자에 의한 수동 입력에 기초될 수 있고 및/또는 자동화된 방식으로 수행될 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 커널 기반일 수 있으며 예를 들어 윤곽선 추적, 칼만 필터링, 입자 필터링을 포함할 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 자동화될 수 있다.
컴퓨터 구현 알고리즘은 제1 서브세트를 제2 서브세트와 연결하기 위한 및/또는 연결 신뢰도를 결정하기 위한 추적 방식을 적용하는 단계를 포함할 수 있다. 적용된 추적 방식은 윤곽선 추적(contour tracking), 칼만 필터링(Kalman filtering), 입자 필터링(particle filtering), 학습 방식(learning schemes), 예를 들어 딥 러닝(deep learning)을 포함할 수 있다.
또한 매질의 복수의 제1 부분/매질 내의 복수의 제1 영역과 연관된/상응하는 복수의 제1 서브세트 및/또는 매질의 복수의 제2 부분과 연관된/상응하는 복수의 제2 서브세트/ 매질 내의 복수의 제2 영역이 결정될 수 있고, 예를 들어 손실 함수를 사용하여 서로 연결될 수 있고, 예를 들어 대응하는 연결 신뢰도가 결정될 수 있다. 예를 들어, 제1 서브세트를 제2 서브세트와 연결하는 여러 루프가 수행될 수 있고 연결 신뢰도가 있는 행렬이 구축될 수 있다.
본 개시는 데이터 처리 시스템에 의해 실행되는 경우, 데이터 처리 시스템으로 하여금 본 개시의 임의의 예들에 따른 방법을 수행하도록 유발하는 컴퓨터 판독-가능 명령어들을 포함하는 컴퓨터 프로그램을 언급할 수 있다.
본 발명은 매질과 연관된 초음파 이미지 데이터를 매질을 연관된 다른 이미지 데이터와 연결하는 시스템을 의미할 수 있다. 시스템은, 초음파 데이터에 기초하여 매질의 변형 특성(Deformability properties)을 추정하고 및 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하하도록 구성된 처리 유닛(processing unit)을 포함할 수 있다. 시스템은 더욱이 위에서 설명된 방법 특징들 또는 동작들 중 임의의 것을 수행하도록 구성될 수 있다.
본 발명은 또한 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 시스템을 의미할 수 있다. 시스템은 처리 유닛 및 처리 유닛에 결합된 메모리를 포함할 수 있고, 메모리는, 컴퓨터 실행가능 명령들을 포함하고, 명령들이, 처리 유닛에 의해 실행될 때, 초음파 데이터에 기초하여 매질의 변형 특성을 추정하고, 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하도록 구성되는 단계를 포함하는 방법을 수행한다.
달리 모순되는 경우를 제외하고 위에서 설명한 요소와 사양 내의 요소의 조합을 만들 수 있다.
전술한 일반 설명과 다음 세부 설명은 모두 예시적이고 설명적일 뿐이며 설명 목적으로 제공되며 청구된 대로 공개를 제한하지 않는다는 것을 이해해야 한다.
본 명세서에 포함되어 그 일부를 구성하는 첨부 도면들은 개시의 예시들 및 설명과 함께 설명하고, 그 원리들을 뒷받침하고 설명하는 역할을 한다.
도 1은 본 발명의 실시예에 따른 방법의 예시적인 실시예를 도시한다.
도 2는 매질의 파라메트릭 모델, 시뮬레이션된 변형된 매질 및 기타 이미지 데이터 간의 관계를 도시한다.
도 3은 본 개시 내용의 실시예에 따른 방법의 다른 예시적인 실시예를 도시한다.
도 4는 본 개시 내용의 실시예에 따른 방법의 또 다른 예시적인 실시예를 도시한다.
도 2는 매질의 파라메트릭 모델, 시뮬레이션된 변형된 매질 및 기타 이미지 데이터 간의 관계를 도시한다.
도 3은 본 개시 내용의 실시예에 따른 방법의 다른 예시적인 실시예를 도시한다.
도 4는 본 개시 내용의 실시예에 따른 방법의 또 다른 예시적인 실시예를 도시한다.
참조(reference)는 이제 첨부 도면들에서 도시되는 예들인 본 개시의 예들로 상세히 이루어질 것이다. 가능하면 도면 전체에 동일한 참조 번호가 사용되어 동일하거나 유사한 파트를 참조한다.
출원인의 WO 2017/205386 A1은 제1 이미징 양식(first imaging modality)을 사용하여 대상(target)에 대한 표면 이미지 데이터를 획득하는(acquiring) 단계를 포함하는 이미징 방법을 개시한다. 표면 이미지 데이터에 기초하여 대상의 시각적 표현이 생성된다. 대상에 대한 내부 이미지 데이터는 제2 이미징 양식(second imaging modality)을 사용하여 획득된다(acquired). 내부 이미지 데이터를 획득(acquisition)하는 동안, 획득된 내부 이미지 데이터(acquired internal image data)에 기초하여 대상의 시각적 표현이 업데이트된다.
이 방법은 표면 이미지 데이터 및 내부 이미지 데이터와 관련된다.
출원인의 WO 2019/035064 A1은 유방 촬영 환자 모션 보상을 위한 기술을 개시한다. 이미징 시스템(imaging system)은 인체 조직의 이미지를 캡처하기 위한 이미징 검출기(imaging detector) 및 이미징 검출기로부터 떨어져 위치하여 압박 패들과 이미징 검출기 사이에서 인체 조직을 압축하기 위한 압박 패들(compression paddle)을 포함할 수 있다. 힘 센서는 인체 조직 위에 적용된 힘의 척도를 나타내는 힘 신호를 생성할 수 있다. 이동 검출 회로(movement detection circuit)는 압축된 인체 조직의 이동 측정치를 나타내는 힘 신호로부터 이동 신호를 필터링할 수 있다. 이동 분석 모듈(movement analysis module)은 이동 신호(movement signal)가 이동 임계값을 초과한다고 결정할 수 있다. 이동 신호가 이동 임계값을 초과한다는 결정에 기초하여 보정 조치(corrective action)를 수행하는 이미지 보정 모듈(image correction module). 다른 실시예들이 기술되고 청구된다.
이 방법은 이동 검출 회로로부터의 입력에 기초하여 이미지 보정을 수행하는 것에 관한 것이다.
도 1은 본 발명의 실시예에 따른 방법의 예시적인 실시예를 도시한다. 방법은 초음파 데이터에 기초하여 매질의 변형 특성을 추정하고 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하도록 구성된 처리 유닛(processing unit)을 포함하는 시스템에 의해 수행될 수 있다. 시스템은 또한 본 명세서에 기술된 임의의 방법 특징 또는 동작을 수행하도록 구성될 수 있다.
방법은 초음파 시스템에 의해 수행되는 초음파 방법일 수 있다. 가능한 초음파 방법들은 B-모드 이미징, 전단파 탄성계 이미징(shear wave elastography imaging)(출원자가 개발한 ShearWave® 모드 등), 도플러(Doppler) 이미징, CEUS 이미징, ultrafast?? Doppler 이미징 또는 Angio P.L.U.S ?? 초음파 이미징 또는 기타 초음파 이미징 모드로 명명된 혈관 모드(angio mode)를 포함한다. 따라서, 초음파 이미지 데이터를 획득하기 위해 서로 다른 획득 모드(acquisition mode)가 사용될 수 있다. 방법은 언급된 방법 중 임의의 것의 일부일 수 있거나 이들 방법 중 임의의 것과 조합될 수 있다.
단계(110)에서는 초음파 데이터에 기초하여 매질의 변형 특성을 추정한다.
변형 특성(Deformability properties)은 3차원(3D) 변형 특성 및/또는 2D 변형 특성을 포함할 수 있다. 3D 변형 특성은 매질의 사실적으로 변형된 3D 모델을 설정하고/하거나 매질 및/또는 변형된 매질의 변형을 사실적으로 시뮬레이션하는 데 유용할 수 있다. 변형 특성은, 예를 들어 파라메트릭 모델, 예를 들어 3D 파라메트릭 모델과 같은 매질의 모델을 구축하도록 허용할 수 있다.
변형 특성은 매질 및/또는 변형된 매질의 변형을 시뮬레이션하도록 허용할 수 있다. 매질의 변형 및/또는 변형된 매질은 이미지 데이터, 예를 들어 초음파 이미지 데이터에 의해 및/또는 다른 이미지 데이터 및/또는 제3 이미지 데이와 연관되거나 이미지 데이터에 의해 표현되는 매질과 비교한 매질의 변형과 연관될 수 있다. 변형된 매질을 시뮬레이션하는 단계는, 모델에 기초할 수 있다.
동작(120)에서, 초음파 이미지 데이터는 변형 특성에 기초하여 다른 이미지 데이터와 연결된다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는, 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 매칭 및/또는 매핑 및/또는 상관시키는 단계를 포함할 수 있는데, 예를 들어 시뮬레이션된 변형된 매질(simulated deformed medium)/매질 변형 시뮬레이션을 다른 이미지 데이터와의 연결이다. 연결, 매칭, 매핑 및/또는 상관은 예를 들어 각각의 신뢰 수준과 연결, 매칭, 매핑 및/또는 상관에 점수를 매길 수 있는 하나 이상의 신뢰 수준을 포함할 수 있다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는: 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 초음파 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션을, 다른 이미지 데이터와 연결하는 단계를 포함할 수 있다. 예를 들어 시뮬레이션은 초음파 이미지 데이터에 기초할 수 있다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는 단계는: 초음파 이미지 데이터를 시뮬레이션된 변형된 매질/매질 변형의 시뮬레이션, 예를 들어 다른 이미지 데이터와 연관된 매질과 비교한 매질의 변형 시뮬레이션과 연결하는 단계를 포함할 수 있다. 예를 들어 시뮬레이션은 다른 이미지 데이터에 기초할 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는: 각각이 매질의 동일 및/또는 유사한 부분 및/또는 매질 내의 동일 및/또는 유사한 영역을 나타내는 초음파 이미지 데이터 및 기타 이미지를 식별하는 단계를 포함할 수 있다.
변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 동작(120)은 변형 특성에 기초하여 변형된 매질을 시뮬레이션하는 선택적 단계를 포함할 수 있다. 변형된 매질은 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 매치하도록 시뮬레이션될 수 있다.
시뮬레이션된 변형된 매질은 변형 특성에 기초하여 및/또는 초음파 이미지 데이터에 기초하여 및/또는 다른 이미지 데이터에 기초하여 시뮬레이션될 수 있다.
변형된 매질을 시뮬레이션하는 단계는, 매질의 모델, 예를 들어 매질의 파라메트릭 모델, 예를 들어 3D 파라메트릭 모델을 구축하는 단계를 포함할 수 있다. 파라메트릭 모델은 매질의 변형 특성에 기초할 수 있다. 변형된 매질을 시뮬레이션하는 단계는, 매질의 변형 특성에 기초할 수 있다.
변형 특성에 기초하여 다른 이미지 데이터를 초음파 이미지 데이터와 연결하는(linking)(120) 단계는, 또한 시뮬레이션된 변형된 매질에 기초할 수 있다.
변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 동작(120)은, 초음파 이미지 데이터의 제1 서브세트 및/또는 초음파 이미지 데이터의 복수의 제1 서브세트를 결정하는 선택적 동작을 포함할 수 있다.
변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 동작(120)은, 다른 이미지 데이터의 제2 서브세트 및/또는 다른 이미지 데이터의 복수의 제2 서브세트를 결정하는 선택적 동작을 포함할 수 있다.
초음파 이미지 데이터의 제1 서브세트는 매질 내의 제1 영역과 연관(예를 들어 대응)될 수 있고, 다른 이미지 데이터의 제2 서브세트는 매질의 제2 영역/매질의 제2 부분과 연관(예를 들어 대응)될 수 있다.
매질의 제1 부분 및 매질의 제2 부분은 매질 내의 공간 영역에 대응할 수 있다. 매질의 제1 부분과 매질의 제2 부분은 매질의 병변(들)에 대응할 수 있다. 매질의 제1 부분 및 매질의 제2 부분은 수동 입력 및/또는 미리 정의된 컴퓨터 구현 알고리즘, 예를 들어 정규 자동화 알고리즘 및/또는 AI 기반 알고리즘을 사용하여 결정될 수 있고, 예를 들어 신경망, 컨볼루셔널 신경망 등을 사용하는 것이 포함될 수 있다. 예를 들어, 종양 인식 기술(tumor recognition technique)이 사용될 수 있다. 매질의 제1 부분 및 매질의 제2 부분은 패턴 인식 방식에 기초하여 결정될 수 있다.
매질의 제1 영역/매질의 제1 부분은 매질의 제2 영역/매질의 제2 부분과 중첩 및/또는 동일할 수 있다. 특히, 매질 내의 제1 영역/매질의 제1 부분 및 매질 내의 제2 영역/매질의 제2 부분은 유사하거나 준동일한 조직을 포함할 수 있다.
변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 동작(120)은 선택적으로 시뮬레이션된 변형된 매질에 기초하여 제2 서브세트를 제1 서브세트와 연결하는 선택적인 동작을 포함할 수 있다.
제2 서브세트를 제1 서브세트와 연결하는 단계는, 예를 들어 유방조영 및/또는 단층영상합성 검사에서 식별된 병변을 초음파 검사에서 식별된 병변과 연결하도록 허용할 수 있다. 제1 서브세트 및/또는 제2 서브세트는, 예를 들어 병변 및/또는 뚜렷한 조직을 포함할 수 있다. 예를 들어, 초음파 이미지 데이터에서 식별된 병변과 다른 이미지 데이터에서 식별된 병변은 동일한 병변일 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 예를 들어 유방조영 및/또는 단층영상합성 검사에서 식별된 병변의 위치를 초음파 검사에서 식별된 병변의 위치와 연결하는 것을 허용할 수 있다.
제1 서브세트를 결정하는 것 및/또는 제2 서브세트를 결정하는 것 및/또는 제2 서브세트를 제1 서브세트와 연결하는 단계는, 추적 방식, 예를 들어 윤곽선 추적, 칼만 필터링, 입자 필터링, 학습 방식, 예를 들어 딥 러닝에 기초할 수 있고, 및/또는 또는 블록 매칭 알고리즘에 기초될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 모의 변형 매질에 기초할 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 시뮬레이션된 변형된 매질에 기초할 수 있고, 예를 들어 제2 서브세트를 제1 서브세트와 연결하는 단계는, 제2 서브세트를 시뮬레이션된 변형된 제1 서브세트 및/또는 시뮬레이션된 변형된 매질 내의 제1 서브세트와 연결하는 단계를 포함할 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 단계는, 시뮬레이션된 변형된 매질에 기초할 수 있으며, 예를 들어 제2 서브세트를 제1 서브세트와 연결하는 단계는, 변형된 제2 서브세트 및/또는 시뮬레이션된 변형된 매질에서의 제2 서브세트를 제1 서브세트와 연결하는 단계를 포함할 수 있다.
선택적 동작(optional operation)(130)에서, 연결 신뢰도, 예를 들어 연결 신뢰도 파라미터 및/또는 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 수준이 평가, 즉 결정된다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는 단계는, 변형 특성, 변형 특성 신뢰도 중 적어도 하나에 기초할 수 있다.
연결 신뢰 수준은, 예를 들어 신뢰 지수일 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는 단계(130)는, 변형 특성 신뢰도를 결정하는 선택적인 동작을 포함할 수 있다.
예를 들어 변형 특성 신뢰도는 변형 특성 추정의 품질 및/또는 신뢰도에 대한 척도일 수 있다. 예를 들어 변형 특성 신뢰도는 미리 정의된 신뢰 수준에서 오류 막대/불확실성 막대일 수 있다. 변형 특성 신뢰도가 낮으면 예를 들어 연결 신뢰도가 낮아질 수 있다. 또한, 예를 들어 변형 특성이 특정 값 범위 내에 있는 경우, 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 것이 더 쉬울 수 있다. 이러한 방식으로 예를 들어 연결 신뢰도는 변형 특성에 기초할 수 있고/변형 특성에 의해 영향을 받을 수 있다.
변형 특성 신뢰도(deformability properties confidence)는, 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터에 의해 표현/연관 및/또는 재구성된 매질 사이의 차이와 연관될 수 있다. 변형 특성 신뢰도는 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터로 표현되고/되거나 다른 이미지 데이터로부터 재구성된 매질 사이의 차이에 기초하여 결정될 수 있다.
변형 특성 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는(Determining) 단계(130)는, 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 선택적 동작을 포함할 수 있고 및/또는 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계에 기초될 수 있다.
제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 제1 부분 및 제2 부분의/사이의 공간 거리, 시뮬레이션된 변형된 매질에서의 제1 부분의 및/과 제2 부분 사이의 공간적 거리, 제1 부분과 제2 부분 사이의 공간적 중첩, 시뮬레이션된 변형된 매질에서의 제1 부분과 제2 부분의 공간적 중첩, 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기, 시뮬레이션된 변형된 매질에서의 제1 부분 및/또는 제2 부분의 윤곽 및/또는 형상 및/또는 크기, 변형 특성, 변형 특성 신뢰도 중 적어도 하나에 기초될 수 있다.
예를 들어, 제1 부분과 제2 부분의 윤곽 및/또는 모양 및/또는 크기가 매우 유사한 경우 연결 신뢰도가 더 높을 수 있다. 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 베이지안 방법 및/또는 조건부 방법에 기초할 수 있고, 및 예를 들어 시뮬레이션된 변형된 매질과 다른 이미지 데이터로 표현 및/또는 재구성된 매질 사이의 변형 특성 신뢰도 및/또는 차이에 기초한다.
변형된 매질을 시뮬레이션하는 단계 및/또는 제1 서브세트를 결정하는 단계 및/또는 제2 서브세트를 결정하는 단계 및/또는 제1 서브세트를 제2 서브세트와 연결하는 단계 및/또는 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도를 결정하는 단계 및/또는 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있다.
변형 특성 신뢰도를 결정하는 단계는, 컴퓨터 구현 알고리즘을 사용하여 수행될 수 있다.
예를 들어 컴퓨터 구현 알고리즘은 AI 기반일 수 있으며, 학습 방식, 예를 들어 딥 러닝 및/또는 머신 러닝, 및/또는 인공 지능 및/또는 신경망 및/또는 컨볼루셔널 신경망 및/또는 기타의 사용을 포함할 수 있다. 컴퓨터 구현 알고리즘은 또한 사용자에 의한 수동 입력에 기초될 수 있고 및/또는 자동화된 방식으로 수행될 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 커널 기반일 수 있으며 예를 들어 윤곽선 추적, 칼만 필터링, 입자 필터링을 포함할 수 있다. 컴퓨터 구현 알고리즘은, 예를 들어 자동화될 수 있다.
컴퓨터 구현 알고리즘은 제1 서브세트를 제2 서브세트와 연결하기 위한 및/또는 연결 신뢰도를 결정하기 위한 추적 방식을 적용하는 단계를 포함할 수 있다. 적용된 추적 방식은 윤곽선 추적(contour tracking), 칼만 필터링(Kalman filtering), 입자 필터링(particle filtering), 학습 방식(learning schemes), 예를 들어 딥 러닝(deep learning)을 포함할 수 있다.
또한 매질의 복수의 제1 부분/매질 내의 복수의 제1 영역과 연관된/상응하는 복수의 제1 서브세트 및/또는 매질의 복수의 제2 부분과 연관된/상응하는 복수의 제2 서브세트/ 매질 내의 복수의 제2 영역이 결정될 수 있고, 예를 들어 손실 함수를 사용하여 서로 연결될 수 있고, 예를 들어 대응하는 연결 신뢰도가 결정될 수 있다. 예를 들어, 제1 서브세트를 제2 서브세트와 연결하는 여러 루프가 수행될 수 있고 연결 신뢰도가 있는 행렬이 구축될 수 있다.
도 2는 매질의 파라메트릭 모델(parametric model), 시뮬레이션된 변형된 매질(simulated deformed medium) 및 다른 이미지 데이터 사이의 예시적인 관계를 도시한다.
매질의 모델(model)(200a), 즉 이 예에서 인간 유방(human breast)이 도시되어 있다. 모델(200a)은 파라메트릭 모델 및/또는 기하학적/물리적 모델일 수 있다. 모델(200a)은 초음파 이미지 데이터, 예를 들어 3차원 초음파 이미지 데이터에 기초할 수 있다. 매질은 제1 부분을 포함한다. 파라메트릭 모델의 제1 부분을 나타내는/연관된 부분은 210a로 표시된다. 모델은 매질의 변형 특성에 기초될 수 있다. 변형성 특성은 초음파 데이터에 기초하여 추정된다.
제1 부분은 다음 중 적어도 하나에 기초하여 주변 매질과 구별될 수 있다: 매질의 탄성 특성, 매질의 비선형 탄성 특성, 투명도 특성, 반사 특성, 점탄성 특성, 미리 정의된 컴퓨터 구현 알고리즘을 사용하는 이미지 분할 및/또는 분류 방법.
매질의 제1 부분은, 종양, 병변, 의심스러운 조직, 종양 후보, 마커, 유방암 중 적어도 하나를 포함할 수 있다. 제1 부분은, 예를 들어 의심스러운 병변과 같은 병변일 수 있다.
파라메트릭 모델 및/또는 매질의 모델의 시뮬레이션된 변형은, 예를 들어 200b로 표시된다. 제1 부분을 나타내는/연관된 시뮬레이션된 변형된 매질의 부분은 210b로 표시된다. 변형으로 인해, 부분(210b)의 형상, 윤곽 및 크기는 부분(210a)과 비교하여 변경된다(또한 변형을 개략적으로 나타내는 파선 DL 참조). 변형으로 인해, 매질(200b)는 매질(200a)에 비해 형태, 윤곽 및 크기가 변경된다. 모델(200a)과 모의 변형(200b) 사이의 관계도 도면에서 점선으로 표시된다.
시뮬레이션된 변형은 다른 이미지 데이터, 예를 들어 유방조영 및/또는 단층촬영 이미지 데이터와 연관되거나 이에 의해 표현되는 매질의 변형 상태와 일치할 수 있다.
다른 이미지 데이터, 예를 들어 단층영상합성 이미지 데이터는 200c로 표시된다. 다른 이미지 데이터/단층영상합성 데이터 중 제1 부분을 나타내거나 연관시키는 부분은 210c로 표시된다.
본 개시는 변형 특성에 기초하여 초음파 이미지 데이터를 다른 이미지 데이터, 예를 들어 단층영상합성 데이터(210c)와 연결하는 것을 허용할 수 있다. 본 개시는, 예를 들어 변형 특성에 기초하여 부분(210b)에 기초하여 부분(210a 및 210c)을 연결하는 것을 허용할 수 있다.
도 1은 본 개시의 실시예들에 따른 방법의 제1 예시적인 실시예를 도시한다.
다른 이미지 데이터의 제2 서브세트, 예를 들어 유방조영 이미지 데이터 및/또는 단층영상합성 데이터가 결정될 수 있다(왼쪽 위 도면에서 흰색 화살표로 표시됨). 제2 서브세트는, 예를 들어 매질의 의심스러운 병변에 대응할 수 있다. 다른 이미지 데이터의 복수의 제2 서브세트가 결정될 수 있다.
예를 들어, 3D 초음파 이미징과 같은 초음파 이미징이 수행될 수 있다. 대응하는 초음파 이미지 데이터는 오른쪽 상단 도면에 표시된다. 초음파 이미지 데이터에 기초하여 변형 특성이 추정된다.
초음파 이미지 데이터의 제1 서브세트는 하나 이상 결정될 수 있다. 하나 이상의 제1 서브세트는, 예를 들어 매질의 하나 이상의 의심스러운 병변에 대응할 수 있다.
변형된 매질은 변형 특성에 기초하여 시뮬레이션될 수 있다. 시뮬레이션은 시뮬레이션된 변형된 매질이 다른 이미지 데이터, 예를 들어 유방조영 이미지 데이터 및/또는 단층영상합성 데이터와 연관된 매질의 변형 상태와 매치하도록 할 수 있다.
변형된 시뮬레이션된 매질에서 하나 이상의 시뮬레이션된 변형된 제1 서브세트가 결정될 수 있다.
제1 서브세트는, 예를 들어 변형 특성에 기초하여 제2 서브세트와 연결될 수 있다. 시뮬레이션된 변형된 제1 서브세트는 제2 서브세트와 연결될 수 있다.
초음파 이미지 데이터는, 예를 들어 시뮬레이션된 변형된 매질에 기반한 변형 특성에 기반하여 다른 이미지 데이터와 연결된다.
초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 연결 신뢰도가 결정될 수 있다. 예를 들어 연결 신뢰도는 변형 특성 및/또는 제2 서브세트를 제1 서브세트와 연결하는 연결 신뢰도에 기초하여 결정될 수 있다.
도 4는 본 개시 내용의 실시예에 따른 방법의 또 다른 예시적인 실시예를 도시한다.
동작 1(O1) 동안, 유방조영 및/또는 단층영상합성 스캔이 수행되고 다른 이미지 데이터가 획득될 수 있다.
동작 2(O2) 동안, 다른 이미지 데이터의 하나 이상의 제2 서브세트가 결정될 수 있다.
동작 3(O3) 동안, 매질, 예를 들어 사람의 유방에 대한 초음파, 예를 들어 3차원 초음파를 수행하여 초음파 이미지 데이터가 획득될 수 있다.
동작 4(O4) 동안, 초음파 이미지 데이터의 하나 이상의 제1 서브세트가 결정될 수 있다.
동작 5(O5) 동안, 파라메트릭 모델, 예를 들어 3D 파라메트릭 모델이 구축될 수 있다. 3D 파라메트릭 모델은 변형 특성을 포함/기초할 수 있다. 변형성 특성은 초음파 이미지 데이터에 기초하여 추정된다. 변형 특성 신뢰도가 결정될 수 있다.
동작 6(O6) 동안, 변형된 매질이 시뮬레이션될 수 있다. 시뮬레이션은 변형 특성 및/또는 모델에 기초될 수 있다. 시뮬레이션은 시뮬레이션된 변형된 매질이 다른 이미지 데이터와 연관된 매질의 변형 상태와 매치하도록 할 수 있다.
동작 7(O7) 동안, 초음파 이미지 데이터를 변형 특성에 따라 다른 이미지 데이터와 연결된다. 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 단계는, 제2 서브세트/하나 이상의 제2 서브세트를 하나 이상의 제1 서브세트와 연결 및/또는 제2 서브세트/하나 이상의 제2 서브세트를 하나 이상의 시뮬레이션된 변형된 제1 서브세트와 연결하는 단계를 포함할 수 있다. 하나 이상의 제2 서브세트를 하나 이상의 제1 서브세트와 연결하는 단계는, 하나 이상의 제2 서브세트를 하나 이상의 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계를 포함할 수 있다.
동작 8(O8) 동안, 연결 신뢰도가 결정될 수 있다. 연결 신뢰도는, 예를 들어 변형 특성 및/또는 변형 특성 신뢰도 및/또는 하나 이상의 제2 서브세트를 하나 이상의 제1 서브세트와와 연결하는 연결 신뢰도에 기초하여 결정될 수 있다.
본 발명의 예는 신뢰할 수 있고, 견고하고, 재현 가능하고, 정확하고, 정확하고, 및/또는 빠른 방식으로 초음파 이미지 데이터를 다른 이미지 데이터와 연결하는 것을 허용할 수 있다.
첨구항을 포함한, 설명 전체에서 "포함하는"이라는 용어는 달리 명시되지 않는 한 "적어도 하나를 포함하는"과 동의어로 이해되어야 한다. 또한, 청구항을 포함하는, 설명에 명시된 모든 범위는 달리 명시되지 않는 한 최종 가치를 포함하는 것으로 이해되어야 한다. 설명된 요소에 대한 특정 값은 당업자의 기술 중 하나에 알려진 허용된 제조 또는 산업 허용 오차 범위 내에 있는 것으로 이해되어야 하며, "실질적으로" 및/또는 "대략" 및/또는 "일반적으로"라는 용어를 사용하는 것은, 그러한 허용된 범위 내에 속하는 것으로 이해되어야 한다.
"~와 연관된(associated with)" 및 "~에 의해 대표되는(represented by)"이라는 용어는 다르게 나타내지 않는 한 본 명세서 전반에 걸쳐 동의어로 사용될 수 있다.
비록 여기에 본 개시는 특정 예들을 참조하여 설명되긴 하지만, 이 예들을 단지 본 개시의 원리들 및 적용들을 예시하는 것임을 이해해야 한다.
상세한 설명 및 예는 예시적인 것으로만 간주되며, 공개의 실제 범위는 다음 청구항에 의해 표시된다.
여기에서 특허 문서 또는 선행 기술로 확인된 기타 사항에 대한 참조는 문서 또는 기타 문제가 알려졌거나 문서에 포함된 정보가 청구항의 우선권에 일반적인 일반 지식의 일부였다는 것을 인정하는 것으로 간주되지 않는다.
요약하면, 전술한 바와 같은 본 발명에 따른 방법은 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템을 제공하며, 이는 유리하게는 신뢰할 수 있고 견고하다. 또한, 증가된 정밀도(preciseness)로 인해 감소된 분산 및 따라서 증가된 재현성이 유리하게 달성될 수 있다.
Claims (19)
- 매질과 연관된 초음파 이미지 데이터를 상기 매질과 연관된 다른 이미지 데이터와 연결하는 방법(100)에 있어서,
상기 초음파 데이터에 기초하여 상기 매질의 변형 특성을 추정하는 단계(110), 및
상기 변형 특성에 기초하여 상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 단계(120)
를 포함하는
방법.
- 제1항에 있어서,
상기 다른 이미지 데이터는,
초음파 이미징 소스가 아닌 다른 소스에서 발생하는 이미지 데이터,
X-레이 이미지 데이터,
유방조영 및/또는 단층영상합성 및/또는 단층촬영 이미지 데이터,
자기 공명(MR) 이미지 데이터,
광학 이미징 장치에서 발생하는 이미지 데이터, 및
다른 초음파 이미지 데이터
중에서 적어도 하나를 포함하는
방법.
- 제1항 또는 제2항에 있어서,
상기 초음파 데이터는,
3차원 초음파 이미지 데이터
를 포함하고, 및/또는
상기 초음파 데이터는,
전단파 탄성(SWE) 데이터,
비선형 전단파 탄성(NL-SWE) 데이터,
B 모드 데이터
중 적어도 하나를 포함하는
방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 다른 이미지 데이터와 연관된 상기 매질은,
상기 초음파 이미지 데이터와 연관된 상기 매질과 비교하여 상이한 변형 상태에 있는
방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 단계(120)는,
상기 초음파 이미지 데이터를 제3 이미지 데이터와 연결하는 단계, 및
상기 다른 이미지 데이터를 상기 제3 이미지 데이터와 연결하는 단계
를 포함하는
방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 매질은,
인간 유방 조직을 포함하는
방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서,
제2항 변형 특성을 추정하는 단계(110)는,
상기 매질의 탄성 특성,
상기 매질의 비선형 탄성 특성,
상기 매질의 강성 특성,
상기 매질의 기하학적 특성,
상기 매질의 구조적 및/또는 입도 특성,
상기 매질의 밀도 특성, 및
상기 매질의 흡수 특성
중 적어도 하나를 추정하는 단계
를 포함하는
방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
변형 특성은,
유한 요소 모델링,
경계를 이용한 유한 요소 모델링,
활성 큐브를 사용한 모델링,
경계 요소 모델링 및
미리 정의된 등록 방법
중 적어도 하나에 기초하여 추정되는
방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 단계(120)는,
시뮬레이션된 변형된 매질이 상기 다른 이미지 데이터와 연관된 상기 매질의 상기 변형 상태와 매치하도록 상기 변형 특성에 기초하여 변형된 매질을 시뮬레이션하는 단계
를 포함하는
방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 변형된 매질을 시뮬레이션하는 단계는,
상기 다른 이미지 데이터에 더 기초하고, 및/또는
상기 변형된 매질을 시뮬레이션하는 단계는,
제어 루프에서 상기 다른 이미지 데이터를 사용하는
방법.
- 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 단계는,
상기 매질의 제1 부분과 연관된 상기 초음파 이미지 데이터의 제1 서브세트를 결정하는 단계,
상기 매질의 제2 부분과 연관된 상기 다른 이미지 데이터의 제2 서브세트를 결정하는 단계, 및
선택적으로 상기 시뮬레이션된 변형된 매질에 기초하여, 상기 제2 서브세트를 상기 제1 서브세트와 연결하는 단계
를 포함하는
방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 매질의 상기 제1 부분은,
상기 매질의 탄성 특성,
상기 매질의 비선형 탄성 특성,
미리 정의된 컴퓨터 구현 알고리즘을 사용하는 이미지 분할 및/또는 분류 방법
중 적어도 하나에 기초하여, 주변 매질과 구별되는
방법.
- 제11항 또는 제12항에 있어서,
상기 매질의 상기 제2 부분은,
미리 정의된 컴퓨터 구현 알고리즘을 사용하는 이미지 분할 및/또는 분류 방법에 기초하여 상기 주변 매질과 구별되는
방법.
- 제1항 내지 제13항 중 어느 한 항에 있어서,
변형 특성 신뢰도를 결정하는 단계, 및
상기 초음파 이미지 데이터와 상기 다른 이미지 데이터의 연동 신뢰도를 결정하는 단계(130)
를 더 포함하고,
상기 연결 신뢰도를 결정하는 단계는,
상기 변형 특성, 및
상기 변형 특성 신뢰도
중 적어도 하나에 기초되는
방법.
- 제1항 내지 제14항 중 어느 한 항에 있어서,
상기 방법은,
상기 제2 서브세트를 상기 제1 서브세트와 연결하는 연결 신뢰도를 결정하는 단계
를 더 포함하고,
상기 결정하는 단계는,
상기 제1 부분의 및 상기 제2 부분의 공간적 거리,
시뮬레이션된 변형된 매질에서의 상기 제1 부분의 및 상기 제2 부분의 공간적 거리,
상기 제1 부분과 상기 제2 부분 사이의 공간적 중첩,
시뮬레이션된 변형된 매질에서의 상기 제1 부분의 및 상기 제2 부분의 공간적 중첩,
상기 제1 및/또는 상기 제2 부분의 윤곽,
시뮬레이션된 변형된 매질에서의 상기 제1 부분의 및/또는 상기 제2 부분의 윤곽,
상기 변형 특성, 및
상기 변형 특성 신뢰도
중 적어도 하나에 기초되는
방법.
- 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 상기 연결 신뢰도를 결정하는 단계는,
상기 제2 서브세트를 상기 제1 서브세트와 연결하는 상기 연결 신뢰도를 결정하는 단계에 기초하는
방법.
- 제9항 내지 제16항 중 어느 한 항에 있어서,
변형된 매질을 시뮬레이션하고 및/또는 제1 서브세트를 결정하고 및/또는 제2 서브세트를 결정하고 및/또는 상기 제2 서브세트를 상기 제1 서브세트에 연결하고 및/또는 상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하는 상기 연결 신뢰도를 결정하고 및/또는 상기 제2 서브세트를 상기 제1 서브세트와 연결하는 상기 연결 신뢰도를 결정하는 동작은,
컴퓨터 구현 알고리즘을 사용하여 수행되는
방법.
- 컴퓨터 판독가능 명령들을 포함하는 컴퓨터 프로그램에 있어서,
상기 명령들이,
데이터 처리 시스템에 의해 실행될 때,
상기 데이터 처리 시스템으로 하여금,
제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하게 하는
컴퓨터 프로그램.
- 매질과 연관된 초음파 이미지 데이터를 상기 매질과 연관된 다른 이미지 데이터와 연결하기 위한 시스템에 있어서,
상기 시스템은,
처리 유닛
을 포함하고,
상기 처리 유닛은,
상기 초음파 데이터에 기초하여 상기 매질의 변형 특성을 추정하고,
상기 변형 특성에 기초하여 상기 초음파 이미지 데이터를 상기 다른 이미지 데이터와 연결하도록 구성되는
시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22315173.9 | 2022-07-27 | ||
| EP22315173.9A EP4312185A1 (en) | 2022-07-27 | 2022-07-27 | Method and system of linking ultrasound image data associated with a medium with other image data associated with the medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240015562A true KR20240015562A (ko) | 2024-02-05 |
Family
ID=83271574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230061631A KR20240015562A (ko) | 2022-07-27 | 2023-05-12 | 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240037746A1 (ko) |
| EP (1) | EP4312185A1 (ko) |
| JP (1) | JP2024018977A (ko) |
| KR (1) | KR20240015562A (ko) |
| CN (1) | CN117503190A (ko) |
| AU (1) | AU2023203775A1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017205386A1 (en) | 2016-05-27 | 2017-11-30 | Hologic, Inc. | Synchronized surface and internal tumor detection |
| US11707244B2 (en) | 2017-08-16 | 2023-07-25 | Hologic, Inc. | Techniques for breast imaging patient motion artifact compensation |
| FR3099586B1 (fr) | 2019-07-29 | 2021-08-06 | Supersonic Imagine | Système ultrasonore pour détecter un flux d’un fluide dans un milieu |
-
2022
- 2022-07-27 EP EP22315173.9A patent/EP4312185A1/en active Pending
-
2023
- 2023-05-12 KR KR1020230061631A patent/KR20240015562A/ko unknown
- 2023-06-13 US US18/333,921 patent/US20240037746A1/en active Pending
- 2023-06-14 JP JP2023097844A patent/JP2024018977A/ja active Pending
- 2023-06-15 CN CN202310711577.2A patent/CN117503190A/zh active Pending
- 2023-06-16 AU AU2023203775A patent/AU2023203775A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024018977A (ja) | 2024-02-08 |
| EP4312185A1 (en) | 2024-01-31 |
| CN117503190A (zh) | 2024-02-06 |
| AU2023203775A1 (en) | 2024-02-15 |
| US20240037746A1 (en) | 2024-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feigin et al. | A deep learning framework for single-sided sound speed inversion in medical ultrasound | |
| Hashemi et al. | Global time-delay estimation in ultrasound elastography | |
| Ophir et al. | Elastography: ultrasonic estimation and imaging of the elastic properties of tissues | |
| US11241221B2 (en) | Method for processing morphology information and elasticity information of tissue and device for elasticity detection | |
| KR102380167B1 (ko) | 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치 | |
| Deprez et al. | 3D estimation of soft biological tissue deformation from radio-frequency ultrasound volume acquisitions | |
| Aleef et al. | Multi-frequency 3d shear wave absolute vibro-elastography (s-wave) system for the prostate | |
| US20230186504A1 (en) | Making measurements of the hip | |
| CN111050660A (zh) | 超声波诊断装置及生物体组织的物性评价方法 | |
| JP5890358B2 (ja) | 超音波画像撮像装置及び超音波画像表示方法 | |
| US11710229B2 (en) | Methods and systems for shear wave elastography | |
| JP6538280B2 (ja) | 被験者の組織を特徴付ける装置及び方法 | |
| Wang et al. | An improved region-growing motion tracking method using more prior information for 3-D ultrasound elastography | |
| KR20240015562A (ko) | 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템 | |
| Anand et al. | Comparing Focused-Tracked and Plane Wave-Tracked ARFI Log (VoA) In Silico and in Application to Human Carotid Atherosclerotic Plaque, Ex Vivo | |
| KR101956460B1 (ko) | 초음파 의료영상 장치를 이용한 미세석회화 조직 검출 방법 및 그 초음파 의료영상 장치 | |
| Loizou | Ultrasound image analysis of the carotid artery | |
| Abassi | Empirical Assessment of Ultrasound Model Based Reconstructive Elasticity Imaging | |
| Lanzolla et al. | Improving b-mode ultrasound medical images | |
| KR101882325B1 (ko) | 스펙트럴 도플러 영상을 생성하는 방법 및 그 초음파 도플러 영상 장치 | |
| Siddique et al. | Using Strain Estimation to Improve Detection of Tumors in Ultrasonographic Images | |
| Khavari | A Coherent Method for Denoising Ultrasound Data with Applications in Super Resolution and Elastography | |
| Arunachalam | Applications of Machine Learning and Deep Learning in Ultrasound Imaging | |
| Le Ruyet et al. | Development and Evaluation of a Landmark‐Based Method to Estimate Displacements and Strains in Soft Tissues Imaged During an Impact Using Ultrafast Ultrasound | |
| Fonseca et al. | Thoracic wall reconstruction using ultrasound images to model/bend the thoracic prosthesis for correction of pectus excavatum |