KR20230159696A - 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템 - Google Patents
매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR20230159696A KR20230159696A KR1020237034591A KR20237034591A KR20230159696A KR 20230159696 A KR20230159696 A KR 20230159696A KR 1020237034591 A KR1020237034591 A KR 1020237034591A KR 20237034591 A KR20237034591 A KR 20237034591A KR 20230159696 A KR20230159696 A KR 20230159696A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- medium
- source
- fluorescence
- modality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 238000009877 rendering Methods 0.000 claims abstract description 69
- 238000013507 mapping Methods 0.000 claims description 48
- 238000002099 shear wave elastography Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000013473 artificial intelligence Methods 0.000 claims description 21
- 238000010521 absorption reaction Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000012285 ultrasound imaging Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 9
- 230000031700 light absorption Effects 0.000 claims description 6
- 238000004020 luminiscence type Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002425 crystallisation Methods 0.000 claims description 4
- 230000008025 crystallization Effects 0.000 claims description 4
- 239000013078 crystal Substances 0.000 claims 1
- 238000002604 ultrasonography Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 238000012800 visualization Methods 0.000 description 12
- 239000000523 sample Substances 0.000 description 11
- 238000001574 biopsy Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000012086 standard solution Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8993—Three dimensional imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52071—Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
본 발명은 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법에 관한 것으로, 상기 방법은 처리 시스템에 의해 구현될 수 있으며, 방법은,
매질의 복수의 볼륨 단위 중 적어도 하나에 대해 양식 및/또는 소스의 데이터에 기초하여 광학 특성을 결정하는 광학 결정 단계,
볼륨 단위 중 적어도 하나에 대해 형광 특성이 제2 양식 및/또는 소스의 데이터에 기초하여 결정되는 형광 결정 단계, 및
상기 매질의 데이터 표현이 상기 볼륨 단위의 상기 결정된 광학 및 형광 특성에 기초하여 렌더링되는 렌더링 단계를 포함한다. 본 발명은 또한 대응하는 처리 시스템에 관한 것이다.
매질의 복수의 볼륨 단위 중 적어도 하나에 대해 양식 및/또는 소스의 데이터에 기초하여 광학 특성을 결정하는 광학 결정 단계,
볼륨 단위 중 적어도 하나에 대해 형광 특성이 제2 양식 및/또는 소스의 데이터에 기초하여 결정되는 형광 결정 단계, 및
상기 매질의 데이터 표현이 상기 볼륨 단위의 상기 결정된 광학 및 형광 특성에 기초하여 렌더링되는 렌더링 단계를 포함한다. 본 발명은 또한 대응하는 처리 시스템에 관한 것이다.
Description
본 개시는 매질(medium)의 다중-양식(multi-modality) 및/또는 다중-소스(multi-source) 데이터를 처리하기 위한 방법 및 시스템에 관한 것이다. 특히, 본 개시는 특히 의료 이미징(medical imaging)을 위한 이미지 처리 방법 및 상기 방법을 구현하는 시스템에 관한 것이다.
검사, 특히 건강 검진은 종종 초음파 이미징과 같은 컴퓨터 구현 이미징 방법(computer implemented imaging method)에 의해 지원된다. 이를 위해, 검사되는 매질(예를 들어, 돌, 동물, 인체 또는 그 일부)로부터 검사 데이터는, 검사하는 사용자 또는 의사와 같은 다른 사용자에게 제공하기 위해 획득되고 처리된다.
예를 들어, 초음파 이미징은 트랜스듀서(transducer)에 의해 전송되는 하나 이상의 초음파 펄스(또는 파동)를 이용한 매질의 인소니피케이션(insonification)으로 구성된다. 이러한 펄스의 에코에 응답하여, 초음파 신호 데이터는, 예를 들어 동일한 트랜스듀서를 사용하여 획득된다. 초음파 이미징은 동일한 초음파 이미징 시스템(ultrasound imaging system)에 의해 제공될 수 있는 B-모드(밝기 모드) 및 쉬어웨이브(ShearWave®)(SWE, 전단파 탄성영상(shear wave elastography))과 같은 다양한 양식(또는 모드)을 가질 수 있다.
이러한 이미지의 해석, 더 일반적으로 말하면 임의의 검사 데이터를 해석하려면 고도의 전문 지식이 필요하다. 이는, 특히 3D 초음파 이미지와 같은 3차원 이미지 데이터의 경우이다.
서로 다른 양식 및/또는 서로 다른 소스의 데이터가, 예를 들어 사용자에게 보여지는 동일한 3D(3차원) 표현으로 결합되는 경우 검사 데이터는 훨씬 더 복잡해질 수 있다. 이러한 서로 다른 양식은, 서로 다른 모드에서 동일한 시스템에 의해 획득된 데이터, 예를 들어 초음파 시스템에 의해 획득된 B-모드 이미지 데이터 및 SWE 이미지 데이터를 포함할 수 있다. 즉, 서로 다른 양식의 데이터는 동일한 소스(예를 들어 초음파)의 데이터를 포함할 수 있지만 다른 양식(예를 들어 서로 다른 초음파 획득 모드)의 데이터를 포함할 수 있다.
다른 소스는, 또한 다른 시스템, 예를 들어 초음파 시스템 및 다른 이미징 시스템, 예를 들어 컴퓨터 단층 촬영(computer tomography), 자기 공명(magnetic resonance) 또는 양전자 방출 단층 촬영(positron emission tomography)과 같은 의료 이미징 시스템(medical imaging system)에 의해, 획득된 데이터를 포함할 수 있다.
결과적으로, 결합된 다중-양식 및/또는 다중-소스 데이터(예를 들어, 렌더링된 3D 이미지)의 시각적 표현은, 더 관련성이 낮은 다른 정보에 의해 더 관련성이 높은 정보가 위장될 수 있도록 복잡한 경우에 덜 명확하고 잠재적으로 오해의 원인이 될 수 있는 식으로, 사용자에게 정보 과부하를 제공할 수 있다.
이미지, 특히 3D 이미지 또는 깊이 정보가 있는 이미지를 렌더링하기 위한 다양한 알려진 기술이 존재한다. 예를 들어, 의료 이미지 시각화의 경우, 장 큐(Zhang Q), 이글슨 알(Eagleson R), 피터스 티엠(Peters TM)에 설명된 대로, 다양한 볼륨 렌더링 알고리즘(volume-rendering algorithms)이 발전되어 왔다. 볼륨 시각화(Volume visualization): 의료 응용 분야에 초점을 맞춘 기술 개요이다. 제이 디지트 이미징(J Digit Imaging). 2011년 8월;24(4):640-64. 디오아이(doi): 10.1007/s10278-010-9321-6. PMID: 20714917; PMCID: PMC3138940.
특히, 다중평면 재구성(Multiplanar Reformation)(MPR)은 임의로 위치된 직교 또는 경사 평면을 사용하여 3D 볼륨(3D volume)에서 2차원 슬라이스(two-dimensional (2D) slices)를 추출하는 알려진 이미지 처리 기술이다. MPR은 3D 획득 기능을 갖춘 상업용 초음파 시스템의 표준 솔루션이다.
또 다른 예는 객체 표면(object surface)을 명시적 또는 암시적으로 모델링해야 하는 표면 렌더링(surface rendering)(SR)이다. 그런 다음 광선-추적(ray-tracing) 등을 사용하여 표면을 음영 처리하고 렌더링한다. 이 기술은 비디오 게임과 디지털 영화에 널리 사용된다. 그러나, 실질적으로 견고하지 않으며 추가 컴퓨팅 비용(computational cost)이 필요한, 표면 모델링에는 알려지지 않은 수의 알려지지 않은 구조에 대한 자동 분할(automatic segmentation)이 필요하기 때문에 의료용 초음파 상황에는 덜 적합하다.
또 다른 예는 중간 기하학적 표현을 컴퓨팅하지 않고 전체 3D 데이터를 2D(2차원) 이미지로 디스플레이하는 볼륨 렌더링(volume rendering)(VR)이다.
그러나, 이러한 기술은 위에 언급된 문제를 해결하거나 줄이지 않다.
또한 의료 검사(예를 들어, 초음파 이미징 방법 사용)에는 실시간 또는 준실시간 모니터링이 필요한 경우가 많으며, 특히 초음파 이미징 등을 통해 안내되는 의료 개입의 경우 더욱 그렇다. 이러한 이유로, 알려진 렌더링 방법의 증가된 계산 비용(calculation costs)과 사용자의 잠재적인 정보 과부하는 실시간 요구 사항과 관련하여 해로울 수 있다.
현재, 앞서 언급한 문제를 극복하고, 특히 다중-양식 및/또는 다중-소스 데이터의 시각화, 이해 및 해석을 용이하게 하는, 볼륨 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하기 위한 방법 및 시스템을 제공하는 것이 바람직하다. 더욱이, 방법 및 시스템은 바람직하게는, 예를 들어 깊이 정보를 갖는 3D 이미지 또는 2D 이미지에서 각각의 데이터 표현(data representation)으로, 상기 다중-양식 및/또는 다중-소스 데이터의 결합 또는 병합된 표현을 제공한다.
따라서, 본 개시의 실시예에 따르면, (예를 들어 볼륨) 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법이 제공된다. 상기 방법은 처리 시스템(processing system)에 의해 구현될 수 있다. 이 방법은 다음 단계로 구성된다:
- 매질의 복수의 볼륨 단위(volume units) 중 적어도 하나에 대해 광학 특성(optical property)이 제1 양식 및/또는 소스의 데이터에 기초하여 결정되는 광학 결정 단계(optical determination step),
- 볼륨 단위 중 적어도 하나에 대해 형광 특성(fluorescence properties)이 제2 양식 및/또는 소스의 데이터에 기초하여 결정되는 형광 결정 단계(fluorescence determination step), 및
- 볼륨 매질의 데이터 표현이 볼륨 단위의 결정된 광학 및 형광 특성에 기초하여 렌더링되는 렌더링 단계(rendering step).
이러한 방법을 제공함으로써, 다양한 양식 및/또는 소스의 데이터(예를 들어, 의료 이미징 데이터)의 시각화, 이해 및/또는 해석이 촉진될 수 있으므로, 전문가 사용자(예를 들어, 의료 전문가)와 비전문가 사용자(예를 들어, 환자 또는 훈련받지 않은 전문가와 같은 비전문가) 모두에게 광학적으로 그럴듯한 방식으로 표시된다.
본 발명은 다색 형광 메커니즘(multi-color fluorescence mechanism)의 모델링과 결합함으로써 기존의 렌더링 알고리즘을 채택할 수 있다. 이러한 방식으로, 서로 다른 양식 및/또는 소스를 갖는 데이터 볼륨 단위가 통합된 렌더링 장면에서 결합되고 해석될 수 있다.
따라서 제안된 기술은, 통합된 장면(unified scene)에서 시각화할 수 있도록, 여러 이미징 모드 및/또는 이미징 소스(예를 들어, 제1 양식인 3D B-모드 및 제2 양식인 3D SWE 모드)를 서로 다른 사용자 정의 가능한 형광 색상으로 렌더링되도록 할 수 있다. 이 예에서, B-모드 이미징의 중간 에코발생 정보와 SWE의 매질 탄성 정보가 동시에 렌더링될 수 있다.
즉, 동일한 시각화 가능한 장면에서 매질 속성을 결합할 수 있다. 이를 통해 사용자 안내, 병리학 또는 치료 모니터링을 위한 시각적 단서를 얻을 수 있으며, 사용자와 환자가 다중-양식 및/또는 다중-소스 데이터를 더 쉽게 이해하고 해석할 수 있다.
추가 결과적으로, 통합된 장면은 기계 학습 또는 기타 AI 관련 응용 프로그램에 대한 향상된 기반을 제공할 수 있다. 예를 들어, 장면은 컨벌루셔널 신경망(convolutional neural network)(CNN) 또는 미리 정의된 크기 및/또는 형식의 입력 데이터를 예상하는 다른 기계 학습 알고리즘에 의해 처리될 수 있는 미리 정의된 크기를 갖는 2D 또는 3D 이미지의 형태일 수 있다. 결과적으로, 2D 또는 3D 이미지는 추가 전처리 없이 CNN(또는 기타 기계 학습 알고리즘)에 대한 단일 표준화된 입력으로 사용될 수 있다. 대조적으로, 원본 다중-양식 및/또는 다중-소스 데이터는 각각의 경우에 특정 전처리가 필요한 서로 다르거나 다양한 해상도를 가질 수 있다.
더욱이, 광학 특성 및 형광 특성(fluorescent properties)의 결정으로 인해, 생성된 렌더링된 표현은 원본 다중-양식 및/또는 다중-소스 데이터와 비교하여 대비가 향상될 수 있고 노이즈가 더 적을 수 있다. 이러한 상황은 사람이 렌더링된 표현을 올바르게 해석하는 데 도움이 될 뿐만 아니라 또한 기계 학습 알고리즘에 의해 수행되는 분류 및/또는 회귀 작업(regressions tasks)의 결과를 개선할 수도 있다.
예를 들어, 렌더링된 데이터 표현은 원본 데이터의 보다 현실적인 가중치가 AI 기반 알고리즘에 제공되도록 할 수 있다. 즉, (AI 기반) 알고리즘은 더 가중치가 높은, 즉 더 관련성이 높은 데이터에 더 민감할 수 있다. 일례에서, SWE 양식의 데이터는 형광 결정 단계를 통해 증가된 가중치 또는 주의를 획득될 수 있다(즉, 강조 표시 및/또는 색상이 지정될 수 있음). 즉, 상기 데이터(예를 들어 매질에 병변(lesion)을 표시하는 것)는 AI 기반 알고리즘에 의해 더 많은 주의를 기울여 처리될 수도 있다.
본 개시의 단계는, 또한 하나 또는 여러 개의 기계 학습 알고리즘 또는 임의의 다른 AI(인공 지능) 기반 알고리즘에 의해 수행되거나 적어도 도움을 받을 수 있다.
제안된 방법의 또 다른 장점은 컴퓨팅 비용을 줄일 수 있다는 것이다. 예를 들어, 제안된 방법은 객체나 표면 분할 없이 다중 모드 3D 이미지 블렌딩을 가능하게 한다. 뿐만 아니라. 컴퓨팅 비용은 장면의 개체 수와 무관하므로, 여러 개체에 대해 여러 렌더링을 수행할 필요가 없다. 컴퓨팅 비용은 관리되는 볼륨 단위의 수에 따라서만 달라질 수 있다. 더욱이, 형광 특성의 결정은 임의의 음영이 아닌 형광의 물리학 원리에 의존한다. 이는 더 많은 물리적 직관을 제공하고 더 많은 자명성을 제공함으로써 실용적인 파라미터 최적화를 촉진한다.
방법은 매질을 복수의 볼륨 단위로 분할하는 단계를 더 포함할 수 있다. 상기 볼륨 단위는, 어쨌든 이미 다중-양식 및/또는 다중-소스 데이터에 의해, 예를 들어 3차원 다중-양식 및/또는 다중-소스 이미지 데이터의 복셀(voxels)의 형태로 제공될 수 있다. 매질 외부에 볼륨 단위가 있는 것도 가능하다. 매질 외부의 이러한 볼륨 단위 중 적어도 하나는 렌더링된 데이터 표현에서 고려되는 다른 수단, 예를 들어 중재 장치(intervention device)에 의해 점유될 수 있다. 예를 들어, 중재 장치의 매질 및/또는 본체의 샘플링된 위치를 나타내는 복셀은 좌표계(coordinate system), 예를 들어 직교좌표계(cartesian) 또는 극좌표계(polar system) 또는 기타 미리 정의된 시스템으로 배치될 수 있다.
일례에서, 양식 및/또는 소스의 데이터는 매질의 3D 이미지 정보를 포함할 수 있다. 상기 정보는 직교좌표계 또는 극좌표계 또는 다른 미리 정의된 시스템과 같은 미리 정의된 좌표계에 따라 복셀 모드에 의해 복셀에서 획득될 수 있다. 이러한 3D 이미지 정보는, 예를 들어 초음파 매트릭스 프로브, 즉 매트릭스 형태로 배치된 복수의 트랜스듀서를 사용하거나 여러 트랜스듀서 유형을 병합한 프로브를 사용하여 획득될 수 있다.
2D 이미지 슬라이스를 쌓아서 3D 이미지 정보가 획득될 수도 있다. 이는 기계식 1D 선형 초음파 프로브를 통해 달성할 수 있다. 프로브는 주어진 방향으로 기계적으로 회전할 수 있으며, 다른 각도에서 1D 프로브는 2D 이미지 슬라이스를 획득한다.
광학 특성이 결정되는 적어도 하나의 볼륨 단위는 형광 특성이 결정되는 볼륨 단위와 동일하거나 다른 볼륨일 수 있다. 따라서, 하나의 특정 볼륨 단위는 결정된 광학 특성 및/또는 결정된 형광 특성을 가지거나 둘 다 가질 수 없다. 더욱이, 적어도 하나의 볼륨 단위에 대해 광학 특성 및 형광 특성 중 어느 것도 결정되지 않는 것이 가능하다.
하나의 예시적인 실시예에서, 여러 볼륨 단위에 대해 광학 특성이 결정되고/되거나 여러 볼륨 단위에 대해 형광 특성이 결정된다. 다른 예에서, 복수의 볼륨 단위 각각에 대해 광학 특성이 결정되고/되거나 복수의 볼륨 단위 각각에 대해 형광 특성이 결정된다.
렌더링 단계는 컴퓨팅 단계(computation step) 또는 계산 단계(calculation step)로 이해될 수 있다. 이는 또한 그래픽 렌더링 단계(graphical rendering step) 및/또는 3D 렌더링 단계(3D rendering step)를 포함할 수도 있다.
볼륨 매질의 데이터 표현은 복수의 깊이 레벨을 갖는 시각적 또는 그래픽 표현을 포함할 수 있다.
한 예에서, 데이터 표현, 특히 상기 시각적 표현은 하나 또는 여러 이미지, 예를 들어 2차원(2D) 또는 3차원(3D) 이미지를 포함할 수 있거나 그 형태일 수 있다.
광학 특성은 수동적 광학 특성으로 이해될 수 있다.
형광 특성(fluorescent property)은 (2차) 광원을 방출하는 특성으로 이해될 수 있다. 따라서, "광학특성(optical property)"과 "형광특성(fluorescence property)"의 차이는 전자가 수동형이고 후자는 능동형이라고 할 수 있다. "수동(Passive)"은 광원이 없다는 의미일 수 있고 "능동(active)"은 빛을 방출할 수 있음을 의미할 수 있다.
광학 결정 단계(optical determination step)가 하나의 제1 양식 및/또는 소스의 데이터에 대해 수행될 뿐만 아니라 광학 특성이 다른 양식(예를 들어 B-모드 및 SWE) 및/또는 소스(예를 들어, 초음파 및 CT)의 데이터에 기초하여 결정되는 것도 가능하다.
동일한 방식으로, 형광 결정 단계(fluorescence determination step)에서 형광 특성은 다양한 양식 및/또는 소스의 데이터에 기초하여 결정되는 것도 가능하다. 예를 들어, 다양한 양식 및/또는 소스를 쉽게 구별하기 위해, 각각의 양식 및/또는 소스에 대해 서로 다른 형광 색상이 결정될 수 있다(예를 들어, SWE의 경우 빨간색, 인식된 중재 장치(intervention device)(바늘, 마커 또는 매질의 관심 영역 등)를 표시하는 파란색).
한 예에서 광학 특성은 볼륨 단위의 광 흡수율(light absorption rate)을 포함하거나 것일 수 있다.
추가 예에서, 광학 특성은 적어도 하나의 볼륨 단위의 제1 양식 및/또는 소스의 데이터에 적용된 (예를 들어 미리 정의된) 매질-광 상호작용 매핑(medium-light interaction mapping)에 따라 결정될 수 있다. 따라서, 제1 양식(first modality) 및/또는 소스의 데이터는 매질-광 상호작용 매핑(medium-light interaction mapping)의 입력으로 사용될 수 있다. 광학 특성은 매질-광 상호작용 매핑의 출력일 수 있다.
매질-광 상호작용 매핑은 제1 양식 및/또는 광원의 데이터의 함수로서 반사율, 지향성 및 흡수율(absorption rate) 중 적어도 하나를 결정할 수 있다.
이 매핑(mapping)은 미리 정의된 매핑 함수(mapping function) 및/또는 미리 정의된 매핑 규칙(mapping rule)이거나 이를 포함할 수 있다. 예를 들어, 매핑은 어떤 종류의 양식 및/또는 광원이 광학 특성을 결정하는 데 사용되는지를 (매핑 규칙에 기초하여) 결정할 수 있다. 예를 들어, 광학 특성은 B-모드 데이터(이 예에서는 제1 양식 및/또는 소스임)에 기초하여 결정될 수 있다. 추가 예로서, 매핑은, 제1 양식 및/또는 소스의 파리미터 값 또는 값 범위의 함수(예를 들어, B 모드 데이터의 밝기 값)로써, (매핑 규칙 및/또는 함수에 기초하여) 광학 특성 파라미터(예를 들어, 반사율, 지향성 및 흡수율)의 값 또는 값 범위를 결정할 수 있다.
형광 특성은 적어도 하나의 볼륨 단위의 제2 양식 및/또는 소스의 데이터에 적용된 (예를 들어 미리 정의된) 발광(light emission) 및/또는 흡수 매핑(absorption mapping)에 따라 결정될 수 있다. 상기 매핑은 예를 들어 발광 매핑 또는 발광 및 흡수 매핑일 수 있다. 따라서, 상기 매핑은 적어도 하나의 볼륨 단위에 대한 광 방출율(light emission rate)을 정의할 수 있다.
따라서, 또한 이 발광 및/또는 흡수 매핑은 미리 정의된 매핑 함수 및/또는 미리 정의된 매핑 규칙이거나 이를 포함할 수 있다. 예를 들어, 매핑은 형광 특성을 결정하기 위해 어떤 종류의 양식 및/또는 광원이 사용되는지를 (매핑 규칙에 기초하여) 결정할 수 있다. 예를 들어, 형광 특성은 SWE 데이터(이 예에서는 제2 양식 및/또는 소스임)에 기초하여 결정될 수 있다. 추가 예로서, 매핑은, 제2 양식 및/또는 소스의 파라미터 값 또는 값 범위의 함수(예를 들어, SWE 데이터의 밝기/색상 값)로써, (매핑 규칙 및/또는 함수에 기초하여) 형광 특성의 파라미터(예를 들어 광 방출율, 광 흡수율 및/또는 색상)의 값 또는 값 범위를 결정할 수 있다.
다른 예에 따르면, 본 개시에 따른 매핑은 주어진 복셀 값에 대한 광학 특성 및/또는 형광 특성을 매핑할 수 있다. 매핑이 지도를 결정하는 것도 가능하다. 상기 맵은 소스 및/또는 양식 데이터의 데이터 구조에 대응하는 데이터 구조를 제공할 수 있다. 예를 들어, 맵(map)은 소스 및/또는 양식 데이터를 구성하는 이미지와 동일한 크기일 수 있다. 따라서 맵은 각각의 픽셀/복셀(pixel/voxel)의 광학/형광 특성을 저장할 수 있다.
형광 특성은 볼륨 단위로 형성되는 2차 광원(secondary light source)을 정의할 수 있다. 즉, 볼륨 단위는 형광 특성에 따라 2차 광(secondary light)을 방출할 수 있다. 따라서, 상기 2차 광은 제1 스펙트럼에서 흡수되고 볼륨 단위에 의해 제2 스펙트럼의 2차 광으로서 (재)방출되는 1차 광(primary light)에 기초하여 결정될 수 있다.
볼륨 단위 중 적어도 하나에 대한 광학 결정 단계에서, 광학 특성은 제1 매질-광 상호작용 매핑과 다른, 제2 매질-광 상호작용 매핑에 따른 소스 및/또는 제3 양식의 데이터에 기초하여 결정될 수 있다.
볼륨 단위 중 적어도 하나에 대한 형광 결정 단계에서, 형광 특성은 제1 발광(first light emission) 및/또는 흡수 매핑(absorption mapping)과 다른 제2 발광 및/또는 흡수 매핑에 따른 제4 양식 및/또는 광원의 데이터에 기초하여 결정될 수 있다.
즉, 서로 다른 양식 및/또는 소스의 데이터는, 예를 들어 각각의 데이터 양식 및/또는 소스에 대해 서로 다른 형광 및/또는 광학 특성을 획득하기 위해, 서로 다른 매핑에 따라 처리될 수 있다. 이러한 방식으로, 다양한 데이터 형식 및/또는 소스를 인간이나 AI 도구 등을 통해 보다 쉽고 직관적으로 구별할 수 있다. 예를 들어,
발광 및 흡수 매핑은 또한 처리 시스템의 사용자에 의해 맞춤화될 수 있다. 이러한 방식으로 사용자는 특정 데이터 양식 및/또는 소스가 강조 표시되거나 색상이 지정되는 방식을 자유롭게 선택할 수 있다.
형광 측정 단계 및 광학적 측정 단계는 동시에 및/또는 병렬로 수행될 수 있다. 이러한 방식으로, 방법의 전체 처리 시간이 단축될 수 있다.
렌더링 단계는 형광 결정 단계 및/또는 광학 결정 단계 후에 수행될 수 있다. 이러한 방식으로, 렌더링 단계는 형광 결정 단계 및 광학 결정 단계에서 결정된 데이터를 사용할 수 있다. 예를 들어, 결정된 광학 및 형광 특성은 데이터 저장소(data storage)(예를 들어, 로컬(local) 또는 클라우드 데이터 저장소(cloud data storage))에 저장될 수 있다. 렌더링 단계는 저장된 속성에 따라 한 번 또는 여러 번 수행될 수 있다. 이러한 방식으로, 결정 내용을 3D 모델과 같은 데이터 모델에 저장하고 나중에 언제든지 다른 데이터 표현의 렌더링을 수행할 수 있다.
대안적으로, 렌더링 단계는 형광 결정 단계 및/또는 광학 결정 단계와 동시에(즉, 동시에) 수행될 수 있다. 예를 들어, 렌더링 단계에서 광선-추적을 사용하는 경우, 각각의 광선(예를 들어, 데이터 표현을 형성하는 2D 이미지의 픽셀에 해당)에 대해 상기 광선에 의해 충족되는 볼륨 단위의 광학 및 형광 특성을 결정할 수 있다.
제1 양식 및/또는 소스의 데이터는 B-모드(밝기 모드) 초음파 이미징으로부터의 반사율 정보(reflectivity information)를 포함할 수 있다. 예를 들어, 상기 제1 양식은 렌더링된 데이터 표현을 위한 배경, 예를 들어 렌더링된 데이터 표현을 형성하는 2D 또는 3D 이미지의 배경을 획득하는 데 사용될 수 있다.
제2 양식 및/또는 소스의 데이터는 전단파 탄성영상 초음파 이미징으로부터의 조직 탄성 정보를 포함할 수 있다. 예를 들어, 제2 양식은 렌더링된 데이터 표현의 특정 영역을 강조하는 데 사용될 수 있다.
추가 실시예에 따르면, 제2 또는 제4 양식 및/또는 소스의 데이터는 중재 장치 정보(intervention device information)를 포함할 수 있다. 상기 중재 장치 정보는 매질에 위치된 중재 장치의 위치 및/또는 방향(예를 들어, 6D 자세) 및/또는 중재 장치의 형상에 대한 미리 결정된 정보를 나타낼 수 있다.
일례로, 중재 장치 정보는 매질의 좌표계에서 장치의 위치 및/또는 방향을 나타내는 좌표를 포함할 수 있다. 이러한 데이터는 동일한 디스플레이에 디스플레이되거나 다른 디스플레이에 디스플레이될 수 있으며 통합 장면 내부에 디스플레이될 수도 있고 디스플레이되지 않을 수도 있다. 따라서, 중재 장치 정보는 반드시 장치의 이미지 데이터를 포함할 필요는 없지만, 그렇게 할 수도 있다.
따라서, 이미지 형태가 아닌 형태 및/또는 소스의 데이터를 포함하는 것이 가능하다. 전술한 바와 같이, 중재장치의 이미지정보는 결정되지 않고 좌표만 결정될 수 있다. 이 경우 형광 특성은 이러한 좌표와 연관될 수 있으며, 매질과 중재 장치를 포함하는 통합 장면 내부에 렌더링될 수 있다.
예를 들어, 예시적인 중재 장치로 바늘이 주어지면 이를 렌더링하는 여러 가지 가능성이 있다.
바늘(needle) 위의 점은, 예를 들어 B-모드 이미지의 동일한 좌표계 하에서 볼륨의 복셀 단위로 표시될 수 있다. 그런 다음 바늘 소스(needle source)는 B-모드 이미지와 정렬된 또 다른 이미지 소스일 수 있으며, 다른 양식 및/또는 소스(예를 들어, SWE)의 데이터와 동일한 방식으로 처리될 수 있지만, 예를 들어 다른 형광 색상을 사용한다.
대안적으로, 바늘 위의 점은 주어진 이미지, 예를 들어 B-모드 이미지의 좌표계에서 일련의 좌표로 표현될 수 있다. 그런 다음 형광 색상이 이러한 좌표와 연관될 수 있다. 이런 식으로, 바늘 점(needle points)은 B-모드 이미지과 동일한 좌표계로 표현된다. 이 대안에 따르면, 추가 바늘 이미지가 사용되지 않는다.
또 다른 대안으로, 바늘 위의 점은 전역 레퍼런스 좌표계(global reference coordinate system)의 좌표 세트로 표현될 수 있다. 예를 들어, 중재 장치의 트랜스듀서 또는 전송기(예를 들어, 바늘 끝(tip))는 위치를 알리기 위해 시스템의 신호 캡처 장치(capturer)에 신호를 보낼 수 있다. 스캐닝 프로브(scanning probe)는 위치를 알리기 위해 동일한 캡춰 장치에게 신호를 보낼 수도 있다. 그러면, 이 레퍼런스 좌표계는 일부 또는 모든 소스에서 공유될 수 있다. 이러한 방식으로, 렌더링 장면은 이 전역 좌표계에서 구축될 수 있다.
또 다른 대안에서, 중재 장치(intervention device)는 본 개시 내용의 방법 단계에서 매질처럼, 즉 매질의 일부인 것처럼 취급된다. 즉, 중재 장치와 매질에 적용되는 개시 방법에는 아무런 차이가 없을 수 있다. 특히, 동일한 데이터 형식 및/또는 소스가 사용될 수 있으며, 데이터는 중재 장치와 매질을 구별하지 않고 하나의 공통된 방식으로 처리될 수 있다.
적어도 하나의 볼륨 단위에 대한 형광 결정 단계에서, 중재 장치 정보에 기초하여 형광 특성이 결정될 수 있다. 이러한 결정은 특히 중재 장치의 위치 및/또는 방향 및 형상에 따라 중재 장치(즉, 중재 장치가 위치하는 곳)에 의해 점유되는 매질의 볼륨 단위를 식별함으로써 이루어질 수 있다.
따라서, 형광 결정 단계에서, 중재 장치에 의해 점유되는, 매질의 볼륨 단위는 검출된 중재 장치에 대해 결정된 형광 특성에 따라 착색될 수 있다. 이러한 방식으로, 시각적 표현에서, 예를 들어 매질의 중재 장치가 아래에서 더 자세히 설명되는 것처럼 시각화될 수 있다.
렌더링 단계에서, 데이터 표현의 적어도 일부는 중재 장치 정보에 기초하여 렌더링될 수 있다. 상기 중재 장치 정보는 매질에 위치된 중재 장치의 위치 및/또는 방향과 중재 장치의 형상에 대한 미리 결정된 정보를 나타낼 수 있다.
중재 장치의 위치 및/또는 방향은 중재 장치의 미리 결정된 정보에 기초하여 구성된 스캐닝파(scanning waves)를 이용하여 중재 장치를 스캔함으로써 결정될 수 있다. 중재 장치의 형상에 대한 미리 결정된 정보는 중재 장치의 3D 표면 정보를 포함할 수 있다. 이는 또한 중재 장치의 다양한 관점에서 본 일련의 이미지(예를 들어, 2D 또는 3D)를 포함할 수도 있다. 상기 정보는 이전 스캐닝 단계에서 결정될 수 있거나(예를 들어 광학 결정 단계 및/또는 형광 결정 단계 전에 수행됨) 데이터 저장소(data storage), 예를 들어 처리 시스템의 로컬 데이터 저장소 또는 예를 들어 클라우드 시스템과 같은 원격 데이터 저장소로부터 획득될 수 있다. 데이터 저장소는 또한 다양한 중재 장치의 중재 장치 정보를 저장할 수도 있다. 또한, 중재 장치에 대한 추가 정보, 예를 들어 기술적 특성(예를 들어, 재료, 공간 치수, 무게) 및/또는 제조업체 정보(예를 들어, 제품 ID, 제조업체 ID)를 저장할 수 있다.
예를 들어, B-모드 데이터 또는 스캐닝 단계에서 획득된 다른 스캐닝 데이터는 중재 장치의 제품 ID를 결정하는 데 사용될 수 있다. 이 제품 ID에 기초하여, 중재 장치의 형상(잠재적으로 3D 형상)에 관한 올바른 정보가 데이터 저장소에서 획득될 수 있다.
형광 결정 단계 및/또는 렌더링 단계에서 중재 장치 정보를 사용한 결과, 중재 장치(intervention device)(예를 들어 생검 바늘(biopsy needle))와 생검(biopsy)에 의해 처리되는 매질(예를 들어 해부학적 구조)을 모두 시각화하는 것이 유리하게 가능해진다.
또한, 중재 장치가 매질 내에서 이동할 것으로 예측되는 위치(예를 들어, 이동 방향 및/또는 이동 경로)를 결정하는 것이 가능하다. 상기 예측(prediction)은 각각 훈련된(AI 기반) 알고리즘에 의해 이루어질 수 있다.
렌더링 단계는 광선-추적 볼륨 렌더링 방법(ray tracing volume rendering method)에 따라 데이터 표현이 렌더링되는 광선-추적 렌더링 단계를 포함할 수 있다. 예를 들어, 형광 결정 단계 및 광학 결정 단계는 각각 볼륨 단위당 볼륨 단위로 수행될 수 있다. 그런 다음 렌더링된 데이터 표현(예를 들어, 2D 또는 3D 이미지)의 각각의 픽셀에 대한 렌더링 단계에서, 광선(ray)이 결정되고 픽셀/복셀 색상은 광선에 의해 충족되는 볼륨 단위(예를 들어, 복셀)의 함수로 계산된다.
그러나, 렌더링 단계 전에, 광학 특성과 형광 특성을 결정할 필요는 없다. 형광 결정 단계와 광학 결정 단계가 렌더링 단계와 동시에 수행되는 것도 가능하다. 예를 들어, 결정은 볼륨 단위의 값(예를 들어 복셀 값)과 광학적 및/또는 형광 특성 사이의 미리 정의된 매핑 규칙일 수 있다. 이러한 경우 해당 결정은 렌더링 자체와 동시에 이루어질 수 있다.
광선-추적 렌더링 단계는 다음 하위 단계 중 적어도 하나를 포함할 수 있다:
- 매질에 대해 미리 정의된 기하학적 관계(예를 들어 매질 내부, 매질에 가깝거나 인접하거나, 또는 매질과 거리를 두고)로 가상 광원(virtual light source)을 위치시키는(positioning) 단계,
- 피사계 심도(depth of field) 및/또는 조리개 형상(aperture shape)을 정의하는 단계,
- 매질에 대해 미리 정의된 기하학적 관계로 가상 시야 평면(virtual view plane)을 위치시키는 단계 - 데이터 표현은 가상 보기 평면의 함수로서 렌더링됨 -. 가상 시야 평면의 위치는 매질로부터 사용자의 실제 거리의 함수로서 정의될 수 있으며, 이는 후자의 실제 거리에 대응한다. 이는 실제 매질이 위치된 영역에 시각적 표현을 맞추기 위해 증강 현실 렌즈(augmented reality lenses)를 사용할 때 유용할 수 있다.
다중-양식 및/또는 다중-소스 데이터는 매질의 이미지 데이터 및/또는 3D 정보 데이터를 포함할 수 있다.
볼륨 단위는 적어도 하나의 복셀을 포함할 수 있다. 복셀은 직교 좌표계를 형성할 수 있는 3D 공간의 일반 그리드의 값을 나타낼 수 있다(예를 들어, 양식 및/또는 소스의 데이터가 트랜스듀서의 매트릭스-어레이를 갖는 프로브에 의해 획득되는 경우). 따라서 상기 3D 공간은 매질과 선택적으로 하나 또는 여러 중재 장치를 포함할 수 있다. 그러나, 복셀은 극좌표계에 따라 배치될 수도 있다(특히, 양식 및/또는 소스의 데이터가 곡선을 따라 정렬된 복수의 트랜스듀서를 포함하는 볼록 배치을 갖는 프로브에 의해 획득되는 경우).
일반적으로, 본 발명의 방법에 사용되는 양식 및/또는 소스가 서로 다른 복셀 해상도 및/또는 서로 다른 좌표계를 갖는 경우, 이들은 레퍼런스 시스템과 조화될 수 있다(볼륨 단위의 레퍼런스 해상도와 레퍼런스 좌표계를 포함). 이를 통해 광학 및 형광 결정 단계와 렌더링 단계에서 데이터를 융합할 수 있다. 예를 들어, 최고 해상도의 양식 및/또는 소스의 데이터가 레퍼런스로 사용될 수 있으며, 다른 양식 및/또는 소스의 데이터가 각각 보간될 수 있다. 대안적으로, 가장 낮은 해상도의 양식 및/또는 소스의 데이터는 레퍼런스로 사용될 수 있고 다른 양식 및/또는 소스의 데이터는 각각 다운샘플링될 수 있다. 그러나, 서로 다른 좌표계 및/또는 양식 및/또는 소스의 서로 다른 해상도를 (미리) 조화시키는 것이 필수는 아니다. 본 개시에 따르면, 그들은 또한 렌더링 단계에서 병합(따라서 조화)될 수 있다.
예를 들어, 렌더링 단계에서 각각의 광선이 광선-추적 방법에 따라 컴퓨팅될 때 데이터의 다양한 해상도가 보간법으로 처리될 수 있다. 실제로 렌더링 중에 각각의 광선은 일련의 점으로 분리될 수 있다. 따라서 이러한 "광선 지점(ray points)"의 위치는 각각의 데이터 볼륨 내부에 알려져 있다. 이러한 "광선 지점"에서 데이터 값을 샘플링하기 위해 원래 해상도의 양식 및/또는 소스 데이터가 보간될 수 있다. 값이 샘플링되면 광학/형광 특성은 예를 들어 값-특성 매핑(value-property mapping)을 통해 결정된다. 다양한 양식 및/또는 소스의 데이터 해상도를 미리 체계적으로 통합할 필요는 없다. 이러한 기술의 장점은, 예를 들어 다른 저해상도 소스로 인해 고해상도 데이터의 품질이 저하될 필요가 없다는 것이다. 마찬가지로, 저해상도 데이터는 다른 고해상도 소스가 있기 때문에 업샘플링할 필요가 없다. 따라서 이 방법의 컴퓨팅 비용을 줄일 수 있다.
다른 좌표계의 경우, 처리가 유사할 수 있다. 바람직하게는 렌더링의 좌표계이고 광선을 표현하는 데 사용되는 레퍼런스 좌표계가 정의되거나 선택될 수 있다. 그러면, 데이터 좌표가 레퍼런스 좌표로 변환될 수 있다. 따라서, 각각의 데이터 복셀은 레퍼런스 좌표계에 위치될 수 있다. 변환(conversion)이 미리 수행될 필요는 없다. 렌더링하는 동안 즉시 수행될 수 있다. 요약하면, 복셀로 표현된 데이터를 처리하기 위해 미리 데이터 해상도를 조화시킬 필요는 없다. 대신, 각각의 광선을 샘플링할 수 있으며, 렌더링 중에 즉석에서 보간을 통해 샘플링된 지점에서 데이터 값이 계산될 수 있다.
광학 결정 단계, 형광 결정 단계 및 렌더링 단계 중 적어도 하나는 구현될 수 있거나 적어도 하나의 제1 인공 지능 기반(AI 기반) 알고리즘 및/또는 (미리 훈련된) 기계 학습 알고리즘을 사용할 수 있다. 따라서, 본 개시의 방법의 단계들 중 어느 하나는 기계 학습 기반 또는 임의의 다른 AI 알고리즘에 의해 수행될 수 있다.
적어도 하나의 제2 인공 지능 기반 알고리즘 및/또는 미리 훈련된 기계 학습 알고리즘은 렌더링된 데이터 표현의 함수로서 미리 정의된 작업(task)을 수행할 수 있다. 예를 들어, 상기 작업은 다음의 비제한적인 목록, 즉 회귀 작업, 분할 작업, 분할 작업, 또는 임의의 다른 미리 정의된 작업 중 적어도 하나를 포함할 수 있다.
따라서, 본 발명의 데이터 표현은 반드시 시각적인 데이터 표현일 필요는 없으며, (AI 기반) 알고리즘, 예를 들어 위에서 언급한 작업 중 하나에 의해 처리될 수 있는 모든 종류의 데이터 세트일 수 있다.
이 외에도, 데이터 표현은 렌더링 단계에서 결정된 임의의 파라미터를 포함하거나 구성될 수도 있다. 예를 들어, 이러한 파라미터에는 중재 장치의 미리 결정된 지점(예를 들어, 생검 바늘 끝)과 매질의 미리 결정된 관심 영역 사이의 거리가 포함될 수 있다(예를 들어 사용자가 선택하거나 양식 및/또는 소스의 데이터, 예를 들어 SWE 데이터 및/또는 인공 지능 전용 모듈을 사용하여 결정함).
더욱이, 렌더링된 데이터 표현은 AI 기반 알고리즘(즉, 제2 인공 지능 기반 알고리즘 및/또는 미리 훈련된 기계 학습 알고리즘)에 대한 입력으로 사용될 수 있다. 그러면 상기 AI 기반 알고리즘은 사용자가 원본 데이터(즉, 다중-양식 및/또는 다중-소스 데이터)를 이해하거나 해석하는 데 도움이 될 수 있는 모든 정보를 결정할 수 있다.
본 발명은 또한, 데이터 처리 시스템(data processing system)에 의해 실행될 때, 데이터 처리 시스템으로 하여금, 본 개시에 따른 방법을 수행하게 하는 컴퓨터 판독가능 명령들을 포함하는 컴퓨터 프로그램(computer program)에 관한 것이다.
본 개시는 또한 볼륨 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하기 위한 시스템(즉, 처리 시스템(processing system))에 관한 것이다. 상기 시스템은,
- 적어도 제1 양식 및/또는 소스의 데이터에 기초하여 매질의 복수의 볼륨 단위 중 적어도 하나에 대한 광학 특성을 결정하고,
- 적어도 제2 양식 및/또는 소스의 데이터에 기초하여 볼륨 단위 중 적어도 하나에 대해 형광 특성을 결정하고,
- 볼륨 단위의 결정된 광학 및 형광 특성에 기초하여 볼륨 매질의 데이터 표현을 렌더링하도록 구성된,
처리 유닛(processing unit)을 포함할 수 있다.
시스템은 의료 시스템(medical system), 예를 들어 초음파 이미징 시스템(ultrasound imaging system)일 수 있거나 이를 포함할 수 있다.
본 발명은 또한, 본 발명에 따른 방법의 각각의 단계를 컴퓨터에 의해 실행시키기 위한 명령을 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매질(recording medium)에 관한 것일 수도 있다.
본 개시 및 그 실시예는 인간, 동물뿐만 아니라 금속 조각, 자갈, 자갈 등과 같이 고려되는 임의의 재료 전용 의료 장치의 맥락에서 사용될 수 있다.
달리 모순되는 경우를 제외하고 위에서 설명한 요소와 사양 내의 요소의 조합을 만들 수 있다.
전술한 일반 설명과 다음 세부 설명은 모두 예시적이고 설명적일 뿐이며 설명 목적으로 제공되며 청구된 대로 공개를 제한하지 않는다는 것을 이해해야 한다.
본 명세서에 포함되고 일부를 구성하는 첨부 도면들은 예시 목적으로 제공되며, 설명과 함께 개시의 실시예를 예시하고, 그 원리를 뒷받침하고 예시하는 역할을 한다.
도 1은 본 발명의 실시예에 따라 볼륨 매질(volumetric medium)의 다중-양식 및/또는 다중-소스 데이터를 처리하기 위한 방법의 흐름도를 도시한다;
도 2는 도 1의 방법의 제1 예시적인 실시예를 도시한다;
도 3은 도 1의 방법의 제2 예시적인 실시예를 도시한다;
도 4a는 본 발명에 따른 광선-추적 방법의 개략도를 도시한다; 그리고
도 4b는 도 4a의 광선-추적 방법으로 획득된 개략적인 이미지를 보여준다.
도 2는 도 1의 방법의 제1 예시적인 실시예를 도시한다;
도 3은 도 1의 방법의 제2 예시적인 실시예를 도시한다;
도 4a는 본 발명에 따른 광선-추적 방법의 개략도를 도시한다; 그리고
도 4b는 도 4a의 광선-추적 방법으로 획득된 개략적인 이미지를 보여준다.
이제 본 개시의 예시적인 실시예들이 구체적으로 참조될 것이고, 그 예들은 첨부된 도면들에 예시된다. 가능하면 도면 전체에 동일한 참조 번호가 사용되어 동일하거나 유사한 파트를 참조한다.
도 1은 본 발명의 실시예에 따라 볼륨 매질(volumetric medium)의 다중-양식 및/또는 다중-소스 데이터를 처리하기 위한 방법의 흐름도를 도시한다.
선택적 획득 단계(optional acquisition step)(S1)에서 볼륨 매질의 상이한 양식 및/또는 상이한 소스의 데이터가 획득된다. 한 예에서, 볼륨(즉, 3D) 매질은 살아있는 조직, 특히 환자의 인간 조직 또는 동물 또는 식물의 조직일 수 있다.
매질의 복수의 볼륨 단위 중 적어도 하나에 대한 광학 결정 단계(S2a)에서, 광학 특성은 적어도 제1 양식 및/또는 소스의 데이터에 기초하여 결정된다. 즉, 상기 단계는 단계(S1)의 적어도 제1 양식 및/또는 소스(또는 예를 들어 제1 및 제2 양식 및/또는 소스)의 입력 데이터로서 수신하고, 볼륨 단위의 광학 특성(예를 들어, 광 흡수율(light absorption rate))을 결정하기 위해 처리한다.
볼륨 단위 중 적어도 하나에 대한 형광 결정 단계(S2b)에서, 형광 특성은 적어도 제2 양식 및/또는 소스의 데이터에 기초하여 결정된다. 즉, 상기 단계는 볼륨 단위의 형광 특성(예를 들어 광도 및/또는 색상)을 결정하기 위해 단계(S1)의 적어도 제2 양식 및/또는 소스의 입력 데이터로서 수신하고 이를 처리하여 한다.
렌더링 단계(S3)에서, 볼륨 매질의 데이터 표현은 볼륨 단위의 결정된 광학 및 형광 특성에 기초하여 렌더링된다. 즉, 상기 단계는 단계(S2a 및 S2b)에서 결정된 각각의 볼륨 단위에 대해 결정된 형광 및/또는 광학 특성을 입력으로 수신하고 데이터 표현을 렌더링하기 위해 처리한다.
예를 들어, 데이터 표현은 시각적 표현을 포함할 수 있거나 시각적 표현일 수 있거나, 또는 하나 또는 여러 이미지, 예를 들어 2차원(2D) 또는 3차원(3D) 이미지의 형태일 수 있다. 데이터 표현은 또한 복수의 깊이 수준을 갖는 시각적 또는 그래픽 표현을 포함할 수 있다. 예를 들어, 이는 매질의 다양한 깊이 레벨의 2D 이미지 세트를 포함할 수 있다. 데이터 표현은 홀로그램이나 증강 현실 장면 또는 사용자가 장면에서 탐색할 수 있게 하는 임의의 다른 장면을 더 포함할 수 있다. 그러나, 본 발명의 데이터 표현은 반드시 시각적인 데이터 표현일 필요는 없으며, 예를 들어 (AI 기반) 알고리즘, 예를 들어 위에서 언급한 작업 중 하나에 의해 처리될 수 있는 모든 종류의 데이터 세트일 수 있다.
렌더링 단계는, 예를 들어 최대 강도 투영 또는 광선-추적과 같은 기존 렌더링 기술을 사용할 수 있다. 그러나, 본 발명의 방법에서는, 예를 들어 기존의 광선-추적 프레임워크에 형광 모델링의 추가 단계가 추가된다. 이를 통해 다양한 데이터가 수치적으로 개인화된 형광 색상을 방출하고 광학 모델을 통해 광선-추적을 거쳐 최종적으로 통합된 장면에 표현될 수 있다.
본 개시에 적용 가능한 렌더링 기술의 또 다른 예는 다중평면 재구성(Multiplanar Reformation)(MPR)이다. MPR은 임의로 배치된 직교 또는 경사 평면을 사용하여 3D 볼륨에서 2차원(2D) 슬라이스를 추출하는 이미지 처리 기술이다. 또 다른 가능한 예는 객체 표면을 명시적으로 또는 암시적으로 모델링해야 하는 표면 렌더링(SR)이다. SR은 매질에 중재 장치(intervention device)를 렌더링하는 데 유리하게 사용될 수 있다. 그런 다음 광선-추적(ray-tracing) 등을 사용하여 표면을 음영 처리하고 렌더링한다.
또 다른 예는 중간 기하학적 표현을 컴퓨팅하지 않고 전체 3D 데이터를 2D 이미지로 디스플레이하는 본 개시 내용의 렌더링 단계에 특히 유용한 볼륨 렌더링(VR)이다.
본 발명의 방법은 다음과 같은 여러 장점을 내포하고 있다:
예를 들어, 여러 3D 이미징 모드(예를 들어, 3D B-모드 및 3D SWE)를 시각화하는 통합된 방법이 제공된다. 또한, 다중 모드 3D 데이터 시각화에 대한 사용자 경험이 향상될 수 있다. 특히, SWE와 같은 기능적 정보를 통해 초음파 볼륨을 직관적으로 해석한다. 또한 사용자 정의 가능한 관점으로 볼륨 내 탐색이 가능하다. 예를 들어 가상 안경(virtual glasse) 등을 사용하여 시각적 안내를 위해 증강 현실 장치에 추가로 통합할 수도 있다. 또한 전문가와 비전문가의 교육이나 훈련은 물론 동료 간의 의사소통도 촉진한다. 또한, 자유로운 시점으로 정보 탐색이 가능해지고, 이미지화 방식에 대한 제약을 줄일 수 있다. 따라서, 예를 들어 수술이나 절제와 같은 치료 용도를 위해 질적 시각적 모니터링 기능이 제공될 수 있다.
이 방법은 GPU와 같은 기존 하드웨어로 더 구현 가능할 수도 있다(즉, 추가 하드웨어 장치가 필요하지 않음). 또한, 이 기술을 사용하면 객체나 표면 분할 없이 다중 모드 3D 이미지 혼합이 가능하다. 컴퓨팅 비용은 개체 수와 무관하므로 여러 개체에 대해 여러 렌더링을 만들 필요가 없다. 컴퓨팅 비용은 볼륨 단위 수에 따라서만 달라지며 현재 컴퓨팅 용량과 호환된다. 색상은 사용자의 습관과 선호도에 따라 맞춤 설정할 수 있더라도 임의의 음영이 아닌 형광의 물리학 원리에 의존한다. 이는 더 많은 물리적 직관을 제공함으로써 실용적인 파라미터 최적화를 촉진한다.
방법은 처리 시스템에 의해 수행될 수 있다. 이러한 시스템은 처리 유닛(processing unit), 선택적으로 획득 시스템(예를 들어, 트랜스듀서) 및/또는 시각화 시스템(예를 들어, 디스플레이, 안경)을 포함할 수 있다.
획득 시스템(acquisition system) 및/또는 시각화 시스템(visualisation system)이 처리 시스템의 외부에 있을 수도 있다. 예를 들어, 트랜스듀서(또는 트랜스듀서 그룹)는 처리 시스템에 원격으로 연결될 수 있다. 하나의 예시적인 실시예에서 트랜스듀서는 IOT 장치이고 및/또는 IOT 장치 및/또는 처리 유닛 및/또는 시각화 시스템을 형성하는 스마트폰에 연결 가능하다. 트랜스듀서는 인터넷, '클라우드(cloud)', 4G 또는 5G 프로토콜, 와이파이(WIFI), 로컬 네트워크 또는 기타 데이터 접촉 또는 원격 연결을 통해 처리 시스템에 연결될 수 있다.
처리 시스템과 시각화 시스템은, 예를 들어 인터넷, '클라우드', 4G 또는 5G 프로토콜, 와이파이(WIFI), 로컬 네트워크 또는 기타 데이터 접촉 또는 원격 연결을 통해 원격으로 연결할 수도 있다.
처리 유닛은, 예를 들어 선택적 버퍼 메모리, 선택적으로 중앙 처리 유닛에 연결된 메모리(MEM)와 통신하는 중앙 처리 유닛(CPU) 및/또는 그래픽 처리 유닛(GPU)을 포함할 수 있으며; 및 선택적으로 중앙 처리 시스템에 연결된 디지털 신호 프로세서(DSP)를 포함한다.
선택적 획득 시스템(optional acquisition system)은 적어도 하나의 트랜스듀서, 예를 들어 펄스를 전송하고 매질(즉, 조직) 응답을 수신하도록 구성된 단일 트랜스듀서를 포함할 수 있다. 또한, 복수의 트랜스듀서 및/또는 트랜스듀서 어레이를 사용하는 것도 가능하다. 이 예에서, 어레이는 매질의 이차원(2D) 이미징을 수행하도록 조정될 수 있지만, 어레이는 매질의 3D 이미징을 수행하도록 조정된 이차원 어레이일 수도 있다. 트랜스듀서 어레이(transducer array)는 또한 곡선을 따라 정렬된 복수의 트랜스듀서를 포함하는 볼록(convex) 어레이일 수도 있다. 동일한 트랜스듀서(들)은 펄스를 전송하고 응답을 수신하도록 사용될 수 있고, 또는 다른 트랜스듀서들은 전송 및 수신을 위해 사용될 수 있다.
선택적 시각화 시스템은 하나 이상의 몇몇 디스플레이, 가상 현실 렌즈, 또는 2D 또는 3D 이미지, 홀로그램 또는 증강 현실 장면을 투사하기 위한 기타 전자 장치를 포함할 수 있다.
예를 들어, 증강 현실 렌즈를 사용하면 매질의 실제 위치에 매질의 시각적 표현을 배치함으로써 사용자가 매질 내부를 가상으로 들여다볼 수 있게 된다. 중재 장치가 매질에 삽입되고 관심 지점(예를 들어, 병변)을 향한 내부의 움직임(movement)이 제어되어야 하는 경우, 이는 특히 유용할 수 있다.
더욱이, 증강 현실 렌즈를 사용하면, 외과 의사나 다른 의사 또는 사용자가 자유로운 손으로 매질의 시각적 표현을 탐색할 수 있으며(예를 들어, 관점 및/또는 보는 각도 변경), 동시에 모든 개입을 수행할 수 있음을 의미한다(예를 들어, 본 개시 내용에 따른 중재 장치를 사용하여). 이를 위해, 증강 현실 렌즈의 움직임을 감지하고, 해당 센서 신호에 따라 시각적 프리젠테이션의 시점 및/또는 시야각을 제어할 수 있다.
디스플레이 및/또는 증강 현실 렌즈와 같은 다양한 장치에 데이터 표현(특히 시각적 표현)을 표현하는 것도 가능하다. 이러한 시각화 장치(visualization device)는 특정 경우의 필요 및/또는 유용성에 따라 결합될 수도 있다(예를 들어 검사 또는 개입 중 사용자의 시선 방향, 시각적 표현의 해상도 등에 따라 다름).
처리 시스템은 초음파 이미징을 위한 장치를 포함하거나 장치에 연결 가능할 수 있다. 따라서 트랜스듀서는 초음파 트랜스듀서일 수 있다. 그러나, 처리 시스템은 초음파 이외의 다른 파동(초음파 파장과 다른 파장을 갖는 파동)을 사용하는 임의의 이미징 장치 또는 의료 시스템을 포함하거나 연결 가능할 수 있다.
따라서, 다중-양식 및/또는 다중-소스 데이터는, 예를 들어, 초음파 시스템 및 다른 시스템, 예를 들어 컴퓨터 단층 촬영, 자기 공명 또는 양전자 방출 단층 촬영과 같은 의료 이미징 시스템 또는 전자기(EM) 추적기(tracker)와 같은 추적 시스템인, 서로 다른 소스에서 유래할 수 있다.
추가 실시예에 따르면, 양식 및/또는 소스 데이터는 중재 장치 정보를 포함할 수 있다. 상기 중재 장치 정보는, 예를 들어 후술하는 바와 같이 중재 장치 이미징 및/또는 추적을 위한 시스템에서 유래할 수 있다. 상기 중재 장치 정보는 매질에 위치된 중재 장치의 위치 및/또는 방향(예를 들어, 6D 자세)을 나타낼 수 있다. 상기 중재 장치 정보는 중재 장치의 형상에 대한 미리 결정된 정보를 선택적으로 포함할 수 있다. 위치 및/또는 방향은 전술한 바와 같이 스캔된 매질의 좌표계에서 중재 장치에 대한 각각의 좌표를 제공함으로써 정의될 수 있다. 좌표계는 볼륨 단위의 구조를 미리 정의할 수도 있다.
다양한 데이터 양식의 예로는 초음파 이미징의 경우 밝기 모드(B-모드), 전단파 탄성영상(SWE) 및 스트레인 탄성영상과 같은 다양한 수집 모드에서 시스템(예를 들어, 하나의 의료 시스템)에 의해 수집된 데이터가 있을 수 있다.
도 2는 도 1의 방법의 제1 예시적인 실시예를 도시한다. 즉, 도 2의 방법은 달리 설명하지 않는 한, 도 1의 하나에 해당한다. 특히, 선택적 단계 1에서 획득된(즉, 스캔된) 다중-양식 및/또는 다중-소스 데이터는 두 가지 다른 양식, 즉 획득된 제1 양식인 (3D) B-모드(S1b 참조) 및 획득된 제2 양식인 (3D) SWE(S1a 참조)일 수 있다.
매질(즉, 조직)의 복수의 볼륨 단위(예를 들어 복셀)에 대한 광학 결정 단계(S2a)에서, 광학 특성은 단계(S1b)의 제1 양식 및 단계(S1a)의 제2 양식의 데이터에 기초하여 결정된다.
특히, 광학 특성은 볼륨 단위의 제1 및 제2 양식 및/또는 소스의 데이터에 적용된 조직-광 상호작용 매핑(tissue-light interaction mapping)에 따라 결정된다. 조직-광 상호작용 매핑은 반사율(reflectivity), 지향성(directivity) 및 흡수율(absorption rate) 중 적어도 하나를 선택적으로 결정한다. 볼륨 단위의 결정된 광학 특성은 광선-추적 기술에 따라 단계(S3)에서 이미지를 렌더링하는 데 적합할 수 있다(이와 관련하여 도 4a 및 도 4b 참조).
매질의 복수의 볼륨 단위에 대한 형광 결정 단계(S2b)에서, 단계(S1a)의 제2 양식의 데이터에 기초하여 형광 특성이 결정된다. 즉, 상기 단계는 SWE 데이터를 입력으로 수신하고 볼륨 단위의 형광 특성(예를 들어, 광도 및/또는 색상)을 결정하기 위해 이를 처리한다. 결과적으로, SWE 스캔으로 검출된 매질 영역(예를 들어, 병변)은 특정 형광 특성으로 표시될 수 있다. 형광 특성은 제2 양식의 데이터에 적용된 발광 및/또는 흡수 매핑에 따라 결정될 수 있다.
더욱이, 단계(S2c)에서, 가상 광원이 정의되고 매질과 관련하여 미리 정의된(기하학적) 위치 및/또는 자세에 배치될 수 있다. 상기 광원은, 단계(S3)에서 광선-추적 기술에 따라 매질을 보여주는 렌더링된 장면을 조명할 수 있다. 이를 위해, 2D 시야 평면(view plane)이 정의되고 매질과 관련하여 미리 정의된(기하학적) 위치 및/또는 자세에 배치될 수 있다.
렌더링 단계(S3)에서, 볼륨 측정 매질의 데이터 표현은 단계(S2a) 및 S2b의 볼륨 단위의 결정된 광학 및 형광 특성과 단계(S2c)에서 정의된 조명 특성 및 시야 평면에 기초하여 렌더링된다. 렌더링 단계는 도 4a 및 4b와 관련하여 추가로 설명되는 광선-추적 기술을 사용할 수 있다.
도 3은 도 1의 방법의 제2 예시적인 실시예를 도시한다. 도 3의 방법은 달리 설명하지 않는 한, 도 2의 하나에 해당한다.
특히, 도 2의 방법 외에도, 단계(S1c1 및 S1c2)가 추가되었으며, 여기에는 중재 장치 정보(예를 들어, 생검 바늘)가 획득된다. 상기 중재 장치 정보는 매질에 위치된 중재 장치의 위치 및/또는 방향(예를 들어, 6D 자세)을 나타낼 수 있다. 상기 중재 장치 정보는 중재 장치의 형상에 대한 미리 결정된 정보를 더 포함할 수 있다.
예시적인 중재 장치는 바늘, 특히 생검 바늘, 마커, 카테터, 보형물, 마이크로일랙트로미케니컬 시스템(Micromechanical System)(MEMS) MEMS, 스텐트, 밸브, 바이패스, 심장박동기, 또는 매질에 삽입될 수 있거나 삽입되는 임의의 기타 장치를 포함한다. 본 발명에 따른 중재 장치는 외과적 개입에 제한되지 않고 외부 장치가 매질(예를 들어 마커)에 삽입 및/또는 이식되는 모든 개입에 제한된다는 점에 유의하시오. 따라서 중재 장치는 임의의 외부 장치일 수도 있다.
예시적인 일 실시예에서, 상기 중재 장치 정보는 중재 장치(예를 들어 본 개시 내용에 따른 제4 양식 및/또는 소스를 나타냄)를 추적 및/또는 이미징화하기 위한 시스템에 의해 획득될 수 있다. 상기 시스템은, 예를 들어 SWE 데이터 및/또는 B-모드 데이터를 획득하는데 사용되는 것과 동일한 초음파 이미징 시스템일 수 있다. 대안적으로, 이는 외부 시스템일 수도 있고, 아래에 설명된 바와 같이 추가 수단(예를 들어, 센서, 트랜스듀서 또는 마커)을 포함할 수도 있다.
예를 들어, 팁에서 신호를 방출하도록 구성된 바늘 형태의 중재 장치가 사용될 수 있다. 바늘 끝의 신호를 포착하여 바늘 끝의 위치를 파악하는 것이 가능하다. 따라서, 이 끝 포인트(tip point)는 매질을 표현하는 데이터 표현의 장면 내부에 렌더링될 수 있다. 이러한 유형의 시각화는 생검 위치에 대한 귀중한 정보를 실시간으로 의사에게 제공할 수 있다는 장점이 있다.
단계(S1C1)(도 3에서는 "바늘 플러스(needle plus)" 모드라고 함)에서 중재 장치의 매질 내(또는 매질 외부에 있는 경우 매질과 관련하여) 위치 및/또는 방향이 검출 또는 추적될 수 있다.중재 장치의 미리 결정된 정보의 함수로서 적응된 제1 스캐닝파(first scanning waves)를 사용하여 중재 장치를 스캔함으로써. 중재 장치의 미리 결정된 정보는, 예를 들어 미리 결정된 파동 반사 및 흡수 특성을 포함할 수 있다. 따라서, 스캐닝파는, 특히 주변 매질에서의 위치 및 방향을 포함하는 중재 장치를 보다 확실하게 검출하도록 구성될 수 있다. 이 경우, 중재 장치는 수동 장치(passive device)로 간주될 수 있다.
스캔은 처리 시스템과 선택적으로 B-모드 스캔 및/또는 SWE 데이터에 사용되는 초음파 시스템과 연관된 프로브에 의해 수행될 수 있다. 대안적으로, 프로브는 초음파 이외의 것을 사용할 수도 있다.
추가 대안에 따르면, 중재 장치에는 위치 및/또는 방향을 검출할 수 있도록 구성된 수단이 장착될 수 있다. 이 경우, 중재 장치는 능동 장치(active device)로 간주될 수 있다. 예를 들어, 중재 장치는 바늘/마커 위치를 측정 및/또는 신호를 보내기 위한 센서, 마커 및/또는 트랜스듀서가 장착될 수 있다. 추가 예에서, 중재 장치를 추적 및/또는 이미징화하기 위한 시스템은 전자기(EM) 추적기(tracker)를 포함할 수 있다. EM 추적기는 중재 장치의 EM 마이크로 센서가 추적되는 EM 장을 생성할 수 있다.
단계(S1C2)에서 중재 장치가 차지하는 매질의 (3D) 영역, 즉 중재 장치가 위치하는 영역이 결정된다. 이를 위해, 단계(S1C1)에서 검출된 중재 장치의 위치 및/또는 방향이 사용된다. 또한 중재 장치의 (3D) 형상에 관한 정보가 사용된다. 중재 장치의 형상 정보는 중재 장치의 3D 표면 정보를 포함할 수 있다. 이는 또한 중재 장치의 다양한 관점에서 본 일련의 이미지(예를 들어, 2D 또는 3D)를 포함할 수도 있다.
상기 정보는 이전 스캐닝 단계에서 (미리)결정될 수 있다(예를 들어 광학 결정 단계 및/또는 형광 결정 단계 전에 수행됨). 도 3의 예시적인 실시예에 도시된 바와 같이, 단계(S1b)에서 획득된 B-모드 데이터는 형상을 결정하는데 사용될 수 있다. 그러나, 다른 스캐닝 방법으로 형상이 결정될 수도 있다.
대안적으로, 중재 장치의 형상은 데이터 저장소(data storage), 예를 들어 처리 시스템의 로컬 데이터 저장소 또는 원격 데이터 저장소, 예를 들어 클라우드 시스템으로부터 획득될 수 있다. 하나의 예시적인 활용에서, 형상은 한 번 미리 결정된 다음 저장되어 나중에 언제든지 획득될 수 있다.
그러나, 중재 장치는 어떤 경우에는 시간 동안 및/또는 심지어 개입 자체 중에도 진화할 수 있다는 점에 유의하시오. 예를 들어, 기계적 힘에 의해 개입하는 동안 변형되거나 크기가 줄어들거나 비틀릴 수 있다. 개입은 예를 들어 마커인 경우 방사선 또는 혼합된 유체(예를 들어, 방사성 유체)를 방출할 수도 있다. 따라서 시스템은 미리 저장된 데이터에 기초하고, 추가적으로 개입 중에 획득되는 "실시간 데이터"에 기초하여 중재 장치를 렌더링하도록 구성되는 것이 바람직하다. 예를 들어, 이러한 "라이브 데이터(live data)"는 전술한 바와 같이 단계(S1b)에서 획득된 B-모드 데이터로 구성될 수 있다.
또한, 데이터 저장소는 다양한 중재 장치의 중재 장치 정보를 저장할 수 있다. 하나의 중재 장치에 대한 정보는 형상뿐만 아니라 기술적 특성(예를 들어, 재료, 공간 치수, 무게) 및/또는 제조업체 정보(예를 들어, 제품 ID, 제조업체 ID)와 같은 추가 파라미터도 포함할 수 있다.
예를 들어, 스캐닝 단계에서 획득된 B-모드 데이터 또는 기타 스캐닝 데이터는 중재 장치의 제품 ID를 결정하는 데 사용될 수 있다. 이 제품 ID에 기초하여, 데이터 저장소에서 중재 장치의 (3D) 형상에 대한 올바른 정보가 획득될 수 있다.
그 결과, 중재 장치의 3D 모델이 획득되고 매질과의 기하학적 관계로 설정된다.
볼륨 단위 중 적어도 하나에 대한 형광 결정 단계(S2b)에서 (중재 -장치별) 형광 특성은 중재 장치 정보에 기초하여 결정될 수 있다. 이 결정은 중재 장치의 위치 및/또는 방향 및 형상에 따라 중재 장치가 차지하는 모든 볼륨 단위를 식별하여 수행될 수 있다. 특히, 이러한 모든 볼륨 단위는 검출된 중재 장치에 대해 결정된 형광 특성에 따라 색상이 지정될 수 있다.
결과적으로, 중재 장치가 차지하는 매질의 영역은 단계(S1a)의 SWE 데이터에 사용된 것과 다른 특정 형광 특성으로 표시될 수 있다. 또한, 중재 장치는 매질과 중재 장치를 포함하는 각각의 3D 모델로 시각화될 수 있다.
추가적인 예시적 실시예에 따르면, 렌더링 단계(S2c)에서 데이터 표현의 적어도 일부는 중재 장치 정보에 기초하여 렌더링될 수 있다. 상기 중재 장치 정보는 매질에 위치된 중재 장치의 위치 및/또는 방향과 중재 장치의 형상에 대한 미리 결정된 정보를 나타낼 수 있다. 따라서, 볼륨 단위에 대한 형광 특성을 결정하고 이후에 렌더링하는 대신, 최종 데이터 표현을 렌더링하기 위해 중재 장치 정보를 직접 사용하는 것도 가능하다. 결과적으로, 예를 들어 중재 장치가 움직일 때마다 전체 장면(즉, 완전한 데이터 표현)을 렌더링할 필요가 없고, 중재 장치만 렌더링하면 장면을 보다 효율적으로 실시간 업데이트할 수 있다.
예를 들어, 중재 장치를 렌더링하기 위해 표면 렌더링(SR) 방법이 사용될 수 있다. 이 경우, 중재 장치의 표면에 형광 특성이 적용될 수 있으며, SR 렌더링은 예를 들어 단계(S1b)의 B-모드 데이터와 함께 실행된다. 따라서 중재 장치의 명시적인 표면 정보가 있는 데이터와 b-모드 데이터에서 분할 정보가 없는 데이터를 동시에 처리하는 것이 가능해진다.
형광 결정 단계 및/또는 렌더링 단계에서 중재 장치 정보를 사용한 결과, 중재 장치(예를 들어, 생검 바늘)와 매질(예를 들어, 해부학적 구조)을 모두 시각화하는 것이 가능해졌다.
또한, 중재 장치가 매질 내에서 이동할 것으로 예측되는 위치(예를 들어, 이동 방향 및/또는 이동 경로)를 결정하는 것이 가능하다. 상기 예측(prediction)은 각각 훈련된(AI 기반) 알고리즘에 의해 이루어질 수 있다.
예를 들어, 중재 장치는 매질 내 관심 영역으로 이동되는 생검건(biopsy gun)과 생검 바늘을 포함할 수 있다.
또한, 훈련된 AI 기반 알고리즘은 단계(S1c1) 및/또는 단계(S1c2)에서 획득한 데이터에 기초하여 중재 장치의 유형 및/또는 형상을 예측할 수 있다. 상기 예측에 기초하여 중재 장치의 이미지는 매질 내 중재 장치의 예측된 위치에서 렌더링 단계에서 렌더링될 수 있다. 이미지는 처리 시스템의 로컬 데이터 저장소에 저장되거나, 예를 들어 클라우드 시스템에 원격으로 저장된, 중재 장치의 미리 결정된 이미지 데이터에 기초하여 생성될 수 있다.
일 실시예에서, 렌더링된 데이터 표현은 개입 동안 및/또는 환자 검사(선택적으로 개입을 포함함) 후에 개입의 다른 단계에서 저장 및/또는 표현될 수 있다. 또한 매 시험마다 업데이트될 수도 있다. 예를 들어, 이전 검사와 현재 검사의 데이터 표현이 (시각적으로 및/또는 파라미터의 형태로) 표현되어, 예를 들어 종양(tumour)이나 기타 병변(lesion)의 진화(evolution)를 확인할 수 있다. 이는 이식된 장치의 잠재적 진화(evolution)에도 적용될 수 있다. 예를 들어, 장치는 하나 또는 여러 개의 마커 또는 장기간, 예를 들어 적어도 두 번의 검사가 있는 기간 동안 매질에 삽입되는 다른 요소를 포함할 수 있다. 그러한 경우, 상기 이식된 장치의 진화는, 예를 들어 시각적 표시 또는 숫자 형태(예를 들어 둘 이상의 검사 사이의 이동 거리)로 마커의 이동 및/또는 변형을 모니터링할 수 있다.
도 4a는 본 발명에 따른 광선-추적 방법의 개략도를 도시한다. 광선-추적 렌더링 방법(예를 들어 도 1~3과 관련하여 설명된 방법에 사용됨)은 다음과 같은 하위 단계를 가질 수 있다:
1.
단계(1b)의 B-모드 데이터(도 1~3 참조)로부터, 단계(2a)에서, B-모드 데이터를 B-모드 이미지의 모든 볼륨 단위(예를 들어, 모든 복셀)의 감쇠 계수에 매핑하여 감쇠 매핑이 계산된다. 컴퓨팅적으로 효율적인 대안에서, B-모드 데이터는 아래에 설명된 광선-추적 방법에 사용되는 광선을 따라 볼륨 단위의 감쇠 계수에만 매핑된다. 즉, 매핑은 "광선마다(ray-by-ray)"일 수 있다. "우려 사항(Concerned)"은 해당 양식 및/또는 소스(여기서는 B-모드)의 데이터가 제공되는 볼륨 단위를 의미한다.
2.
단계(S2c)의 광원 데이터로부터 광선-추적 방법은, 광 감쇠를 고려하고 선택적으로 국소 경사에 따른 입사 광선의 지향성을 고려하여 각각의 해당 볼륨 단위의 입사광 강도를 유도하기 위해 단계(3)에서 적용된다.
3.
단계(1a)의 SWE 볼륨의 경우 사용자는 단계(2b)에서 3x3 흡수 매트릭스 M을 정의하여 형광 색상을 맞춤 설정할 수 있다. 이 매트릭스는, 각각의 RGB 형광 색상 성분(color component)에 대해 입사 RGB 강도의 함수로 광자 흡수율을 인코딩한다. RGB는 가능한 색상 코딩의 한 예일 뿐이다. RGB의 가능한 대안은 예를 들어 HSV(색조(hue), 채도(saturation), 값(value))이다.
4.
SWE 볼륨의 경우 사용자는 단계(2b)에서 3x3 형광 방출 매트릭스 E를 사용자 정의할 수도 있다. E의 주 대각선 상에, 각각의 RGB 성분에 대한 방출율(emission rate)이 제공된다.
5. 그러면, 각각의 해당 볼륨 단위 의 입사광 강도, 즉, 는 SWE 볼륨에서 형광 광(fluorescence light)으로 변환된다.
(1)
여기서,
는 볼륨 단위 x에서 방출되는 형광 광의 적색 성분이고,
는 볼륨 단위 x에서 방출되는 형광 광의 녹색 성분이고,
는 볼륨 단위 x에서 방출되는 형광 광의 청색 성분이고,
E는 형광 방출율(fluorescence emission rate)을 기록하는 3x3 방출 매트릭스이고,
M은 광 흡수율(light absorption rates)을 기록하는 3x3 흡수 매트릭스이고,
볼륨 단위 x에서 입사광의 적색 성분이고,
볼륨 단위 x에서 입사광의 녹색 성분이고,
볼륨 단위 x에서 입사광의 청색 성분이다.
6.
데이터 표현을 렌더링하기 위해 주어진 픽셀을 가로지르는 시야 광선(viewing ray) L을 따라, RGB 강도 성분 는, S3 단계에서, 광선(L)이 만나는 B 모드 볼륨 단위 내부에 도달한 입사 광원의 광 강도와 형광 방출의 형광 강도를 결합하여 컴퓨팅된다.
7.
강도의 이들 두 부분은, 이 광선을 따라 감쇠를 적용함으로써 시야 광선(L)을 따라 단계(S3)에서 종래의 광선-추적 방법에 의해 다시 변조될 수 있다. 강도 기여의 두 부분에 대한 감쇠 계수(attenuation factors)는 다를 수 있으며 사용자 정의될 수 있다.
1.
단계(1b)의 B-모드 데이터(도 1~3 참조)로부터, 단계(2a)에서, B-모드 데이터를 B-모드 이미지의 모든 볼륨 단위(예를 들어, 모든 복셀)의 감쇠 계수에 매핑하여 감쇠 매핑이 계산된다. 컴퓨팅적으로 효율적인 대안에서, B-모드 데이터는 아래에 설명된 광선-추적 방법에 사용되는 광선을 따라 볼륨 단위의 감쇠 계수에만 매핑된다. 즉, 매핑은 "광선마다(ray-by-ray)"일 수 있다. "우려 사항(Concerned)"은 해당 양식 및/또는 소스(여기서는 B-모드)의 데이터가 제공되는 볼륨 단위를 의미한다.
2.
단계(S2c)의 광원 데이터로부터 광선-추적 방법은, 광 감쇠를 고려하고 선택적으로 국소 경사에 따른 입사 광선의 지향성을 고려하여 각각의 해당 볼륨 단위의 입사광 강도를 유도하기 위해 단계(3)에서 적용된다.
3.
단계(1a)의 SWE 볼륨의 경우 사용자는 단계(2b)에서 3x3 흡수 매트릭스 M을 정의하여 형광 색상을 맞춤 설정할 수 있다. 이 매트릭스는, 각각의 RGB 형광 색상 성분(color component)에 대해 입사 RGB 강도의 함수로 광자 흡수율을 인코딩한다. RGB는 가능한 색상 코딩의 한 예일 뿐이다. RGB의 가능한 대안은 예를 들어 HSV(색조(hue), 채도(saturation), 값(value))이다.
4.
SWE 볼륨의 경우 사용자는 단계(2b)에서 3x3 형광 방출 매트릭스 E를 사용자 정의할 수도 있다. E의 주 대각선 상에, 각각의 RGB 성분에 대한 방출율(emission rate)이 제공된다.
5.
그러면, 각각의 해당 볼륨 단위 의 입사광 강도, 즉, 는 SWE 볼륨에서 형광 광(fluorescence light)으로 변환된다.
(1)
여기서,
는 볼륨 단위 x에서 방출되는 형광 광의 적색 성분이고,
는 볼륨 단위 x에서 방출되는 형광 광의 녹색 성분이고,
는 볼륨 단위 x에서 방출되는 형광 광의 청색 성분이고,
E는 형광 방출율(fluorescence emission rate)을 기록하는 3x3 방출 매트릭스이고,
M은 광 흡수율(light absorption rates)을 기록하는 3x3 흡수 매트릭스이고,
볼륨 단위 x에서 입사광의 적색 성분이고,
볼륨 단위 x에서 입사광의 녹색 성분이고,
볼륨 단위 x에서 입사광의 청색 성분이다.
6.
데이터 표현을 렌더링하기 위해 주어진 픽셀을 가로지르는 시야 광선(viewing ray) L을 따라, RGB 강도 성분 는, S3 단계에서, 광선(L)이 만나는 B 모드 볼륨 단위 내부에 도달한 입사 광원의 광 강도와 형광 방출의 형광 강도를 결합하여 컴퓨팅된다.
7.
강도의 이들 두 부분은, 이 광선을 따라 감쇠를 적용함으로써 시야 광선(L)을 따라 단계(S3)에서 종래의 광선-추적 방법에 의해 다시 변조될 수 있다. 강도 기여의 두 부분에 대한 감쇠 계수(attenuation factors)는 다를 수 있으며 사용자 정의될 수 있다.
Claims (17)
- 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법에 있어서,
상기 방법은,
상기 매질의 복수의 볼륨 단위 중 적어도 하나에 대해 광학 특성이 제1 양식 및/또는 소스의 데이터에 기초하여 결정되는 광학 결정 단계,
상기 볼륨 단위 중 적어도 하나에 대해 형광 특성이 제2 양식 및/또는 소스의 데이터에 기초하여 결정되는 형광 결정 단계, 및
상기 매질의 데이터 표현이 상기 볼륨 단위의 상기 결정된 광학 및 형광 특성에 기초하여 렌더링되는 렌더링 단계
를 포함하는,
방법.
- 제1항에 있어서,
상기 볼륨 매질의 상기 데이터 표현은,
시각적 표현 및/또는 2D 또는 3D 이미지
를 포함하는,
방법.
- 제1항 내지 제2항 중 어느 한 항에 있어서,
상기 광학 특성은,
적어도 볼륨 단위의 광 흡수율을 포함하고 및/또는
상기 광학 특성은,
상기 적어도 하나의 볼륨 단위의 상기 제1 양식 및/또는 소스의 데이터에 적용된 제1 매질-광 상호작용 매핑에 따라 결정되고, 및
상기 제1 매질-광 상호작용 매핑은,
상기 제1 양식 및/또는 소스의 상기 데이터의 함수로서, 반사율, 지향성 및 흡수율 중 적어도 하나를 선택적으로 결정하는,
방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 형광 특성은,
상기 적어도 하나의 볼륨 단위의 제2 양식 및/또는 소스의 데이터에 적용된 제1 발광 및/또는 흡수 매핑에 따라 결정되는,
방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서,
광학 특성은,
상기 광학 결정 단계에서,
제3 양식 및/또는 소스의 데이터에 기초하고 상기 제1 매질-광 상호작용 매핑과 다른 제2 매질-광 상호작용 매핑에 따라,
상기 볼륨 단위 중 적어도 하나에 대해 결정되고, 및/또는
형광 특성은,
상기 형광 결정 단계에서,
제4 양식 및/또는 소스의 데이터에 기초하고, 상기 제1 발광 및/또는 흡수 매핑과 다른 제2 발광 및/또는 흡수 매핑에 따라 상기 볼륨 단위 중 적어도 하나에 대해 결정되는,
방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 형광 결정 단계 및 상기 광학 결정 단계는,
동시에 및/또는 병행하여 수행되는,
방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 결정된 광학 및 형광 특성은,
데이터 저장소에 저장되고,
상기 렌더링 단계는,
이후에 저장된 특성에 기초하여 한 번 또는 여러 번 수행되고, 또는
상기 렌더링 단계는,
상기 형광 결정 단계 및/또는 상기 광학 결정 단계와 동시에 수행되는,
방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 양식 및/또는 소스의 상기 데이터는,
B-모드 초음파 이미징으로부터의 반사율 정보를 포함하고, 및/또는
상기 제2 양식 및/또는 소스의 데이터는,
전단파 탄성영상 초음파 이미징으로부터의 조직 탄성 정보를 포함하는,
방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제2 양식 및/또는 소스의 상기 데이터는,
상기 매질과 관련하여 위치된 중재 장치의 위치 및/또는 방향을 나타내는 중재 장치 정보 및/또는 상기 중재 장치의 형상의 미리 결정된 정보
를 포함하고, 및
형광 특성은,
적어도 하나의 볼륨 단위에 대한 상기 형광 결정 단계에서, 상기 중재 장치에 의해 점유된 볼륨 단위를 식별함으로써 상기 중재 장치 정보에 기초하여 결정되는,
방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 데이터 표현의 적어도 일부는,
상기 렌더링 단계에서, 상기 매질에 위치된 중재 장치의 상기 위치 및/또는 방향을 나타내는 중재 장치 정보와 상기 중재 장치의 형상의 미리 결정된 정보에 기초하여 렌더링되는,
방법.
- 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 렌더링 단계는,
광선-추적 볼륨 렌더링 방법에 따라 상기 데이터 표현이 렌더링되는 광선-추적 렌더링 단계
를 포함하는,
방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 광선-추적 렌더링 단계는,
상기 매질에 대해 미리 정의된 기하학적 관계로 가상 광원을 위치시키는 단계,
피사계 심도 및/또는 조리개 형상을 정의하는 단계,
상기 매질에 대해 미리 정의된 기하학적 관계로 가상 시야 평면을 위치시키는 단계
중 적어도 하나를 포함하고,
상기 데이터 표현은,
상기 가상 시야 평면의 함수로서 렌더링되는,
방법.
- 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 다중-양식 및/또는 다중-소스 데이터는,
상기 매질의 이미지 데이터 및/또는 3D 데이터
를 포함하고, 및/또는
볼륨 단위는,
적어도 하나의 복셀
을 포함하는,
방법.
- 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 광학 결정 단계, 상기 형광 결정 단계 및 상기 렌더링 단계 중 적어도 하나는,
구현되거나 또는 적어도 하나의 제1 인공 지능 기반 알고리즘 및/또는 기계 학습 알고리즘을 사용하는,
방법.
- 제1항 내지 제14항 중 어느 한 항에 있어서,
적어도 하나의 제2 인공 지능 기반 알고리즘 및/또는 미리 훈련된 기계 학습 알고리즘은,
렌더링된 데이터 표현의 함수로서 미리 정의된 작업을 수행하고,
상기 작업은,
회귀 작업, 분류 작업, 분할 작업 중 적어도 하나를 선택적으로 포함하는,
방법.
- 컴퓨터 판독가능 명령들을 포함하는 컴퓨터 프로그램에 있어서,
상기 명령들은,
데이터 처리 시스템에 의해 실행될 때,
상기 데이터 처리 시스템으로 하여금, 제1항 내지 제15항 중 어느 한 항에 따른 방법을 수행하는,
컴퓨터 프로그램.
- 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하기 위한 시스템에 있어서,
처리 유닛
을 포함하고,
상기 처리 유닛은,
상기 매질의 복수의 볼륨 단위 중 적어도 하나에 대해 제1 양식 및/또는 소스의 데이터에 기초하여 광학 특성을 결정하고,
제2 양식 및/또는 소스의 데이터에 기초하여 상기 볼륨 단위 중 적어도 하나에 대해 형광 특성을 결정하고, 및
상기 볼륨 단위의 결정된 광학 및 형광 특성에 기초하여 상기 매질의 데이터 표현을 렌더링하도록 구성되는,
시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21315044.4A EP4060383A1 (en) | 2021-03-19 | 2021-03-19 | Method and system for processing multi-modality and/or multi-source data of a medium |
| EP21315044.4 | 2021-03-19 | ||
| PCT/EP2022/056742 WO2022194888A1 (en) | 2021-03-19 | 2022-03-15 | Method and system for processing multi-modality and/or multi-source data of a medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230159696A true KR20230159696A (ko) | 2023-11-21 |
Family
ID=75659971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237034591A KR20230159696A (ko) | 2021-03-19 | 2022-03-15 | 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20240054756A1 (ko) |
| EP (1) | EP4060383A1 (ko) |
| JP (1) | JP2024510479A (ko) |
| KR (1) | KR20230159696A (ko) |
| CN (1) | CN117015721A (ko) |
| AU (1) | AU2022239788A1 (ko) |
| WO (1) | WO2022194888A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071571B (zh) * | 2023-03-03 | 2023-07-14 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种鲁棒快速的车用单线激光雷达点云聚类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10390796B2 (en) * | 2013-12-04 | 2019-08-27 | Siemens Medical Solutions Usa, Inc. | Motion correction in three-dimensional elasticity ultrasound imaging |
-
2021
- 2021-03-19 EP EP21315044.4A patent/EP4060383A1/en active Pending
-
2022
- 2022-03-15 AU AU2022239788A patent/AU2022239788A1/en active Pending
- 2022-03-15 KR KR1020237034591A patent/KR20230159696A/ko active Search and Examination
- 2022-03-15 WO PCT/EP2022/056742 patent/WO2022194888A1/en active Application Filing
- 2022-03-15 JP JP2023556951A patent/JP2024510479A/ja active Pending
- 2022-03-15 CN CN202280021084.XA patent/CN117015721A/zh active Pending
- 2022-03-15 US US18/550,935 patent/US20240054756A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024510479A (ja) | 2024-03-07 |
| WO2022194888A1 (en) | 2022-09-22 |
| EP4060383A1 (en) | 2022-09-21 |
| CN117015721A (zh) | 2023-11-07 |
| AU2022239788A1 (en) | 2023-09-07 |
| US20240054756A1 (en) | 2024-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102539901B1 (ko) | 2차원 초음파 이미지를 음영화하는 방법 및 시스템 | |
| KR20090014112A (ko) | 의료 진단 영상의 단일 모드 데이터의 복수볼륨 렌더링 | |
| US20220012954A1 (en) | Generation of synthetic three-dimensional imaging from partial depth maps | |
| EP2538685A2 (en) | Image processing system, apparatus, and method | |
| KR102545008B1 (ko) | 초음파 영상 장치 및 그 제어 방법 | |
| JP2016135252A (ja) | 医用画像処理装置及び医用画像診断装置 | |
| CN217907826U (zh) | 医学分析系统 | |
| US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
| JP2024515635A (ja) | 超音波及びカメラ画像から３ｄ画像を再構成するためのシステム及び方法 | |
| US20140330121A1 (en) | Ultrasonic imaging apparatus and control method thereof | |
| KR20230159696A (ko) | 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템 | |
| US20230137369A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
| EP3695380B1 (en) | Hypersurface reconstruction of microscope view | |
| Decker et al. | Performance evaluation and clinical applications of 3D plenoptic cameras | |
| KR102321642B1 (ko) | 입력 장치 및 이를 포함하는 의료 영상 장치 | |
| US20220343605A1 (en) | Computer implemented method and system for navigation and display of 3d image data | |
| US20230181165A1 (en) | System and methods for image fusion | |
| Dusim | Three-Dimensional (3D) Reconstruction of Ultrasound Foetal Images Using Visualisation Toolkit (VTK) | |
| Grace Anabela | Three-dimensional (3D) reconstruction of ultrasound foetal images using visualisation toolkit (VTK)/Grace Anabela Henry Dusim | |
| CN116058868A (zh) | 便携式增强现实超声影像可视化方法、装置及系统 | |
| JP2018157872A (ja) | 超音波画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |