KR102491988B1 - 정량적 이미징을 이용하기 위한 방법 및 시스템 - Google Patents

정량적 이미징을 이용하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102491988B1
KR102491988B1 KR1020207037314A KR20207037314A KR102491988B1 KR 102491988 B1 KR102491988 B1 KR 102491988B1 KR 1020207037314 A KR1020207037314 A KR 1020207037314A KR 20207037314 A KR20207037314 A KR 20207037314A KR 102491988 B1 KR102491988 B1 KR 102491988B1
Authority
KR
South Korea
Prior art keywords
data
analyte
imaging
data set
classification
Prior art date
Application number
KR1020207037314A
Other languages
English (en)
Other versions
KR20210042267A (ko
Inventor
마크 에이. 버클러
데이비드 에스. 백
블라디미르 발치노프
앤드류 제이. 버클러
Original Assignee
엘루시드 바이오이미징 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘루시드 바이오이미징 아이엔씨. filed Critical 엘루시드 바이오이미징 아이엔씨.
Publication of KR20210042267A publication Critical patent/KR20210042267A/ko
Application granted granted Critical
Publication of KR102491988B1 publication Critical patent/KR102491988B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Abstract

정량적 이미징을 이용하여 병리를 분석하기 위한 시스템 및 방법이 본원에 개시된다. 유리하게는, 본 개시내용의 시스템 및 방법은 계층적 분석 프레임 워크를 이용하여 이미징 데이터에서 생물학적 특성/분석물을 식별하고 정량화한 다음 정량화된 생물학적 특성/분석물을 기반으로 하나 이상의 병리를 식별하고 특성화한다. 이미징을 사용하여 병리를 평가하는 중개자로서 기본 생물학을 검사하는 이러한 계층적 접근법은 기본 이미징 데이터에서 병리를 직접 결정하고 특성화하도록 구성된 시스템 및 방법에 비해 많은 분석 및 처리 이점을 제공한다.

Description

정량적 이미징을 이용하는 방법 및 시스템
본 개시내용은 정량적 이미징 및 분석에 관한 것이다. 보다 구체적으로, 본 개시내용은 정량적 이미징을 이용하여 병리를 분석하기 위한 시스템 및 방법에 관한 것이다.
특히 안전하고 비침습적인 방법을 사용하는 이미징은 질병의 근원을 찾고, 이의 상세한 병리를 포착하고, 치료를 지시하고, 건강 진행을 모니터링하기 위한 가장 강력한 방법을 나타낸다. 또한, 이미징은 비용이 적게 들고 지장이 적은 적절한 조기 개입이 가능하여 이러한 인적 및 재정적 비용을 완화하기 위한 매우 유용하면서 저렴한 방법이다.
향상된 이미징 기술은 의료 이미징을 환자 간호의 필수 구성요소로 만들었다. 이미징은 비침습적 또는 최소 침습적 방법을 사용하여 시공간적으로 국한된 해부학적 및 기능적 정보를 제공하기 때문에 특히 유용하다. 그러나, 인간의 눈으로 쉽게 평가되지 않는 데이터의 패턴이나 시그니처를 활용할 뿐만 아니라 데이터를 임상 작업 흐름에 효율적으로 통합하는 방식으로 대규모의 데이터를 관리하기 위해, 증가하는 시공간 해상도를 효과적으로 활용하기 위한 기술이 필요하다. 도움이 없으면, 임상의는 이용 가능한 정보 내용을 효과적으로 추출할 시간도 자주 능력도 없고, 어떤 경우에도 일반적으로 정보를 주관적이면서 정성적으로 해석한다. 개별 환자 관리를 위한 정량적 이미징 및 치료 개발을 위한 임상 시험을 통합하려면 의료계가 기존 작업 흐름 및 환급 제약의 현실 내에서 진화하고 성장하는 이미징 방식으로 가능한 기능을 완전히 활용할 수 있도록 새로운 차원의 의사 결정 지원 정보학 도구가 필요하다.
이미징 방법으로부터의 정량적 결과는, 예를 들어 널리 인정되는 NIH 컨센서스 컨퍼런스의 바이오마커 정의에 따른, 일상적인 임상 치료와 임상 시험 양자에서 바이오마커로 사용될 가능성이 있다. 임상 실습에서, 정량적 이미징은 (a) 치료 과정 전, 치료 과정 중 또는 치료 과정 후 질병을 검출하며 특성화하고, (b) 치료 유무에 관계없이 질병의 경과를 예측하기 위한 것이다. 임상 연구에서, 이미징 바이오마커는 임상 시험의 종점을 정의하는 데 사용될 수 있다.
정량화는 공간적, 시간적, 및 대비 해상도의 개선뿐만 아니라 여러 에너지/시퀀스로 조직을 자극하여 다양한 조직 맞춤식 반응을 생성하는 능력을 야기하는 이미징 물리학 개발을 기반으로 한다. 따라서, 이러한 개선은 조직 식별 및 기능 평가를 가능하게 하며, 예를 들어 컴퓨터 단층촬영(CT), 이중 에너지 컴퓨터 단층촬영(DECT), 스펙트럼 컴퓨터 단층촬영(스펙트럼 CT), 컴퓨터 단층촬영 혈관조영(CTA), 심장 컴퓨터 단층촬영 혈관조영(CCTA), 자기 공명 영상(MRI), 다중 조영 자기 공명 영상(다중 조영 MRI), 초음파(US), 및 다양한 이미징 방식을 사용하는 표적 또는 일반 조영제 접근법에서 두드러지게 보인다. 정량적 이미징은 한 가지 치료가 다른 치료에 비해 효과가 있는지, 현재 치료가 얼마나 효과적인지, 또는 환자가 치료받지 않은 상태로 있을 때 어떤 위험에 처할지를 나타내는 특정 생물학적 특성을 측정한다. 형성된 이미지의 이미지 처리와 조합된 스캐너는, 측정 장치로 보았을 때, 주어진 이미징 접근법과 관련된 물리적 원리 및 서로 다른 조직이 이들에 반응하는 방법에 근거하여 조직의 특성을 측정할 수 있다. 이미지 형성 프로세스는 방식에 따라 크게 다르지만, 일부 일반화는, 예외, 뉘앙스, 및 미묘함이 실제 결론을 이끌어 낼지라도 그리고 가장 큰 기회 중 일부를 놓칠 것으로 간주될 때까지 그리고 간주되지 않는 한, 전체 평가를 구성하는 데 도움이 된다.
새로운 치료제에 대한 임상 시험의 초기 단계에서의 이미징은 근본적인 생물학적 경로와 약리학적 효과를 이해하는 데 기여한다. 또한, 새로운 의약품 및 치료제를 개발하는 데 필요한 비용과 시간을 줄일 수 있다. 개발의 후기 단계에서, 이미징 바이오마커는 임상적 이점을 위한 중요한 종점으로 역할을 할 수 있고 및/또는 맞춤형 치료를 위한 특정 환자 상태를 처방 및/또는 추종하는 데 도움이 되는 동반 진단으로 역할을 할 수 있다. 모든 단계에서, 이미징 바이오마커는 치료 효과를 더 잘 발휘하기 위해 질병 상태에 근거하여 환자를 선택하거나 계층화하는 데 사용될 수 있다.
a. 정량적 의료 이미징:
향상된 이미징 기술은 의료 이미징을 환자 간호의 필수 구성요소로 만들었다. 이미징은 비침습적 또는 최소 침습적 방법을 사용하여 시공간적으로 국한된 해부학적 및 기능적 정보를 제공하기 때문에 특히 유용하다. 그러나, 인간의 눈으로 쉽게 평가되지 않는 데이터의 패턴이나 시그니처를 활용할 뿐만 아니라 데이터를 임상 작업 흐름에 효율적으로 통합하는 방식으로 대규모의 데이터를 관리하기 위해, 증가하는 해상도를 처리하기 위한 기술이 필요하다. 더 새로운 고해상도 이미징 기술을 사용하면, 도움을 받지 않는 방사선 전문의는 데이터에 "압도될" 것이다. 개별 환자 관리를 위한 정량적 이미징을 통합하려면 협회가 기존 작업 흐름 및 환급 제약의 현실 내에서 이러한 새로운 도구의 기능을 완전히 활용할 수 있도록 새로운 차원의 의사 결정 지원 정보학 도구가 필요할 것이다.
추가적으로, 정량적 이미징 방법은 (i) 전임상 연구, (ii) 임상 연구, (iii) 임상 시험, 및 (iv) 임상 실습에 점점 더 중요해지고 있다. 새로운 치료제에 대한 임상 시험의 초기 단계에서의 이미징은 근본적인 생물학적 경로와 약리학적 효과를 이해하는 데 기여한다. 또한, 새로운 의약품 및 치료제를 개발하는 데 필요한 비용과 시간을 줄일 수 있다. 개발의 후기 단계에서, 이미징 바이오마커는 임상적 이점을 위한 중요한 종점으로 역할을 할 수 있다. 모든 단계에서, 이미징 바이오마커는 치료 효과를 더 잘 발휘하기 위해 질병 상태에 근거하여 환자를 선택하거나 계층화하는 데 사용될 수 있다.
정량적 이미징의 사용을 통해 환자 선택을 개선하면 (평가 가능한 환자의 분획을 늘리고 및/또는 성가신 변수의 영향을 줄임으로써) 주어진 시험에 필요한 샘플 크기를 줄일 수 있고 제안된 치료로부터 가장 혜택을 받을 수 있는 아집단을 식별하는 데 도움이 될 수 있다. 이는 새로운 dmg의 개발 시간과 비용을 줄일 수 있지만, '표적' 모집단의 크기 감소를 야기할 수도 있다.
질병은 단순하지 않고, 종종 그 자체가 집중적으로 나타나지만 이는 종종 전신적이다. 연속 지표의 패널 또는 "프로필"로 표현되는, 때로는 미래에 대한 "대리자"로서 이상적으로 입증되고 및/또는 측정하기 어렵지만 허용된 종점으로 입증되는, 객관적으로 관련된 조직 특성의 다인성 평가는 의학 전반에 걸쳐 효과적인 방법으로 입증되었으며 본원에서는 그렇게 할 것이다. 병변 및/또는 장기 생물학의 컴퓨터 지원 측정 및 현대 임상 IT 시스템과의 상호 운용성을 사전에 최적화하는 아키텍처에서 구현된 표현형의 정량적 이미징 평가에 근거한 맞춤형 진단용 차세대 계산 방법 간의 학제간 수렴으로 가능해진 1차 또는 2차 판독기 패러다임에서 조직 구성의 정량화는 임상의가 수술, 의료, 및 감시 경로에 걸쳐 환자 분류를 개선하기 위해 질병 중증도의 연속에 걸쳐 환자를 관리할 때 임상의에게 힘을 제공한다. 보다 시기 적절하고 정확한 평가는 개선된 결과 및 보건 자원의 보다 효율적인 사용을 얻고, 질병이 근본적인 생물학을 믿는 수준으로 단순화될 수 있는 가정을 유지하기보다 질병 자체의 복잡성에 더 가까운 세분화 및 정교함의 수준에서 도구의 비용을 훨씬 능가하는 이점을 얻는다.
b. 표현형:
방사선 이미징은 일반적으로 의학적 상태에 대해 주관적이고 정성적으로 해석된다. 의학 문헌에서는 표현형이라는 용어를 유전자형과 환경의 상호 작용으로 인한 개인의 관찰 가능한 특성 집합으로 사용한다. 표현형은 일반적으로 객관성을 의미하고, 즉 표현형은 주관적이기보다는 사실이라고 말할 수 있다. 방사선과는 특성을 시각화할 수 있는 것으로 잘 알려져 있으며 점점 더 객관적인 사실 표준에 대해 입증될 수 있다(미국 출원 제14/959,732호; 미국 출원 제15/237,249호; 미국 출원 제15/874,474호; 및 미국 출원 제16/102,042호). 결과적으로, 방사선 이미지는 표현형을 결정하는 데 사용될 있지만, 이를 위한 적절한 수단이 부족한 경우가 많다.
유리하게, 표현형은 사실 기반을 가지고 있으므로 독립적이고 객관적으로 평가될 수 있다. 더욱이, 표현형은 이미 환자 치료 결정을 관리하기 위해 보건 산업에서 허용되는 형식주의이다. 따라서, 높은 수준의 임상 관련성을 갖는다. 마지막으로, 표현형은 소비자와 관련이 있다. 이는 자기 옹호 뿐만 아니라 생활 방식 변화에 대한 동기 부여 역할도 할 수 있다.
단순히 단일 특징을 검출하는 것이 아니라 포괄적인 연속 지표 패널에 근거하여 표현형을 조기에 식별하면 비가역적인 손상과 사망을 방지하기 위한 즉각적인 개입이 가능하다. 해결책은 이벤트를 완전히 선점하거나 또는 적어도 징후 및/또는 증상을 경험할 때 진단 정확도를 개선하는 데 중요하다. 조직 구성 및/또는 혈류역학의 구조 및 정량화의 자동 측정을 이용하는 효율적인 작업 흐름 해결책은 그렇지 않은 환자와 다르게 치료될 위험성이 높은 환자를 특성화하는 데 사용될 수 있다. 플라크 형태의 특성을 색전 가능성에 결부하면, 임상에 큰 영향을 미칠 것이다.
이미징 표현형은 연관 연구에서 상관 유전자 발현 패턴일 수 있다. 이는 임상 실습에서 이미징이 일상적으로 사용되기 때문에 임상적 영향을 미칠 수 있으며, 낮은 비용으로 맞춤형 치료에서 의사 결정 지원을 개선할 수 있는 전례 없는 기회를 제공한다. 특정 이미징 표현형을 대규모 게놈, 단백질체, 전사체, 및/또는 대사체 분석과 연관시키면 보다 결정적인 환자 맞춤식 예후 뿐만 아니라 dmg 또는 다른 치료에 대한 반응 측정을 생성함으로써 치료 전략에 영향을 미칠 가능성이 있다. 그러나, 지금까지 이미징 표현형을 추출하는 방법은 본질적으로 대부분 경험적이며, 비록 전문적이지만, 사람의 관찰을 기반으로 한다. 이러한 방법은 인간의 변동성을 내포하고 있으며, 높은 처리량 분석을 뒷받침하기 위해 분명히 확장할 수 없다.
동시에 미충족의 수렴은 비용을 추가하지 않으면서 보다 맞춤형 의료를 달성할 필요가 있고, 실제로 예방 의학, 비교 효과, 환급 접근법, 및/또는 기능을 제공할 뿐만 아니라 동시에 비용을 절감하는 방식으로 전달하는 기술 발전에 예기치 않은 사건에 대응하기보다는 회피를 통해 비용을 더 잘 제어하기 위해 전례 없는 압박을 가한다.
표현형 분류(무질서한 범주 분류)의 문제 외에도, 결과 예측/위험 계층화(위험의 순서 수준 예측) 문제가 있다. 양자 모두 임상적 유용성이 있지만 다른 기술적 장치 특성의 결과이다. 구체적으로, 하나는 다른 하나에 엄격하게 의존하지 않는다.
일반성을 제한하지 않고, 임상 관련성을 포함하는 표현형 분류의 예가 아래에 제공된다:
죽상 경화증의 "안정적인 플라크" 표현형의 예시적인 발현은 다음과 같이 설명될 수 있다:
ㆍ "치유된" 질병, 강화된 항스타틴 체제에 대한 낮은 반응
ㆍ 더 적은 벌룬/스텐트 합병증
ㆍ 때때로 더 높은 협착증 > 50%
ㆍ 때로는 더 높고 깊은 Ca
ㆍ 최소이거나 전혀 없는 지질, 출혈, 및/또는 궤양
ㆍ 매끄러운 외관
이러한 플라크는 일반적으로 "불안정한 플라크" 표현형보다 부작용 발생률이 낮다.
ㆍ 활동성 질환은 강화된 지질 저하 및/또는 항염증 체제에 대해 높은 반응을 보일 수 있음
ㆍ 더 많은 벌룬/스텐트 합병증
ㆍ 때때로 더 낮은 협착증 < 50%
ㆍ 낮거나 또는 확산 Ca, 내강(lumen)에 가까운 Ca, 냅킨 링 징후, 및/또는 미세 석회화
ㆍ 때때로 더 많은 지질 함량의 증거, 얇은 캡
ㆍ 때때로 출혈 또는 내부 = 플라크 출혈(IPH), 및/또는 궤양의 증거
이러한 플라크는 안정적 표현형에 비해 부작용 발생률이 3배 내지 4배 높은 것으로 보고되었다. 이러한 두 예는 한 번의 환자 만남에서 평가될 수 있지만 "빠른 감염자"와 같은 다른 표현형은 시간에 따른 특성 변화율을 비교하여 결정할 수 있고, 즉 표현형은 한 시점에 정적으로 존재하는 것 뿐만 아니라 동역학 및/또는 사물이 n번 변하는 방법에 따라 결정된다.
c. 기계 및 딥 러닝 기술:
딥 러닝(DL) 방법은 복잡한 실제 문제에서 비롯된 수많은 어려운 기계 학습(ML) 및 분류 작업에 성공적으로 적용되었다. 주목할만한 최근의 적용 분야는 컴퓨터 비전(예를 들어, 광학 문자 인식, 얼굴 인식, 위성 이미지 해석 등), 음성 인식, 자연어 처리, 의료 이미지 분석(이미지 분할, 특징 추출, 및 분류), 임상 및 분자 데이터 바이오마커 발견 및 검증을 포함한다. 접근법의 매력적인 특징은 무감독 학습과 감독 학습 작업 모두에 적용할 수 있다는 점이다.
신경망(NN), 및 광범위하게 컨볼루션 신경망(CNN), 순환 컨볼루션 신경망(RCNN) 등을 포함하는 딥 NN 접근법은 건전한 이론적 기반에 근거한 것으로 나타났으며 인간 두뇌의 높은 수준의 인지 기능을 나타내는 것으로 여겨지는 원리를 따라 광범위하게 모델링되었다. 예를 들어, 많은 인지 능력과 연관된 뇌 영역인 신피질에서, 감각 신호는 시간이 지남에 따라 관찰을 나타내는 복잡한 국소 모듈식 계층 구조를 통해 전파되고, 이는 즉 이미지 분류 및 특징 추출에 사용되는CNN의 일반적인 정의 및 구성으로 이어진 설계 원리이다. 그러나, 동일한 수의 피팅 파라미터를 사용하지만 심층적인 아키텍처가 없는 프레임 워크와 비교하여 DL 네트워크 및 접근법의 우수한 성능에 대한 더 근본적인 이유가 무엇인지는 다소 미정의 질문이었다.
이미지 특징 추출 및 원시 데이터에서 이미지 기반 학습에 대한 기존의 ML 접근법에는 많은 제한이 있다. 특히, 특징이 원본 이미지의 3D 수준이 아닌 요약 수준에 있을 때 또는 특징이 3D 수준에 있을 때, 특징이 객관적으로 검증될 수 있지만 수학적 연산자일 뿐인 생물학적 사실에 결부되지 않은 정도로, 특징 추출을 사용하는 ML 접근법에서는 공간 내용을 얻기 어려운 경우가 많다. 공간 내용을 포함하는 원시 데이터 세트를 사용하면 추출된 특징에 대한 객관적인 실측 라벨이 없는 경우가 많지만, 원시 이미지 데이터 사용 자체에는 당면한 분류 문제와 관련하여 "노이즈"인 많은 변동이 포함된다. 이미징의 외부 적용 분야에서, 이는 일반적으로 매우 큰 훈련 세트에 의해 완화되므로 네트워크 훈련은 이러한 변동을 무시하고 중요한 정보에만 초점을 맞추도록 "학습"하지만, 이러한 규모의 큰 훈련 세트는 일반적으로 의료 적용 분야에서, 특히 비용, 물류, 및 개인 정보 문제로 인해 실측으로 주석이 달린 데이터 세트에서, 이용될 수 없다. 본 개시내용의 시스템 및 방법은 이러한 한계를 극복하는 데 도움이 된다.
d. 예시적인 적용 분야: 분획 유량 예비(FFR) 및 플라크 안정성 또는 고위험 플라크(HRP)와 같은 심혈관 측정:
새로운 치료법은 지난 30년 동안 결과를 개선하는 데 혁신적이었지만 심혈관 질환은 여전히 미국 경제에 연간 3,200억 달러의 부담을 주고 있다. 주요 관상 동맥 또는 대뇌 사건의 위험에 대한 더 나은 특성화로부터 혜택을 받을 수 있는 상당한 환자 모집단이 있다. 미국 심장 협회(AHA), ACSD(죽상 경화성 심혈관 질환) 위험 점수를 모집단 프로젝트에 추정한 모든 성인(20세 이상)의 9.4%는 향후 10년 동안 이상 반응의 20% 위험보다 크고 26%는 7.5%와 20% 위험 사이에 있다. 이를 모집단에 적용하면 2,300만 명의 고위험 환자와 5,700만 명의 중등도 환자가 발생된다. 위험에 처한 8,000만 명은 새로운 또는 재발을 피하기 위해 현재 스타틴 치료를 받고 있는 3,000만 명의 미국 환자와 CVD 진단을 받은 1,650만 명과 비교할 수 있다. 스타틴의 경우, 일부는 폐색성 질환과 급성 관상 동맥 증후군(ACS)이 발생할 것이다. 대다수의 환자는 흉통이 발생할 때까지 질병의 진행을 알지 못한다. 관상 동맥 질환의 추가 결과 및 비용 개선은 개선된 비침습적 진단을 통해 1차 치료에서 어떤 환자가 진행중인 질병을 가지고 있는지 확인한다.
심장 건강은 심장을 둘러싼 동맥의 퇴화로 인해 상당한 영향을 받을 수 있다. 다양한 인자(혈관 신생, 신혈관 형성, 염증, 석회화, 지질 침착, 괴사, 출혈, 강성, 밀도, 협착, 확장, 재형성 비율, 궤양, (예를 들어, 채널 내 혈액의) 유량, (예를 들어, 채널 내 혈액 또는 다른 조직에 대해 압박하는 하나의 조직의) 압력, 세포 유형(예를 들어, 대식세포), (예를 들어, 평활근 세포의) 세포 정렬, 또는 (예를 들어, 채널 내 혈액의) 전단 응력, 캡 두께, 및/또는 일 예로서 비틀림(예를 들어, 입구 및 출구 각도)과 같은 조직 특성)은 이러한 동맥이 산소로 채워진 혈액을 주변 조직으로 전달하는 효과를 감소시킬 수 있다(도 35).
주로 스트레스-심초음파 검사 및 단일 광자 방출 컴퓨터 단층촬영 심근 관류 검사(SPECT MPI)와 같은 관상 동맥의 기능 검사는 현재 폐색성 관상 동맥 질환을 진단하기 위한 지배적인 비침습적 방법이다. 미국에서는 매년 1천만 건 초과의 기능 검사가 실시되며, 관상 동맥 질환의 발견을 확인하기 위해 침습성 혈관 조영술을 위해 카테터 실험실을 260만 번 방문하는 긍정적인 결과를 얻었다.
관류를 평가하는 또 다른 접근법은 산소를 전달하는 혈관계의 능력을 확인하는 것이다. 구체적으로, 감소된 능력은 분획 유량 예비 또는 FFR로 정량화될 수 있다. FFR은 허혈을 직접 측정하는 것이 아니라 병변 전체의 압력 강하 비율을 측정하는 프록시이다. 최대 충혈 당시 국소 혈관 확장 장애로 인해 동일한 혈관의 다른 부분에 비해 내강 직경의 변화는 현저한 혈역학적 효과를 생성하여 비정상적인 FFR 측정을 초래한다. 물리적 FFR 측정 중에 아데노신 주입은 하류 저항을 감소시켜 충혈 상태에서 유량을 증가시킨다. FFR을 물리적으로 측정하려면 동맥 내 물리적 압력 센서를 포함하는 침습적 수술 절차를 필요로 한다. 이러한 수준의 침습성은 위험과 불편을 초래하기 때문에 물리적 측정 없이도 FFR을 높은 정확도로 추정하는 방법에 대한 요구가 있다. 이러한 측정을 비침습적으로 수행할 수 있는 능력은 또한 주목된 "치료 편향"을 감소시키고, 일단 환자가 카테터 실험실에 있으면 스텐트를 비교적 쉽게 수행할 수 있으므로 많은 사람들이 과잉 치료가 발생하는 반면 유량 예비를 평가할 수 있는 경우 침습적으로 스텐트 여부에 대한 개선된 결정이 가능할 수 있다. 마찬가지로, 유량 예비는 뇌 조직의 관류에도 적용된다(예를 들어, 뇌의 충혈과 관련됨).
기능 검사에는 민감도와 특이성에 대해 알려진 문제가 있다. 심혈관 질환 환자의 약 30 내지 50%가 잘못 분류되어 상당한 금전적 및 삶의 질 비용으로 과다 치료 또는 과소 치료를 받는 것으로 추정된다. 기능 검사는 비용이 많이 들고 시간이 많이 걸리며 폐색 전 질환이 있는 환자에게 제한적으로 사용된다. 비침습적 기능 검사의 위양성은 미국, 영국 및 중국의 주요 정책 문제인 안정된 환자에서 침습적 관상 동맥 조영술과 경피적 관상 동맥 중재술을 과도하게 사용하는 큰 인자이다. 위음성의 영향에 대한 연구에 따르면 관상 동맥 질환(CAD)이 의심되는 미국 환자에게 연간 380만 MPI 검사를 실시했을 때 약 600,000개에 가까운 위음성 결과가 13,700개의 급성 관상 동맥 사건으로 이어지는 것으로 추정되며, 그 중 많은 경우는 적절한 dmg 치료를 도입함으로써 예방할 수 있을 것이다. 기능 검사의 또 다른 결함은 본질적으로 일시적이고: 허혈은 질병의 진행에 따른 해부학 적 변화를 따르는 지연 지표이다. ACS에 대한 위험이 높은 환자는 허혈이 시작되기 전에 집중적인 dmg 치료로 미래의 원인 병변을 감지하고 줄일 수 있다면 더 나은 서비스를 받을 수 있다.
특히 정량 분석 소프트웨어와 함께 사용되는 경우 관상 동맥 컴퓨터 단층촬영 혈관 조영술(CCTA)은 진행되는 관상 동맥 질환의 정도와 속도를 이해하는 데 있어 이러한 차이를 채우기 위한 이상적인 검사 방식으로 진화하고 있다. 지난 10년 동안 대부분의 국가에서 CT 스캐너는 심장의 속도를 늦추거나 숨을 오래 참지 않고도 뛰어난 공간 해상도를 제공할 수 있는 고속이며 더 높은 검출기 카운트 기계로 업그레이드되었다. 방사선 투여량은 SPECT MPI 및 침습성 혈관 조영술과 동등하거나 낮은 수준으로 크게 감소되었다.
SCOT-HEART, PREDICT, 및 PROMISE 등과 같은 획기적인 시험의 데이터에 대한 최근 분석은 향후 부작용의 위험이 높은 환자를 식별하여 CCTA를 사용하여 때때로 고위험 플라크(HRP) 또는 취약한 플라크로도 지칭되는 비폐색성 질환을 감지하는 가치를 입증했다. 연구 설계는 다양했으며 심혈관(CV) 발병이 있는 CCTA 레지스트리 환자를 유사한 위험 인자/인구 통계를 가진 대조군과 비교하는 중첩된 사례 제어 코호트, FFR과의 비교 및 대규모 "검사 및 치료" 연구에 대한 다년간 추적 조사가 포함되었다. CCTA를 최전선 진단으로 포지셔닝한 NICE의 최근 유리한 결정은 약물 치료 시작 또는 CCTA를 사용한 플라크 발견의 변화에 기인하는 SCOT-HEART 연구의 CCTA 부문에서 CV 발병의 현저한 감소를 기반으로 한다.
중요한 대상 환자 그룹은, 플라크 평가가 가장 필요하다는 것을 제안하는 PROMISE 결과에 근거하여, 안정된 흉통이 있고 전형적인 또는 비정형 협심증 증상(SCOT-HEART 데이터 기준)이 있는 CAD의 이전 이력이 없는 환자, 비폐색성 질환(<70% 협착)이 있는 환자, 및 어린 환자(예를 들어, 50세에서 65세까지의 그룹)이다. CCTA 분석을 기반으로 고위험 플라크 프로필로 발견된 비폐색성 CAD 환자는 (특히, PCSK9 억제제 또는 canakinumab과 같은 항염증성 약물이 고려될 때) 가장 적절한 고강도 스타틴 치료에 배정될 수 있거나, 또는 새로운 항혈소판제를 추가하여 관상 동맥 혈전증의 위험을 완화할 수 있고, 및/또는 치료의 가능한 강화 또는 저하에 대한 종단적 후속 조치를 취할 수 있다. CCTA는 비침습적이고 심장 카테터 삽입보다 방사선이 덜 필요하기 때문에 이상적인 진단 도구이다.
치명적인 심장 마비와 관련된 원인 병변에 관한 병리학 문헌은 임상적으로 비폐색성 CAD가 더 안정적인 경향이 있는 폐색성 플라크보다 가장 위험도가 높은 플라크의 본거지일 가능성이 훨씬 더 높다는 점을 지적한다. 이러한 발견은 침습성 혈관 조영술을 받고 있는 ACS 환자의 병변을 지적하고 기준선 CCTA의 전구체 플라크와 비교한 최근 연구에 의해 확증되었다. 임상적으로 표시된 CCTA를 받은 한 코호트에서, 비폐색성 CAD가 있는 것으로 밝혀진 환자 중 38%는 여전히 중장기 주요 심장 및/또는 뇌 혈관 이상 반응(MACCE) 위험이 높다. 장애와 무관하게 병에 걸린 부분의 수를 기반으로 한 위험 비율은 이러한 그룹에서 MACCE의 중요한 장기적인 예측 인자로 밝혀졌다. 임상적으로 비폐색성 CAD의 예측 가치에 기여하는 한 가지 인자는 이러한 병변이 더 안정적인 경향이 있는 더 많은 폐색성 플라크보다 가장 위험도가 높은 플라크의 본거지일 가능성이 훨씬 더 높다는 점이다.
폐색성 및 전폐색성 죽상 경화성 병변을 탐지하고 관리하는 데 CCTA의 잠재적 유용성에 대한 추가 입증은 최근 발표된 스타틴 및 항염증 약물 치료 효과에 대한 여러 종단 연구에서 볼 수 있고, 이 경우 보다 안정된 표상으로의 플라크 리모델링 및 플라크 퇴행이 치료군에서 관찰되었다. 이는 초기 혈관 내 초음파(IVUS, 때때로 "가상 조직학" VH 포함)의 신체, 근적외선 분광법(NIRS), 광학 일관성 단층촬영(OCT) 등을 확증하고, 다양한 지질 감소 약물 프로토콜 하에서 질병 진행과 치료 효과를 조사한 연구를 확증한다. 최근의 약물 실험은 새로운 의학 요법의 효능을 입증하기 위해 잠재적인 플라크 바이오마커를 제공한다. 통합 바이오마커 및 이미징 연구-4(IBIS-4)는 석회화의 진행이 스타틴의 잠재적인 보호 효과임을 발견했다. 다른 연구에서는 스타틴 치료에서 지질이 풍부한 괴사성 코어(LRNC)의 감소를 발견했다. 이러한 연구에서, 임상 변수는 단독으로 사용했을 때 고위험 플라크 특성을 식별하는 데 대한 차별이 부족했다. 이러한 연구는 CCTA가 적절하게 분석할 수 있는 보다 정확한 위험 계층화를 허용하기 위해 단순히 범인 병변 대신 전체 관상 동맥 트리의 완전한 특성화 및 평가의 중요성을 강조한다. 메타 분석에서, CCTA는 IVUS와 비교하여 관상 동맥 플라크를 감지하는 데 우수한 진단 정확도를 보였으며 플라크 면적 및 부피 평가, 면적 협착 비율, 내강 면적의 약간의 과대 평가 차이가 작았다. 지질이 풍부한 괴사성 코어의 변화율과 내강으로부터의 거리 또한 높은 예후 가치를 갖는 것으로 밝혀졌다. 또한, ROMICAT II 시험 결과에 따르면 급성 흉통이 있지만 초기 ECG 및 트로포닌이 음성인 안정된 CAD 환자에 대해 CCTA에서 고위험 플라크를 식별하면 심각한 CAD 및 임상 위험 평가와 관계없이 ACS의 가능도(likelihood)가 증가한다. CCTA에 의한 검사는 관상 동맥 경화성 플라크의 평가를 위해 확립되었다. 침습적 시술의 필요성이 불확실한 환자의 경우, 비침습적으로 MACCE를 예측하는 것이 질병 부담과 향후 발병의 위험에 대한 전반적인 추정치를 제공하는 CCTA를 통해 유익하고 실현 가능하다.
경동맥 질환과 CAD의 유병률은 밀접한 관련이 있다. 경동맥 죽상 경화증은 기존 CAD가 없는 환자에서도 MACCE에 대한 독립적인 예측 인자로 나타났다. 이러한 발견은 두 상태 모두에서 공유되는 공통된 근본적인 병인을 시사하며, 이는 죽상 경화증에 대한 다민족 연구(MESA)에 의해 더욱 뒷받침된다. 죽상 경화증은 콜레스테롤이 풍부한 지질의 축적과 염증 반응으로 인한 동맥벽 병변의 진화를 통해 점진적으로 발생한다. 이러한 변화는 관상 동맥, 경동맥, 대동맥, 및 말초 동맥에서 (동일하지 않더라도) 유사하다. 지질이 풍부한 대형 죽종성 코어, 얇은 캡, 외부 리모델링, 대식세포 및 림프구를 사용한 플라크 침투 및 중막의 얇아짐과 같은 특정 플라크 특성은 취약성과 파열에 취약하다.
e. HRP 및/또는 FFR의 비침습적 결정:
CCTA를 사용하여 협착의 기능적 중요성에 대한 비침습적 평가는 임상 및 재정적 관심사이다. 총칭하여 플라크 형태로 지칭되는 벽 및/또는 벽의 플라크를 포함하는 조직의 특성 또는 구성과 함께 병변 또는 혈관의 기하학적 구조 또는 해부학적 구조의 조합은 더 높거나 더 낮은 위험 플라크(HRP) 및 또는 정상 및 비정상 유량 예비(FFR)의 직교 고려가 있는 병변의 결과를 설명할 수 있다. 큰 괴사성 코어를 가진 병변은 플라크 형성 중에 외부 리모델링으로 인해 동적 협착이 발생하여 더 많은 조직이 늘어나거나, 조직이 더 뻣뻣해지거나, 평활근 층이 이미 글라고프 현상의 한계까지 늘어난 후 병변이 내강 자체에 침범될 수 있다. 마찬가지로, 염증성 모욕 및/또는 산화 스트레스는 손상된 혈관 확장 능력으로 나타나는 국소 내피 기능 장애를 초래할 수 있다.
플라크를 구성하는 조직이 대부분 괴사성 코어로 구성되지 않은 기질 또는 "지방 선조"인 경우, 플라크는 수요를 충족할 수 있을 만큼 충분히 확장된다. 그러나, 플라크에 더 많은 괴사성 핵이 있으면 확장할 수 없다. 혈액 공급은 수요를 따라갈 수 없다. 플라크 형태는 중간 측정 객관적 검증의 부족으로 인해 다른 접근법이 불가능한 방식으로 기본 정보를 검증하는 데 사용할 수 있는 객관적인 사실로 LRNC, 석회화, 출혈 및 궤양과 같은 복잡한 인자를 평가하여 정확도를 높인다.
그러나, 이는 플라크가 할 수 있는 전부가 아니다. 너무 자주 플라크가 실제로 파열되어 갑자기 응고를 일으켜 심장이나 뇌 조직의 경색을 일으킬 수 있다. 플라크 형태는 또한 이러한 고위험 플라크를 식별하고 정량화한다. 예를 들어, 플라크 형태는, 경색 위험의 주요 결정 요인인, 괴사성 코어가 내강에 얼마나 가까운지를 결정하는 데 사용될 수 있다. 병변이 스트레스 하에서 유량을 제한하는지 여부를 아는 것은 파열 위험을 나타내지 않으며 그 반대의 경우도 마찬가지이다. 객관적으로 검증된 플라크 형태가 없는 전산 유체 역학(CFD)과 같은 다른 방법은 유량 제한을 시뮬레이션할 수 있지만 경색 위험은 시뮬레이션할 수 없다. 플라크 형태의 근본적인 장점은 그 정확성이 혈관 구조와 조직 특성의 결정에 있으며 함께 표현형을 결정할 수 있다는 점이다.
유량 예비에 대한 다양한 평가를 통해 환자의 최적 관리에 관한 임상 지침이 점점 더 많이 이용되고 있다. 고위험 특징(큰 괴사성 코어 및 얇은 캡)을 가진 폐색성 병변은 미래 발병의 최대 가능도를 예고하며, 중요한 것은 그 반대도 사실인 점이다.
플라크 형태에 대한 정확한 평가없이 CFD를 사용하여 FFR을 결정하는 접근법이 발표되었다. 그러나, CFD 기반 유량 예비는 내강만 고려하거나, 기껏해야 내강 표면이 심장 주기의 다른 부분에서 어떻게 변하는지 고려한다. 기껏해야 내강 표면만을 고려할 때 운동 벡터를 얻기 위해 수축기와 이완기 모두를 처리해야 하지만(대부분의 사용 가능한 방법으로도 수행되지 않음), 이러한 분석은 실제 스트레스를 측정하는 것이 아니라 스트레스 하에서 일어날 수 있는 일에 대한 컴퓨터 시뮬레이션으로 이루어지며 혈관 확장 능력을 유발하는 실제 특성이 아니라 단순히 혈액 채널에 기반하기 때문에, 스트레스에서 어떤 일이 발생하는지는 고려하지 않는다. 일부 방법은 힘을 시뮬레이션하고 생체 역학적 모델을 적용하려고 시도하지만, 벽 조직의 검증된 측정보다는 가정을 사용한다. 결과적으로, 이러한 방법은 스트레스가 실제로 기초적인 가정을 넘어서 파열을 일으키는 경우 발생할 수 있는 상황을 예측할 수 없다. 오히려, 조직을 특성화하면 이러한 문제가 해결된다. 벽의 팽창성으로 인한 혈관 확장 능력에 미치는 영향을 포함한 벽 특성은 병변 구성이 유연성과 에너지 흡수를 결정하고, 안정적인 병변이 여전히 과도하게 치료되고, MACCE 위험에 대한 불완전한 평가를 결정한다는 점에서 우수한 것으로 간주된다. 형태학을 사용하여 FFR을 평가할 때의 장점은 형태학이 선행 지표라는 점, FFR 지연, HRP의 존재 및 정도가 경계선 대상체에 대한 치료에 더 나은 정보를 제공한다는 점을 포함한다. 형태학에 의한 정확한 평가를 해결하는 것의 중요성은 형태학이 FFR을 예측할 수 있지만 FFR이 형태학을 예측하지 않는다는 연구 결과에 의해 강화되었다. 즉, 효과적으로 평가된 형태학은 FFR을 결정하는 능력뿐만 아니라 환자를 허혈에서 경색 또는 HRP로 이동시키는 플라크의 불연속적인 변화 가능성을 갖는다.
본원에서는 계층적 분석 프레임 워크를 활용하여 이미징 데이터에서 생물학적 특성/분석물을 식별하고 정량화한 다음 정량화된 생물학적 특성/분석물을 기반으로 하나 이상의 의학적 상태를 식별하고 특성화하는 시스템 및 방법이 제공된다. 일부 실시형태에서, 시스템 및 방법은 환자의 임상 화학 및 혈액 바이오마커 데이터와 함께 컴퓨터화된 이미지 분석 및 데이터 융합 알고리즘을 통합하여 질병의 상이한 아형을 구별하는 데 사용될 수 있는 다인자 패널을 제공한다. 따라서, 본 개시내용의 시스템 및 방법은 진보된 계산 모델에서 생물학적 및 임상적 통찰력을 유리하게 구현할 수 있다. 그 후, 이러한 모델은 병인에 대한 이해 증가와 연관된 인자를 지정하고 측정 대상, 측정 및 평가 방법, 및 임상적으로 관련된 아형 및 검증될 수 있는 질병 단계와의 관계에 대한 엄격한 정의의 형태를 취하는 풍부한 온톨로지를 통해 정교한 이미지 처리와 인터페이스할 수 있다.
인간의 질병은 이미징으로 측정할 수 있지만 도움 없이는 이해하기 어려운 공간적, 시간적, 및 스펙트럼 결과를 포착하는 추출된 특징에 정교한 분류기를 적용하여 인식할 수 있는 강력한 표현형 차이를 나타낸다. 전통적인 컴퓨터 지원 진단은 이미지 특징으로부터 단일 단계로 추론한다. 대조적으로, 본 개시내용의 시스템 및 방법은 임상적 추론을 도출하기 위해 이후에 이용되는 형태학, 구성 및 구조의 생물학적 객관적 구성요소의 다중 수준에서 공간적으로 해결된 이미지 특징 및 시간적으로 해결된 동역학을 결정하는 중간 단계를 포함하는 계층적 추론 체계를 사용한다. 유리하게는, 계층적 추론 체계는 임상적 추론이 계층의 각 수준에서 이해, 검증, 및 설명될 수 있도록 보장한다.
따라서, 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 이미징과 무관한 사실 표준에 대해 객관적으로 검증될 수 있는 생물학적 특성을 측정하는 제1 수준의 알고리즘으로 구성된 계층적 분석 프레임워크를 이용하고, 이어서 측정된 생물학적 특성에 근거하여 의학적 또는 임상적 상태를 결정하기 위한 제2 세트의 알고리즘을 이용한다. 이러한 프레임 워크는 "및/또는" 방식으로, 즉 단독으로 또는 조합하여, 혈관 신생, 신혈관 형성, 염증, 석회화, 지질 침착, 괴사, 출혈, 강성, 밀도, 협착, 확장, 재형성 비율, 궤양, (예를 들어, 채널 내 혈액의) 유량, (예를 들어, 채널 내 혈액 또는 다른 조직에 대해 압박하는 하나의 조직의) 압력, 세포 유형(예를 들어, 대식세포), (예를 들어, 평활근 세포의) 세포 정렬, 또는 (예를 들어, 채널 내 혈액의) 전단 응력, 캡 두께, 및/또는 일 예로서 비틀림(예를 들어, 입구 및 출구 각도)과 같은 조직 특성)과 같은 다수의 뚜렷한 생물학적 특성에 적용할 수 있다. 특성의 양 및/또는 정도 및/또는 특질과 같은 이들 각각에 대한 측정량을 측정할 수 있다. 예시적인 상태는 (예를 들어, 뇌 또는 심장 조직의) 관류/허혈(예를 들어, 제한적임), (예를 들어, 뇌 또는 심장 조직의) 관류/경색(완전히 절단됨), 산소화, 대사, 유량 예비(관류할 수 있음), 악성, 침식, 및/또는 위험 계층화(발병 확률 또는 발병 시간(TTE) 여부에 관계없음), 예를 들어 주요 심장 및 뇌 혈관 이상 반응(MACE)을 포함한다. 사실 기반은 예를 들어 생검, 절제된 조직을 형성하는 전문 조직 주석(예를 들어, 내막 절제술 또는 부검), 절제된 조직에 대한 전문 표현형 주석(예를 들어, 내막 절제술 또는 부검), 물리적 압력 와이어, 기타 이미징 방식, 생리적 모니터링(예를 들어, ECG, Sa02 등), 게놈 및/또는 단백질체 및/또는 대사체 및/또는 전사체 분석, 및/또는 임상 결과를 포함한다. 이러한 특성 및/또는 상태는 주어진 시점에서 평가될 수 있으며 및/또는 (길이 방향으로) 시간에 따라 변화할 수 있다.
예시적 실시형태에서, 본 출원의 시스템 및 방법은 유리하게 질병의 컴퓨터 지원 표현형(CAP)과 관련된다. CAP는 컴퓨터 지원 진단(CAD) 분야를 보완하는 새롭고 흥미로운 것이다. 본원에 개시된 바와 같이, CAP는 환자의 임상 화학 및 혈액 바이오마커 데이터에 컴퓨터화된 이미지 분석 및 데이터 융합 알고리즘을 통합하는 계층적 추론을 적용하여 다르게 치료될 질병의 상이한 아형을 구별하는 데 사용될 수 있는 측정의 다인자 패널 또는 "프로필"을 제공할 수 있다. 따라서, CAP는 강력한 특징 추출, 데이터 통합, 및 확장 가능한 계산 전략에 대한 새로운 접근법을 구현하여 임상적인 의사 결정 지원을 구현한다. 예를 들어, 시공간 텍스처(SpTeT) 방법은 조직을 공간적으로 뿐만 아니라 동역학적으로 특성화하기 위한 관련 통계 특징을 포착한다. 예를 들어, 공간적 특징은 세포외 기질 섬유, 괴사성 조직, 및/또는 염증 세포와 혼합된 지질의 특성 패턴에 매핑된다. 예를 들어, 운동학적 특징은 내피 투과성, 신혈관 형성, 괴사, 및/또는 콜라겐 분해에 매핑된다.
이미지 특징으로부터 기계 분류의 단일 단계에서 임상 추론을 하는 현재의 CAD 접근법과 달리, 본 출원의 시스템 및 방법은 공간적으로 해결된 이미지 특징 뿐만 아니라 중간에 형태 및 구조적 구성의 여러 수준의 생물학적 객관적 구성요소에서 시간적으로 해결된 동역학으로 시작한 후, 마지막에 임상 추론으로 적용될 수 있는 계층적 추론 체계를 유리하게 이용할 수 있다. 그 결과 계층 구조의 각 수준에서 하단의 저수준 이미지 특징부터 상단의 생물학적 및 임상적 특징에 이르기까지 각 수준에서 이해, 검증, 및 설명될 수 있는 시스템이 생성된다.
본 개시내용의 시스템 및 방법은 표현형 분류 및 결과 예측 모두를 개선한다. 표현형 분류는 두 수준에서 발생할 수 있는데, 한편으로는 개별 해부학적 위치 및 다른 한편으로는 보다 일반적으로 설명되는 신체 부위이다. 전자에 대한 입력 데이터는 2D 데이터 세트일 수 있고, 후자에 대한 입력 데이터는 3D 데이터 세트일 수 있다. 표현형 분류의 경우 객관적 사실은 어느 수준에든 있을 수 있으므로, 결과 예측/위험 계층화는 일반적으로 환자 수준에서 발생하지만 특정 사례(예를 들어, 뇌졸중 증상이 나타난 측)에서는 더 구체적일 수 있다. 본원에서 암시하는 바는 동일한 입력 데이터가 두 목적 모두에 사용될 수 있지만, 입력 데이터가 사용되는 수준과 사실 주석의 기준으로 인해 모델이 크게 다를 수 있다는 점이다.
모델 구축 판독 벡터를 입력 데이터로 수행할 수 있지만, 성능은 종종 구현된 측정량에 의해 제한된다. 본 출원은 성능을 개선하기 위해 유리하게 고유한 측정량(예를 들어, 캡 두께, 칼슘 깊이, 및 궤양)을 이용한다. 따라서, 벡터가 이러한 측정량을 포함하는 경우(예를 들어, 종래의 측정량과 조합하여)에 판독 벡터 전용 접근법이 적용될 수 있다. 그러나, 본 개시내용의 시스템 및 방법은 더 풍부한 데이터 세트를 제공할 수 있는 딥 러닝(DL) 접근법을 유리하게 이용할 수 있다. 또한, 본 출원의 시스템 및 방법은 무감독 학습 애플리케이션을 유리하게 이용하여, 데이터 도메인에 걸쳐 더 나은 확장성을 제공할 수 있다(새로운 생의학 데이터가 생성되는 속도를 염두에 둔 매우 바람직한 특징).
본원에 제시된 예시적인 실시형태에서, 컨볼루션 신경망(CNN)은 미세 조정 접근법을 사용한 전이 학습으로 특성화될 수 있는 접근법에서 분류기를 구축하기 위해 이용될 수 있다. 강력한 계산 플랫폼에서 대규모 이미징 데이터 개요에 대해 훈련된 CNN은 네트워크 훈련에 주석이 추가되지 않은 이미지를 분류하는 데 성공적으로 사용될 수 있다. 이는 많은 공통 특징 등급이 매우 다른 객체의 이미지(예를 들어, 형상, 경계, 공간의 방향 등)를 식별하는 데 도움이 되므로 직관적으로 이해할 수 있다. 그 후, 수천만 이미지의 사전 주석 데이터 세트를 사용하여 수천 개의 서로 다른 객체를 인식하도록 훈련된 CNN이 기본 이미지 인식 작업을 우연보다 훨씬 더 잘 수행할 것이고, 때로는 '소프트맥스 층'으로 지칭되는 마지막 분류 층을 상대적으로 약간 조정한 후 스크래치부터 훈련된 CNN과 비슷한 성능을 가질 것임을 예상할 수 있다. 이러한 모델은 매우 크고 사전에 주석이 추가된 수많은 이미지에 대해 훈련을 받았기 때문에 매우 독특하고 차별적인 이미징 특징을 '학습'하는 경향이 있다. 따라서, 컨볼루션 층을 특징 추출기로 사용하거나 이미 훈련된 컨볼루션 층을 문제에 맞게 조정할 수 있다. 첫 번째 접근법은 전이 학습으로 지칭되고 후자는 미세 조정으로 지칭된다.
CNN은 다양한 컴퓨터 비전 작업을 수행하는 데 탁월하다. 그러나, CNN에는 몇 가지 단점이 있다. 의료 시스템의 중요성에 대한 두 가지 중요한 단점은 1) 방대한 훈련 및 검증 데이터 세트의 필요성, 2) 중간 CNN 계산이 측정 가능한 특성을 나타내지 않는다는 점이다(때로는, 설명되지 않은 근거가 있는 "블랙 박스"로 비판 받음). 본원에 개시된 접근법은 유리하게는 개별적으로 생물학적으로 측정 가능하고 독립적인 검증이 가능한 하나 이상의 단계로 구성된 파이프라인을 이용할 수 있으며, 이어서 원시 이미지 만이 아닌 이들로부터 시작하는 컨볼루션 신경망을 이용할 수 있다. 더욱이, 예를 들어 네트워크에 공급하기 전에 정규화된 좌표계를 갖는 직사각형 표현이 되도록 도넛-혈관 단면을 언래핑하는 것과 같이 당면한 문제와 관련이 없는 변동을 줄이기 위해 특정 변환이 적용될 수 있다. 이러한 프런트엔드 파이프라인 단계는 의료 이미징에 CNN을 사용하는 두 가지 단점을 동시에 완화한다.
일반적으로, 초기 컨볼루션 층은 증가하는 특이성의 특징 추출기로 역할을 하고, 완전히 연결된 하나 또는 둘의 마지막 층은 분류기(예를 들어, "소프트맥스 층")로 역할을 한다. 통상적인 CNN에서 층 시퀀스와 그 기능의 개략적 표현은 여러 공급원에서 사용할 수 있다.
유리하게는, 본 개시내용의 시스템 및 방법은 방사선 데이터 세트에 의해 분석된 조직의 비침습적 표현형을 가능하게 하기 위해 풍부한 데이터 세트를 이용한다. 한 가지 유형의 풍부화는 조직 분류를 수행하기 위해 데이터를 사전 처리하고 "가색" 오버레이를 사용하여 객관적으로 검증될 수 있는 데이터 세트를 제공하는 것이다(이러한 가능성이 없는 원시 이미지만 사용하는 것과는 반대임). 다른 유형의 풍부화는 좌표계에서 변환을 사용하여 생물학적으로 타당할 수 있는 공간 내용을 강조하는 동시에 분류 정확도를 향상시키거나, 더 작은 훈련 세트를 허용하거나, 또는 둘 다를 허용하기 위해 노이즈 변동을 제거하는 것이다.
예시적인 실시형태에서, 본 출원의 시스템 및 방법은 다단식 파이프라인을 이용할 수 있다: (i) (예를 들어, 정량적 생물학적 분석물을 나타낼 수 있는) 관심 영역을 식별하고 분류하기 위한 의미론적 분할, (ii) 관형 구조의 단면(예를 들어, 정맥/동맥 단면)을 직사각형으로 변환하기 위한 공간 언래핑, 및 (iii) 주석이 추가된 직사각형을 판독하고 어떤 표현형(예를 들어, 안정 또는 불안정한 플라크 및/또는 정상 또는 비정상 FFR) 및/또는 예상되는 발병까지의 시간(TTE)을 식별하기 위해 훈련된 CNN의 적용. 언래핑 데이터 세트(언래핑 포함) 대 도넛형 데이터 세트(언래핑 없음)로 CNN을 훈련하고 검사하여 언래핑이 각 특정 구현에 대한 유효성 검사 정확도를 향상시킨다는 것을 입증할 수 있음을 유념한다. 따라서, 관형 구조(예를 들어, 플라크 표현형) 또는 다른 구조(예를 들어, 폐암 질량 아형화)의 다양한 구현 이미징 또는 다른 적용은 유사하게 유사한 단계(예를 들어, 의미론적 분할 후 언래핑(CNN 적용 전)과 같은 공간 변환이 뒤따름)를 수행하는 것으로부터 혜택을 얻을 수 있다. 그러나, 일부 대안적인 실시형태에서, 변형되지 않은 데이터 세트(예를 들어, 공간적으로 언래핑되지 않은 데이터 세트)가 (예를 들어, 변형되지 않은 데이터 세트와 함께 또는 독립적으로) 표현형을 결정하는 데 사용될 수 있음이 고려된다.
예시적인 실시형태에서, 의미론적 분할 및 공간적 변환은 다음을 포함할 수 있다: 이미지 볼륨은 표적 초기화, 정규화, 및 디블러링 또는 복원과 같은 임의의 다른 원하는 프리 프레싱을 포함하여 전처리되어, 표현형이 될 생리적 표적을 포함하는 관심 영역을 형성할 수 있음. 특히, 이러한 관심 영역은 그 볼륨을 통한 단면으로 구성된 볼륨일 수 있으며, 신체 부위는 자동으로 결정되거나 사용자에 의해 명시적으로 제공될 수 있다. 본질적으로 관형인 신체 부위에 대한 표적에는 중심선이 동반될 수 있다. 중심선은, 존재하는 경우, 분기될 수 있다. 분기는 자동으로 또는 사용자에 의해 라벨링될 수 있다. 중심선 개념에 대한 일반화는 관형이 아니지만 일부 구조적 방향성(예를 들어, 종양 영역)에 의해 혜택을 받는 해부학에 대해 표현될 수 있음을 유념한다. 어떤 경우에도, 볼륨의 각 단면에 대해 도심(centroid)이 결정될 수 있다. 관형 구조의 경우, 이는 혈관의 내강과 같은 채널의 중심일 수 있다. 병변의 경우, 이는 종양의 질량 중심일 수 있다. (선택적으로 디블러링되거나 복원된) 이미지는 데카르트 데이터 세트로 표시될 수 있고, 여기서 x는 도심에서 얼마나 멀리 떨어져 있는지를 나타내고, y는 회전 세타를 나타내고, z는 단면을 나타낸다. 하나의 이러한 데카르트 세트는 분기 또는 지역별로 형성될 것이다. 다수의 세트가 사용되는 경우, 중첩 영역에 "널" 값이 사용될 수 있고, 즉 각 물리적 복셀은 기하학적으로 함께 맞추는 방식으로 세트에 걸쳐 한 번만 표현될 수 있다. 각 데이터 세트는 객관적으로 검증 가능한 조직 구성에 의해 라벨링된 하위 영역이 있는 추가 데이터 세트와 쌍을 이룰 수 있다. 혈관 조직에 대한 라벨의 예는 내강, 석회화, LRNC, IPH 등을 포함할 수 있다. 병변에 대한 예시적인 라벨은 괴사, 신혈관 형성 등을 포함할 수 있다. 이러한 라벨은 예를 들어 조직학에 의해 객관적으로 검증될 수 있다. 쌍을 이룬 데이터 세트는 컨볼루션 신경망을 구축하기 위한 훈련 단계에 대한 입력으로 사용될 수 있다. 예시적인 실시형태에서, 두 가지 수준의 분석이 지원될 수 있는데, 하나는 개별 단면 수준에서, 다른 하나는 볼륨 수준에서 지원될 수 있다. 출력 라벨은 표현형 또는 위험 계층을 나타낸다.
예시적인 이미지 전처리는 예를 들어 이미지 형성 프로세스로부터 발생하는 인공물 또는 이미지 제한을 완화하기 위해 환자 맞춤식 포인트 확산 결정 알고리즘을 사용하는 디블러링 또는 복원을 포함할 수 있다. 이러한 인공물과 이미지 제한은 표현형의 예측 특성을 결정하는 능력을 감소시킬 수 있다. 디블러링 또는 복원은 예를 들어 이미지의 다른 영역의 실제 잠복 밀도에 대한 가정을 정규화하여 스캐너 포인트 확산 함수의 물리적 모델을 반복적으로 맞춘 결과로 달성될 수 있다.
예시적인 실시형태에서, CNN은 AlexNet, Inception, CaffeNet, 또는 다른 네트워크일 수 있다. 일부 실시형태에서, 리팩토링은 예를 들어 동일한 수 및 유형의 층이 사용되는 CNN에 대해 수행될 수 있지만 입력 및 출력 차원은 변경된다(예를 들어, 종횡비 변경). 다양한 예시적 CNN의 예제 구현은 예를 들어 텐서플로 및/또는 다른 프레임워크에서 오픈 소스로 제공되며 오픈 소스 및/또는 라이선스 구성으로 이용 가능하다.
예시적인 실시형태에서, 데이터 세트는 증가될 수 있다. 예를 들어, 일부 실시형태에서, 2D 또는 3D 회전은 데이터 세트에 적용될 수 있다. 따라서, 변환되지 않은(예를 들어, 도넛) 데이터 세트의 경우, 증강은 (예를 들어, 0도와 360도 사이의 임의의 각도만큼) 데이터 세트를 무작위로 회전하는 것과 함께 데이터 세트를 무작위로 수평으로 플리핑하는 것을 포함할 수 있다. 유사하게, 변환된(예를 들어, 언래핑된) 데이터 세트의 경우, 증강은 예를 들어 0에서 이미지의 폭까지 범위에 있는 임의의 픽셀 수와 같은 이미지의 임의의 "스크롤링"(스크롤링은 세타를 중심으로 회전하는 것과 유사함)과 함께 임의의 수평 플리핑을 포함할 수 있다.
예시적인 실시형태에서, 데이터 세트는 상이한 조직 분석물 유형을 나타내기 위해 상이한 색상을 사용함으로써 풍부해질 수 있다. 이러한 색상은 분석 대상이 아닌 표면(예를 들어, 정상 벽)과 비교하여 시각적으로 대비되도록 선택될 수 있다. 일부 실시형태에서, 비분석물 표면은 회색으로 표시될 수 있다. 예시적인 실시형태에서, 데이터 세트 풍부화는 조직 특성(예를 들어, 플라크 표현형을 나타내는 조직 특성)의 실측 주석을 발생시킬 수 있을 뿐만 아니라 이러한 조직 특성이 단면에 어떻게 존재하는지(예를 들어, 혈관의 축에 직각으로 취해짐) 공간 컨텍스트를 제공할 수 있다. 이러한 공간 컨텍스트는 조직학적 단면에 대한 데이터 세트의 분석을 위한 공통 기준을 제공하는 좌표계(예를 들어, 단면의 도심에 대한 극좌표에 기초함)를 포함할 수 있다. 따라서, 풍부한 데이터 세트는 색 코딩된 병리학자 주석의 상단(또는 그 반대의 경우)에 유리하게 오버레이될 수 있다. 유리하게는, 주석이 추가된 조직학 기반 데이터 세트가 방사선 데이터 세트의 이미지 특징 분석과 함께 또는 독립적으로 훈련(예를 들어, CNN의 훈련)에 사용될 수 있다. 특히, 조직학 기반 주석 데이터 세트는 공간 컨텍스트를 잃지 않고 고해상도 전체 이미지 대신 상대적으로 단순한 가색 이미지를 사용하기 때문에 DL 접근법에서 효율성을 향상시킬 수 있다. 예시적인 실시형태에서, 좌표 방향은 단위 페이저 및 페이저 각도를 사용하여 내부적으로 표현될 수 있다. 일부 실시형태에서, 좌표계는 (예를 들어, 상이한 직경/두께의 관형 구조/단면을 비교하기 위한 공통 기준을 제공하기 위해) 예를 들어 벽 두께에 대한 방사상 좌표를 정규화함으로써 정규화될 수 있다. 예를 들어, 정규화된 방사상 거리는 내부(내벽 내강 경계)에서 0의 값을 가질 수 있고 외부 경계(외벽 경계)에서 1의 값을 가질 수 있다. 특히, 이는 혈관 또는 다른 병리 생리학(예를 들어, 위장관)과 관련된 관형 구조에 적용될 수 있다.
유리하게는, 본 출원의 풍부한 데이터 세트는 알려진 실측에 기초한 생체 내 비침습적 이미지 기반 분류(예를 들어, 조직 분류 체계가 표현형 비침습적으로 결정하는 데 사용될 수 있음)를 제공한다. 일부 실시형태에서, 알려진 실측은 비방사성(예를 들어, 조직학 또는 다른 생체 외 기반 조직 분석)일 수 있다. 따라서, 예를 들어, (조직학 정보와 같은) 생체 외 실측 데이터를 포함하도록 주석이 추가된 방사선 데이터 세트는 분류기에 대한 입력 데이터로 유리하게 사용될 수 있다. 일부 실시형태에서, 다수의 서로 다른 알려진 실측이 풍부한 데이터 세트에 주석을 추가할 때 서로 결합하거나 서로 독립적으로 사용될 수 있다.
본원에 언급된 바와 같이, 일부 실시형태에서, 풍부한 데이터 세트는 예를 들어 벽 두께 및 방사상 표상과 연관된 비관련 변동을 피하기 위해 정규화된 좌표 시스템을 이용할 수 있다. 더욱이, 본원에 언급된 바와 같이, 예시적인 실시형태에서, "도넛"형 데이터 세트는 예를 들어 분류 훈련(예를 들어, CNN 사용) 전에 및/또는 데이터 세트에서 훈련 분류기를 실행하기 전에 "언래핑"될 수 있다. 특히, 이러한 실시형태에서, 훈련 데이터 세트의 분석물 주석은 변환 전에, 예를 들어 언래핑 또는 둘 모두의 조합 후에, 이루어질 수 있다. 예를 들어, 일부 실시형태에서, 미변환 데이터 세트는 (예를 들어, 조직학 정보와 같은 생체 외 분류 데이터를 사용하여) 주석이 추가된 다음 분류기 훈련을 위해 변환될 수 있다. 이러한 실시형태에서, 생체 외 기반 분류의 더 미세한 입도는 계산 복잡성을 감소시킬 뿐만 아니라 "블랙 박스"라는 비판에 개방될 수 있는 것을 동시에 처리하기 위해 생체 내 방사선 분석을 위한 더 낮은 의도된 입도와 일치하도록 축소될 수 있다.
일부 실시형태에서, 주석이 추가된 방사선 데이터 세트를 시각화하기 위한 색상 및/또는 축은 생체 외 실측 기반 분류에서 전형적으로 제시된 것과 동일한 색상/축(예를 들어, 조직학에서 사용되는 것과 동일한 색상/축)에 대응하도록 선택될 수 있다. 예시적인 실시형태에서, 변환된 풍부한 데이터 세트(예를 들어, 벽 두께에 대해 정규화될 수 있음)가 제시될 수 있으며, 여기서 각 분석물은 다른 대조 색상으로 시각적으로 표현되고 모든 비분석물 영역에 대해 배경 영역(예를 들어, 흑색 또는 회색)에 대해 상대적으로 표시된다. 특히, 실시형태에 따라 공통 배경은 주석을 추가하거나 추가하지 않을 수 있으며, 이에 따라 혈관 벽 안팎의 비분석물 영역 또는 배경 특징(예를 들어, 내강 표면 불규칙성, 다양한 벽 두께 등) 간에 시각적으로 구별하거나 구별하지 않을 수 있다. 따라서, 일부 실시형태에서, 주석이 추가된 분석물 영역(예를 들어, 벽 두께에 대해 색 코딩 및 정규화됨)은 균일한(예를 들어, 완전한 흑색, 완전한 회색, 완전한 흰색 등) 배경에 대해 시각적으로 표현될 수 있다. 다른 실시형태에서, 주석이 추가된 분석물 영역(예를 들어, 색 코딩되지만 벽 두께에 대해 정규화되지 않음)은 주석이 추가된 배경(예를 들어, 상이한 음영(회색, 흑색 및/또는 흰색)에 대해 시각적으로 표현될 수 있고 (i) 관형 구조의 내부 내강 내부의 중앙 내강 영역, (ii) 벽 내부의 비분석물 영역 및/또는 (iii) 외벽 외부의 영역을 구별하는 데 사용될 수 있다. 이를 통해 (예를 들어, 궤양 또는 혈전으로 인한) 벽 두께의 변동을 분석할 수 있다. 추가의 예시적인 실시형태에서, 주석이 추가된 데이터 세트는 예를 들어, 플라크 내 출혈의 영역 및/또는 다른 형태학 양태의 식별(및 시각화)을 포함할 수 있다. 예를 들어, 플라크 내 출혈 영역은 적색으로, LRNC는 황색 등으로 시각화될 수 있다.
본 출원의 시스템 및 방법의 하나의 특정 구현은 혈관 치료를 지시하는 것일 수 있다. 분류는 (물리적 특성 또는 특정 메커니즘에 근거한, 예를 들어 염증 또는 콜레스테롤 대사 기반) 플라크 병변의 가능한 동적 거동에 따라 및/또는 질병의 진행(예를 들어, 자연사 초기 대 후기)에 근거하여 설정될 수 있다. 이러한 분류는 환자 치료를 지시하는 데 사용될 수 있다. 예시적인 실시형태에서, AHA에 의해 채택된 스타리 플라크 타이핑 시스템은 컬러 오버레이로 표시된 생체 내 결정된 유형을 갖는 언더레이로 이용될 수 있다. 매핑의 예는 class_map = [Subclinical, Subclinical, Subclinical, Subclinical, Unstable, Unstable, Stable, Stable]을 생성하는 ['I', 'II', 'III', 'IV', 'V', 'VI', 'VII, 'VIII']이다. 그러나, 본 개시내용의 시스템 및 방법은 스타리와 결부되지 않고, 다른 예로 Virmani 시스템['Calcified nodule', 'CTO', 'FA', FCP', 'Healed Plaque Rupture', 'PIT', 'IPH', 'Rupture', 'TCFA', 'ULC]은 class_map =[Stable, Stable, Stable, Stable, Stable, Stable, Unstable, Unstable, Unstable, Unstable]과 함께 사용되었고, 다른 타이핑 시스템은 유사한 고성능을 생성할 수 있다. 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 상이한 타이핑 시스템을 병합할 수 있고, 클래스 맵이 변경될 수 있거나, 또는 다른 변형일 수 있다. FFR 표현형의 경우, 예를 들어 물리적 FFR과의 비교를 용이하게 하기 위해 정상 또는 비정상과 같은 값이 사용될 수 있고 및/또는 숫자가 사용될 수 있다.
따라서, 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 풍부한 방사선 데이터 세트에 기초하여 플라크의 표현형 분류를 제공할 수 있다. 특히, 표현형 분류(들)는 안정된 플라크와 불안정한 플라크를 구별하는 것을 포함할 수 있는데, 예를 들어 분류에 대한 실측 기준은 (i) 내강 협착(비틀림 및/또는 궤양과 같은 추가 조치에 의해 증가될 수 있음), (ii) 칼슘 함량(깊이, 형상, 및/또는 기타 복잡한 표상에 의해 증가될 수 있음), (iii) 지질 함량(캡 두께 및/또는 기타 복잡한 표상의 측정에 의해 증가될 수 있음), (iv) 해부학적 구조 또는 기하학적 구조, 및/또는 (v) IPH 또는 기타 함량과 같은 인자에 근거한다. 특히, 이러한 분류는 높은 수준의 임상 관련성(도뇨관 삽입 및 심혈관 치료를 받고 있는 환자의 기존 치료 표준을 변경할 가능성이 있음) 뿐만 아니라 전체적인 정확성, 민감성 및 특이성이 높은 것으로 입증되었다.
또 다른 예시적 구현은 폐암이며, 여기서 종괴의 아형은 명백한 표현형에 기초하여 환자에게 가장 유익한 치료를 지시하도록 결정될 수 있다. 특히, 전처리 및 데이터 세트 풍부화는 고체 대 반고체("간유리") 하위 영역으로 분리하는 데 사용될 수 있고, 이러한 하위 영역은 악성 정도가 다르고 최적의 치료법이 서로 다르다.
추가의 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 CT 혈관 조영술(CTA) 진단 이미지의 이미지 전처리, 이미지 노이즈 제거 및 새로운 기하학적 표현(예를 들어, 아핀 변환)을 제공하여 최고 등급의 분류기를 개발하고 표현 절차 중 심혈관 부작용 위험의 마커를 개발하기 위해 CNN을 기반으로 한 딥 러닝 알고리즘의 성능을 가능하게 하고 극대화한다. 따라서, 본원에 개시된 바와 같이, 이미지 디블러링 또는 복원은 관심 병변을 식별하고 플라크 구성을 정량적으로 추출하기 위해 사용될 수 있다. 또한, (주축 혈관을 따른) 단면의 분할된 이미지를 예를 들어 X 축을 따라 설정된 내강을 따르는 '언래핑된' 직사각형 기준 프레임으로 변환하여 DL 접근을 허용하는 정규화된 프레임을 제공하여 대표적인 특징을 최적으로 학습할 수 있다.
본원의 예시적인 실시형태는 분석 및 표현형을 위해 2D 주석이 추가된 단면을 사용하지만, 본 출원은 이러한 실시형태로 제한되지 않는다는 점에 유념한다. 특히, 일부 실시형태는 예를 들어 2D 단면을 개별적으로 처리하는 대신 또는 이에 추가하여 풍부한 3D 데이터 세트를 이용할 수 있다. 따라서, 예시적인 실시형태에서, 컴퓨터 비전으로부터의 비디오 해석이 분류기 입력 데이터 세트에 적용될 수 있다. 중심선을 따른 "영화" 시퀀스에서처럼 여러 단면을 순차적으로 처리하면 관형 구조에 대해 이러한 방법을 일반화할 수 있고, 예를 들어 중심선을 위아래로 이동할 수 있고 및/또는 해부학에 가장 적합한 양태에 따라 다른 3D 표현을 할 수 있다.
추가의 예시적인 실시형태에서, 풍부한 데이터 세트의 가색 표현은 픽셀 또는 복셀 위치에 걸쳐 연속적인 값을 가질 수 있다. 이는 명시적 검증의 유무에 관계없이 "방사능" 특징 또는 검증된 조직 유형에 사용할 수 있으며 각 복셀에 대해 독립적으로 계산된다. 이러한 값 세트는 임의의 수의 전처리된 오버레이에 존재할 수 있으며 표현형 분류기에 공급될 수 있다. 특히, 일부 실시형태에서, 각 픽셀/복셀은 임의의 수의 상이한 특징에 대한 값을 가질 수 있다(예를 들어, 때때로 "다중 점유"로 지칭되는 상이한 분석물에 대한 임의의 수의 상이한 오버레이로 표현될 수 있음). 대안적으로, 각 픽셀/복셀은 하나의 분석물에만 할당될 수 있다(예를 들어, 단일 분석물 오버레이에만 할당됨). 또한, 일부 실시형태에서, 주어진 분석물(예를 들어, 주어진 분석물)에 대한 픽셀/복셀 값은 전부 분류 또는 무분류 체계(예를 들어, 픽셀이 칼슘이거나 그렇지 않음)에 기초할 수 있다. 대안적으로, 주어진 분석물에 대한 픽셀/복셀 값은 상대 값, 예를 들어 확률 점수일 수 있다. 일부 실시형태에서, 픽셀/복셀에 대한 상대 값은 분석물 세트에 걸쳐 정규화된다(예를 들어, 총 확률이 100%가 되도록 합산됨).
예시적 실시형태에서, 분류 모델은 예를 들어 가능성 있는 세포 신호 전달 경로 또는 그럴듯한 생물학적 동기 제시를 나타내기 위해 예를 들어 부분 미분 방정식과 같은 다중 스케일 모델링 기술의 적용에 의해 전체적으로 또는 부분적으로 훈련될 수 있다.
다른 대안적인 실시형태는 예를 들어 단일 시점으로부터의 (오직) 데이터보다는 다중 시점으로부터 수집된 변경 데이터를 사용하는 것을 포함한다. 예를 들어, 음성 세포 유형의 양이나 특성이 증가하면, "감염자" 표현형 대 감소에 대한 "회귀자" 표현형이라고 할 수 있다. 회귀자는 예를 들어 약물에 대한 반응 때문일 수 있다. 대안적으로, 예를 들어 LRNC에 대한 변화 속도가 빠르다면, 이는 다른 표현형, 예를 들어 "빠른 감염자"를 의미할 수 있다.
일부 실시형태에서, 다른 분석(예를 들어, 실험실 결과), 인구 통계/위험 인자, 또는 방사선 이미지에서 취한 기타 측정에서 파생된 것과 같은 비공간 정보는 CNN의 최종 층에 공급되어 공간 정보를 비공간 정보와 조합한다.
특히, 시스템과 방법은 표현형 분류에 초점을 맞추지만, 결과 예측과 관련하여 유사한 접근법을 적용할 수 있다. 이러한 분류는 훈련 데이터 세트에 할당된 실측 기록 결과를 기반으로 할 수 있다. 예를 들어, 기대 수명, 삶의 질, 치료 효능(다른 치료 방법 비교 포함) 및 기타 결과 예측은 본 출원의 시스템 및 방법을 사용하여 결정될 수 있다.
본 출원의 시스템 및 방법의 예는 복수의 도면 및 다음의 상세한 설명에서 더 예시된다.
추가의 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 플라크 형태의 측정에 의해 심근 및/또는 뇌 조직에서 분획 유량 예비의 결정을 제공한다. 본 개시내용의 시스템 및 방법은 확장성에 영향을 미치는 조직 유형 및 특성의 객관적으로 검증된 결정을 통해 혈관의 혈관 확장 능력을 특성화하는 정교한 방법을 사용할 수 있다. 특히, 플라크 형태는 유량 예비 관점에서 혈관계의 동적 거동을 분석하기 위한 입력으로 사용될 수 있다(유량 예비 사실 데이터로 모델 훈련). 따라서, (오직) 정적 설명보다는 시스템의 동적 거동을 결정할 수 있다. 협착증 자체는 정적 설명만 제공한다는 점에서 예측력이 낮은 것으로 잘 알려져 있고; 동적 기능의 가장 정확한 이미징 기반 평가를 위해서는 정확한 플라크 형태를 추가해야 한다. 본 개시내용은 정확한 플라크 형태를 결정한 후 동적 기능을 결정하는 프로세스를 수행하는 시스템 및 방법을 제공한다.
예시적인 실시형태에서, 딥 러닝은 조직 특성 및 혈관 해부학(통칭적으로, 플라크 형태로 지칭됨)의 공간 컨텍스트를 최적의 입도 수준으로 유지하고, 훈련 세트에서 과도한 비물질적 변동성을 피하면서 기계 학습의 다른 단순한 사용을 능가하는 데 필요한 것을 유지하기 위해 이용된다. 다른 방법에 의한 대안적인 방법은 조직 특성을 보다 완벽하게 처리하는 대신 혈관 구조 측정만 사용한다. 이러한 방법은 병변 길이, 협착, 및 입구와 출구 각도를 포착할 수 있지만 혈관 확장 능력의 결정 요인은 무시한다. 이러한 모델을 사용하려면 전체적으로 동맥 트리의 유연성에 대한 높은 수준의 가정이 이루어져야 하지만 플라크 및 기타 조직 특성으로 인해 관상 동맥 트리의 확장성이 이질적인 방식으로 확장될 수 있다. 트리의 다른 부분은 다소 확장 가능하다. 확장성은 FFR을 결정하는 핵심 요소이기 때문에, 이러한 방법은 충분하지 않다. 조직 특성을 시도하는 다른 방법은 정확성에 대한 객관적인 검증 없이 및/또는 딥 러닝 방법의 효과를 제공하는 데 필요한 의료 이미지 딥 러닝(예를 들어, 언래핑 및 검증된 가색 조직 유형 오버레이와 같은 변환)을 위해 공간 컨텍스트를 최적으로 유지하는 데 필요한 데이터 풍부화 방법 없이 수행한다. 일부 방법은 합성 데이터를 사용하여 훈련 세트 크기를 늘리려고 시도하지만, 이는 궁극적으로 합성 생성이 기반으로 하는 제한된 데이터로 제한되며 입력 훈련 세트의 실제 확장보다는 데이터 증가 체계에 더 많이 해당한다. 추가로, 본 개시내용의 시스템 및 방법은 혈관 길이에 걸쳐 연속적인 평가를 생성할 수 있다.
본 개시내용의 시스템 및 방법은 다수의 동맥 층에 걸쳐 조직학에 의해 검증된 객관적인 조직 특성화를 효과적으로 이용한다. 죽상 경화증에서의 적용 사례와 관련하여, 플라크 구성은 나이에 관계없이 관상 동맥 및 경동맥에서 유사하며, 이는 상대적 안정성을 크게 결정하여 CTA에서와 마찬가지로 CCTA에서도 유사한 표현을 제안한다. 다양한 플라크 특징의 정도의 사소한 차이에는 더 두꺼운 캡과 더 높은 플라크 내 출혈 및 경동맥의 석회화된 결절이 포함될 수 있지만, 플라크 성분의 특성에는 차이가 없다. 또한, 경동맥과 관상 동맥은 플라크 진화에 영향을 미치는 혈관 톤 조절의 생리학에서 많은 유사점을 가지고 있다. 심근 혈액 관류는 NO와 같은 다양한 자극에 반응하여 심 외막 관상 동맥의 혈관 확장에 의해 조절되어 혈류의 여러 배 변화를 유발할 수 있는 관상 동맥 톤의 동적 변화를 유발한다. 유사한 방식으로, 경동맥은 뇌 순환을 지원하는 단순한 도관보다 많고; 이들은 전단 응력 변화를 포함하여 자극에 대한 반응으로 혈관 반응 특성을 보여준다. 내피 전단 응력은 내피 건강과 유리한 혈관벽 전사체 프로파일에 기여한다. 임상 연구는 낮은 내피 전단 응력 영역이 죽상 경화증 발생 및 고위험 플라크 특징과 관련이 있음을 입증했다. 유사하게, 경동맥에서 낮은 벽 전단 응력은 플라크 발달 및 국소화와 관련이 있다. (내피 전단 응력 자체는 유용한 측정이지만 플라크 형태를 대체하지는 않는다.) 기술적인 문제는 베드에 따라 다르지만(예를 들어, 게이팅 사용, 혈관 크기, 운동의 양 및 특성) 이러한 효과는 스캔 프로토콜에 의해 완화되며, 이는 대략적인 평면 내 복셀 크기가 0.5 내지 0.75mm 범위와 관상 동맥(작은 혈관)의 평면을 통한 해상도는 실제로 경동맥보다 열등하지 않고 더 낫다(복셀은 관상 동맥에서 등방성이고 목과 말초 말단에서는 그렇지 않음).
본 개시내용은 니키스트 샤논 샘플링 정리를 존중하는 견고한 수학 원리에 기초하여 IVUS VH와 동일한 구장에서 일상적으로 획득된 CTA로 효과적인 해상도를 달성한다. IVUS 이미징은 전체 구조(즉, 내강)에 대해 뛰어난 공간 해상도를 갖지만 일반적으로 높은 정확도로 플라크 구성 요소를 특성화하는 능력이 부족하다. 문헌에서 IVUS 해상도는 20 내지 40MHz 범위의 일반적인 변환기를 사용하여 축 방향으로 70 내지 200 μm, 측 방향으로 200 내지 400 μm로 추정된다. IVUS VH는 플라크 구성 분석(및 이에 따른 측정)을 가능하게 하는 스펙트럼 후방 산란 분석 방법이다. 축 방향으로 큰(예를 들어, 480 μm) 이동 창을 사용하는 IVUS VH 방법론의 경우, 이러한 이동 창의 상대적으로 큰 크기(및 이에 따른 구성 분석의 정확도)는 기본적으로 스펙트럼 분석의 대역폭 요구 사항에 의해 제한된다. IVUS VH 이미지가 더 작은 이동 창(예를 들어, 250 μm)에 표시되는 경우, 각 IVUS 픽셀이 개별 범주로 분류되므로 이러한 분석의 정확도가 제한된다. 64-절편 다중 검출기 CCTA 스캔은 300 내지 400 μm 해상도 범위에 있는 것으로 설명되었다. 이는 이미 CCTA 해상도를 IVUS VH의 해상도에 매우 가깝게 설정했지만, 고려해야 할 본 발명 분석에 특정한 추가 요소가 있다. 따라서, CCTA 픽셀을 이산적으로 분류하기보다는, 본 개시내용의 시스템 및 방법은 예를 들어 지질 코어의 실제 표면을 나타내기 위해 삼각형의 테셀레이트된 표면을 사용하여 서브-복셀 정밀도로 반복적 디블러링 또는 복원 모델링 단계를 수행한다. 393명의 환자에서 지질 코어 영역은 6.5 내지 14.3 mm2 범위이다(해당 곡률 반경 1.4 내지 2.1 mm). 코드가 단일 복셀에 대각선으로 걸쳐 있는 코드 길이에 대한 공식을 사용하면 44 μm에서 지질 코어의 테셀레이트된 표면 표현의 오류에 대한 상한을 나타낸다. 일반적으로 캡 두께 측정을 위한 IVUS VH의 정확도와 동일한 194 내지 244 μm의 전체 정확도 범위에 대해 픽셀의 절반 정도에서 오류를 일으킬 수 있는 디블러링 제거 또는 복원 분석과 관련된 추가 요소가 있다.
본 개시내용은 또한 죽상 동맥 경화증 이미징 데이터의 분석에 인공 지능 및 딥 러닝 적용의 근본적인 한계를 다루는 데 혁신적이다. 기본적으로 여러 가지 방식으로 제한되는 것과 같이 검증되고 객관적인 기준이 없는 기존의 경쟁 접근법. 첫째, 임의의 임계값이 사용되어 객관적인 검증이 부족한 다른 마커와의 약한 상관 관계를 제외하고 정확도를 평가할 수 없다. 둘째, 이러한 객관성 부족은 상황에 따라 상관 관계를 기반으로 하는 대량의 데이터에 대한 요구를 증가시킨다. 이는 그 자체가 분석 대상인 방사선 이미지의 수동 주석에 대한 실행 불가능한 요구를 부과한다(즉, 독립적인 방식에서 검증되는 것과 반대임). 셋째, 결과 모델의 해석 가능성으로 인해 이러한 모델은 FDA와 같은 규제 기관에 전통적인 생물학적 가설 테스트와 결부될 수 있는 작용 메커니즘에 대한 과학적으로 엄격한 설명이 없는 "블랙 박스"로 제시되어야 한다. 구체적으로, CNN은 다양한 컴퓨터 비전 작업을 수행하는 데 탁월한 것으로 입증되었지만, 방사선 데이터 세트에 적용할 때 상당한 단점이 있다: 1) 방대한 교육 및 검증 데이터 세트의 필요성, 및 2) 중간 CNN 계산은 일반적으로 측정 가능한 속성을 나타내지 않으므로 규제 승인이 어렵다. 이러한 문제를 해결하기 위해, CNN을 공급하기 위해 생물학적 수준에서 개별적으로 객관적으로 검증할 수 있는 출력이 있는 단계로 구성된 파이프라인 접근법을 사용한다. 본 발명은 생물학적으로 측정할 수 있는(즉, 객관적으로 검증할 수 있는) 하나 이상의 단계로 구성된 파이프라인을 사용하고, 이어서 주관적이거나 정성적인 "이미징 특징"을 기반으로 하지 않고 오히려 원하는 출력 조건을 출력하기 위해 이러한 검증된 생물학적 특성에 대한 더 작은 범위의 컨볼루션 신경망 처리를 사용하여 이러한 단점을 극복한다. 이러한 아키텍처 기능은 사용 가능한 훈련 데이터의 효율성을 높이고 중간 단계를 객관적으로 검증할 수 있도록 함으로써 단점을 완화한다. 본 개시내용의 시스템 및 방법은 1) 적당한 크기의 데이터 세트로 CNN을 훈련할 때 허용되는 수준 내로 비전 작업의 복잡성을 감소시키고, 2) 사용자 또는 규제 기관이 객관적으로 검증하고 쉽게 해석할 수 있는 중간 출력을 생성함으로써 의료 이미징에 CNN을 사용하는 단점을 동시에 완화시킨다. 중간 CNN 계산은 일반적으로 측정 가능한 특성을 대표하지 않으며, 공간 컨텍스트는 특성 추출을 사용하는 ML 접근법에서 종종 얻기 어렵고, 공간 맥락을 포함하는 원시 데이터 세트를 사용하면, 전통적인 기계 학습 또는 딥 러닝 접근법을 사용하여 처리되는 것과 상관없이, 추출된 특성에 대한 객관적인 실측 라벨이 부족한 경우가 많다. 마찬가지로, 원시 데이터 세트에는 당면한 분류 문제와 관련하여 "노이즈"인 많은 변동이 포함되어 있고, 이는 의료 적용 분야, 특히 데이터에서 일반적으로 사용할 수 없는 규모의 매우 큰 훈련 세트를, 특히 실측으로 주석이 추가된 세트를, 보유함으로써 의료 이외의 컴퓨터 비전 적용 분야에서 극복된다.
본 개시내용의 시스템 및 방법의 정량적 능력은 보다 진보된 이미징 프로토콜의 분석에 이상적이다(조직 특성화를 위해 조기/지연된 위상차, 이중 에너지 및 다중 스펙트럼 기술과 같은 프로토콜이 조사되고 있음).
본 개시내용의 시스템 및 방법이 그 예시적인 실시형태를 참조하여 특히 도시되고 설명되었지만, 본 개시내용의 범위를 벗어나지 않으면서 형태 및 세부사항의 다양한 변경이 이루어질 수 있음을 당업자는 이해할 것이다.
전술한 내용은 유사한 참조 문자가 상이한 도면에 걸쳐 동일한 부분을 지칭하는 첨부 도면에 예시된 바와 같이 예시적인 실시형태에 대한 다음의 보다 특정한 설명으로부터 명백해질 것이다. 도면은 반드시 축척일 필요는 없으며, 대신 본 개시내용의 실시형태를 설명할 때 강조된다.
도 1은 본 개시내용에 따른 계층적 분석 프레임워크를 구현함으로써 의학적 상태를 결정하고 특성화하기 위한 예시적인 시스템의 개략도를 나타낸다.
도 2는 본원에 설명된 시스템 및 방법에 의해 구현될 수 있는 본 개시내용에 따른 리샘플링 기반 모델 구축 접근법을 나타낸다.
도 3은 본원에 설명된 시스템 및 방법에 의해 출력될 수 있는 본 개시내용에 따른 샘플 환자 보고서를 나타낸다.
도 4는 본 개시내용에 따른 대규모 혈관 벽 분석물 맵에 대한 예시적인 분할 수준을 나타낸다.
도 5는 본 개시내용에 따른 분석물 확률 벡터의 세트로서 예시적인 픽셀 수준 확률 질량 함수를 나타낸다.
도 6은 본 개시내용에 따른 추정 분석물 블롭을 계산하기 위한 기술을 나타낸다.
도 7은 본 개시내용에 따른 예시적인 혈관 벽 구성 모델에 대한 정규화된 혈관 벽 좌표를 나타낸다.
도 8은 본 개시내용에 따른 조직학 검체에 대해 제거된 플라크와 외부 혈관 벽 사이의 예시적인 가장자리(margin)를 나타낸다.
도 9는 본 개시내용에 따른 본원에 설명된 기술을 사용하기 위해 설명될 수 있는 일부 복잡한 혈관 토폴로지를 나타낸다.
도 10은 본 개시내용에 따른 정규화된 혈관 벽 좌표의 분포를 갖는 예시적인 분석물 블롭을 나타낸다.
도 11은 본 개시내용에 따른 블롭 디스크립터의 예시적인 분포를 나타낸다.
도 12는 본 개시내용에 따른 숨겨진 실측 상태와 관찰 상태 사이에 상관되는 데이터를 이미징하기 위한 예시적인 모델을 나타낸다.
도 13은 본 개시내용에 따라, 관찰 상태를 이미지 모델에서 숨겨진 상태에 관련시키기 위한 예시적인 마르코프 모델/비터비 알고리즘의 다이어그램을 나타낸다.
도 14는 본 개시 내용에 따른 복수의 조직학적 슬라이드에 대한 조직학적 슬라이드당 총 블롭 수의 예시적인 주파수 분포를 나타낸다.
도 15는 본 개시내용에 따른 ID 마르코프 체인의 예시적인 이식을 나타낸다.
도 16은 본 개시내용에 따른, 텍스트 확률 테이블에 대한 예시적인 1차 마르코프 체인을 나타낸다.
도 17은 본 개시내용에 따른 이웃 픽셀에 기초한 제1 픽셀의 조건부 의존성을 나타낸다.
도 18은 본 개시내용에 따른 추가의 예시적인 계층적 분석물 프레임워크를 나타낸다.
도 19는 본 개시내용에 따른 혈관 치료를 지시하는데 표현형 목적의 예시적 적용을 나타낸다. 도시된 예는 컬러 오버레이로 표시된 생체 내 결정된 유형을 갖는 언더레이로서 AHA에 의해 채택된 스타리 플라크 타이핑 시스템을 사용한다.
도 20은 본 개시내용에 따른 폐암에 대한 표현형의 예시적 적용을 나타낸다.
도 21은 본 개시내용에 따른 디블러링 또는 복원의 예시적인 이미지 전처리 단계를 나타낸다. 디블러링 또는 복원은 환자 맞춤식 포인트 확산 결정 알고리즘을 사용하여 표현형의 예측 특성을 결정하는 능력을 감소시킬 수 있는 이미지 형성 프로세스로 인한 인공물 또는 이미지 제한을 완화한다. 도시된(하단) 디블러링 또는 복원(처리됨) 이미지 플라크의 CT 이미징(상단)에서 파생되며, 이미지의 서로 다른 영역의 실제 잠복 밀도에 대한 가정을 정규화하여 스캐너 포인트 확산 함수의 물리적 모델을 반복적으로 맞춘 결과이다.
도 22는 본 개시내용에 따른 죽상 경화성 플라크 표현형에 대한 풍부한 데이터 세트를 보여주는 예시적인 적용을 나타낸다.
도 23은 본 개시내용에 따른 단위 페이저 및 페이저 각도(그레이 스케일로 표시됨)를 사용하여 내부적으로 표현된 접선 방향 및 방사형 방향 변수를 보여주며, 이는 이러한 구조와 관련된 혈관(예를 들어, 위장관) 및 기타 병리 생리학과 관련된 관형 구조에 대한 정규화된 축의 사용을 예시한다.
도 24는 본 개시내용에 따른 조직학(고체 영역)으로부터 병리학자가 생성한 주석 위에 CTA(윤곽선 영역)로부터 생성된 방사선 분석 애플리케이션의 주석의 예시적인 오버레이를 나타낸다.
도 25는 특히 본 개시내용에 따른 벽 두께 및 방사상 표상과 연관된 무관한 변화를 피하기 위해 구체적으로 정규화된 좌표계를 이용하는 데이터 풍부화의 추가 단계를 나타낸다. 구체적으로, "도넛"은 병리학자 주석을 유지하면서 "언래핑"된다.
도 26은 본 개시내용에 따른 플라크 표현형과 관련된 데이터 풍부화의 추가 단계를 나타낸다. 언래핑된 형식주의, 내강 불규칙성(예를 들어, 궤양 또는 혈전) 및 국부적으로 다양한 벽 비후가 나타난다.
도 27은 본 개시내용에 따른 플라크 내 출혈 및/또는 다른 형태를 포함하는 데이터 풍부한 이미징(래핑 및 언래핑 형태 모두)을 나타낸다.
도 28은 본 개시내용에 따른 데이터 풍부한 이미징의 상이한 변동으로 훈련되고 검증된 알고리즘에 대한 검증 결과를 나타낸다.
도 29는 본 개시내용에 따른 표현형 폐 병변의 예시적 적용을 제공한다.
도 30은 본 개시내용에 따라 폐 병변을 표현화하기 위한 생물학적 특성(예를 들어, 조직 특성, 형태 등을 포함)의 예를 제공한다. 예시적인 실시형태에서, 가색은 이러한 생물학적 특성 중 하나 이상에 대해 이산 값이 아니라 연속 값으로 표현될 수 있음을 유념한다.
도 31은 본 개시내용에 따른 컴퓨터 지원 표현형 시스템과의 사용자 상호 작용에 대한 한 예시적인 접근법의 상위 레벨 도면을 나타낸다.
도 32는 본 개시내용에 따른 예시적인 시스템 아키텍처를 나타낸다.
도 33은 본 개시내용에 따른 예시적인 시스템의 구성요소를 나타낸다.
도 34는 본 개시내용에 따른 예시적인 데이터 분석의 블록도이다. 환자의 이미지가 수집되고, 원시 절편(raw slice) 데이터는 일련의 알고리즘에서 객관적으로 검증될 수 있는 생물학적 특성을 측정하는 데 사용되며, 이들은 차례로 하나 이상의 CNN 중 하나를 공급하기 위해 풍부한 데이터 세트로 형성되고, 이 예에서는 결과가 반복 CNN을 사용하여 정방향 및 역전파되어 제약 조건을 구현하거나 연속 조건을 생성한다(예를 들어, 혈관 트리 전체에서 근위부에서 원위부로 단조 감소하는 부분 유량 예비, 또는 초점 병변의 일정한 HRP 값 또는 기타 제약).
도 35는 본 개시내용에 따른 관상 동맥 허혈의 인과 및 이용 가능한 진단을 나타낸다.
도 36은 본 개시내용에 따른 흉통 및 유사한 위험 인자 및 협착 정도를 나타내는 2명의 환자에 대한 내강, 혈관벽 및 플라크 성분(LRNC 및 석회화)의 예시적인 3D 분할을 나타낸다. 좌측: 후속 조치에서 NSTEMI를 가진 68세 남성. 우측: 후속 조치에서 발병이 없는 65세 남성. 본 개시내용의 시스템 및 방법은 각각의 결과를 정확하게 예측했다.
도 37은 본 개시내용에 따른 조직 구성의 객관적 검증을 위한 예시적인 조직학 처리 단계를 나타낸다.
도 38은 본 개시내용에 따른 단면 간의 관계와 하나의 처리가 이웃에 의존하는 부분을 나타낸 전체 스캔된 혈관 트리에 걸쳐 동적 분석을 제공하기 위해 처리될 수 있는 다중 단면의 개략도이다.
정량적 이미징을 이용하여 병리를 분석하기 위한 시스템 및 방법이 본원에 제시된다. 유익하게는, 본 개시내용의 시스템 및 방법은 이미징 데이터로부터 생물학적 특성/분석물을 식별 및 정량화하고 그 다음 정량화된 생물학적 특성/분석물에 기초하여 하나 이상의 병리를 식별하고 특성화하는 계층적 분석 프레임워크를 이용한다. 병리를 평가하기 위한 매개자로서 기본 생리를 검사하기 위해 이미징을 사용하는 이 계층적 접근 방식은 검증 단계 없이/없거나 본원에 기재된 유익한 처리 없이 원시 이미징 데이터에서 병리를 직접적으로 결정하고 특성화하도록 구성된 시스템 및 방법에 비해 많은 분석 및 처리 이점을 제공한다.
예를 들어, 하나의 이점은, 예를 들어, 방사선학적 이미징 특징을 병리에 대한 생물학적 특성/분석물과 연관시키기 위해 방사선학적 공급원에 대한 트레이닝 세트와 함께 또는 독립적으로, 조직학적 정보와 같은 조직 샘플 공급원으로부터 비-방사선학적 공급원으로부터 트레이닝 세트를 이용하는 능력이다. 예를 들어, 일부 실시형태에서, 조직학 정보는 정량화된 생물학적 특성/분석물에 기초하여 하나 이상의 병리를 식별하고 특성화하기 위한 트레이닝 알고리즘에 사용될 수 있다. 보다 구체적으로, 비-방사선학적 데이터(예컨대 침습적으로 얻은 조직학 데이터 세트 또는 유전자 발현 프로파일링을 통해 얻을 수 있는 데이터)에서 식별/정량 가능한 생물학적 특성/분석물은 (유익하게는 비-침습적인) 방사선학적 데이터에서 식별 및 정량화될 수 있다. 이들 생물학적 특성/분석물은 그 다음, 예를 들어, 조직학적 정보, 유전자 발현 프로파일링 또는 기타 임상적으로 풍부한 데이터 세트를 활용하는 비-방사선학적 공급원으로부터의 정보를 사용하여 병리학에 대한 임상적 결과와 상관될 수 있다. 이 임상적으로 상관된 데이터 세트는 생물학적 특성/분석물을 임상 결과에 대한 알려진 관계를 가진 병리에 상관시키는 (예를 들어, 기계 학습을 이용하는) 알고리즘을 결정/조정하기 위한 트레이닝 세트 또는 트레이닝 세트의 일부로 활용될 수 있다. 생물학적 특성/분석물을 비-방사선학적 공급원 트레이닝 세트를 이용하여 유래된 병리와 연관시키는 이들 알고리즘은 방사선학적 데이터에서 유래된 생물학적 특성/분석물을 평가하는 데 적용될 수 있다. 따라서, 본 개시내용의 시스템 및 방법은 임상 결과를 예측하거나 치료를 안내하기 위한 대리 측정을 제공하기 위해 (유익하게는 비용 효율적이고 비-침습적일 수 있는) 방사선학적 이미징을 이용하는 것을 유익하게 할 수 있다.
특히, 어떤 경우에는 비-방사선학적 공급원(예컨대, 조직학 정보)에 대한 트레이닝 데이터는 방사선학적 공급원에 대한 트레이닝 데이터보다 더 정확하고/신뢰할 수 있다. 더욱이, 일부 실시형태에서, 비-방사선학적 공급원로부터의 트레이닝 데이터는 방사선학적 공급원로부터의 트레이닝 데이터를 증진시키기 위해 사용될 수 있다. 따라서, 더 나은 데이터 입력이 더 나은 데이터 출력을 산출할 가능성이 높기 때문에, 공개된 계층적 분석 프레임워크는 본원에 공개된 알고리즘의 트레이닝 가능성과 그에 따른 신뢰성을 유익하게 개선한다. 상기에서 언급한 바와 같이, 한 가지 주요 이점은 일단 트레이닝되면 본 개시내용의 시스템 및 방법이 침습적 및/또는 비용이 드는 절차를 거칠 필요 없이 기존의 조직학적 및 기타 비-방사선학적 진단-유형 테스트와 유사한 임상 정보를 도출하는 것을 가능하게 수 있다는 것이다.
대안적으로, 일부 실시형태에서, 비-방사선학적 공급원(예컨대 비-방사선학적 이미징 공급원, 예를 들어, 조직학적 공급원 및/또는 비-이미징 공급원)에 대한 트레이닝 세트는, 예를 들어, 이미지 특징을 생물학적 특성/분석물과 연관시키는, 방사선학적 공급원에 대한 트레이닝 세트와 연계하여 또는 독립적으로 사용될 수 있다. 예를 들어, 일부 실시형태에서 하나 이상의 생물학적 모델이 방사선학적 및 비-방사선학적 데이터를 상관시키기 위해 외삽되고 적합화될 수 있다. 예를 들어, 조직학 정보는 기본 생물학적 모델에 기초한 방사선학적 정보와 상관될 수 있다. 이 상관관계는 비-방사선학적, 예를 들어 조직학적 정보를 이용하는 방사선학적 데이터에서 생물학적 특성/분석물의 트레이닝 인식을 유익하게 가능하게 할 수 있다.
일부 실시형태에서, 상보적 양식으로부터 도출된 데이터는, 예를 들어, 이미지 특징을 혈액 패널, 신체적 FFR 및/또는 다른 데이터 공급원으로부터의 생물학적 특성/분석물과 상관시키는 데 사용될 수 있다.
예시적 실시형태에서, 하나 이상의 생물학적 모델은 하나의 이미징 방식으로부터 도출된 이미징 데이터를 이용하여 외삽되고 적합화될 수 있거나, 다른 이미징 방식 또는 비-이미징 공급원 예컨대 우드워크(Woodwork)와 상관되고/되거나 융합될 수 있다. 이들 생물학적 모델은 생물학적 모델에 기초하여 이미징 데이터 세트와 비-이미징 데이터 세트에 걸쳐 그리고 그 사이에 유익하게 상관될 수 있다. 따라서, 이들 생물학적 모델은 계층적 분석 프레임워크가 하나 이상의 생물학적 특성/분석물을 식별/정량화하거나 하나 이상의 의학적 병태를 식별/특성화함에 있어 다른 이미징 방식 또는 비-이미징 공급원과 함께 하나의 이미징 방식으로부터의 데이터를 이용할 수 있게 한다.
본원에 개시된 계층적 분석 프레임워크에 대한 또 다른 이점은 다수의 동일하거나 다른 유형의 데이터 공급원로부터의 데이터를 이미징 데이터에 기초한 병리를 식별하고 특성화하는 프로세스에 통합하는 능력이다. 예를 들어, 일부 실시형태에서, 생물학적 특성/분석물의 세트를 식별하고 정량화함에 있어 하나 이상의 이미징 데이터 공급원과 조합하여 하나 이상의 비-이미징 데이터 공급원이 사용될 수 있다. 따라서, 특히 생물학적 특성/분석물의 세트는 하나 이상의 이미징 데이터 공급원에 기초하여 식별 및/또는 정량화된 하나 이상의 생물학적 특성/분석물, 하나 이상의 비-이미징 데이터 공급원에 기초하여 식별 및/또는 정량화된 하나 이상의 생물학적 특성/분석물, 및/또는 이미징 및 비-이미징 데이터 공급원의 조합에 기초하여 식별 및/또는 정량화된 하나 이상의 생물학적 특성/분석물을 포함할 수 있다 (본 개시내용의 정량적 이미징 시스템 및 방법의 목적을 위해, 생물학적 특성/분석물의 세트는 일반적으로 적어도 부분적으로 이미징 데이터에 기초하여 식별 및/또는 정량화된 적어도 하나 이상의 생물학적 특성/분석물을 포함할 수 있다는 것을 주지한다). 생물학적 특성/분석물의 세트를 식별하고 정량화함에 있어 다른 이미징 및/또는 비-이미징 데이터 공급원으로부터 정보로 이미징 데이터 공급원으로부터의 정보를 증강하는 능력은 본원에 제시된 시스템 및 방법의 강건성을 부가하고 그리고 병리를 식별하고 특성화함에 있어 임의의 및 모든 관련 정보의 이용을 가능하게 한다.
계층적 분석 프레임워크의 또 다른 이점은, 예를 들어, 그 데이터를 이용하여 후속 수준을 평가하기 이전 또는 후에, 각 수준에서 데이터를 조절/미세-조정하는 능력을 포함한다(일부 실시형태에서 이는 반복적인 프로세스일 수 있음에 주지한다). 예를 들어, 일부 실시형태에서, 식별 및 정량화된 생물학적 특성/분석물의 세트와 관련된 정보는 사후 방식(예를 들어, 그의 초기 식별 및/또는 정량화 후)으로 조절될 수 있다. 유사하게, 일부 실시형태에서, 식별되고 특성화된 병리의 세트와 관련된 정보는 사후 방식(예를 들어, 그의 초기 식별 및/또는 특성화 후)으로 조절될 수 있다. 이들 조절은 자동적 또는 사용자 기반일 수 있으며 객관적이거나 주관적일 수 있다. 각 수준에서 데이터를 조절/미세-조정하는 능력은 데이터 책임성과 신뢰성을 유익하게 개선할 수 있다.
예시적 실시형태에서, 조절은 생물학적 특성/분석물의 결정 또는 정량화에 영향을 미치는 하나 이상의 확률을 업데이트하는 데 사용될 수 있는 상황 정보에 기초할 수 있다. 예시적 실시형태에서, 식별 및 정량화된 생물학적 특성/분석물의 세트와 관련된 정보를 사후 방식으로 조절하기 위한 상황 정보는 환자 인구통계, 생물학적 특성/분석물 간의 상관관계 또는 식별된/특성화된 병리와 생물학적 특성/분석물 간의 상관관계를 포함할 수 있다. 예를 들어, 일부 사례에서 생물학적 특성/분석물은 제1 생물학적 특성/분석물의 식별/정량화가 제2 생물학적 특성/분석물의 식별/정량화와 관련된 확률에 영향을 미칠 수 있다는 의미에서 관련될 수 있다. 다른 경우에, 예를 들어, 식별/정량화된 생물학적 특성/분석물의 초기 세트에 기초한 제1 병리의 식별/특징은 초기 세트에서 생물학적 특성/분석물 또는 더욱이 제1 세트에 없었던 생물학적 특성/분석물의 식별/정량화와 관련된 확률에 영향을 미칠 수 있다. 추가의 예에서, 병리가 관련될 수 있는데, 예를 들어, 여기서 제1 병리의 식별/특성화는 제1 병리의 식별/특성화와 관련된 확률에 영향을 미칠 수 있다. 상기에서 언급된 바와 같이, 생물학적 특성/분석물의 식별 및 정량화와 관련된 정보 및/또는 병리의 식별 및 특성화와 관련된 정보는, 예를 들어, 데이터 수렴 또는 임계값/벤치마크가 달성될 때까지 또는 선택된 사이클 수에 대해 반복적인 방식으로 업데이트될 수 있다.
계층적 분석 프레임워크의 추가의 이점은 사용자, 예를 들어, 의사에게 병리학뿐만 아니라 기본 생물학 둘 모두와 관련된 정보를 제공하는 능력을 포함한다. 이 추가된 맥락은 임상 진단/평가뿐만 아니라 다음 단계, 예를 들어, 치료적/치료 옵션 또는 추가 진단을 평가/결정하는 것을 용이하게 할 수 있다. 예를 들어, 시스템 및 방법은 하나 이상의 병리의 식별/정량화와 관련된 생물학적 파라미터/분석물이 (예를 들어, 데이터 부족 또는 상충하는 데이터로 인해) 가장 불확실하고/가장 높은 정도의 불확실성을 갖는지를 결정하도록 구성될 수 있다. 이러한 경우, 특정 추가 진단이 권장될 수 있다. 사용자에게 병리학뿐만 아니라 기본 생물학 둘 모두와 관련된 정보를 제공하는 추가 상황은 분석에 의해 도달한 다양한 임상 결론 및 권장사항을 사용자가 평가/오류 확인하는 데 더욱 도움이 될 수 있다.
본원에서 사용되는 계층적 분석 프레임워크는 데이터 포인트의 하나 이상의 매개 세트가 매개 처리 층 또는 데이터 포인트의 초기 세트와 데이터 포인트의 말단 세트 사이의 매개 변환으로 이용되는 분석 프레임워크를 지칭한다. 이는 알고리즘이 다중 처리 층을 사용하거나 달리는 다중 비-선형 변환과 같은 다중 변환을 이용하여 더 높은 수준의 추상화를 모델링하는 데 사용되는 딥 러닝 또는 계층적 러닝의 개념과 유사한다. 일반적으로, 본 개시내용의 시스템 및 방법의 계층적 분석 프레임워크는 생물학적 특성/분석물과 관련된 데이터 포인트를 매개 처리 층 또는 이미징 데이터 포인트와 병리 데이터 포인트 간의 매개 변환으로 포함하며, 예시적 실시형태에서, 다중 처리 층 또는 다중 변환 (예를 들어, 다중 수준의 데이터 포인트에 의해 구현된 바와 같음)이 이미징 정보, 기본 생물학적 정보 및 병리 정보 각각을 결정하기 위해 포함될 수 있다. 예시적 계층적 분석 프레임워크 구조가 (예를 들어, 특정 처리 층, 변환 및 데이터 포인트와 함께) 도입되지만, 본 개시내용의 시스템 및 방법은 이러한 구현으로 제한되지 않는다. 오히려, 임의의 수의 상이한 유형의 분석적 프레임워크 구조가 본 개시내용의 범주 및 사상을 벗어나지 않고 이용될 수 있다.
예시적 실시형태에서, 대상 출원의 계층적 분석 프레임워크는 경험적 데이터 층 (이미징 데이터 포함)과 결과 층 (병리학 정보 포함) 사이의 매개로서 논리적 데이터 층을 포함하는 것으로 개념화될 수 있다. 경험적 데이터 층이 직접적으로 근원의 데이터를 나타내는 반면, 논리적 데이터 층은 이 원시 데이터를 문제의 결과 층에 대한 유용한 분석물의 세트로 추출하는 논리 및 추론의 정도를 유익하게 추가한다. 따라서, 예를 들어, 원시 이미징 정보와 같은 진단으로부터의 경험적 정보는 유익하게는 선택된 병리 또는 병리의 군(예를 들어, 환자 신체의 이미지화된 영역에 관한 병리)을 평가하는 데 관련된 생물학적 특징의 특정 세트와 관련된 논리적 정보를 유출할 수 있다. 이 방식에서 대상 출원의 생물학적 특징/분석물은 또한 병리학 증상/지표로 간주될 수 있다.
대상 출원의 생물학적 특징/분석물은 때때로 본원에서 바이오마커로 지칭될 수 있다. 용어 "생물학적" 또는 접두사 "바이오"는 생물학적 특징 또는 바이오마커를 특성화하는 데 사용되지만, 이는 단지 특징 또는 마커가 환자의 신체에 대해 어느 정도 관련성이 있음을 나타내기 위한 것이다. 예를 들어, 생물학적 특징은 해부학적, 형태학적, 구성적, 기능적, 화학적, 생화학적, 생리적, 조직학적, 유전적 또는 환자의 신체와 관련된 임의의 수의 다른 유형의 특징일 수 있다. 본 개시내용의 시스템 및 방법의 특정 구현에 의해 이용되는 예시적 생물학적 특징(예를 들어, 혈관계, 호흡계, 기관 예컨대 폐, 심장 또는 신장과 같은 환자의 특정 해부학적 영역 또는 다른 해부학적 영역과 관련함)이 본원에 개시되어 있다.
본 개시내용의 예시적 시스템 및 방법이 병리/질병을 검출, 특성화 및 치료하는 것에 맞춰질 수 있지만, 본 개시내용의 시스템 및 방법의 적용은 병리/질병에 제한되지 않고 오히려, 예를 들어, 증후군, 장애, 외상, 알레르기 반응 등을 포함하는 환자의 임의의 임상적으로 관련된 의학적 병태에 대해 보다 일반적으로 적용될 수 있다.
예시적 실시형태에서, 본 개시내용의 시스템 및 방법은, 예를 들어, 생물학에 대한 지식을 사용하여 의료 이미지를 분석하여 연구를 통해 결정된 질병 유형 간의 차이를 측정하여 차례로 결과를 예측하는 표현형을 나타내는 컴퓨터-지원 표현형화에 관한 것이다. 따라서, 일부 실시형태에서, 병리를 특성화하는 것은 차례로 예측 결과를 결정할 수 있은 병리에 대한 표현형을 결정하는 것을 포함할 수 있다.
도 1을 처음 참고하면, 예시적인 시스템(100)의 개략도가 도시된다. 트레이너 모듈(110), 분석기 모듈(120) 및 코호트 도구 모듈(130)로 표현되는 바와 같은 시스템(100)에 의해 제공될 수 있는 세 가지 기본 기능성이 있다. 도시된 바와 같이, 분석기 모듈(120)은 유익하게 (i) 환자(50)의 하나 이상의 획득된 이미지(121A)로부터의 이미징 특징(122) 및 (ii) 환자(50)에 대한 비-이미징 입력 데이터(121B)의 조합을 이용하여 생물학적 특성/분석물(130)을 먼저 식별하고 정량화한 다음, 정량화된 생물학적 특성/분석물(123)에 기초하여 하나 이상의 병리(예를 들어, 예후적 표현형)(124)를 특성화하는 계층적 분석 프레임워크를 구현한다. 유익하게는, 분석기 모듈(120)은 하나 이상의 사전-트레이닝된, 예를 들어, 그 추론을 도출하기 위해 기계 학습된 알고리즘을 구현함으로써 근거 진리 또는 검증 참조와 독립적으로 작동할 수 있다.
예시적인 실시형태에서, 분석기는 환자(50)의 획득된 이미지(121A)로부터 이미징 특징(122)을 계산하기 위한 알고리즘을 포함할 수 있다. 유익하게는, 이미지 특징(122) 중 일부는 퍼-복셀(per-voxel) 기준으로 계산될 수 있는 반면, 다른 것은 관심 영역 기준으로 계산될 수 있다. 획득된 이미지(121A)와 함께 이용될 수 있는 예시적 비-이미징 입력(121B)은 실험실 시스템, 환자-보고된 증상 또는 환자 이력으로부터의 데이터를 포함할 수 있다.
상기에서 언급된 바와 같이, 이미지 특징(122) 및 비-이미징 입력은 생물학적 특성/분석물(123)을 계산하기 위해 분석기 모듈(120)에 의해 이용될 수 있다. 특히, 생물학적 특성/분석물은 전형적으로, 예를 들어, 마커(예컨대 화학 물질) 또는 관심 영역의 구조, 크기 또는 해부학적 특성과 같은 기타 측정의 존재 및 정도를 나타낼 수 있은 양적, 객관적 특성(예를 들어, 인상 또는 외관으로 기술되는 것보다 객관적으로 입증가능함)이다. 예시적 실시형태에서, 정량화된 생물학적 특성/분석물(123)은 분석기 모듈에 의한 추가 처리에 부가하거나 독립적으로 사용자, 예를 들어 임상의에 의한 직접 소비를 위해 디스플레이되거나 내보내질 수 있다.
예시적 실시형태에서, 정량화된 생물학적 특성/분석물(123) 중 하나 이상이 표현형을 결정하기 위한 입력으로 사용될 수 있다. 표현형은 전형적으로, 예상되는 결과에 대한 문서화된 상관관계가 있는 생체외 병리생리학적 샘플에서 종종 추출되는, 이미징과 무관한 질병-특이적 방식으로 정의된다. 예시적 실시형태에서, 분석기 모듈(120)은 또한 결정된 표현형에 대한 예측된 결과(125)를 제공할 수 있다.
분석기 모듈(120)의 예시적 구현은 시스템(100)의 일반적인 설명을 따르는 특정 실시형태와 관련하여 본원에서 추가로 기술된다는 것이 이해되어야 한다. 특히, 특정 이미징 특징, 생물학적 특성/분석물 및 병리/표현형은 혈관계에 관하여 또는 호흡계에 관하여서와 같은 특정 의료 응용분야에 관하여 기술된다.
여전히 도 1을 참조하면, 코호트 도구 모듈(130)은 예를 들어 당해 코호트 연구와 관련된 기준의 선택된 세트에 기초하여 이의 그룹 분석을 위해 환자의 코호트의 규정이 가능하게 한다. 예시적인 코호트 분석은 임상 실험에 등록된 환자의 그룹에 대한 것일 수 있고, 예를 들어 환자는 실험의 하나 이상의 아암, 예를 들어 치료 아암 대 코호트 아암에 기초하여 추가로 그룹화된다. 다른 유형의 코호트 분석은 실측 자료 또는 기준이 존재하는 대상체의 세트에 대한 것일 수 있고, 이 유형의 코호트는 훈련 세트 또는 "개발" 세트 및 시험 또는 "홀드아웃" 세트로 추가로 분해될 수 있다. 개발 세트는 분석기 모듈(120) 내의 알고리즘 및 모델을 훈련(112)시키도록 지지될 수 있고, 홀드아웃 세트는 분석기 모듈(120) 내의 알고리즘 또는 모델의 수행을 평가/검증(113)하도록 지지될 수 있다.
계속해서 도 1을 참조하면, 훈련기 모듈(110)은 분석기 모듈(120) 내에 알고리즘 및 모델을 훈련(112)하도록 사용될 수 있다. 특히, 훈련기 모듈(110)은 예를 들어 확립된 기계 학습 파라다임에 따라 또는 알고리즘 개발자에게 정보제공하여 가중 또는 모델을 추론하도록 실측 자료(111) 및/또는 기준 주석(114)에 의존할 수 있다. 예시적인 실시형태에서, 고도로 적응성일 수 있는, 예를 들어 예측자 및 반응 중에서 복잡한 관계를 밝힐 수 있는 분류 및 회귀 모델이 사용될 수 있다. 그러나, 기존의 데이터 내의 기초 구조에 적응하는 이의 능력은 모델이 대상체의 다른 샘플에 대해 재현 가능하지 않은 패턴을 발견하게 할 수 있다. 기존의 데이터 내의 재현 불가능한 구조의 적응은 흔히 모델 과적합화로 공지된다. 과적합화 모델의 구축을 피하기 위해, 모델이 비논리적인 구조를 발견하는 것을 방지하고, 최종-사용자가 모델이 평가된 데이터의 세트에 대한 유사한 정확성 정도로 최종 모델이 새로운 샘플을 예측한다는 신뢰를 갖게 할 수 있는 시스템상 접근법이 적용될 수 있다.
연속 훈련 세트는 최적 조율 파라미터(들)를 결정하도록 사용될 수 있고, 시험 세트는 알고리즘 또는 모델의 예측 성능을 추정하도록 사용될 수 있다. 훈련 세트는 무작위화된 교차 검증을 통해 분류자의 각각을 훈련시키도록 사용될 수 있다. 데이터 세트는 훈련 세트 및 시험 세트로 반복하여 분할될 수 있고, 분류 성능 및 모델 파라미터를 결정하기 위해 사용될 수 있다. 훈련 세트 및 시험 세트로의 데이터 세트의 분할은 계층화된 또는 최대 비유사성 접근법을 사용하여 발생한다. 예시적인 실시형태에서, 재샘플링 접근법(예를 들어, 부트스트래핑)은 (i) 최적 파라미터 추정치 값 및 (ii) 모델의 예측 성능에 대해 신뢰 구간을 얻도록 훈련 세트 내에 사용될 수 있다.
도 2는 본 개시내용의 시스템 및 방법에 의해 사용될 수 있는 재샘플링 기반 모델 구축 접근법(200)을 개략화한다. 처음에, 단계 210에서, 조율 파라미터 세트가 한정될 수 있다. 다음에, 단계 220에서, 데이터가 재샘플링된 각각의 조율 파라미터 세트에 대해 모델은 적합화되고 홀드아웃 샘플을 예측한다. 단계 230에서, 재샘플링 추정치는 성능 프로필로 조합된다. 다음에, 단계 240에서, 최종 조율 파라미터가 결정될 수 있다. 마지막으로, 단계 250에서, 전체 훈련 세트는 최종 조율 파라미터로 재적합화된다. 각각의 모델이 훈련 세트로부터 조율된 후, 각각은 시험 세트에서 예측 성능에 평가될 수 있다. 시험 세트 평가는 모델 구축 과정이 시험 세트를 과적합화하지 않는다는 것을 보장하도록 각각의 모델에 대해 1회 발생한다. 구성된 각각의 모델에 대해, 최적 조율 파라미터 추정치, 재샘플링된 훈련 세트 성능, 및 시험 세트 성능이 보고될 수 있다. 이후, 무작위화된 분할에 대한 모델 파라미터의 값은 훈련 데이터에 대한 모델 안정성 및 강건성을 평가하기 위해 비교된다.
본 개시내용의 시스템 및 방법에 따르면, 다수의 모델은 실측 자료 맵에서 나타난 생물학적 특성/분석물질(예를 들어, 조직 유형)의 각각에 조율될 수 있다. 모델 반응은 예를 들어 공분산 기반 기법, 비공분산 기반 기법 및 나무 기반 모델을 포함할 수 있다. 이 구성에 기초하여, 종점은 계속적 반응 및 단정적 반응을 가질 수 잇고; 상기 범주에서의 기법의 일부는 단정적 반응 및 계속적 반응 둘 다에 사용되지만, 다른 것은 단정적 반응 또는 계속적 반응 중 어느 하나에 특이적이다. 각각의 모델에 대해 최적 조율 파라미터 추정치, 재샘플링된 훈련 세트 성능, 및 시험 세트 성능이 보고될 수 있다.
Figure 112021010049461-pct00001
상기 표 1은 시스템(100)의 분석기 모듈(120)의 예시적인 기능성의 일부의 요약을 제공한다. 즉, 분석기 모듈(120)은 분야를 기술하고, 예를 들어 분야에 걸쳐 다수의 데이터 스트림을 등록하고; 장기, 혈관, 병변 및 다른 분야 특정 물체를 분할화하고; 그리고/또는 특정 분석에 대해 해부학을 재형식화/재구성하도록 구성될 수 있다. 분석기 모듈(120)은 기술된 분야에서 표적, 예를 들어 병변을 기술하기 위해 추가로 구성될 수 있다. 표적의 기술은 예를 들어 현장에서의 다수의 데이터 스트림의 등록; 미세 획득된 분할화의 수행; 관련 해부학적 구조의 크기 및/또는 다른 특징의 측정; 및/또는 전체-표적 특징(예를 들어, 전체 표적 영역의 생물학적 특성/분석물질 특징)의 추출을 포함할 수 있다. 일부 실시형태에서, 하나 이상의 하위표적 영역이 또한 기술될 수 있고, 예를 들어 표적 영역은 하위표적 특정 계산으로 특정 분야에 따라 하위표적으로 분할될 수 있다(예를 들어, 하위표적 영역의 생물학적 특성/분석물질 특징). 분석기 모듈(120)은 또한 예를 들어 특정 분야, 표적 또는 하위표적 영역에서 성분 또는 관련 특징(예컨대, 조성)을 기술할 수 있다. 이는 성분/특징의 분할화 또는 재분할화, 분할화된 성분/특징(예를 들어, 성분/특징의 생물학적 특성/분석물질 특징)에 대한 값의 계산 및 판독에 대한 확률 맵의 배정을 포함할 수 있다. 다음의 병리학은 생리학적 정량화된 특성/분석물질에 기초하여 결정될 수 있고, 병리학에 대한 표현형 및/또는 예측적 결과를 결정하여 규명될 수 있다. 일부 실시형태에서, 분석기 모듈(120)은 다수의 시점에 걸쳐 데이터를 비교하도록 구성될 수 있고, 예를 들어 생리학적 성분/분석물질 중 하나 이상은 시간 기반 정량화를 수반할 수 있다. 추가의 실시형태에서, 넓은 스캔 필드는 예를 들어 기술된 분야에서 복수의 표적에 걸쳐 생물학적 특성/분석물질의 집합적 정량화에 기초하여 다병소 병리학을 평가하도록 사용될 수 있다. 마지막으로, 상기 분석에 기초하여, 분석기 모듈(120)은 환자 보고를 생성하도록 구성될 수 있다.
샘플 환자 보고(300)는 도 3에 도시되어 있다. 도시된 것처럼, 샘플 환자 보고(300)는 예컨대 구조(310) 및 구성(320)과 관련하여 생물학적 파라미터/분석물질, 및 혈류역학(330)과 같은 비이미징 점수로부터의 데이터의 정량화를 포함할 수 있다. 샘플 환자 보고는 시각화(340), 예를 들어 이미징 데이터의 2D 및/또는 3D 시각화, 및 비이미징 데이터, 예컨대 이미징 데이터에 더해진 혈류역학적 데이터의 조합된 시각화를 추가로 포함할 수 있다. 다양한 분석(350)은 예를 들어 병리학을 결정/규명하기 위한 하나 이상의 모델(들)(예를 들어, 결정 나무 모델)의 가시화를 포함하는 생물학적 파라미터/분석물질의 평가에 대해 나타날 수 있다. 환자 배경 및 정보 확인은 추가로 포함될 수 있다. 따라서, 시스템(100)의 분석기 모듈(120)은 유리하게는 사용자, 예를 들어 임상의에게 환자를 평가하기 위한 포괄적인 피드백을 제공할 수 있다.
유리하게는 본 개시내용의 시스템 및 방법은 특정 분야에 적응될 수 있다. 예시적인 혈관 분야 및 폐 분야는 (기재된 특정 분야가 많은 다른 분야와 관련하여 일반 영향 및 상호운용성을 가진다고 이해될 수 있지만) 하기하는 부문에 매우 자세히 기재된다. 표 2는 본원에 기재된 바와 같은 계층적 분석 프레임워크를 사용하여 혈관 분야 및 폐 관련 분야의 개관을 제공한다.
Figure 112021010049461-pct00002
하기 부문은 혈관 분야와 관련하여 본 개시내용의 시스템 및 방법에 의해 사용될 수 있는 정량적 생물학적 특성/분석물질의 특정 예를 제공한다:
해부학적 구조: 혈관 구조 측정, 구체적으로 % 협착증을 결정하는 것은 오랫동안 환자 관리에서 단일의 대부분 사용된 측정이었다. 이것은 혈관 벽의 내부 표면 및 외부 표면 둘 다를 수반하는 벽 측정보다는 내부 내강 측정으로 초기에 제한되었다. 그러나, X선 혈관촬영법과 달리 모든 주요 비침습적 양상은 혈관 벽을 해상할 수 있고, 이에 의해 성취될 수 있는 측정을 확대시킨다. 범주는 광범위하고, 측정은 다양한 크기의 물체여서, 조심하며 일반화가 이루어져야 한다. 1차 고려사항은 공간 샘플링 또는 해상의 한계이다. 그러나, 벽 두께의 최소로 검출 가능한 변화는 부분 부피 효과로 인해 강도 수준의 미묘한 변화의 이점을 취하여 부분 샘플링보다 낮을 수 있다. 추가로, 기재된 해상은 일반적으로 해상될 수 있는 최소 특징 크기를 결정하는 이미징 프로토콜의 실제 해상력보다 그리드 크기 및 획득 후 재구성의 관측 시야를 지칭한다. 마찬가지로, 평면내 대 평면관통 해상은 동일하거나 동일하지 않을 수 있고, 주어진 특징의 크기뿐만 아니라 이의 비율 및 형상은 측정 정확성을 만들 것이다. 마지막으로, 일부 경우에 단정적 결론은 측정에 한계치를 적용하여 도출되고, 이 측정은 이후 민감도와 특이성 사이의 트레이드오프를 최적화하는 능력으로 신호 검출 이론에 따라 해석될 수 있고, 그 용어는 그렇지 않으면 일반 의미에서 측정을 지칭하지 않는다.
조직 특징: 예를 들어, 지질 풍부 괴저 코어(LRNC: lipid rich necrotic core), 섬유증, 플라크내 출혈(IPH: intraplaque hemorrhage), 투과성 및 석회화작용을 포함하는 죽상경화성 플라크의 개별 구성성분 성분의 정량적 평가는 플라크의 상대 구조 통합성에 관한 시엠시 정보를 제공할 수 있는데, 이는 의학 또는 수술 치료의 과정에 대한 의사의 결정을 돕는다. 이미징 기술 관점으로부터, 이를 하는 능력은 다른 수신 신호를 생성하도록 다르게 입사 에너지에 반응하는 다른 조직에 의해 가능해진 콘트라스트 해상 및 조직 식별만큼 공간 해상에 덜 놓여 있다. 각각의 이미징 양상은 어느 정도로 이를 한다; "무방향성(echolucency)"과 같은 초음파의 면에서, 다양한 순서의 함수로서 하운즈필드 단위의 CT 수 및 다른 MR 강도, 예컨대 (비제한적인 예로서) Tl, T2 및 T2*.
역학적 조직 거동(예를 들어, 투과성): 혈관 벽/플라크의 형태학적 특징 이외에, 역학적 특징이 혈관 병리학의 귀중한 정량적 표시자라는 인식이 증가한다. 획득이 다수의 가깝게 떨어진 시기(위상으로 공지됨)에 취해지는 역학적 순서는 공간적으로 해상된 값 t를 넘어 레퍼토리를 확대하고, 자극에 대한 조직의 역학적 반응(예컨대, 콘트라스트 물질의 비제한적인 예로서 워시-인 및 워시-아웃)을 결정하기 위해 구획 모델링 또는 다른 기법에 사용될 수 있는 시간적으로 해상된 값을 포함한다. 경동맥에서의 초음파 또는 MR에 의한 역학적 콘트라스트 증대된 이미징 또는 관상 동맥에서의 지연된 콘트라스트 증대의 사용을 통해, 관심 플라크 내의 신생혈관생성의 미소혈관 네트워크의 상대 투과성(예를 들어, 동역학적 분석으로부터의 Ktrans 및 Vp 파라미터)의 민감한 평가가 결정될 수 있다. 또한, 이 역학적 시리즈는 또한 플라크내 출혈에 대한 증가된 혈관 투과성 사이의 구별을 도울 수 있다.
혈류역학 순환의 기본적인 혈류역학적 파라미터는 혈관병증에 대한 직접 효과를 갖는다. 혈압, 혈류 속도 및 혈관 벽 전단 응력은 매우 단순한 진동법에서 복잡한 이미징 분석의 범위의 기법에 의해 측정될 수 있다. 유체 동역학의 흔한 원칙을 이용하여, 혈관 벽 전단 응력의 계산은 상이한 벽 영역에 대해 확인될 수 있다. 유사한 방식으로 MRI는 US의 조합으로 또는 이것 없이 벽 전단 응력(WSS)을 계산하고, 그 결과를 관심 혈관에서의 구조 변화를 상관시키도록 사용되었다. 또한, 혈류역학에 대한 항고혈압 약물의 효과는 단기간 연구 및 장기간 연구에 따랐다.
따라서, 예시적인 실시형태에서, 혈관 환경에서 본 개시내용의 시스템 및 방법의 적용의 중요한 양상은 플라크 구조 및 플라크 조성의 평가를 포함할 수 있다. 플라크 구조의 평가는 유리하게는 예를 들어 내강 측정(오직 직경 측정치보다는 면적을 제공하여 협착증 측정을 개선), 및 벽 측정(예를 들어, 벽 두께 및 혈관 재모델링)을 포함할 수 있다. 플라크 조성의 평가는 유리하게는 전형적으로 선행 기술에서 발견되는 바대로 단지 "연질" 또는 "경질" 지칭보다는 조직 특징(예를 들어, 지질 코어, 섬유증, 석회화작용, 투과성 등)의 정량화를 수반할 수 있다. 하기 표 3 및 표 4는 각각 본 개시내용의 시스템 및 방법의 혈관 적용에 의해 사용될 수 있는 예시적인 구조 계산 및 조직 특징적 계산을 기재한다.
Figure 112021010049461-pct00003
Figure 112021010049461-pct00004
혈관계(vascular system)를 평가하는 것과 관련된 예시적인 시스템은 유리하게는 관의 구조(vascular structure)를 평가하기 위한 알고리즘을 포함/사용할 수 있다. 따라서, 시스템은, 예를 들어 이미지화된 혈관(vessel)의 기저 구조(underlying structure)를 세그먼트화하기 위해 타겟/혈관 세그먼트/단면 모델을 채용할 수 있다. 유리하게는, 쾌속 행진 경쟁 필터(fast-marching competition filter)가 혈관 세그먼트를 분리시키기 위해서 적용될 수 있다. 시스템은 혈관 분기(vessel bifurcation)를 핸들링하도록 추가로 구성될 수 있다. 이미지 정합(registration)은 Mattes mutual information (MR), 또는 mean square error (CT) metric, rigid versor transform, LBFGSB optimizer 등을 활용하여 적용될 수 있다. 본원에서 언급된 바와 같이, 혈관 세그먼트화(vessel segmentation)는 유리하게는 내강 세그먼트화를 포함할 수 있다. 초기 내강 세그먼트화는 내강을 구별하기 위해 신뢰 연결 필터(confidence connected filter)(예: 경동맥, 척추, 대퇴골 등)를 활용할 수 있다. 내강 세그먼트화는 MR 이미징(예: 정규화된, 예를 들어 다크 콘트라스트(dark contrast)를 위해 반전된 이미지들의 조합) 또는 CT 이미징(예: 정합된 조영 전, 조영 후 CT 및 2D 가우시안 분포의 사용)을 활용하여 혈관일 확률 함수(vessel-ness function)를 정의할 수 있다. 다양한 연결된 컴포넌트가 분석되고, 임계화(thresholding)가 적용될 수 있다. 혈관 세그먼트화는 외측 벽 세그먼트화(예: 내강 불규칙성을 설명하기 위해 최소 곡률(k2) 유동을 활용함)를 더 수반할 수 있다. 일부 실시형태에서, 엣지 포텐셜 맵(edge potential map)은 콘트라스트 및 비콘트라스트 모두에서 외향-하향 그레디언트(outward-downward gradient)로서 계산된다. 예시적인 실시형태에서, 외측 벽 세그먼트화는 임의의 다른 엣지 정보 없이 중간값 두께를 허용하기 위해 속도 함수에서 누적 분포 함수(cumulative distribution function)(예: 1 내지 2개의 인접 레벨로부터 벽 두께의 사전 분포를 포함)를 활용할 수 있다. 예시적인 실시형태에서, 혈관 특성화를 위해 페렛(ferret) 직경이 사용될 수 있다. 추가 실시형태에서, 벽 두께는 내강까지의 거리와 외측 벽까지의 거리의 합으로서 계산될 수 있다. 추가 실시형태에서, 내강 및/또는 벽 세그먼트화는 예를 들어, CNN을 사용하는 의미론적 세그먼트화(semantic segmentation)를 사용하여 수행될 수 있다.
혈관계를 평가하는 것과 관련된 예시적인 시스템은 유리하게는 혈관 구성을 더 분석할 수 있다. 예를 들어, 일부 실시형태에서, 구성은 이미지 강도 및 다른 이미지 특징에 기반하여 결정될 수 있다. 일부 실시형태에서, 내강 형상은 예를 들어, 혈전증을 결정하는 것과 관련하여 활용될 수 있다. 유리하게는, 분석물 블롭(analyte blob) 모델은 혈관의 특정 하위 영역의 구성을 더 잘 분석하기 위해 채용될 수 있다. 분석물 블롭은 한 클래스의 생물학적 분석물의 2D, 3D 또는 4D 이미지에서 공간적으로 인접된 영역으로 정의된다. 블롭 모델은, 예를 들어 내강 표면으로부터 혈관 벽의 외막 표면까지의 정규화된 방사상 거리에서, 등고선을 사용하여 해부학적으로 정렬된 좌표계를 활용할 수 있다. 모델은 유리하게는, 하나 이상의 블롭을 식별하고, 예를 들어 전체 혈관 구조와 관련해서 뿐만 아니라 다른 블롭에 상대적으로 블롭 위치 각각을 분석할 수 있다. 예시적인 실시형태에서, 하이브리드 Bayesian/Markovian 네트워크는 블롭의 상대적 위치를 모델링하기 위해 활용될 수 있다. 모델은 유리하게는, 픽셀 또는 복셀에서 관찰된 이미지 강도가 숨겨진 분석물 범주 노드의 로컬 이웃(local neighborhood)에 의해 영향을 받는다는 점을 설명할 수 있고, 따라서 부분 볼륨 및 스캐너 포인트 확산 함수(PSF)를 설명할 수 있다. 모델은 또한, 분석기 모듈에 의한 추론 동안 분석물 확률 맵으로부터 분석물 블롭 경계를 동적으로 묘사할 수 있다. 이것은, 분석될 작은 영역을 미리 계산하지만 이러한 영역을 동적으로 조정할 수 없는, 예를 들어, 슈퍼 픽셀 접근 방식과 같은 일반적인 머신 비전 접근 방식과의 주요 차이점이다. 분석물 확률 및 블롭 경계의 현재 추정치를 사용하는 반복적 추론 절차가 적용될 수 있다. 일부 실시형태에서, 파라미터 모델링 가정 또는 커널 밀도 추정 방법은 모델을 훈련시키기 위해서 사용되는 희소 데이터 간의 확률 밀도 추정을 가능하게 하기 위해서 사용될 수 있다.
혈관 플라크 성분의 조성의 분류를 위한 새로운 모델이 본원에 소개되며, 이 모델은 조직학 대 방사선학 정합에 대한 요구사항을 제거한다. 이 모델은 여전히 전문가 주석이 달린 조직학을 참조 표준으로 활용하지만, 모델의 훈련은 방사선 이미징에 대한 정합을 요구하지 않는다. 다수-스케일 모델은, '블럽(blob)'이라고 할 수 있는, 주어진 분석물 유형의 인접 영역 각각의 통계를 계산한다. 혈관을 통과하는 단면 내에서, 벽은 두 개의 경계에 의해서 정의되며, 내부 경계는 내강을 갖고, 혈관 벽의 외부 경계는, 단면에서 도넛 형상을 형성한다. 도넛 형상의 벽 영역 내에는 이산적인 다수의 블롭이 있다(블롭으로 간주되지 않는 정상 벽 조직의 디폴트 백그라운드 클래스와 다름). Blob의 수는 이산 랜덤 변수로서 모델링된다. 그런 다음, 블롭 각각은 분석물 유형의 라벨을 할당 받고, 다양한 형상 디스크립터(descriptor)가 계산된다. 또한, 블롭은 쌍으로 간주된다. 마지막으로, 각각의 블롭 내에서, 픽셀 각각은 방사선 이미징 강도 값을 생성할 수 있으며, 이 값은 분석물 유형 각각에 특이적인 연속적으로 평가된 분포로부터 나온 독립적이고 동일하게 분포된(i.i.d.) 샘플로서 모델링된다. 이 마지막 단계에서, 이미징 강도 분포의 파라미터는 훈련 프로세스의 일 부분이 아니라는 점에 주의한다.
이 모델의 주요한 일 특징은, 점별 이미지 특징(조직학으로부터든 그리고/또는 방사선학으로부터든)이 전문가가 플라크 조성을 결정하는 유일한 정보 소스가 아님을 인식하면서, 혈관 내에서 그리고 서로에 대한 분석물 블롭의 공간적 관계를 설명한다는 점이다. 모델은 명시적인 조직학 대 방사선학 정합 없이 훈련할 수 있는 능력을 허용하지만, 정합이 알려진 상황에 또한 적용될 수 있다. 보이지 않는 플라크를 분류하기 위해 죽상판 경화증(atherosclerotic) 플라크 성분의 공간 레이아웃을 통계적으로 모델링하는 것은 새로운 개념이라고 믿어진다.
CT 또는 MR 이미지로부터 혈관벽 구성을 추정하기 위한 예시적 기술은 다음 섹션에서 더 설명된다. 특히, 방법은 다중 스케일 Bayesian 분석 모델을 채용할 수 있다. 기본 Bayesian 공식은 다음과 같다.
Figure 112021010049461-pct00005
본 개시내용의 맥락에서, 가설은, CT 또는 MR 이미지로부터 강도 정보(I)를 찾는 관찰과 함께, 다중 스케일 혈관벽 분석물 맵(A)에 기반될 수 있다.
도 4에 도시된 바와 같이, 다중 스케일 혈관 벽 분석물 맵은 유리하게는, 벽 레벨 세그먼트화(410)(예를 들어, 혈관의 단면 절편(cross-sectional slice)), 블롭 레벨 세그먼트화 및 픽셀 레벨 세그먼트화(430)(예를 들어, 개별 이미지 픽셀에 기반함)를 포함할 수 있다. 예를 들어, A = (B, C)는 혈관 벽 등급 라벨의 맵으로서 정의될 수 있으며(정점(B) 및 모서리(C)가 있는 그래프와 유사), 여기서, B는 일 세트의 블롭(레이블을 공유하는 백그라운드 아닌 벽의 단면적으로 인접한 영역)이고, C는 일 세트의 블롭 커플 또는 쌍이다. Bb는 일반 단일 Blob으로서 정의될 수 있으며, 여기서
Figure 112021010049461-pct00006
는 A에 있는 모든 블롭의 인덱스이다.
Figure 112021010049461-pct00007
는 라벨 a를 갖는 블롭이다. 통계적 목적을 위해서, 개별 블롭 디스크립터 연산자(
Figure 112021010049461-pct00008
)는 저차원 공간에 있다. Cc는 브롭 쌍으로서 정의될 수 있으며, 여기서
Figure 112021010049461-pct00009
는 A에 있는 모든 블롭 쌍의 인덱스이다.
Figure 112021010049461-pct00010
는 라벨 f 및 g를 갖는 블롭 쌍이다. 통계적 목적을 위해서, 블롭 쌍 디스크립터 연산자(
Figure 112021010049461-pct00011
)는 저차원 공간에 있다. A(x) = a는 픽셀 x의 클래스 라벨로서 정의될 수 있으며, 여기서
Figure 112021010049461-pct00012
(조성 특징). 예시적인 실시형태에서, I(x)는 픽셀 x의 연속적인 평가된 픽셀 강도이다. 각각의 블롭 내에서, I(x)는 독립적으로 모델링된다. 모델은 3D 방사선 이미지에서 벽 구성을 분류하기 위해서 사용되기 때문에, "픽셀"이라는 단어는 2D 픽셀과 3D 복셀을 모두 유전적으로 나타내는 데 사용된다는 점을 주의한다.
유사한 구성/구조의 블롭 영역의 특성은 유리하게는 질병 과정에 대한 통찰력을 제공할 수 있다. 혈관의 절편(예를 들어, 단면 절편) 각각은 유리하게는 복수의 블롭을 포함할 수 있다. 블롭들 사이의 관계는 쌍으로 평가될 수 있다. 단면 내의 블롭의 수는 이산 랜덤 변수로서 모델링되고, 또한, 정량화 가능한 중요도를 가질 수 있다. 조각 레벨의 세그먼트화에서, 관련된 특성(예를 들어, 생물학적 특성/분석물)은 블롭의 총 개수의 정량화 및/또는 특정 구조/구성 분류의 많은 블롭; 블롭들 사이의 관계(예: 내부에 더 가까운 것과 같은 공간적 관계)를 포함할 수 있다. 블롭 레벨의 세그먼트화에서, 생물학적 특성/분석물로서 기능하는 구조적 특성(예: 크기 및 형상)뿐만 아니라 구성적 특성 등과 같은 각 블롭의 특성은 평가될 수 있다. 마지막으로, 픽셀 레벨의 세그먼트화에서, 개별 픽셀 레벨 분석은, 예를 들어 이미지 강도 분포에 기반하여 수행될 수 있다.
특성의 확률 매핑은 도 4에 묘사된 다중 스케일 혈관 벽 분석물 맵과 관련하여 적용될 수 있다. 확률 매핑은 유리하게는, 분석물의 각 클래스의 확률에 대한 벡터의 성분과 백그라운드 조직의 확률에 대한 하나의 성분을 사용하여 모든 픽셀에 대한 확률의 벡터를 설정할 수 있다. 예시적인 실시형태에서, 확률 벡터의 세트는 상호 배타적인 특성을 나타낼 수 있다. 따라서, 상호 배타적인 특성을 나타내는 각각의 세트의 확률 벡터는 합이 1로 된다. 예를 들어, 일부 실시형태에서, 픽셀은 하나의 그리고 단지 하나의 구성적 카테고리 속해야 한다(예: 혈관의 단일 좌표는 섬유질이고 석회화될 수 없음). 특히, 확률 매핑은 픽셀들 사이의 분석물 클래스의 독립성을 가정하지 않는다. 이는 동일한 블롭 내의 인접 픽셀 또는 픽셀들이 일반적으로 동일하거나 유사한 특성을 가질 수 있기 때문이다. 따라서, 확률 매핑은 본원에서 더 상세히 설명되는 바와 같이, 유리하게는 픽셀들 사이의 의존성을 설명한다.
Figure 112021010049461-pct00013
는 맵 a의 확률 밀도로 정의될 수 있다. f(A)는 모든 혈관 벽에 대한 확률 분포 함수이다.
Figure 112021010049461-pct00014
는 라벨 a를 갖는 디스크립터 벡터 P의 확률 밀도이다.
Figure 112021010049461-pct00015
는 라벨 a를 갖는 블롭 디스크립터의 확률 밀도 함수(pdf: probability density function)이다. a의 값 각각에 대한 확률 분포 함수가 있다.
Figure 112021010049461-pct00016
는 라벨 f 및 g를 갖는 쌍별 디스크립터 벡터 γ의 확률 밀도이다.
Figure 112021010049461-pct00017
는 쌍별 블롭 디스크립터의 확률 밀도 함수(pdf)이다. 각각의 순서 쌍 f, g에 대한 확률 분포 함수가 있다. 따라서:
Figure 112021010049461-pct00018
Figure 112021010049461-pct00019
는 픽셀 x가 라벨 a를 가질 확률이다. P(A(x))는 분석물(발병률)의 확률 질량 함수(pmf: probability mass function)이다. 이는 특정 픽셀 x의 확률 벡터 또는 특정 클래스 라벨 값에 대한 확률 맵으로서 간주될 수 있다.
주의:
Figure 112021010049461-pct00020
Figure 112021010049461-pct00021
는 쌍별 디스크립터 벡터 γ의 확률 밀도입니다. f(Cc)는 쌍별 블롭 디스크립터의 확률 밀도 함수(pdf)이다.
Figure 112021010049461-pct00022
는 디스크립터 벡터 β의 확률 밀도이다. f(Bb)는 블롭 디스크립터의 확률 밀도 함수(pdf)이다.
Figure 112021010049461-pct00023
는 픽셀 x가 라벨 a를 가질 확률이다. P(A(x))는 분석물(주어진 맵에서 발병률)의 확률 질량 함수(pmf)이다. 이는 특정 픽셀 x에서 확률 벡터 또는 특정 분석물 유형에 대한 공간 확률 맵으로서 간주될 수 있다.
Figure 112021010049461-pct00024
는 계산의 주요 목표인 이미지 강도를 고려할 때 분석물의 확률이다.
Figure 112021010049461-pct00025
는 주어진 분석물에 대한 이미지 강도의 분포이다.
도 5는 일 세트의 분석물 확률 벡터로서의 예시적인 픽셀 레벨 확률 질량 함수를 도시한다. 위에서 언급되었 듯이, 다음 가정은 확률 질량 함수에 정보를 제공할 수 있다: 완전성: 예시적인 실시형태에서, 충분히 작은 픽셀이 (포괄적인 '백그라운드'카테고리를 포함함) 분석물 클래스 중 적어도 하나에 속해야 한다고 가정할 수 있고, 따라서 확률의 합은 1이된다. 상호 배타성: 충분히 작은 픽셀은 단지 한 클래스의 분석물에 속한다고 가정될 수 있고, 조합이 있는 경우(즉, LRNC 백그라운드 상의 침상(spiculated) 칼슘), 상호 배타성을 유지하기 위해 새로운 조합 클래스가 만들어질 수 있다. 비독립성: 각 픽셀은 이웃과 A의 전체 구조에 크게 의존한다고 가정될 수 있다.
분석물 맵의 대안적인 관점은 주어진 분석물에 대한 확률의 공간 맵이다. 추론 중 임의의 주어진 지점에서, 분석물 블롭은 전체 너비 절반 최대 규칙(full width half max rule)을 사용하여 정의될 수 있다. 이 규칙을 사용하면, 이 분석물에 대한 각각의 로컬 최대 확률에 대해 영역이 로컬 최대 값의 절반인 하위 임계값까지 외측으로 성장된다. 이 50% 값이 조정 가능한 파라미터라는 점을 주의한다. 경계를 보다 사실적으로 유지하기 위해 (위상 구멍이 거의 없이 매끄럽게) 확률 맵에서 일부 곡률 진화를 수행함으로써 블롭의 공간 정규화가 수행될 수 있다. 상이한 분석물 클래스의 상이한 가능한 추정 블롭은 일반적으로 공간적 오버랩을 가질 수 있으며, 이는, 하나가 확률을 붕괴시킬 때까지, 이들은 동일한 픽셀에 대한 대체 가설 및 따라서 수정자 '추정(putative)'을 나타내기 때문이다.
반복 추론이 종료되면, 결과의 표시를 위한 몇 가지 옵션이 있다. 먼저, 지속적으로 평가되는 확률 맵은, 표면 플롯, 등고선 플롯, 또는 CT 위에 색조 및 채도의 변화로 PET 값을 시각화하는 것과 유사한 이미지 융합을 사용하는 것을 포함하나, 이에 한정되지 않는 여러 형태 중 하나로 사용자에게 직접적으로 제공될 수 있다. 제2 대안은 각 픽셀에 대한 단일 분석물 라벨을 선택하여 각 픽셀에서 확률 맵을 축소(collapse)시키는 것이다. 이것은, 각 픽셀에서 최대 사후확률 값을 독립적으로 선택함으로써, 따라서 각각의 분석물 라벨에 별개의 색상을 할당하고 방사선 이미지 위에 전체 또는 부분 불투명도를 할당하여 시각화될 수 있는 범주형 맵을 생성함으로써 가장 간단하게 수행될 수 있다. 이러한 제2 대안 하에서, 각 블롭의 확률인 우선 순위에 기반하여 오버랩되는 추정 블롭을 분해함으로써 라벨 값이 비독립적으로 할당될 수 있다. 따라서, 주어진 픽셀에서, 더 높은 확률의 블롭에 속하는 경우, 더 낮은 우선 순위의 분석물 확률이 라벨에 대해서 사용될 수 있다.
도 6은 추정 분석물 블롭을 계산하기 위한 기술을 도해한다. 예시적인 실시형태에서, 추정 블롭은 오버랩 영역을 가질 수 있다. 따라서, 추정 블롭에 의한 픽셀의 세그먼트화에 분석 기술을 적용하는 것이 유리할 수 있다. 주어진 분석물의 확률에 대해 확률의 국소 최대 값이 결정된다. 그런 다음 전체 너비 절반 최대 규칙은 개별 블롭을 결정하기 위해서 적용될 수 있다. 주어진 추론 반복에서, 분석물 블롭은 전체 너비 절반 최대 규칙(full width half max rule)을 사용하여 정의될 수 있다. 로컬 최대 값을 찾은 다음, 영역이 0.5 * max의 더 낮은 임계값으로 증가된다. (50% 값은 조정 가능한 파라미터가 될 수 있다.) 일부 실시형태에서, 예를 들어, 경계를 매끄럽게 유지하고 구멍을 피하기 위해 확률 맵에서 일부 곡률 진화를 수행하여 블롭의 공간 정규화가 또한, 적용될 수 있다. 이 단계에서, 상이한 분석물 클래스의 상이한 가능한 추정 블롭은, 일반적으로, 확률이 축소될 때까지 이들이 대안적인 가설을 나타내기 때문에, 공간적 오버랩을 가질 수 있다는 점을 주의한다. 따라서, 이미지 레벨 분석물 맵은, 예를 들어 확률 맵 함수의 축소에 기반하여 계산된다. 특히, 이러한 축소는 픽셀 레벨 분석물 확률 맵, 추정 블롭 또는 둘의 조합에 기반하여 결정될 수 있다. 픽셀 레벨 분석물 확률 맵과 관련하여, 최대 확률 A(x):= arg maxa P(A(x)=a)를 갖는 라벨을 선택함으로써, 각 픽셀에 대해 축소가 결정될 수 있다. 이것은 Viterbi 알고리즘 구현과 유사하다. 기본적으로, 각각의 세트의 상호 배타적인 확률 벡터에 대한 가장 높은 확률은 고정된다(예: 분석물 우선 순위가 가능한 관계를 깨는 경우). 세트의 다른 모든 확률은 0으로 설정될 수 있다. 일부 실시형태에서, 인접 픽셀/영역에 대한 확률은 픽셀 레벨에서 데이터를 축소할 때 고려될 수 있다. 추정 블롭 레벨 축소와 관련하여, 오버랩되는 추정 블롭이 해결될 수 있다. 일부 실시형태에서, 우선 순위는 블롭 확률 밀도
Figure 112021010049461-pct00026
를 기반으로 할 수 있다. 더 높은 확률의 블롭은 오버랩된 더 낮은 확률의 블롭의 형상을 변경할 수 있기 때문에, 블롭 레벨 특성의 분석에 영향을 미칠 수 있다. 예시적인 실시형태에서, 데이터를 축소하는 대신 전체 범위의 확률이 유지될 수 있다.
혈관 벽 내의 블롭의 상대적 공간 위치를 모델링하기 위해, 상이한 이미지들 간의 회전-불변성, 평행이동-불변성, 및 배율-불변성이 제공되도록 적합한 좌표계를 선택할 수 있다. 이러한 불변성은 모델에 중요한 것인데, 왜냐하면 그 불변성은 한 가지 유형의 혈관(예를 들어, 동맥내막절제술 검체를 쉽게 입수할 수 있는 경동맥)에서 훈련할 수 있게 하며, 죽상경화 과정이 여러 혈관 층들 전반에 걸쳐 유사하다는 가정 하에 모델을 다른 혈관 층(예를 들어, 플라크 검체를 일반적으로 입수할 수 없는 관상동맥)에 적용하기 때문이다. 관형 물체의 경우, 자연 좌표계는, 중심선을 따르는 거리가 세로 좌표를 제공하고 중심선에 수직인 각각의 평면이 반경 거리와 각도의 극좌표를 갖는, 혈관 중심선을 따른다. 그러나, 특히 분석을 목표로 할 수 있는 유병 환자의 혈관벽 형상의 가변성으로 인해, 개선된 좌표계가 활용될 수 있다. 세로 거리는 3D 방사선 이미지 픽셀 각각에 중심선이나 보간된 수직 평면에도 따르는 값이 부여되는 방식으로 계산된다. 주어진 플라크에 대해, 중심선에 수직인 근위 평면과 원위 평면 각각은 원래 이미지 그리드 상에 각각 P(x) 및 D(x) - 여기서 x는 3D 좌표를 나타냄 - 로 표시되는 부호 없는 거리 맵을 생성하는 데 사용된다. 거리 맵
Figure 112021010049461-pct00027
는 근위 평면에서 값이 0이고 원위 평면에서 값이 1인 플라크를 따르는 상대 거리를 나타낸다. 축의 방향은
Figure 112021010049461-pct00028
에 의해 결정된다.
벽의 기하학적 형태는 상당히 비원형일 수 있기 때문에, 반경 방향 거리는 내강 표면까지의 최단 거리와 외막 표면까지의 최단 거리에 기초하여 정의될 수 있다. 조직학 이미지들에 대한 전문가 주석에는 내강과 혈관을 정의하는(내강과 혈관 벽의 결합으로 정의됨) 영역이 포함된다. 이들 각각에 대해 부호를 붙인 거리 함수, 즉 L(x) 및 V(x)가 각각 만들어질 수 있다. 이들 영역의 내부는 음이므로 벽에서 L은 양이고 V는 음으로 하는 것이 관례이다. 상대적 반경 거리는
Figure 112021010049461-pct00029
로 계산된다. 이는 내강 표면에서 0의 값을 가지며 외막 표면에서 1의 값을 갖는다. r-축의 방향은
Figure 112021010049461-pct00030
에 의해 결정된다.
비원형 벽의 기하학적 형태로 인해, 정규화된 접선 거리는 r(그리고 3D에서 처리하는 경우에는 1)의 등고선을 따라 놓이는 것으로 정의될 수 있다. t-축의 방향은
Figure 112021010049461-pct00031
에 의해 결정된다. 조직 구조 절편들을 근위부에서 원위부 방향으로 바라보는 것으로 가정하여 양수 1이 이미지 쪽을 가리키도록 하는 것이 관례이다. 다른 것들과 달리 t는 혈관 주위에서 자체를 감싸기 때문에 자연적인 원점이 없다는 것을 주지해야 한다. 따라서, 이 좌표의 원점을 블롭의 도심을 기준으로 각 블롭에 대해 다르게 정의할 수 있다.
사용되는 또 다른 벽 좌표는 정규화된 벽 두께이다. 어떤 의미에서, 이것은 질병 진행에 대한 프록시이다. 더 두꺼운 벽은 더 진전된 질병 때문인 것으로 추정된다. 분석물의 통계적 관계가 더 진전된 질병에 따라 변한다고 추정한다. 절대 벽 두께는
Figure 112021010049461-pct00032
로 쉽게 계산된다. 이를 [0-1]의 범위로 정규화하기 위해, 내강이 0 크기에 접근하고 완전히 편심되고 외부 표면 근처에 있을 때에 가능한 최대 벽 두께를 결정할 수 있다. 이 경우, 최대 직경은 혈관의 최대 페렛(Feret) 직경, 즉 Dmax이다. 따라서, 상대적 벽 두께는
Figure 112021010049461-pct00033
로 계산된다.
앞서 언급한 좌표가 모델에서 사용되거나 또는 사용되지 않을 수 있는 정도는 부분적으로는 입수 가능한 훈련 데이터의 양에 따라 달라진다. 훈련 데이터가 제한된 경우, 몇 가지 선택안을 사용할 수 있다. 상대적인 길이 방향 거리는, 동일한 통계 분포에서 나온 것이라 해도 상이한 섹션들을 각 플라크를 통해 처리하는 경우에는 무시될 수 있다. 중앙에 더 심한 플라크가 출현해 있는 상태에서 플라크 구성이 길이 방향 축을 따라 변하는 것이 관찰되었다. 그러나, 그 분포를 l(x)로 파라미터화 하는 대신에, 이 치수를 축소시킬 수 있다. 유사하게, 상대적인 벽 두께도 축소시킬 수 있다. w(x)가 중앙 값을 갖는 플라크의 "어깨부" 영역에서 특정 분석물이 발생한다는 것이 관찰되었다. 그러나, 이 치수는 또한 충분한 훈련 데이터를 입수할 수 있을 때까지 축소시킬 수 있다.
위에서 주지된 바와 같이, 혈관 벽 구성 모델은 (예를 들어, 이전 P(A)에서) 초기 가설로 활용될 수 있다. 도 7은 예시적인 혈관 벽 구성 모델에 대한 정규화된 혈관 벽 좌표를 도시하고 있다. 도시된 모델에서, 1은 근위부에서 원위부까지의 혈관 타겟을 따르는 상대적인 길이 방향 거리이며, 이는 예를 들어 정규화된 간격 [0,1]에서 계산될 수 있다. 길이 방향 거리는 1=P/(P+D)인 부호 없는 거리 필드 P 및 D를 계산하기 위해 근위 평면 및 원위 평면에서 시작하는 두 가지 빠른 전진 전파(fast marching propagation)로 계산될 수 있다. 1-축 방향은
Figure 112021010049461-pct00034
이다. 도시된 바와 같이, r은 내강에서 외막 표면까지 정규화된 간격 [0,1]에서 계산될 수도 있는 정규화된 반경 거리이다. 따라서, r=L/(L+(-V)), 여기서 L은 내강의 부호 붙인 거리 필드(SDF: signed distance field)이고 V는 혈액의 SDF이다. r-축 방향은
Figure 112021010049461-pct00035
이다. 마지막으로, t는 예를 들어 정규화된 간격 [-0.5,0.5]에서 계산될 수 있는 정규화된 접선 거리이다. 특히, 예시적인 실시형태에서, 개별 분석물 블롭들에 대해서만 전체 벽에 대한 의미 있는 원점이 없을 수 있다(따라서, t 원점은 블롭 도심에 있을 수 있다). 접선 거리는 1과 r의 등고선 곡선을 따라 계산된다. t-축 방향은
Figure 112021010049461-pct00036
이다.
도 9는 본원에 설명된 기술을 사용하여 원인 규명할 수 있는 몇몇 복잡한 혈관 토폴로지를 예시하고 있다. 특히, CT 또는 MR을 3D로 처리할 때, 각기 다른 분기들을 개별적으로 분석하는 것이 유리하고, 따라서 별도의 분기에 있는 분석물 블롭들 간의 관계를 적절하게 무시할 수 있다. 따라서, 분절된 뷰(단면 절편)가 하나 이상의 내강을 포함하는 경우, 이에 대한 규명은, 벽을 각 내강에 속하는 영역들로 분할하고 그 후에 각 영역을 개별적으로 고려/분석할 수 있도록 하기 위해 r에 대해 유역 변환(watershed transform)을 수행함으로써 이루어질 수 있다.
위에서 주지된 바와 같이, 본원에 설명된 많은 좌표들과 확률 측정치들은 정규화된 스케일을 사용하여 표현될 수 있으며, 이에 따라 예를 들어 상이한 크기의 혈관들 사이에서 스케일 불변성을 보존할 수 있다. 따라서, 제안된 모델은, 질병 과정이 각기 다른 직경의 혈관에 대해 유사하고 비례한다는 가정 하에서, 절대 혈관 크기와 무관할 수 있다는 것이 유리하다.
일부 실시형태에서, 제안된 모델은 동심 대 편심 플라크를 특성화하도록 구성될 수 있다. 특히, 1에 가까운 정규화된 모든 두께는 아주 편심된 플라크를 나타낼 수 있다. 또 다른 실시형태에서, 내향 대 외향 플라크 특성화가 구현될 수 있다. 특히, 이 특성에 대한 조직학적 정보는 변형에 의해 방해를 받는다. 따라서, 일부 실시형태에서, 내향 대 외향 플라크 특성화를 결정하기 위한 알고리즘을 확립하는 데 CT 및 훈련 데이터가 사용될 수 있다.
위에서 주지된 바와 같이, 예시적인 실시형태에서, 조직 구조 데이터와 같은 비-이미징 데이터는 이미지 특징들을 생물학적 특성들/분석물들에 연결시키는 알고리즘을 확립하기 위한 훈련 세트로 활용될 수 있다. 그러나 적절한 상관 관계를 보장하기 위해 해결해야 하는 데이터 유형들 간에 몇 가지 차이점이 있다. 예를 들어, 조직학과 이미징 사이의 다음과 같은 차이점들은 적절한 상관 관계에 영향을 미칠 수 있다: 경동맥 내막절제술(CEA)은 외막 표면을 찾기 위해 추정되는 환자 CT 또는 MR 이미지 분석에서 외막과 일부 중막은 남기게 된다. (예를 들어, 조직학 검체를 위해 제거된 플라크와 외부 혈관 벽 사이의 가장자리를 도시하는 도 8 참조). 특히, 과학 논문은 외막에서 석회화가 발생할 수 있는지 여부에 대한 불확실성을 보여주고 있다. 이 차이를 규명하기 위해 다음 기술을 사용할 수 있다. 예를 들어, 벽에 분석물이 거의 또는 전혀 남아 있지 않다는 가정에 기초하여, 조직학을 바깥쪽으로 확장시킬 수 있다. 대안으로, 예를 들어, 전형적인 또는 특정 가장자리가 남아 있다는 지식에 기초하여, 이미지 분할을 안쪽으로 파고들게 할 수 있다. 예를 들어, 평균 가장자리(average margin)를 활용할 수 있다. 일부 실시형태에서, 평균 가장자리는 혈관의 전체 직경의 백분율로 정규화될 수 있다. 또 다른 실시형태에서, 이미징을 마스킹하는 데(예를 들어, 정렬 기준에 기초하여 중첩시키는 데) 조직학을 사용할 수 있다. 이러한 실시형태에서, 적절한 정렬을 일치시키기 위해 한 번 이상의 변환을 조직학 데이터에 적용하는 것이 필요할 수 있다. 마지막으로, 일부 실시형태에서, 차이가 무시될 수 있다(이는 제거된 플라크를 전체 벽에 대해서 균일하게 스케일링하는 것과 동일하다). 이는 약간의 오류를 유발할 수는 있겠지만, 추정컨대 남겨진 벽은 CEA 환자의 플라크에 비해 얇을 수 있다.
조직학적 데이터(예를 들어, 훈련 세트)와 혈관 벽 구성 모델로 표현되는 이미징 데이터 간에 길이 방향 차이가 존재할 수도 있다. 예시적인 실시형태에서, 길이 방향 거리는 명시적으로 모델링/상관될 수 있다. 따라서, 예를 들어, 조직학 절편에 대한 번호 매기기(예를 들어, A에서 G까지)를 사용하여 플라크의 절제된 부분 내의 위치를 대략적으로 결정할 수 있다. 그러나 이 접근법은 대응하는 조직학 데이터가 없는 다른 절편들에 대한 분석을 제한한다. 따라서, 대안으로, 일부 실시형태에서는 모든 조직학 절편들이 동일한 분포에서 발생한 것으로 취급될 수 있다. 예시적인 실시형태에서, 일부 제한된 정규화가 길이 방향을 따라 여전히 사용될 수 있다.
위에서 주지된 바와 같이, 정규화된 벽 두께는 어떤 의미에서는 질병 진행에 대한 불완전한 프록시이다. 특히, 예를 들어 분석물들의 통계적 관계는 질병이 더 진전됨에 따라 변한다는 추정에 기초할 때, 더 두꺼운 벽은 더 진전된 질병으로 인한 것으로 추정된다. 정규화된 벽 두께는 다음과 같이 계산될 수 있다: 절대 벽 두께 Ta가 예를 들어 Ta=L+(-V)로 계산되어 결정될 수 있으며(mm 단위로 결정), 여기서 L은 내강 SDF, V는 혈관 SDF, Dmax는 혈관의 최대 페렛(Feret) 직경(mm 단위)이다. 그 다음, 상대적 벽 두께 T가 T=Ta/Dmax에 기초하여, 예를 들어 간격 [0,1]에서 계산될 수 있으며, 여기서 1은 완전히 편심된 플라크를 나타내는 작은 내강의 가장 두꺼운 부분을 나타낸다. 예시적인 실시형태에서, 예를 들어 분석물 블롭들의 분포가 벽 두께에 의존하도록, 벽 두께에 기초하여 확률이 조정될 수 있다. 이는 질병 진행 과정 전반에 걸쳐 분석물 구성의 차이를 모델링할 수 있어서 유리하다.
도 10은 정규화된 혈관 벽 좌표의 분포를 갖는 예시적인 분석물 블롭을 묘사하여 도시하고 있다. 특히 t의 원점은 블롭 도심에 위치한다. (r, t) 좌표는 위치/모양이 그 안의 점들의 결합 분포(joint distribution)에 의해 완전하게 표현되는 랜덤 벡터이다. 이는 주변 분포(marginal distribution)를 고려하여 단순화시킬 수 있다(왜냐하면 방사상 및 접선 방향 모양의 특성들은 비교적 독립적인 것처럼 보이기 때문이다). 주변 분포는 r과 t를 따른 투영으로 계산될 수 있다(1 및 T 좌표도 고려할 수 있음을 주지해야 한다). 특히, 반경 방향의 주변 분포는 동심층들(예를 들어, 중간층, 외막층, 및 내막층)에서의 플라크 성장을 유리하게 나타내고/특징지을 수 있다. 유사하게, 접선 방향의 주변 분포는 질병의 병기를 나타낼 수 있는 성장 요인을 유리하게 나타낼 수 있다. 예시적인 실시형태에서, 분석물 블롭 디스크립터는 주변 분포에 기초하여 계산될 수 있다. 예를 들어, 주변 분포에 대해 낮은 차수의 통계를 취할 수 있다(또는 히스토그램 또는 적합 모수 확률 분포 함수를 사용할 수 있다).
예시적인 실시형태에서, 예를 들어 개별 블롭들의 위치, 모양, 또는 기타 구조적 특성을 포착하기 위해 다음과 같은 분석물 블롭 디스크립터들이 사용될 수 있다:
- 정규화된 혈관 좌표에서의 위치
ㆍ 주로 r과 관련하여
- 예를 들어, 얕은/깊은 석회화를 구별하기 위해
ㆍ t 방향은 무시된다; [선택적으로 모델 1 방향]
- 정규화된 혈관 좌표에서의 범위
ㆍ 절대 측정치를 의미하는 '크기'라는 단어를 의도적으로 피하는 반면에 범위는 정규화된 값이다.
- 분포의 비대칭 정도를 나타내는 편향도(lopsidedness)
ㆍ 임상적 중요성은 불분명하지만, 받아들이기 어려운 편향된 모양에 대해 모양을 정규화하는 데 있어서는 도움이 될 수 있다.
- 평행 조직 층들에 대한 제한을 나타내는 정렬
ㆍ 분석물 블롭들은 방사상 층들(r의 등고선) 내에 아주 잘 유지되는 것처럼 보이므로 이미지 처리된 비숫한 모양들을 선택하는 데 도움이 될 것이다.
- 블롭이 위치되어 있는 벽 두께
ㆍ 얇은 플라크와는 다른 통계를 갖는 것으로 추정된 두꺼운(즉, 진전된) 플라크
일부 실시형태에서, 쌍별 블롭 디스크립터들도 또한 활용될 수 있다. 그 예는 다음과 같다:
- 상대 위치
ㆍ 예를 들어, 섬유증이 LRNC의 내강 쪽에 있는 경우
- 상대적 범위
ㆍ 예를 들어, LRNC에 대한 섬유증의 두께/폭이 얼마나 되는지의 정도
- 포위 정도(surroundedness)
ㆍ 하나의 가장자리 투영이 다른 투영의 중앙부에 얼마나 가까운지의 정도
ㆍ 예를 들어, LRNC 주변의 냅킨 링 징후 또는 섬유증
- 상대적 벽 두께
ㆍ 'shouldemess'(어깨 부분이 중앙 플라크 몸체보다 상대적으로 덜 두꺼움)의 정도를 나타내기 위한 것.
더 높은 차수의 상호 작용(예를 들어, 3개의 블롭들 사이 또는 2개의 블롭들과 다른 특징 사이)도 구현될 수 있음이 주지되어야 한다. 그러나 반환값들이 줄어드는 것과 훈련 제한 사항들을 고려할 수 있다.
다음은 블롭 디스크립터들의 예시적인 정량화이다.
Figure 112021010049461-pct00037
특히, 디스크립터들(예를 들어, 8 내지 12개의 디스크립터)의 세트는 블롭이 살아 있는 유한의 모양의 공간을 형성한다. 그러면, 블롭들의 집단의 분포를 그 유한 공간 내의 분포로서 볼 수 있다. 도 11은 블롭 디스크립터들의 예시적인 분포를 도시하고 있다. 예시적인 실시형태에서, 전체 훈련 세트에 걸쳐 블롭 디스크립터들의 분포가 계산될 수 있다. 일부 실시형태에서, 개별 블롭 디스크립터들(독립적인 것으로 가정), 예를 들어 위치: E[αr], Var[αr]에서는 낮은 차수의 통계가 활용될 수 있다. 다른 실시형태에서, 다차원 가우시안(평균 벡터 + 공분산 행렬) 분석이 디스크립터들(예를 들어, 독립적인 것으로 가정되지 않음)을 모델링하는 데 사용될 수 있다. 또 다른 실시형태에서, 분포가 비정규 분포이면, 밀도 추정 기술을 이용하여 모델링될 수 있다.
위에서 주지된 바와 같이, 단면 당 블롭의 수(또는 각 클래스의 수), 예를 들어 η도 분석물 클래스 및 각 분석물 클래스의 r|i 카운팅 수와 무관하게 모델링될 수 있다. 도 14는 각 조직 구조(histology) 슬라이드에 대한 총 블롭의 수의 빈도 분포를 도시하고 있다. 포아송 회귀가 과도하게 적용된다. 도 14의 분석 차트는 분석물 클래스에 무관하게 단면 N 당 블롭의 수(각 분석물 유형의 블롭의 수는 B로 표시됨)를 도시하고 있음을 주목해야 한다.
앞의 절의 내용을 요약하면, 예시적인 실시형태에서, 전체 혈관 벽 구성 모델은 하기의 것들을 포함할 수 있다:
ㆍ pmf 이전의 픽셀 당 분석물
-
Figure 112021010049461-pct00038
ㆍ 개별 블롭 디스크립터
-
Figure 112021010049461-pct00039
-
Figure 112021010049461-pct00040
ㆍ 쌍별 블롭 디스크립터
-
Figure 112021010049461-pct00041
-
Figure 112021010049461-pct00042
ㆍ 블롭의 수
- η ~ 포아송(λη)
여기서,
Figure 112021010049461-pct00043
위에서 주지된 바와 같이, 이미징 모델은 베이지안 분석 모델의 가능도(likelihood)(예를 들어, P(I\A)) 역할을 할 수 있다. 최대 가능도 추정이 결정될 수 있다. 예시적인 실시형태에서, 이는 각 픽셀을 분리해서(예를 들어, 해당 모델에서의 구조의 사전 확률과 무관하게) 고려하여 수행될 수 있다. 추정된 분석물 맵들은 일반적으로 매끄러운데, 이의 유일한 이유는 이미지들이 부드럽기 때문이다(이 때문에 사전 평활화가 일반적으로 수행되지 않는다). 예를 들어 적어도 스캐너 PSF를 원인 규명하는 지점까지는 독립적인 픽셀 단위 분석이 수행될 수 있다. 이미징 모델은 불완전한 이미징 데이터를 원인 규명하는 데 사용된다. 예를 들어 플라크의 작은 컴포넌트들을 영상화하게 되면 픽셀 값 위에 독립적인 노이즈가 추가된다. 또한, 부분 볼륨 효과와 스캐너 PSF는 작은 물체에 적용하는 것으로 잘 알려져 있다. 따라서, 모델(예를 들어, 분석물 영역의 레벨 세트 표현)이 주어지면, PSF를 사용한 가우시안 블러링에 의한 CT 시뮬레이션이 쉽고 빨라진다. 여기에 설명된 이미징 모델은 상이한 분석물들의 실제(블러링 하지 않은) 밀도의 분포를 결정(또는 추정)하는 데에도 적용될 수 있다. 특히, 이는 통상적인 이미징 연구에서는 나올 수 없는 것인데, 왜냐하면 통상적인 영상화 연구는 이미지 강도를 블러링할 것이기 때문이다. 일부 실시형태에서, 넓은 분산이 불확실성을 나타내는 데 사용될 수 있다. 대안으로, 분포 파라미터들이 훈련 세트에서 최적화될 수 있지만, 목적 함수는 예를 들어 정렬된 조직학 데이터를 입수할 수 있는 경우가 아니면 다운스트림 판독값(분석물 영역의 판독값)에 기초하여야 한다. 도 12는 데이터를 영상화하고(예를 들어, 숨겨진(범주적) 상태(A(x))와 관찰된(연속적) 상태(I(x)) 사이의 상관 관계를 확립하고) 이에 의해 무작위(예를 들어, 분석물 밀도 분포(H(A(x)) 및 결정적(예를 들어, 스캐너 블러*G(x)) 노이즈 요인들이 원인 규명되도록 한 예시적인 모델을 도시하고 있다. θ는 H의 파라미터이다(각 분석물의 비율 및 HU 평균/분산).
정규 분포를 가정하는 N개의 상이한 분석물 클래스에 대해
Figure 112021010049461-pct00044
이다. θ는 환자마다 특정되며 예상 최대화(EM) 방식 - 예를 들어, 분석물 라벨이 잠재 변수가 되고 이미지가 관찰된 데이터가 되는 방식 - 으로 추정된다는 것을 주지해야 한다.
ㆍ E 단계: 현재 파라미터들이 주어진 상태에서 멤버쉽 확률 결정
ㆍ M 단계: 멤버쉽 확률이 주어진 상태에서 파라미터들의 가능도를 최대화
도 13은 관찰된 상태를 이미지 모델의 숨겨진 상태와 연관시키기 위한 예시적인 마르코프 모델/비터비 알고리즘의 다이어그램을 도시하고 있다. 특히, 이 다이어그램은 관찰된 상태(회색)(관찰된 이미지 강도, I(x)) 및 숨겨진 상태(흰색)(순수 분석물 강도, H(A(x)))를 도시하고 있는데, 이는 경험적 히스토그램을 사용하거나 가우시안 또는 박스카 확률 분포 함수를 사용하여 모델링될 수 있다. 이미징 시스템의 PSF는 가우시안, 즉 G(x)로 모델링된다. 따라서,
Figure 112021010049461-pct00045
비터비-유사 알고리즘이 여기에 적용될 수 있지만 컨볼루션은 가우시안으로 모델링될 수 있거나 균일할 수 있는 방출 확률 H로 치환될 수 있다는 것을 주지해야 한다.
위에서 주지된 바와 같이, 추론 절차의 한 부분은 기대 최대화(EM)에 기초한다. EM의 전형적인 적용에 있어서, 데이터 지점들은 알려지지 않은 여러 클래스들 중 한 클래스에 속하는 것으로 모델링된다. 각 데이터 지점에는 특징 벡터가 있으며, 각 클래스에 있어서, 이 특징 벡터는 평균 벡터와 공분산 행렬로 표현되는 다차원 가우시안과 같은 파라미터 분포를 가지고 모델링될 수 있다. 여기에 제시된 모델의 맥락에서, 똑바른 EM 구현은 다음과 같이 작용한다:
Figure 112021010049461-pct00046
Figure 112021010049461-pct00047
Figure 112021010049461-pct00048
Figure 112021010049461-pct00049
이 간단한 모델의 주요 문제는 픽셀에 더 높은 차수의 구조를 코딩하지 않는다는 것이다. 보다 현실적인 픽셀 배열과 연관된 사전 확률은 없다. 타우만이 분석물 분류들의 비율을 결정한다. 따라서, 타우 변수를, 특히 멤버십 확률을 업데이트하는 단계에서 블롭 사전 확률 모델에 삽입하는 데 사용할 수 있다.
따라서, 수정된 베이지안 추론 절차는 훨씬 더 정교한 베이지안 사전확률에 적용될 수 있다. 기본 EM 구현에는 실제 사전확률 분포가 없다. 변수 타우는 각 클래스의 선험적 상대적 비율을 나타내지만 이 변수조차도 추론 절차 중에 특정되지 않고 추정된다. 따라서, 기본 EM 모델에는 클래스들의 분포에 대한 선험적 믿음이 없다. 우리 모델에서는 모델 사전확률은 다중 스케일 분석물 모델로 표현된다. 타우는 글로벌 비율뿐만 아니라 위치(및 기타 변수)의 함수가 된다.
Figure 112021010049461-pct00050
Figure 112021010049461-pct00051
Figure 112021010049461-pct00052
멤버쉽 확률 함수는 다음과 같이 정의된다:
Figure 112021010049461-pct00053
Figure 112021010049461-pct00054
추론 알고리즘은 다음과 같다. 반복의 각 단계에서, 멤버쉽 확률 맵은 모든 클래스의 확률이 0이 되도록 0으로 초기화된다. 그런 다음, 가능한 모든 모델 구성에 대해 멤버쉽 확률 맵이 다음과 같이 추가될 수 있다:
Figure 112021010049461-pct00055
마지막으로, 확률 벡터는 완전성 가정을 복원하기 위해 멤버쉽 확률 맵의 각 픽셀에서 정규화될 수 있다. 유리하게도, 모든 모델 구성을 반복할 수 있다. 이는 N에 대한 값을 0에서부터, 극히 적은 섹션들이 많은 블롭들을 갖는 것으로 관찰된 지점인, 비교적 낮은 값(예를 들어, 9)까지 순차적으로 고려함으로써 수행된다. N의 각 값에 대해 각기 다른 추정 블롭 구성들을 검사할 수 있다. 추정 블롭들은 개별 블롭 확률에 기초하여 작은 수(N)로 임계값을 지정할 수 있다. 그런 다음, N개의 블롭들의 모든 순열이 고려된다. 따라서, 가장 가능성이 높은 블롭 구성들 모두를 고려하는 것과 각 모델에 그의 사전 확률로 가중치를 부여하는 것을 동시에 행할 수 있다. 이 절차는 다중 스케일 모델 구성의 전체 공간이 고려되지 않을 수 있기 때문에 분명히 대략적인 추론 기법이다. 그러나 가장 가능성이 높은 것(N과 블롭의 두 가지 측면에서)을 고려함으로써 양호한 근사치를 얻을 수 있다고 추정할 수 있다. 이 절차에서는 가능성이 가장 높은 구성의 가중 평균이 각 개별 픽셀에서 양호한 추정치를 제공한다고 가정한다. 또 다른 대안은 모델 구성의 제한된 검색을 수행하여서 가장 가능도가 높은 모델을 MAP(최대 사후) 추정치로 선택하는 것이다.
추가의 예시적인 통계 모델(예를 들어, 후부(posterior) P(A\I))이 또한 본원에서 설명된다. CT 혈관 조영술에서 다음의 정보가 이용 가능하다:
ㆍ 강도
- CT 하운드필드 단위(Hounsfield unit) 또는 MR 강도
- 아마도 다른 이미징 특징
ㆍ 해부학에 대한 위치
- 플라크(plaque)에서 픽셀이 있는 곳
ㆍ 인접 픽셀
- 예를 들어, 레벨 세트를 통해 윤곽을 평활화하기 위해
후부 확률은 다음과 같이 계산될 수 있다:
Figure 112021010049461-pct00056
따라서 다음의 이미지 정보가 분석물 확률 Ai(x)에 영향을 미칠 수 있다.
I(x)는 관찰된 이미지 강도(아마도 벡터)이다.
T(x)는 이미지 분할로부터 관찰된 상대적 벽 두께이다.
F(x)는 CT 이미지 특징이다.
S(x)는 혈관 벽 형상의 특징(예를 들어, 내강 돌출)이다.
일부 실시형태에서 메트로폴리스-헤이스팅스(Metropolis-Hastings) 유사 접근법이 이용될 수 있다. 다른 실시형태에서 최대 사후확률 접근법(maximum a posteriori approach)이 적용될 수 있다.
다음은 통계 분석 모델에 대한 예시적 알고리즘 가능성이다. 일부 실시형태에서, 모델은 신념 전파(Belief propagation)(별칭 최대 합, 최대 곱(product), 합 곱 메시징)를 이용할 수 있다. 따라서, 예를 들어 비터비(HMM) 유형 접근법이 이용될 수 있으며, 예를 들어, 여기서 숨겨진 상태는 분석물 할당(A)이고, 관찰된 상태는 이미지 강도(I)이다. 이 접근법은 MAP 추정치가 argmax P(A|I)일 수 있다는 것을 유리하게 찾을 수 있다. 일부 실시형태에서 소프트 출력 비터비 알고리즘(SOVA)이 이용될 수 있다. 각 결정의 신뢰성은 선택된(생존자) 경로와 폐기된 경로 간의 차이에 의해 표시될 수 있음에 주목한다. 따라서 이것은 각 픽셀 분석물 분류의 신뢰성을 나타낼 수 있다. 추가의 예시적인 실시형태에서 순방향/역방향 바움-웰치(Baum-Welch)(HMM) 접근법이 이용될 수 있다. 예를 들어, 임의의 시점에서 가장 가능성이 높은 상태를 계산할 수 있지만 가장 가능성이 높은 시퀀스는 계산할 수 없다(비터비 참조).
다른 가능한 기술은 메트로폴리스-헤이스팅스(MCMC) 접근법이며, 예를 들어 여기서 가능도 및 사전확률(prior)에 의해 반복적으로 A 및 중량을 샘플링한다. 일부 실시형태에서 샘플링을 위한 간단한 MRF 버전이 이용될 수 있다. 후부를 직접 샘플링하는 것이 특히 유리할 수 있음에 주의한다. 예시적인 실시형태에서, 분석물 클래스의 픽셀 당 히스토그램을 구축할 수 있다.
다른 알고리즘 가능성은 깁스 샘플러(Gibbs Sampler), VB(Variational Bayes)(EM과 유사), 평균 필드 근사(Mean field approximation), 칼만(Kalman) 필터 또는 기타 기술을 적용하는 것을 포함한다.
전술한 바와 같이, 일부 실시형태에서 기대 최대화(Expectation Maximization, EM) 후부 접근법이 이용될 수 있다. 이 접근법 하에서, 관찰된 데이터 X는 이미징 값이고, 알려지지 않은 파라미터 θ는 분석물 맵에 기인한 것이며(그러나 분석물 확률을 포함하지 않음) 잠재 변수 Z는 분석물 확률 벡터이다. 이 접근법의 하나의 핵심 특징은 클래스 멤버십(Z)과 모델 파라미터(θ)가 서로 의존하기 때문에 이들을 추정하는 것 사이에서 반복을 가능하게 한다는 것이다. 그러나, 분석물 맵은 분석물 확률을 분리해 내기 때문에, 현행 클래스 멤버십이 모델 파라미터에 영향을 주지 않아도 되도록 접근법이 수정될 수 있다(이들은 훈련 단계 동안에 이것을 학습하기 때문에). 따라서 EM은 기본적으로 현행 데이터를 통해 반복하면서 모델 파라미터를 학습한다. 유리하게는, EM 접근법의 예시적인 구현은 최대 가능도를 반복적으로 계산하지만 균등 사전확률(flat prior)을 가정한다.
길이 방향 공분산을 나타내기 위한 기술이 또한 본원에서 제공된다. 조직학 조각의 넓은 간격(예를 들어, 4 mm)으로 인해, 샘플링은 분석물의 길이 방향 변화를 충실하게 포착하지 못할 수 있다. 그러나 3D 이미지 분석이 전형적으로 수행되며, 아마도 약간의 tme 길이 방향 공분산이 있다. 문제는 조직학적 정보가 전형적으로 길이 방향 공분산에 대해 제공되지 않는다는 것이다. 그럼에도 불구하고 본원에 개시된 예시적인 통계 모델은 길이 방향의 느린 변화를 반영할 수 있다.
일부 실시형태에서, 마르코프 모델/체인이 적용될 수 있다. 도 15는 텍스트/DNA를 위한 1D 마르코프 체인의 예시적인 이식을 도시한다. 통상적으로, MRF 마르코프 체인에서 이미지에 적용될 때 가능한 한 낮은 차수가 전형적이다. 그러나 조건부 독립성(마르코프 속성)으로 인해 더 높은 차수 체인이 유리할 수 있다. 그렇지 않으면 데이터가 너무 스크램블(scramble)되어 가치가 없을 수 있다. 이것은 텍스트에 적용된 예시적인 마르코프 체인의 1D 샘플링에 의해 입증된다.
ㆍ 균일한 확률 샘플링 출력:
- earryjnv anr jakroyvnbqkrxtgashqtzifzstqaqwgktlfgidmxxaxmmhzmgbya mjgxnlyattvc rwpsszwfhimovkvgknlgddou nmytnxpvdescbg k syfdhwqdij jmcovoyodzkcofmlycehpcqpuflje xkcykcwbdaifculiluyqerxfwlmpvtlyqkv
ㆍ 0차 마르코프 체인 출력:
- ooyusdii eltgotoroo tih ohnnattti gyagditghreay nm roefnnasos r naa euuecocrrfca ayas el s yba anoropnn laeo piileo hssiod idlif beeghec ebnnioouhuehinely neiis cnitcwasohs ooglpyocp h trog 1
ㆍ 1차 마르코프 체인 출력:
- icke inginatenc blof ade and jalorghe y at helmin by hem owery fa st sin r d n cke s t w anks hinioro e orin en s ar whes ore jot j whede chrve blan ted sesourethegebe inaberens s ichath fle watt o
ㆍ 2차 마르코프 체인 출력:
- he ton th a s my caroodif flows an the er ity thayertione wil ha m othenre re creara quichow mushing whe so mosing bloack abeenem used she sighembs inglis day p wer wharon the graiddid wor thad k
ㆍ 3차 마르코프 체인 출력:
- es in angull o shoppinjust stees ther a kercourats allech is hote temal liked be weavy because in coy mrs hand room him rolio und ceran in that he mound a dishine when what to bitcho way forgot p
도 16은 텍스트 확률 테이블에 대한 1차 마르코프 체인의 예를 도시한다. 이러한 테이블은 차수의 측면에서 기하 급수적 크기임에 주의한다.
D = 마르코프 체인의 차수
N = 글자의 수
크기 = ND
따라서 더 높은 차수는 차원에 문제를 일으킨다. 유리하게는 조직학 샘플은 매우 높은 해상도(resolution)를 갖는다. 그러나 조직학 샘플은 통계적으로 독립적이지 않으므로 나중에 자세히 설명되는 바와 같이 오버피팅(overfitting)으로 이어질 수 있다. 일반적으로 모델링되는 조건부 의존성이 많을수록 모델의 예측성이 더 높아질 수 있다.
예시적인 실시형태에서, 2D 마르코프 랜덤 필드(MRF)는 문자와 같은 1D 시퀀스 대신에 픽셀 값에 사용될 수 있다. 도 17은 인접한 픽셀(회색)에 기초하여 제1 픽셀(검은색)의 조건부 의존성을 도시한다. 예시적인 실시형태에서, 클리크(clique)는 의존성의 수를 절반으로 줄이기 위해 대칭을 사용할 수 있다. 일부 실시형태에서, 픽셀의 값은 단순한 이미지 강도일 수 있거나 분류 문제에 대한 확률 값일 수 있다. 문제는 전형적인 MRF 사용에 존재한다. 통상적인 MRF는 거의 항상 가장 가까운 인접 픽셀로 제한되어, 표현되는 확률 공간의 특이성을 크게 감소시키는 조건부 의존성; 일반적으로 단지 매우 일반적인 목적의 분할/필터링을 위한 흑백/백색 블롭; 매우 짧은 범위 종속성을 제공한다. 그러나 픽셀은 고도로 이산화되는 반면, 단지 하나의 픽셀을 누락하고 다음에 떨어지는 블롭은 확률 분포를 완전히 변화시킬 수 있다. 따라서 실제 이미지 구조는 전형적으로 MRF의 사용에 대해 계산되는 것보다 훨씬 더 연속적이다.
이러한 이유로, 본 개시내용의 시스템 및 방법은 추론 절차, 예를 들어 베이즈 유형 사후확률 정리 및 가능도×사전확률(P(A/I) 및 P(I/A)×P(A))를 유리하게 이용할 수 있다. 크로스워드(crossword) 유형 비유를 사용하여, 본 출원의 시스템 및 방법에 의해 구현되는 추론 절차는 잡음이 있는 스캔으로부터 크로스워드 퍼즐을 OCR하기 위해 시도하는 것과 약간 비슷하다. 지식(심지어 여러 사각형에 대한 불완전한 지식조차)은 크로스워드 퍼즐에서 알려지지 않은 사각형을 알려주는 데 도움이 될 수 있다. 수직 방향과 수평 방향을 동시에 고려함으로써 더욱 효율적으로 향상된다. 예시적인 실시형태에서, 추론 절차는 휴리스틱(heuristic)일 수 있다. 예를 들어, 무정보 사전확률(uninformed prior)로 초기화한 다음, 쉬운 것을 먼저 해결할 수 있으며, 이것이 나중에 해결되는 더 어려운 문제에 대한 단서를 제공한다. 따라서 밀도 높은 칼슘과 같은 생물학적 특성을 비교적 상대적으로 쉽게 검출하는 것은 지질과 같이 분석물을 검출하기 더 어려운 다른 것의 존재를 알려 줄 수 있다. 추론 절차의 각 단계는 미해결 픽셀에 대한 확률 분포를 좁힐 수 있다.
전술한 바와 같이, 사용 가능한 데이터를 얻기 위해서는 높은 차수의 마르코프 체인이 바람직하다. 더 높은 차수의 마르코프 접근법을 사용하는 단점은 추론 과정을 알려줄 데이터가 충분하지 않을 수 있다는 것이다. 예시적인 실시형태에서, 이 문제는 파젠 윈도우잉(Parzen windowing)과 같은 밀도 추정 방법을 이용하거나 크리깅(kriging) 기술을 이용함으로써 해결될 수 있다.
추론 절차를 형성하기 위해, 분석물의 무조건적 사전 확률로 초기화한 다음, 가장 높은 수준의 증거를 사용하여 확률을 좁히기 시작할 수 있다. 예를 들어, 일부 실시형태에서 불확실한 폭은 각각의 분석물 확률 추정치와 연관될 수 있다. 다른 실시형태에서, l/N에 대한 근접성은 그러한 불확실성을 나타낼 수 있다.
특히, 제안된 마르코프 구현은 메모리가 없는 것이 아니라 명시적으로 긴 범위(공간적) 의존성을 모델링하려고 하기 때문에 "마르코프"라는 용어는 본원에서 느슨하게 사용된다.
CT 해상도가 조직학 및 플라크 해부학에 비해 낮기 때문에, 일부 실시형태에서 이산 공간(시간)보다는 연속 공간(시간) 마르코프 모델을 이용하는 것이 바람직할 수 있다. 이것은 확률 맵의 레벨 세트 표현에 잘 작동할 수 있는데, 이는 하위 픽셀 보간에서 자연스럽게 잘 작동하기 때문이다. 이산 분석물 상태는 모델을 이산 공간 모델로 만든다. 그러나 분석물 존재/부재보다는 연속 확률을 나타낸다면, 그것은 연속 공간 모델이 된다.
폐 기반 적용으로 돌아가면, 아래 표 4는 그러한 적용을 위한 계층적 분석 틀과 관련하여 활용될 수 있는 예시적인 생물학적 특성/분석물을 도시한다.
Figure 112021010049461-pct00057
Figure 112021010049461-pct00058
특히, 시스템은 폐 병변을 검출하도록 구성될 수 있다. 따라서, 예시적인 시스템은 전체 폐 분할을 위해 구성될 수 있다. 일부 실시 양태에서, 이것은 흉막 병변 문제를 해결하기 위해 최소 곡률 진화의 사용을 포함할 수 있다. 일부 실시 양태에서, 시스템은 폐 성분 분석(혈관, 열구, 기관지, 병변 등)을 구현할 수 있다. 유리하게는 헤센(Hessian) 필터를 사용하여 폐 성분 분석을 용이하게 할 수 있다. 일부 실시형태에서, 폐 성분 분석은 예를 들어, 열구(fissure) 기하학의 함수로서 흉막 침범을 추가로 포함할 수 있다. 추가 실시형태에서, 해부학적 구조에 대한 부착이 또한 고려될 수 있다. 폐 성분 분석에 더하여, 언급된 간유리 대 고체에 대한 별도의 분석이 또한 적용될 수 있다. 이것은 기하학적 특징, 예컨대 부피, 직경, 구형도, 이미지 특징, 예컨대 밀도 및 질량, 및 프랙탈 분석의 결정을 포함할 수 있다.
프랙탈 분석을 사용하여 인상(lepidic) 성장 패턴을 추론할 수 있다. 매우 작은 관심 영역에서 프랙탈 분석을 수행하기 위해, 본 방법은 컨볼루션 커널(convolution kernel)에 대한 지지를 적응적으로 수정하여 그들을 관심 영역(즉, 폐 결절)으로 제한한다. 교차하는 혈관/기관지 및 비-병변 특징은 프랙탈 분석을 위해 마스킹될 수 있다. 이는 마스킹된 국부적 이웃에 IIR 가우스(Gaussian) 필터를 적용하고 IIR 블러링된 이진 마스킹에 의해 정규화함으로써 수행된다. 일부 실시형태에서, 프랙탈 분석은 (국부 평균의 분산에 기초하여) 래큐너리티 를 결정하는 것을 추가로 포함할 수 있다. 이것은 폐 병변, 병변의 하위 부분에 적용될 수 있다. 예시적인 실시형태에서, IIR 가우스 필터 또는 원형 이웃이 적용될 수 있다. 일부 실시형태에서 IIR이 분산을 계산하기 위해 이용될 수 있다. 국부 분산의 평균(AVL)이 예를 들어 폐 병변에 적용되는 바와 같이 계산될 수 있다. 유사하게, 국부 분산의 분산이 계산될 수 있다.
예시적인 실시형태에서, 병변 구조 및 조성 모두가 계산될 수 있다. 유리하게는 병변 구조를 계산하는 것은 얇은 섹션의 전체 부피를 이용하여 크기 측정 변화의 계산을 개선할 수 있다. 서브-고체(sub-solid) 및 간유리 불투명도(GGO: ground glass opacity) 부피와 같은 측정이 또한 병변 구조 평가의 일부로 결정될 수 있다. 병변 조성으로 돌아가면, 통합, 침습, 근접성 및 관류와 같은 조직 특성이 계산되어 예를 들어 통상적인 분석에 비해 거짓 양성 비율을 줄일 수 있다.
이제 도 18을 참조하면, 본 개시내용의 시스템에 대한 추가적인 예시적인 계층적 분석 틀(1800)이 도시된다. 도 18은 계층적 추론 시스템의 예시적인 중간 처리 계층에 대해 더 자세히 설명하는 도 1의 상세로서 이해될 수 있다. 유리하게는 계층적 추론은 여전히 이미징 데이터(1810)로부터 기저의 생물학적 정보(1820)로, 임상 질병(1800)으로 흐른다. 그러나, 특히, 틀(1800)은 생물학적 특성/분석물을 결정하기 위해 이미징 데이터를 처리하기위한 여러 레벨의 데이터 포인트를 포함한다. 전처리 레벨(1812)에서, 물리적 파라미터, 정합 변환 및 영역 분할이 결정될 수 있다. 그 다음, 이 전처리된 이미징 정보는 강도 특징, 형상, 텍스처, 시간적 특징 등과 같은 데이터 포인트(1814)의 다음 레벨에서 이미징 특징을 추출하기 위해 이용될 수 있다. 추출된 이미지 특징은 다음으로 레벨(1816)에서 이용되어 이미지화된 해부학에 하나 이상의 생물학적 모델을 맞출 수 있다. 예시적 모델은 베이스/마르코프 그물(net) 병변 하부 구조, 프랙탈 성장 모델, 또는 본원에 설명된 것과 같은 다른 모델을 포함할 수 있다. 생물학적 모델은 레벨(1822)에서 이미징 특징을 기저의 생물학적 특성/분석물과 연관시키는 가교로서 유리하게 작용할 수 있다. 예시적 생물학적 특성/분석물은 해부학적 구조, 조직 구성, 생물학적 기능, 유전자 발현 상관 관계 등을 포함한다. 마지막으로, 레벨(1832)에서 생물학적 특성/분석물은 예를 들어 질병 하위 유형, 예후, 의사 결정 지원 등과 관련된 것을 포함하는 병리와 관련된 임상 결과를 결정하는 데 이용될 수 있다.
도 19는 AHA에 의해 채택된 스타리(Stary) 플라크 타이핑 시스템을 색상 오버레이로 표시되는 생체 내 결정된 유형과 함께 언더레이(underlay)로서 사용하여 혈관 치료를 지시하는 표현형 목적의 적용 예이다. 왼쪽 패널은 물리적 특성에 기초하여 플라크 병변의 있을듯한 동적 거동에 따라 라벨링하는 예를 보여주고, 오른쪽 패널은 분류 결과를 사용하여 환자 치료를 지시하는 예를 예시한다. 예시적 매핑은 클래스_맵 = [Subclinical, Subclinical, Subclinical, Subclinical, Unstable, Unstable, Stable, Stable]을 산출하는 ['I', 'II', 'III', 'IV', 'V', 'VI', 'VII', 'VIII']이다. 본 방법은 스타리와 관련이 없으며, 예를 들어 버마니(Virmani) 시스템[ 'Calcified nodule', 'CTO', 'FA', 'FCP', 'Healed Plaque Rupture', 'PIT', 'IPH', 'Rupture', ' TCFA ','ULC ']은 클래스-맵 = [Stable, Stable, Stable, Stable, Stable, Stable, Unstable, Unstable, Unstable, Unstable]과 함께 사용되었으며, 다른 타이핑 시스템이 유사하게 높은 성능을 산출할 수 있다. 예시적인 실시형태에서, 본 개시내용의 시스템 및 방법은 상이한 타이핑 시스템을 병합할 수 있고, 클래스 맵은 변화될 수 있거나, 또는 다른 변형일 수 있다. FFR 표현형의 경우, 예를 들어 물리적 FFR과의 비교를 용이하게 하기 위해 정상 또는 비정상과 같은 값이 사용될 수 있고/있거나 숫자가 사용될 수 있다.
도 20은 다른 질병, 예를 들어 폐암에 대한 예이다. 이 예에서, 매스들(masses)의 아형은 명백한 표현형을 기반으로 환자에게 아마도 가장 유익한 치료를 지시하도록 결정된다.
CNN은 (단지) 분석물 영역 측정에 포함되지 않은 공간 컨텍스트를 추출하는 필터를 포함하기 때문에 CNN은 판독-벡터 분류보다 더 잘 수행할 것으로 예상된다. 감소된 훈련 세트에도 불구하고 CNN을 사용하는 것이 실용적일 수 있는데, 그 이유는 다음과 같다:
1) (생체 외 조직을 필요로 하는 연구 분석에서 수행될 수 있는 것과 같이 완전한 과립상(granular)dlrll 보다는) 상당히 다른 치료 대안, 예를 들어 분류 문제에 대한 세 가지 표현형, 결과 예측/위험 계층화 문제에 대한 세 가지 위험 수준에 대응하는 상대적으로 소수의 클래스가 있으며, 따라서 일반적으로 문제가 더 쉽다.
2) 예를 들어 레벨 세트 또는 기타 알고리즘 클래스에 의해 분석물 영역을 거짓 색 영역으로 처리하는 것은 분할을 생성하고 분류기에 단순화되지만 상당히 풍부한 데이터 세트를 제공함으로써 이미지 해석의 상당 부분을 수행한다. 측정 가능한 파이프라인 단계는 데이터의 차원을 줄이면서(CNN이 해결해야 하는 문제의 복잡성을 줄임) 또한 전체 파이프라인에서 신뢰도를 높일 수 있는 검증 가능한 중간 값을 제공한다.
3) 정규화된 좌표계를 사용하여 데이터를 다시 포맷팅하는 것은 분류에 실질적인 영향을 미치지 않는 변수, 예를 들어, 플라크 표현형 예에서의 혈관 크기로 인한 노이즈 변동을 제거한다.
이 아이디어를 테스트하기 위해 파이프라인은 세 단계로 구성되도록 구축되었다.
1) 바이오매스의 어느 영역이 특정 클래스에 속하는지를 식별하기 위한 의미론적 분할
2) 정맥/동맥 단면을 직사각형으로 변환하기 위한 공간적 언래핑(unwrapping)
3) 주석이 달린 직사각형을 읽고 그것이 어느 클래스(안정 또는 불안정)에 속하는지를 식별하도록 훈련된 CNN.
일반성의 손실없이, 본원에 설명된 예시적 시스템 및 방법은 공간적 언래핑을 적용할 수 있다(예를 들어, (언래핑된 데이터 세트)로 그리고 (도넛 데이터 세트) 공간적 언래핑이 없이 CNN을 훈련 및 테스트). 검증 정확도를 향상시키기 위해 언래핑이 관찰되었다.
의미론적 분할 및 공간적 언래핑:
먼저, 이미지 볼륨이 전처리된다. 이는 표적 초기화, 정규화, 및 표현형이 될 생리학적 표적을 포함한 관심 영역을 형성하기 위한 디블러링 또는 복원과 같은 기타 전처리를 포함할 수 있다. 상기 영역은 해당 볼륨을 통과하는 단면으로 구성된 볼륨이다. 신체 부위는 자동으로 결정되거나 사용자에 의해 명시적으로 제공된다. 본질적으로 관 형태인 신체 부위에 대한 표적은 중심선을 가지고 있다. 중심선은, 존재하는 경우, 분기할 수 있다. 분기는 자동으로 또는 사용자에 의해 라벨링될 수 있다. 중심선에 대한 일반적인 개념은 관 형태는 아니지만 일부 구조적 방향성, 예를 들어, 종양의 영역에 의해 혜택을 받는 해부학에 대해 표현될 수 있다. 어느 경우에도, 볼륨의 각 횡단면에 대해 도심이 결정된다. 관형 구조의 경우, 이는 채널의 중심, 예를 들어, 혈관의 내강이 될 것이다. 병변의 경우, 이것은 종양의 질량 중심이 될 것이다.
도 21은 예시적인 이미지 전처리 단계를 도시한 것으로, 이러한 경우 환자별 포인트 확산 결정 알고리즘을 사용하여 디블러링 또는 복원함으로써 표현형의 예측 특성을 결정하는 능력을 감소시킬 수 있는 이미지 형성 프로세스에서 발생하는 아티팩트 또는 이미지 제한을 완화시킨다. 본 도면은 CT에서 플라크의 방사선 분석 애플리케이션 분석의 일부를 보여준다. 본 도면에는 이미지의 여러 영역의 실제 잠재 밀도에 대한 가정을 정규화하여 스캐너 포인트 확산 함수의 물리적 모델을 반복적으로 피팅한 결과인 디블러링되거나 복원된 이미지가 도시되어 있다. 본 도면은 정량적 단계를 수행하는 능력을 돕기 위해 다양한 이미지 처리 작업이 수행될 수 있다는 것을 설명하기 위해 포함된 것이며, 이러한 방법이 본 개시내용에서 특정 발명에 필요하다는 것을 나타내려는 것이 아니라 그 보다는 오히려 전반적인 성능을 개선하기 위해 취해질 수 있는 단계의 예시일 뿐이다.
(선택적으로 디블러링되거나 복원된) 이미지는 데카르트 데이터 세트로 표현되며, 여기서 x는 도심에서 떨어져 있는 거리를 나타내는데 사용되고, y는 회전 세타를 나타내는데 사용되며, z는 단면을 나타내는데 사용된다. 하나의 이러한 데카르트 세트는 분기 또는 지역별로 형성될 것이다. 다중 세트가 사용되는 경우, 중첩 영역에 대해서는 "null" 값이 사용될 것이다, 즉, 각각의 물리적 복셀(physical voxel)은 기하학적으로 함께 일치시키는 방식으로 세트에서 한 번만 표시될 것이다. 각 데이터 세트는 객관적으로 검증 가능한 조직 구성으로 라벨링되는 하위 영역을 가진 추가적인 데이터 세트와 쌍을 이루게 될 것이다 (예를 들어, 도 36 참조). 혈관 조직에 대한 예시적인 라벨은 내강, 석회화, LRNC 등일 수 있다. 병변에 대한 예시적인 라벨은 괴사, 혈관 신생 등일 수 있다. 이러한 라벨은, 예를 들어 조직학에 의해 객관적으로 검증될 수 있다(예를 들어, 도 37 참조). 쌍을 이룬 데이터 세트는 컨볼루션 신경망을 구축하기 위한 훈련 단계의 입력으로 사용된다. 두 가지 수준의 분석이 지원되는데, 하나는 개별 단면 수준에서(여기서, 선택적으로 출력은 인접 단면에서 지속적으로 변한다), 그리고 두 번째는 볼륨 수준에서(여기서 개별 단면은 스틸 프레임으로 간주될 수 있으며, 혈관 트리 운행은 영화와 유사한 것으로 간주될 수 있다) 지원된다.
예시적인 CNN 설계:
AlexNet은 2012 년 ImageNet Large Scale Visual Recognition Challenge에서 경쟁했던 CNN이다. 네트워크는 15.3%의 상위 5대 오류를 달성하였다. AlexNet은 당시에 U Toronto의 Alex Krizhevsky, Geoffrey Hinton 및 Ilya Sutskever로 구성된 주관 그룹에 의해 설계되었다. AlexNet은 시작 단계부터 (네트워크 훈련 중 훈련 및 검증 단계에서 사용되지 않고) 독립적인 이미지 세트를 분류하도록 훈련되었다. 언래핑된 데이터의 경우, 400x200 픽셀 입력을 갖는 AlexNet 스타일 네트워크가 사용되었으며 도넛 네트워크는 280x280 픽셀 입력(대략 해상도는 같지만 종횡비는 다름)을 갖는 AlexNet 스타일이다. 모든 컨볼루션 필터 값은 ImageNet 데이터 세트에서 훈련된 AlexNet에서 가져온 가중치로 초기화되었다. ImageNet 데이터 세트는 자연스러운 이미지 데이터 세트이지만, 이는 단순히 효과적인 가중치 초기화 방법으로서 제공한다. 훈련이 시작되면, 모든 가중치는 새로운 작업에 더 잘 맞도록 조정된다. 대부분의 훈련 일정은 오픈 소스 AlexNet 구현에서 직접 가져 왔지만 약간의 조정이 필요하였다. 구체적으로는, AlexNet-donut 및 AlexNet-언래핑 네트워크 모두에 대해 기본 학습률은 0.001(solver.prototxt)로 감소되었고 배치 크기는 32(train_val.prototxt)로 감소되었다. 모든 모델은 10,000회 반복하여 훈련하였으며, 단 2,000회 반복 훈련까지만 스냅 샷과 비교하였다. 과적합에 대한 보다 심층적인 연구가 수행될 수 있지만, 일반적으로는 훈련 및 검증 오류 모두 2k 반복과 10k 반복 사이에서 감소되는 것으로 밝혀졌다.
대체 피처라이저(alternative featurizer)(prefixes)는 다음을 포함할 수 있다:
ㆍ ResNet - https://arxiv.org/abs/1512.03385
ㆍ GoogLeNet - https://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf
ㆍ ResNext - https://arxiv.org/abs/1611.05431
ㆍ ShuffleNet V2 - https://arxiv.org/abs/1807.11164
ㆍ MobileNet V2 - https://arxiv.org/abs/1801.04381
단면 간의 프레임-프레임 중복(때로는 "일시적" 중복이라고도 하지만 우리의 경우에는 단면간 중복의 한 형태임)과 같은 런타임 최적화를 활용하여 계산 비용을 절감할 수 있다(예를 들어, http://arxiv.org/abs/1803.06312 참조). 훈련 또는 추론을 위한 많은 최적화가 구현될 수 있다.
예시적인 테스트 구현에서, AlexNet은 V 및 VI의 조직학 기반 플라크 유형을 기반으로 하여 '불안정한' 플라크 및 '안정한' 플라크와 같은 임상 적 중요성의 두 범주 사이에서 독립적인 이미지 세트를 분류하도록 훈련되었던 반면, 후자는 미국 심장 협회(AHA: American Heart Association)에서 승인한 업계 사실상의 표준 플라크 분류 명명법을 따르고 Virmani와 관련이 있지만 별개의 유형 결정 시스템에 따르는 플라크 유형 VII 및 VIII를 포함한다.
일반성을 잃지 않고 예시된 예에서 전체적인 정확도와 혼동 매트릭스 모두를 사용하여 성능을 평가하였다. 이러한 형식은 이진 분류 시스템에서 참 긍정, 참 부정, 거짓 긍정 및 거짓 부정의 네 가지 가능성을 계산한다는 개념에 기반하였다. 예시적인 실시형태에서, 다른 결과 변수가 사용될 수 있지만, 예를 들어, 결과 변수로서 감도 및 특이성 또는 FI 스코어(정밀도 및 감도의 조화 평균)를 이용할 수 있다. 대안적으로, AUC 특성이 이진 분류기에서 계산될 수 있다. 또한, 분류기는 이진 기반일 필요가 없다. 예를 들어, 일부 실시형태에서, 분류기는 2개 초과의 가능한 상태에 기초하여 분류할 수 있다.
데이터 세트 증강:
내과의 주석이 달린 데이터는 비용이 많이 들기 때문에, 의료 데이터 세트를 (예를 들어, 훈련 및/또는 검증시에 사용하기 위하여) 인위적으로 증가시키는 것이 바람직하다. 본원에서 기술되는 예시적인 실시형태예에서는 2 가지의 상이한 증강 기술이 사용되었다. 도넛은 수평으로 무작위로 뒤집어 졌을뿐만 아니라 0 내지 360의 무작위 각도로 회전되었다. 생성되는 회전된 도넛은, 도넛이 존재하는 범위로 절편된 다음 블랙 픽셀로 패딩되어 정방형 종횡비를 갖도록 이미지를 채웠다. 이어서, 결과는 280x280 크기로 조정되고 PNG로 저장되었다.
언래핑된 데이터 세트는 수평으로 무작위로 뒤집어 증강시킨 다음 0에서 이미지 너비까지의 범위에서 임의의 픽셀 수만큼 "스크롤"되었다. 이어서, 결과는 400x200 크기로 조정되고 PNG로 저장되었다.
두 데이터 세트 모두 15배 증가되었으며, 이는 증강 후 이미지의 총수가 본래 개수의 15배인 것을 의미한다. 클래스 정규화가 구현되었으며, 이는 최종 데이터 세트가 각 클래스와 관련된 이미지의 수와 거의 동일하다는 것을 의미한다. 이는, 각 클래스에 대한 이미지의 본래의 개수가 다를 수 있으므로 훈련 세트에서 더 많은 개수의 이미지를 가진 클래스로 분류기를 편향시킬 수 있기 때문에 중요하다.
일반성을 상실하지 않고, 주석을 수행한 각 방사선 전문의는 임의의 수의 조직 유형을 이용할 수 있다.
도 22는 본 발명의 양태를 입증하는데 사용되는 예시적인 적용을 도시하며, 이 경우에는 (예로서 특이 대상 데이터를 사용하는) 죽상 경화성 플라크 표현형 분류의 분류를 위한 것이다. 상이한 색상은 상이한 조직 분석 물질 유형을 나타내며, 암회색은 달리는 정상적인 벽을 나타낸다. 본 도면은 플라크 표현형을 나타내는 조직 특성의 기저 tmth 주석의 결과뿐만 아니라 그들이 혈관의 축에 대해 직각으로 취해진 단면에서 어떻게 나타나는지에 대한 공간적 상황을 예시한다. 또한, 많은 수의 조직학적 단면 분석을 위한 일반적인 기초를 제공하기 위해 개발된 좌표계를 예시한다. 그리드 선이 좌표계(접선 대 방사형 거리)를 입증하기 위해 추가되고 색으로 구분된 병리학자의 주석 위에 오버레이된다. 이것의 중요한 양태는 이러한 종류의 데이터 세트가 더 높은 해상도의 전체 이미지 대신에 상대적으로 단순한 가색 이미지를 사용하여 정보를 단순화하기 때문에, 예를 들어 "냅킨 링 기호", 병치 칼슘, 얇은(또는 두꺼운) 캡(LRNC와 내강 사이의 간격) 등을 표시하기 위한 공식적인 표현을 갖도록 딥 러닝 접근 방식에서 공간적 상황을 상실하지 않고서 효율적으로 사용될 수 있다는 것이다.
도 23은 단위 페이저를 사용하여 내부적으로 표현된 접선 및 방사형 변수를 도시하며, 여기에서 그레이 스케일로 코딩된 페이저 각도는 관형 구조(예를 들어, 위장관)와 관련된 혈관 및 기타 병태 생리와 관련된 관형 구조에 대한 정규화된 축의 사용을 예시한다. 검정에서 흰색까지의 수직 막대는 전적으로 그레이 스케일 인코딩에 기인한 임의 경계이며 정규화된 방사형 거리는 내강 경계에서 0의 값을 갖고, 외부 경계에서 1의 값을 갖는다는 사실에 유의해야 한다.
도 24는 조직 구조(단색 영역)에서 병리학자에 의해 생성된 주석 위에 CTA(색이 채워지지 않은 윤곽선)로부터 생성된 주석을 방사선 분석 애플리케이션에서 생성한 예시적인 오버레이를 도시한다. 본원에서 제시되는 시스템 및 방법의 예시적인 양태는 생체 내 비침습적 이미징을 형성하는 윤곽이 표현형을 비침습적으로 결정하기 위해 분류 체계와 함께 사용될 수 있다는 것이며, 여기서 분류기는 공지된 기저 tmth 상에서 훈련된다. 구체적으로, (대응성을 보여주기 위해 제공된 이러한 특정 섹션에 대한 생체외 주석과의 관계를 모호하게 하지 않기 위해) 본 도면에서 채워지지 않은 채로 도시된 윤곽선을 채우면 분류기에 대한 입력 데이터가 생성된다.
도 25는 추가의 데이터 보강 단계로서, 구체적으로는 벽 두께 및 방사형 표시와 관련된 무관 변동을 방지하기 위해 정규화된 좌표계를 활용하는 단계를 나타낸다. 구체적으로, "도넛"은 병리학자 주석을 유지하면서 "언래핑"된다. 왼쪽 패널은 절단되어 개방된 "C" 형상을 온전한 혈관 벽의 생체내 "O" 형상으로 다시 변환하기 위해 모핑한 후 플라크의 조직학적 단편의 병리학 자 영역 주석을 예시한다. 수평 축은 벽 주변의 접선 방향이다. 수직 축은 정규화된 방사형 방향이다(하단은 내강 표면이며, 상단은 외부 표면이다). 또한, 병리학자 주석의 세밀한 세분화(finer granularity)는 생체내 방사선 분석 애플리케이션(예를 들어, LRNC, CALC, IPH)에서 추출하려고 의도된 세분화와 일치하도록 축소되었다. 오른쪽 패널은 비교 가능한 언래핑된 방사선 분석 애플리케이션 주석을 예시한다. 축과 색상은 병리학자 주석과 동일하다.
도 26은 플라크 표현형 예제와 관련된 다음 개선 사항을 도시한다. 언래핑된 형식주의, 내강 불규칙성(예를 들어 궤양 또는 혈전으로 인한 결과) 및 국부적으로 다양한 벽 비후화가 나타나 있다. 하단의 밝은 회색은 내강을 나타내며(이 단계에서 내강 표면의 불규칙성을 나타내기 위해 첨가됨) 이전 단계에서 사용된 검은 색은 이제 벽 두께의 변화를 나타내기 위해 암회색으로 대체된다. 이제 검은 색은 전적으로 벽 외부 영역을 나타낸다.
도 27은, 예를 들어, 필요에 따라 (예를 들어, 특정 대상의 데이터를 사용하여) 플라크 내 출혈 및/또는 다른 형태학적 양태를 포함하기 위한 추가적인 예를 도시한다. 왼쪽 패널은 도넛 표현을 나타내며, 오른쪽 패널은 언래핑된 내강 표면과 두껍게 표현된 국소화된 벽을 나타낸다.
테스트된 예시적인 CNN은 AlexNet 및 Inception 프레임 워크에 기반한 CNN을 포함하였다.
AlexNet 결과:
테스트된 예시적인 실시형태에서, 모든 컨볼루션 필터 값은 (본원에서 인용된) ImageNet 데이터 세트에서 훈련된 AlexNet에서 가져온 가중치로 초기화되었다. ImageNet 데이터 세트는 자연스러운 이미지 데이터 세트이지만, 이는 단순히 효과적인 가중치 초기화 방법으로서 제공한다. 훈련이 시작되면, 모든 가중치는 새로운 작업에 더 잘 맞도록 조정된다.
대부분의 훈련 일정은 오픈 소스 AlexNet 구현에서 직접 가져 왔지만 약간의 조정이 필요하였다. 구체적으로는, alexnet-도넛 및 alexnet-언래핑 네트워크 모두에 대해 기본 학습률은 0.001(solver.prototxt)로 감소되었고 배치 크기는 32(train_val.prototxt)로 감소되었다.
모든 모델은 10,000회 반복하여 훈련하였으며, 단 2,000회 반복 훈련까지만 스냅 샷과 비교하였다. 과적합에 대한 보다 심층적인 연구가 수행될 수 있지만, 일반적으로는 훈련 및 검증 오류 모두 2k 반복과 10k 반복 사이에서 감소되는 것으로 밝혀졌다.
새로운 AlexNet 네트워크 모델 브랜드는 두 명의 주요 병리학자의 실측 결과, 두 가지의 상이한 이미지 처리 방법(상기 참조)뿐만 아니라 언래핑된 이미지 및 도넛 이미지의 4 가지 상이한 조합에 대해 처음부터 훈련되었다. 그 결과는 도 28에 열거되어 있다. 각각의 데이터 세트 변형은 클래스 정규화가 활성화된 상태에서 훈련 데이터가 15배 증강되었다. 네트워크는 이러한 증강 데이터에 대해 훈련된 다음 해당 변동에 해당하는 증강되지 않은 검증 데이터에서 테스트되었다. 언래핑된 데이터의 경우, 400x200 픽셀 입력을 갖는 AlexNet 스타일 네트워크가 사용되었으며 도넛 네트워크는 280x280 픽셀 입력(대략 해상도는 같지만 종횡비는 다름)을 갖는 AlexNet 스타일이다. 테스트 실시형태에서, 종래의 계층들뿐만 아니라 완전 연결 계층들의 치수가 변경되었다는 사실에 유의해야 한다. 따라서, AlexNet 테스트 실시형태의 네트워크는 5 개의 컨볼루션 계층, 3개의 완전 연결 계층 네트워크로서 설명될 수 있다. 세분화를 유지하면서, 이러한 결과로부터 설명되는 몇 가지 수준 높은 결론은 다음과 같다:
1) WN_RV 데이터 세트를 제외하고, 언래핑된 데이터는 전반적으로 더 높은 유효성 검사 정확도를 받기 때문에 데이터를 분석하는 것이 더 쉬운 것으로 실제 보여진다.
2) 비정규화 데이터는 예상보다 더 대표적인 것으로 입증된다.
3) WN-RV 데이터 세트와 관련하여, 원래 아이디어는 WN 및 RV 사실 데이터를 통합해서 타이핑 시스템의 호환성과 세트가 병합될 수 있는 정도를 확인하는 것이었다. 이러한 과정에서, WN 대 RV 데이터에서 상당한 차이가 관찰되었다. WN_RV 실험의 원래 의도는 정보가 효능에 기여했는지 확인하기 위해 여러 병리학자의 훈련 데이터를 통합하는 것이었다. 대신에, 개선보다는 저하가 관찰되었다. 이는 이러한 데이터 통합을 방해하는 색 배합의 변화 때문인 것으로 판단되었다. 따라서, 통합을 활성화하기 위해 색 배합을 정규화하는 것을 고려할 수 있다.
예시적인 대안적 네트워크: Inception:
Inception v3 CNN의 전이 학습 재훈련은 공용 사용으로 텐서플로 사이트에 업로드된 2016년 8월 8일 버전의 네트워크로 시작되었다. 네트워크는 10,000 단계로 훈련되었다. 훈련 및 검증 세트는 이미지 확대를 통해 이미지 수로 정규화되었으므로 두 하위 세트 모두 주석이 추가된 이미지의 수가 동일하다. 다른 모든 네트워크 파라미터는 디폴트 값으로 사용되었다.
사전 훈련된 CNN은 Google Inception v3 CNN의 경우에 차원이 2048 × 2인 숫자 텐서인 마지막 회선 계층의 출력을 사용하여 이미징 특징을 분류하는 데 사용될 수 있다. 그 후, SVM 분류기를 훈련시켜 객체를 인식한다. 이러한 프로세스는 일반적으로 ImageNet 2014 데이터 세트에서 처음 훈련된 모델이 마지막 소프트맥스 층을 제거하고 새로운 이미지 범주를 인식하도록 재훈련된 전이 학습 및 미세 조정 단계 후에 Inception 모델에서 수행된다.
대안적인 실시형태:
도 29는 잠재적으로 암성 폐 병변의 표현형에 대한 대안적인 예를 제공한다. 가장 좌측 패널은 분할된 병변의 윤곽을 나타내며, 전처리를 통해 고체 대 반고체("간유리) 하위 영역으로 분리한다. 중간 패널은 폐에서의 위치를 나타내며, 가장 우측 패널에는 가색 오버레이가 표시된다. 이 경우, 병변의 3차원 특성이 중요한 것으로 간주될 수 있으므로 2차원 단면을 별도로 처리하는 대신 컴퓨터 비전에서 비디오 해석과 같은 기술을 분류기 입력 데이터 세트에 적용할 수 있다. 사실, 중심선을 따른 "영화" 시퀀스에서처럼 여러 단면을 순차적으로 처리하면 관형 구조에 대해 이러한 방법을 일반화할 수 있다.
다른 일반화는 가색이 개별 팔레트에서 선택되지 않고 대신 픽셀 또는 복셀 위치에서 연속 값을 갖는 경우이다. 폐의 예를 사용하여, 도 30은 각 복셀에 대해 계산할 수 있는 소위 "방사체" 특징으로 지칭되는 일련의 특징을 나타낸다. 이러한 값 세트는 임의의 수의 전처리된 오버레이에 존재할 수 있으며 표현형 분류기에 공급될 수 있다.
다른 대안적인 실시형태는 예를 들어 단일 시점으로부터의 (오직) 데이터보다는 다중 시점으로부터 수집된 변경 데이터를 사용하는 것을 포함한다. 예를 들어, 음성 세포 유형의 양이나 특성이 증가하면, "감염자" 표현형 대 감소에 대한 "회귀자" 표현형이라고 할 수 있다. 회귀자는 예를 들어 약물에 대한 반응 때문일 수 있다. 대안적으로, 예를 들어 LRNC에 대한 변화 속도가 빠르다면, 이는 다른 표현형을 의미할 수 있다. 델타 값 또는 변화율을 사용하기 위한 예시의 확장은 당업자에게 자명하다.
추가 대안적인 실시예로서, 다른 분석(예를 들어, 실험실 결과), 인구 통계/위험 인자, 또는 방사선 이미지에서 취한 기타 측정에서 파생된 것과 같은 비공간 정보는 CNN의 최종 층에 공급되어 공간 정보를 비공간 정보와 조합한다. 또한, 이미징에서 전체 3D 좌표의 추론에 의해 분기 또는 오스티아와 같은 기준으로부터 혈관을 따라 하나 이상의 특정 위치에서 판독 값과 함께 압력 와이어를 사용하는 것과 같은 국부적인 정보가 결정될 수 있다.
이러한 예의 초점이 표현형 분류에 있었지만, 유사한 접근법이 본 발명의 추가 실시형태로서 결과 예측의 문제에 적용될 수 있다.
예시적인 구현예:
본 개시내용의 시스템 및 방법은 유리하게는 다단식 단계로 구성된 파이프라인을 포함할 수 있다. 도 34는 계층적 분석 프레임워크의 추가 구현예를 제공한다. 생물학적 특성은 지질이 풍부한 괴사성 코어, 캡 두께, 협착증, 확장, 리모델링 비율, 비틀림(예를 들어, 입구 및 출구 각도), 석회화, IPH 및/또는 궤양의 예시적인 적용 분야에서 생물학적 특성을 단독으로 또는 조합하여 식별하기 위해 의미론적 분할에 의해 식별 및 정량화되고, 이는 수치적으로 표현될 뿐만 아니라 공간적 언래핑이 있는 풍부한 데이터 세트에서 정맥/동맥 단면을 직사각형으로 변환한 다음 의학적 상태(예를 들어, 허혈을 유발하는 부분 유량 예비 FFR, 고위험 표현형 HRP, 및/또는 훈련된 CNN(s)을 사용하여 풍부한 데이터 세트를 읽고 조건을 식별하고 특성화하는 위험 계층화 시간(TTE)으로 표현된다. 환자의 이미지가 수집되고, 원시 절편 데이터는 일련의 알고리즘에서 객관적으로 검증될 수 있는 생물학적 특성을 측정하는 데 사용되며, 이들은 차례로 하나 이상의 CNN 중 하나를 공급하기 위해 풍부한 데이터 세트로 형성되고, 이 예에서는 결과가 반복 CNN을 사용하여 정방향 및 역전파되어 제약 조건을 구현하거나 연속 조건을 생성한다(예를 들어, 혈관 트리 전체에서 근위부에서 원위부로 단조 감소하는 부분 유량 예비, 또는 초점 병변의 일정한 HRP 값 또는 기타 제약). HRP에 대한 실측 데이터는 생체 외에서 결정된 주어진 단면에서 전문 병리학자가 결정한 플라크 유형으로 존재할 수 있다. FFR에 대한 실측 데이터는 하나 이상의 측정된 값이 있는 물리적 압력 와이어에서 가져올 수 있으며 주어진 측정 값의 근위 중심선을 따라 위치에 대한 네트워크 훈련이 측정된 값보다 크거나 같도록 제한되고 원위 위치가 제한될 수 있고, 동일한 중심선에서 2개의 측정 값이 알려진 경우에 두 측정 값 사이의 값이 간격 내에서 제한된다.
이러한 특성 및/또는 상태는 주어진 시점에서 평가될 수 있으며 및/또는 (길이 방향으로) 시간에 따라 변화할 수 있다. 일반성의 손실없이, 플라크 표현형 또는 다른 적용 분야에서 유사한 단계를 수행하는 다른 실시형태는 본 발명의 실시형태일 것이다.
예시적인 구현예에서, 생물학적 특성은 다음 중 하나 이상을 포함할 수 있다:
ㆍ 혈관 신생
ㆍ 신혈관 형성
ㆍ 염증
ㆍ 석회화
ㆍ 지질 침착
ㆍ 괴사
ㆍ 출혈
ㆍ 궤양
ㆍ 강성
ㆍ 밀도
ㆍ 협착
ㆍ 확장
ㆍ 리모델링 비율
ㆍ 비틀림
ㆍ (예를 들어, 채널 내 혈액의) 유량
ㆍ (예를 들어, 채널 내의 혈액 또는 다른 조직을 압박하는 한 조직의) 압력
ㆍ 세포 유형(예를 들어, 대식세포)
ㆍ (예를 들어, 평활근 세포의) 세포 정렬
ㆍ (예를 들어, 채널 내 혈액의) 전단 응력
분석은 전술한 생물학적 특성 각각에 대한 정량, 정도 및/또는 문자 중 하나 이상을 결정하는 것을 포함할 수 있다.
생물학적 특성에 따라 결정할 수 있는 조건은 다음 중 하나 이상을 포함할 수 있다:
ㆍ (예를 들어, 뇌 또는 심장 조직의) 관류/허혈(제한적)
ㆍ (예를 들어, 뇌 또는 심장 조직의) 관류/경색(절단시)
ㆍ 산소화
ㆍ 물질대사
ㆍ 유량 예비(관류 능력) 예를 들어, FFR(+) 대 (-) 및/또는 연속 수
ㆍ 악성
ㆍ 침입
ㆍ 고위험 플라크 예를 들어, HRP(+) 대 (-) 및/또는 라벨링된 표현형
ㆍ 위험 계층화(발병 확률 또는 발병 시간)(예를 들어, 명시적으로 언급된, MACCE)
사실 기반 형식의 유효성 검사에는 다음을 포함할 수 있다:
ㆍ 생체검사
ㆍ 절제된 조직을 형성하는 전문가 조직 주석(예를 들어, 내막 절제술 또는 부검)
ㆍ 절제된 조직 상의 전문가 표현형 주석(예를 들어, 내막 절제술 또는 부검)
ㆍ 물리적 압력 와이어
ㆍ 기타 이미징 방식
ㆍ 생리적 모니터링(예를 들어, ECG, Sa02 등)
ㆍ 게놈 및/또는 단백질체 및/또는 대사체 및/또는 전사체 분석
ㆍ 임상 결과
분석은 주어진 시점과 길이 방향으로(즉, 시간에 따른 변화) 모두에서 수행될 수 있다.
예시적인 시스템 아키텍처:
도 31은 본 개시내용의 시스템 및 방법에 따라 분석물 플랫폼과 상호 작용하는 사용자 및 다른 시스템의 상위 수준 도면을 나타낸다. 이러한 도면에서 이해 관계자는 상호 운용성, 보안, 장애 조치 및 재해 복구, 규제 문제를 가진 시스템 관리자, 지원 기술자를 포함한다.
플랫폼은 두 가지 주요 구성; 온-프레미스 또는 원격 서버로 배치될 수 있다(도 32). 플랫폼 배치는 독립형 구성(좌측 상부), 온-프레미스 서버 구성(좌측 하부) 또는 원격 서버 구성(우측)일 수 있다. 온-프레미스 배치 구성에는 2개의 하위 구성; 데스크탑 전용 또는 랙마운트가 있을 수 있다. 원격 구성에서, 플랫폼은 HIPAA 준수 데이터 센터에 배치될 수 있다. 클라이언트는 보안 HTTP 연결을 통해 해당 API 서버에 액세스한다. 클라이언트는 데스크톱 또는 태블릿 브라우저일 수 있다. 웹 브라우저를 실행하는 컴퓨터를 제외한 하드웨어는 고객 사이트에 배치되지 않는다. 배치된 서버는 공용 클라우드 또는 VPN을 사용하는 고객의 사설 네트워크 확장에 있을 수 있다.
예시적인 실시형태는 클라이언트 및 서버로 구성된다. 예를 들어, 도 33은 클라이언트를 C++ 애플리케이션으로, 서버를 파이톤 애플리케이션으로 나타낸다. 이러한 구성요소는 HTML 5.0, CSS 5.0, 및 자바스크립트를 사용하여 상호 작용한다. 가능한 개방형 표준이 다음을 포함하되 이에 국한되지 않는 인터페이스에 사용된다; HTTP(S), REST, DICOM, SPARQL 및 JSON. 기술 스택의 주요 부분을 보여주는 이러한 도면에 표시된 대로 타사 라이브러리도 사용된다. 당업자는 많은 변형 및 상이한 접근법을 이해할 수 있다.
전술한 시스템 및 방법의 다양한 실시형태는 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어 및/또는 소프트웨어에서 구현될 수 있다. 구현은 컴퓨터 프로그램 제품(즉, 정보 매체에 유형적으로 구현된 컴퓨터 프로그램)일 수 있다. 예를 들어, 구현은 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위해 기계 판독 가능 저장 장치 및/또는 전파된 신호에 있을 수 있다. 예를 들어, 구현은 프로그래머블 프로세서, 컴퓨터 및/또는 다중 컴퓨터일 수 있다.
컴퓨터 프로그램은 컴파일 및/또는 해석 언어를 포함한 모든 형태의 프로그래밍 언어로 작성될 수 있으며 컴퓨터 프로그램은 독립형 프로그램 또는 서브 루틴, 요소 및/또는 컴퓨팅 환경에서 사용하기에 적합한 장치 다른 유닛을 포함하여 모든 형태로 배치될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트의 여러 컴퓨터에서 실행되도록 배치될 수 있다.
방법 단계는 입력 데이터에 대해 동작하고 출력을 생성함으로써 본 발명의 기능을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래머블 프로세서에 의해 수행될 수 있다. 방법 단계는 또한 특수 목적 논리 회로에 의해 수행될 수 있으며 장치는 특수 목적 논리 회로로 구현될 수 있다. 회로는 예를 들어 FPGA(필드 프로그래머블 게이트 어레이) 및/또는 ASIC(애플리케이션 특정 집적 회로)일 수 있다. 모듈, 서브 루틴 및 소프트웨어 에이전트는 해당 기능을 구현하는 컴퓨터 프로그램, 프로세서, 특수 회로, 소프트웨어 및/또는 하드웨어의 일부를 지칭할 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 실행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치(예를 들어, 자기, 광 자기 디스크 또는 광 디스크)로부터 데이터를 수신하고 및/또는 데이터를 전송하도록 작동 가능하게 결합될 수 있다.
데이터 전송 및 명령은 통신 네트워크를 통해 발생할 수도 있다. 컴퓨터 프로그램 명령 및 데이터를 구현하는 데 적합한 정보 매체는 예를 들어 반도체 메모리 장치를 포함하여 모든 형태의 비휘발성 메모리를 포함한다. 정보 매체는 예를 들어 EPROM, EEPROM, 플래시 메모리 장치, 자기 디스크, 내부 하드 디스크, 이동식 디스크, 광 자기 디스크, CD-ROM 및/또는 DVD-ROM 디스크일 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완 및/또는 통합될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 전술한 기술은 디스플레이 장치를 갖는 컴퓨터에서 구현될 수 있다. 디스플레이 장치는 예를 들어 음극선 튜브(CRT) 및/또는 액정 디스플레이(LCD) 모니터일 수 있다. 사용자와의 상호 작용은 예를 들어 사용자에게 정보를 표시하는 디스플레이, 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는(예를 들어, 사용자 인터페이스와 상호 작용함) 포인팅 장치(예를 들어, 마우스 또는 트랙볼)일 수 있다. 다른 종류의 장치를 사용하여 사용자와의 상호 작용을 제공할 수 있다. 예를 들어, 다른 장치는 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)으로 사용자에게 피드백을 제공할 수 있다. 예를 들어, 사용자로부터의 입력은 음향, 음성 및/또는 촉각 입력을 포함한 임의의 형태로 수신될 수 있다.
전술한 기술은 백엔드 구성요소를 포함하는 분산 계산 시스템에서 구현될 수 있다. 백엔드 구성요소는 예를 들어 데이터 서버, 미들웨어 구성요소 및/또는 응용 프로그램 서버일 수 있다. 전술한 기술은 프런트엔드 구성요소를 포함하는 분산 계산 시스템에서 구현될 수 있다. 프론트엔드 구성요소는 예를 들어 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터, 사용자가 예시적인 구현과 상호 작용할 수 있는 웹 브라우저, 및/또는 전송 장치를 위한 다른 그래픽 사용자 인터페이스일 수 있다. 시스템의 구성요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 유선 네트워크 및/또는 무선 네트워크를 포함한다.
시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 전형적으로 통신 네트워크를 통해 상호작용한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들 상에 실행되는 컴퓨터 프로그램들에 의해 그리고 클라이언트-서버 관계를 서로 갖는 것에 의해 발생한다.
패킷 기반 네트워크는 예를 들어 인터넷, 캐리어 인터넷 프로토콜(IP) 네트워크(예를 들어, 근거리 통신망(LAN), 광역 통신망(WAN), 캠퍼스 영역 네트워크(CAN), 대도시 영역 네트워크(MAN), 홈 영역 네트워크(HAN)), 사설 IP 네트워크, IP 사설 교환기(IPBX), 무선 네트워크(예를 들어, 무선 접속망(RAN), 802.11 네트워크, 802.16 네트워크, 일반 패킷 무선 서비스(GPRS) 네트워크, HiperLAN), 및/또는 기타 패킷 기반 네트워크를 포함할 수 있다. 회로 기반 네트워크는 예를 들어 공중 교환 전화망(PSTN), 사설 교환기(PBX), 무선 네트워크(예를 들어, RAN, 블루투스, 코드 분할 다중 액세스(CDMA) 네트워크, 시분할 다중 액세스(TDMA) 네트워크, 이동 통신용 글로벌 시스템(GSM) 네트워크), 및/또는 기타 회로 기반 네트워크를 포함할 수 있다.
계산 장치는 예를 들어 컴퓨터, 브라우저 장치가 있는 컴퓨터, 전화, IP 전화, 모바일 장치(예를 들어, 휴대폰, 개인용 정보 단말기(PDA) 장치, 랩톱 컴퓨터, 전자 메일 장치), 및/또는 기타 통신 장치를 포함할 수 있다. 브라우저 장치는 예를 들어 월드 와이드 웹 브라우저(예를 들어, Microsoft Corporation에서 입수 가능한 Microsoft® Internet Explorer®, Mozilla Corporation에서 입수 가능한 Mozilla® Firefox)가 있는 컴퓨터(예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터)를 포함한다. 모바일 계산 장치는 예를 들어 Blackberry®, iPAD®, iPhone®, 또는 기타 스마트폰 장치를 포함한다.
본 개시내용의 많은 변경 및 수정이 전술한 설명을 읽은 후에 당업자에게 의심의 여지없이 명백해질 것이지만, 예시로서 도시되고 설명된 특정 실시형태는 결코 제한으로 간주되는 것으로 의도된 것이 아님을 이해해야 한다. 또한, 본 기술요지는 특정 실시형태를 참조하여 설명되었지만, 본 개시내용의 사상 및 범위 내의 변형이 당업자에게 발생할 것이다. 전술한 예는 단지 설명의 목적으로 제공된 것이며 본 개시내용을 제한하는 것으로 해석되어서는 안 된다는 점에 유의한다.
본 개시내용이 특정 실시형태를 참조하여 본원에서 설명되었지만, 본 개시내용은 본원에 개시된 세부사항에 제한되도록 의도되지 않고; 오히려 본 개시내용은 첨부된 청구 범위의 가장 넓은 범위 내에 있는 것을 포함하여 당업자에게 명백할 모든 변형 및 일반화로 확장된다.

Claims (15)

  1. 풍부한 방사선 데이터 세트를 사용하여 병리의 컴퓨터 지원 표현형 또는 결과 예측을 위한 방법으로서,
    환자에 대한 방사선 데이터 세트를 수신하는 단계 - 상기 방사선 데이터 세트는 비침습적으로 획득됨 - ;
    병리와 관련된 일련의 분석물에 대한 객관적인 검증을 통해 분석물 측정 또는 해부학적 구조, 해부학적 형상 또는 해부학적 기하학 구조, 조직 특성, 조직 유형, 조직 특징, 또는 이들의 조합의 분류를 수행하여 상기 데이터 세트를 풍부화하는 단계; 및
    상기 풍부한 데이터 세트를 처리하고 (i) 병리에 대한 표현형 또는 (ii) 병리와 관련된 예측 결과 중 하나 또는 둘 다를 결정하기 위해 알려진 실측에 기반한 기계 학습 분류 접근법을 사용하는 단계를 포함하고,
    상기 데이터 세트를 풍부화하는 단계는 생물학적으로 중요한 공간 컨텍스트를 강조하기 위해 상기 데이터 세트의 공간적 변환을 더 포함하고;
    상기 변환은 병리 적합 변환된 데이터 세트를 생성하기 위해 상기 방사선 데이터 세트의 병리적 맞춤식 구조의 단면에 대해 공간적으로 변형하는 것을 포함하고;
    상기 기계 학습 분류 접근법은 상기 병리 적합 변환된 데이터 세트에 적용되는 훈련된 컨볼루션 신경망(CNN)을 사용하는 것인, 풍부한 방사선 데이터 세트를 사용하여 병리의 컴퓨터 지원 표현형 또는 결과 예측을 위한 방법.
  2. 제1항에 있어서, 상기 방사선 데이터 세트의 이미지 볼륨은 분석될 생리학적 표적, 병변, 병변 세트, 또는 이들의 조합을 포함하는 관심 영역을 형성하도록 전처리되고, 상기 관심 영역은 하나 이상의 단면을 포함하고, 각 단면은 해당 볼륨을 통한 투영으로 구성되는, 방법.
  3. 제2항에 있어서, 상기 관심 영역이 본질적으로 방향성인 볼륨을 포함하는 경우, 해당 볼륨에 대한 중심선이 표시되어 상기 단면은 상기 중심선을 따라 취해지며 각 단면에 대해 도심(centroid)이 결정되고, 상기 전처리된 방사선 데이터 세트는 데카르트 좌표계로 표현되며, 이 경우 축은 각각 상기 중심선으로부터의 수직 거리와 상기 중심선 주위의 회전 세타를 나타내는 데 사용되는, 방법.
  4. 제3항에 있어서, 상기 관심 영역은 대응하는 방향성을 갖는 분기된 병리적 맞춤식 네트워크에서 복수의 분기를 포함하고, 각 분기에 대해 다른 데카르트 좌표계가 적용되는, 방법.
  5. 제4항에 있어서, 상기 분기의 임의의 초기 중첩 섹션은 단일 분기에 할당되는, 방법.
  6. 제2항에 있어서, 상기 관심 영역이 본질적으로 방향성인 볼륨을 포함하는 경우, 해당 볼륨에 대한 중심선이 표시되어 상기 단면은 상기 중심선을 따라 취해지며 각 단면에 대해 도심이 결정되고, 각 단면 내의 하위 영역은 조직 구성에 근거하여 객관적으로 검증 가능한 특성에 따라 분류되는, 방법.
  7. 제6항에 있어서, 조직 구성 분류는 병리적 맞춤식 조직 특성의 분류를 단독으로, 또는 이들의 조합으로 포함하는, 방법.
  8. 제6항에 있어서, 조직 구성 분류는 병리 내 출혈(IPH)의 분류를 더 포함하는, 방법.
  9. 제6항에 있어서, 상기 하위 영역은 비정상적인 형태에 기초하여 더 분류되는, 방법.
  10. 제9항에 있어서, 비정상적인 형태 분류는 병변의 식별, 분류, 또는 이들의 조합을 포함하는, 방법.
  11. 제1항에 있어서, 상기 기계 학습 분류 접근법은 훈련된 컨볼루션 신경망(CNN)을 사용하는 것이고, 상기 CNN은 AlexNET, Inception, CaffeNet, 또는 다른 오픈 소스 또는 상업적으로 입수 가능한 프레임워크의 리팩토링에 기반하는, 방법.
  12. 제1항에 있어서, 데이터 세트 풍부화는 분석물 하위 영역의 실측 주석 주석을 포함할 뿐만 아니라 이러한 분석물 하위 영역이 단면에 존재하는 방법에 대한 공간 컨텍스트를 제공하고, 상기 공간 컨텍스트는 각 단면의 도심에 대한 극좌표에 근거한 좌표계를 제공하는 것을 포함하는, 방법.
  13. 제12항에 있어서, 상기 좌표계는 관형 구조에 대한 방사상 좌표를 정규화함으로써 정규화되는, 방법.
  14. 제1항에 있어서, 상기 데이터 세트는 상이한 분석물 하위 영역을 나타내기 위해 서로 다른 색상을 시각적으로 사용함으로써 풍부화되고, 색 코딩된 분석물 영역은 (i) 시각화되는 병리적 맞춤식 표적, 병변, 병변 세트, 또는 이들의 조합의 내부 내강 내부의 중앙 내강 영역, (ii) 상기 병리적 맞춤식 표적, 병변, 병변 세트, 또는 이들의 조합의 비분석물 하위 영역, 및 (iii) 상기 병리적 맞춤식 표적, 병변, 병변 세트, 또는 이들의 조합의 외벽 외부의 외부 영역을 구별하는 주석 추가된 배경에 대해 시각적으로 묘사되는, 방법.
  15. 제1항에 있어서, 상기 기계 학습 분류 접근법은 병리의 컴퓨터 지원 표현형 또는 결과 예측을 위해 하나 이상의 기계 학습 모델을 구성하는 것을 포함하는, 방법.
KR1020207037314A 2018-05-27 2019-05-24 정량적 이미징을 이용하기 위한 방법 및 시스템 KR102491988B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862676975P 2018-05-27 2018-05-27
US62/676,975 2018-05-27
US201862771448P 2018-11-26 2018-11-26
US62/771,448 2018-11-26
PCT/US2019/033930 WO2019231844A1 (en) 2018-05-27 2019-05-24 Methods and systems for utilizing quantitative imaging

Publications (2)

Publication Number Publication Date
KR20210042267A KR20210042267A (ko) 2021-04-19
KR102491988B1 true KR102491988B1 (ko) 2023-01-27

Family

ID=68697312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037314A KR102491988B1 (ko) 2018-05-27 2019-05-24 정량적 이미징을 이용하기 위한 방법 및 시스템

Country Status (5)

Country Link
EP (1) EP3803687A4 (ko)
JP (2) JP7113916B2 (ko)
KR (1) KR102491988B1 (ko)
CN (1) CN112567378A (ko)
WO (1) WO2019231844A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504675B (zh) * 2020-04-14 2021-04-09 河海大学 一种气体绝缘组合电器机械故障在线诊断方法
CN111784704B (zh) * 2020-06-24 2023-11-24 中国人民解放军空军军医大学 Mri髋关节炎症分割与分类自动定量分级序贯方法
US20220036560A1 (en) * 2020-07-30 2022-02-03 Biosense Webster (Israel) Ltd. Automatic segmentation of anatomical structures of wide area circumferential ablation points
CN112669439B (zh) * 2020-11-23 2024-03-19 西安电子科技大学 基于迁移学习的颅内血管造影增强三维模型的建立方法
EP4256584A1 (en) * 2020-12-04 2023-10-11 Koninklijke Philips N.V. Pressure and x-ray image prediction of balloon inflation events
CN112527374A (zh) * 2020-12-11 2021-03-19 北京百度网讯科技有限公司 标注工具生成方法、标注方法、装置、设备以及存储介质
CN113499098A (zh) * 2021-07-14 2021-10-15 上海市奉贤区中心医院 一种基于人工智能的颈动脉斑块探测仪及评估方法
EP4167184A1 (en) * 2021-10-13 2023-04-19 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN113935258B (zh) * 2021-10-15 2022-05-20 北京百度网讯科技有限公司 计算流体动力学加速方法、装置、设备以及存储介质
KR102602559B1 (ko) * 2021-11-30 2023-11-16 (주)자비스 선택적 인공 지능 엔진 기반 대상체 비파괴 검사 방법, 장치 및 시스템
KR102597081B1 (ko) * 2021-11-30 2023-11-02 (주)자비스 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템
KR102567138B1 (ko) * 2021-12-30 2023-08-17 가천대학교 산학협력단 머신러닝 기반 모발 건강 진단 방법 및 시스템
CN114533201A (zh) * 2022-01-05 2022-05-27 华中科技大学同济医学院附属协和医院 一种新型的体外波碎血凝块辅助设备
CN115115654B (zh) * 2022-06-14 2023-09-08 北京空间飞行器总体设计部 一种基于显著性和近邻形状查询的物体图像分割方法
CN115294191B (zh) * 2022-10-08 2022-12-27 武汉楚精灵医疗科技有限公司 基于电子内镜的标志物尺寸测量方法、装置、设备及介质
CN115546612A (zh) * 2022-11-30 2022-12-30 中国科学技术大学 一种联合图数据和图神经网络的图像解释方法及装置
CN116110589B (zh) * 2022-12-09 2023-11-03 东北林业大学 一种基于回顾性校正的糖尿病视网膜病变的预测方法
CN115797333B (zh) * 2023-01-29 2023-05-09 成都中医药大学 一种个性化定制的智能视觉训练方法
CN117132577B (zh) * 2023-09-07 2024-02-23 湖北大学 非侵入式检测心肌组织张力和振动的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026798A1 (en) * 2008-02-19 2011-02-03 The Trustees Of The University Of Pennyslvania System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US8090164B2 (en) * 2003-08-25 2012-01-03 The University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
US20050118632A1 (en) * 2003-11-06 2005-06-02 Jian Chen Polynucleotides and polypeptides encoding a novel metalloprotease, Protease-40b
JP2006181025A (ja) 2004-12-27 2006-07-13 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
CN1952981A (zh) * 2005-07-13 2007-04-25 西门子共同研究公司 利用形状模型的基于知识的图像分割方法
US8734823B2 (en) * 2005-12-14 2014-05-27 The Invention Science Fund I, Llc Device including altered microorganisms, and methods and systems of use
US8288354B2 (en) * 2005-12-28 2012-10-16 The Scripps Research Institute Natural antisense and non-coding RNA transcripts as drug targets
JP2010523979A (ja) * 2007-04-05 2010-07-15 オーレオン ラボラトリーズ， インコーポレイテッド 医学的状態の処置、診断および予測のためのシステムおよび方法
US9878177B2 (en) 2015-01-28 2018-01-30 Elekta Ab (Publ) Three dimensional localization and tracking for adaptive radiation therapy
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
DE102016010909A1 (de) * 2015-11-11 2017-05-11 Adobe Systems Incorporated Strukturiertes Modellieren, Extrahieren und Lokalisieren von Wissen aus Bildern
JP7075882B2 (ja) 2016-03-02 2022-05-26 多恵 岩澤 肺野病変の診断支援装置、該装置の制御方法及びプログラム
US10163040B2 (en) 2016-07-21 2018-12-25 Toshiba Medical Systems Corporation Classification method and apparatus
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026798A1 (en) * 2008-02-19 2011-02-03 The Trustees Of The University Of Pennyslvania System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors

Also Published As

Publication number Publication date
CN112567378A (zh) 2021-03-26
JP2022123103A (ja) 2022-08-23
JP7113916B2 (ja) 2022-08-05
KR20210042267A (ko) 2021-04-19
WO2019231844A1 (en) 2019-12-05
EP3803687A4 (en) 2022-03-23
EP3803687A1 (en) 2021-04-14
JP2021525929A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
KR102491988B1 (ko) 정량적 이미징을 이용하기 위한 방법 및 시스템
US11607179B2 (en) Non-invasive risk stratification for atherosclerosis
US20240078672A1 (en) Functional measures of stenosis significance
US11696735B2 (en) Quantitative imaging for instantaneous wave-free ratio
US11120312B2 (en) Quantitative imaging for cancer subtype
US11113812B2 (en) Quantitative imaging for detecting vulnerable plaque
US11676359B2 (en) Non-invasive quantitative imaging biomarkers of atherosclerotic plaque biology
US20220012877A1 (en) Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively
Singh et al. Machine learning in cardiac CT: basic concepts and contemporary data
US11508063B2 (en) Non-invasive measurement of fibrous cap thickness
US20230368365A9 (en) Quantitative imaging for detecting histopathologically defined plaque erosion non-invasively
US20240161297A1 (en) Segmenting permeability, neovascularization, necrosis, collagen breakdown, or inflammation to characterize atherosclerotic plaque, coronary artery disease, or vasculopathy
US20240161296A1 (en) Characterizing permeability, neovascularization, necrosis, collagen breakdown, or inflammation
US20240161295A1 (en) Determining biological properties of atherosclerotic plaque, coronary artery disease, or vasculopathy
Luque Del Toro Computer-aided detection system for pulmonary embolism with integrated cardiac ssessment based on embolic burden
Cetin Interpretable machine learning through radiomics and attribute-regularized neural networks for cardiology
Anderson Deep learning for lung cancer analysis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant