KR102257637B1 - 딥러닝에 기초한 단층촬영 재구성 - Google Patents

Abstract

본 접근법은 대규모 공간-변형성 단층촬영 재구성 및/또는 보정 문제들을 해결하기에 적합한 머신 러닝 및 딥러닝 시스템들의 사용에 관한 것이다. 특정 실시예들에서, 단층촬영 스캐너로부터 얻어진 측정된 데이터의 단층촬영 변환이 신경망에의 입력으로서 사용된다. 본 접근법의 특정 태양들에 따르면, 단층촬영 변환 동작(들)은 신경망과는 별개로 또는 그 외부에서 수행되어, 그 대신에, 단층촬영 변환 동작의 결과가 신경망에의 입력으로서 제공되게 한다. 또한, 특정 실시예들에서, 신경망의 하나 이상의 층들이 웨이블릿 필터 뱅크들로서 제공될 수 있다.

Description

딥러닝에 기초한 단층촬영 재구성

본 명세서에서 개시되는 주제는 단층촬영 재구성에 관한 것이며, 구체적으로는, 투사 또는 다른 스캔-타입 데이터와 같은 데이터를, 단면 이미지들 및/또는 체적 표현들을 포함하는 진단학적으로 또는 임상학적으로 유용한 이미지들로 재구성하는 딥러닝(deep learning) 기법들의 이용에 관한 것이다.

비-침습성 이미징 기술들은 환자/물체에 대한 침습성 시술을 수행함이 없이 환자/물체의 내부 구조물들 또는 특징부들의 이미지들이 획득되게 한다. 특히, 그러한 비-침습성 이미징 기술들은 데이터를 획득하고 이미지들을 구성하거나 환자/물체의 관찰된 내부 특징부들을 달리 표현하기 위해 다양한 물리적 원리들(예컨대, 타깃 체적을 통한 X-선의 차동 송신, 체적 내에서의 음향파의 반사, 체적 내에서의 상이한 조직들 및 재료들의 상자성 속성들, 체내에서의 타깃화된 방사성 핵종의 붕괴(breakdown) 등)에 의존한다.

모든 재구성 알고리즘들은, 예컨대 계산 효율, 환자 선량, 스캐닝 속도, 이미지 품질 및 아티팩트 사이에서의 다양한 트레이드오프의 영향을 받는다. 예로서, CNN(convolutional neural network)들에 기초한 머신 러닝 아키텍처(machining learning architecture)들은 다수의 패턴 인식, 이미지 프로세싱, 검출, 및 분류 작업들에서 설정된 벤치마크들을 갖는다. 그러나, 단층촬영 재구성 상황에서, CNN은 종래에 구현된 바와 같이 적합하지 않을 수 있다. 특히, CNN은, 전형적으로, 로컬 접속성 및 가중치 공유의 원리들에 기초하여 구성된다. 가중치 공유(즉, 공간-불변성 컨볼루션(space-invariant convolution))는 네트워크의 자유 파라미터들의 수를 극적으로 감소시켜서, 이에 따라, 네트워크에 대한 트레이닝 시간 및 메모리 요건을 낮춘다. 그러나, 많은 컴퓨터 비전 문제들에 있어서 성공적임에도 불구하고, 가중치 공유의 원리는, 또한, 네트워크를 공간-불변성이 되도록, 즉 특징부들이 시야 내의 그들의 포지션과는 무관하게 검출되도록 고유하게 제한하여, 이에 따라, 변환 불변성(translation invariance)의 속성을 구성한다. 다시 말해, CNN에서의 컨볼루션 동작은, 전형적으로, 내재적으로 변환 불변성인 푸리에(Fourier) 필터들에 의해 구현된다. 이는 많은 컴퓨터 비전 문제들에 대해 양호한 결과들을 달성하지만, 그것은 공간-변형성 PSF(point spread function)를 이용한 이미지 복원 및/또는 재구성과 같은 많은 공간-변형성 작업들에 대해 부적합하게 된다. 한편, 완전히 연결된 심층 신경망은 대부분의 고차원 문제들(예컨대, 이미지 재구성)에 대해 계산적으로 실현가능하지 않다.

일 실시예에서, 방법이 제공된다. 본 방법에 따르면, 측정된 데이터는 단층촬영 스캐너로부터 얻어진다. 측정된 데이터의 하나 이상의 단층촬영 변환들이 계산된다. 하나 이상의 단층촬영 변환들은 역투사(backprojection), 가중된 역투사(weighted backprojection), 재투사, 피셔(Fisher) 정보 행렬의 복수의 대각 요소들, 분산 이미지, 잡음 상관 이미지, 피셔 정보 행렬의 다항식(polynomial), 또는 이들의 조합 중 적어도 하나를 포함한다. 하나 이상의 단층촬영 변환들은 트레이닝된 신경망에 하나 이상의 입력들로서 제공된다. 하나 이상의 입력들에 기초하여 트레이닝된 신경망으로부터 하나 이상의 출력들이 얻어진다.

추가 실시예에서, 방법이 제공된다. 본 방법에 따르면, 측정된 데이터는 단층촬영 스캐너로부터 얻어진다. 측정된 데이터의 하나 이상의 단층촬영 변환들 또는 측정된 데이터 중 하나 이상을 포함하는 하나 이상의 입력들이 트레이닝된 신경망에 제공된다. 신경망은 웨이블릿(wavelet), 웨이블릿 프레임, 커블릿(curvelet), 또는 다른 희소화(sparsifying) 변환들에 기초한 적어도 하나의 층을 포함한다. 하나 이상의 입력들에 기초하여 트레이닝된 신경망으로부터 하나 이상의 출력들이 얻어진다.

다른 실시예에서, 이미지 프로세싱 시스템이 제공된다. 이 실시예에 따르면, 이미지 프로세싱 시스템은 하나 이상의 저장된 프로세서 실행가능 루틴들을 실행시키도록 구성된 프로세싱 컴포넌트; 및 하나 이상의 실행가능 루틴들을 저장하는 메모리를 포함한다. 하나 이상의 실행가능 루틴들은, 프로세싱 컴포넌트에 의해 실행될 때, 스캔 데이터의 세트를 획득하거나 그에 액세스하는 액션 - 스캔 데이터의 세트는 초기에 원래의 측정들의 세트에 의해 표현됨 -; 스캔 데이터의 세트의 하나 이상의 단층촬영 변환들을 계산하는 액션; 하나 이상의 단층촬영 변환들을 트레이닝된 신경망에 하나 이상의 입력들로서 제공하는 액션 - 트레이닝된 신경망은 웨이블릿 필터 뱅크에 기초한 적어도 하나의 층을 포함함 -; 및 하나 이상의 입력들에 기초하여 트레이닝된 신경망으로부터 하나 이상의 출력들을 얻는 액션을 포함하는 액션들이 수행되게 한다.

본 발명의 이들 및 다른 특징부들, 태양들 및 이점들은 첨부 도면을 참조하여 하기의 상세한 설명을 읽을 때 더 잘 이해될 것이며, 첨부 도면에서 유사한 부호들은 도면 전체에 걸쳐서 유사한 부분들을 표현한다.
도 1은 본 발명의 태양들에 따른, 딥러닝 모델을 트레이닝하기 위한 인공 신경망의 일례를 도시한다.
도 2는 본 발명의 태양들에 따른, 컴퓨터 단층촬영(computed tomography, CT) 이미징 시스템의 컴포넌트들을 도시한 블록도이다.
도 3은 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제1 예를 도시한다.
도 4는 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제2 예를 도시한다.
도 5는 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제3 예를 도시한다.
도 6은 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제4 예를 도시한다.
도 7은 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제5 예를 도시한다.
도 8은 본 발명의 태양들에 따른, 측정된 데이터의 세트의 변환을 이용하여 출력을 생성하는 프로세스 흐름의 제6 예를 도시한다.
도 9는 본 발명의 태양들에 따른, 필터 계수를 트레이닝하기 위한 프로세스 흐름을 도시한다.
도 10은 본 발명의 태양들에 따른, 딥러닝 시스템의 프로세싱 체인에서의 단계들을 도시한다.
도 11은 본 발명의 태양들에 따른, 쌍을 이룬 잡음 패턴 및 잡음 사이노그램을 도시한다.
도 12는 본 발명의 태양들에 따른, 딥러닝 시스템에 의해 재구성된 출력 이미지들을 도시한다.

하나 이상의 특정 실시예들이 하기에 기술될 것이다. 이러한 실시예들에 대한 간결한 설명을 제공하기 위한 노력으로, 실제 구현예의 모든 특징부들이 본 명세서에 기술되지는 않는다. 임의의 엔지니어링 또는 설계 프로젝트에서와 같은 임의의 그러한 실제 구현예의 개발에 있어서, 구현예마다 다를 수 있는 시스템 관련 및 사업 관련 제약들의 규정 준수와 같은 개발자들의 특정 목적들을 달성하기 위해 수많은 구현예 특정 결정들이 이루어져야 한다는 것이 이해될 것이다. 더욱이, 그러한 개발 노력은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고, 본 발명의 이익을 갖는 당업자들에 대해 설계, 제조, 및 제작의 일상적인 일일 것이라는 것이 이해될 것이다.

하기의 논의의 태양들이 의학적 이미징의 상황에서 제공되지만, 본 기법들이 그러한 의학적 상황들로 제한되지 않는다는 것이 이해될 것이다. 실제로, 그러한 의학적 상황들에서의 예들 및 설명의 제공은 단지 실세계 구현예들 및 응용예들의 사례들을 제공함으로써 설명을 용이하게 하는 것이다. 그러나, 본 접근법들은, 또한, 제조된 부품들 또는 상품들의 비파괴 검사(즉, 품질 제어 또는 품질 검토 응용예들) 및/또는 패키지, 박스, 수하물 등의 비-침습성 검사(즉, 보안 또는 스크리닝 응용예들)에서 사용되는 산업용 CT에 대한 단층촬영 이미지 재구성과 같은 다른 상황들에서 활용될 수 있다. 일반적으로, 본 접근법들은 획득된 데이터의 세트 또는 타입이 이미지 또는 체적을 생성하기 위해 재구성 프로세스를 겪는 임의의 이미징 또는 스크리닝 상황 또는 이미지 프로세싱 분야에서 유용할 수 있다.

게다가, 하기의 논의가 표준 이미지들 또는 이미지 체적들에 초점을 맞추지만, 동일한 접근법이, 또한, 스캔의 상이한 태양들에 대응하는 이미지들 또는 이미지 체적들의 세트들에 적용될 수 있다는 것이 이해될 것이다. 예를 들어, 스펙트럼 CT는 상이한 에너지들에서의 단색 이미지들뿐만 아니라 기저 재료 분해 이미지들을 포함하는 이미지들의 세트를 생성한다. 또는, 다른 예로서, 동적 CT 또는 PET는 상이한 시점들에서 이미지들의 세트를 생성한다. 본 발명은 이러한 세트들 또는 타입들의 이미지들에 적용될 수 있는데, 여기서 재구성 단계들 또는 신경망들의 계층구조에의 입력은 이미지들의 다수의 세트들 또는 스캔 데이터 세트들이고, 예측도 또한 이미지들의 세트이다.

또한, CT 및 C-아암 예들이 주로 본 명세서에 제공되지만, 본 접근법은 단층촬영 재구성 프로세스가 채용되는 다른 이미징 양식 상황들에서 이용될 수 있다는 것이 이해될 것이다. 예를 들어, 본 명세서에 기술된 접근법은, 또한, 양전자 방출 단층촬영(positron emission tomography, PET) 스캐너, 단일 광자 방출 컴퓨터 단층촬영(single photon emission computed tomography, SPECT) 스캐너, 및/또는 자기 공명 이미징(magnetic resonance imaging, MRI) 스캐너를 포함하지만 이들로 제한되지 않는 다른 타입의 단층촬영 스캐너들에 의해 획득된 데이터에 대해 채용될 수 있다.

예로서, X-선 CT(예컨대, 다중 슬라이스 CT) 시스템 및 X-선 C-아암(예컨대, 콘-빔(cone-beam) CT) 시스템과 같은 여러 개의 이미징 양식들이 스캐닝되고 있는 물체 또는 환자의 투사를 측정하며, 여기서 투사는, 기법에 따라, 라돈(Radon) 변환 데이터, 팬-빔 변환 데이터, 콘-빔 변환 데이터, 또는 불균일한 푸리에 변환에 대응한다. 다른 상황들에서, 스캔 데이터는 자기장 및 RF 펄스들에 응답하여 생성된 방출 타입 데이터(예컨대, PET 또는 SPECT 데이터) 또는 자기 공명 데이터(예컨대, MRI 데이터)일 수 있다. 단층촬영 재구성 알고리즘들 및 관련 보정 및 교정 알고리즘들(예컨대, 부분 체적 보정, 잡음 억압, 빔 경화 아티팩트 보정, x-선 소스/검출기 스펙트럼 교정, 저-신호 보정, 산란 보정, 모션 보정, 절단 보정(truncation correction), MR 백색 픽셀 보정, MR 필드 불균질성 아티팩트 보정 등)이 이러한 이미징 양식들과 함께 채용되어 원시 측정들로부터 유용한 단면 이미지들 또는 체적 이미지들을 생성한다.

종래의 재구성 기법들은, 전형적으로, 직접 재구성(이는 명시적 역단계를 실행시킴)으로서 또는 최적화 기반 재구성(이는 비용 기능을 반복적으로 최적화시킴)으로서 특징지어질 수 있는 재구성 알고리즘들을 이용한다. 직접 재구성 접근법들은 비교적 빠르지만, 소음 및 특정 아티팩트들을 억업하는 효율적인 방법이 결여되어 있다. 최적화 기반 재구성 접근법들은 개선된 잡음 감소를 제공하고, 분석적으로 쉽게 반전되지 않는 순방향 모델(forward model)에서 물리학 효과를 포함할 수 있지만, 그러한 접근법들은 비교적 계산적으로 고가이다.

매우 다양한 재구성 및 보정 알고리즘들이 단층촬영 이미징에서 사용하기 위해 현재 이용가능하지만, 이들은 모두 원시 및/또는 손상된 데이터로부터 유의미한 그리고/또는 보정된 데이터 또는 이미지들로의 기능적 변환들로서 보일 수 있다. 전형적으로, 이러한 기능적 변환들은 초대규모, 공간-변형성이며, 수백만 내지 수십억, 또는 심지어 그를 초과하는 변수들을 포함하는 2차원 또는 체적 이미지들을 포함한다. 단층촬영 이미지 재구성 문제의 규모는 단층촬영 재구성 및/또는 보정에 대한 머신 학습 또는 딥러닝 접근법을 개발하는 것을 어렵게 한다. 다시 말해, 각각의 출력 노드에 대한 많은 입력 노드들에 의해 네트워크가 필요할 것이고, 따라서 머신 러닝 문제의 규모는 계산적으로 만만찮게 된다.

이를 염두에 두고, 본 접근법은 이러한 문제들을 회피시켜서, 딥러닝 네트워크들이 엄청난 계산 비용을 발생시킴이 없이 단층촬영 재구성 및/또는 보정 문제들을 위해 효율적으로 구축될 수 있게 한다. 특히, 본 명세서에 논의된 바와 같이, 대규모, 공간-변형성 단층촬영 재구성 및/또는 보정 문제들을 해결하기에 적합한 머신 러닝 및 딥러닝 시스템들이 제공된다. 본 접근법은 학습 기반 기법들을 단층촬영 재구성/보정에 적용하기 위한 기존의 CNN들 또는 다른 브루트-포스(brute-force) 접근법들의 제한사항들을 다루고 극복하며, 단층촬영 재구성 또는 이미지 보정 및/또는 복원 문제들을 해결하고 계산 시간, 잡음 및 아티팩트 감소, 정확도, 해상도 등과 관련하여 종래의 분석적 또는 반복적 알고리즘들을 능가하는 메커니즘을 제공할 수 있다. 이를 염두에 두고, 본 접근법은 이미지 재구성, 이미지 잡음제거, 부분 체적 보정, 표준 흡수값(SUV)의 결정 또는 보정, 정량 보정, 잡음 분산 추정 등을 포함하지만 이들로 제한되지 않는 다양한 단층촬영 상황에서 적용될 수 있다.

앞선 서두의 언급을 염두에 두고, 본 명세서에 기술되는 접근법들의 일부 실시예들은 CT, PET, SPECT, C-아암, 위상차(phase-contrast), 및 MR 이미지들과 같은 단층촬영 이미지들을 생성하는 데 이용되는 재구성 프로세스의 일부로서 신경망들을 활용한다. 본 명세서에 논의되는 바와 같은 신경망들은 심층 신경망, 완전히 연결된 네트워크, CNN, 퍼셉트론(perceptron), 자동 인코더, 재귀망(recurrent network), 웨이블릿 필터 뱅크, 또는 다른 신경망 아키텍처들을 포함할 수 있다. 이러한 기법들은 본 명세서에서 딥러닝 기술로 지칭되지만, 이 용어는, 또한, 특히, 복수의 층들을 갖는 신경망인 심층 신경망들의 사용과 관련하여 사용될 수 있다.

본 명세서에서 논의되는 바와 같이, 딥러닝 기법들(이들은 또한 딥 머신 러닝, 계층적 학습, 또는 구조화된 딥러닝으로도 알려질 수 있음)은 학습을 위해 데이터의 수학적 표현들 및 인공 신경망을 채용하는 머신 러닝 기법들의 일 분야이다. 예로서, 딥러닝 접근법들은 소정 타입의 관심 데이터의 하이-레벨 추상화(abstraction)를 추출하거나 모델링하기 위한 하나 이상의 알고리즘들의 그들의 사용에 의해 특징지어질 수 있다. 이는 하나 이상의 프로세싱 층들을 사용하여 달성될 수 있으며, 이때 각각의 층은, 전형적으로, 상이한 레벨의 추상화에 대응하고, 따라서, 주어진 층의 프로세스들 또는 알고리즘들의 타깃으로서 이전의 층의 초기 데이터 또는 출력들의 상이한 태양들(즉, 층들의 계층구조 또는 캐스케이드)을 잠재적으로 채용하거나 활용한다. 이미지 프로세싱 또는 재구성 상황에서, 이는 데이터에서의 상이한 특징부 레벨들 또는 해상도에 대응하는 상이한 층들로서 특징지어질 수 있다.

일반적으로, 하나의 표현 공간으로부터 다음 레벨의 표현 공간으로의 프로세싱은 재구성 프로세스의 하나의 '스테이지(stage)'로 간주될 수 있다. 재구성의 각 스테이지는 별개의 신경망들에 의해 또는 하나의 더 큰 신경망의 상이한 부분들에 의해 수행될 수 있다. 예를 들어, 본 명세서에서 논의되는 바와 같이, 단일 딥러닝 네트워크는 재구성 프로세스에서의 모든 스테이지들(예컨대, 초기 입력(예컨대, 사이노그램)으로부터 출력 이미지(예컨대, 재구성된 이미지)까지)을 커버할 수 있다. 대안으로, 별개의 특이 딥러닝 네트워크(들)는 전체적인 재구성 프로세스의 단 하나의 스테이지(또는 스테이지들의 서브세트)를 각각 커버할 수 있다. 예를 들어, 본 상황에서, 그러한 단일 스테이지는 초기 입력(예컨대, 사이노그램 또는 사이노그램의 변환)으로부터 중간 표현까지, 하나의 중간 이미지 또는 표현으로부터 다른 중간 이미지 또는 표현까지, 또는 중간 이미지 또는 표현으로부터, 진단 이미지, 잡음 분산 이미지, 잡음제거 이미지 및 잡음 패턴, 부분 체적 효과(PVE) 또는 PVE 보정 계수, 표준형 흡수값(SUV) 또는 SUV 보정 계수 등과 같은 출력까지일 수 있다.

본 명세서에서 논의되는 바와 같이, 특정 문제를 해결하기 위한 딥러닝 프로세스의 초기 트레이닝의 일부로서, 알려진 초기 값들(예컨대, 입력 이미지들, 투사 데이터, 방출 데이터, 자기 공명 데이터 등) 및 딥러닝 프로세스의 최종 출력에 대한 알려진 또는 원하는 값들(예컨대, 단면 이미지들 또는 체적 표현들과 같은 재구성된 단층촬영 재구성)을 갖는 트레이닝 데이터 세트들이 채용될 수 있다. 단일 스테이지의 트레이닝은 하나의 표현 공간에 대응하는 알려진 입력 값들 및 다음 레벨의 표현 공간에 대응하는 알려진 출력 값들을 가질 수 있다. 이러한 방식으로, 딥러닝 알고리즘들은, 초기 데이터와 원하는 출력(들) 사이의 수학적 관계들이 감별되고/되거나 각 층의 입력들과 출력들 사이의 수학적 관계들이 감별되고 특징지어질 때까지, 알려진 또는 트레이닝 데이터 세트들을 (감독된 또는 안내된 방식으로 또는 감독되지 않은 또는 안내되지 않은 방식으로) 프로세싱할 수 있다. 유사하게, 초기 및 원하는 타깃 값들 양측 모두가 알려져 있지만, 초기 값들만이 트레이닝된 딥러닝 알고리즘들에 공급되는 별개의 검증 데이터 세트들이 채용될 수 있으며, 이때 출력들은, 이어서, 사전-트레이닝을 검증하고/하거나 오버트레이닝을 방지하기 위해 딥러닝 알고리즘의 출력들과 비교된다.

예로서, 하나의 고려되는 구현예에서, 신경망의 감독된 트레이닝은 본 명세서에서 논의되는 바와 같은 지상 실측 이미지(ground truth image), 대응하는 사이노그램, 및/또는 대응하는 사이노그램의 변환의 쌍들을 활용한다. 트레이닝을 위한 고선량 임상학적 데이터세트들의 수가 불충분한 이벤트에서, 병진, 회전, 스케일링, 및 미러링을 갖는 임상학적 이미지들로부터의 사이노그램들의 컴퓨터 시뮬레이션들이 이용될 수 있다. 컴퓨터 생성 랜덤 패턴들(예컨대, 가우스 블롭, 랜덤 잡음 패턴, 랜덤 형상 등)을 사용하여 트레이닝 쌍들을 생성하는 것이 또한 가능하다.

전술한 내용을 염두에 두고, 도 1은 본 명세서에서 논의된 바와 같은 딥러닝 모델로서 트레이닝될 수 있는 인공 신경망(50)의 일례를 개략적으로 도시한다. 이러한 예에서, 신경망(50)은 다층화되는데, 이때 트레이닝 입력(52), 다수의 층들 - 이들은 입력 층(54), 은닉 층들(58A, 58B 등), 및 출력 층(60)을 포함함 -, 및 트레이닝 타깃(64)이 신경망(50)에 존재한다. 각각의 층은, 이러한 예에서, 복수의 "뉴런들" 또는 노드들(56)로 구성된다. 뉴런들(56)의 개수는 층들 사이에서 일정할 수 있거나, 또는, 도시된 바와 같이, 층마다 다를 수 있다. 각각의 층에서의 뉴런들(56)은 다음 계층구조 층의 뉴런들(56)에 대한 입력들로서의 역할을 하는 각자의 출력을 생성한다. 실제로, 추가된 바이어스를 갖는 입력들의 가중합(weighted sum)은 정류된 선형 유닛(rectified linear unit, ReLU), 시그모이드(sigmoid) 함수, 쌍곡선 탄젠트 함수, 또는 달리 특정되거나 프로그래밍된 것과 같은 활성화 함수에 따라 층들의 각각의 각자의 뉴런을 "여기"시키거나 "활성화"시키도록 계산된다. 최종 층의 출력들은 네트워크 출력(60)(예컨대, 예측된 이미지)을 구성하는데, 이는, 타깃 이미지(64)와 함께, 네트워크 트레이닝을 안내하기 위해 역전파될 일부 손실 또는 오차 함수(62)를 계산하는 데 이용된다.

손실 또는 오차 함수(62)는 네트워크 출력(즉, 진단 이미지, 잡음 분산 이미지, 잡음제거된 이미지 및 잡음 패턴, 부분 체적 효과(PVE) 또는 PVE 보정 계수, 표준형 흡수값(SUV) 또는 SUV 보정 계수)과 트레이닝 타깃 사이의 차이를 측정한다. 특정 구현예들에서, 손실 함수는 복셀-레벨 값들 또는 부분-라인-적분 값들의 평균 제곱 오차(MSE)일 수 있고/있거나 이미지 기울기들 또는 다른 이미지 통계치들과 같은 다른 이미지 특징부들을 포함하는 차이들을 고려할 수 있다. 대안으로, 손실 함수(62)는 소프트맥스 함수와 같은 당해 특정 작업과 연관된 다른 메트릭들에 의해 정의될 수 있다.

전술한 내용을 염두에 두고, 신경망(50)은 본 명세서에서 논의되는 바와 같이 대규모 공간 변형성 단층촬영 재구성에서 사용하기 위해 트레이닝될 수 있다. 트레이닝 예에서, 신경망(50)은, 먼저, 네트워크 파라미터들의 양호한 초기화를 보장하기 위해 선형이도록 (즉, 모든 비선형 유닛들을 제거함으로써) 제한될 수 있다. 신경망(50)은, 또한, 이하에서 더 상세히 논의되는 바와 같이, 컴퓨터 시뮬레이션된 입력-타깃 데이터 세트들을 사용하여 스테이지별로 사전-트레이닝될 수 있다. 사전-트레이닝 후에, 신경망(50)은 전체적으로 트레이닝될 수 있고 비-선형 유닛들을 추가로 포함할 수 있다.

딥러닝 기법들을 이용하는 본 발명의 단층촬영 재구성 접근법에 대한 설명을 용이하게 하기 위해, 본 발명은 주로 CT 또는 C-아암 시스템의 상황에서 이러한 접근법들을 논의한다. 그러나, 하기의 논의는, 또한, PET, SPECT, 다중-스펙트럼 CT, 위상차 이미징, 및 MRI뿐만 아니라, 이미지를 재구성하는 데 단층촬영 재구성이 채용되는 비의학적 상황들 또는 임의의 상황을 포함하지만 이들로 제한되지 않는 다른 이미지 양식들 및 시스템들에 적용가능할 수 있다는 것이 이해될 것이다.

이를 염두에 두고, 이미징 시스템(110)(즉, 스캐너)의 일례가 도 2에 도시되어 있다. 도시된 예에서, 이미징 시스템(110)은 환자(또는 다른 관심 피검체 또는 물체) 둘레의 다양한 뷰들에서 스캔 데이터(예컨대, X-선 감쇠 데이터)를 획득하도록 설계된, 그리고 단층촬영 재구성 기법들을 이용하여 이미지 재구성을 수행하는 데 적합한 CT 이미징 시스템이다. 도 2에 도시된 실시예에서, 이미징 시스템(110)은 시준기(114)에 인접하게 위치된 X-선 방사선의 소스(112)를 포함한다. X-선 소스(112)는 X-선 튜브, 분포된 X-선 소스(예컨대, 고체-상태 또는 열전자 X-선 소스), 또는 의학적 또는 다른 이미지들의 획득에 적합한 X-선 방사선의 임의의 다른 소스일 수 있다. 반대로, PET 또는 SPECT 실시예들에서, 원환형 방사선 검출기가 제공될 수 있고, 방사성 추적자가 방사선 소스로서 사용된다. MRI의 경우에, 측정치들은 푸리에 공간 내의 샘플들이며, 신경망에의 입력으로서 직접 적용될 수 있거나 또는 먼저 사이노그램 공간 내의 선적분으로 변환될 수 있다.

도시된 예에서, 시준기(114)는 환자/물체(118)가 위치되는 영역 내로 통과하는 X-선(116)의 빔을 형상화하거나 제한한다. 도시된 예에서, X-선(116)은 이미징된 체적을 통과하는 원추형 빔, 즉, 콘-빔이도록 시준된다. X-선 방사선(120)의 일부는 환자/물체(118)(또는 다른 관심 피검체)를 통과하거나 그 둘레를 지나고, 일반적으로 도면 부호 122로 표현된 검출기 어레이에 충돌한다. 어레이의 검출기 요소들은 입사 X-선(120)의 세기를 표현하는 전기 신호들을 생성한다. 이러한 신호들은 획득되어 환자/물체(118) 내의 특징부들의 이미지들을 재구성하도록 프로세싱된다.

소스(112)는 시스템 제어기(124)에 의해 제어되는데, 이는 후속 스캔 프로토콜들을 위해 환자/물체 내의 관심 해부구조를 식별하는 데 사용되는 2차원 로컬라이저 또는 스카우트 이미지들의 획득을 포함하는 CT 검사 시퀀스들을 위한 제어 신호들 및 전력 양측 모두를 공급한다. 도시된 실시예에서, 시스템 제어기(124)는 시스템 제어기(124)의 컴포넌트일 수 있는 X-선 제어기(126)를 통해 소스(112)를 제어한다. 그러한 실시예에서, X-선 제어기(126)는 X-선 소스(112)에 전력 및 타이밍 신호들을 제공하도록 구성될 수 있다.

또한, 검출기(122)는 시스템 제어기(124)에 커플링되는데, 이 제어기는 검출기(122)에서 생성된 신호들의 획득을 제어한다. 도시된 실시예에서, 시스템 제어기(124)는 데이터 획득 시스템(128)을 사용하여 검출기에 의해 생성된 신호들을 획득한다. 데이터 획득 시스템(128)은 검출기(122)의 독출 전자장치에 의해 수집된 데이터를 수신한다. 데이터 획득 시스템(128)은 검출기(122)로부터 샘플링된 아날로그 신호들을 수신할 수 있고, 아래에서 논의되는 프로세서(130)에 의한 후속 프로세싱을 위해 데이터를 디지털 신호들로 변환할 수 있다. 대안으로, 다른 실시예들에서, 디지털-아날로그 변환은 검출기(122) 자체 상에 제공된 회로부에 의해 수행될 수 있다. 시스템 제어기(124)는 또한, 예컨대 동적 범위들의 초기 조정, 디지털 이미지 데이터의 인터리빙 등을 위해, 획득된 이미지 신호들에 관하여 다양한 신호 프로세싱 및 필터링 기능들을 실행시킬 수 있다.

도 2에 도시된 실시예에서, 시스템 제어기(124)는 회전 서브시스템(132) 및 선형 포지셔닝 서브시스템(134)에 커플링된다. 회전 서브시스템(132)은, 환자를 중심으로 주로 x,y-평면에서 회전되는 것과 같이, X-선 소스(112), 시준기(114) 및 검출기(122)가 환자/물체(118) 둘레를 1회 또는 다수회 회전되는 것을 가능하게 한다. 회전 서브시스템(132)은 각자의 X-선 방출 및 검출 컴포넌트들이 위에 배치되는 갠트리 또는 C-아암을 포함할 수 있음에 유의해야 한다. 따라서, 그러한 실시예에서, 시스템 제어기(124)는 갠트리 또는 C-아암을 동작시키는 데 활용될 수 있다.

선형 포지셔닝 서브시스템(134)은 환자/물체(118)가, 또는 보다 구체적으로는 환자를 지지하는 테이블이, 예컨대 갠트리의 회전에 대해 z-방향으로, CT 시스템(110)의 보어 내에서 변위되는 것을 가능하게 할 수 있다. 따라서, 테이블은 환자(118)의 특정 영역들의 이미지들을 생성하도록 하기 위해 갠트리 내에서 (연속 또는 계단식 방식으로) 선형으로 이동될 수 있다. 도시된 실시예에서, 시스템 제어기(124)는 모터 제어기(136)를 통해 회전 서브시스템(132) 및/또는 선형 포지셔닝 서브시스템(134)의 이동을 제어한다.

일반적으로, 시스템 제어기(124)는 검사 프로토콜들을 실행시키고 획득된 데이터를 프로세싱하도록 (예컨대, 전술된 소스(112), 검출기(122), 및 포지셔닝 시스템들의 동작을 통해) 이미징 시스템(110)의 동작을 커맨드한다. 예를 들어, 시스템 제어기(124)는, 전술된 시스템들 및 제어기들을 통해, 관심 피검체를 중심으로 소스(112) 및 검출기(122)를 지지하는 갠트리를 회전시킬 수 있어서, X-선 감쇠 데이터가 피검체에 대해 하나 이상의 뷰들에서 얻어질 수 있게 한다. 본 상황에서, 시스템 제어기(124)는 또한 신호 프로세싱 회로부, 컴퓨터에 의해 실행되는 프로그램들 및 루틴들(예컨대, 본 명세서에 기술되는 단층촬영 재구성 기법들을 수행하기 위한 루틴들)을 저장하기 위한 연관된 메모리 회로부뿐만 아니라, 구성 파라미터들, 이미지 데이터 등을 포함할 수 있다.

도시된 실시예에서, 시스템 제어기(124)에 의해 획득되고 프로세싱된 이미지 신호들은 현재 개시된 알고리즘들에 따른 이미지들의 재구성을 위해 프로세싱 컴포넌트(130)에 제공된다. 프로세싱 컴포넌트(130)는 하나 이상의 일반적인 또는 애플리케이션-특정 마이크로프로세서들일 수 있다. 데이터 획득 시스템(128)에 의해 수집된 데이터는 직접 또는 메모리(138)에의 저장 후에 프로세싱 컴포넌트(130)로 송신될 수 있다. 데이터를 저장하는 데 적합한 임의의 타입의 메모리가 그러한 예시적인 시스템(110)에 의해 활용될 수 있다. 예를 들어, 메모리(138)는 하나 이상의 광학, 자기, 및/또는 솔리드 스테이트 메모리 저장 구조물들을 포함할 수 있다. 또한, 메모리(138)는 획득 시스템 현장에 위치될 수 있고/있거나, 후술되는 바와 같이, 데이터, 프로세싱 파라미터, 및/또는 단층촬영 이미지 재구성을 위한 루틴을 저장하기 위한 원격 저장 디바이스들을 포함할 수 있다.

프로세싱 컴포넌트(130)는, 전형적으로 키보드 및/또는 다른 입력 디바이스들을 갖춘 조작자 워크스테이션(140)을 통해 조작자로부터 커맨드들 및 스캐닝 파라미터들을 수신하도록 구성될 수 있다. 조작자는 조작자 워크스테이션(140)을 통해 시스템(110)을 제어할 수 있다. 따라서, 조작자는 재구성된 이미지들을 관찰할 수 있고/있거나, 달리 조작자 워크스테이션(140)을 사용하여 시스템(110)을 동작시킬 수 있다. 예를 들어, 조작자 워크스테이션(140)에 커플링된 디스플레이(142)는 재구성된 이미지들을 관찰하고 이미징을 제어하는 데 활용될 수 있다. 추가로, 이미지들은, 또한, 조작자 워크스테이션(140)에 커플링될 수 있는 프린터(144)에 의해 인쇄될 수 있다.

또한, 프로세싱 컴포넌트(130) 및 조작자 워크스테이션(140)은 표준 또는 특수 목적 컴퓨터 모니터 및 연관된 프로세싱 회로부를 포함할 수 있는 다른 출력 디바이스들에 커플링될 수 있다. 하나 이상의 조작자 워크스테이션들(140)이, 시스템 파라미터들을 출력하고, 검사를 요청하고, 이미지들을 보고, 등등을 하기 위해 시스템에 추가로 링크될 수 있다. 일반적으로, 시스템 내에 공급되는 디스플레이, 프린터, 워크스테이션, 및 유사한 디바이스는 데이터 획득 컴포넌트에 대해 국부적일 수 있거나, 또는 이러한 컴포넌트들로부터 원격으로, 예컨대, 인터넷, 가상 사설망 등과 같은 하나 이상의 구성가능한 네트워크들을 통해 이미지 획득 시스템에 링크된, 기관 또는 병원 내의 어딘가 다른 곳 또는 전체적으로 상이한 위치에 있을 수 있다.

조작자 워크스테이션(140)이, 또한, PACS(picture archiving and communications system)(146)에 커플링될 수 있다는 것에 추가로 유의해야 한다. PACS(146)는, 이어서, 원격 클라이언트(148), RIS(radiology department information system), HIS(hospital information system), 또는 내부 또는 외부 네트워크에 커플링되어, 상이한 위치들에 있는 다른 것들이 원시 또는 프로세싱된 이미지 데이터에 액세스할 수 있게 할 수 있다.

전술한 논의가 이미징 시스템(110)의 다양한 예시적인 컴포넌트들을 개별적으로 다루었지만, 이러한 다양한 컴포넌트들은 공통 플랫폼 내에서 또는 상호접속된 플랫폼들에 제공될 수 있다. 예를 들어, 프로세싱 컴포넌트(130), 메모리(138), 및 조작자 워크스테이션(140)은 본 발명의 태양들에 따라 동작하도록 구성된 범용 또는 특수 목적 컴퓨터 또는 워크스테이션으로서 집합적으로 제공될 수 있다. 그러한 실시예들에서, 범용 또는 특수 목적 컴퓨터는 시스템(110)의 데이터 획득 컴포넌트들에 대해 별개의 컴포넌트로서 제공될 수 있거나, 또는 그러한 컴포넌트들을 갖는 공통 플랫폼에 제공될 수 있다. 마찬가지로, 시스템 제어기(124)는 그러한 컴퓨터 또는 워크스테이션의 일부로서 또는 이미지 획득에 전용되는 별개의 시스템의 일부로서 제공될 수 있다.

도 2의 시스템은 스캔 데이터를 사용하여 이미징된 영역의 이미지들을 재구성하기 위해 환자의 관심 영역에 관한 다양한 뷰들에 대한 X-선 투사 데이터(또는 다른 양식들에 대한 다른 스캔 데이터)를 획득하는 데 활용될 수 있다. 이미징 시스템(110)과 같은 시스템에 의해 획득된 투사(또는 다른) 데이터는 단층촬영 재구성을 수행하기 위해 본 명세서에 논의된 바와 같이 재구성될 수 있다. 특히, 본 접근법은 대규모 데이터세트들로부터의 이미지들의 단층촬영 재구성을 위해 딥러닝 기법들을 활용한다.

기술된 단층촬영 재구성 접근법에서, 단층촬영 스캐너(예컨대, X-선 CT, PET, SPECT, MR, 또는 C-아암 시스템)로부터 얻어진 측정된 데이터의 단층촬영 변환이 본 명세서에 기술된 바와 같은 신경망(50)에의 입력으로서 사용된다. 특정 양식 상황들에서, 측정된 데이터는 사이노그램 데이터 또는 투사 데이터로 지칭될 수 있다. 특정 구현예들에서, 하나 초과의 이미징 양식으로부터 또는 이미지가 재구성될 양식과는 상이한 이미징 양식으로부터 얻어진 측정된 데이터의 단층촬영 변환들이 신경망(50)에의 입력으로서 제공될 수 있다. 예를 들어, 측정된 CT 데이터의 단층촬영 변환들 대신에 또는 그에 더하여, CT 이미지의 재구성을 용이하게 하기 위해 트레이닝된 신경망(50)에의 입력으로서 PET 또는 MR 측정된 데이터의 단층촬영 변환이 제공될 수 있다.

본 접근법의 특정 태양들에 따르면, 단층촬영 변환 동작(들)은 신경망(50)과는 별개로 또는 그 외부에서 수행되어, 그 대신에, 단층촬영 변환 동작의 결과가 신경망(50)에의 입력으로서 제공되게 한다. 이러한 방식으로, 신경망(50)은 단층촬영 변환 동작을 직접 학습할 필요가 없다(또는 단층촬영 변환 동작을 수행하도록 달리 트레이닝될 필요가 없음). 따라서, 본 명세서에 논의된 바와 같이, 신경망(50)에의 입력(52)으로서의 측정된 데이터의 단층촬영 변환을 이용하는 것은 주어진 재구성 문제의 복잡도 및 차원수(dimensionality)를 감소시키고, 데이터를 신경망(50)에 의한 추가 프로세싱에 더 유리한 중간 데이터 공간에 맵핑시키는 것을 도울 수 있다. 복잡도 및/또는 차원수의 이러한 감소는 딥러닝 상황에서 바람직하다. 게다가, 측정된(즉, 투사) 데이터에서의 유용한 정보는 데이터의 단층촬영 변환에서 유지될 수 있는 반면, 이러한 정보는 측정된 데이터로부터 이미지를 재구성하는 프로세스 동안 손실될 수 있다. 다시 말해, 재구성된 이미지에 더하여 신경망(50)에의 입력(52)으로서의 측정된 데이터의 단층촬영 변환을 이용하는 것은 재구성된 이미지만을 사용하는 것보다 더 나을 수 있다.

예로서, 단층촬영 변환은 역투사, 가중된 역투사, 예비 또는 비-진단 이미지 재구성(들), 재투사, 피셔 정보 행렬의 복수의 대각 요소들, 피셔 정보의 다항식, 분산 맵, 잡음 상관 맵 등뿐만 아니라 그러한 동작들의 조합들 중 하나 이상일 수 있다(또는 그들 중 하나 이상에 기초할 수 있음). 본 명세서에 사용되는 바와 같이, 역투사 및 가중된 역투사는 변환으로 간주되며, 재구성된 이미지들로 간주되지 않는다. 일 구현예에서, 가중된 역투사는 가중치가 모두 1로 설정되는 일상의 비-가중된 역투사를 포함한다. 이해되는 바와 같이, 이러한 변환들 중 일부는 투사 데이터 공간(예컨대, 투사 또는 사이노그램 공간)을 이미지 공간으로 맵핑시킨다. 그러한 구현예들은 이미지 공간이 전형적으로 투사 데이터 공간보다 딥러닝을 위해 다루기가 더 편리하다는 개념에 기초할 수 있다.

신경망(50)과 관련하여, 본 명세서에 언급된 바와 같이, 임의의 적합한 신경망 아키텍처가 채용될 수 있다. 예로서, 특정 구현예들에서, 웨이블릿 필터 뱅크들에 기초한 신경망 아키텍처가 채용될 수 있다. 예를 들어, 그러한 구현예에서, 신경망(50)의 층들 중 하나 이상의 층들은 웨이블릿 필터 뱅크로서 구현될 수 있으며, 이때 필터 뱅크의 상이한 필터 채널들은 상이한 해상도들 또는 공간 주파수들에서 동작한다. 그러한 웨이블릿 필터 뱅크 기반 구현예들과 관련하여, 이러한 접근법들은 공간-변형 프로세싱을 다루는 데 적합한데, 이 프로세싱은, 전형적으로, 대신에 공간-불변 검출 작업들에 매우 적합한 종래의 CNN들에 의해서는 잘 다루어지지 않는다.

예로서, 종래의 CNN에서, 피드포워드 신경망의 컨볼루션 층은 다음에 의해 표현될 수 있다:

여기서

는 각자의 컨볼루션 층에의 입력들이고,

는 각자의 컨볼루션 층으로부터의 출력이고,

는 컨볼루션 커널의 형태의 상호접속 가중치이고,

는 선형 또는 비선형 활성화 함수(예를 들어, 시그모이드 함수 또는 정류된 선형 유닛(ReLU))이다. 푸리에 공간에서, 이는 다음과 같이 기록될 수 있다:

여기서

는 이산 푸리에 변환을 표현한다:

.

본 명세서에서 논의된 웨이블릿 필터 뱅크 접근법들에서, 푸리에 변환은 웨이블릿 변환(또는 웨이블릿 프레임 또는 다른 희소화 변환들)

으로 대체되어, 하기가 되게 하며:

여기서

는 학습될 웨이블릿 도메인 상호접속 가중치들을 표현한다. 이러한 접근법에서, 당해 네트워크 층(들)은 다양한 공간 및 주파수 스케일들의 웨이블릿 커널들의 패밀리(family)로 구성된 웨이블릿 필터 뱅크이다. 웨이블릿들이 공간 변동들을 콤팩트하게 표현하는 데 능숙하기 때문에, 그들은 공간-변형성 거동이 학습되는 것을 허용한다. 이는 신경망(50)의 가요성 및 능력을 개선하고, 신경망(50)이 엄청나게 많은 수의 자유 파라미터들을 도입함이 없이 공간-변형성 작업들을 학습하고 수행하는 것을 허용한다.

그러한 웨이블릿 필터 기반 접근법에서, 하르(Haar) 웨이블릿들 또는 웨이블릿 프레임들이 (본 명세서의 특정 실시예에서 논의된 바와 같이) 채용될 수 있거나, 또는 다른 더 많은 이미지 희소화 프레임들(예컨대, 커블릿, 컨투어릿(contourlet), 밴들릿(bandlet), 조향가능-프레임 등)이 채용될 수 있다. 프레임들이 계산 및/또는 메모리 집약적이 될 수 있는 대규모 3D 문제들의 경우, 대안의 구현예는 상기의 웨이블릿 프레임들의 정규직교 버전들을 채용할 수 있지만, (랜덤화된) 이미지 변환들에 의해 의사-중복성(pseudo-redundancy)을 도입할 수 있다.

추가로, 본 명세서에 사용되는 바와 같이, 제안된 웨이블릿 필터 뱅크 기반 프레임워크는 후속 머신 러닝 작업들이 수행되기 전에 원래의 데이터가 웨이블릿 계수들로 사전-변환되도록 네트워크의 입력 층에 대해 웨이블릿 변환들을 또한 사용할 수 있는 종래의 머신 러닝 방법들과는 상이한 것으로 이해될 것이다. 이러한 종래의 접근법들에서, 웨이블릿 변환은 웨이블릿 계수들

를 추출하기 위해 네트워크의 입력 층에 1회 적용되고, 이어서 종래의 네트워크, 즉 컨볼루션 신경망(CNN)이 다음과 같이 z에 적용된다:

이러한 종래의 접근법들에서, 초기 웨이블릿 변환은 CNN의 아키텍처, 용량 또는 가요성을 실제로 변화시키지 않는다. 반대로, 신경망(50)의 웨이블릿 필터 뱅크 층의 본 구현예에서, 웨이블릿 필터 뱅크들은 신경망(50)의 내부 층들 내에 통합되고, 복잡한 작업들을 학습하기 위한 신경망(50)의 능력을 개선한다.

전술한 내용을 염두에 두고, 그리고 하기의 상세한 논의 및 설명을 용이하게 하기 위해, 일 구현예의 하이-레벨 예가 여기에 제공된다. 이러한 일반화된 예에 기초하여, 후속의 상세한 예들 및 특정 구현예들이 맥락 내에서 이해될 수 있다. 이러한 일반화된 구현예에서, 신경망(50)은 트레이닝 케이스들의 세트를 이용하여 트레이닝된다. X-선 CT, PET, SPECT, MR, 또는 C-아암 시스템과 같은 단층촬영 스캐너로부터 피검체에 대해 측정된 데이터(예컨대, 투사 데이터 또는 사이노그램)가 얻어진다. 측정된 데이터의 하나 이상의 단층촬영 변환들이 계산되는데, 여기서 하나 이상의 단층촬영 변환들은, 특정 구현예들에서, 피셔 정보 행렬의 가중된 역투사 또는 복수의 대각 요소들과 연관된다. 하나 이상의 단층촬영 변환을 트레이닝된 신경망(50)으로의 하나 이상의 입력들(52)로서 사용함으로써 트레이닝된 신경망(50)에 기초하여 하나 이상의 출력들이 얻어진다. 특정 구현예에서, 하나 이상의 단층촬영 변환들의 차원수를 추가로 감소시키기 위해, 측정된 데이터는 트레이닝된 신경망에 입력되기 전에 비중첩 또는 중첩 패치들로 분할될 수 있다. 특정 실시예들에서, 측정된 데이터는 측정된 데이터의 하나 이상의 단층촬영 변환들을 계산하기 전에 사전-프로세싱된다. 그러한 사전-프로세싱의 예들은 측정된 데이터의 데이터 (사전-)보정 및/또는 로그 조작(logarithmic manipulation)을 포함할 수 있지만, 이로 제한되지 않는다.

본 명세서에서 논의되는 일부 실시예들에서, 측정된 데이터의 단층촬영 변환은 가중된 역투사일 수 있으며, 이는 다음과 같이 계산될 수 있다:

여기서

는 측정된 데이터를 표기하고,

는 이미지 공간을 투사 데이터 공간에 맵핑시키는 전방 프로젝터 또는 전방 투사 연산자를 표기하고,

는 가중치 행렬이다. 전방 프로젝터의 전치(또는 수반)

는 역투사 연산자를 표현한다. 가중치 행렬은 아이덴티티 행렬일 수 있고, 그러한 구현예에서, 가중된 역투사는 일상의 가중되지 않은 역투사가 된다. 대안의 실시예에서, 측정된 데이터에 대한 추정된 공분산 행렬의 역이 가중치 행렬로서 사용될 수 있다. 측정된 데이터가 통계적으로 독립적인 경우, 공분산 행렬 및 가중치 행렬은 대각선이다.

본 명세서에서 논의되는 다른 실시예들에서, 측정된 데이터의 단층촬영 변환은 피셔 정보 행렬(또는 그러한 피셔 정보 행렬로부터 도출된 단층촬영 변환)일 수 있다. 피셔 정보 행렬은 다음과 같이 표현될 수 있다:

여기서

는 이미지 공간을 투사 데이터 공간에 맵핑시키는 전방 투사 연산자를 표기하고,

는 투사 데이터 공간을 이미지 공간에 맵핑시키는 역투사 연산자를 표기하고,

는 특정 대각선 행렬이다. X-선 CT에서,

는 로그 변환 전의 측정된 데이터의 추정된 평균 또는 로그 변환 후의 측정된 데이터의 추정된 평균의 역수를 표현할 수 있다. PET 및 SPECT에서

는 측정된 데이터의 추정된 평균의 역수를 표현할 수 있다.

전술한 사항을 염두에 두고, 도 3은 제1 실시예의 일례를 도시하고 있다. 이 실시예에서, 측정된 데이터(180)가 초기에 획득된다. 측정된 상태(180)는, 이 예에서, 측정된 데이터(180)의 단층촬영 변환(182)을 생성하는 데 이용된다. 예로서, 단층촬영 변환(182)은 본 명세서에서 논의되는 바와 같은 피셔 정보, 가중된 역투사, 또는 다른 적합한 단층촬영 변환일 수 있다. 하나의 그러한 상황에서, 용어 "피셔 정보"는 피셔 정보 행렬의 복수의 대각 요소들 또는 복수의 대각 요소들과 연관된 특정 이미지를 지칭한다. 추가로, 측정된 데이터(180)에 기초한 추가 입력(184), 예컨대 기준 재구성된 이미지가 생성될 수 있다. 이러한 예에서, 단층촬영 변환(182) 및 추가 입력(184)(채용되는 경우)은 트레이닝된 신경망(50)에 입력되며, 이는 이에 응답하여 출력(60)을 생성한다.

도 4를 참조하면, 이미지 재구성에 관련된 추가 예가 제공된다. 이러한 예에서, 신경망(50)은 역투사(들)(190)의 형태의 측정된 데이터(180)의 단층촬영 변환을 입력으로서 수신하도록 트레이닝된다. 트레이닝된 신경망(50)은, 이어서, 재구성된 이미지(192)를 출력한다. 따라서, 이 예에서, 측정된 데이터(180)는, 예컨대 CT 또는 다른 적합한 이미징 시스템을 통해 초기에 획득된다. 측정된 데이터에 대해 역투사 동작이 수행되어, 재구성된 이미지(192)를 출력하는 트레이닝된 신경망(50)에의 입력으로서 (추가 입력들과 함께 또는 추가 입력들 없이) 제공되는 역투사(190)를 생성한다.

반대로, 다른 예들에서, 신경망은, 분산 이미지를 생성하고 출력하는 것과 같이, 재구성된 이미지들의 속성들을 출력하거나 예측하도록 트레이닝될 수 있다. 본 발명자들은 실제 분산 메트릭, 표준 편차 메트릭, 이미지 조도 메트릭, 또는 다른 유사한 메트릭들을 포함할 수 있는, 로컬 잡음 레벨을 표현하는 이미지의 일반적인 의미로 용어 "분산 이미지"를 사용한다. 이러한 이미지 속성들은, 이어서, 별개의 재구성 알고리즘 및/또는 사후-프로세싱 알고리즘의 파라미터들을 조정하는 데 이용될 수 있다. 예를 들어, 도 5를 참조하면, 잡음 분산 이미지 추정에 대한 특정 실시예들에서, 피셔 정보(200) 및 재구성된 이미지(202)는 측정된 데이터(180)에 기초하여 계산된다. 트레이닝된 신경망(50)은 입력으로서 피셔 정보(200) 및 재구성된 이미지(202)를 수신하고, 이어서, 출력으로서 잡음 분산 이미지(204)를 생성하며, 여기서 분산 이미지(204)는 복셀별 분산 추정치들을 표현한다. 이러한 잡음 정보는, 이어서, CT 스캔 프로토콜, 재구성 알고리즘 또는 사후-프로세싱 알고리즘 중 하나 이상을 파라미터화하거나 조정하는 데 이용될 수 있다.

측정된 데이터(180)로부터 생성되고 신경망(50)에의 입력으로서 사용되는 재구성된 이미지(202)에 대하여, 그러한 재구성된 이미지들(202)이 입력들로서 사용되는 실시예들에서, 주어진 재구성 알고리즘으로부터의 재구성된 이미지들의 하나의 세트만이 필요하다. 이해되는 바와 같이, 그리고 아래에서 더 상세히 논의되는 바와 같이, 상이한 양식들에 대해 존재하는 다양한 상이한 재구성 알고리즘들이 있으며, 이들 중 일부는 복잡하고/하거나 계산적으로 비용이 많이 들 수 있다.

이러한 예를 기반으로, 그리고 도 6을 참조하면, 동일한 입력들을 사용하여, 상이하게 트레이닝된 신경망(50)은, 대신에, 출력으로서 잡음제거 이미지 및 잡음 패턴(210)을 생성하도록 트레이닝될 수 있다. 이미지 잡음제거 및 잡음 패턴 추정의 그러한 예에서, 피셔 정보(200) 및 재구성된 이미지(202)는 측정된 데이터(180)에 기초하여 계산된다. 트레이닝된 신경망(50)은 입력으로서 피셔 정보(200) 및 재구성된 이미지(202)를 수신하고, 출력으로서 잡음 패턴(즉, 재구성된 이미지에서 잡음제거 이미지를 감산한 것)을 갖는 잡음제거 이미지(210)를 생성한다. 도 7에 도시된 대안의 구현예에서, 잡음 분산 이미지(204) 또는 잡음 상관 이미지가 트레이닝된 신경망(50)으로의 추가 입력으로서 잡음제거 이미지 및 잡음 패턴(210)을 생성하는 데 사용될 수 있다.

도 8을 참조하면, 추가 실시예에서, 신경망(50)은, 대신에, 부분 체적 오차(PVE) 보정 이미지(220)를 출력하도록 트레이닝될 수 있다. 예를 들어, 부분적인 체적 보정에 대한 하나의 그러한 실시예에서, 피셔 정보(200) 및 재구성된 이미지(202)는 측정된 데이터(180)에 기초하여 계산된다. 트레이닝된 신경망(50)은 피셔 정보(200) 및 재구성된 이미지(202)를 입력으로서 수신하고, 부분 체적 오차 보정 이미지, 부분 체적 보정 표준형 흡수값(SUV), 또는 부분 체적 오차 보정 계수 중 하나 이상의 것의 부분 체적 기반 출력(220)을 생성한다. 그러한 접근법은 또한 아티팩트 보정, 산란 보정 등에 이용될 수 있다.

이해되는 바와 같이, 전술한 예들 중 일부는 측정된 데이터(180)로부터 유도된 재구성된 이미지(202)를 트레이닝된 신경망(50)에의 입력으로서 채용한다. 특정 구현예들에서는 종래의 이미지 재구성 접근법들 및 알고리즘들이 채용되어, 신경망(50)에 입력되는 재구성된 이미지들(202)을 생성할 수 있지만, 다른 구현예들에서는, 종래의 접근법들보다 더 많은 정보를 투사 데이터(즉, 측정된 데이터(180))로부터 유지하도록 설계되는 알고리즘들이 채용될 수 있다.

특히, (필터링된 역투사(FBP)와 같은) 표준 재구성을 수행할 때, 원래의 투사 데이터(즉, 측정된 데이터(180))에 존재하는 정보 중 일부가 손실되는 것이 이해될 수 있다. 진보된 반복적 재구성 알고리즘들은 더 양호한 이미지들을 재구성하는 데 이용될 수 있지만, 심지어 이러한 이미지들도 원래의 투사 데이터(180)에 존재하는 모든 정보를 포함하지는 않는다. 그 결과, 종래의 재구성 알고리즘을 이용하여 생성된 재구성된 이미지가 신경망(50)에 대한 입력으로서 사용될 때, 투사 데이터에 존재하는 정보의 일부가 이미 손실된다.

이를 염두에 두고, 본 명세서에서 논의된 특정 실시예들에서, 신경망(50)에의 입력으로서 사용되지만 시각적 검사 또는 임상학적 사용을 위해 디스플레이되거나 달리 제공되지 않을 수 있는 재구성된 이미지(202)를 생성하기 위해 재구성이 수행된다. 특히, 그러한 초기 재구성된 이미지(202)는 측정된 데이터(180)(예컨대, 투사 데이터)에 존재하는 정보를 종래의 재구성 기법들보다 더 잘 보존하는 알고리즘 또는 기법을 이용하여 생성될 수 있으며, 여기서 재구성된 이미지는 디스플레이 또는 뷰잉을 위해 의도된다.

예로서, 신경망(50) 입력으로서 사용하기 위한 재구성된 이미지(202)를 생성하기 위한 그러한 재구성 접근법은 더 작은 복셀 크기 및/또는 더 큰 이미지 행렬을 활용할 수 있고, 따라서, 종래의 재구성된 이미지에 의해서보다는 재구성된 이미지(202)에 의해서 보다 많은 정보가 표현될 수 있다. 예를 들어, 0.25 mm의 복셀 크기가 사용될 수 있고/있거나, 2048 × 2048 × 슬라이스들의 개수의 이미지 행렬이 사용될 수 있다. 또한, 채용되는 재구성 알고리즘은 종래의 재구성 알고리즘과는 상이할 수 있다. 예를 들어, 신경망(50) 입력으로서 사용하기 위한 재구성된 이미지(202)를 생성하기 위해 채용되는 재구성 알고리즘은 특수 필터 커널을 갖는 필터링된 역투사(FBP)일 수 있다. 각각의 채널에 대한 특수 필터 계수들은, 도 9에 도시된 바와 같이, 원래의 사이노그램(즉, 측정된 데이터(180))을 보존하는 방식으로 부분 재구성 및 재투사를 수행하고 계수들을 조정함으로써 결정될 수 있다. 이러한 예에서, 원래의 사이노그램은 다양한 계수들(여기서, 1 내지 n)을 사용하여 부분 필터링(단계 250)을 겪어서, n개의 부분 필터링된 사이노그램들(252)을 생성할 수 있다. 부분 필터링된 사이노그램(252)은 부분 역투사될 수 있고(단계 254), 후속으로 부분 재투사될 수 있고(단계 256), 그 결과들이 합산되어(단계 260), 재투사된 사이노그램(262)을 생성할 수 있다. 이어서, 원래의 사이노그램(180)과 재투사된 사이노그램(262)의 제곱 차이의 가중합(weighted sum of square difference)(단계 264)은, 예컨대 제곱들의 가중합이 최소화되거나 달리 적합한 임계치에 도달할 때까지, 반복적 프로세스에서 원래의 사이노그램(180)을 부분 필터링하는 데 사용되는 n개의 계수들을 조정하는 데 사용될 수 있다.

예로서, 필터 탭들은 가중된 최소 제곱 최적화 문제로서 최적화될 수 있다:

여기서 Y는 원래의 사이노그램이고, U _k 는 1로 설정된 필터 계수 k 및 0으로 설정된 모든 다른 필터 계수들을 갖는 사이노그램 필터링 동작이고, A 및 A ^T 는 재투사 및 역투사 동작들이고, W는 선택적인 대각 가중 행렬이고, c _k 는 필터 탭(k)에 대한 최적화될 필터 계수이다.

대안으로, 다른 접근법에서, 반복적 FBP 기법이 신경망(50) 입력으로서 사용하기 위한 재구성된 이미지(202)를 생성하기 위해 채용될 수 있다. 예를 들어, FBP는 잔차 오차 사이노그램이 작아지도록 반복적으로 적용될 수 있으며, 이 시점에서 재구성된 이미지는 적합한 정도까지 원래의 정보 콘텐츠를 표현한다.

이전의 논의를 염두에 두고, GE Discovery CT 750 HD CT 시스템(888개의 검출기 채널들, 984회의 투사/회전)에 대한 2차원(2D) 팬 빔 CT 재구성 작업을 설명하는 다수의 예들이 아래에 제공된다. 도 10은 딥러닝 시스템의 프로세싱 체인에서의 단계들을 그래픽으로 도시한다.

도 10을 참조하면, 이 연구에서는, 원시 입력 데이터(CT 사이노그램)(즉, 측정된 데이터(180))를 먼저 이미지 공간 내에 역투사하여(단계 280) 필터링되지 않은 역투사를 생성하였다. 웨이블릿 필터 뱅크를 구성하여 이미지 재구성을 수행하였다(단계들(286, 288, 290)). 9개의 레벨들의 분해를 갖는 하르 웨이블릿 프레임을 필터 커널들로서 사용하였다.

웨이블릿 도메인 가중 계수들을, 트레이닝 예들로서 200개 쌍의 시뮬레이션된 지상 실측 물체들 및 대응하는 CT 사이노그램에 의해 트레이닝시켰다. 컴퓨터 생성 가우시안 잡음 패턴을 트레이닝 예들로서 사용하였다. 도 11은 트레이닝 프로세스에서 사용되는 잡음 패턴(300) 및 대응하는 CT 사이노그램(302)의 쌍의 사례를 도시한다. 종래의 CNN과 동일한 방식으로 트레이닝을 수행하였다.

도 12는 신경망(50)을 트레이닝시키는 데 사용되지 않은 검증 데이터세트에 대응하는 전술된 연구의 딥러닝 시스템에 의해 재구성된 출력 이미지들을 도시한다. 각각 30개의 예들(중간 이미지) 및 200개의 예들(최우측 이미지)을 사용하여 머신 러닝 시스템을 트레이닝시킨 후에 출력 이미지들을 얻었고, 이때 지상 실측 이미지를, 참조를 위해 좌측 상에 디스플레이하였다.

본 발명의 기술적 효과는 대규모 공간-변형성 단층촬영 재구성 및/또는 보정 문제들을 해결하기에 적합한 머신 러닝 및 딥러닝 시스템들의 사용을 포함한다. 본 접근법은 학습 기반 기법들을 단층촬영 재구성/보정에 적용하기 위한 기존의 CNN들 또는 다른 브루트-포스 접근법들의 제한사항들을 다루고 극복하며, 단층촬영 재구성 또는 이미지 보정 및/또는 복원 문제들을 해결하고 계산 시간, 잡음 및 아티팩트 감소, 정확도, 해상도 등과 관련하여 종래의 분석적 또는 반복적 알고리즘들을 능가하는 메커니즘을 제공할 수 있다. 본 접근법은 이미지 재구성, 이미지 잡음제거, 부분 체적 보정, 표준 흡수값(SUV)의 결정 또는 보정, 정량 보정, 잡음 분산 추정 등을 포함하지만 이들로 제한되지 않는 다양한 단층촬영 상황에서 적용될 수 있다.

특정 실시예들에서, 단층촬영 스캐너(예컨대, X-선 CT, PET, SPECT, MR, 또는 C-아암 시스템)로부터 얻어진 측정된 데이터의 단층촬영 변환이 신경망(50)에의 입력으로서 사용된다. 본 접근법의 특정 태양들에 따르면, 단층촬영 변환 동작(들)은 신경망(50)과는 별개로 또는 그 외부에서 수행되어, 그 대신에, 단층촬영 변환 동작의 결과가 신경망(50)에의 입력으로서 제공되게 한다. 따라서, 본 명세서에 논의된 바와 같이, 신경망(50)에의 입력(52)으로서의 측정된 데이터의 단층촬영 변환을 이용하는 것은 주어진 재구성 문제의 복잡도 및 차원수를 감소시키고, 데이터를 신경망(50)에 의한 추가 프로세싱에 더 유리한 중간 데이터 공간에 맵핑시키는 것을 도울 수 있다. 또한, 본 명세서에서 논의된 특정 실시예들에서, 신경망의 하나 이상의 층들이 웨이블릿 필터 뱅크들로서 제공될 수 있다.

기재된 본 설명은, 최상의 모드를 포함하는 예들을 사용하여 본 발명을 개시하고, 또한, 임의의 디바이스들 또는 시스템들을 제조하고 사용하는 것 및 임의의 통합된 방법들을 수행하는 것을 포함하여 당업자가 본 발명을 실시하는 것을 가능하게 한다. 본 발명의 특허가능한 범주는 청구범위에 의해 한정되며, 당업자에게 떠오르는 다른 예들을 포함할 수 있다. 그러한 다른 예들은, 그들이 청구범위의 문자 그대로의 언어와 상이하지 않은 구조적 요소들을 갖는 경우, 또는 그들이 청구범위의 문자 그대로의 언어와는 대단찮은 차이들을 갖는 등가의 구조적 요소들을 포함하는 경우, 청구범위의 범주 내에 있는 것으로 의도된다.

Claims (22)

1. 방법으로서,
   단층촬영 스캐너로부터 측정된 데이터를 얻는 단계;
   상기 측정된 데이터의 하나 이상의 단층촬영 변환들을 계산하는 단계 - 상기 하나 이상의 단층촬영 변환들은 역투사(backprojection), 가중된 역투사(weighted backprojection), 재투사, 피셔(Fisher) 정보 행렬의 복수의 대각 요소들, 분산 이미지, 잡음 상관 이미지, 또는 피셔 정보 행렬의 다항식(polynomial)을 포함함 -;
   트레이닝된 신경망에 입력들을 제공하는 단계 - 상기 입력들은 입력 재구성된 이미지와 상기 하나 이상의 단층촬영 변환들을 포함하고, 상기 입력 재구성된 이미지는 특수 필터 커널을 갖는 필터링된 역투사 이미지를 포함하고, 재투사 후에 원래의 사이노그램을 보존하는 필터 계수들이 선택됨 -; 및
   상기 입력들에 기초하여 상기 트레이닝된 신경망으로부터 하나 이상의 출력들을 얻는 단계를 포함하는, 방법.
2. 제1항에 있어서,
   복수의 트레이닝 케이스들을 이용하여 신경망을 트레이닝시키는 단계를 추가로 포함하는, 방법.
3. 제2항에 있어서, 상기 복수의 트레이닝 케이스들은 가우스 블롭(Gaussian blob)들, 랜덤 잡음 패턴들, 또는 랜덤 형상들을 포함하는 하나 이상의 컴퓨터 생성 랜덤 패턴들을 포함하는, 방법.
4. 제1항에 있어서, 상기 단층촬영 스캐너는 X-선 컴퓨터 단층촬영(computed tomography, CT) 스캐너, 양전자 방출 단층촬영(positron emission tomography, PET) 스캐너, 단일 광자 방출 컴퓨터 단층촬영(single photon emission computed tomography, SPECT) 스캐너, 자기 공명 이미징(magnetic resonance imaging, MRI) 스캐너, 또는 C-아암 스캐너 중 하나를 포함하는, 방법.
5. 제1항에 있어서, 상기 하나 이상의 출력들은 출력 재구성된 이미지를 포함하는, 방법.
6. 삭제
7. 삭제
8. 제1항에 있어서, 상기 입력들은 상기 입력 재구성된 이미지에 더하여 입력 분산 이미지 또는 입력 잡음 상관 이미지 중 적어도 하나를 추가로 포함하는, 방법.
9. 제1항에 있어서, 상기 신경망은 공간-변형성이고, 웨이블릿 필터 뱅크(wavelet filter bank), 웨이블릿, 웨이블릿 프레임, 커블릿(curvelet), 또는 다른 희소화(sparsifying) 변환들에 기초하는, 방법.
10. 이미지 프로세싱 시스템으로서,
    하나 이상의 저장된 프로세서 실행가능 루틴들을 실행시키도록 구성된 프로세싱 컴포넌트; 및
    상기 하나 이상의 실행가능 루틴들을 저장하는 메모리를 포함하고, 상기 하나 이상의 실행가능 루틴들은, 상기 프로세싱 컴포넌트에 의해 실행될 때,
    스캔 데이터의 세트를 획득하거나 그에 액세스하는 액션 - 상기 스캔 데이터의 세트는 초기에 원래의 측정들의 세트에 의해 표현됨 -;
    상기 스캔 데이터의 세트의 하나 이상의 단층촬영 변환들을 계산하는 액션;
    입력 재구성된 이미지와 상기 하나 이상의 단층촬영 변환들을 트레이닝된 신경망에 입력들로서 제공하는 액션 - 상기 입력 재구성된 이미지는 특수 필터 커널을 갖는 필터링된 역투사 이미지를 포함하고, 재투사 후에 원래의 사이노그램을 보존하는 필터 계수들이 선택되고, 상기 트레이닝된 신경망은 웨이블릿 필터 뱅크, 웨이블릿, 웨이블릿 프레임, 커블릿, 또는 다른 희소화 변환에 기초한 적어도 하나의 층을 포함함 -; 및
    상기 입력들에 기초하여 상기 트레이닝된 신경망으로부터 하나 이상의 출력들을 얻는 액션을 포함하는 액션들이 수행되게 하는, 이미지 프로세싱 시스템.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제

Images