KR20200026071A - 환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들 - Google Patents

Abstract

딥러닝 네트워크 모델을 사용하는 개선된 이미지 잡음제거를 위한 시스템들 및 방법들이 개시된다. 예시적인 시스템은, 제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 제1 환자 이미지를 프로세싱하기 위한 입력 데이터 프로세서를 포함한다. 예시적인 시스템은 제1 잡음을 식별하도록 제1 딥러닝 네트워크를 사용하여 잡음 이미지 입력을 프로세싱하기 위한 이미지 데이터 잡음제거기를 포함한다. 이미지 데이터 잡음제거기는 잡음 이미지 입력을 사용하여 제1 딥러닝 네트워크를 트레이닝하기 위한 것이다. 제1 딥러닝 네트워크가 제1 잡음을 식별하도록 트레이닝될 때, 이미지 데이터 잡음제거기는 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 제1 딥러닝 네트워크를 전개하는 것이다.

Description

환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들{PATIENT-SPECIFIC DEEP LEARNING IMAGE DENOISING METHODS AND SYSTEMS}

본 발명은 대체적으로 개선된 의료 시스템들에 관한 것으로, 보다 구체적으로는, 의료 이미지 프로세싱을 위한 개선된 기계 학습 시스템들 및 방법들에 관한 것이다.

이미지 잡음은 이미지 획득 프로세스의 컴포넌트에 의해 도입된(예컨대, 이미지 소스, 이미지 검출기 및 이미징 스캐너의 다른 부분의 결함 또는 마모, 이미지 프로세싱 소프트웨어의 에러, 센서 및/또는 다른 이미징 장비의 가열 등에 의해 도입된) 이미지 데이터의 랜덤 변동(예컨대, 이미지에 대한 밝기 및/또는 색상 정보의 변동)이다. X-선 및/또는 컴퓨터 단층촬영(computed tomography) 이미징에서, X-선 광자들의 푸아송(Poisson) 통계치로 인한 양자 잡음은, 예를 들어 이미지 내의 잡음의 소스일 수 있다. 이미지 내의 잡음 또는 간섭은 실제 이미지 데이터를 손상시킬 수 있고/있거나, 달리, 생성된 이미지에서 특징부들을 알아보기 어렵게 할 수 있다. 이와 같이, 이미지 내의 잡음이 임상의(예컨대, 방사선전문의, 전문의, 외과 전문의 등)가 건강 문제를 진단하거나 시술을 적절하게 준비하는 것을 못하게 하는 경우, 이미지 내의 잡음은 환자에게 매우 파괴적이고 심지어 위험할 수 있다.

이미지 프로세싱 및 분석 등을 포함한 건강 관리 제공자 작업들은, 인간들이 단독으로 성취하기에 불가능하지는 않지만 비실용적인 시간 소모적이고 자원 집약적인 작업들이다. 환자 치료 및 안전을 위해 프로세싱, 분석, 및 의존될 이미지 내의 잡음의 추가는, 이미 어렵고 여전히 중요한 작업을 더 복잡하게 한다.

특정 예들은 딥러닝 네트워크 모델을 사용하는 개선된 이미지 잡음제거를 위한 시스템들 및 방법들을 제공한다.

특정 예들은 입력 데이터 프로세서, 이미지 데이터 잡음제거기, 사후프로세싱 이미지 생성기, 및 출력 이미저(imager)를 포함하는 이미지 데이터 프로세싱 시스템을 제공한다. 예시적인 입력 데이터 프로세서는 제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 제1 환자 이미지를 프로세싱하기 위한 것이다. 예시적인 이미지 데이터 잡음제거기는 제1 잡음을 식별하기 위해 제1 딥러닝 네트워크를 사용하여 잡음 이미지 입력을 프로세싱하기 위한 것이다. 예시적인 이미지 데이터 잡음제거기는, 잡음 이미지 입력을 사용하여 제1 딥러닝 네트워크를 트레이닝(training)하고 제1 딥러닝 네트워크의 잡음 출력과 예상 잡음 출력의 비교에 기초하여 네트워크 가중치를 수정하기 위한 것이다. 제1 딥러닝 네트워크가 제1 잡음을 식별하도록 트레이닝될 때, 이미지 데이터 잡음제거기는 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 제1 딥러닝 네트워크를 전개하는 것이다. 예시적인 사후프로세싱 이미지 생성기는 제2 환자 이미지로부터 제2 딥러닝 네트워크 모델에 의해 식별된 제2 잡음을 제거하여 잡음제거된 환자 이미지를 형성하기 위한 것이다. 예시적인 출력 이미저는 잡음제거된 환자 이미지를 출력하기 위한 것이다.

특정 예들은, 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 제공하는데, 명령어들은, 실행될 때, 적어도 하나의 프로세서로 하여금, 적어도, 제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 제1 환자 이미지를 프로세싱하게 하고; 제1 잡음을 식별할 입력으로서 잡음 이미지 입력을 사용하여 제1 딥러닝 네트워크를 트레이닝하게 하고; 제1 딥러닝 네트워크가 제1 잡음을 식별하도록 트레이닝될 때, 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 제1 딥러닝 네트워크를 전개하게 하며, 여기서 제2 딥러닝 네트워크 모델에 의해 식별된 제2 잡음은 출력될 잡음제거된 환자 이미지를 형성하도록 제2 환자 이미지로부터 제거될 것이다.

특정 예들은 이미지 잡음제거의 컴퓨터 구현 방법을 제공하는데, 이는, 적어도 하나의 프로세서를 사용하여, 제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 제1 환자 이미지를 프로세싱하는 단계; 적어도 하나의 프로세서를 사용하여, 제1 잡음을 식별할 입력으로서 잡음 이미지 입력을 사용하여 제1 딥러닝 네트워크를 트레이닝하는 단계; 및 제1 딥러닝 네트워크가 제1 잡음을 식별하도록 트레이닝될 때, 적어도 하나의 프로세서를 사용하여, 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 제1 딥러닝 네트워크를 전개하는 단계를 포함하며, 여기서 제2 딥러닝 네트워크 모델에 의해 식별된 제2 잡음은 출력될 잡음제거된 환자 이미지를 형성하도록 제2 환자 이미지로부터 제거될 것이다.

도 1 및 도 2는 본 명세서에 개시되는 방법들, 장치, 및 제조 물품들이 적용될 수 있는 예시적인 이미징 시스템을 도시한다.
도 3은 예시적인 학습 뉴럴 네트워크의 표현이다.
도 4는 콘볼루션 뉴럴 네트워크(convolutional neural network, CNN)로서의 예시적인 뉴럴 네트워크의 특정 구현예를 도시한다.
도 5는 이미지 분석 콘볼루션 뉴럴 네트워크의 예시적인 구현예의 표현이다.
도 6a는 학습 네트워크를 적용하여 이미지를 프로세싱하고/하거나 달리 평가하기 위한 예시적인 구성을 도시한다.
도 6b는 복수의 학습 네트워크들의 조합을 도시한다.
도 7은 학습 네트워크의 예시적인 트레이닝 및 전개 단계들을 도시한다.
도 8은 딥러닝 제품 오퍼링을 제공하기 위해, 트레이닝된 네트워크 패키지를 레버리징하는 예시적인 제품을 도시한다.
도 9a 내지 도 9c는 다양한 딥러닝 디바이스 구성들을 도시한다.
도 10은 딥러닝 네트워크-구동 이미지 잡음제거 및 다른 재구성 기법들 사이의 비교의 결과들을 도시한다.
도 11은 이미징 기법(imaging modality)으로부터 획득된 이미지 데이터를 프로세싱 및 잡음제거하기 위한 예시적인 이미지 프로세서 장치를 도시한다.
도 12는 도 11의 예의 이미지 잡음제거기의 예시적인 구현예를 도시한다.
도 13 내지 도 16은 환자의 이미지들로부터 잡음을 식별 및 제거하기 위해 뉴럴 네트워크를 사용하여 환자 이미지를 프로세싱하기 위한 예시적인 방법들의 흐름도들을 도시한다.
도 17은 본 명세서에 개시되고 기술되는 컴포넌트들을 구현하기 위해 예시적인 기계 판독가능 명령어들을 실행하도록 구성된 프로세서 플랫폼의 블록도이다.
도면들은 축척대로가 아니다. 가능하다면, 동일한 도면 부호들이 도면들 및 첨부 설명 전체에 걸쳐서 동일한 또는 유사한 부분들을 지칭하는 데 사용될 것이다.

하기의 상세한 설명에서, 본 명세서의 일부를 형성하고, 실시될 수 있는 특정 예들이 예시로서 도시되어 있는 첨부 도면들을 참조한다. 이러한 예들은 당업자가 본 발명의 주제를 실시할 수 있게 하도록 충분히 상세하게 기술되며, 다른 예들이 활용될 수 있고 본 발명의 주제의 범주로부터 벗어나지 않고서 논리적, 기계적, 전기적 및 다른 변경들이 이루어질 수 있다는 것이 이해되어야 한다. 따라서, 하기의 상세한 설명은 예시적인 구현예를 기술하기 위해 제공되며, 본 명세서에서 기술되는 주제의 범주에 대해 제한하는 것으로 해석되어서는 안 된다. 하기의 설명의 상이한 태양들로부터의 특정 특징부들은 조합되어 아래에서 논의되는 주제의 더 새로운 태양들을 형성할 수 있다.

본 발명의 다양한 실시예들의 요소들을 도입할 때, 단수 표현 단어들("a", "an", "the") 및 "상기(said)"라는 단어는 그 요소들이 하나 이상 있음을 의미하고자 하는 것이다. "포함하는(comprising)", "포함하는(including)" 및 "갖는(having)"이라는 용어들은 포괄적인 것으로 의도되며, 열거된 요소들 이외의 추가 요소들이 있을 수 있음을 의미한다.

특정 예들이 의료 또는 건강 관리 시스템들과 관련하여 후술되지만, 다른 예들이 의료 환경 밖에서 구현될 수 있다. 예를 들어, 특정 예들은 비파괴 검사, 폭발 탐지 등과 같은 비-의료 이미징에 적용될 수 있다.

I. 개요

이미징 디바이스들(예컨대, 감마 카메라, PET(positron emission tomography) 스캐너, 컴퓨터 단층촬영(CT) 스캐너, X-선 기계, MR(magnetic resonance) 이미징 기계, 초음파 스캐너 등)은 질병들을 진단하고/하거나 치료하기 위해 신체 부위들(예컨대, 기관, 조직 등)을 표현하는 의료 이미지들(예컨대, 네이티브 DICOM(Digital Imaging and Communications in Medicine) 이미지들)을 생성한다. 의료 이미지들은 의료 이미지에서 캡처된 신체 부위와 연관된 복셀(voxel)들을 포함하는 체적측정 데이터를 포함할 수 있다. 의료 이미지 시각화 소프트웨어는 임상의가 의료 이미지의 다양한 위치들 상의 기능적 또는 해부학적 특성들을 세그먼트화할 수 있게 하고/하거나 주석첨부(annotate)할 수 있게 하고/하거나 측정할 수 있게 하고/하거나 보고할 수 있게 한다. 일부 예들에서, 임상의는 의료 이미지 시각화 소프트웨어를 활용하여 의료 이미지를 갖는 관심 영역들을 식별할 수 있다.

의료 이미지 데이터의 획득, 프로세싱, 분석, 및 저장은 건강 관리 환경에서 환자들의 진단 및 치료에 중요한 역할을 한다. 의료 이미징 작업 흐름 및 작업 흐름에 관련된 디바이스들은 의료 이미징 작업 흐름 및 디바이스들의 동작 전체에 걸쳐서 구성, 모니터링 및 업데이트될 수 있다. 기계 학습은 의료 이미징 작업 흐름 및 디바이스들을 구성, 모니터링, 및 업데이트하는 것을 돕기 위해 사용될 수 있다.

예를 들어, 타깃 영역 주위에서의 방사선감수성 기관의 세그먼트화는 방사선 요법 계획(radiotherapy planning)의 핵심 단계이다. 임상 실시 시에, 세그먼트화는 종종 수동으로 수행되는데, 이는 최대 수 시간이 걸릴 수 있다. 세그먼트화의 감도, 정밀도 및 정확도를 자동화하고 개선하는 것은 효율을 크게 개선할 것이며, 따라서 이러한 태스크는 환자 관리를 위한 안전성 및 건강과 효율을 크게 개선할 것이다.

자동화된 세그먼트화 동안, 각각의 복셀은 복셀이 세그먼트화된 기관에 속하는지의 여부를 판정하기 위해 분석될 것이다. 그러한 분석은 시간 소모적일 수 있다. 특정 예들은 다양한 기관들의 경계 박스를 검출하고/하거나 다른 방식으로 판정함으로써 그러한 분석의 속도, 정확도 및 정밀도를 증가시킨다.

특정 예들은 개선된 이미징 디바이스들을 제공하고/하거나 가능하게 하는데, 이들은 진단 정확도 및/또는 커버리지를 개선한다. 특정 예들은 개선된 이미지 재구성 및 추가 프로세싱을 용이하게 하여 개선된 진단 정확도를 제공한다.

기계 학습은 데이터의 세트에 기초하여 학습할 수 있는 구성(예컨대, 상관관계를 이룰 수 있고, 결론들을 도출할 수 있고, 기타등등을 할 수 있음)을 정의한다. 예를 들어, 기계 학습은 데이터 세트 내에 추상(abstraction)들을 모델링하는 데 사용될 수 있다. 기계 학습의 일례는 연결된 노드들의 입출력 층들과 같은 가시 층들, 및 결정된 상관관계들, 연결들, 거동들 등에 따라 노드들을 연결하기 위해 네트워크 모델에 의해 정의되는 내부 층들과 같은 은닉 층들을 포함할 수 있는 뉴럴 네트워크이다. 일부 뉴럴 네트워크들은 예상되는 상관관계들 등을 이용하여 트레이닝하는 데 시딩(seed)된다. 다른 뉴럴 네트워크들, 예컨대 딥러닝 네트워크들은 대규모 데이터 세트들의 분석으로부터 그들 자신의 상관관계들을 결정한다. 기계 학습 기법들은, 딥러닝 네트워크들이든 다른 경험/관찰 학습 시스템이든, 예를 들어, 대상(object)을 이미지 내에 위치시키기 위해, 음성을 이해하고 음성을 텍스트로 변환하기 위해, 그리고 검색 엔진 결과들의 관련성을 개선시키기 위해 이용될 수 있다.

딥러닝은 선형 및 비선형 변환들을 포함하는 다수의 프로세싱 층들을 갖는 심화 그래프(deep graph)를 사용하여 데이터에 하이레벨 추상들을 모델링하기 위해 알고리즘들의 세트를 사용하는 기계 학습의 서브세트이다. 많은 기계 학습 시스템들이 기계 학습 네트워크의 학습 및 업데이트를 통해 수정될 초기 특징부들 및/또는 네트워크 가중치들을 이용하여 시딩되지만, 딥러닝 네트워크는 분석을 위해 "양호한" 특징부들을 식별하도록 스스로를 트레이닝한다. 다층화된 아키텍처를 이용하면, 딥러닝 기법들을 채용한 기계들은 종래의 기계 학습 기법들을 이용한 기계들보다 원시 데이터를 더 양호하게 프로세싱할 수 있다. 고도로 상관된 값들 또는 구별되는 테마들의 그룹들에 대한 데이터를 검사하는 것은 평가 또는 추상의 상이한 층들을 사용하여 용이하게 된다.

명세서 및 청구범위 전체에 걸쳐서, 문맥이 명확하게 달리 지시하지 않는 한, 하기의 용어들은 본 명세서에서 명시적으로 연관되는 의미들을 취한다. "딥러닝"이라는 용어는 기계 학습 기법으로, 이 기법은 다수의 데이터 프로세싱 층들을 활용하여, 데이터 세트들에서의 다양한 구조들을 인식하고 그 데이터 세트들을 높은 정확도로 분류한다. 딥러닝 네트워크는 복수의 입력들 및 출력들에 기초하여 패턴들을 학습하는 트레이닝 네트워크(예컨대, 트레이닝 네트워크 모델 또는 디바이스)일 수 있다. 딥러닝 네트워크는, 트레이닝 네트워크로부터 생성되고 입력에 응답하여 출력을 제공하는 전개된 네트워크(예컨대, 전개된 네트워크 모델 또는 디바이스)일 수 있다.

"감독 학습(supervised learning)"이라는 용어는 딥러닝 트레이닝 방법으로, 이 방법에서 기계는 이미 분류된 데이터를 인간 소스들로부터 제공받는다. "미감독 학습(unsupervised learning)"이라는 용어는 딥러닝 트레이닝 방법으로, 이 방법에서 기계는 이미 분류된 데이터를 제공받는 것이 아니라 기계를 이상 검출(abnormality detection)에 유용하게 만든다. "준감독 학습(semi-supervised learning)"이라는 용어는 딥러닝 트레이닝 방법으로, 이 방법에서 기계는 기계에서 이용가능한 보다 많은 양의 분류되지 않은 데이터에 비해 보다 적은 양의 분류된 데이터를 인간 소스들로부터 제공받는다.

"표현 학습"이라는 용어는 원시 데이터를 기계 학습 태스크들에서 활용될 수 있는 표현 또는 특징부로 변환하기 위한 방법들의 분야이다. 감독 학습에서, 특징부들은 라벨링된 입력을 통해 학습된다.

"콘볼루션 뉴럴 네트워크" 또는 "CNN"이라는 용어는 데이터 세트들 내의 관련 대상들 및 영역들의 검출, 세그먼트화, 및 인식을 위해 딥러닝에서 사용되는 상호연결된 데이터의 생물학적으로 영감을 얻는 네트워크(biologically inspired network)들이다. CNN들은 다수의 어레이들의 형태의 원시 데이터를 평가하여, 일련의 단계들에서 데이터를 해체하여, 학습된 특징부들에 대한 데이터를 검사한다.

"전이 학습(transfer learning)"이라는 용어는 기계가 하나의 문제를 적절하게 또는 부적절하게 해결하는 데 이용된 정보를 저장하여 처음 문제와 동일한 또는 유사한 특성의 다른 문제를 해결하는 프로세스이다. 전이 학습은 "귀납적 학습(inductive learning)"으로도 알려져 있을 수 있다. 전이 학습은, 예를 들어, 이전 태스크들로부터의 데이터를 활용할 수 있다.

"능동 학습(active learning)"이라는 용어는 기계 학습의 프로세스로서, 이 프로세스에서 기계는 외부 엔티티에 의해 선택된 예들을 수동적으로 수신하는 것이 아니라 트레이닝 데이터를 수신할 예들의 세트를 선택한다. 예를 들어, 기계가 학습함에 따라, 기계는 예들을 식별 및 제공하기 위해 외부 인간 전문가 또는 외부 시스템에만 의존하는 것이 아니라, 기계가 학습하는 데 가장 도움이 될 것으로 판단한 예들을 선택하도록 허용될 수 있다.

"컴퓨터 보조 검출(computer aided detection, CAD)" 또는 "컴퓨터 보조 진단(computer aided diagnosis, CAD)"이라는 용어는 가능한 진단을 제안할 목적으로 의료 이미지들을 분석하는 컴퓨터들을 지칭한다.

"잡음제거" 또는 "이미지 잡음제거"라는 용어는 이미지에서의 잡음 감소 및 특징부 보존을 지칭한다. 따라서, 이미지 데이터에 도입된 잡음은 감소되거나 또는 제거되는 반면, 이미지 데이터에서 캡처된 타깃의 실제 특징부들은 보존되어 생성된 이미지에서 보여진다. 이미지 잡음제거는 방사선전문의 및/또는 다른 임상의의 검토를 위해 진단 품질 이미지에 대한 특징부들을 보존하면서 이미지 내의 잡음을 정화한다.

특정 예들은 뉴럴 네트워크들 및/또는 다른 기계 학습을 사용하여, 이미지(예컨대, 2차원 및/또는 3차원 컴퓨터 단층촬영(CT), X-선 등의 이미지) 내에서의 신체 검출, 관심 영역 주위에의 경계 박스의 생성, 및 경계 박스 영역에서의 복셀 분석을 비롯한 이미지 분석을 위한 새로운 작업 흐름을 구현한다. 특정 예들은 연관된 특징부 세트들을 갖는 FCN(fully-connected network) 및 CNN 위에 GBM(gradient boosting machine)이 적층된 혁신적인 네트워크 아키텍처들을 이용하여 CNN의 다층 입력 특징부들과 함께 FCN의 클라우드 형상의 추계론적 특징부 세트가 이미지를 세그먼트화하고 그 이미지 내의 기관(들)을 식별하는 것을 가능하게 한다.

딥러닝 및 다른 기계 학습

딥러닝은 기계가 원시 데이터를 제공받고 데이터 분류에 필요한 표현들을 결정할 수 있게 하는 표현 학습 방법들을 채용하는 기계 학습 기법들의 부류이다. 딥러닝은 딥러닝 기계의 내부 파라미터들(예컨대, 노드 가중치들)을 변경하는 데 이용되는 역전파(backpropagation) 알고리즘들을 이용하여 데이터 세트들에서의 구조를 확인한다. 딥러닝 기계들은 다양한 다층 아키텍처들 및 알고리즘들을 활용할 수 있다. 기계 학습은, 예를 들어, 네트워크를 트레이닝하는 데 사용될 특징부들의 식별을 수반하지만, 딥러닝은 원시 데이터를 프로세싱하여 외부 식별 없이 관심 특징부들을 식별한다.

뉴럴 네트워크 환경에서의 딥러닝은 뉴런(neuron)들로 지칭되는 다수의 상호연결된 노드들을 포함한다. 외부 소스로부터 활성화되는 입력 뉴런들은, 기계 파라미터들에 의해 관리되는 다른 뉴런들에의 연결들에 기초하여 그러한 다른 뉴런들을 활성화시킨다. 뉴럴 네트워크는 그 자신의 파라미터들에 기초하여 특정 방식으로 거동한다. 학습은 기계 파라미터들을 개선하고, 확장에 의해, 네트워크 내의 뉴런들 사이의 연결들을 개선하여, 원하는 방식으로 뉴럴 네트워크가 거동하게 한다.

콘볼루션 뉴럴 네트워크를 활용하는 딥러닝은 콘볼루션 필터들을 사용하여 데이터를 세그먼트화하여, 데이터 내의 학습된 관찰가능한 특징부들을 위치확인 및 식별한다. CNN 아키텍처의 각각의 필터 또는 층은 입력 데이터를 변환하여 데이터의 선택성 및 불변성을 증가시킨다. 이러한 데이터의 추상화는, 기계가 무관한 백그라운드 정보를 분류 및 무시하려고 시도하고 있는 데이터 내의 특징부들에 기계가 중점을 둘 수 있게 한다.

딥러닝은, 많은 데이터 세트들이 로우레벨 특징부들을 포함하는 하이레벨 특징부들을 포함한다는 조건 하에 동작한다. 이미지를 검사하는 동안, 예를 들어, 대상을 찾는 것이 아니라, 찾고 있는 대상을 형성하는 부분들을 형성하는 모티브(motif)들을 형성하는 에지들을 찾는 것이 더 효율적이다. 특징부들의 이러한 계층구조들은 음성 및 텍스트 등과 같은 많은 상이한 형태들의 데이터에서 발견될 수 있다.

학습된 관찰가능 특징부들은 감독 학습 동안에 기계에 의해 학습된 정량화가능한 규칙성들 및 대상들을 포함한다. 대형 세트의 잘 분류된 데이터가 제공된 기계는 새로운 데이터의 성공적인 분류와 관련있는 특징부들을 구별 및 추출하도록 더 양호하게 장착된다.

전이 학습을 활용하는 딥러닝 기계는 데이터 특징부들을 인간 전문가에 의해 확언(affirm)되는 특정 분류들에 적절히 연결할 수 있다. 반대로, 동일한 기계는, 인간 전문가에 의한 부정확한 분류를 통지받는 경우에, 분류를 위한 파라미터들을 업데이트할 수 있다. 설정 및/또는 다른 구성 정보는, 예를 들어, 설정 및/또는 다른 구성 정보의 학습된 사용에 의해 안내될 수 있으며, 시스템이 더 많이(예컨대, 반복적으로 그리고/또는 다수의 사용자들에 의해) 사용됨에 따라, 주어진 상황에 대해, 설정 및/또는 다른 구성 정보에 대한 다수의 변형들 및/또는 다른 가능성들이 감소될 수 있다.

예시적인 딥러닝 뉴럴 네트워크가, 예를 들어, 전문가에 의해 분류된 데이터(expert classified data)의 세트에 대해 트레이닝될 수 있다. 데이터의 이러한 세트는 뉴럴 네트워크에 대한 제1 파라미터를 구축하고, 이는 감독 학습의 단계일 것이다. 감독 학습의 단계 동안, 뉴럴 네트워크는 원하는 거동이 달성되었든 아니든 테스트될 수 있다.

일단 원하는 뉴럴 네트워크 거동이 달성되었다면(예컨대, 기계가 특정된 임계치에 따라 동작하도록 트레이닝되었고, 등등이었다면), 기계는 사용(예컨대, 기계를 "실제" 데이터로 테스트하는 것 등)을 위해 전개될 수 있다. 동작 동안, 뉴럴 네트워크 분류들은 뉴럴 네트워크 거동을 계속해서 개선하기 위해 (예컨대, 전문적인 사용자, 전문적인 시스템, 기준 데이터베이스 등에 의해) 확인 또는 부정될 수 있다. 이어서, 뉴럴 네트워크 거동을 결정하는 분류용 파라미터들이 진행 중인 상호작용들에 기초하여 업데이트됨에 따라, 예시적인 뉴럴 네트워크는 전이 학습의 상태에 있다. 특정 예들에서, 뉴럴 네트워크는 다른 프로세스에 직접 피드백을 제공할 수 있다. 특정 예들에서, 뉴럴 네트워크는, (예컨대, 클라우드 등을 통해) 버퍼링되고 다른 프로세스에 제공되기 전에 확인되는 데이터를 출력한다.

콘볼루션 뉴럴 네트워크(CNN)들을 사용하는 딥러닝 기계들이 이미지 분석을 위해 사용될 수 있다. CNN 분석의 단계들은 자연적인 이미지들, 컴퓨터 보조 진단(CAD) 등에서 얼굴 인식을 위해 사용될 수 있다.

고품질 의료 이미지 데이터는 X-선, 컴퓨터 단층촬영(CT), MICT(molecular imaging and computed tomography), MRI(magnetic resonance imaging) 등과 같은 하나 이상의 이미징 기법들을 이용하여 획득될 수 있다. 의료 이미지 품질은, 종종, 이미지를 생성하는 기계가 아니라 환자에 의해 영향을 받는다. MRI 동안 움직이는 환자는, 예를 들어, 정확한 진단을 방해할 수 있는 블러(blurry) 또는 왜곡 이미지를 생성할 수 있다.

의료 이미지들의 해석은, 품질과는 무관하게, 최근의 발전일 뿐이다. 의료 이미지들은 주로 의사들에 의해 해석되지만, 이러한 해석들은 주관적일 수 있고, 이는 의사들의 현장 경험 및/또는 피로도의 조건에 의해 영향을 받는다. 기계 학습을 통한 이미지 분석은 건강 관리 전문가의 작업 흐름을 지원할 수 있다.

딥러닝 기계들은, 예를 들어, 이미지 품질 및 분류에 대한 그들의 이미지 분석을 개선하기 위해 컴퓨터 보조 검출 지원을 제공할 수 있다. 그러나, 의료 분야에 적용되는 딥러닝 기계들이 직면하는 문제는 종종 많은 잘못된 분류들로 이어진다. 딥러닝 기계들은, 예를 들어, 작은 트레이닝 데이터 세트들을 극복해야 하고, 반복 조정들을 요구해야 한다.

최소 트레이닝을 갖는 딥러닝 기계들은, 예를 들어, 의료 이미지의 품질을 결정하는 데 사용될 수 있다. 준감독 및 미감독 딥러닝 기계들은 이미지들의 정성적 태양들을 정량적으로 측정하는 데 사용될 수 있다. 예를 들어, 딥러닝 기계들은 이미지가 획득되어 그 이미지의 품질이 진단하기에 충분한지의 여부를 결정한 후에 활용될 수 있다. 감독 딥러닝 기계들은 또한 컴퓨터 보조 진단을 위해 사용될 수 있다. 감독 학습은, 예를 들어, 잘못된 분류에 대한 감수성(susceptibility)을 감소시키는 것을 도울 수 있다.

딥러닝 기계들은 감독 트레이닝 시에 이용가능한 소규모 데이터 세트에 대응하기 위해 의사들과 상호작용할 때 전이 학습을 활용할 수 있다. 이러한 딥러닝 기계들은 트레이닝 및 전이 학습을 통해 시간 경과에 따라 그들의 컴퓨터 보조 진단을 개선할 수 있다.

II. 예들의 설명

예시적인 이미징 시스템들

본 명세서에 기술되는 방법들, 장치, 및 제조 물품들은 다양한 건강 관리 및 비-건강 관리 시스템들에 적용될 수 있다. 하나의 특정 예에서, 본 명세서에서 기술되는 방법들, 장치, 및 제조 물품들은 컴퓨터 단층촬영(CT) 이미징 시스템의 컴포넌트들, 구성, 및 동작에 적용될 수 있다. 도 1 및 도 2는 본 명세서에 개시되는 방법들, 장치, 및 제조 물품들이 적용될 수 있는 CT 이미징 스캐너의 예시적인 구현예를 도시한다. 도 1 및 도 2는 갠트리(12)를 포함하는 CT 이미징 시스템(10)을 도시한다. 갠트리(12)는 회전식 부재(13)의 반대편 측면 상의 검출기 조립체(18)를 향해 X-선들의 빔(16)을 투사하는 X-선 소스(14)를 갖는 회전식 부재(13)를 갖는다. 주 베어링이 회전식 부재(13)를 갠트리(12)의 정치식 구조물에 부착하는 데 활용될 수 있다. X-선 소스(14)는 정치식 타깃 또는 회전하는 타깃 중 어느 하나를 포함한다. 검출기 조립체(18)는 복수의 검출기들(20) 및 데이터 획득 시스템들(data acquisition system, DAS)(22)에 의해 형성되고, 시준기를 포함할 수 있다. 복수의 검출기들(20)은 피검체(24)를 통과하는 투사된 X-선들을 감지하고, DAS(22)는 후속 프로세싱을 위해 데이터를 디지털 신호들로 변환한다. 각각의 검출기(20)는, 충격하는 X-선 빔 및 이로 인해 그것이 피검체(24)를 통과함에 따른 감쇠된 빔의 세기를 표현하는 아날로그 또는 디지털 전기 신호를 생성한다. X-선 투사 데이터를 획득하기 위한 스캔 동안, 회전식 부재(13) 및 그 상에 장착된 컴포넌트들은 회전 중심을 중심으로 회전할 수 있다.

회전식 부재(13)의 회전 및 X-선 소스(14)의 동작은 CT 시스템(10)의 제어 메커니즘(26)에 의해 통제된다. 제어 메커니즘(26)은 X-선 소스(14)에 전력 및 타이밍 신호들을 제공하는 X-선 제어기(28) 및 생성기(30), 및 회전식 부재(13)의 회전 속도 및 포지션을 제어하는 갠트리 모터 제어기(32)를 포함할 수 있다. 이미지 재구성자(34)가, DAS(22)로부터 샘플링되고 디지털화된 X-선 데이터를 수신하고 고속 이미지 재구성을 수행한다. 재구성된 이미지는 컴퓨터 저장 디바이스(38)에 이미지를 저장하는 컴퓨터(36)로 출력된다.

컴퓨터(36)는, 또한, 키보드, 마우스, 터치 감응형 제어기, 음성 기동 제어기, 또는 임의의 다른 적합한 입력 장치와 같은 일부 형태의 조작자 인터페이스를 갖는 조작자 콘솔(40)을 통해 조작자로부터 커맨드들 및 스캐닝 파라미터들을 수신한다. 디스플레이(42)는 조작자가 재구성된 이미지 및 컴퓨터(36)로부터의 다른 데이터를 관찰할 수 있게 한다. 조작자 공급 커맨드들 및 파라미터들은 컴퓨터(36)에 의해 DAS(22), X-선 제어기(28) 및 갠트리 모터 제어기(32)에 제어 신호들 및 정보를 제공하는 데 사용된다. 또한, 컴퓨터(36)는 전동식 테이블(46)을 제어하여 피검체(24) 및 갠트리(12)를 포지셔닝하는 테이블 모터 제어기(44)를 동작시킨다. 특히, 테이블(46)은 전체적으로 또는 부분적으로 피검체(24)를 갠트리 개구(48) 또는 보어를 통해 이동시킨다. 좌표계(50)는, 피검체(24)가 개구(48) 내외로 이동되는 환자 또는 Z-축(52), 검출기 조립체(18)가 지나가는 갠트리 원주 또는 X-축(54), 및 X-선 튜브(14)의 초점으로부터 검출기 조립체(18)로의 방향을 따라서 지나가는 Y-축(56)을 정의한다.

따라서, 특정 예들은 CT 스캐너(10) 및 그의 갠트리(12), 회전식 부재(13), X-선 소스(14), 검출기 조립체(18), 제어 메커니즘(26), 이미지 재구성자(34), 컴퓨터(36), 조작자 콘솔(40), 디스플레이(42), 테이블 제어기(44), 테이블(46), 및/또는 갠트리 개구(48) 등의 구성 및/또는 동작에 기계 학습 기법들을 적용할 수 있다. 컴포넌트 구성, 동작 등은, 예를 들어, 스캐너(10) 및/또는 그의 컴포넌트들의 구성, 동작, 및/또는 이미지 캡처 및/또는 프로세싱에 대한 변경(들)을 학습 및 제안하기 위해 입력, 원하는 출력, 실제 출력 등에 기초하여 모니터링될 수 있다.

예시적인 학습 네트워크 시스템들

도 3은 예시적인 학습 뉴럴 네트워크(300)의 표현이다. 예시적인 뉴럴 네트워크(300)는 층들(320, 340, 360, 380)을 포함한다. 층들(320, 340)은 뉴럴 연결부들(330)과 연결된다. 층들(340, 360)은 뉴럴 연결부들(350)과 연결된다. 층들(360, 380)은 뉴럴 연결부들(370)과 연결된다. 데이터는 입력들(312, 314, 316)을 통해 입력 층(320)으로부터 출력 층(380)으로 그리고 출력(390)으로 순방향으로 흐른다.

층(320)은, 도 3의 예에서, 복수의 노드들(322, 324, 326)을 포함하는 입력 층이다. 층들(340, 360)은 은닉 층들이고, 도 3의 예에서, 노드들(342, 344, 346, 348, 362, 364, 366, 368)을 포함한다. 뉴럴 네트워크(300)는 도시된 것보다 더 많거나 더 적은 은닉 층들(340, 360)을 포함할 수 있다. 층(380)은 출력 층이고, 도 3의 예에서, 출력(390)을 갖는 노드(382)를 포함한다. 각각의 입력(312 내지 316)은 입력 층(320)의 노드(322 내지 326)에 대응하고, 입력 층(320)의 각각의 노드(322 내지 326)는 은닉 층(340)의 각각의 노드(342 내지 348)에 대한 연결부(330)를 갖는다. 은닉 층(340)의 각각의 노드(342 내지 348)는 은닉 층(360)의 각각의 노드(362 내지 368)에 대한 연결부(350)를 갖는다. 은닉 층(360)의 각각의 노드(362 내지 368)는 출력 층(380)에 대한 연결부(370)를 갖는다. 출력 층(380)은 예시적인 뉴럴 네트워크(300)로부터 출력을 제공하기 위한 출력(390)을 갖는다.

연결부들(330, 350, 370) 중의, 특정 예시적인 연결부들(332, 352, 372)에는 추가 가중치가 주어질 수 있는 반면, 다른 예시적인 연결부들(334, 354, 374)에는 뉴럴 네트워크(300)에서 더 적은 가중치가 주어질 수 있다. 입력 노드들(322 내지 326)은, 예를 들어, 입력들(312 내지 316)을 통한 입력 데이터의 수신을 통해 활성화된다. 은닉 층들(340, 360)의 노드들(342 내지 348, 362 내지 368)은, 각각, 연결부들(330, 350)을 경유하는, 네트워크(300)를 통한 데이터의 순방향 흐름을 통해 활성화된다. 출력 층(380)의 노드(382)는 은닉 층들(340, 360)에서 프로세싱된 데이터가 연결부들(370)을 통해 전송된 후에 활성화된다. 출력 층(380)의 출력 노드(382)가 활성화될 때, 노드(382)는 뉴럴 네트워크(300)의 은닉 층들(340, 360)에서 달성되는 프로세싱에 기초하여 적절한 값을 출력한다.

도 4는 콘볼루션 뉴럴 네트워크(400)로서의 예시적인 뉴럴 네트워크(300)의 특정 구현예를 도시한다. 도 4의 예에 도시된 바와 같이, 입력(310)은 제1 층(320)에 제공되는데, 이 제1 층은 입력(310)을 프로세싱하여 제2 층(340)으로 전파한다. 입력(310)은 제2 층(340)에서 추가로 프로세싱되고 제3 층(360)으로 전파된다. 제3 층(360)은 출력 층(380)에 제공될 데이터를 카테고리화한다. 보다 구체적으로, 도 4의 예에 도시된 바와 같이, 콘볼루션(404)(예컨대, 5x5 콘볼루션 등)이 제1 층(320) 내의 입력(310)(예컨대, 32x32 데이터 입력 등)의 일부분 또는 윈도우("수신 필드"로도 지칭됨)(402)에 적용되어, 특징부 맵(406)(예컨대, (6x) 28x28 특징부 맵 등)을 제공한다. 콘볼루션(404)은 입력(310)으로부터의 요소들을 특징부 맵(406)에 맵핑시킨다. 제1 층(320)은, 또한, 서브샘플링(예컨대, 2x2 서브샘플링 등)을 제공하여, 감소된 특징부 맵(410)(예컨대, (6x) 14x14 특징부 맵 등)을 생성한다. 특징부 맵(410)은 콘볼루션(412)을 겪고, 제1 층(320)으로부터 제2 층(340)으로 전파되며, 여기서 특징부 맵(410)은 확장된 특징부 맵(414)(예컨대, (16x) 10x10 특징부 맵 등)이 된다. 제2 층(340)에서의 서브샘플링(416) 후에, 특징부 맵(414)은 감소된 특징부 맵(418)(예컨대, (16x) 4x5 특징부 맵 등)이 된다. 특징부 맵(418)은 콘볼루션(420)을 겪고, 제3 층(360)으로 전파되며, 여기서 특징부 맵(418)은, 예를 들어, 콘볼루션된 층(422)에 대한 연결부(426)를 갖는 N개의 카테고리들(424)의 출력 층을 형성하는 분류 층(422)이 된다.

도 5는 이미지 분석 콘볼루션 뉴럴 네트워크(500)의 예시적인 구현예의 표현이다. 콘볼루션 뉴럴 네트워크(500)는 입력 이미지(502)를 수신하며, 학습된 특징부들(510 내지 522)을 식별하기 위해 콘볼루션 층(504)에 이미지를 추상화한다. 제2 콘볼루션 층(530)에서, 이미지는 복수의 이미지들(530 내지 538)로 변환되며, 여기서 학습된 특징부들(510 내지 522)이 각각 각자의 서브이미지(530 내지 538)에서 강조된다. 이미지들(530 내지 538)은 이미지들(540 내지 548) 내의 관심 특징부들(510 내지 522)에 중점을 두도록 추가로 프로세싱된다. 이어서, 생성된 이미지들(540 내지 548)은 통합(pooling) 층을 통해 프로세싱되는데, 이 통합 층은 이미지들(540 내지 548)의 크기를 감소시켜서 관심 특징부들(510 내지 522)을 포함하는 이미지들(540 내지 548)의 부분들(550 내지 554)을 분리시킨다. 콘볼루션 뉴럴 네트워크(500)의 출력들(550 내지 554)은 마지막 비-출력 층으로부터 값들을 수신하고, 마지막 비-출력 층으로부터 수신된 데이터에 기초하여 이미지를 분류한다. 특정 예들에서, 콘볼루션 뉴럴 네트워크(500)는 콘볼루션 층들, 통합 층들, 학습된 특징부들, 및 출력들 등의 많은 상이한 변형들을 포함할 수 있다.

도 6a는 학습 (예컨대, 기계 학습, 딥러닝 등) 네트워크를 적용하여 이미지를 프로세싱하고/하거나 달리 평가하기 위한 예시적인 구성(600)을 도시한다. 기계 학습은 이미지 획득, 이미지 재구성, 이미지 분석/진단 등을 포함하는 다양한 프로세스들에 적용될 수 있다. 도 6a의 예시적인 구성(600)에 도시된 바와 같이, 원시 데이터(610)(예컨대, X-선, 컴퓨터 단층촬영, 초음파, 자기 공명 등의 스캐너와 같은 이미징 스캐너로부터 얻어진 초음파검사도 원시 데이터 등과 같은 원시 데이터(610))가 학습 네트워크(620) 내로 공급된다. 학습 네트워크(620)는 데이터(610)를 프로세싱하여 원시 이미지 데이터(620)를 생성된 이미지(630)(예컨대, "양호한 품질" 이미지 및/또는 진단을 위한 충분한 품질을 제공하는 다른 이미지 등)에 상관시키고/시키거나 달리 조합한다. 학습 네트워크(620)는 원시 데이터(610)를 완성된 이미지(630)와 연관시키기 위한 노드들 및 연결부들(예컨대, 경로들)을 포함한다. 학습 네트워크(620)는, 예를 들어, 연결부들을 학습하고 피드백을 프로세싱하여, 연결부들을 확립하고 패턴들을 식별하는 트레이닝 네트워크일 수 있다. 학습 네트워크(620)는, 예를 들어, 트레이닝 네트워크로부터 생성되고, 트레이닝 네트워크에서 확립된 연결부들 및 패턴들을 레버리징하여 입력된 원시 데이터(610)를 취하고 결과적인 이미지(630)를 생성하는 전개된 네트워크일 수 있다.

일단 학습(620)이 트레이닝되고 원시 이미지 데이터(610)로부터 양호한 이미지들(630)을 생성하면, 네트워크(620)는 "자기 학습" 프로세스를 계속하고 그것이 동작함에 따라 그의 성능을 개선할 수 있다. 예를 들어, 입력 데이터(원시 데이터)(610)에 "리던던시(redundancy)"가 있고 네트워크(620)에 리던던시가 있고, 리던던시는 활용될 수 있다.

학습 네트워크(620) 내의 노드들에 할당된 가중치들이 검사되는 경우, 매우 낮은 가중치들을 갖는 많은 연결부들 및 노드들이 있을 가능성이 있다. 낮은 가중치들은 이러한 연결부들 및 노드들이 학습 네트워크(620)의 전체 성능에 거의 기여하지 않음을 나타낸다. 따라서, 이러한 연결부들 및 노드들은 불필요하다. 그러한 리던던시는 입력들(원시 데이터)(610) 내의 리던던시를 감소시키기 위해 평가될 수 있다. 입력(610)의 리던던시를 감소시키는 것은, 예를 들어, 스캐너 하드웨어에서의 절감, 컴포넌트들에 대한 수요 감소, 및 또한 환자에 대한 노출 선량 감소를 초래할 수 있다.

전개 시에, 구성(600)은 입력 정의(610), 트레이닝된 네트워크(620), 및 출력 정의(630)를 포함하는 패키지(600)를 형성한다. 패키지(600)는 이미징 시스템, 분석 엔진 등과 같은 다른 시스템에 대해 전개되고 설치될 수 있다.

도 6b의 예에 도시된 바와 같이, 학습 네트워크(620)는 더 큰 학습 네트워크를 형성하기 위해 복수의 학습 네트워크들(621 내지 623)과 묶이고/묶이거나 달리 그들과 조합될 수 있다. 네트워크들(620 내지 623)의 조합은, 예를 들어, 입력들에 대한 응답들을 추가로 개선하고/하거나 네트워크들(620 내지 623)을 시스템의 다양한 태양들에 할당하기 위해 사용될 수 있다.

일부 예들에서, 동작 시에, "약한" 연결부들 및 노드들은 초기에 0으로 설정될 수 있다. 이어서, 학습 네트워크(620)는 재트레이닝 프로세스에서 그의 노드들을 프로세싱한다. 특정 예들에서, 0으로 설정된 노드들 및 연결부들은 재트레이닝 동안 변경하는 것이 허용되지 않는다. 네트워크(620)에 존재하는 리던던시를 고려하면, 동등하게 양호한 이미지들이 생성될 가능성이 높다. 도 6b에 도시된 바와 같이, 재트레이닝 후에, 학습 네트워크(620)는 DLN(621)이 된다. 학습 네트워크(621)는, 또한, 검사되어, 약한 연결부들 및 노드들을 식별하고 그들을 0으로 설정한다. 이러한 추가로 재트레이닝된 네트워크는 학습 네트워크(622)이다. 예시적인 학습 네트워크(622)는 학습 네트워크(621)에서의 "0들", 및 노드들과 연결부들의 새로운 세트를 포함한다. 학습 네트워크(622)는, "MVN(minimum viable net)"으로 지칭되는 학습 네트워크(623)에서 양호한 이미지 품질에 도달할 때까지 프로세싱을 계속해서 반복한다. 학습 네트워크(623)는 MVN인데, 그 이유는 추가 연결부들 또는 노드들이 학습 네트워크(623)에서 0으로 설정되려고 시도되는 경우에 이미지 품질이 악화될 수 있기 때문이다.

일단 MVN이 학습 네트워크(623)에 의해 얻어졌다면, "0" 영역들(예컨대, 그래프에서 어두운 불규칙 영역들)이 입력(610)에 맵핑된다. 각각의 어두운 구역은 입력 공간에서 1 또는 파라미터들의 세트에 맵핑될 가능성이 있다. 예를 들어, 0 영역들 중 하나는 원시 데이터 내의 채널들의 수 및 뷰들의 수에 링크될 수 있다. 이러한 파라미터들에 대응하는 네트워크(623)에서의 리던던시가 감소될 수 있기 때문에, 입력 데이터가 감소될 수 있고 동일하게 양호한 출력을 생성할 수 있을 가능성이 매우 높다. 입력 데이터를 감소시키기 위해, 감소된 파라미터들에 대응하는 원시 데이터의 새로운 세트들이 얻어지고, 학습 네트워크(621)를 통해 실행된다. 네트워크(620 내지 623)는 단순화될 수 있거나 단순화되지 않을 수 있지만, 학습 네트워크들(620 내지 623) 중 하나 이상은, 원시 데이터 입력(610)의 "MVI(minimum viable input)"에 도달할 때까지 프로세싱된다. MVI에서, 입력되는 원시 데이터(610)의 추가 감소는 이미지(630)의 품질 감소를 초래할 수 있다. MVI는, 예를 들어, 데이터 획득 시의 복잡도 감소, 시스템 컴포넌트들에 대한 더 적은 수요, 환자들에게서의 스트레스 감소(예컨대, 더 적은 호흡 유지 또는 콘트라스트), 및/또는 환자들에게로의 선량 감소를 초래할 수 있다.

학습 네트워크들(620 내지 623) 내의 연결부들 및 노드들 중 일부를 0으로 강제함으로써, 네트워크(620 내지 623)는 보상할 "부수물(collateral)들"을 구축한다. 프로세스에서, 학습 네트워크(620 내지 623)의 토폴로지에 대한 통찰이 얻어진다. 네트워크(621) 및 네트워크(622)는, 예를 들어, 일부 노드들 및/또는 연결부들이 0으로 강제되었기 때문에 상이한 토폴로지를 갖는다는 것에 유의한다. 네트워크로부터 연결부들 및 노드들을 효과적으로 제거하는 이러한 프로세스는, 예를 들어, "딥러닝" 이후로 연장되고, "딥-딥러닝(deep-deep learning)"으로 지칭될 수 있다.

특정 예들에서, 입력 데이터 프로세싱 및 딥러닝 단계들은 별개의 시스템들로서 구현될 수 있다. 그러나, 별개의 시스템들로서, 어느 모듈도 관심/중요 입력 파라미터들을 선택하기 위해 더 큰 입력 특징부 평가 루프를 인지할 수 없다. 입력 데이터 프로세싱 선택이 고품질 출력들을 생성하는 것에 문제가 되므로, 딥러닝 시스템들로부터의 피드백은 모델을 통해 입력 파라미터 선택 최적화 또는 개선을 수행하는 데 이용될 수 있다. 원시 데이터를 생성하기 위해 입력 파라미터들의 전체 세트에 걸쳐서 스캔하는 것(예컨대, 이는 브루트 힘(brute force)이고 고가일 수 있음)이 아니라, 능동 학습의 변형예가 구현될 수 있다. 능동 학습의 이러한 변형을 이용하여, 모델에서 원하는 또는 "최상의" 결과들을 생성하기 위해 시작 파라미터 공간이 결정될 수 있다. 이어서, 파라미터 값들은, 모델의 품질에 대한 영향이 거의 없는 입력들을 프로세싱함으로써, 품질의 수용가능한 범위 또는 임계치를 여전히 유지하고 실행시간을 감소시키면서, 결과들의 품질을 감소시키는 원시 입력들을 생성하기 위해 랜덤하게 감소될 수 있다.

도 7은 딥러닝 또는 다른 기계 학습 네트워크와 같은 학습 네트워크의 예시적인 트레이닝 및 전개 단계들을 도시한다. 도 7의 예에 도시된 바와 같이, 트레이닝 단계에서, 입력들(702)의 세트가 프로세싱을 위해 네트워크(704)에 제공된다. 이 예에서, 입력들(702)의 세트는 식별될 이미지의 얼굴 특징부들을 포함할 수 있다. 네트워크(704)는 데이터 요소들을 연관시키고 패턴들을 식별하기 위해 입력(702)을 순방향(706)으로 프로세싱한다. 네트워크(704)는 입력(702)이 개(708)를 표현한다고 결정한다. 트레이닝 시에, 네트워크 결과(708)는 알려진 결과(712)와 비교된다(710). 이 예에서, 알려진 결과(712)는 사람 얼굴이다(예컨대, 입력 데이터 세트(702)는 개 얼굴이 아닌 인간 얼굴을 표현한다). 네트워크(704)의 결정(708)이 알려진 결과(712)와 매칭되지 않기 때문에(710), 에러(714)가 생성된다. 에러(714)는 네트워크(704)를 통해 역방향 패스(716)를 따라서 알려진 결과(712) 및 연관된 데이터(702)의 분석을 역으로 트리거한다. 따라서, 트레이닝 네트워크(704)는 네트워크(704)를 통과하는 데이터(702, 712)로 순방향 패스(706) 및 역방향 패스(716)로부터 학습한다.

일단 네트워크 출력(708)과 알려진 출력(712)의 비교가 특정 기준 또는 임계치에 따라 매칭(예컨대, n회 매칭, x 퍼센트 초과 매칭 등)되면(710), 트레이닝 네트워크(704)는 외부 시스템과의 전개를 위한 네트워크를 생성하는 데 사용될 수 있다. 일단 전개되면, 단일 입력(720)이 전개된 학습 네트워크(722)에 제공되어 출력(724)을 생성한다. 이 경우에, 트레이닝 네트워크(704)에 기초하여, 전개된 네트워크(722)는 입력(720)이 인간 얼굴(724)의 이미지라고 결정한다.

도 8은 심층 및/또는 다른 기계 학습 제품 오퍼링을 제공하기 위해, 트레이닝된 네트워크 패키지를 레버리징하는 예시적인 제품을 도시한다. 도 8의 예에 도시된 바와 같이, 입력(810)(예컨대, 원시 데이터)이 사전프로세싱(820)을 위해 제공된다. 예를 들어, 원시 입력 데이터(810)는 포맷, 완전성 등을 검사하도록 사전프로세싱된다(820). 일단 데이터(810)가 사전프로세싱되었다면(820), 데이터의 패치들이 생성된다(830). 예를 들어, 데이터의 패치들 또는 부분들 또는 "청크(chunk)들"은 프로세싱을 위한 특정 크기 및 포맷으로 생성된다(830). 이어서, 패치들은 프로세싱을 위해, 트레이닝된 네트워크(840) 내에 공급된다. 학습된 패턴들, 노드들, 및 연결부들에 기초하여, 트레이닝된 네트워크(840)는 입력 패치들에 기초하여 출력들을 결정한다. 출력들은 조립된다(850)(예컨대, 사용가능한 출력 등을 생성하기 위해 함께 조합되고/되거나 달리 그룹화됨). 이어서, 출력은 사용자(예컨대, 인간 사용자, 임상 시스템, 이미징 기법, 데이터 스토리지(예컨대, 클라우드 스토리지, 로컬 스토리지, 에지 디바이스 등) 등)에게 디스플레이되고/되거나(860), 달리 출력된다.

위에서 논의된 바와 같이, 학습 네트워크들은 다양한 시스템들에 대한 트레이닝, 전개, 및 적용을 위한 디바이스들로서 패키징될 수 있다. 도 9a 내지 도 9c는 다양한 학습 디바이스 구성들을 도시한다. 예를 들어, 도 9a는 일반적인 학습 디바이스(900)를 도시한다. 예시적인 디바이스(900)는 입력 정의(910), 학습 네트워크 모델(920), 및 출력 정의들(930)을 포함한다. 입력 정의(910)는 네트워크(920)를 통해 하나 이상의 출력들(930)로 변환되는 하나 이상의 입력들을 포함할 수 있다.

도 9b는 예시적인 트레이닝 디바이스(901)를 도시한다. 즉, 트레이닝 디바이스(901)는 트레이닝 학습 네트워크 디바이스로서 구성된 디바이스(900)의 일례이다. 도 9b의 예에서, 복수의 트레이닝 입력들(911)이 네트워크(921)에 제공되어, 네트워크(921) 내의 연결부들을 개발하고 출력 평가자(931)에 의해 평가될 출력을 제공한다. 이어서, 출력 평가자(931)에 의해 네트워크(921) 내에 피드백이 제공되어 네트워크(921)를 추가로 개발(예컨대, 트레이닝)한다. 출력 평가자(931)가 네트워크(921)가 트레이닝된다고 결정할 때까지 추가 입력(911)이 네트워크(921)에 제공될 수 있다(예컨대, 출력은 특정 임계치, 에러 마진 등에 따라 입력 대 출력의 알려진 상관도를 만족시켰음).

도 9c는 예시적인 전개된 디바이스(903)를 도시한다. 일단 트레이닝 디바이스(901)가 필수적인 레벨로 학습되었다면, 트레이닝 디바이스(901)는 사용을 위해 전개될 수 있다. 트레이닝 디바이스(901)가 학습할 다수의 입력들을 프로세싱하지만, 전개된 디바이스(903)는, 예를 들어, 단일 입력을 프로세싱하여 출력을 결정한다. 도 9c의 예에 도시된 바와 같이, 전개된 디바이스(903)는 입력 정의(913), 트레이닝된 네트워크(923), 및 출력 정의(933)를 포함한다. 트레이닝된 네트워크(923)는, 예를 들어, 일단 네트워크(921)가 충분히 트레이닝되었다면 네트워크(921)로부터 생성될 수 있다. 전개된 디바이스(903)는, 예를 들어, 시스템 입력(913)을 수신하고, 네트워크(923)를 통해 입력(913)을 프로세싱하여 출력(933)을 생성하는데, 이 출력은, 이어서, 전개된 디바이스(903)가 연관되었된 시스템에 의해 사용될 수 있다.

예시적인 이미지 잡음제거 시스템들 및 방법들

이미지 잡음제거 프로세스들은 이미지 데이터를 얻어서, 이미지 데이터에서 이미징 시스템에 의해 캡처된 환자 및/또는 다른 타깃의 특징부들을 보존하면서 이미지 데이터 내의 잡음을 감소시켰다. 이미지 잡음제거는 웨이블릿 변환(wavelet transform), 통계 방법들, 딥러닝 등을 이용하여 가능해질 수 있다. 예를 들어, 웨이블릿 변환은, 임계치들(예컨대, 서브대역 계수 임계치들)을 사용하여, 이미지 데이터를 수 개의 큰 계수들에서 집중되게 하면서, 이미지 데이터 계수들 전체에 걸쳐 균일하게 확산된 잡음을 제거한다. 대안으로서, 웨이블릿 변환들은 비선형 추정자들의 베이시안 프레임워크(Bayesian framework)를 사용하여, 이미지 데이터 신호 및 잡음 성분들의 정확한 통계적 설명을 채용함으로써 잡음 감소 및 특징부 보존을 제공할 수 있다. 이미지 잡음제거를 위한 통계적 방법들은, 이미지 내의 픽셀에 대한 그레이스케일 값이 일반적으로 주어진 분산을 갖고서 그의 이웃 픽셀들의 평균 그레이스케일 값과 동일한 평균으로 분포되는 가우시안(Gaussian) 분포와 같은 소정 분포에 따라 이미지 픽셀 값들을 모델링한다. 딥러닝은 CNN 및/또는 다른 학습 모델을 통해 잡음 감소, 개선된 해상도 등을 위해 이미지 데이터를 프로세싱하는 데 적용될 수 있다.

이미지 잡음제거는, 이미지로부터 잡음을 제거하는 것이 이미지 획득 프로세스에서 방사선 선량 절감으로 변환됨에 따라 CT 이미징에서 특히 관심 대상이다. 종래의 이미지 잡음제거 방법들은 손으로 설계된 이미지 필터들(주로, GE의 ASiR-V™와 같은 비선형 필터들)에 중점을 둔다. 그러나, 종래의 이미지 잡음제거 방법들은 생성된 잡음제거된 이미지들에서 고르지 못한 텍스처 및 삐죽삐죽한 에지들을 생성하는 것을 비롯한 많은 단점들을 갖는다. 본 명세서에 개시되고 기술되는 특정 예들은 이러한 단점들을 극복하여 진단 품질, 잡음제거된 이미지들을 제공한다.

딥러닝 기법은 이미지 잡음제거를 비롯한 많은 응용예들에서 활용되어 왔다. 일부 딥러닝 잡음제거 방법들은 종래의 잡음제거 방법들을 넘어서는 고유의 이점들, 예컨대 잡음제거된 이미지들에서 훌륭한 텍스처 및 매끄러운 에지들을 보여준다. 대부분의 딥러닝 방법들은 성공적인 대규모 트레이닝 데이터 세트에 의존한다. 그러나, 다량의 트레이닝 데이터를 얻는 데 있어서의 어려움 및 다량의 트레이닝 데이터를 다루는 데 있어서의 긴 트레이닝 시간 외에도, 잡음제거 모델을 트레이닝하기 위해 환자 데이터의 집단을 사용하는 것은 다른 높은 위험성을 갖는다: 뉴럴 네트워크는 트레이닝 데이터로부터 해부학적 구조들을 학습할 수 있고, 추론에 의해 잡음제거 태스크를 수행할 때 유사한 구조들을 생성하려고 시도할 수 있다. 특정 예들은, 예를 들어, 환자에게 속하지 않고 오리지널 이미지 데이터에서 발견되지 않았던 해부학적 구조들을 생성함이 없이 동일한 환자 CT 스캔으로부터의 잡음제거 태스크(들)를 수행하고 트레이닝 데이터를 생성하는 시스템들 및 방법들을 제공한다.

상이한 환자가 사용되는 경우, 예를 들어, 네트워크 모델은 다른 환자로부터의 해부학적 특징부들을 현재 환자 스캔으로 복사할 위험이 있다. 병변이 트레이닝 데이터로부터 건강한 환자에게로 복사되는 경우, 예를 들어, 오진이 일어날 것이다. 특정 예들은 트레이닝 및 추론을 위해 동일한 환자의 데이터를 사용하는데, 이는 딥러닝 트레이닝 프로세스를 통한 다른 환자 이미지 특징부들의 우발적인 또는 의도하지 않은 임포팅(importing)을 회피한다.

따라서, 특정 예들에서, 전형적으로 딥러닝이 이행되는 방법인, 여러 환자들에게 걸쳐 있는 대규모 데이터 세트를 레버리징하는 것 대신, 단일 환자로부터 얻어진 이미지들에 대해 전개된 네트워크 모델의 적용을 위한 CNN 또는 다른 뉴럴 네트워크의 환자 특정적 트레이닝을 위해 그 특정 환자가 이용된다. 환자 특정적 네트워크 트레이닝에 의해, 네트워크를 효과적으로 트레이닝하기 위해 훨씬 더 적은 데이터가 사용될 수 있고, 네트워크 가중치들 및 연결부들이 그 특정 환자에 대해 개발되어 그 환자에 대한 그의 적용가능성을 개선한다. 한 환자의 데이터는, 환자 자신에 대한 모델을 트레이닝하기 위해 그리고 그 환자의 이미지들의 잡음제거를 가능하게 하기에 충분한 세부사항을 제공하기 위해 사용될 수 있다.

잡음 환자 이미지들은 알려진 잡음을 포함하도록 많은 방식들로 생성될 수 있다. 예를 들어, 잡음은 투사 도메인 및/또는 이미지 도메인에서 환자 이미지들에 추가될 수 있다. 잡음은, 예를 들어, 시뮬레이션에 의해(예컨대, 잡음 모델링 등에 기초한 몬테카를로(Monte Carlo) 시뮬레이션 및/또는 분석 계산을 통해) 그리고/또는 실제 획득에 의해(예컨대, 팬텀들/동물들/카데바(cadaver)들로부터의 스캔들을 반복함으로써, 균일한 영역들을 갖는 팬텀으로부터의 단일 스캔을 사용함으로써, 등등으로써) 투사 도메인 및/또는 이미지 도메인 잡음에 생성될 수 있다. 상이한 팬텀들/동물들/카데바들/기타등등은 상이한 잡음 패턴들을 제공할 수 있다. 팬텀들은 단순한 팬텀들(예컨대, 원통형/난형의 물/폴리에스테르, 또는 하나 이상의 인서트(insert)들 등을 가짐) 또는 의인화된 팬텀들(예컨대, Lungman 팬텀, Kyoto 전신 팬텀 등)일 수 있다.

트레이닝 네트워크의 출력은 저잡음 환자 이미지에 추가된 잡음의 식별이다. 식별된 잡음은 모델의 정확도를 결정하기 위해 추가된 실제 잡음에 매칭된다. 특정 예들에서, 네트워크 모델의 출력은 오로지 잡음뿐이고, 그 잡음은 이미지 체적에 존재하는 잡음의 추정치에 대응한다. 출력은, 예를 들어, 식별된 잡음이 제거될 때 이미지에 어떠한 아티팩트도 남지 않음을 보장하는 것을 돕기 위해 (예컨대, 팬텀으로부터의 또는 환자로부터 검증되는 등의) 공지된 클린 또는 기준 이미지와 비교될 수 있다. 생성된 이미지는, 또한, 예를 들어, 실제 이미지 데이터가 잡음과 함께 제거되고 있지 않음을 보장하는 것을 돕기 위해 검증된 기준 이미지와 비교될 수 있다.

네트워크를 트레이닝함으로써, 전개된 네트워크 모델은 입력 이미지 데이터에서 잡음을 식별할 수 있다. 잡음의 정확한 식별을 갖는 네트워크 모델은, 예를 들어, 네트워크 모델 및/또는 상이한 환자를 트레이닝하는 데 사용되는 동일한 환자의 이미지들에 적용되도록 전개될 수 있다. 모델은 얇은 및/또는 두꺼운 슬라이스 환자 이미지(들)에 적용되어 그러한 환자 이미지(들)에서의 잡음을 추정하게 할 수 있다(예컨대, 네트워크 모델이 두꺼운 슬라이스들 상에서 트레이닝되더라도, 그것은 얇은 이미지 슬라이스들에서의 잡음을 검출 및 제거하도록 적용될 수 있다).

특정 예들에서, 콘볼루션 뉴럴 네트워크(CNN)가 환자 이미지의 잡음 식별 및 잡음제거를 위해 사용될 수 있다. 예를 들어, 각각의 2차원(2D) 콘볼루션 층에 대한 64개의 출력들 및 (단일 출력을 갖는 마지막 콘볼루션 출력 층을 제외한 각각의 층에 대한 3x3 커널 크기를 포함하는 17-층 CNN이 사용될 수 있다. 이 예에서, 정류된 선형 유닛(ReLU) 활성화가 예시적인 CNN의 처음 16개 층들에서 사용되고, 배치 정규화가 CNN의 마지막 층에서 사용된다. 잡음 트레이닝 데이터는 필터링된 역투사(filtered back projection, FBP) 재구성들에 잡음을 추가함으로써 생성되고, 이어서, 40x40 소형 패치 이미지들로 분해된다. 잡음을 추가하기 전의 이미지들과 잡음 이미지들을 비교함으로써, 트레이닝 데이터 내에 추가되는 잡음 패턴의 실측 자료(ground truth)를 가질 수 있다.

트레이닝을 위해, 잡음 이미지들은 뉴럴 네트워크로의 입력으로서 사용되고, 잡음의 실측 자료는 트레이닝 타깃 출력/결과로서 사용된다. 예를 들어, 평균 제곱 오차(MSE) 손실 함수 및 추계론적 경사 하강 아담 최적화기(stochastic gradient descent Adam optimizer)가 사용될 수 있으며, 사전 설정된 에포크(epoch)들에 도달한 후에 트레이닝이 정지될 수 있다. 따라서, CNN은 트레이닝 데이터 세트를 통과하기 위한 반복 트레이닝 시에 그리고 그 뒤에 단일 에포크를 형성하기 위한 검증 세트에 의한 테스트에서 사용될 수 있다. 잡음제거 전개를 위한 네트워크 모델을 트레이닝하도록 다중 에포크들이 실행될 수 있다.

이 예에서, CNN을 사용한 잡음제거를 위한 추론 입력 크기는 트레이닝 입력 크기와는 상이할 수 있다. 예를 들어, (예컨대, 역투사가, 소스를 재구성하기 위해 이미지를 통한 소스 역투사를 실행하도록 이미지 데이터에 대해 수행되고, 블러링 또는 별형 아티팩트들 등을 제거하도록 필터링된 후에) 512x512개의 필터링된 역투사(FBP) 이미지들이 CNN으로의 입력으로서 사용될 수 있고, 추정된 잡음 이미지들이 추론에 의해 생성될 수 있다. 이어서, 잡음제거된 이미지들을 생성하기 위해, 추정된 잡음 이미지들이 입력 이미지들로부터 감산된다. 마지막으로, 최종 출력 이미지들을 생성하기 위해, 잡음제거된 이미지들이 사후프로세싱된다.

따라서, 이 예에서는, 환자 스캔이 얻어지며, 이미지를 프로세싱하고 네트워크 모델을 트레이닝하기 위해 어떠한 다른 환자 스캔 또는 추가 환자 데이터도 필요하지 않다. 물 팬텀 스캔은 특정 스캐너에 대해 한번 얻어질 수 있으며, 스캐너 구성이 변경될 때까지, 각 환자의 이미지 스캔과 함께 사용하기 위한 스캐너 상의 교정 데이터로서 저장될 수 있다. 따라서, 전형적으로 딥러닝에 필요한 대규모 데이터 세트가 아니라, 단일 환자 스캔(또는 그 단일 환자에 대한 다수의 스캔)이 환자 이미지들의 잡음제거를 위한 딥러닝 네트워크를 트레이닝하는 데 사용될 수 있다.

도 10은 a) FBP 재구성, b)딥러닝 네트워크-구동 잡음제거, 및 c) ASiR-V 100% 재구성 사이의 비교 결과들을 도시한다. 도 1의 예에 도시된 바와 같이, FBP 재구성(1002), 딥러닝 네트워크 잡음제거(1004), 및 ASiR-V 재구성(1006)으로 프로세싱된 복부 스캔뿐 아니라 FBP 재구성(1008), 딥러닝 네트워크 잡음제거(1010), 및 ASiR-V 재구성(1012)으로 프로세싱된 복부/골반의 전후위(anteroposterior, AP) 뷰들이 비교되어, 딥러닝 네트워크-구동 잡음제거 기법의 개선된 정확도를 예시할 수 있다.

도 11은 이미징 기법(예컨대, CT, MR, 초음파, X-선 등)으로부터 얻은 이미지 데이터를 프로세싱하고 이미지로부터 잡음/아티팩트들을 제거하기 위한 예시적인 이미지 프로세서 장치(1100)를 도시한다. 예시적인 장치(1100)는 입력 데이터 프로세서(1110), 이미지 잡음제거기(1120), 사후프로세싱 이미지 생성기(1130), 및 출력 이미저(1140)를 포함한다. 예시적인 입력 데이터 프로세서(1110)는 이미징 기법, 이미지 아카이브, 전자 의료 기록 등으로부터의 인입 이미지, 잡음, 및 다른 데이터를 프로세싱하기 위한 것이다. 인입 데이터는 이미지 프로세서(1100)에 의한 추가 프로세싱을 위해 파싱, 포맷화, 조직화, 개선 등이 될 수 있다. 예시적인 이미지 잡음제거기(1120)는 대응하는 이미징 기법에 대한 환자 이미지 및 잡음 정보를 포함하는 프로세싱된 입력 데이터를 취하고, 잡음 정보에 기초하여 이미지를 프로세싱하여 환자 이미지 내의 잡음/아티팩트들을 식별한다. 예시적인 사후프로세싱 이미지 생성기(1130)는 환자에게서의 잡음에 관한 정보를 취하고 이미지를 사후프로세싱하여, 이미지로부터 잡음을 제거하고 사후프로세싱(예컨대, 콘트라스트, 밝기, 관심 영역 식별 등)을 적용하여 예시적인 출력 이미저(1140)에 의해 출력될 이미지를 생성한다. 예를 들어, 출력 이미저(1140)는 이미지 판독 워크스테이션, 다른 이미지 뷰어, 이미지 프로세싱 시스템, 임상 결정 지원 시스템, 이미지 아카이브, 전자 의료 기록 등에 출력 이미지를 제공할 수 있다.

도 12는 도 11의 예의 이미지 잡음제거기(1120)의 예시적인 구현예를 도시한다. 도 12의 예에 도시된 바와 같이, 이미지 잡음제거기(1120)는 잡음 입력 프로세서(1210), 트레이닝 뉴럴 네트워크 모델(1220), 비교기(1230), 네트워크 가중치 업데이터(1240), 전개된 뉴럴 네트워크 모델(1250), 및 잡음 식별자(1260)를 포함한다. 동작 시에, 입력 데이터 프로세서(1110)로부터의 이미지, 잡음, 및 다른 데이터가, 잡음 정보를 환자 이미지 데이터와 조합하여 트레이닝 뉴럴 네트워크 모델(1220)을 트레이닝할 입력으로서 잡음 이미지를 형성하는 잡음 입력 프로세서(1210)에 제공된다. 트레이닝 뉴럴 네트워크 모델(1220)은 잡음 이미지 데이터 내의 잡음을 식별하도록 콘볼루션, 필터링 등을 통해 잡음 이미지 데이터를 프로세싱한다. 트레이닝 뉴럴 네트워크 모델(1220)은 잡음을 추출 및 출력하고, 이는 비교기(1230)에 공급된다. 비교기(1230)는 트레이닝 뉴럴 네트워크(1220)에 의해 추출된 잡음을 예상되거나, 알려져 있거나, "실측 자료"인 잡음 값과 비교하여, 네트워크 모델(1220)의 정확도를 결정한다. 뉴럴 네트워크 모델(1220)이 잡음 이미지 내의 알려진 잡음을 정확하게 식별하는 것과 얼마나 가까운지 또는 얼마나 떨어져 있는지를 나타내는, 비교기(1230)로부터의 피드백이 네트워크 가중치 업데이터(1240)에 제공될 수 있고, 이는 잡음 이미지 데이터에 대한 모델(1220)의 동작을 조정하기 위해 트레이닝 모델(1220)의 네트워크 가중치들을 조정할 수 있다. 비교기(1230)가, 트레이닝 모델(1220)이 잡음 이미지 내의 잡음을 정확하게 식별 및 정량화하고 있는 것으로 만족될 때, 트레이닝 뉴럴 네트워크 모델(1220)은 데이터 구조로서 인스턴스화되고 전개된 뉴럴 네트워크 모델(1250)로서 전개될 수 있다. 이어서, 전개된 뉴럴 네트워크 모델(1250)은 이미지 데이터를 포함하여 이미지 기법으로부터 환자 이미지 내의 잡음을 식별하도록 프로세싱할 수 있다. 잡음 식별자(1260)는 잡음 정보를 정량화할 수 있고, 이미지와 함께 패키징되어, 사후프로세싱 이미지 생성기(1130)에 정보를 전송하여 잡음/아티팩트들이 제거된 환자 이미지를 생성하게 할 수 있다.

예시적인 구현예들이 도 1 내지 도 12와 관련하여 도시되어 있지만, 도 1 내지 도 12와 관련하여 도시된 요소들, 프로세스들, 및/또는 디바이스들은 임의의 다른 방식으로 조합될 수 있고/있거나 분할될 수 있고/있거나 재배열될 수 있고/있거나 생략될 수 있고/있거나 제거될 수 있고/있거나 구현될 수 있다. 또한, 본 명세서에 개시되고 기술된 컴포넌트들은 하드웨어, 기계 판독가능 명령어들, 소프트웨어, 펌웨어, 및/또는 하드웨어, 기계 판독가능 명령어들, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 본 명세서에 개시되고 기술된 컴포넌트들은 아날로그 및/또는 디지털 회로(들), 로직 회로(들), 프로그래밍가능 프로세서(들), 주문형 집적 회로(들)(ASIC(들)), 프로그래밍가능 로직 디바이스(들)(PLD(들)) 및/또는 필드 프로그래밍가능 로직 디바이스(들)(FPLD(들))에 의해 구현될 수 있다. 순수 소프트웨어 및/또는 펌웨어 구현을 커버하기 위해 본 특허의 장치 또는 시스템 청구항들 중 임의의 것을 읽을 때, 이에 의해, 컴포넌트들 중 적어도 하나는 소프트웨어 및/또는 펌웨어를 저장하는 메모리, 디지털 다용도 디스크(digital versatile disk, DVD), 콤팩트 디스크(CD), 블루-레이 디스크 등과 같은 유형적인 컴퓨터 판독가능 저장 디바이스 또는 저장 디스크를 포함하도록 명확하게 정의된다.

본 명세서에 개시되고 기술된 컴포넌트들을 구현하기 위한 예시적인 기계 판독가능 명령어들을 표현하는 흐름도들이 적어도 도 13 내지 도 16과 관련하여 도시되어 있다. 예들에서, 기계 판독가능 명령어들은 도 17과 관련하여 아래에서 논의되는 예시적인 프로세서 플랫폼(1700)에 보여진 프로세서(1712)와 같은 프로세서에 의한 실행을 위한 프로그램을 포함한다. 프로그램은 CD-ROM, 플로피 디스크, 하드 드라이브, 디지털 다용도 디스크(DVD), 블루-레이 디스크, 또는 프로세서(1712)와 연관된 메모리와 같은 유형적인 컴퓨터 판독가능 저장 매체 상에 저장된 기계 판독가능 명령어들에서 구체화될 수 있지만, 대안으로, 전체 프로그램 및/또는 그의 일부는 프로세서(1712) 이외의 디바이스에 의해 실행될 수 있고/있거나 펌웨어 또는 전용 하드웨어에서 구체화될 수 있다. 또한, 예시적인 프로그램이 적어도 도 13 내지 도 16과 관련하여 도시된 흐름도들을 참조하여 기술되지만, 본 명세서에 개시되고 기술된 컴포넌트들을 구현하는 많은 다른 방법들이 대안으로 이용될 수 있다. 예를 들어, 블록들의 실행 순서는 변경될 수 있고/있거나 기술된 블록들 중 일부는 변경, 제거, 또는 조합될 수 있다. 적어도 도 13 내지 도 16의 흐름도들이 예시적인 동작들을 예시된 순서로 묘사하지만, 이러한 동작들은 망라한 것이 아니고, 예시된 순서로 제한되지 않는다. 또한, 다양한 변경들 및 수정들이 본 발명의 사상 및 범주 내에서 당업자에 의해 이루어질 수 있다. 예를 들어, 흐름도에 도시된 블록들은 대안의 순서로 수행될 수 있거나, 또는 동시에 수행될 수 있다.

전술된 바와 같이, 적어도 도 13 내지 도 16의 예시적인 프로세스(들)는, 정보가 임의의 지속기간 동안(예컨대, 연장된 기간 동안, 영구적으로, 짧은 순간 동안, 일시적 버퍼링 동안, 그리고/또는 정보의 캐싱 동안) 저장되는 하드 디스크 드라이브, 플래시 메모리, 판독 전용 메모리(ROM), 콤팩트 디스크(CD), 디지털 다용도 디스크(DVD), 캐시, 랜덤 액세스 메모리(RAM) 및/또는 임의의 다른 저장 디바이스 또는 저장 디스크와 같은 유형적인 컴퓨터 판독가능 저장 매체 상에 저장된 코딩된 명령어들(예컨대, 컴퓨터 및/또는 기계 판독가능 명령어들)을 사용하여 구현될 수 있다. 본 명세서에 사용되는 바와 같이, "유형적인 컴퓨터 판독가능 저장 매체"라는 용어는, 명확하게는, 임의의 타입의 컴퓨터 판독가능 저장 디바이스 및/또는 저장 디스크를 포함하는 것으로 그리고 전파 신호들을 배제하고 송신 매체들을 배제하는 것으로 정의된다. 본 명세서에 사용되는 바와 같이, "유형적인 컴퓨터 판독가능 저장 매체" 및 "유형적인 기계 판독가능 저장 매체"는 상호교환가능하게 사용된다. 추가로 또는 대안으로, 적어도 도 13 내지 도 16의 예시적인 프로세스(들)는, 정보가 임의의 지속기간 동안(예컨대, 연장된 기간 동안, 영구적으로, 짧은 순간 동안, 일시적 버퍼링 동안, 그리고/또는 정보의 캐싱 동안) 저장되는 하드 디스크 드라이브, 플래시 메모리, 판독 전용 메모리, 콤팩트 디스크, 디지털 다용도 디스크, 캐시, 랜덤 액세스 메모리 및/또는 임의의 다른 저장 디바이스 또는 저장 디스크와 같은 비일시적인 컴퓨터 및/또는 기계 판독가능 매체 상에 저장된 코딩된 명령어들(예컨대, 컴퓨터 및/또는 기계 판독가능 명령어들)을 사용하여 구현될 수 있다. 본 명세서에 사용되는 바와 같이, "비일시적인 컴퓨터 판독가능 매체"라는 용어는, 명확하게는, 임의의 타입의 컴퓨터 판독가능 저장 디바이스 및/또는 저장 디스크를 포함하는 것으로 그리고 전파 신호들을 배제하고 송신 매체들을 배제하는 것으로 정의된다. 본 명세서에 사용되는 바와 같이, "적어도"라는 어구가 청구범위의 전제부에서 전이 용어(transition term)로서 사용될 때, 그것은 "포함하는"이라는 용어가 확장가능한 것과 동일한 방식으로 확장가능하다. 또한, "포함하는(including)"이라는 용어는 "포함하는(comprising)"이라는 용어가 확장가능한 것과 동일한 방식으로 확장가능하다.

도 13은 뉴럴 네트워크(1220, 1250)(예컨대, CNN 및/또는 다른 딥러닝 네트워크)를 사용하여 환자 이미지를 프로세싱하여 그 환자의 이미지들로부터 잡음을 식별 및 제거하기 위한 예시적인 방법(1300)의 흐름도를 도시한다. 블록(1302)에서, 환자의 제1 이미지 체적이 (예컨대, CT 스캐너, MR 스캐너, X-선 기계, 초음파 프로브 등으로부터) 얻어진다. 이러한 이미지 체적은 높은 잡음을 갖는다. 예를 들어, 재구성 파라미터들의 제1 세트가 사용되어 제1 이미지 체적을 얻고 생성하게 할 수 있다. 블록(1304)에서, 상이한 세트의 재구성 파라미터들이 사용되어 낮은 잡음을 갖는 제2 이미지 체적을 생성하게 한다.

블록(1306)에서, 블록(1304)에서 제2 이미지 체적을 생성하는 데 사용된 재구성 파라미터들은 이미지 재구성 동안 추가되는 잡음과 조합하여 재사용될 수 있다. 따라서, 잡음과 조합된 제2 이미지 체적은 잡음 이미지를 생성한다. 블록(1306)에서 재구성된 잡음 이미지는, 예를 들어, CNN(1220)을 트레이닝할 입력으로서 사용될 수 있다. 블록(1308)에서, 잡음 이미지로부터 제2 이미지 체적을 감산하여(1310) 추가 잡음을 재구성함으로써 정량화된 또는 "알려진" 잡음이 결정될 수 있다.

블록(1312)에서, 예측 잡음이 CNN(1220)에 의해 출력되어, 콘볼루션 뉴럴 네트워크(1220) 내의 잡음 이미지 데이터의 분석에 기초하여 잡음 이미지 입력(1306) 내의 잡음을 식별하려는 네트워크의 시도를 표현한다. CNN(1220)이 잡음 입력(1306)에서 잡음(1312)을 얼마나 가깝게 식별했는지(또는 식별하지 않았는지)에 기초하여, 블록(1314)에서, CNN(1220) 내의 노드들, 연결부들 등에 대한 네트워크 가중치들이 조정될 수 있다. 이어서, CNN(1220)은 예측 잡음(1312)을 결정하기 위해 잡음 입력(1306) 상에서 다시 동작할 수 있고, 네트워크 가중치들은 보증되는 경우에 추가로 조정될 수 있다(1314).

CNN(1220)이 충분한 정확도(예컨대, 손실 함수 값 또는 다수의 트레이닝된 에포크들이 사전설정된 임계치에 도달하는 것 등)로 이미지 내의 잡음(1312)을 식별하도록 트레이닝될 때, 네트워크는 전개될 수 있다. 전개된 CNN(1250)은 진단을 위해 사용될 고잡음 이미지 체적(블록(1316))을 수신하고, 환자 이미지를 프로세싱하여 이미지를 위한 예측 잡음(블록(1318))을 생성하게 한다. 블록(1320)에서, 예측 잡음(1318)은 개선된 잡음을 생성하기 위해 검사될 수 있고/있거나 달리 정량화될 수 있다. 블록(1322)에서, 개선된 잡음(1320)이 환자 이미지(1316)로부터 감산되어, 진단을 위한 잡음제거된 이미지 체적을 생성하게 한다(블록(1324)).

도 14는 이미징 기법에 대한 환자의 이미지 데이터 상에서 트레이닝된 심층 뉴럴 네트워크 모델을 사용하여 그 환자의 이미지들을 잡음제거하기 위한 예시적인 방법(1400)의 흐름도를 도시한다. 블록(1402)에서, 심층 뉴럴 네트워크(1220)는 환자 자신의 이미지(들) 상에서 트레이닝된다. 따라서, 다수의 환자들로부터 다수의 이미지들의 대규모 데이터 풀(data pool)을 필요로 하는 것이 아니라, 심층 뉴럴 네트워크(1220)는 이미징 스캐너로부터의 환자 자신의 이미지, 및 그 이미징 스캐너에 대해 알려진 잡음 정보를 이용하여 트레이닝될 수 있다. 일단 네트워크(1220)가 (예컨대, 두드러진 잡음이 네트워크(1220)에 의해 이미지 내에서 검출되지 않은 채로 남겨지고 어떠한 두드러진 이미지 데이터도 실수로 잡음으로서 특징지어지지 않는 등이도록 에러 마진 또는 공차 내에서) 스캐너에 의해 환자 이미지 내에 도입된 잡음을 적절하게 식별하도록 트레이닝 및 검증되었다면, 트레이닝 네트워크(1220)는 인입 환자 이미지들을 프로세싱하는 데(블록(1406)) 사용될 심층 뉴럴 네트워크 모델(1250)로서 전개될 수 있다(블록(1404)).

도 15는 도 14와 관련하여 전술된 심층 뉴럴 네트워크(블록(1402))를 트레이닝하는 예시적인 구현예를 도시한다. 이 예에서, 블록(1502)에서, 환자 이미지(예컨대, 얇은 슬라이스, 두꺼운 슬라이스 등으로서 얻어진, 환자에 대한 이미지 체적)가 얻어진다. 블록(1504)에서, 환자 이미지는 트레이닝 심층 뉴럴 네트워크(1220)에 대한 이미지를 준비하도록 사전프로세싱된다. 예를 들어, 얇은 이미지 슬라이스는 환자 이미지 내의 잡음을 감소시키도록 (예컨대, 얇은 슬라이스들을 조합하는 것에 의해, 추가 데이터를 외삽하는 것에 의해, 기타등등에 의해) 두꺼워질 수 있다. 하나 이상의 패치들이, 예를 들어, 환자 이미지로부터 추출될 수 있다. 잡음(예컨대, 스캐너 등을 사용하여 팬텀으로부터 시뮬레이션되고/되거나 측정됨)이 환자 이미지에 추가되어, 트레이닝 네트워크(1220)에 의한 프로세싱을 위한 잡음 이미지 입력을 형성한다.

블록(1506)에서, 잡음 이미지 입력이 트레이닝 뉴럴 네트워크(1220)를 사용하여 프로세싱된다. 예를 들어, 콘볼루션들, 필터들 등은 이미지 내의 잡음을 식별 및 정량화하기 위해 커널을 통해 잡음 이미지 입력에 적용된다. 네트워크(1220)의 출력은 잡음의 식별/정량화이다.

블록(1508)에서, 트레이닝 네트워크에 의해 출력된 잡음 결과는 사전프로세싱 시에 도입된 잡음에 관한 알려진 정보에 대해 평가된다. 예를 들어, 비교기(1230)는 트레이닝 네트워크(1220)에 의해 식별된 잡음이 환자 이미지에 추가된 실제 잡음과 얼마나 가까운지를 평가한다. 잡음 검출의 정확도 또는 "가까움(closeness)"은, 예를 들어, 두드러진 잡음이 네트워크(1220)에 의해 이미지에서 검출되지 않은 채로 남겨지고 어떠한 두드러진 이미지 데이터도 실수로 잡음으로서 특징지어지지 않도록 에러 마진 또는 공차와의 비교에 의해 평가될 수 있다.

블록(1510)에서, 정확한 잡음 결과가 트레이닝 네트워크(1220)에 의해 추출된 경우, 제어는 블록(1404)으로 복귀하여, 추가 환자 이미지들과 함께 사용하기 위한 뉴럴 네트워크 모델(1250)로서 트레이닝 네트워크(1220)를 전개한다. 그러나, 트레이닝 네트워크(1220)에 의해 추출된 잡음 결과가 충분히 정확하지 않은 경우, 블록(1512)에서, 네트워크 가중치들이 잡음 비교에 기초하여 트레이닝 네트워크(1220)에 대해 조정된다. 이어서, 네트워크(1220)는, 업데이트된 가중치 값들을 갖는 잡음 환자 이미지 패치들을 재평가하여(블록(1506)), 예를 들어, 조정된 네트워크 가중치들이 보다 정확한 잡음 결정을 야기하는지의 여부를 (블록(1508)에서) 결정할 수 있다.

따라서, 일례에서, 환자의 CT 스캔 데이터가 획득된 후에, 저잡음 재구성이 (예컨대, 매끄러운 커널, 더 큰 픽셀 크기, 및/또는 더 두꺼운 슬라이스 등에 의해) 수행된다. 저잡음 재구성 이미지(들)는 "클린" 기준 데이터로서의 역할을 한다. 이어서, 동일한 재구성 파라미터들이 재구성 동안 추가 잡음과 함께 사용되어 "잡음" 재구성 이미지들을 생성한다. 잡음은 (예컨대, 투사 도메인 및/또는 이미지 도메인 등에서) 많은 방식들로 추가될 수 있다. 투사 도메인 및/또는 이미지 도메인에서, 잡음은 시뮬레이션에 의해(예컨대, 분석 계산을 통해, 잡음 모델링에 기초한 몬테카를로 시뮬레이션을 이용하여, 등등으로) 그리고/또는 실제 획득에 의해(예컨대, 임의의 팬텀들/동물들/카데바들로부터의 스캔 또는 균일한 영역들을 갖는 팬텀으로부터의 단일 스캔을 반복하는 것 등에 의해) 생성될 수 있다. 상이한 팬텀들/동물들/카데바들은 상이한 잡음 패턴들을 제공할 수 있고, 팬텀들은, 예를 들어 단순한 팬텀들(예컨대, 물/폴리에스테르 원통형/난형 또는 일부 인서트들 등을 가짐), 또는 의인화된 팬텀들(예컨대, Lungman 팬텀, Kyoto 전신 팬텀 등)일 수 있다. (예컨대, 하나 이상의 이미지 변환 모델들 등을 사용하여) "클린" 및 "잡음" 이미지들을 트레이닝 데이터로서 이용하면, 잡음제거 뉴럴 네트워크는, 네트워크 잡음 검출의 정확도를 결정하기 위해, 예컨대 네트워크로의 입력으로서 "잡음" 이미지들을 사용하는 한편 실측 자료 또는 비교 이미지들로서 ("잡음" 이미지들로부터 "클린" 이미지를 감산함으로써 계산된) "클린" 이미지들 또는 "잡음" 이미지들을 사용함으로써 트레이닝될 수 있다.

도 16은 도 14와 관련하여 전술된 전개된 심층 뉴럴 네트워크 모델(블록(1406))을 사용하여 환자 이미지들을 프로세싱하는 예시적인 구현예를 도시한다. 이 예에서, 블록(1602)에서, 환자 이미지 데이터가 수신된다. 예를 들어, 환자의 얇은 그리고/또는 두꺼운 추가 슬라이스 이미지들은 이미징 기법, 이미지 아카이브, 전자 의료 기록, 임상 결정 지원 시스템, 방사선학 보고/검토 시스템 등으로부터 제공될 수 있다.

블록(1604)에서, 환자 이미지 데이터는 전개된 심층 뉴럴 네트워크 모델(1250)을 사용하여 환자 이미지 데이터 내의 잡음을 식별 및 정량화하도록 프로세싱된다. 예를 들어, 콘볼루션들, 필터들 등이, 전개된 모델(1250)에서 설정되고 트레이닝 동안 구성된 가중치들을 갖는 커널들을 사용한다면, 이미지 특징부들은 이미징 스캐너에 의해 도입된 잡음 및/또는 다른 환경/데이터 프로세싱 불규칙성들/에러들과는 구별되어, 환자 이미지 데이터 내에 존재하는 잡음(예컨대, 비-이미지 데이터 또는 아티팩트들 등)을 식별 및 정량화하게 할 수 있다. 환자 이미지 데이터 내의 잡음의 이러한 표시는 전개된 모델(1250)에 의해 출력된다.

블록(1606)에서, 전개된 뉴럴 네트워크 모델(1250)의 출력으로서 생성된 잡음이 개선된다. 예를 들어, 잡음은 (예컨대, 임계치들, 예상 값들, 기준 값들 등에 기초하여) 검사되어, 예컨대 이미지 데이터가 잡음 결정에 실수로 포함되지 않았음을 확인함으로써, 잡음 정보를 개선할 수 있다. 예를 들어, 이미지 데이터가 실수로 포함된 경우, 예를 들어, 업데이트된 뉴럴 네트워크 모델(1250)로서 재전개되도록 (예컨대, 네거티브 피드백이 한도 또는 다른 임계치를 초과한 후에) 네트워크 모델(1220)을 재트레이닝하기 위해 피드백이 생성될 수 있다.

블록(1608)에서, 환자 이미지 데이터는 전개된 뉴럴 네트워크 모델(1250)로부터의 개선된 잡음 출력을 이용하여 잡음제거된다. 예를 들어, 식별된 잡음 값들은 환자 이미지 데이터로부터 제거되어, 이미징 기법 및/또는 다른 데이터 송신, 프로세싱, 저장 에러 등을 통해 추가된 잡음 없이, 실제 환자 이미지 콘텐츠를 남긴다.

블록(1610)에서, 잡음제거된 환자 이미지가 출력된다. 예를 들어, 하나 이상의 잡음제거된 환자 이미지 슬라이스들이 디스플레이를 위해, 저장을 위해, 임상 결정 지원 시스템에 의한 추가 프로세싱 등을 위해 출력될 수 있다.

따라서, 네트워크(1220)가 트레이닝된 후에, 네트워크(1220)는 심층 뉴럴 네트워크 모델(1250)로서 전개될 수 있고, 동일한 환자의 이미지 데이터에 대한 잡음제거 태스크를 수행하는 데 사용될 수 있다. 예를 들어, 트레이닝 이미지들을 재구성하는 데 사용되는 것들과는 상이한 재구성 파라미터들을 갖는 동일한 환자 스캔 데이터에 대해 얇은 슬라이스 재구성이 수행되고, 전개된 딥러닝 뉴럴 네트워크(1250)는 잡음제거된 얇은 슬라이스 재구성을 생성하도록 적용된다. 임의의 두꺼운(또는 얇은) 슬라이스 재포맷이, 예를 들어, 잡음제거된 얇은 슬라이스 체적으로부터 생성될 수 있다. 뉴럴 네트워크 트레이닝 타깃이 "클린" 이미지였던 경우에, 추론 시의 전개된 모델(1250)의 출력은, 예를 들어, 잡음제거된 이미지이다. 뉴럴 네트워크 트레이닝 타깃이 "잡음" 이미지였던 경우에, 이러한 "잡음" 이미지는 "잡음" 입력으로부터 감산되어, 전개된 뉴럴 네트워크 모델(1250)을 통해 잡음제거된 이미지를 생성한다. 딥러닝에서의 결과들이 완전히 예측가능하지 않기 때문에, 예를 들어, 딥러닝 뉴럴 네트워크(1250)에 의해 제거되는 "잡음"이, 실제로, 입력 이미지로부터 잡음을 감산하기 전의 잡음임을 보장하는 것을 돕기 위해 확인 검사 또는 개선이 적용된다.

일부 예들이 CT 이미지들과 관련하여 도시되고 설명되었지만, 동일한 시스템들 및 방법들이 MR, X-선, MICT, 초음파 등에 적용될 수 있다. 일부 예들에서, CT 모델을 MR 이미지들에 적용하는 것 등과 같이, 기법들이 조합될 수 있다.

도 17은 적어도 도 14 내지 도 16의 명령어들을 실행하여 본 명세서에 개시되고 기술된 예시적인 컴포넌트들을 구현하도록 구조화된 예시적인 프로세서 플랫폼(1700)의 블록도이다. 프로세서 플랫폼(1700)은, 예를 들어, 서버, 개인용 컴퓨터, 모바일 디바이스(예컨대, 휴대폰, 스마트폰, iPad™과 같은 태블릿), 개인 휴대 정보 단말기(PDA), 인터넷 어플라이언스, 또는 임의의 다른 타입의 컴퓨팅 디바이스일 수 있다.

도시된 예의 프로세서 플랫폼(1700)은 프로세서(1712)를 포함한다. 도시된 예의 프로세서(1712)는 하드웨어이다. 예를 들어, 프로세서(1712)는 임의의 원하는 계열 또는 제조사로부터의 집적 회로들, 로직 회로들, 마이크로프로세서들 또는 제어기들에 의해 구현될 수 있다.

도시된 예의 프로세서(1712)는 로컬 메모리(1713)(예컨대, 캐시)를 포함한다. 도 17의 예시적인 프로세서(1712)는 적어도 도 14 내지 도 16의 명령어들을 실행하여, 예컨대, 예시적인 입력 데이터 프로세서(1110), 예시적인 이미지 데이터 잡음제거기(1120), 예시적인 사후프로세싱 이미지 생성기(1130), 예시적인 출력 이미저(1140), 또는 보다 일반적으로, 예시적인 이미지 프로세서 시스템(1100) 등과 같은 도 1 내지 도 13의 시스템들 및 인프라구조 및 연관된 방법들을 구현한다. 도시된 예의 프로세서(1712)는 버스(1718)를 통해 휘발성 메모리(1714) 및 비휘발성 메모리(1716)를 포함하는 메인 메모리와 통신한다. 휘발성 메모리(1714)는 동기식 동적 랜덤 액세스 메모리(SDRAM), 동적 랜덤 액세스 메모리(DRAM), 램버스 동적 랜덤 액세스 메모리(RDRAM) 및/또는 임의의 다른 타입의 랜덤 액세스 메모리 디바이스에 의해 구현될 수 있다. 비휘발성 메모리(1716)는 플래시 메모리 및/또는 임의의 다른 원하는 타입의 메모리 디바이스에 의해 구현될 수 있다. 메인 메모리(1714, 1716)에의 액세스는 클록 제어기에 의해 제어된다.

도시된 예의 프로세서 플랫폼(1700)은 또한 인터페이스 회로(1720)를 포함한다. 인터페이스 회로(1720)는 이더넷 인터페이스, 범용 직렬 버스(USB), 및/또는 PCI 익스프레스 인터페이스와 같은 임의의 타입의 인터페이스 표준에 의해 구현될 수 있다.

도시된 예에서, 하나 이상의 입력 디바이스들(1722)이 인터페이스 회로(1720)에 접속된다. 입력 디바이스(들)(1722)는 사용자가 데이터 및 커맨드들을 프로세서(1712)에 입력하는 것을 허용한다. 입력 디바이스(들)는, 예를 들어, 센서, 마이크로폰, 카메라(정지 또는 비디오), 키보드, 버튼, 마우스, 터치스크린, 트랙패드, 트랙볼, 아이소포인트(isopoint) 및/또는 음성 인식 시스템에 의해 구현될 수 있다.

하나 이상의 출력 디바이스들(1724)이, 또한, 예시된 예의 인터페이스 회로(1720)에 접속된다. 출력 디바이스들(1724)은, 예를 들어, 디스플레이 디바이스들(예컨대, 발광 다이오드(LED), 유기 발광 다이오드(OLED), 액정 디스플레이, 음극선관(CRT) 디스플레이, 터치스크린, 촉각적 출력 디바이스, 및/또는 스피커들)에 의해 구현될 수 있다. 따라서, 도시된 예의 인터페이스 회로(1720)는 전형적으로 그래픽 드라이버 카드, 그래픽 드라이버 칩 또는 그래픽 드라이버 프로세서를 포함한다.

도시된 예의 인터페이스 회로(1720)는 또한 네트워크(1726)(예컨대, 이더넷 접속부, 디지털 가입자 라인(DSL), 전화선, 동축 케이블, 셀룰러 전화 시스템 등)를 통해 외부 기계들(예컨대, 임의의 종류의 컴퓨팅 디바이스들)과 데이터의 교환을 가능하게 하기 위한 통신 디바이스, 예컨대 송신기, 수신기, 송수신기, 모뎀, 및/또는 네트워크 인터페이스 카드를 포함한다.

예시된 예의 프로세서 플랫폼(1700)은, 또한, 소프트웨어 및/또는 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들(1728)을 포함한다. 그러한 대용량 저장 디바이스들(1728)의 예들은 플로피 디스크 드라이브, 하드 드라이브 디스크, 콤팩트 디스크 드라이브, 블루-레이 디스크 드라이브, RAID 시스템, 및 디지털 다용도 디스크(DVD) 드라이브를 포함한다.

도 17의 코딩된 명령어들(1732)은 대용량 저장 디바이스(1728)에, 휘발성 메모리(1714)에, 비휘발성 메모리(1716)에, 그리고/또는 CD 또는 DVD와 같은 탈착식의 유형적인 컴퓨터 판독가능 저장 매체에 저장될 수 있다.

전술한 것으로부터, 상기에 개시된 방법, 장치, 및 제조 물품들이 복수의 딥러닝 및/또는 다른 기계 학습 기법들을 이용하여 이미징 및/또는 다른 건강 관리 시스템들의 동작을 모니터링, 프로세싱, 및 개선하기 위해 개시되었음이 이해될 것이다. 개시된 방법들, 장치 및 제조 물품들은 대규모 다중 환자 데이터 세트가 아니라 단일 환자 이미지 상에 트레이닝된 심층 뉴럴 네트워크 모델의 통합을 통해 이미지들을 잡음제거하는 능력을 갖는 것으로 확장함으로써 컴퓨팅 디바이스의 동작을 개선한다. 따라서, 개시된 방법들, 장치 및 제조 물품들은 컴퓨터의 기능에 있어서 하나 이상의 개선(들)에 관한 것이다.

따라서, 특정 예들은 동일한 환자의 스캔 상에서 잡음제거 및 추론을 위해 뉴럴 네트워크를 트레이닝 및 전개하기 위한 컴퓨터 시스템 및 연관된 방법을 제공한다. 동일한 환자의 스캔을 사용하는 것은 전개된 딥러닝 뉴럴 네트워크 모델이 잡음제거 프로세스 동안 환자에게 속하지 않는 해부학적 구조물들을 생성하지 않음을 보장하는 것을 돕는다.

딥러닝의 성공이 빅 데이터에 기초한다는 것은 완전히 받아들여지며, 더 많은 트레이닝 데이터가 더 양호한 결과로 이어진다는 것은 일반적인 믿음이다. 그러나, 특정 예들은 트레이닝 및 추론을 위해 동일한 환자 데이터를 사용한다. 이러한 환자 특정적 트레이닝 방법론을 이용함으로써, 어떠한 대규모 데이터 세트도 요구하지 않고/않거나 어떠한 익명의 추가 환자 데이터도 요구하지 않고/않거나 당해 환자 이외의 다른 환자들의 개입을 요구하면서, 딥러닝 잡음제거가 제공할 수 있는 바람직한 특징부들(예컨대, 세련된 텍스처, 매끄러운 에지들 등)을 여전히 달성할 수 있음이 입증되었다. 또한, 특정 예는, 트레이닝 및 추론 데이터가 동일한 환자 스캔으로부터의 것이기 때문에, 트레이닝 데이터로부터 (예컨대, 다른 환자로부터의) 해부학적 구조물이 추론 데이터에 복사되는 염려가 없다는 점에서 큰 독특한 장점을 제공한다. 다른 환자의 데이터가 사용되는 경우, 다른 환자의 스캔으로부터 현재의 환자 스캔으로 해부학적 특징부들을 임포팅하는 위험이 있다. 병변이 트레이닝 데이터로부터 건강한 환자 내로 복사되는 경우, 이는, 예를 들어, 오진을 야기할 것이다.

따라서, 특정 예들은 환자 이미지를 획득하고, 이미지 및 추가 잡음에 기초하여 네트워크를 트레이닝하고, 모든 잡음이 제거되고 단지 잡음만이 제거되는 것을 보장하도록 네트워크에 의해 식별된 생성된 잡음을 분석하고, 그 환자에 대한 후속 이미지들에 네트워크를 적용한다. 특정 예들에서, 트레이닝에 사용되는 환자 이미지에 추가된 잡음을 스케일링함으로써 네트워크의 트레이닝을 수정하기 위해 피드백이 사용될 수 있다. 잡음 스케일링의 정도는 검토된 이미지들 및 연관된 잡음으로부터의 피드백에 기초할 수 있다. 주어진 환자 및/또는 이미징 디바이스에 대해, 예를 들어, 더 많은 잡음이 제거될 경우, 더 높은 잡음이 네트워크 트레이닝에 통합될 수 있다. 예를 들어, 팬텀을 통해 트레이닝 환자 이미지 내로 더 많거나 적은 잡음이 도입될 수 있다. 잡음은 팬텀 스캔, 환자 스캔, 컴퓨터 시뮬레이션 등으로부터 환자 이미지에 추가될 수 있다.

특정 예들에서, 스케일링 인자는 퍼지 값이고(예컨대, 인자는 많은 값들(예컨대, 유한 정수 값이 아닌 0과 1 사이의 모든 숫자들과 같은 값들의 범위 또는 기울기)을 포함하고, 잡음 시뮬레이션도 또한 퍼지 값이다(예컨대, 팬텀 스캔으로부터 추출되고/되거나 달리 시뮬레이션되고/되거나 등등이다).

특정 예들에서, 이미지 프로세서 장치는 이미징 디바이스 자체 상에, 이미징 디바이스와 통신하는 별개의 컴퓨터 상에, 클라우드 기반 서버 상 등에 위치될 수 있다. 딥러닝 모델 기반 이미지 잡음제거는, 예를 들어, 이미징 디바이스와 함께 이미지 재구성 체인의 일부로서 삽입될 수 있고/있거나, 이미지가 얻어져서 PACS에 저장된 후에 발생할 수 있다.

특정 예들에서, 이미지 프로세서는 단일 환자의 이미지를 넘어 확장되어, 환자들을 가로질러서 그리고/또는 클라우드를 통해 상이한 이미징 디바이스들에 걸쳐서 트레이닝할 수 있다. 특정 예들에서, 뉴럴 네트워크 기반 이미지 잡음제거는 로컬 프로세서들과 함께 클라우드 기반 서버에 의해 조정될 수 있다. 클라우드 서버는 원격으로 잡음 제거를 모니터링할 수 있으며, 로컬 프로세서로부터의 잔차 신호가 타당하지 않은 경우(예컨대, 특정 임계치들, 한도들, 및/또는 예상 값들 등을 만족시키지 않는 경우), 클라우드 서버는 로컬 이미지 프로세서에서 조정 또는 수정을 트리거할 수 있다. (예컨대, 사용자들로부터의, 잡음제거된 이미지들을 사용하는 시스템들 등으로부터의) 로컬 및/또는 클라우드-기반 피드백이, 예를 들어, 뉴럴 네트워크 모델을 트레이닝하고/하거나 재트레이닝하기 위해 제공될 수 있다.

특정 예들에서, 이미지 헤더(예컨대, DICOM 헤더 등)는 이미지, 이미지와 연관된 환자, 이미지 상에서 사용할 알고리즘을 재구성하는, 이미지를 얻은 이미징 디바이스 등에 관한 정보를 제공한다. DICOM 및/또는 다른 이미지 파일 헤더의 분석은, 예를 들어, 이미지 데이터 잡음제거기(1120)에 의해 네트워크(1220)를 트레이닝하고 전개된 네트워크 모델(1250)에 대한 파라미터들을 설정하는 데 이용될 수 있다.

특정 예들에서, 세그먼트화 알고리즘은 특정 포맷의 특정 정보 등을 기대한다. 따라서, 네트워크(1220)는 선택된/제공된 세그먼트화 알고리즘에 기초하여 상이하게 트레이닝된다. 상이한 알고리즘들이 네트워크(1220)를 상이한 방식들로 트레이닝한다. 유사하게, 상이한 스캐너들, 상이한 환자들, 및/또는 상이한 임상의들이 네트워크(1220)를 상이한 방식들로 트레이닝할 수 있다. 예를 들어, 인간은 진단 관찰을 위한 더 매끄러운 이미지들을 선호하지만, 기계는 프로세서가 이미지를 자동으로 잡음제거할 수 있기 때문에 더 날카로운 에지들을 선호한다. 뉴럴 네트워크 모델(1220)은 특정 시스템에 의해 생성된 잡음에 영향을 미치는 특정 특성들을 갖는 그 특정 시스템을 반영하도록 트레이닝될 수 있고, 이어서, 모델(1220)은, 예를 들어, 상이한 이미징 시스템에 의해 생성되는 잡음을 고려하기 위해 상이한 특성들을 갖는 상이한 시스템과 유사하게 보이도록 재트레이닝될 수 있다. 따라서, 모델(1250)은, 예를 들어, 네트워크(1220)가 상이한 파라미터들로 재트레이닝됨에 따라 동적으로 전개될 수 있다.

특정 예들에서, 뉴럴 네트워크(1220, 1250)는 더 넓은 세트의 예들을 갖는 현재의 환자 이미지 예의 로컬 특징부들과 매칭되는 뉴럴 스타일 전이를 채용한다. 인지적 손실은 이미지 품질에 기초하여 발생할 수 있다. 따라서, 연역적 트레이닝은 네트워크(1220)를 교시하여 양호한 이미지를 만드는 것을 인식하게 할 수 있다. 이어서, 현재 환자의 데이터는 인지적 손실을 만족시키는 낮은 레벨의 특징부들, 병리학 등을 식별하기 위해 분석될 수 있다. 인지적 손실은 인간 의존적이므로, 뉴럴 네트워크가 국소적으로 저장되든 클라우드 상에 저장되든, 방사선 전문의-특정적 인지적 손실이 있을 수 있다. 따라서, 네트워크(1250)는 개인 사용자의 선호도에 대해 개인화될 수 있다. 예를 들어, 트레이닝 네트워크(1220)는 상이한 특성들을 설명하는 특성들을 임베드할 수 있고, 네트워크(1220)는 특정 의사를 설명하는 것을 학습한다. 이어서, 네트워크(1220)는 그것이 특정 의사에 대한 이미지를 프로세싱하고 이를 표현하는 방법을 조정할 수 있다.

특정 예들에서, 개인화는 다차원일 수 있다. 예를 들어, 네트워크 모델(1250)은, 1) 특정 환자 및 그들의 연관된 병리학; 2) 사용자/판독기 및 그들의 선호도, 지각력 등; 3) 예상 병리학(예컨대, 특정 병리학을 검토하는 의사들로부터의 피드백에 기초하여 학습된 병리학 구동 커널 등) 등에 대해 개인화될 수 있다. CTQ(critical-to-quality) 인자들은 뉴럴 네트워크 모델(1250)을 트레이닝(1220) 및 전개하는 데 고려될 수 있다. 예를 들어, 블러 이미지가 관류(perfusion)를 위해 허용가능할 수 있지만 안면골에 대해서는 허용가능하지 않을 수도 있다. 특정 예들에서, 인지적 손실은 네트워크 모델(1220, 1250)이 어떤 인지적 손실을 최상으로 선택한 이유를 정의하고/하거나 이해하는 것을 돕기 위해 특정 타깃/목적에 대해 관련된 CTQ들에 기초하여 이미지 품질 메트릭에 맵핑될 수 있다.

특정 예들은 새롭게 획득된 환자 이미지를 취하고, 이미지를 두껍게 하여 잡음을 감소시키고, 이어서 알려진 잡음을 두꺼워진 이미지에 추가한다. 특정 예들에서, 현재 환자 이미지 대신에 또는 그에 더하여 이전의 환자 이미지가 사용될 수 있다. 예를 들어, 콘트라스트 이미지가 환자에 대한 비-콘트라스트 이미지와 함께 사용될 수 있고; 더 높은 선량 노출 다음에 낮은 선량 노출(예컨대, 흉부/폐 스크린 등)이 이어질 수 있고; 등등일 수 있다. 예를 들어, 종양 환자는 높은 선량에서의 초기 이미지 및 더 낮은 선량에서의 후속 이미지를 가질 수 있다. 양측 이미지들 모두는 다수의 이미지들에 걸친 그 특정 환자의 특성들에 기초하여 더 효과적인 이미지 잡음제거를 위해 뉴럴 네트워크(1220)의 트레이닝 동안 조합되어 사용될 수 있다. 이미지들의 다중 양식 세트는, 예를 들어, 뉴럴 네트워크(1220)가 환자의 더 양호한 사진을 얻게 할 수 있다.

특정 예들에서, 뉴럴 네트워크(1250)는 잡음을 이미지에 다시 추가하기 위해 사용될 수 있다. 예를 들어, 잡음은 더 낮은 선량에서의 스캐닝의 영향을 평가하기 위해 추가될 수 있다. 따라서, 임상 프로토콜들을 검토함에 있어서, 프로토콜은 높은 선량에서의 스캐닝을 수반할 수 있고, 네트워크(1250)는, 예를 들어, 더 낮은 선량(및 더 많은 잡음을 갖는 대응하게 더 낮은 해상도)에서의 스캐닝의 영향을 평가하는 것을 도울 수 있다. 네트워크 모델(1250)은, 또한, 임상 프로토콜 선택 및/또는 제어를 위한 시뮬레이터로서 사용될 수 있다. 예를 들어, CNN은 현실적인 잡음을 시뮬레이션하기 위해 사용될 수 있으며, CNN을 트레이닝하는 데 사용되는 실제 잡음은 환자, 스캐너, 환경 등에 대한 적절한 프로토콜 및 선량을 현실적으로 선택하는 데 사용될 수 있는 실제 잡음 패턴들을 생성하도록 트레이닝하는 데 사용될 수 있다.

특정 예시적인 방법들, 장치 및 제조 물품들이 본 명세서에 기술되었지만, 본 특허의 커버리지 범주는 이로 제한되지 않는다. 반대로, 본 특허는 본 특허의 청구범위의 범주 내에 사실상 속하는 모든 방법들, 장치 및 제조 물품들을 포괄한다.

Claims (10)

1. 이미지 데이터 프로세싱 시스템으로서,
   제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 상기 제1 환자 이미지를 프로세싱하기 위한 입력 데이터 프로세서;
   상기 제1 잡음을 식별하도록 제1 딥러닝 네트워크를 사용하여 상기 잡음 이미지 입력을 프로세싱하고, 상기 잡음 이미지 입력을 사용하여 상기 제1 딥러닝 네트워크를 트레이닝하고 상기 제1 딥러닝 네트워크의 잡음 출력과 예상되는 잡음 출력의 비교에 기초하여 네트워크 가중치를 수정하기 위한 이미지 데이터 잡음제거기 - 상기 제1 딥러닝 네트워크가 상기 제1 잡음을 식별하도록 트레이닝될 때, 상기 이미지 데이터 잡음제거기는 상기 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 상기 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 상기 제1 딥러닝 네트워크를 전개하기 위한 것임 -;
   상기 제2 환자 이미지로부터 상기 제2 딥러닝 네트워크 모델에 의해 식별된 상기 제2 잡음을 제거하여 잡음제거된 환자 이미지를 형성하기 위한 사후프로세싱 이미지 생성기; 및
   상기 잡음제거된 환자 이미지를 출력하기 위한 출력 이미저(imager)를 포함하는, 이미지 데이터 프로세싱 시스템.
2. 제1항에 있어서, 상기 입력 데이터 프로세서는, 상기 제1 잡음이 상기 제1 환자 이미지에 추가되기 전에, 상기 제1 환자 이미지 내의 잡음을 감소시키기 위해 얇은 슬라이스 이미지 체적으로부터 두꺼운 슬라이스 이미지 체적으로 상기 제1 환자 이미지를 두껍게 하기 위한 것인, 이미지 데이터 프로세싱 시스템.
3. 제1항에 있어서, 상기 제1 잡음은 제1 팬텀 스캔 또는 시뮬레이션 중 적어도 하나를 사용하여 얻어지는 것인, 이미지 데이터 프로세싱 시스템.
4. 제1항에 있어서, 상기 제1 팬텀 스캔은 상기 제1 환자 이미지를 획득하는 데 사용되는 이미징 스캐너 상에서 얻어지는 것인, 이미지 데이터 프로세싱 시스템.
5. 제1항에 있어서, 상기 입력 데이터 프로세서는 피드백에 기초하여 상기 제1 잡음을 스케일링하기 위한 것인, 이미지 데이터 프로세싱 시스템.
6. 제1항에 있어서, 상기 식별된 제2 잡음은 상기 이미지 데이터 잡음제거기에 의해 상기 제2 환자 이미지로부터 제거되기 전에 검사되고 개선되는 것인, 이미지 데이터 프로세싱 시스템.
7. 제1항에 있어서, 상기 제2 딥러닝 네트워크 모델은 상기 제1 환자에 대해 전개되는 것이고, 상기 제1 딥러닝 네트워크는 상기 제1 환자, 및 상기 제2 환자 이미지를 검토하고 상기 제1 환자를 진단하는 사용자에 대해 트레이닝되는 것인, 이미지 데이터 프로세싱 시스템.
8. 명령어들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 실행될 때, 적어도 하나의 프로세서로 하여금, 적어도:
   제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 상기 제1 환자 이미지를 프로세싱하게 하고;
   상기 제1 잡음을 식별할 입력으로서 상기 잡음 이미지 입력을 사용하여 상기 제1 딥러닝 네트워크를 트레이닝하게 하고;
   상기 제1 딥러닝 네트워크가 상기 제1 잡음을 식별하도록 트레이닝될 때, 상기 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 상기 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 상기 제1 딥러닝 네트워크를 전개하게 하고, 상기 제2 딥러닝 네트워크 모델에 의해 식별된 상기 제2 잡음은 출력될 잡음제거된 환자 이미지를 형성하도록 상기 제2 환자 이미지로부터 제거되는 것인, 컴퓨터 판독가능 저장 매체.
9. 제8항에 있어서, 상기 명령어들은, 실행될 때, 상기 적어도 하나의 프로세서로 하여금, 적어도, 상기 제1 잡음이 상기 제1 환자 이미지에 추가되기 전에, 상기 제1 환자 이미지 내의 잡음을 감소시키기 위해 얇은 슬라이스 이미지 체적으로부터 두꺼운 슬라이스 이미지 체적으로 상기 제1 환자 이미지를 두껍게 하게 하는, 컴퓨터 판독가능 저장 매체.
10. 이미지 잡음제거의 컴퓨터 구현 방법으로서,
    적어도 하나의 프로세서를 사용하여, 제1 환자의 제1 환자 이미지에 제1 잡음을 추가하여 잡음 이미지 입력을 형성하도록 상기 제1 환자 이미지를 프로세싱하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 제1 잡음을 식별할 입력으로서 상기 잡음 이미지 입력을 사용하여 상기 제1 딥러닝 네트워크를 트레이닝하는 단계; 및
    상기 제1 딥러닝 네트워크가 상기 제1 잡음을 식별하도록 트레이닝될 때, 상기 적어도 하나의 프로세서를 사용하여, 상기 제1 환자의 제2 환자 이미지 내의 제2 잡음을 식별하도록 상기 제2 환자 이미지에 적용될 제2 딥러닝 네트워크 모델로서 상기 제1 딥러닝 네트워크를 전개하는 단계 - 상기 제2 딥러닝 네트워크 모델에 의해 식별된 상기 제2 잡음은 출력될 잡음제거된 환자 이미지를 형성하도록 상기 제2 환자 이미지로부터 제거될 것임 - 를 포함하는, 컴퓨터 구현 방법.

Images