KR20190071724A - 의료 이미지 해석을 위한 시스템 및 방법 - Google Patents

Abstract

인공 지능 소견 시스템은, 의료 이미지 데이터를 수신하고, 사용자에 대한 저장된 선택사항을 고려하는 이미지 해석 알고리즘 및 의료 이미지 데이터에 기초하여 소견을 생성하는 소견 엔진을 포함한다. 클라이언트 뷰어는 소견을 사용자에게 제시한다. 조정 엔진은 사용자가 소견을 조정하여 리포트를 생성할 수 있게 한다. 추적 모듈은 리포트를 생성할 때 사용자에 의해 소견에 이루어진 조정 및 소견을 추적한다. 추적 모듈은 추적 정보를 생성한다. 기계 학습 엔진은 추적 정보를 수신하고, 사용자에 의해 소견에 이루어진 조정에 기초하여 사용자에 대한 저장된 선택사항을 조정한다.

Description

의료 이미지 해석을 위한 시스템 및 방법

본 발명의 실시형태는 일반적으로 의료 정보 처리 시스템에 관한 것이다. 보다 구체적으로는, 본 발명의 실시형태는 인공 지능, 반복적 이미지 처리 엔진 트레이닝, 및 이미지 처리 엔진 결과물과 의사 간의 양방향 상호 작용을 이용하는 의료 이미지 해석에 관한 것이다.

오늘날, 의료 이미지 리뷰 프로세스에서, 의사는 흔히 의사의 리뷰를 위해 준비된 부분적으로 사전 완성된 리포트를 리뷰한다. 사전 완성된 리포트는 예를 들어, 환자 병력, 의료 소견(findings), 및 의료 이미지를 포함한다. 의료 이미지는 예를 들어, 2차원이나 3차원, 또는 시간 분석형(time-resolved) 4차원 소견 세트를 포함하기 위해 소견을 자동으로 또는 반자동으로 생성하도록 전처리될 수 있으며, 소견은, 이미지 처리 엔진에 의해 이미지 데이터 내에서 발견된 속성에 기초하여 이미지로부터의, 라인, 관심 영역, 오버레이, 융합 이미지, 정보를 추출하기 위한 체적 윤곽선 및 다른 피처 추출 계산 방법, 해부학적 영역, 병리학, 생리학적 징후, 시간 분석형 소견, 및 다른 최신 이미지 처리 기술, 또는 이들의 조합을 포함할 수 있다. 현재의 이미지 데이터 세트는 다른 유사한 이전에 진단된 환자 파일과 비교될 수 있으므로, 최신 연구에서, 일련의 현재 연구 세트에서 발견되거나, 또는 이전의 관련 이미지 연구를 비교 및 분석함에 있어서, 또는 새로운 연구를 예전 연구와 비교함에 있어서 발견된 가능한 소견, 유사성 또는 불규칙성을 제안할 수 있다. 임상 소견 및 측정치와 더불어, 식별된 피처를 기술하는 분석 값 뿐만 아니라, 원본 이미지, 또는 이미지 오버레이, 또는 분할된 해부학적 영역의 처리로부터 새로운 이미지가 도출될 수 있다. 임상 리포팅 시스템에서 검토되는 것과 더불어, 의료 영상 저장 전송 시스템(PACS) 시스템 및 전자 건강 기록(EHR) 시스템을 통해 이러한 항목들이 검토된다.

도 1은 일 실시형태에 따른 의료 데이터 리뷰 시스템을 예시하는 블록도이다.
도 2는 일 실시형태에 따른 이미지 처리 서버의 일 실시예를 도시하는 블록도이다.
도 3은 일 실시형태에 따른 의료 이미지 처리의 처리 흐름을 도시하는 흐름도이다.
도 4a, 도 4b 및 도 4c는 특정 실시형태에 따른 이미지 처리 엔진의 구성예를 도시하는 블록도이다.
도 5는 다른 실시형태에 따른 의료 이미지 처리의 처리 흐름을 도시하는 흐름도이다.
도 6은 일 실시형태에서 사용될 수 있는 데이터 처리 시스템의 블록도이다.
도 7은 일 실시형태에 따른 인공 지능 소견 시스템을 도시하는 블록도이다.
도 8, 도 9 및 도 10은 다양한 실시형태에 따른 인공 지능 소견 시스템 내에서의 데이터의 양방향 흐름을 도시하는 블록도이다.
도 11은 일 실시형태에 따른 인공 지능 소견 시스템의 일 실시예이다.
도 12는 일 실시형태에 따른 인공 지능 소견 시스템 내에서의 논리 흐름을 도시하는 간소화된 흐름도이다.
도 13은 일 실시형태에 따른 피어 리뷰 프로세스의 작업 흐름을 도시하는 흐름도이다.

일 양태에 따라, 국부적으로 위치된 시스템 및/또는 클라우드 기반 플랫폼은, 연구를 익명화하고, 연구를 업로드하며, 새로운 계정을 등록 및 액세스하고, 커뮤니티를 구축하며, 임상 자문 위원회 및/또는 그룹을 위한 거버넌스(governance)를 특정하고, 기계 학습된 알고리즘/엔진을 트레이닝 및 생성하기 위한 도구에 액세스하며, 알고리즘/엔진을 업로드 또는 다운로드하고, 연구에 대한 공개된 알고리즘/엔진에 액세스하여 실행하며, 사용 회수, 정확도, 및 확인되거나 거부된 소견에 기초하는 신뢰 수준과 같은 성과/결과물을 전달하는 것을 용이하게 하기 위해 사용된다. 시스템은 해석 작업 흐름의 모범 사례(best practice)를 결정하기 위한 프레임워크를 가질 수 있으며, 이는 개인의 의견 또는 그룹의 의견에 기초하여 구성 가능한 기계 학습된 알고리즘을 빅데이터 분석과 함께 통합하여, 이들 간의 유사성 및 크라우드 소싱된(crowd-sourced) 일반적 사례를 결정한다. 개인의 의견 또는 그룹의 의견에 기초하여 구성 가능한 알고리즘은 하나 이상의 의료 기관과 공유될 수 있다.

시스템은 하나 이상의 위치에 있는 하나의 의료 기관을 위한 로컬 클라우드 시스템일 수 있다. 클라우드 기반 시스템은 하나 이상의 지리적 위치에 있는 하나의 의료 기관을 위한 사설 클라우드일 수 있다. 시스템은 하나 이상의 위치에 있는 하나 이상의 의료 기관을 연결할 수 있는 시스템일 수 있다. 클라우드 기반 시스템은 공용 클라우드일 수 있다. 다수의 로컬 클라우드 시스템을 연결할 수 있는 메인 클라우드 시스템이 있을 수 있다. 예를 들어, 다수의 기관으로부터의 다수의 사설 클라우드 시스템을 연결할 수 있는 메인 클라우드 시스템이 있을 수 있다. 메인 클라우드 시스템으로부터 사설 클라우드 시스템으로의 정보 및 도구에 대한 액세스 정도는 의료 기관에 의해 사전 구성된 설정에 따라 좌우될 수 있다.

이미지 처리 엔진들은 다면 플랫폼을 통해 호출 또는 인에이블되는 경우 서로 독립적으로 또는 서로 조합하여 작용할 수 있으며, 다면 플랫폼은, 의료 이미지 데이터, 의료 메타데이터 및 다른 환자 및 처치 관련 콘텐츠를 실행하는 기계 학습, 딥 러닝 및 결정론적 통계 방법(엔진)을 사용함으로써, 의사 또는 임상의에 의해 확인된 특정 타겟팅된 소견을 갖는 더 높거나 더 낮은 사전 테스트 확률 또는 신뢰도를 갖는 이미지 및 정보의 개선된 코호트(cohort)를 달성한다. 타겟 소견은 의사가 독자적으로 동의하는지를 확인하기 위해 블라인드 신뢰도로 수행되거나, 또는 의사의 해석 프로세스 내에서 소견이 제시되어 응답을 유발하고, 임의의 피드백, 조정, 의견 일치 또는 의견 불일치가 포착되어 제안을 생성한 엔진을 위한 성능 피드백으로서 활용된다.

소견은 임의의 관심 해부학적 구조, 측정치, 징후, 관련될 수 있는 참고 자료, 이러한 연구와 유사한 이전의 연구, 도구의 제안, 및 진단 또는 연구 해석 프로세스에 사용되는데 바람직한 거의 모든 당시의 정보 또는 자동화 도구를 나타낸다. 엔진은 의료 데이터 리뷰 시스템에서 교환 가능하다. 따라서, 엔진의 기능 및 소견의 유형은 시간이 지남에 따라 가변하고 변경된다. 엔진 처리 데이터 및 의료 데이터 리뷰 시스템 사용 데이터 모두로부터 수신된 성능 피드백은 통계적 상호 작용 데이터의 형태로 포착되며, 처리 및 리뷰된 현재 이미지 데이터 코호트의 상대적인 값을 결정하는데 사용될 뿐만 아니라, 임의의 도구(들)의 값 및 정확도, 자동화된 상호 작용, 소견, 및 의사 또는 임상의 리뷰를 위해 연구를 디스플레이하거나 연구를 준비하는 과정에서 의도적으로 유발된 다른 데이터, 및/또는 엔진(들) 자체의 값 및 이들의 다양한 조합을 결정하는데 사용된다.

이와 같이, 이미지, 데이터 및 소견의 모든 의도적인 또는 부수적인 제시는 의사의 의견 일치, 조정 또는 의견 불일치에 대해, 블라인드 또는 비-블라인드 방식으로 측정될 수 있으며, 이는 다음 중 어느 하나 또는 전부를 가능하게 하는 유용한 데이터를 생성한다: a) 의사에 의한 누락 소견의 감소 및 더 높은 확인율을 가능하게 하도록 새로운 피드백이 리턴되는 경우 개선될 엔진, b) 리뷰어 성능을 측정하고, 리뷰 도구 및 이미지/콘텐츠 디스플레이를 적응시켜서 의료 이미지(또는 다른) 뷰어 내에서 일반적으로 필요한 항목들에 대한 액세스 및 노력을 감소시킴으로써 개선될 작업 흐름, c) 알려진 소견을 갖는 큐레이티드(curated) 이미지 코호트가 의료 데이터 리뷰를 위해 전송(또는 주입)되고, 블라인드 소견이 코호트의 실제 알려진 소견과 비교되는 경우 측정될 의사의 자질, 및 d) 판독되지 않은 전처리 연구에 의료 데이터 리뷰 시스템을 전향적 적용함으로써, 의료 이미지 연구에 대한 의사의 실시간 최초 해석을 가능하게 하여, 병렬 블라인드 또는 비-블라인드 자동 생성된 의료 데이터 리뷰 시스템 소견을 전향적으로 통합, 및 e) 다음 이미지 코호트, 도구 및 레이아웃 선택/제안, 선택적인 엔진 가용성, 및 이러한 코호트(엔진들에 대한 엔진들)의 의료 데이터 리뷰 및 진단 해석에 필요한 다른 피처 및 데이터를 생성하는데 사용되는 엔진(들)을 최적화하기 위해, 트렌드를 평가하는 기능 및/또는 지도형(supervised) 또는 비지도형(unsupervised) 엔진이 이러한 데이터를 지속적으로 또는 반복적으로 분석할 수 있는 기능을 제공하도록, 반복적으로 또는 지속적으로 업데이트되는 그러한 이미지, 데이터, 상호 작용 및 소견에 대한 기계 및 인간 판독 가능한 데이터베이스(들)의 어셈블리.

일 실시형태는 엔진들에 대한 비지도형(또는 지도형) 엔진(마스터 엔진, 관리자 엔진, 또는 관리 엔진으로도 지칭됨)이 자율적으로 실행될 수 있게 하고, 예를 들어 분산형 방식으로 동시에(예를 들어, 다중 스레드를 통해), 엔진당 실행되는 환자 콘텐츠 세트 또는 이미지 연구의 수 및 실행되는 엔진(예를 들어, 이차적인 엔진 또는 슬레이브 엔진)을 선택할 수 있게 한다. 자율 기능을 달성하기 위해, 의료 데이터 리뷰 시스템 관리자는 코호트에 배치되거나 의료 데이터 리뷰를 위해 전송되는 연구 또는 콘텐츠 세트의 수에 관하여 엔진들에 대한 엔진 제한사항을 제공하도록 요구되며, 시간 기간(들) 또는 코호트의 그룹(들)에 관한 사양, 소견의 유형 및 양에 대한 임의의 코호트, 제한사항 또는 타겟에서의 엔진 또는 엔진들의 사용 제한에 의해 또는 시간 기간에 의해 각각 제한된다.

이미지, 이미지 코호트, 콘텐츠, 소견, 상호 작용 및 처리 시간의 유형 및/또는 수/양에 대한 개별적인 및/또는 집합적인 제한사항(최소값, 최대값, 평균값, 또는 다른 통계적으로 관련된 또는 설정된 제한치/타겟)이 엔진들에 대한 비지도형 엔진에 제공되어, 이러한 엔진을 실행하거나/실행하고 의사가 이러한 프로세스를 수행함으로써, 엔진들에 대한 엔진으로 하여금, 자신의 작업을 최적화하게 하고, 의사가 의료 데이터 리뷰에 너무 많은 시간을 소비하지 않게 하며, 너무 많은 계산 자원을 소비하지 않게 한다(이들 모두에는 상당한 비용이 든다). 의료 데이터 리뷰 및 임상 진단 해석에서 수신된 의사/임상의 피드백 및 이미지 코호트의 어셈블리, 주석 조정, 소견의 최대화된 임상 값을 갖는 비지도형 엔진의 관찰 및 선택의 정렬을 보장하기 위해, a) 엔진, b) 각각의 엔진에 의해 생성된 소견의 양 및 유형(소견이 없는 경우를 포함함), c) 다수의 엔진에 의해 소견이 확인되거나 거부되는 경우에 적용된 승수, 및 d) 소견(또는 비-소견)을 결정하기 위해 이미지 또는 콘텐츠 세트에 대해 다수의 엔진이 작동된 경우에 적용된 승수 중 하나 이상에 가중치(동일하거나 동일하지 않음)가 가해진다.

엔진은 의료 데이터 리뷰 시스템을 개발한 동일한 또는 상이한 개인 또는 회사에 의해 개발될 수 있으며, 엔진은 이들의 입력 및 출력 스키마에서의 공통점을 활용하여 다수의 엔진이 직렬 또는 계층적 방식으로 실행될 수 있게 한다(앙상블 엔진으로도 알려짐). 이러한 앙상블 엔진은 엔진들에 대한 지도형 엔진을 사용하거나, 또는 소견들에 대한 소견 또는 엔진의 실행 또는 출력에 인가된 값들을 갖는 엔진들에 대한 비지도형 엔진을 사용하여, 프로그래밍 방식으로 어셈블링될 수 있다. 엔진과 의료 데이터 리뷰 시스템 사이의 그리고 이에 의한 통신, 또는 엔진과 다른 엔진 사이의 통신을 위한 사전 정의된 입력 및 출력 스키마는 다양한 엔진에 의해 요구되는 바와 같은 다양한 형태로의 입력 및 출력의 추상화를 가능하게 한다. 예를 들어, 엔진 1이 무한대의 양수 및 음수 범위 도메인의 중간값으로서 제로를 갖는 데이터 지점 좌표를 수용하고, 엔진 2가 무한대의 항상 양수 범위 도메인의 최저값인 0을 갖는 이들을 수용하는 경우, 통신 스키마에서 수행되는 추상화는 가능한 공유 값들의 특정된 범위에 걸쳐서 이러한 2개의 도메인의 범위 값들을 매핑하는 것이다. 컨테이너화된(containerized) 엔진 및 엔진들에 대한 엔진의 작업을 구현하기 위한 추상화 방법의 구현은 가능한 모든 값 유형 및 범위에 걸쳐서 작용한다.

소견은, 도출된 이미지, 윤곽선, 세그먼테이션(segmentation), 오버레이, 숫자, 유사성, 양, 및 기업 전자 건강 기록 시스템, 의료 영상 저장 전송 시스템, 콘텐츠 관리 시스템, 의료 데이터 리뷰 시스템, 실험실 시스템 및/또는 최신 시각화 시스템에서 일반적으로 관찰, 측정, 도출 또는 발견되는 임의의 다른 값을 포함할 수 있지만 이에 한정되지 않는다. 의료 데이터 리뷰 생성된 결과물과 의사 또는 임상의 생성된 결과물 간의 차이점은 엔진의 최적화 및 향후의 분석을 위해 의료 데이터 리뷰 시스템에 의해 포착, 비교 및 출력될 수 있다.

멀티 테넌시(multi-tenancy) 플랫폼으로서, 의료 데이터 리뷰 시스템은 엔진 저자 및 최종 사용자(의사 및 임상의가 있는 의료 제공자, 연구원, 산업체, 또는 이들의 그룹)와 같은 다양한 이해 관계자에 의해 액세스될 수 있다. 특정 이미지, 이미지 코호트, 최종 사용자 의사 또는 임상의 피드백, 거버넌스, 업로드 또는 삭제를 위한 엔진, 이미지 및 임상 콘텐츠를 실행하기 위한 엔진, 및 사용자 설정에 대한 액세스 제어는 이의 권한 부여된 소유자(들)의 승인 없는 이미지, 엔진 또는 사용의 혼용을 방지하도록 제어될 수 있다. 임의의 이해 관계자는 최종 사용자가 알고리즘, 코드, 또는 이미지 데이터에 액세스하지 않고 최종 사용자에 의해 사용될 수 있는 알고리즘을 생성할 수 있는 엔진 저자일 수 있다. 이는 임의의 수의 컨테이너화된 엔진/알고리즘을 사용하여 연구를 처리하기 위해 클라우드 기반일 수 있거나 로컬로 위치될 수 있는 사설 또는 멀티 테넌트 보안 서버로 연구를 전송함으로써 수행될 수 있다. 액세스 제어는 알고리즘 개발자가 인증 및 관리 권한을 부여할 수 있게 한다.

알고리즘 및 사용 인증의 실시형태에서는, 상이한 최종 사용자에게 알고리즘을 사용하기 위한 기능을 부여할 수 있는 기능을 알고리즘 개발자에게 제공하거나, 또는 최종 사용자(들)가 서면 형태로 또는 연결 링크(click-through) 법적 약관을 통해 제공되는 라이선스 계약 및 플랫폼에 동의하도록 요구하면서, 공용으로 사용하기 위해 이들이 공개될 수 있게 한다. 반면에 관리 권한은 다른 알고리즘 개발자가 알고리즘을 수정하게 하거나, 알고리즘을 수정하기 위한 엔진들에 대한 엔진들 또는 엔진들, 또는 새로운 버전의 알고리즘을 생성하게 하기 위한 기능을 알고리즘 개발자에게 제공한다. 버전 제어는 규제기관 승인을 위해 알고리즘 기술적 파일에 대한 변경들을 추적하면서, 알고리즘 개발자가 상이한 세대의 이들의 알고리즘을 생성할 수 있게 한다. 유사하게, 상이한 세대의 이미지 및 임상 콘텐츠 코호트 및 의료 데이터 리뷰 피드백 데이터가 또한 버전 관리되어 고유 값을 보호하고 의도하지 않은 데이터 확산을 방지하도록 보장된다.

일 실시형태에서, 이미지 처리 엔진(임의의 이미지에 관련되거나 관련되지 않은 데이터를 추가로 처리 또는 단독으로 처리할 수 있는 이미지 처리 모듈 또는 이미지 처리 장치로도 지칭됨)은 다양한 개발자에 의해 개발될 수 있으며, 다양한 단체 또는 기업체에 의해 운영될 수 있다. 이미지 처리 엔진은 이미지에 대한 특정 이미지 처리(예를 들어, 형상 인식, 크기 측정 등)를 수행하기 위해, 경우에 따라, 하드웨어 처리 자원(예를 들어, 그래픽 처리 장치 또는 GPU와 같은 그래픽 가속 장치)과 결합되는 프로세서에 의해 개별적으로 그리고 독립적으로 개시되어 실행될 수 있는 실행 가능 이미지 또는 이진 코드를 지칭한다. 이미지 처리 엔진은 웹 서버에 업로드 및 리스팅될 수 있으므로, 사용자가 의도된 작업 파라미터를 선택하여 프로그래밍, 및/또는 하나 이상의 이미지 처리 엔진을 다운로드할 수 있게 함으로써, 편협한 로컬로 위치된 의료 데이터 리뷰 시스템 솔루션으로서, 및/또는 다른 시스템과 통신하여 그리고 조합하여(하이브리드 모드로), 특정 위치에서 독립적으로 실행되도록 할 수 있다. 선택된 이미지 처리 엔진은 하나 이상의 이미지 처리 작업의 시퀀스를 수행하기 위해 다양한 구성(예를 들어, 직렬, 병렬, 또는 둘 모두)으로 구성될 수 있다.

다른 양태에 따라, 이미지 처리 엔진은 일련의 의사들에 의해 식별된 의료 소견을 리뷰하도록 설계된 다른 상업용 또는 독자적으로 개발된 의료 데이터 리뷰 시스템 내로 연구를 주입하는데 이용될 수 있다. 일 실시형태에서, 이미지 처리 엔진은 엔진이 의료 데이터 리뷰 시스템으로서 작용하는 경우, 의사에 의해 소견을 확인 또는 검증하는데 사용된다. 또한, 이미지 처리 엔진은 이상 소견을 가질 가능성이 더 높은 임의의 이미지를 선별 및 식별하고, 타사 시스템을 통한 의료 데이터 리뷰를 위해 이들을 전송하거나, 또는 의료 데이터 리뷰 시스템을 통한 진단 리뷰를 호출하는데 이용될 수 있다.

그 다음, 식별된 이미지는 소견을 검증 및 확인하기 위해 일련의 의사들에 의해 리뷰된다. 후자의 경우, 엔진은 예비 리뷰어로서 작용한다. 결과적으로, 리뷰될 필요가 있는 수천개의 의료 이미지에 대해, 이미지 처리 엔진은 이상 이미지를 예비 식별하기 위한 방대한 이미지 처리 작업을 수행할 수 있으며, 엔진은 진단 해석 동안에 이들 이미지가 의사에 의해 리뷰될 때의 피드백으로부터 전향적으로 "학습"할 수 있다. 이미지 처리 엔진 및 리뷰하는 의사의 소견들이 일치하는 경우, 관련된 이미지 처리 엔진의 작업이 검증될 수 있다(즉, 이미지 처리 엔진에 의해 사용된 알고리즘이 검증된다). 그렇지 않으면, 그러한 알고리즘은 예를 들어 기계 학습 방법을 사용하여, 추가적인 미세 조정 또는 트레이닝을 필요로 할 수 있다. 때때로 엔진의 기능은 알고리즘이라고 지칭된다. 의사 또는 엔진이 조치를 수행하거나 알고리즘/입력 또는 도구를 적용하는 경우, 때때로 이는 작업이라고 지칭된다. 이러한 작업은 의료 데이터 리뷰 연구에 대한 전반적인 해석 결과물의 일부인 소견을 유발한다. 의료 데이터 리뷰 작업 흐름과 유사하지만 엔진을 포함하는 의료 데이터 리뷰 시스템에서는, 제1 결과물(의사, 엔진, 엔진들에 대한 엔진, 또는 작업으로부터의)이 존재하고, 이는 제2 결과물(의사, 엔진, 엔진들에 대한 엔진, 또는 작업으로부터의)과 비교되며, 불일치의 경우, 이들은 제3 결과물(의사, 엔진, 엔진들에 대한 엔진, 또는 작업으로부터의)에 의해 판정된다. 따라서, 의료 데이터 리뷰 시스템에서, 가능한 기술은, 의사 이전에, 또는 의사 이후에, 해석하는 의사를 위한 작업을 수행하고, 이러한 상호 작용을 사용하여 인간 및 기계(엔진)에 의해 구해진 소견들의 비교를 지원하며, 전형적인 의료 데이터 리뷰 환경과 더불어, 인간의 입력, 엔진, 콘텐츠 및 소견이 실시간 이미지 해석 환경에서 포착, 대조 및 결합되기 위한 기술 플랫폼 및 방법을 제공함으로써, 의료 데이터 리뷰의 역할 및 적용을 새로운 방식으로 확장한다. 의료 데이터 리뷰 시스템의 경우, 이는 의사, 엔진(또는 엔진들에 대한 엔진), 콘텐츠/이미지 코호트 및 타사 검증된 데이터 소스의 임의의 조합 간의 상호 작용을 포함한다(동기식으로 또는 비동기식으로).

의료 데이터 리뷰 시스템을 사용하여 이들이 제공하는 다른 수집 가능한 작업 흐름 입력 뿐만 아니라 의사의 확인 및 거부가 폐루프 방식으로 트레이닝 데이터로서 사용될 수 있으며, 이에 따라 엔진은 지도형 또는 비지도형 방식으로 기계 학습 기술을 사용하여 지속적으로 또는 반복적으로 트레이닝된다. 엔진 소견과 의사 소견(의사의 조정, 확인 또는 거부를 포함함) 간에 임의의 불일치가 있는 경우, 이벤트를 기록하는 메시지가 데이터베이스로 전송되고, 선택적으로, 초기 해석 프로세스 또는 의료 데이터 리뷰 시스템 프로세스 동안에도 뭔가 주의를 기울일 필요가 있음을 나타내는 메시지가 임의의 미리 결정된 디바이스(들), 개인(들) 또는 그룹들로 전송될 수 있다. 이는 다른 엔진에 피드백을 제공하는 엔진을 통해 비지도형 방식으로 수행될 수 있어서, 여전히 폐루프 학습 시나리오를 생성한다. 이러한 경우, 제1, 제2 및 심지어 제3 결과물이 인간이 아닌 엔진(또는 엔진들에 대한 엔진들)으로부터 제공될 수 있으며, 의료 데이터 리뷰 시스템에 의해 사용되는 엔진(들)을 향상시키는 목적으로 사용될 수 있다. 제1, 제2 및 제3 결과물이 전적으로 인간으로부터 도출되는 경우, 이는 전형적인 의료 데이터 리뷰이며, 의료 데이터 리뷰 시스템의 일부가 아니다. 그러나, 이러한 경우, 검증된 소견과 함께 이러한 해석의 이미지 및 콘텐츠 코호트가 이미지/콘텐츠 코호트로서 포착될 수 있다. 이러한 코호트는 엔진에 의해 후향적으로 학습하는데 사용될 수 있으며, 의료 데이터 리뷰 시스템에 의해 의료 데이터 리뷰 프로세스 내로 이러한 데이터가 주입될 수 있으므로, 의사의 성과를 추가로 검증하고, 이미지/콘텐츠 코호트를 추가로 향상시키며, 새로운 엔진들 및/또는 엔진들에 대한 엔진들을 개발할 수 있다.

엔진들(및 엔진들에 대한 엔진들)은 단지 이미지/콘텐츠 코호트 뿐만 아니라 입력되는 임상 데이터의 실시간 스트림을 양호하게 수행해야 한다. 해석이 필요한 이러한 실시간 임상 이미지 및 콘텐츠 세트는 흔히 불완전하다. 이는 스캐닝 프로토콜 오류, 환자 이동, 금속 인공물, 비만 환자 등과 같은 환자 스캐닝 결함이 존재하기 때문에 발생할 수 있다. 또한, 이는 현재의 이미지 연구와 관련된 이전 이미징 연구에 대한 이용 가능성의 부족으로 인해 발생할 수 있거나, 또는 누락된 임상 정보나 의료 오류 등으로 인해 발생할 수 있다. 이러한 이유로, 실시간 연구 평가는 이미지/콘텐츠 코호트를 처리하는 것보다 더 어렵고, 다양한 엔진/작업이 실패할 것으로 예상될 수 있다. 의료 데이터 리뷰 시스템은 제시된 데이터의 주어진 사용 사례 및 품질 요소에 후속하는 임의의 주어진 앙상블, 엔진 또는 작업의 가능성을 결정하기 위해, 난제의 또는 실패한 연구들의 코호트를 활용할 수 있다. 이는 임의의 특정한 연구 또는 심지어 난제의 이미지 코호트에 대한 필요한/원하는 소견을 최상으로 전달하기 위해, 엔진, 앙상블 및 작업이 실행되는 데이터 및 영향을 분석하는 엔진들에 대한 엔진에서 이러한 정보를 활용할 수 있다. 이러한 방식을 최적화함으로써, 의료 데이터 리뷰 시스템은 낭비되는 컴퓨팅 전력을 감소시키고, 하급 소견을 리뷰하는 의사의 시간 낭비를 줄이며, 앙상블 및 엔진의 성능 및 일관성을 증가시킴으로써, 의료 데이터 리뷰 시스템의 지능을 활용하여 의료 데이터 리뷰 시스템 자체의 성능을 향상시킨다.

하나 또는 다수의 엔진 또는 앙상블에 의해 리턴되는 일관성 있는, 일관성이 없는, 정상, 이상, 고품질, 저품질, 실패한 또는 성공적인 결과물들이 존재하는 경우, 경보가 제공될 수 있다. 부가적으로, 의료 데이터 리뷰 프로세스 내부이든 또는 다른 의사나 임상의 이미지 해석 또는 리뷰 프로세스 내부이든, 또는 전자 건강 기록, 뷰잉 시스템, PACS 또는 3D 최신 시각화 시스템 내부이든, 엔진에 의해 표시되지 않거나 달리 측정, 언급, 지시 또는 표시되어 클라우드 플랫폼에 의해 공급되는 경우, 의사에 의해 달리 누락될 가능성이 있거나 의사에 의해 확인될 필요가 있는 소견의 수를 증가시키기 위해, 지도형 또는 비지도형 기계 학습된 엔진은 다양한 상황에서 다양한 엔진의 효율성을 모니터링 및 학습하여 다양한 사용 사례에 최상으로 적용되도록 다양한 엔진의 사용을 최적화하기 시작하는데 사용될 수 있다.

일 실시형태에 따라, 특정 임상 연구와 연관된 제1 세트의 의료 이미지가 의료 데이터 소스로부터 수신되는 경우, 특정 유형의 이미징 연구를 위해 구성된 엔진 작업을 수행하기 위해 미리 결정된 또는 기계 학습된 제안 순서에 따라, 하나 이상의 이미지 처리 엔진이 호출되어 의료 이미지(또는 본 출원에서 동의어로 사용되는 데이터)를 처리한다(예를 들어, 형상, 피처, 이미지 내의 트렌드 또는 다른 데이터 또는 측정치를 인식함). 이미지 처리 엔진은 이미지 처리 작업을 수행하도록 구성됨으로써, 의료 이미지의 임의의 이상 소견을 검출하거나, 최종 사용자의 선택사항(preferences) 또는 컴퓨터 관측된 작업 방식에 따라 임상 작업 흐름을 최적화하며(의료 데이터 리뷰 시스템 기능의 일부로서 최종 사용자 맞춤형 방식으로, 또는 해석을 위해 이들이 사용되고 있는 시스템에 기초하여), 정상 및/또는 이상 소견 및 이미지의 바람직한 제시 또는 이상 소견을 기술하는 제1 결과물을 생성한다. 의사의 조언은 제2 결과물을 나타낸다. 의료 데이터 리뷰 시스템은 결과물 및 소견에서 의견 일치 또는 의견 불일치를 검출하고, 불일치 결과물인 경우 추가적인 판정을 위한 경보를 전송하거나 또는 차이점을 기록하며, 알고리즘/엔진의 소유자에게 이들을 제공함으로써, 이러한 피드백이 수용되는지 여부(즉, 의사의 조언이 참으로서 수용되어야 하는지 여부, 그리고 이러한 연구가 새로운 또는 업데이트된 코호트에 포함되어야 하는지 여부)를 이들이 통제할 수 있게 한다.

일 실시형태는 이미지 포착 품질에 기초하여 추론 및 이미지 코호트 수집을 조절한다. 엔진 표준이 충족되도록 보장하기 위해, 임의의 예측 엔진이 호출되기 전 또는 후에 이미지 품질이 검사되어 검증될 필요가 있다. 이는 이미징 정보 과학에서 품질 제어를 담당하는 규제 및 감독 기관의 표준을 포함할 수 있다. 이것의 일 실시예는 폐색전증 연구와 관련된다. 폐색전증의 검출을 위한 민감도 및 특이도는 이미지 포착 품질과 직접적으로 관련이 있다. 호흡 운동 인공물과 같은 이미지 저하를 초래하는 인공물 또는 기술적 포착 파라미터(예를 들어, 콘트라스트 볼러스(contrast bolus) 타이밍)는 주어진 소견을 확신을 갖고 식별하는 엔진의 기능에 직접적으로 영향을 준다. 폐색전증 검출 엔진 결과물이 의사에게 제시되거나 검증되기 위해서는, 품질 제어 엔진은 폐색전증 검출 엔진의 신뢰도를 수정하기 위해 호흡 운동 인공물에 대해 그리고 콘트라스트 볼러스 타이밍을 평가해야 한다. 이미지를 처리하기 위해 자동으로 선택될 수 있는 주어진 인공물의 존재 또는 부재가 주어지면 더 양호하게 또는 더 불량하게 수행하는 엔진이 있을 수 있다. 처리되는 엔진들의 조합은 주어진 소견에 대한 소견 산출물의 최적의 그리고 적절한 신뢰도를 보장한다. 따라서, 소견의 존재 또는 부재는 연구 품질의 범위 또는 기능으로서 기인할 수 있으며, 반드시 이산 값일 필요는 없다. 이는 이미지 인공물 및 기술적 이미지 포착 품질 변동에 대한 품질 제어 및 처리와 관련하여 엔진 선택기의 엔진의 일 실시형태이다.

유사한 품질 제어 패러다임은 이미지 코호트 큐레이션 품질 스코어링에 적용된다. 의사와 엔진의 조합에 의해 큐레이팅되는 주어진 이미지 코호트에 저장된 각각의 이미지에 대해, 이미징 인공물의 존재 및 부재에 따른 품질 스코어는 소견과 함께 데이터베이스에 저장된다. 자동화된 품질 제어 스코어는 진단 이미지 해석기 또는 제공자에 의해 수용 또는 거부될 수 있다. 고품질 및 저품질 라벨 세트 모두가 큐레이팅된다. 특정 인공물이 존재하는 경우 엔진이 사용될 수 있는지 여부를 결정하기 위해, 고품질 및 저품질 데이터 세트 모두에 대해 주어진 엔진의 성능이 스코어링된다.

구체적으로는, 일 실시형태에서, 동일한 또는 상이한 기업체 또는 단체에 의해 운영될 수 있는 이미지 처리 엔진은 하나 이상의 이미지 처리 엔진 개발자에 의해 제공된다. 제2 세트의 의료 이미지가 제1 리뷰 시스템으로 전송되고, 제2 세트의 의료 이미지는 제1 세트의 의료 이미지의 서브 세트이다. 일 실시형태에서, 제2 세트의 의료 이미지는 이상 이미지로서 이미지 처리 엔진에 의해 분류된다. 의료 데이터 리뷰 시스템으로서 작용하는 리뷰 시스템은 제2 세트의 의료 이미지를 리뷰하도록 구성되어, 이미지의 이상을 검증 또는 확인 또는 비검증 또는 거부함으로써, 제2 결과물을 생성한다. 리뷰 시스템으로부터 수신된 제2 결과물에 대응하여, 의료 데이터 리뷰 시스템을 통해 실행되는 이미지 처리 엔진의 작업이 제1 결과물 및 제2 결과물에 기초하여 검증되거나 또는 무효화된다(이는 그러한 기능을 갖는 타사의 종래의 의료 데이터 리뷰 시스템 또는 본원에서 설명된 의료 데이터 리뷰 시스템을 통해 수행된다).

기계 학습된 엔진은 이러한 정보로부터 학습할 수 있거나/학습할 수 있고, 알고리즘의 거버넌스 및/또는 소유자가 그러한 피드백을 학습 프로세스에 수용 또는 거부할 수 있거나, 또는 비지도형 엔진은 그 자체적으로 다양한 시나리오를 실험하여 일부 피드백을 수용하고 다른 피드백을 거부하는 통계적으로 이상적인 조합을 구할 수 있다. 품질 제어를 수행하기 위해 트레이닝 데이터로서 엔진 저자에게 이용 가능하지 않은 참조 표준 이미지 코호트에 대하여 엔진(들)/앙상블(들) 성능이 검증될 수 있으며, 엔진의 버전 관리는 이러한 성능 메트릭을 디스플레이하거나/디스플레이하고, 전형적인 의료 규제 및 참조 표준에 따른 추적성을 위해 저자에게 제공된 이미지의 코호트 및 주어진 알고리즘을 버전 관리한다. 알고리즘 검증 및 엔진 자격 부여를 위해 특별히 어셈블링된 이미지 코호트 또는 주입된 이미지는 주어진 버전의 알고리즘의 과적합(overfitting)을 방지하기 위해 제공된 이미지의 수 및 유형을 고려하여 무작위화된다(즉, 알고리즘을 양호하게 보이게 하거나 양호하게 평가되도록 데이터를 조정함). 이러한 버전 관리는 참조 표준 코호트를 사용하여 검증을 수행하는 것이 적절하지 않은 경우에, 트레이닝 데이터와 검증 데이터 사이의 한정된 분리를 보장한다.

일 실시형태에서, 이미지 처리 엔진의 결과물을 일관성 있게 그리고 많은 사용자들에 의해 검증함으로써, 이미지 처리 엔진은 FDA 또는 이와 유사한 단체와 같은 외부의 타사 단체에 의해, 이들 데이터를 활용하여 규제기관 인증을 지원함으로써 "인증된" 또는 "승인된" 이미지 처리 엔진이 될 수 있다. 이미지 처리 엔진이 이의 사용 결과물에 기초하여 검증될 수 없는 경우, 예를 들어, 이들 이전의 결과물들(이미지 코호트 및 임상 콘텐츠 코호트)에 기초하는 기계 학습 방법을 사용하여, 이미지 처리 엔진의 파라미터 또는 알고리즘이 조정되거나 다시 트레이닝될 필요가 있을 수 있다. 또한, 엔진, 이미지 코호트, 임상 코호트의 수정 및 모든 의료 데이터 리뷰 시스템 활용 데이터의 저장은 엔진들에 대한 엔진들이 학습 및 적응하기 위한 방법, 및 엔진 저자가 이러한 기록된 이벤트에 기초하여 이들의 엔진의 성능을 향상시키기 위한 방법을 제공한다.

도 1은 일 실시형태에 따른 의료 데이터 의료 데이터 리뷰 시스템을 도시하는 블록도이다. 도 1을 참조하면, 의료 데이터 리뷰 시스템(100)은 네트워크(103)를 통해 의료 이미지 처리 서버(110)에 통신 가능하게 연결된 하나 이상의 클라이언트 디바이스(101 내지 102)를 포함한다. 클라이언트 디바이스(101 내지 102)는 데스크탑, 랩탑, 모바일 디바이스, 워크스테이션 등일 수 있다. 네트워크(103)는 근거리 통신망(LAN), 도시권 통신망(MAN), 인터넷이나 인트라넷과 같은 광역 통신망(WAN), 사설 클라우드 네트워크, 공용 클라우드 네트워크, 또는 이들의 조합일 수 있다.

이미지 처리 서버(110)는 의료 데이터 소스(105)에 의해 제공될 수 있는 의료 이미지 및 임상 콘텐츠에 대한 일련의 하나 이상의 이미지 처리 작업 또는 임상 콘텐츠 처리 작업을 수행하도록 호출되어 구성될 수 있는 다수의 이미지 처리 엔진(113 내지 115)을 호스팅한다. 의료 데이터 소스(105)는, 임상 정보 시스템(LIS), 방사선 정보 시스템(RIS), 기업 콘텐츠 관리 시스템(ECM), 전자 의료 기록(EMR), 병원 정보 시스템(HIS), 의료 영상 저장 전송 시스템(PACS), VNA(벤더 중립 아카이브), 최신 시각화 3D 시스템, EMR 데이터, 다양한 디렉토리, 및 HIE(건강 정보 교환) 서버 및 개인 또는 단체의 저장소와 같은 다른 데이터 소스를 포함할 수 있다. 의료 데이터 소스(105)는 이미지 처리 서버(110)를 운영하는 단체와 상이한 단체 또는 정보 제공자에 의해 관리 및/또는 운영될 수 있다. 의료 이미지 데이터 소스(105)는 클라우드 기반 저장 장치, 로컬 드라이브, CD, 하드 드라이브, DVD, USB, 웹 업로더, 임의의 DICOM 저장소 또는 소스, 이미지 및 임상 콘텐츠의 다른 소스, 또는 이들의 임의의 조합으로부터의 이미지 데이터를 포함할 수 있다. 이미지 처리 서버(110)는 의료 이미지 데이터 소스(105)로부터 네트워크를 통해 이미지 데이터(예를 들어, 연구, 임상 리포트, 이미지, 환자 데이터, 활용 데이터, 또는 이들의 임의의 조합)를 수신할 수 있다. 예를 들어, 이미지 데이터는 사용 제한을 가능하게 하기 위한 보안 정보를 포함한다. 이는 예를 들어, 기본 인증 또는 검증 시스템이 있거나 없는, 워터마크를 포함하는 보안 정보 내에 내장형 메타데이터를 포함함으로써 수행될 수 있다.

의료 데이터 리뷰 시스템은 많은 양의 비-라벨링된 데이터의 의도적 수집, 또는 인간 지능 및 검증을 필요로 하는 라벨링된 데이터의 고유 값을 인식한다. 라벨링된 데이터 도난에 의한 엔진의 리버스 엔지니어링을 방지하거나 이러한 작업을 수행할 수 있는 엔진을 도용하여 라벨링된 데이터 세트를 복제하는 것을 방지하기 위한 옵션으로서, 의료 데이터 리뷰 시스템은 기본 인증 또는 검증 시스템이 있거나 없는 워터마킹, 이미지 라벨링 및/또는 암호화 기능을 포함하며, 이는 라벨링된 데이터, 소스 데이터에 대한 액세스, 실행, 복호화 또는 내보내기를 방지하거나, 또는 엔진 저자의 허가 없이 엔진/앙상블이 이러한 마킹의 존재 또는 부재에서 실행되는 것을 제한하는데 사용될 수 있다.

의료 데이터 리뷰 시스템의 일 실시형태는 저자의 허가 없이 주석 첨부된 데이터를 수집하여 엔진을 리버스 엔지니어링하는 것을 방지함으로써 엔진의 지적 재산에 대해 저자를 보호할 수 있다. 이는 저자 및 최종 사용자에 의해 설정된 허가 및 EULA에 따라 가변할 수 있다. 이러한 피처의 몇 가지 샘플 구현예는, a) 블록 체인 기반(예를 들어, 이더리움) DApp(분산형 애플리케이션)을 사용하여 메타데이터 또는 이미지 데이터에 주석을 첨부함으로써 연구를 추적하는 것, b) 엔진에 의해 생성된 이미지 오버레이를 워터마킹하는 것, c) 인증된 뷰어 또는 PACS 환경을 통해 검토될 엔진의 산출물을 암호화하는 것, d) 주석 첨부된 이미지 데이터 및/또는 메타데이터의 대량 데이터 내보내기를 방지하는 것, e) 주석 첨부된 이미지 코호트의 사용을 로깅하는 것, f) 검증 인증서의 수신 없이 엔진/앙상블을 실행하는 것을 방지하는 것, 그리고 g) 특정 마킹 또는 주석 첨부된 메타데이터, 또는 암호화된 액세스 키 등을 포함하지 않는 한, 엔진이 데이터를 실행하는 것을 방지하는 것을 포함하지만 이에 한정되지 않는다.

일 실시형태에서, 데이터 소스(105)에 의해 제공되는 의료 데이터는, DICOM 포맷의 의료 이미지 데이터, 비-DICOM 포맷의 의료 이미지 데이터, 스케줄링 데이터, 등록 데이터, 인구 통계 데이터, 처방 데이터, 과금 데이터, 보험 데이터, 구술 데이터, 리포트 데이터, 작업 흐름 데이터, EKG 데이터, 모범 사례 참고 자료, 참고 자료, 트레이닝 자료 등을 포함할 수 있다. 이러한 데이터는 HIS, RIS, PACS, LIS, ECM, EMR 또는 다른 시스템을 포함하는 몇몇 시스템 또는 위치에 상주할 수 있다. 비-DICOM 데이터는 A/V, MPEG, WAV, JPG, PDF, Microsoft Office™ 포맷 및 기타 포맷을 포함하는 몇몇 포맷일 수 있다. 일반적으로, PACS의 데이터는 DICOM 데이터를 포함하며, 여기서 HIS, RIS 및 LIS, ECM, EMR의 데이터는 이미지 및 비-이미지 데이터 모두를 포함하는 비-DICOM 데이터를 포함한다. HIE 데이터는 건강 정보 교환 시스템을 통해 사용 가능한 데이터를 포함한다. 이러한 데이터는 일반적으로 지역 내의 상이한 단체들, 커뮤니티 또는 병원 시스템에 걸쳐서 사용 가능한 데이터를 포함하며, 텍스트 기반, 파일 기반, DICOM 또는 비-DICOM 이미지 데이터일 수 있다. 다른 데이터는 컴퓨터, 데이터베이스, 백서 및 임상 저장소, 연구 기관의 디렉토리 내의 데이터, 및 사용자, 모바일 디바이스, 및 임상 사용 과정 등으로부터 수집된 데이터를 포함하는 임의의 다른 관련 데이터를 포함할 수 있다.

다양한 단체 또는 기업체에 의해 운영될 수 있는 이미지 처리 엔진(113 내지 115)은 다양한 벤더에 의해 개발되어 제공될 수 있다. 일 실시형태는, 트렌드, 비교, 특정 값, 특성, 형상 또는 비슷함(유사성) 인식, 관심 영역, 크기, 측정치 등과 같은 이미지(또는 동의어로 사용되는 데이터 세트)에 대한 특정 이미지 처리를 수행하기 위해, 경우에 따라 하드웨어 처리 자원(예를 들어, 그래픽 처리 장치 또는 GPU와 같은 그래픽 가속 장치)과 조합하여, 프로세서에 의해 개별적으로 그리고 독립적으로 개시되어 실행될 수 있는 실행 가능 이미지, 컨테이너, 가상 환경 또는 이진 코드로서의 이미지 처리 엔진이다. 클라이언트(101 내지 102)의 사용자가 클라이언트 애플리케이션(111 내지 112)의 일부로서 하나 이상의 이미지 처리 엔진을 각각 구매, 선택 및 다운로드할 수 있게 하기 위해, 웹 서버(109)에, 본 실시예에서는 애플리케이션 스토어에 이미지 처리 엔진(113 내지 115)이 업로드되어 리스팅될 수 있다. 선택된 이미지 처리 엔진은 하나 이상의 이미지 처리 작업의 시퀀스를 수행하기 위해 다양한 구성(예를 들어, 직렬, 병렬, 또는 둘 모두)으로 구성될 수 있다. 이미지 처리 엔진(113 내지 115)은 작업을 수행하기 위해 클라이언트 시스템(101 내지 102)에 다운로딩될 수 있다. 대안적으로, 작업을 수행하고 엔진의 저자가 액세스를 제어하여 버전 및 규제 준수를 유지할 수 있게 하기 위해, 이미지 처리 엔진(113 내지 115)은 서비스형 소프트웨어(SaaS) 및/또는 서비스형 플랫폼(PaaS)의 일부로서 이미지 처리 서버(110)와 같은 클라우드 기반 시스템에서 호스팅될 수 있다.

일 실시형태에서, 각각의 이미지 처리 엔진 또는 모듈(113 내지 115)은 예를 들어, 폐 결절 검출, 골절 검출, 기관 식별 및 분할, 혈전 검출, 이미지 신체 부위 분류, 만성 폐쇄성 폐질환(COPD) 검출, 또는 연조직 특성화 등과 같은, 의료 이미지에 대한 특정 이미지 처리 작업을 수행하도록 구성될 수 있다. 이미지 처리 엔진은 형상, 텍스처, 구형도 측정치, 컬러, 또는 의료 이미지로부터 획득되거나 임상 콘텐츠에 의해 도출 또는 함축되는 다른 피처들에 기초하여, 이러한 검출을 수행할 수 있다. 일 실시형태에서, 다수의 벤더에 의해 제공된 다수의 이미지 처리 엔진은 의료 이미지 처리 서버(110)의 구성 인터페이스를 통해 또는 클라이언트 애플리케이션(111 내지 112)을 통해 구성될 수 있는 이미지 처리 작업을 수행하도록 직렬로, 병렬로, 또는 이 둘의 조합으로 구성될 수 있다.

일 실시형태에서, 이미지 처리 엔진(113 내지 115) 중 어느 하나가 호출되는 경우, 이미지 처리 서버(110)의 일부로서 일체화될 수 있거나, 또는 대안적으로, 이미지 처리 서버(110)에 통신 가능하게 연결된 원격 의료 이미지 처리 시스템(또는 시스템들 또는 서버들의 클러스터)으로서 일체화될 수 있는, 이미지 처리 시스템(106)의 하나 이상의 이미지 처리 도구(107)를 추가로 호출할 수 있다. 이미지 처리 시스템(106)은 TeraRecon® AquariusNET™ 서버 및/또는 TeraRecon® AquariusAPS™ 서버의 일부로서 구현될 수 있다. 각각의 이미지 처리 엔진은 의료 이미지 처리 시스템(106)을 호출하여, 엔진들에 대한 엔진 또는 엔진에 의해 자동으로 검출될 수 있거나 검색된 환자의 신체 부위의 이미지에 대한 이미지 처리 작업을 수행함으로써, 그러한 이미지에 대한 측정 데이터 또는 특정 이미지 정량적 데이터를 생성할 수 있다. 유사하게, 임상 콘텐츠가 조사될 수 있다.

이미지 정량적 데이터는 의료 이미지의 특정 신체 부위의 크기 및/또는 특성을 수동으로 또는 반자동으로 결정하거나 측정하는데 사용될 수 있다. 이미지 정량적 데이터는 특정한 의학적 상태, 의료 문제, 또는 질병이 존재하거나 의심되는지 여부를 결정하기 위해 이미지의 유형과 연관된 상응하는 벤치마크와 비교될 수 있다. 그러한 발생의 가능성은 다른 환자의 데이터 및/또는 환자의 의료 병력의 일부로서 환자의 동일한 유형의 의료 데이터의 트렌드에 기초하여 추가로 예측되거나 결정될 수 있다. 일 실시형태에서, 앙상블 엔진들이 결합될 수 있으며, 예를 들어, 하나가 신체 부위를 탐색하고, 다른 하나가 이를 분할하며, 다른 하나가 그 안의 해부학적 구조를 라벨링하고, 다른 하나가 해당 영역에서의 선행 질병의 징후를 검출하며, 그리고 마지막으로 다른 하나가 의사에게 지원 및 지침을 제공하도록 이러한 소견을 임상 정보 자원 및 권고와 매칭시킬 수 있다.

일 실시형태에서, 처리 엔진은 환자의 특정 신체 부위와 연관될 수 있다. 관련이 있는 신체 부위에 따라, 또는 사용되는 이미징 양식 유형(이미징 프로시저 유형)에 따라, 특정 엔진만이 적용된다. 이것은 위에 언급된 엔진들에 대한 엔진이 효과가 있는 것을 잘 선택하여 학습하도록 돕는다.

이미지 처리 서버(110)는 하나 이상의 e-스위트(suite)(즉, 앙상블이라고도 지칭되는 e-스위트는 하나 이상의 이미지 처리 엔진의 조합일 수 있음)를 더 포함할 수 있다. 따라서, 앙상블들은 입상도를 증가시키기 위해 단계적으로 수행될 수 있어서, 앙상블 엔진의 특정한 의도된 조치에 대한 민감도 및 특이도를 증가시킬 수 있다.

엔진 또는 e-스위트는 소견(예를 들어, 질병, 징후, 피처, 대상물, 형상, 텍스처, 측정치, 보험 사기, 또는 이들의 임의의 조합)을 검출할 수 있다. 하나 이상의 엔진 및/또는 하나 이상의 e-스위트는 메타데이터, 알려진 이미지내 분석 방법, 또는 이들의 임의의 조합에 기초하여, 연구(예를 들어, 임상 리포트, 이미지, 환자 데이터, 이미지 데이터, 메타데이터, 또는 이들의 임의의 조합)로부터 소견을 검출할 수 있다. 이미지 처리 서버(110)의 이미지 처리 엔진(113 내지 115)은 예를 들어, 이미지 데이터가 이상임을 나타내는 소견을 이미지 데이터에 플래깅할 수 있다.

플래깅은, 엔진/e-스위트에 의해 발견된 소견들의 조합, 엔진/e-스위트 이름, 이미지 처리 서버(110)에 의해 연구가 처리되었음을 나타내는 간단한 마크, 연구가 정상/이상이었다는 마킹, 소견의 위험 요소를 나타내는 일련의 매크로 레벨 표시 선택사항(예를 들어, 적색, 황색, 녹색 또는 주황색), 소견을 표시하는 아이콘(예를 들어, 소견이 있다는 것을 표시하는 간단한 마크) 또는 심각도(예를 들어, 경증, 보통, 또는 중증)에 따른 마킹, 이미지 뷰잉 시스템에서 자동으로 호출된 관련 도구, 또는 이들의 임의의 조합을 사용하여, 또는 그렇지 않으면 엔진/e-스위트/앙상블 또는 엔진들에 대한 엔진에 의해 제공되는 바와 같이, 실제 소견(들) 또는 도출된 요약 표시를 디스플레이하는 것을 포함할 수 있다.

플래깅은 연구에 대해 수행될 수 있거나 또는 연구와 별개로 수행될 수 있다. 플래깅은 하나 또는 수개의 확장성 생성 언어(restful) 서비스, API의 통지 시스템을 통해 이용 가능하고 액세스 가능할 수 있거나, 또는 타사 애플리케이션 또는 이미지 처리 서버, 또는 의료 데이터 리뷰 시스템의 데이터베이스(들)로 푸시될 수 있다. 일 실시형태에서, 플래깅은 3D 의료 이미징 소프트웨어 애플리케이션(예를 들어, 클라이언트 애플리케이션(111 내지 112))에서 디스플레이되거나 보일 수 있다. 엔진 및/또는 e-스위트는 엔진/e-스위트가 더 많은 연구를 처리함에 따라, 엔진/e-스위트가 더 정확하게 소견을 검출할 수 있도록, 이전의 소견에 기초하여 기계 티어링(tearing) 알고리즘을 사용하여 기계 학습 또는 트레이닝될 수 있다. 즉, 더 많은 연구가 처리됨에 따라, 소견을 검출하는 신뢰 수준이 증가한다. 엔진 및/또는 e-스위트의 소견에 기초하여, 이미지 처리 서버(110)는 예를 들어, 소견의 유형, 소견의 심각도, 환자 건강에 대한 위험 요소, 또는 이들의 임의의 조합에 기초하여 연구 작업 리스트를 우선 순위화하여 분류할 수 있다. 이것은 초기 이미지 해석 프로세스에서 사용될 수 있는 결과물 및 매크로 소견의 리스트를 포함하는 플랫폼의 최종 산출물이며, 임의의 이러한 소견은 조정을 위한 기본 가정들을 고려하여 개방 또는 추가로 질의될 수 있거나, 적합성 및 가능한 교환 또는 편집을 위해 이미지 데이터 또는 임상 데이터의 품질이 평가될 수 있다.

API 또는 restful 서비스와의 인터페이스는 의료 데이터 리뷰 시스템, 다른 일반적인 의료 데이터 리뷰 시스템, 및 다른 의료 이미지 뷰어 간의 양방향 통신을 제공함으로써, 추가적인 이미지 데이터 코호트 및 임상 콘텐츠 코호트의 큐레이션 및 엔진 학습을 원활하게 하도록, 이러한 타사 애플리케이션에 제공된 임의의 피드백이 의료 데이터 리뷰 시스템으로 리턴될 수 있다.

애플리케이션 스토어(109)는 하나 이상의 엔진, 하나 이상의 e-스위트, 또는 이들의 임의의 조합을 저장할 수 있는 전자 상거래 서버일 수 있다. 이미지 처리 서버(110)는 애플리케이션 스토어(109)와 동일한 또는 상이한 엔진 또는 e-스위트를 저장할 수 있다. 이미지 처리 서버(110)의 엔진 또는 e-스위트는 이미지 처리 서버(110)의 웹 사이트(로컬 또는 인터넷 상의) 또는 그래픽 사용자 인터페이스(GUI)를 통해 사용자에 의해 선택된 엔진에 따라 연구를 처리할 수 있다. 이미지 처리 서버(110)는 업데이트된/개선된 엔진 또는 e-스위트를 애플리케이션 스토어(109)로 전송할 수 있다. 애플리케이션 스토어(109) 또는 이미지 처리 서버(110)는 사용자 프로파일 및/또는 그룹 프로파일을 저장할 수 있다. 사용자 프로파일은 하나 이상의 사용자에 특정될 수 있다. 그룹 프로파일은 하나 이상의 그룹, 예를 들어 거버넌스 위원회, 방사선 전문의 그룹, 심장 전문의 그룹, 기술자 그룹, 개발자 그룹, 또는 이들의 임의의 조합에 대해 특정될 수 있다. 사용자 프로파일 및 그룹 프로파일은 도구, 엔진, e-스위트, 트레이닝 도구, 코딩 도구, 또는 이들의 임의의 조합에 대한 액세스 제어를 가질 수 있다. 사용자 및/또는 그룹은 다른 사용자 및/또는 그룹에 대한 액세스 제어를 확장하거나 축소할 수 있다.

도구, 엔진, e-스위트, 트레이닝 도구, 코딩 도구, 또는 이들의 임의의 조합은 이미지 처리 서버(110)를 통해 디스플레이되어 사용될 수 있거나, 또는 2D 및/또는 3D 의료 이미징 소프트웨어 애플리케이션, 또는 의료 데이터 리뷰 시스템, 또는 새로운 의료 데이터 리뷰 시스템에서 디스플레이되어 사용될 수 있다. 의료 이미징 소프트웨어 애플리케이션은 이미지 처리 시스템(106)의 이미지 처리 도구(107)의 산출물에 액세스하는 클라이언트 애플리케이션이다. 예를 들어, 제1 사용자는 애플리케이션 스토어(109)에 저장될 수 있는 제1 엔진을 클라이언트 디바이스(예를 들어, 웹 사이트, 이동 전화, 워크스테이션, 컴퓨터, iPad, 랩탑, 또는 임의의 다른 방법 또는 유형, 또는 이들의 조합)를 통해 업로드할 수 있다. 제1 사용자 또는 거버넌스 위원회는 특정 도구, 예를 들어, 기계 학습/트레이닝 도구에 대한 액세스를 제2 사용자 또는 그룹에 제공할 수 있다. 제2 사용자 또는 그룹은 기계 학습/트레이닝 도구를 사용할 수 있으며, 이러한 사용으로부터의 피드백은 더 높은 정확도를 갖는 소견을 검출하도록 제1 엔진을 트레이닝하는데 적용될 수 있다. 제1 엔진은 이미지 처리 서버(110)에 의해 업데이트될 수 있고 애플리케이션 스토어(109)에 저장될 수 있다. 엔진에 의한 이미지 데이터의 처리 및 엔진의 업데이트는 이미지 처리 서버(110), 이미지 처리 애플리케이션 스토어(109), 또는 이들의 임의의 조합에서 수행될 수 있다.

이러한 엔진은 지도형 학습을 통해 처방적 구현되거나, 또는 지도형 또는 비지도형 학습을 통해 엔진들(엔진들에 대한 엔진들)에 의해 자체 개발될 수 있게 되는, 측정된 성능 속성을 가질 수 있음을 유의해야 한다. 그 다음, 거버넌스를 통해, 엔진을 업로드하는 사람은 변경들을 수용 또는 거부할 수 있거나/거부할 수 있고, 다른 사람에 의한 사용을 위해 이들을 공개할 수 있거나 공개하지 않을 수 있다.

이미지 처리 서버(110)는 상이한 위치에 있는 하나 이상의 의료 기관, 하나 이상의 사용자, 하나 이상의 그룹, 또는 이들의 임의의 조합으로부터의 엔진 또는 e-스위트에 의해 구현될 수 있다. 이미지 처리 서버(110)는 하나 이상의 사용자가 하나 이상의 엔진 또는 하나 이상의 e-스위트를 업로드 또는 다운로드할 수 있도록 하는 그래픽 사용자 인터페이스(GUI)를 가질 수 있다. 이미지 처리 서버(110)는 엔진 또는 e-스위트를 통해 데이터를 트레이닝, 코딩, 개발, 업로드, 삭제, 추적, 구매, 업데이트, 또는 처리하기 위해 하나 이상의 사용자 또는 그룹을 위한 GUI를 가질 수 있다. 이미지 처리 서버(110)는 액세스 제어를 가질 수 있다. 이미지 처리 서버(110)는 엔진, 앙상블 엔진, 엔진들에 대한 엔진들, 및 이들의 구성에 대한 제어된 액세스를 지원하기 위해, 독립적인 보안 및 클라우드 액세스 제어를 제공하는 멀티-테넌트 환경을 지원하도록 암호로 보호될 수 있다. 이러한 암호(및/또는 다른 시스템과의 통합형 작업 흐름을 위한 인증 방법)는 이미지 코호트, 임상 데이터 코호트, 엔진 접근성 및 상호 작용 데이터베이스의 별개의 액세스 제어를 지원한다.

이미지 처리 서버(110)는 사용자 또는 그룹이 도구 및 엔진에 대한 액세스 제어를 동일한 의료 기관 또는 다른 의료 기관의 다른 사용자 또는 그룹에 부여할 수 있게 할 수 있다(예를 들어, 멀티 테넌시 구성). 이를 통해 소견을 검출하기 위한 엔진 또는 e-스위트를 향상시키도록 하나 이상의 의료 기관의 하나 이상의 사용자 또는 그룹 간에 공동 협력을 촉진시킬 수 있다. 이미지 처리 서버(110)는 사용자가 이미지 데이터를 처리하기 위해 엔진 또는 e-스위트를 실행시킬 수 있게 하는 GUI를 가질 수 있다. 일 실시형태에서, 의료 데이터 리뷰 시스템의 산출물은 restful 및/또는 API 통신을 지원하거나 플랫폼의 데이터베이스에 판독/기록할 수 있는 임의의 타사 시스템에 의해 통합 및/또는 소비될 수 있다. 대안적으로, 의료 데이터 리뷰 시스템의 뷰잉 부분은 이러한 콘텐츠의 소비자일 수 있거나/소비자일 수 있고, 타사 시스템 내로 내장되거나 독립형으로 사용될 수도 있다. 임의의 이미지 처리 엔진(113 내지 115)은 의료 데이터 리뷰 및/또는 진단 해석을 수행하는 의료 데이터 리뷰 시스템 사용자 및 엔진 소유자에 의해 적용되는 거버넌스 및 보안을 위한 설정에 따라, 이미지 처리 시스템(106)의 이미지 처리 도구(107)를 추가로 호출할 수 있다.

엔진 저자는 웹 인터페이스와 같은 이의 그래픽 인터페이스를 사용하여 이미지 처리 서버(110)를 통해 임의의 이미지 처리 엔진 또는 e-스위트를 애플리케이션 스토어(109)에 업로드할 수 있다. 이미지 처리 서버(110)는 하나 이상의 엔진 개발자가 이미지 처리 서버(110) 상의 임의의 엔진을 업데이트하거나, 변경하거나, 트레이닝하거나, 기계 학습시키거나, 또는 이들의 임의의 조합으로 수행하기 위한 개발자 플랫폼을 가질 수 있다. 예를 들어, 기계 학습 알고리즘을 사용하는 트레이닝을 통해, 또는 주어진 엔진에 대한 예측 방법의 컨테이너화된 버전 수정을 통해, 개발자 플랫폼 상에서 소견을 검출하도록 엔진이 개선될 수 있다. 이러한 접근법이 달성될 수 있는 한 가지 방식은, 데이터를 수집하여 주어진 엔진을 개선하며, 반복적인 트레이닝 평가에 사용되는 데이터를 버전 관리하고, 주어진 소프트웨어 컨테이너 또는 래퍼 내의 엔진 소스 코드를 비동기식으로 버전 관리함으로써, 플랫폼에서 협업하여 작업하는 최종 사용자 및 알고리즘/엔진 저자의 조치에 의해 관리 및 통제되는 전개형 컨테이너화된 알고리즘 플레이어 소프트웨어에서 원격으로 사용되거나, 또는 클라우드에서 사용되는 알고리즘의 배포 및 업데이트를 가능하게 하는 것이다.

하나 이상의 개별 처리 엔진은 정의된 입력 및 출력 세트를 갖는 소프트웨어 컨테이너에 래핑될 수 있다. 호환 가능한 입력 및 출력을 갖는 처리 엔진은 더 정확한 최종 산출물을 생성하기 위해 직렬로 또는 병렬로(예를 들어, 다중 스레드를 통해) 실행될 수 있다. 일 실시형태에서, 플랫폼에 의해 지원되고 업데이트되는 바와 같은 표준 공개 스키마에 대한 특정 엔진/알고리즘의 필요한 입력 및 출력의 추상화를 가능하게 하는 표준화된 restful 웹 서비스 API(또는 이와 유사한 것)가 이용될 수 있다. 이는 매핑 및 추상화를 가능하게 하는 입력 및 출력 측의 추상화 계층을 모든 엔진이 갖는 것을 필요로 한다. 그 다음, 하나 이상의 추상화된 출력은 하나 또는 추상화된 입력에 매핑될 수 있다.

예를 들어, 엔진 개발자는, 폐 결절을 검출하는 다양한 피처(예를 들어, 기하학적 형상, 텍스처, 폐 결절의 검출을 유발하는 피처들의 다른 조합, 또는 이들의 임의의 조합)에 기초하여 엔진을 트레이닝함으로써, 데이터 분석 시스템(도시되지 않음) 또는 애플리케이션 스토어(109)의 개발자 플랫폼 상의 연구들에서 폐 결절을 검출하기 위한 폐 결절 검출 엔진을 트레이닝할 수 있다. 다른 실시예에서, 엔진 개발자는 개발자 플랫폼을 통해 혈전 엔진을 트레이닝할 수 있다. 다른 실시예에서, 골절 엔진은 이미지 처리 서버(110)로부터의 골절 엔진 데이터에 기초하여 개발자 플랫폼을 통해 기계 학습할 수 있다. 다른 실시예에서, COPD 엔진은 동일한 COPD 엔진 데이터에 기초하여, 다른 COPD 엔진 데이터에 기초하여, 또는 이들의 임의의 조합으로 기계 학습할 수 있다.

도 2는 일 실시형태에 따른 이미지 처리 서버의 일 실시예를 도시하는 블록도이다. 도 2를 참조하면, 이미지 처리 서버(110)는, 영구적 저장 장치(202)(예를 들어, 하드 디스크)에 설치되어 이로부터 로딩될 수 있고 하나 이상의 프로세서(도시되지 않음)에 의해 실행될 수 있는, 하나 이상의 이미지 처리 엔진(113 내지 115)을 호스팅하는 메모리(201)(예를 들어, 동적 랜덤 액세스 메모리 또는 DRAM)를 포함한다. 이미지 처리 서버(110)는 추적 모듈(211), 경보 모듈(212), 분석 모듈(213), 및 리포팅 모듈(214)을 더 포함한다. 이미지 처리 엔진(113 내지 115)은 프로세스 구성(224)에 따라 다양한 구성으로 구성될 수 있다. 프로세스 구성(224)은 특정 연구 또는 이미지에 대해 또는 사용자에 의해 특정하게 구성된 구성 파일로 저장될 수 있다. 의료 이미지 처리 서버(110)는 멀티 테넌시 클라우드 서버일 수 있다. 다수의 구성 파일이 있을 수 있으며, 각각은 구성 인터페이스(도시되지 않음)를 통해 구성될 수 있는 사용자 또는 사용자 그룹과 연관될 수 있다.

예를 들어, 도 2 및 도 3을 참조하면, 의료 데이터(본 실시예에서는, 의료 이미지)는 의료 데이터 소스(105)로부터 이미지 처리 서버(110)에 수신될 수 있다. 하나 이상의 이미지 처리 엔진(113 내지 115)은 프로세스 구성 데이터(224)에 기초하는 순차적 순서에 따라 배열될 수 있다. 이미지 처리 엔진(113 내지 115)은 의료 이미지 처리 시스템(106)의 이미지 처리 도구(107)를 추가로 호출할 수 있다. 하나 이상의 결과물(250)이 생성될 수 있고 출력 데이터(222)의 일부로서 영구적 저장 장치(224)에 저장될 수 있다. 일 실시형태에서, 도 4a에 도시된 바와 같이, 이미지 처리 엔진(113 내지 115)이 직렬로 배열될 수 있으며, 제1 이미지 처리 엔진의 출력이 제2 이미지 처리 엔진의 입력으로서 이용될 수 있다. 대안적으로, 이미지 처리 엔진(113 내지 115)은 도 4b에 도시된 바와 같이, 동일한 또는 상이한 이미지 처리 작업들을 동시에 수행하도록 병렬로 배열될 수 있다. 그 다음, 이미지 처리 엔진들의 출력들은 최종 결과물을 생성하기 위해 집계된다. 또한, 이미지 처리 엔진(113 내지 115)은 도 4c에 도시된 바와 같이, 직렬 및 병렬 모두로 배열될 수 있다.

일 실시형태에서, 이미지 처리 서버(110)는 산출물(250)의 텍스트 또는 언어를 처리하기 위해 자연 언어 처리(NLP) 시스템(310)을 추가로 호출할 수 있다. NLP 시스템(310)은 누락된 소견 또는 오역된 소견을 갖는 연구를 식별하여 산출물(250)과 상관시키기 위해, 이미지 처리 서버(110)에 의해 추출된 피처들을 스캔하고, 분석하며, 매칭시킬 수 있다. NLP는 컴퓨터 공학, 인공 지능 및 언어학 분야로서, 컴퓨터와 인간 (자연) 언어 사이의 상호 작용과 관련되며, 특히 대량의 자연 언어 코퍼스를 효과적으로 처리하기 위해 컴퓨터를 프로그래밍하는 것과 관련된다. 많은 상이한 종류의 기계 학습 알고리즘이 NLP 작업에 적용되었다. 이러한 알고리즘은 입력 데이터로부터 생성되는 대량의 "피처들" 세트를 입력으로서 취한다.

예를 들어, 제1 엔진은 소견을 검출하기 위한 알고리즘을 실행할 수 있다. 제1 엔진은 제1 엔진의 소견의 산출물을 생성할 수 있다. 제1 엔진에 의한 소견은 통계 인터페이스, 리포트(도시되지 않음), 진단 해석 뷰어(도시되지 않음)에 포함될 수 있거나, 또는 restful 서비스 및/또는 API를 통해 결과물 및 코호트에 액세스할 수 있는 임의의 시스템 또는 데이터베이스에 포함될 수 있다. 의사는 소견의 산출물을 리뷰할 수 있다. 의사는 제1 엔진의 소견을 검증/무효화할 수 있다. 제1 엔진의 소견의 검증/무효화는 출력 데이터(222)의 일부로서 포함될 수 있다. 제1 엔진은 하나 이상의 의료 기관으로부터의 연구를 처리할 수 있으며, 그 결과물은 출력 데이터(222)에 포함될 수 있다.

임의의 이해 관계자는 최종 사용자가 알고리즘, 코드, 또는 알고리즘을 트레이닝하는데 필요한 이미지 데이터에 액세스하지 않고 최종 사용자에 의해 사용될 수 있는 알고리즘을 생성할 수 있는 엔진 저자일 수 있다. 이는 임의의 수의 컨테이너화된 엔진/알고리즘을 통해 연구를 처리하기 위해, 클라우드 기반일 수 있거나 로컬로 위치될 수 있는 사설 또는 멀티 테넌트 보안 서버로 연구를 전송함으로써 수행된다. 액세스 제어는 알고리즘 개발자가 인증 및 관리 권한을 부여할 수 있게 한다. 알고리즘 및 사용 인증의 실시형태에서는, 알고리즘을 사용하기 위한 기능을 상이한 최종 사용자들에게 부여하는 기능을 알고리즘 개발자에게 제공하거나, 또는 최종 사용자(들)가 서면 형태로 또는 연결 링크 법적 약관을 통해 제공되는 라이선스 계약 및 플랫폼에 동의하도록 요구하면서, 공용으로 사용하기 위해 이들이 공개될 수 있게 한다. 반면에 관리 권한은 다른 알고리즘 개발자가 알고리즘을 수정하게 하거나, 알고리즘을 수정하기 위한 엔진들에 대한 엔진들 또는 엔진들, 또는 새로운 버전의 알고리즘을 생성하게 하기 위한 기능을 알고리즘 개발자에게 제공한다. 버전 제어는 규제기관 승인을 위해 알고리즘 기술적 파일에 대한 변경들을 추적하면서, 알고리즘 개발자가 상이한 세대의 이들의 알고리즘을 생성할 수 있게 한다. 유사하게, 상이한 세대의 이미지 및 임상 콘텐츠 코호트 및 의료 데이터 리뷰 피드백 데이터가 또한 버전 관리되어 고유 값을 보호하고 의도하지 않은 데이터 확산을 방지하도록 보장된다.

일 실시형태에서, 복부의 조영증강후의(post contrast) CT 스캔은 CT 형광 투시 처치 전에 처리된다. 조영증강후의 이미지는 등록 엔진을 사용하여 CT 형광 투시 데이터 세트에 등록된다. 등록 및 해부학적 분할의 결과물은 CT 유도 생체 검사 또는 절제 동안에 비-조영 CT 형광 투시 이미지 상에 혈관을 디스플레이하기 위해, CT 형광 투시 데이터에 걸쳐서 토글링될 수 있다. 따라서, 가상의 조영 증강 형광 투시 결과물이 생성된다. 이는 MRI와 같은 다른 양식과 유사하게 지원될 수 있다. 일 실시형태에서, e-스위트의 소견의 산출물의 검증 또는 무효화는 추적 데이터(221) 및/또는 통계(223)에 포함될 수 있다.

다른 시나리오에 따라, 예를 들어, PACS 서버 또는 CT, MRI, 초음파, X-레이, 또는 다른 이미징 양식 또는 정보 시스템은 e-스위트의 제1 엔진으로 연구를 전송할 수 있다. 제1 엔진이 연구를 처리한 후에, 제1 엔진으로부터의 소견의 산출물은 제2 엔진 및 제3 엔진으로 전송될 수 있다. 제2 엔진 및 제3 엔진은 병렬로 실행될 수 있다. 제2 엔진 및 제3 엔진의 소견의 산출물은 결합될 수 있다. 제2 엔진 및 제3 엔진의 결합된 산출물은 e-스위트의 소견의 산출물이 될 수 있다. 대안적으로, 프로세스는 처리를 위한 데이터를 수신하는 다수의 엔진으로 시작될 수 있으며, 이들은 이들의 결과물들을 설명된 바와 같이 하나 이상의 다른 엔진으로 전송한다. 최종 산출물은 e-스위트 앙상블의 산출물의 소견을 확인 또는 거부하기 위해 의사에 의해 리뷰되도록 소스 양식, 또는 PACS, 또는 의료 데이터 리뷰 시스템으로 재전송될 수 있다.

제1 엔진의 산출물은 제1 가중 인자를 가질 수 있다. 제2 엔진의 산출물은 제2 가중 인자를 가질 수 있는 등의 식이다. 제1 가중 인자 및 제2 가중 인자는 -100% 내지 +100% 범위의 임의의 백분율일 수 있거나, 또는 로그 눈금일 수 있거나, 또는 실행되는 코호트 및 테스트의 유형에 적합한 임의의 종류의 임의의 저자-지정된 스케일일 수 있다. 소견의 가중된 산출물은 하나의 엔진이 다른 엔진보다 더 큰 가중치를 갖게 할 수 있으며, 엔진에서의 하나의 유형의 소견은 각각의 소견에 대한 상이한 가중치들을 가질 수 있다. 사용자는 이미지 처리 서버(110)의 인터페이스로부터 각각의 엔진의 가중치를 조작할 수 있다. 대안적으로, 엔진들에 대한 엔진은 지도형 또는 비지도형 기계 학습 기술을 사용하여 이러한 값들을 설정하도록 적용될 수 있다.

예를 들어, 제1 엔진은 에지 검출을 위한 엔진일 수 있다. 제2 엔진은 연조직 검출을 위한 엔진일 수 있다. 사용자는 제1 엔진이 20%로 가중되고 제2 엔진이 80%로 가중되도록 각각의 엔진을 조작할 수 있다. 제1 및 제2 엔진의 산출물은 이러한 가중치들을 반영할 수 있다. 동일한 연구에 대해, 다수의 엔진 또는 e-스위트가 동시에 병렬로 실행될 수 있다. 동일한 환자 또는 상이한 환자들로부터의 상이한 연구들에 대해, 다수의 엔진 또는 e-스위트가 동시에 실행될 수 있다.

유사한 소견을 발견하는 유사한 엔진들은 병렬로, 직렬로, 또는 이들의 임의의 조합으로 실행될 수 있으며, 동일한 소견을 검출하기 위한 상이한 엔진들일 수 있다. 예를 들어, 제1 엔진, 제2 엔진, 및 제3 엔진은 폐 결절 검출 엔진일 수 있지만, 이들은 상이한 엔진 개발자들 또는 상이한 의료 기관들로부터 비롯될 수 있다. 이러한 구성은 상이한 벤더로부터의 3개 엔진들의 소견을 비교할 수 있게 하므로, 의료 데이터 리뷰 중에 수행되는 진단 해석 프로세스 동안에 즉시, 각각의 엔진으로부터의 소견의 간략한 개요 및 다수의 도구에 대한 즉각적인 액세스를 의사에게 제공할 수 있다. 대안적으로, 의료 데이터 리뷰 시스템은 통상적인 PACS 시스템에서 진단 리뷰가 수행될 수 있게 한 다음, 이러한 진단 해석들 간의 유사한 소견 및 상이한 소견을 판단하기 위해, 그러한 리뷰 후에 의료 데이터 리뷰 시스템을 사용하여 의료 데이터 리뷰가 수행되게 할 수 있다.

전형적인 의료 데이터 리뷰와 의료 데이터 리뷰 시스템 간의 차이점은, 통상적인 의료 데이터 리뷰가 해석의 전체 결과물에 관한 의견 일치만을 확인하려고 하는 반면에, 의료 데이터 리뷰 시스템은 소견을 포함하는 더 세분화된 레벨에 대해 의견 일치의 판단을 가능하게 하므로, 이미지 처리 또는 데이터 처리 엔진을 트레이닝하는데 필요한 세부사항을 제공하여 개선된 향후의 결과물을 제공한다는 점이다. 의료 데이터 리뷰 시스템은 개시될 때 더 많은 의사 참여 시간을 필요로 할 수 있지만, 고도로 조정된 알고리즘의 이용 가능성은 지속적인 사용의 결과이며, 이는 향후에 전체적인 의사 해석 시간을 감소시키고, 시간이 지남에 따라 개선된 의료 데이터 리뷰 결과물을 제공한다.

일 실시형태에 따라, 처리 엔진은 유사한 양식을 갖는 다수의 연구를 분석할 수 있고, "유의한 간격 변동이 없는" 분석 결과물을 생성할 수 있다. 예를 들어, 처리 엔진은, 상이한 시간에 수행되지만 동일한 양식 및 신체 부위의 2개의 머리 CT 연구들을 취할 수 있다. 후속 연구로부터 용이하게 추출된 리포트 피처는 "유의한 간격 변경이 없다". 그 다음, 처리 엔진은 두 CT 연구들을 실행하여 임의의 차이점이 있는지 확인하기 위해 이 둘을 비교한다. 가장 최근의 리포트가 "유의한 간격 변경이 없다"고 간주되는 경우, 의료 데이터 리뷰 시스템 기능은 유사성을 검증할 수 있는 엔진을 실행하기 위한 것일 수 있으므로, 해당 의견에 동의하거나 동의하지 않기 위한 기능을 제공한다. 흔히, 플랫폼으로의 입력인 리포팅된 소견은 리포트 및 전자 통신에서 유지되며, 관련 콘텐츠는 엔진이 실행될 때 엔진에 제공된다.

다른 실시형태에 따라, 단일 연구를 실행하는 엔진은 이상의 안정성을 평가하기 위해, 관련 비교를 실행하기 위한 다른 엔진 또는 엔진들을 호출할 수 있다. 이것은 비교 연구를 통해 CT 간 병변 엔진을 MRI 간 병변 엔진과 비교하는 것과 같은 다양식(multimodality)일 수 있다. 이러한 실시형태에서, CT 이미지 코호트를 실행하는 CT 알고리즘을 실행하는 처리 엔진은 동일한 환자에 대한 MRI 이미지 코호트를 통해 MRI 알고리즘을 실행하는 추론 엔진의 이전 결과물 또는 다른 처리 엔진을 호출하여, 단일 비교 작업을 수행한다.

엔진 및/또는 e-스위트는 소견을 검출할 확률(또는 그것이 목표인 경우 소견이 없음을 확인할 확률)이 높도록 및/또는 최적화되도록, 임의의 구성으로 실행될 수 있다. 엔진 및/또는 e-스위트는 소견을 검출하는 신뢰 수준을 최대화하기 위한 임의의 구성으로 실행될 수 있다. 엔진은 사용자가 소견의 산출물이 보이는 방식을 구성할 수 있도록 임의의 구성으로 실행될 수 있다(예를 들어, 소견을 검출할 높은 확률, 소견을 검출할 낮은 확률, 특정 소견을 제외, 특정 소견을 포함, 정상 연구를 선택, 또는 이들의 임의의 조합).

예를 들어, 사용자가 COPD 및/또는 COPD의 피처를 검출하기를 원하는 경우, 사용자는 하나 이상의 COPD 엔진을 병렬로, 직렬로 또는 이들의 임의의 조합(즉, COPD e-스위트)으로 구성할 수 있으므로, 엔진의 구성이 COPD 또는 COPD의 피처를 검출할 높은 확률을 가질 수 있다. 어떤 환자가 의사에 의해 확인된 바와 같은 타겟팅된 소견을 가는지에 관한 정보가 리포트에 제공되는 경우, 이는 검출 알고리즘의 가중을 자체 최적화할 수 있는 엔진들에 대한 엔진을 위한 이상적인 사용 사례이다. 더 많은 의사가 COPD e-스위트를 사용하고 COPD e-스위트의 소견의 산출물을 확인(즉, 검증)함에 따라, e-스위트는 더 높은 등급을 가질 수 있다. 높은 등급 및/또는 증가된 확인은 다른 의사들이 어떤 COPD e-스위트가 최상의 소견 검출율을 갖는지를 인식할 수 있게 할 수 있다. 이는 전자 상거래 사이트에 등급 시스템을 제공함으로써 사용자들에게 분명히 드러날 것이다.

다른 실시예에서, 사용자가 폐 결절을 검출하기를 원하는 경우, 사용자는 폐 결절의 특정 피처를 검출하는 엔진을 선택할 수 있으며, 예를 들어 텍스처를 위한 엔진, 결절 형상을 위한 엔진, 강도를 위한 엔진, 또는 이들의 임의의 조합을 선택할 수 있다. 그러한 엔진들은 병렬로, 직렬로, 또는 이들의 임의의 조합으로 실행될 수 있다. 많은 폐 스캔은 소견을 갖기 때문에, 검출할 가장 중요한 것은 의사로부터 후속 조치가 지시될 가능성이 높은 소견이다. 따라서, 후속 조치를 필요로 할 가능성이 가장 높은 폐 소견의 검출을 향상시키기 위해, 엔진 또는 엔진들에 대한 엔진에는 리포트 정보 또는 다른 임상 정보가 제공될 수 있다. 그 다음, 부수적인 소견이 실패 소견은 아니기 때문에, 일 실시형태는 이러한 소견을 제시하지 않음으로써, 또는 이들을 제시하고 부수적일 가능성이 높은 것으로 이들을 표시함으로써, 의료 데이터 리뷰 및 진단 해석 프로세스에서 부수적인 소견을 필터링하는 시스템이다. 전술한 프로세스를 구현하기 위한 다른 방식은 일부 부수적인 소견이 임상 결과에 영향을 주는 임상 관련성을 가질 수 있거나 갖지 않을 수 있기 때문에, 임상적 심각도 스코어로서 구현하는 것이다. 사용자는 이미지 처리 서버(110)의 구성 인터페이스(도시되지 않음)를 통해 엔진을 다른 엔진으로 수동으로 교체할 수 있다.

도 2를 다시 참조하면, 일 실시형태에 따라, 추적 모듈(211)은 이미지 처리 엔진(113 내지 115)의 할당 및 처리를 추적 또는 기록하도록 구성된다. 이미지 처리 엔진(113 내지 115)은 멀티 테넌시 작업 환경에서 다수의 인스턴스(예를 들어, 다수의 스레드)로 실행될 수 있음을 유의한다. 멀티 테넌시 작업 환경에서는, 상이한 사용자들이 로그인할 수 있고 인증될 수 있다. 사용자가 인증되고 권한이 부여되면, 사용자는 상이한 연구, 단체 등을 위한 이들의 서비스 또는 가입 계약에 따라 이미지 처리 엔진을 구성하여 활용할 수 있다. 추적 모듈(211)은 어떤 이미지 처리 엔진이 어떤 이미지 코호트 및 임상 콘텐츠 코호트를 통해 어떤 의료 연구에 대해 또는 어떤 사용자에 의해 이용되는지, 어떤 인덱싱된 사용자 데이터를 초래했는지를 계속 추적하도록 구성됨으로써, 데이터베이스 또는 데이터베이스들로도 지칭되는 영구적 저장 장치(202)에 저장되는 추적 데이터(221)(엔진 데이터로도 지칭됨)를 생성한다.

도 5는 일 실시형태에 따른 의료 이미지를 처리하는 처리 흐름이다. 도 5를 참조하면, 의료 이미지(501)가 수신되는 경우, 하나 이상의 이미지 처리 엔진(113 내지 115)을 갖는 처리 엔진(502)은 의료 이미지를 처리하여 결과물(503)을 생성하도록 구성된다. 이미지(501)는 단일 연구 내의 다수의 이미지, 연구 내의 다수의 시리즈, 또는 상이한 양식의 다수의 연구로부터의 시리즈 및 이미지의 조합을 나타낼 수 있음을 유의한다. 결과물(503)은 분석 모듈(213)에 의해 분석되어 통계 데이터를 생성한다. 한편, 추적 모듈(211)은 처리 엔진(502)의 작업을 추적하도록 구성된다. 결과물(503)은 출력 데이터(222)의 일부로서 저장될 수 있다. 추적 데이터(221) 및/또는 통계(223)의 일부로서 저장될 수 있는 추적 데이터 및 통계 데이터(504)가 생성된다. 추적 데이터/통계 데이터(504)에 기초하여, 이상 소견 또는 불일치 소견과 같은 미리 결정된 조건을 충족시키는 임의의 데이터가 있는 경우, 경보 모듈(212)은 경보를 생성하여 미리 결정된 디바이스, 데이터베이스(들) 또는 시스템(들)으로 경보를 전송하도록 구성된다. 또한, 추적/통계 데이터(504)에 기초하여 리포팅 모듈(214)에 의해 리포트가 생성될 수 있다.

추적 모듈(211)은 하나 이상의 엔진(예를 들어, 제1 엔진)에 대한 엔진 데이터(예를 들어, 어떤 연구가 이미지 처리 서버(110)로 전송되었는지; 어떤 연구가 어떤 엔진에 의해 처리되었는지; 어떤 연구가 어떤 엔진에 의해 플래깅되었는지; 어떤 연구가 다수의 엔진에 의해 플래깅되었는지; 어떤 연구가 의료 데이터 리뷰 샘플의 일부로서 전송되었는지; 엔진 이름; 소견; 질병 연구의 검증된 및/또는 무효화된 기계 학습된 가능하면 더 높은 가능성에 관한 데이터; 연구에서의 이미지의 피처들에 관한 데이터로서, 이에 한정됨이 없이, 벽 두께, 텍스처, 기울기, 측정치, 밀도, 이질성, 복셀 범위의 표준 편차, 또는 이들의 임의의 조합을 포함하는 데이터; 시스템을 사용하는 임의의 다른 사람 뿐만 아니라 해석하는 의사의 사용자 상호 작용; 진단을 위한 시간; 예를 들어, 환자의 건강에 대한 위험 요소에 기초하는 연구들의 플래깅; 위험 요소에 기초하는 연구들의 순서; 또는 이들의 임의의 조합)를 추적할 수 있다. 엔진 데이터는 하나 이상의 엔진 또는 e-스위트에 의해 각각의 연구가 실행된 후에 수동으로, 지속적으로, 또는 자동으로 추적 및 업데이트될 수 있다. 의료 데이터 리뷰 기능은 하나, 2개 또는 3개 보다 많은 의사 해석을 포함할 수 있으며, 의료 데이터 리뷰 시스템은 임상 시험 또는 의사에 의한 관련 없는 연구들의 일련의 진단 해석을 위해 사용될 수 있다.

또한, 통계 데이터 엔진이라고도 지칭되는 분석 모듈(213)은 이미지 처리 엔진을 위한 추적된 엔진 데이터에 대한 분석을 수행할 수 있다. 통계 데이터 엔진(213)은, 엔진을 제공하는 하나 이상의 의료 기관, 및 이미지와 임상 콘텐츠 코호트만을 제공하는 다른 사람들을 포함하는, 외부 소스 뿐만 아니라, 의료 데이터 리뷰 시스템과 연관된 하나 이상의 데이터베이스 및 하나 이상의 이미지 처리 서버로부터 엔진 데이터를 수집할 수 있다. 통계 데이터 엔진(213)은 엔진 등급의 일부로서 애플리케이션 스토어(109)를 통해 업데이트될 수 있는 엔진 데이터에 기초하여 모든 엔진 및 엔진들에 대한 엔진들에 대한 통계 데이터를 업데이트할 수 있다. 또한, 통계 데이터는 통계 데이터(223)의 일부로서 영구적 저장 장치(202)에 저장될 수 있다. 이미지 코호트 및 임상 데이터 코호트에 대해 유사한 피드백이 수집되어 디스플레이된다.

위에서 설명되고 도시된 바와 같은 구성 요소 중 일부 또는 전부는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있음을 유의한다. 예를 들어, 그러한 구성 요소는 본 출원 전반에 걸쳐서 설명된 프로세스 또는 작업을 수행하기 위해 프로세서(도시되지 않음)에 의해 메모리에 로딩되어 실행될 수 있는 영구적 저장 장치에 설치 및 저장된 소프트웨어로서 구현될 수 있다. 대안적으로, 이러한 구성 요소는 집적 회로(예를 들어, 주문형 IC 또는 ASIC), GPU(그래픽 처리 장치), 디지털 신호 프로세서(DSP), 또는 필드 프로그램 가능 게이트 어레이(FPGA), 또는 이와 유사한 것과 같은 전용 하드웨어 내로 내장되거나 프로그래밍된 실행 가능 코드로서 구현될 수 있으며, 애플리케이션으로부터 해당 드라이버 및/또는 운영 체제를 통해 액세스될 수 있다. 또한, 이러한 구성 요소는 하나 이상의 특정 명령을 통해 소프트웨어 구성 요소에 의해 액세스 가능한 명령 세트의 일부로서 프로세서 또는 프로세서 코어의 특정 하드웨어 로직으로서 구현될 수 있다.

다른 양태에 따라, 이미지 처리 엔진은 일련의 의사들에 의해 수행된 의료 소견을 리뷰하기 위한 의료 데이터 리뷰 시스템의 일부로서 이용될 수 있다. 이미지 처리 엔진은 이상 소견일 가능성이 매우 높은 임의의 이미지를 선별 및 식별하는데 이용된다. 그 다음, 식별된 이미지는 소견을 검증 및 확인하기 위해 일련의 의사들에 의해 리뷰된다. 결과적으로, 리뷰될 필요가 있는 수천개의 의료 이미지에 대해, 이미지 처리 엔진은 이상 이미지를 예비 식별하기 위한 방대한 이미지 처리 작업을 수행할 수 있다. 그 다음, 이러한 이미지들은 소견을 확인하기 위해 의사들에 의해 리뷰된다. 이미지 처리 엔진 및 리뷰하는 의사의 소견들이 일치하는 경우, 관련된 이미지 처리 엔진의 작업이 검증될 수 있다(즉, 이미지 처리 엔진에 의해 사용된 알고리즘이 검증된다). 그렇지 않으면, 그러한 알고리즘은 예를 들어 기계 학습 방법을 사용하여, 추가적인 미세 조정 또는 트레이닝을 필요로 할 수 있다.

대안적으로, 기계 소견과 의사 소견 간에 임의의 불일치가 있는 경우, 데이터베이스(들)에서의 표시 및 restful 서비스 및/또는 API에서의 통지는 원하는 시스템 및 스태프에게 통지를 전송하는 효과가 있다. 그 다음, 이러한 식별된 상충되는 연구들은 이차적인 의사 리뷰를 위해 전송된다. 두 리뷰 결과물들이 모두 알려지면, 분석 모듈을 통한 조정에 의해 엔진 정확도를 확인하거나 엔진을 개선할 수 있다.

특정 실시형태에 따라, 의료 데이터 리뷰 시스템의 진단 이미지 처리 피처들을 사용하여, 다양한 이미지 처리 도구가 사용자에 의해 액세스될 수 있다. 대안적으로, 이러한 이미지 처리 도구는 PACS 또는 EMR, 또는 다른 임상 또는 정보 시스템과 같은 다른 타사 시스템에서 이후에 호출되는 이미지 처리 엔진(113 내지 115)으로서 구현될 수 있다. 다음은 위에서 설명된 이미지 처리 시스템의 일부로서, 포함 및/또는 추가로 자동화될 수 있거나, 또는 엔진으로 변환될 수 있는 현재의 주요 반자동화된 이미지 뷰잉 및 최신 시각화 시스템에 존재하는 의료 이미지 처리 도구의 실시예이다. 이들 실시예는 예시적인 목적으로 제공되며 제한으로 의도되지 않는다.

혈관 분석 도구는 관상 동맥으로부터 대동맥 내부 이식(aortic endograft) 계획으로의 그리고 경동맥 및 신장 동맥을 포함하는 보다 일반적인 혈관 리뷰로의 광범위한 혈관 분석 작업을 할 수 있는 CT 및 MR 혈관 조영술을 위한 포괄적인 혈관 분석 패키지를 포함할 수 있다. 자동-중심선 추출, 직선형 뷰, 직경 및 길이 측정, CPR 및 축방향 렌더링, 및 자동화된 박슬래브(thin-slab) MIP를 위한 혈관 추적 모드가 포함될 수 있다.

칼슘 스코어링 도구는 아가츠톤(Agatston), 체적 및 미네랄 질량 알고리즘을 통한 관상 동맥 칼슘의 식별을 포함할 수 있다. 맞춤형 옵션을 갖는 일체형 리포팅 패키지가 포함될 수 있다.

시간 의존형 분석(TDA) 도구는 CT 또는 MR로 획득된 시간 분석 평면 또는 체적 4D 뇌관류 검사를 포함할 수 있다. TDA 도구는 입력 함수 및 기준선의 반자동화된 선택을 통해, 평균 강화(enhancement) 시간 및 강화 정수와 같은 다양한 파라미터를 속도 분석과 매핑하는 것 또는 컬러를 지원할 수 있다. TDA 도구는 수분 내의 포착물에 대한 해석을 보장하기 위해, 동적 4D 영역 검출기 CT 검사의 신속한 자동화된 처리를 지원할 수 있다.

CT/CTA(컴퓨터 단층 촬영 혈관조영) 감산 도구는 CT 혈관조영 검사로부터 비-강화 구조체(예를 들어, 뼈)의 제거에 사용되며, CT/CTA 옵션은 조영전 및 조영후 이미지의 자동 등록을 포함하고, 노이즈 증가 없이 CTA 스캔으로부터 고강도 구조체(뼈 및 수술용 클립과 같은)를 제거하는 고밀도 복셀 마스킹 알고리즘이 후속되어, 조영 강화된 혈관 구조체의 분리를 보조한다.

소엽 분해 도구는 관심 체적 내의 트리형 구조체, 예를 들어 혈관상을 포함하는 스캔 영역, 또는 간과 같은 기관을 식별한다. 그 다음, LD 도구는 트리의 주어진 분기 또는 이의 하위 분기 중 하나에 대한 근접성에 기초하여 관심 하위 체적을 식별할 수 있다. 연구 애플리케이션은 기관의 소엽 구조체의 분석을 포함한다.

저노출 도구를 통한 일반 기능 강화 및 노이즈 처리는 소스 이미지 품질이 최적이 아닌 경우에도 3D, 중심선, 및 윤곽 형성 및 분할 알고리즘의 효율성을 개선하기 위한 노이즈 관리 기술을 적용하는 최신 체적 필터 아키텍처를 포함할 수 있다.

스피어파인더(Spherefinder) 도구는 높은 구형도 지수(많은 결절 및 폴립에 의해 나타나는 특성)를 갖는 구조체의 위치를 식별하기 위해 체적 검사의 자동화된 분석을 수행한다. 스피어파인더는 잠재적인 관심 영역을 식별하기 위해 폐 또는 결장 CT 스캔과 함께 흔히 사용된다.

분할, 분석 및 추적 도구는 폐 결절 또는 다른 잠재적 병변과 같은 집합체 및 구조체의 분석 및 특성화를 지원한다. 도구는 관심 영역을 식별하여 분할한 다음, RECIST 및 WHO와 같은 측정 기준을 적용함으로써, 소견 및 후속 비교를 테이블 형식으로 리포팅할 수 있다. 스피어파인더를 포함하는 선택적인 검출 엔진으로부터 후보 마커의 디스플레이 및 관리가 지원될 수 있다.

시간 체적 분석 도구는 심실과 같은 주기적 운동의 챔버로부터의 박출률의 자동화된 계산을 제공할 수 있다. 사용자가 관심 벽 경계(예를 들어, 심장 외막 및 심장 내막)를 식별할 수 있게 하고, 사용자가 확인한 이러한 관심 영역에 기초하여, 다상 CT 데이터로부터 박출률, 벽 체적(질량) 및 벽 비후를 리포팅할 수 있게 하기 위해, 빠르고 효율적인 작업 흐름이 포함될 수 있다. 테이블 형식의 리포팅 산출물이 포함된다.

악안면(Maxillo-facial) 도구는 악안면 영역의 CT 검사의 분석 및 시각화를 지원하며, 이들 도구는 CPR 도구를 적용하여 다양한 평면에서 그리고 다양한 두께의 "파노라마식" 투영도, 및 한정된 곡선 평면을 따라 설정된 증분으로 단면 MPR 뷰를 생성한다.

결장, 폐, 또는 혈관과 같은 관내 CT 또는 MR 검사에 적용 가능한 플라이스루(Flythrough) 도구는 병행 리뷰, 이전에 관찰된 영역의 페인팅, 퍼센트 커버리지 추적, 및 순방향, 역방향, 어안 및 평면 체적 렌더링 뷰를 포함하는 다수의 스크린 레이아웃을 지원한다. 일체형 콘텍스트 리포팅, 및 조영 감산을 위한 도구인 "큐브 뷰"가 지원될 수 있다. iNtuition의 스피어파인더를 포함하는 선택적인 검출 엔진으로부터 후보 마커의 디스플레이 및 관리가 지원될 수 있다.

체적 히스토그램 도구는 관심 체적이 분할되어 합성을 위해 분석될 수 있게 한다. 연구 애플리케이션은 폐의 저감쇠 영역의 분석, 복셀 모집단으로의 종양의 임계값 기반 분할, 혈전성 혈관이나 동맥류의 검사, 또는 다른 병리학을 포함한다.

소견 작업 흐름 도구는 일련의 검사에 걸쳐서 소견을 추적하기 위한 프레임워크를 제공한다. 데이터베이스는 측정치 및 핵심 이미지를 보유하고 있으며, 일련의 비교들을 제시하기 위한 RECIST 1.1 접근 방식과 같은, 시간에 따른 소견의 테이블 형식 리포팅 및 구조화된 비교를 위한 지원을 제공한다. 음성 인식 시스템 또는 임상 데이터베이스와의 자동화된 통합을 위해, 주석 및 이미지 마크업(AIM) XML 스키마가 지원될 수 있으며, 데이터베이스로부터 Word 기반 리포트가 도출될 수 있다.

이러한 도구들을 사용하여, 임의의 2개의 CT, PET, MR 또는 SPECT 시리즈, 또는 이들의 임의의 2개 시리즈 조합은 반투명 컬러 코딩이 할당된 하나와 오버레이될 수 있고, 해부학적 참조를 위해 그레이 스케일 및 체적 렌더링으로 표시된 다른 하나와 오버레이될 수 있다. 자동 등록이 제공되며, 임시 시리즈 또는 저장된 제3 시리즈에 대한 감산이 가능하다. PET/MR 시각화를 위한 지원이 포함된다.

특정 MR 검사(예를 들어, 유방 MR)는 시간 기간 동안 촬영된 일련의 이미지 포착물을 포함하며, 여기서 특정 구조체는 다른 구조체와 대비하여 시간에 따라 강화된다. 이러한 도구는 강화 구조체(예를 들어, 혈관 구조체 및 기타 강화 조직)의 시각화를 강조하기 위해 모든 강화후 이미지로부터 강화전 이미지를 감산하는 기능을 특징으로 한다. 시간 의존형 관심 영역 도구는 주어진 영역의 시간-강도 그래프를 그리기 위해 제공될 수 있다.

파라메트릭 매핑 도구는 다상 MR 도구에 대한 강화이며, 파라메트릭 매핑 옵션은 픽셀 강도의 시간 의존형 반응에 따라 이미지의 각각의 픽셀이 컬러 코딩되는 오버레이 맵을 사전 계산한다. 예를 들어, 이러한 도구는 유방 MR에 사용되어 강화 영역의 식별 및 검사 속도를 높일 수 있다.

MultiKv 도구는 다수의 벤더로부터의 듀얼 에너지 및 스펙트럼 이미징 포착을 위한 지원을 제공하여, 세그먼테이션 또는 콘트라스트 억제와 같은 표준 이미지 처리 알고리즘을 제공할 뿐만 아니라, 새로운 기술의 정확한 분석 및 개발을 위한 범용 툴킷을 제공한다.

이들 실시예 및 현재의 첨단 이미지 분석 및 임상 데이터 분석의 대부분의 기능은 의료 데이터 리뷰 플랫폼에서 지원될 수 있다. 그러나, 엔진들에 대한 엔진들 및 엔진들의 기능은 훨씬 더 발전하여, 더 높은 지능 및 자동화를 구비하는 도구들을 수용할 수 있을 뿐만 아니라, 엔진들을 개인 또는 그룹 선택사항들에 적응시킴으로써 개별적으로 맞춤화된 작업 흐름을 전달하기 위한 도구들을 수용할 수 있다.

위에서 설명된 실시형태는 다양한 의료 분야에 적용될 수 있다. 예를 들어, 위에서 설명된 기술은 혈관 분석(혈관 내 대동맥 회복(EVAR) 및 전기 생리학(EP) 계획을 포함함)에 적용될 수 있다. 이러한 혈관 분석은 대동맥 내부 이식 및 전기 생리학 계획과 더불어, 경동맥 및 신장 동맥과 같은, 관상 동맥 및 일반 혈관 분석 모두의 해석을 위해 수행된다. 로컬로 위치된 또는 클라우드에 위치된 전개를 위한 플랫폼의 클라우드 서비스로서 제공되는 도구는 자동 중심선 추출, 직선형 뷰, 직경 및 길이 측정, 컬러 오버레이, 융합 매핑, 곡선형 평면 교정(CPR) 및 축방향 렌더링을 포함할 뿐만 아니라, 혈관 직경 대 거리의 차트 작성 및 단면도 뷰를 포함한다. 혈관 추적 도구는 용이한 검색 및 심도 있는 질의를 위해, 혈관 중심선을 따라 이동하고 혈관 중심선을 중심으로 회전하는 2개의 직교 평면에서 최대 강도 투영도(MIP) 뷰를 제공한다. 플라크(plaque) 분석 도구는 연성 플라크, 석회화 플라크, 및 벽 내 병변과 같은 비-내강 구조체의 상세한 묘사를 제공한다.

또한, 위에서 설명된 기술은 혈관 내 대동맥 회복 분야에서 이용될 수 있다. 일부 실시형태에 따라, 유사한 클라우드 서비스로서 제공되는 혈관 분석 도구는 내부 이식조직(endograft) 크기 조정을 위한 측정치를 포착하는 리포트 템플릿의 정의를 지원한다. 다수의 액세스 포인트를 통한 EVAR 처치의 계획을 가능하게 하기 위해 다수의 중심선이 추출될 수 있다. 혈관에 수직인 직경은 2개의 대동맥 회장동맥 경로를 따라 거리와 함께 측정될 수 있다. 주요 대동맥 내부 이식조직 제조품의 측정 사양이 스텐트 크기 조정을 위해 필요한 바와 같이 제조될 수 있게 하기 위해 주문형 작업 흐름 템플릿이 사용될 수 있다. 또한, 유창(fenestrated) 및 분기 장치 계획을 위해 분기 혈관의 배향 및 위치를 문서화하는 것을 보조하도록 "클럭-페이스(clock-face)" 오버레이를 사용하는 Sac 세그먼테이션 및 체적 결정이 사용될 수 있다. 필요한 측정치 및 데이터를 포함하는 리포트가 생성될 수 있다.

또한, 위에서 설명된 기술은 좌심방 분석 모드에 적용될 수 있으며, 메이저 및 마이너 정맥 직경의 평가를 위해, 클라우드 서비스로서 제공되는 거리 쌍 도구를 통해 각각의 폐정맥 소공의 반자동화된 좌심방 세그먼테이션이 지원된다. 측정치는 일체형 리포팅 시스템 내로 자동으로 검출 및 포착된다. 이러한 기능들은 다른 혈관 분석 도구들과 결합됨으로써 절제 및 리드 접근법 계획을 위한 포괄적이고 맞춤화된 EP 계획 작업 흐름을 제공할 수 있다.

또한, 위에서 설명된 기술은 칼슘 스코어링에 이용될 수 있다. 관상 동맥 칼슘의 식별에 아가츠톤이 지원되며, 체적 및 미네랄 질량 알고리즘들이 합산되어 리포팅된다. 결과물은 환자 및 이들의 심혈관계 병력 및 위험 인자와 관련된 다양한 다른 데이터와 함께 개방 포맷 데이터베이스에 저장될 수 있다. 이러한 데이터에 기초하여 맞춤형 리포트가 자동으로 생성될 수 있다. 또한, 심혈관 컴퓨터 단층촬영 협회(SCCT) 가이드라인에 의해 정의된 바와 같은 리포트 생성을 포함한다.

또한, 위에서 설명된 기술은 좌심실 체적, 박출률, 다상 데이터로부터의 벽 비후 및 심근 체적(질량)의 완전 자동화된 계산을 포함할 수 있는 시간-체적 분석(TVA)에 이용될 수 있다.

또한, 위에서 설명된 기술은 폐 CT 검사를 포함하는, 다양한 스캔에서의 집합체 및 구조체의 분석 및 특성화 지원을 포함하는 세그먼테이션 분석 및 추적(SAT) 분야에 이용될 수 있다. 피처들은, 집합체의 세그먼테이션, 치수 및 체적의 리포팅, 선택된 영역의 그래픽 3D 디스플레이, 퍼센트 체적 변동 및 배가 시간을 포함하는 후속 비교를 위한 지원, 및 필터 결과물(예를 들어, 구형도)의 리뷰 및 적용을 위한 지원을 포함한다.

또한, 위에서 설명된 기술은 결장의 자동 세그먼테이션 및 중심선 추출의 피처를 포함할 수 있는 플라이스루 분야에 이용될 수 있으며, 2D 리뷰는 대표적인 동기화된 관내 뷰와 함께, 축방향, 관상 또는 시상 뷰에서 병행 동기화된 앙와위(supine) 및 복와위(prone) 데이터 세트를 포함한다. 3D 리뷰는 큰 관내 뷰 및 전체 결장을 디스플레이하는 전개된 뷰와 함께 축방향, 관상 및 시상 MPR 또는 MIP 이미지 디스플레이를 포함한다. 북마크 및 병합 소견, 폴립 식별, 관찰되지 않은 섹션의 단계적 리뷰 뿐만 아니라, 일체형 콘텍스트 리포팅 도구 및 관심 체적을 분리하기 위한 큐브 뷰를 통해, 100% 커버리지를 보장하도록 커버리지 추적이 지원된다. 필터 결과물(예를 들어, 구형도)의 사용을 위한 지원이 제공된다.

또한, 위에서 설명된 기술은 예를 들어 뇌관류 연구 내에서, 적절한 컴퓨터 단층촬영 혈관 조영(CTA) 및/또는 MRI 검사의 시간 의존형 반응의 평가 분석을 제공하는 시간 의존형 분석(TDA) 분야에 이용될 수 있다. 다수의 시간 의존형 시리즈가 동시에 분석되며, 입력 및 출력 함수와 관심 영역을 선택하기 위한 절차적 작업 흐름이 제공된다. 혈류, 혈액량 및 체류 시간 맵에 대한 값들의 내보내기는 DICOM 또는 다른 이미지 포맷으로 지원되거나 내보내어 진다. 다른 산출물들은 다양한 시간 의존형 파라미터의 계산을 포함한다.

또한, 위에서 설명된 기술은 CTA-CT 감산 분야에 이용될 수 있으며, CTA-CT 감산은, 조영전 및 조영후 이미지의 자동 등록을 포함하고, 노이즈를 증가시키지 않으면서 그리고 조영 강화된 혈관 구조체를 온전하게 유지하면서, CTA 스캔으로부터 고강도 구조체(예를 들어, 뼈 및 수술용 클립)를 제거하는 감산 또는 고밀도 복셀 마스킹 기술이 후속된다.

또한, 위에서 설명된 기술은 치과 CT 스캔의 리뷰에 적용될 수 있는 CPR 도구를 제공하는 치과 분석에 이용될 수 있으며, 다양한 평면에서 그리고 다양한 두께의 "파노라마식" 투영도, 및 한정된 곡선 평면을 따라 설정된 증분으로 단면 MPR 뷰를 생성하는 기능을 제공한다.

또한, 위에서 설명된 기술은 다상 MR(기초적인, 예를 들어, 유방, 전립선 MR) 분야에 이용될 수 있다. 특정 MR 검사(예를 들어, 유방, 전립선 MR)는 시간 기간 동안 촬영된 일련의 이미지 포착물을 포함하며, 특정 구조체가 다른 구조체와 대비하여 시간에 따라 강화된다. 기능은 강화 구조체(예를 들어, 혈관 구조체 및 기타 강화 조직)의 시각화를 강조하기 위해 모든 강화후 이미지로부터 강화전 이미지를 감산하는 기능을 포함한다. 시간 의존형 관심 영역 도구는 주어진 영역의 시간-강도 그래프를 그리기 위해 제공된다.

또한, 위에서 설명된 기술은 파라메트릭 매핑(예를 들어, 다상 유방 MR을 위한)에 이용될 수 있으며, 파라메트릭 매핑 모듈은 이미지 내의 각각의 픽셀이 픽셀 강도의 시간 의존형인 반응에 따라 컬러 코딩되는 오버레이 맵을 사전 계산한다.

또한, 위에서 설명된 기술은 이미지 데이터 세트 내의 대상물의 구형도를 구하는데 이용될 수 있다. 이는 잠재적인 관심 영역을 식별하기 위해 폐 또는 결장 CT 스캔과 함께 흔히 사용된다.

또한, 설명된 기술은 CT/MR/PET/SPECT를 위한 융합에 이용될 수 있다. 임의의 2개의 CT, PET, MR 또는 SPECT 시리즈 또는 임의의 2개의 시리즈 조합은 반투명 컬러 코딩이 할당된 하나, 및 해부학적 참조를 위해 그레이 스케일 및 체적 렌더링으로 표시된 다른 하나와 오버레이될 수 있다. 자동 등록이 제공되며, 임시 시리즈 또는 저장된 제3 시리즈에 대한 감산이 가능하다.

또한, 위에서 설명된 기술은 소엽 분해 분야에 이용될 수 있다. 소엽 분해는 해부학적 구조체를 검출하여 분할하도록 설계된 분석 및 분할 도구이다. 트리형 구조체(예를 들어, 동맥 및/또는 정맥 트리)와 얽혀 있는 임의의 구조체 또는 기관 영역의 경우, 도구는 이에 관련된 트리 뿐만 아니라 관심 체적을 계산하고, 체적을 트리 또는 이의 임의의 특정 하위 분기에 가장 근접한 엽(lobe) 또는 구역으로 분할한다. 이러한 일반적이고 유연한 도구는 간, 폐, 심장 및 다양한 다른 기관 및 병리학적 구조체의 분석에 있어서 잠재적인 연구 적용예들을 갖는다.

또한, 위에서 설명된 기술은 체적 히스토그램 계산 분야에 이용될 수 있다. 체적 히스토그램은 상이한 강도 또는 밀도 범위의 그룹 또는 모집단을 생성하는 구성 복셀에 기초하여, 주어진 관심 체적을 분할한다. 이는 예를 들어, 암(활성 종양, 괴사 조직 및 부종 사이의 균형을 이해하기 위한 시도로서, 종양의 조성을 분석하는 것이 바람직함), 또는 폐기종(폐 CT 검사에서 저감쇠 복셀의 모집단이 초기 질병의 의미 있는 지표일 수 있음)과 같은 질병 프로세스에 대한 연구를 지원하기 위해 사용될 수 있다.

또한, 위에서 설명된 기술은 모션 분석 분야에 이용될 수 있다. 모션 분석은 대화형 3D 또는 4D 디스플레이가 이용 가능하지 않는 경우, 소견의 보다 효과적인 통신을 위해 4D 프로세스의 강력한 2D 표현을 제공한다. 고동치는 심장과 같은 임의의 동적 체적 포착물은 동적 시퀀스 전반에 걸쳐서 핵심 경계의 윤곽의 컬러 코딩된 "트레일"을 생성하기 위해, 모션 분석될 수 있으므로, 문헌으로 용이하게 리포팅될 수 있는 방식으로, 단일 2D 프레임이 모션을 포착하여 나타낼 수 있게 한다. 컬러 패턴의 균일성 또는 이의 부족은 모션이 조화적인 정도를 반영하여, 단일 이미지로부터 즉각적인 시각적 피드백을 제공한다.

도 6은 일 실시형태에서 사용될 수 있는 데이터 처리 시스템의 블록도이다. 예를 들어, 시스템(1700)은 위에서 설명된 바와 같이 서버 또는 클라이언트의 일부로서 사용될 수 있다. 예를 들어, 시스템(1700)은 네트워크 인터페이스(1710)를 통해 원격 클라이언트 디바이스 또는 다른 서버에 통신 가능하게 연결되는 위에서 설명된 이미지 처리 서버(110)를 나타낼 수 있다. 도 6은 컴퓨터 시스템의 다양한 구성 요소를 도시하지만, 구성 요소를 상호 연결하는 임의의 특정 아키텍처 또는 방식을 나타내려는 의도가 아니라는 점을 유의한다; 따라서, 이러한 세부사항은 본 발명과 밀접하게 관련되지 않는다. 또한, 더 적은 구성 요소를 갖거나 또는 더 많은 구성 요소를 가질 수도 있는 네트워크 컴퓨터, 휴대형 컴퓨터, 휴대 전화 및 다른 데이터 처리 시스템이 본 발명에서 사용될 수도 있음을 인식할 것이다.

도 6에 도시된 바와 같이, 데이터 처리 시스템의 일 형태인 컴퓨터 시스템(1700)은 하나 이상의 마이크로프로세서(1703) 및 ROM(1707), 휘발성 RAM(1705), 및 비휘발성 메모리(1706)에 연결되는 버스 또는 상호 연결부(1702)를 포함한다. 마이크로프로세서(1703)는 캐시 메모리(1704)에 연결된다. 버스(1702)는 이러한 다양한 구성 요소를 함께 상호 연결하고, 또한 이러한 구성 요소(1703, 1707, 1705 및 1706)를 디스플레이 제어기 및 디스플레이 장치(1708)와 상호 연결할 뿐만 아니라, 마우스, 키보드, 모뎀, 네트워크 인터페이스, 프린터, 및 당업계에 널리 알려진 다른 장치일 수 있는 입력/출력(I/O) 장치(1710)와 상호 연결한다.

전형적으로, 입력/출력 장치(1710)는 입력/출력 제어기(1709)를 통해 시스템에 연결된다. 휘발성 RAM(1705)은 전형적으로 메모리에 데이터를 리프레시 또는 유지하기 위해 지속적으로 전원을 필요로 하는 동적 RAM(DRAM)으로서 구현된다. 비휘발성 메모리(1706)는 전형적으로 자기 하드 드라이브, 자기 광학 드라이브, 광학 드라이브, 또는 DVD RAM, 또는 전원이 시스템으로부터 제거된 후에도 데이터를 유지하는 다른 유형의 메모리 시스템이다. 또한, 전형적으로, 비휘발성 메모리는 랜덤 액세스 메모리이지만, 이는 필수가 아니다.

도 6은 비휘발성 메모리가 데이터 처리 시스템의 나머지 구성 요소에 직접 연결된 로컬 장치임을 도시하지만, 시스템은 예를 들어, 모뎀 또는 이더넷 인터페이스와 같은 네트워크 인터페이스를 통해 데이터 처리 시스템에 연결되는 네트워크 저장 장치와 같이, 시스템으로부터 멀리 떨어진 비휘발성 메모리를 사용할 수 있다. 버스(1702)는 당업계에 널리 알려진 바와 같이, 다양한 브리지, 제어기, 및/또는 어댑터를 통해 서로 연결된 하나 이상의 버스를 포함할 수 있다. 일 실시형태에서, I/O 제어기(1709)는 USB(범용 시리얼 버스) 주변 장치를 제어하기 위한 USB 어댑터를 포함한다. 대안적으로, I/O 제어기(1709)는 파이어와이어 장치를 제어하기 위한 파이어와이어 어댑터로도 알려진 IEEE-1394 어댑터를 포함할 수 있다.

사전 완성된 리포트를 리뷰하는 경우, 의사는 Nuance Communications, Inc.로부터 입수 가능한 PowerScribe 360 리포팅 제품과 같은 리포팅 솔루션을 사용할 수 있으며, 이는 의사가 사전 완성된 리포트를 보정하기 위해 자연 언어의 구술 또는 타이핑을 사용할 수 있게 한다. 대안적으로 또는 부가적으로, 보다 통일된 리포트를 생성하기 위해, 환자 상태 및 이전의 선택에 기초하여 관련 단어를 선택하도록 프로그래밍된 로직을 사용하는 구조화된 리포팅 솔루션이 의사에 의해 사용될 수 있다. 이러한 피처는 의사 소견과 리포트 간의 단방향 통신을 이용한다.

또한, 이미지로부터 도출된 정보 또는 추론이 이미지 해석 리포트의 일부 또는 전부를 채우기 위해 사용될 수 있도록 하는, 이미지 처리 및 리포트 생성에 적용되는 인공 지능 또는 기계 학습의 신생 분야가 있다. 예를 들어, Galileo CDS, Inc.로부터 입수 가능한 Galileo 임상 결정 지원 시스템, RadLogics, Inc.로부터 입수 가능한 의료 이미징 분석을 위한 기계 학습 솔루션, 및 Enlitic, Inc.로부터 입수 가능한 임상 지원 제품을 참조한다.

후술되는 바와 같이, 시스템은 이미지 뷰어와 솔루션 리포팅 솔루션 간의 양방향 통신을 가능하게 한다. 시스템은 생성된 소견이 리뷰하는 의사에 의해 참조되거나, 수용되거나, 조정되거나, 삭제되거나 대체될 수 있도록, 뷰어 내에서 컴퓨터 생성 소견을 시연하기 위한 기능을 포함한다. 의사에 의한 이러한 리포트 변경은 의사가 제공한 정보에 기초하여 리포트를 자동으로 업데이트한다. 유사하게, 의사가 이미지 뷰어에서 상이한 측정을 통해 생성된 상이한 측정치로 리포트 내의 숫자를 대체하는 경우, 시스템은 의사가 교체된 이전 측정치의 삭제를 수용하도록 프롬프팅하거나, 또는 이러한 선택사항 및 다른 선택사항에 기초하여 자동으로 이를 수행한다.

이미지 뷰어와 솔루션 리포팅 솔루션 간의 양방향 통신을 가능하게 하는 그러한 시스템은 이미지를 통해 시작하는 의사의 자연적인 성향을 보조하고, 선험적 지식을 통한 편향의 생성을 방지하도록 돕는다. 또한, 이는 미리 채워진 리포트를 통해 시작하는 의사가 컴퓨터 생성 소견을 맹목적으로 수용해야 하거나 소견과 이미지 간의 과장되는 이들을 검증해야 하는 경우를 방지하도록 돕는다. 이미지 뷰어 내에서의 소견의 변경에 따라 리포트의 결과물이 업데이트되지 않을 수 있기 때문에, 작업 흐름은 손상되지 않는다. 더 중요한 것은, 이미지 내에서 의사의 추가적인 질의 및 측정에 의해 이루어진 리포트에서의 소견 변경은 컴퓨터 자동화 방법에 의해 이미지에 이루어진 원래의 측정치 또는 주석이 제거되거나 대체되도록 조정된다. 이는 이미지가 최종 리포트와 함께 저장되는 경우 발생할 수 있는 환자 기록의 혼란을 방지하고, 이들이 중복되거나 또는 업데이트되지 않은 경우 컴퓨터 생성 소견을 삭제하기 위한 불필요한 작업을 방지한다. 이러한 작업 흐름 혼란 및 비효율성은, 변경 시점, 변경되는 것이 리포트 값인지 여부, 또는 새로운 결과값을 생성하도록 조정되는 이미지 뷰어에 사용된 이미지 프로세스 또는 측정치와 관계없이, 진단 해석 뷰어 및 리포트 내에서 의사가 조정, 추가 또는 삭제한 소견의 양방향 업데이트에 의해 해결된다.

이미지 해석 환경 내의 인공 지능 소견(통칭하여 인공 지능 소견으로 지칭됨) 시스템 및 방법은 이미지 해석 환경으로부터 구조화된 리포트로의 양방향 데이터 흐름을 가질 수 있다. 인공 지능 소견은 이미지 해석 환경 리포트로부터 클라우드(예를 들어, WIA 클라우드)로의 양방향 흐름을 가질 수 있다.

리포트가 구조화되거나 비구조화될 수 있으므로, 시스템은 수동 리포팅 방법을 사용하는 의사가 리포트에 있는 값들에 링크된 뷰어의 측정치들을 생성할 수 있게 하는 것이 유용하다. 보다 최신의 구조화 또는 다른 리포팅 시스템 또는 이미지 처리 엔진에서는, 사전의 의사 조언을 받지 않은 완전히 완성된 리포트까지 그리고 이를 포함하여, 복수의 측정치 및 이미 생성된 소견이 있을 수 있다.

인공 지능 소견은 이미지 해석 환경으로부터의 양방향 흐름을 가질 수 있고, 이미지 처리 시스템은 이미지 내에서 자동화된 소견을 생성할 수 있다. 부가적으로, 인공 지능 소견은 의사가 다시 변경한 변경 사항을 이미지 처리 시스템에 통신할 수 있으므로, 이에 기초하여 "트레이닝 데이터" 및 의사의 실측 정보(ground-truthing)를 개선할 수 있게 함으로써, 위에서 추가로 설명된 바와 같이, 컴퓨터 생성 소견이 의사에 의해 조정 및/또는 수용될 수 있다.

인공 지능 소견은 이미지 해석 환경에서 사용자에 의해 조정될 수 있는 소견을 가질 수 있으며, 이는 결과적으로 리포팅된 소견을 조정한다. 리포팅된 소견은 구조화된 리포트 내에 있을 수 있다. 인공 지능 소견은 인공 지능 소견이 이미지 내에 효율적으로 제시된 이미지 해석 환경 내에서 사용자의 눈/시력/정신 집중이 유지될 수 있게 하는 작업 흐름을 가질 수 있다. 인공 지능 소견은 개선된 작업 흐름을 제공하도록 추적, 분류, 학습 및 최적화될 수 있는 이미지에서의 사용자 조정을 가능하게 할 수 있다. 인공 지능 소견은 이미지 해석 환경 내에서 소견을 생성할 수 있으며, 사용자 또는 사용자 그룹에 의한 소견에 대한 조정에 기초하여 기계 학습 및/또는 딥 러닝할 수 있다. 기계 학습 및/또는 딥 러닝에 기초하여, 인공 지능 소견은 특정 사용자 및/또는 그룹을 위해 소견을 예측 및/또는 생성할 수 있다.

예를 들어, 이미지 처리 시스템에서 실행되는 컴퓨터 처리 엔진은 혈관을 통하는 중심선을 3차원으로 먼저 배치한 다음, 불규칙적이고 완전한 원이 아닌 긴 혈관 벽의 둘레를 따라 윤곽선 또는 표면 에지를 생성함으로써, 환자의 복부 대동맥의 최대 직경의 영역을 표시할 수 있다. 그 다음, 컴퓨터 처리 엔진은 많은 평면들을 이러한 중심선에 90도 각도로 배치하고, 이러한 평면이 평면 내에 있는 위치를 찾는다. 예를 들어, 어떤 것이 최고 값을 가져서 가장 큰지를 결정하기 위해 RESIST 측정치 또는 총 면적을 계산하는 다양한 방법을 사용하여, 이러한 관심 영역이 측정된다. 이러한 에지 윤곽선 및 측정치는, 해당 유형의 이러한 측정치가 이것이 생성된 특정 위치에서 상관된다는 것을 두 시스템이 인지할 수 있게 하는 링크와 함께, 해석 뷰어 및 리포팅 시스템으로 리턴된다.

또한, 컴퓨터 처리 엔진은 특정 유형의 소견을 갖는 연구를 해석하는 경우 최적화된 작업 흐름을 가능하게 하기 위해, 뷰어를 의사의 선택사항에 적응시킬 수 있다. 또한, 자동 생성된 소견 자체는 의사, 의사들의 그룹, 또는 시스템의 전체 사용자들이 시간이 경과함에 따라 제공하는 "트레이닝"에 기초하여 개별화 및/또는 개선될 수 있다.

도 7은 의료 이미지 해석 시스템 또는 다른 이미지 해석 환경 내의 인공 지능 소견 시스템(70)을 도시하는 간소화된 블록도이다. 예를 들어, 인공 지능 소견 시스템(70)은 네트워크를 통해 인공 지능 소견 인터페이스(72)로 전송된 이미지 데이터(71)를 포함할 수 있다. 인공 지능 소견 인터페이스(72)는 예를 들어, 워크스테이션(73)으로 나타낸 바와 같은 적어도 하나의 워크스테이션에 네트워크를 통해 통신 가능하게 연결될 수 있다. 워크스테이션(73)은 예를 들어, 태블릿, 모바일 디바이스, 랩탑, 데스크탑, 또는 이들의 임의의 조합일 수 있다. 워크스테이션(73)은 클라이언트 뷰어(74), 리포트(75)(구조화 또는 비구조화될 수 있음), 웹 페이지 산출물, 인터페이스와 통신할 수 있는 임의의 시스템에 의한 픽업에 이용 가능한 결과물, 또는 이들의 임의의 조합을 포함할 수 있는 진단 리뷰 시스템으로서 기능한다. 진단 리뷰 시스템은 사용자가 소견을 검토하여 확인할 수 있게 한다. 진단 리뷰 시스템은 소견이 검토되지 않는지, 검토되는지, 확인되지 않는지 또는 확인되는지 여부를 추적한다. 진단 리뷰 시스템은 사용자가 이미지를 수정하여 도출된 이미지를 생성할 수 있게 한다. 리포트에 이루어진 변경은 뷰어에 의해 디스플레이되는 이미지에 반영된다. 뷰어에 의해 디스플레이된 이미지에 이루어진 변경은 리포트에 반영된다. 도 7은 클라이언트 뷰어(74) 및 리포트를 모두 포함하는 진단 리뷰 시스템을 도시하지만, 진단 리뷰 시스템은 리포트 또는 리포팅 시스템 없이 클라이언트 뷰어만을 포함할 수 있거나, 또는 클라이언트 뷰어 없이 리포트 또는 리포팅 시스템만을 포함할 수 있다.

도 7은 의료 이미지 해석 시스템 또는 다른 이미지 해석 환경 내의 인공 지능 소견 시스템(70)을 도시하는 간소화된 블록도이다. 예를 들어, 인공 지능 소견 시스템(70)은 네트워크를 통해 인공 지능 소견 인터페이스(72)로 전송된 이미지 데이터(71)를 포함할 수 있다. 인공 지능 소견 인터페이스(72)는 예를 들어, 워크스테이션(73)으로 나타낸 바와 같은 적어도 하나의 워크스테이션에 네트워크를 통해 통신 가능하게 연결될 수 있다. 워크스테이션(73)은 예를 들어, 태블릿, 모바일 디바이스, 랩탑, 데스크탑, 또는 이들의 임의의 조합일 수 있다. 워크스테이션(73)은 클라이언트 뷰어(74), 리포트(75)(구조화 또는 비구조화될 수 있음), 웹 페이지 산출물, 인터페이스와 통신할 수 있는 임의의 시스템에 의한 픽업에 이용 가능한 결과물, 또는 이들의 임의의 조합을 포함할 수 있는 진단 리뷰 시스템으로서 기능한다. 진단 리뷰 시스템은 사용자가 어느 하나의 사용자 경험 인터페이스에서 소견을 검토하고, 조정하며, 확인할 수 있게 한다. 소견은 뷰어에만 표시될 수 있거나, 리포트에만 표시될 수 있거나, 또는 뷰어 및 리포트에 함께 표시될 수 있다. 추적된 사용자 반응과 함께 설정 및 사용자 선택사항은 이러한 반응을 나타내는 소견의 유형 및 양을 변경시킬 수 있다. 진단 리뷰 시스템은 소견이 검토되지 않는지, 검토되는지, 조정되는지, 조정되지 않는지, 확인되지 않는지, 확인되는지, 리포팅되지 않는지 또는 리포팅되는지 여부를 추적한다. 진단 리뷰 시스템은 사용자가 이미지를 수정할 수 있게 함으로써, 새로운 소견 또는 조정된 소견을 생성하고, 소견을 삭제하며, 소견이 있는 새로운 도출된 이미지를 생성하거나 소견이 없는 새로운 도출된 시리즈를 생성할 수 있게 한다. 리포트에 이루어진 변경은 뷰어에 디스플레이된 소견, 또는 뷰어에 의해 이미지가 디스플레이되는 소견에 반영된다. 뷰어에 의해 디스플레이된 이미지 또는 이미지에서 소견에 이루어진 변경, 추가 또는 삭제는 리포트에 반영된다.

예를 들어, 리포트(75)는 이미지 데이터에 기초하여 소견을 리포팅하는 의사에 의해 완성되는 리포팅 데이터 구조를 나타낸다. 리포트(75)는 AIF 인터페이스 및/또는 클라이언트 뷰어(74)에 의해 이미지 데이터의 해석에 기초하여 후보 소견으로 미리 채워질 수 있다. 리포트를 리뷰할 때 및/또는 클라이언트 뷰어(74)와 상호 작용할 때 사용자(예를 들어, 의사)는 후보 소견을 조정하여 리포트를 완성한다. 리포트(74)의 후보 소견에 이루어진 변경은 클라이언트 뷰어(74)에 나타낸 이미지를 조정하기 위해 의료 이미지 해석 시스템에 의해 사용된다. 마찬가지로, 클라이언트 뷰어(74)에 나타낸 이미지에 이루어진 변경은 리포트(74)의 소견을 조정하기 위해 의료 이미지 해석 시스템에 의해 사용된다. 사용자가 소견 조정을 완료하면, 리포트(74)는 최종 형태가 된다.

인공 지능 소견 시스템(70)과 워크스테이션(73) 사이의 화살표는 인공 지능 소견 시스템(70)으로부터 워크스테이션(73) 내의 진단 리뷰 시스템으로 소견을 제공하는 통신 인터페이스를 인공 지능 소견 시스템(70)이 포함한다는 것을 나타낸다. 예를 들어, 인공 지능 소견 시스템(70) 및 워크스테이션(73)은 모두 의료 이미지 해석 시스템 내에 있다.

이미지 데이터(71)는 임의의 양식의 이미지(예를 들어, X-레이, CT, MRI, 또는 이들의 임의의 조합)를 포함할 수 있다. 이미지 데이터(71)는 소견을 생성하기 위해 소견 엔진(77)에 의해 해석된다. 소견은 예를 들어, 질병, 징후, 피처, 대상물, 형상, 텍스처, 측정치, 플래그, 렌더링, 윤곽선, 또는 이들의 임의의 조합과 같이 의학적 유의성이 있는 것일 수 있다. 데이터 전용 요소(비-이미지 데이터)가 동시에 또는 독립적으로 지원된다. 전형적으로, 이러한 소견은 임상적 유의성이 있지만, 작업 흐름의 유의성 또는 심지어 시스템 성능의 유의성이 있을 수 있다. 이러한 소견은 산업 표준 통신 및/또는 방법을 사용할 수 있지만, 인공 지능 소견 시스템(70)의 기능에 있어서는 차이가 없이, 사용되는 이미지 또는 정보 처리 엔진에 고유할 수 있다. 소견 엔진(71)은 이미지 데이터를 수신하여 이미지 데이터를 해석함으로써, 이미지 데이터, 연관된 환자 정보에 기초하여, 그리고 사용자에 대한 저장된 선택사항을 고려하는 이미지 해석 알고리즘에 기초하여, 소견을 생성한다.

인공 지능 소견 인터페이스(72)는 이미지 프로세서(76), 소견 엔진(77), 추적 모듈(78), 조정 엔진(79), 저장 장치(도시되지 않음), 또는 이들의 임의의 조합을 포함할 수 있다. 이미지 프로세서(76)는 예를 들어, 소견을 생성하기 위해 이미지 데이터(71)를 처리할 수 있다. 예를 들어, 이미지 프로세서(76)는 컬러 맵 오버레이와 같은 처리 기능을 가질 수 있으며, 특정 픽셀 또는 인접 픽셀의 밀도 또는 신호 강도가 이미지 포착 동안에 시간에 따라 변경된다. 이는 파라메트릭 매핑으로도 알려져 있다. 또한, 처리 기능은 높고 낮은 강도 또는 신호가 변경되는 경우 영역을 한정하는 윤곽선을 포함할 수 있으며, 심장의 심실, 또는 임상적으로 정의된 간 분절들 중 어느 하나와 같은, 기관 내의 특정 관심 영역 또는 기관의 에지를 한정하는데 나중에 사용될 수 있는 "윤곽선" 또는 에지를 한정한다. 이러한 윤곽선 및 세그먼테이션 절차는 기관의 체적과 같은 분석적 계산, 조직 유형들의 구별 등을 위한 기초로서 매우 흔히 사용된다. 따라서, 윤곽선은 1차원(점대점)일 수 있거나, 또는 3차원으로 간격을 두고 연결된 지점들의 그룹일 수 있거나, 또는 시간에 따른 일련의 다점 윤곽선들(예를 들어, 4차원)로서 시간에 따라 추적될 수도 있다. 이러한 윤곽 형성 및 세그먼테이션은 흔히 임상 지식에 따라 원하는 결과물을 얻기 위해 휘도 또는 신호를 조정하는 임계값을 선택함으로써 구현된다. 인공 지능 엔진의 목표는 이러한 의사가 임계값 및 윤곽선을 형성한 수백개의 이미지들을 검토하고, 의사의 조치를 시뮬레이션하여, 리뷰하는 의사를 위한 이미지를 생성하는 것이다. 이는 리뷰하는 의시가 생성된 이미지를 수용하거나 사소한 조정을 할 수 있게 함으로써, 많은 다른 단계를 방지할 수 있다. 경우에 따라, 정량화는 거의 관계가 없을 수 있지만, 의사에 의해 고려되어 추가적인 평가 없이 수용될 수 있다. 예를 들어, 관상 동맥에서 칼슘의 양은 수동, 반자동화된 또는 완전 자동화된 시스템에 의해 계산될 수 있다. 의사가 심장 기능을 리뷰하고 있는 경우, 완전 자동화된 칼슘 스코어를 포함시키고 위에서 설명된 바와 같이 이를 리포트 내로 푸시하는 것이 널리 수용 가능할 수 있다. 리포트는 어떤 것이 의사가 리뷰한 것인지 그리고 어떤 것이 자동으로 생성된 것인지에 관하여 풍부하게 채워지고 명확해진다. 이러한 데이터가 자주 포함되는 경우, 이것이 디폴트 반응인지 여부에 관하여 의사가 프롬프팅될 수 있다. 리포트는 그러한 특정 소견이 조정되었는지, 수용되었는지, 대체되었는지 또는 거부되었는지 여부, 또는 최종 사용자에 의해 원래의 독립적인 소견으로서 이루어졌는지 여부에 관하여 각각의 소견에 대한 상태 표시를 포함할 수 있다. 리포트 사용자의 선택사항 및 조치가 추적 및 측정될 수 있으므로, 초기 리포트의 품질을 향상시킬 수 있고, 수용된 리포트를 달성하기 위해 점점 더 적은 입력을 필요로 할 수 있어서, 시간이 경과함에 따라 잠재적으로 어떠한 입력도 필요로 하지 않게 된다.

조정 엔진(79)은 이미지 해석 환경(즉, 클라이언트 뷰어(74)) 내에서 사용자가 소견을 조정할 수 있게 함으로써, 리포트(75) 및/또는 이미지 해석 환경에서 조정이 보일 수 있다. 조정 엔진(79)은 사용자가 리포트(75) 내의 소견을 조정할 수 있게 함으로써, 이미지 해석 환경에서 조정이 보일 수 있다. 조정은 실시간으로, 주기적으로, 또는 이들의 임의의 조합으로 이루어질 수 있다. 임의의 조정은 소견의 그러한 조정을 확인하도록 사용자에게 표시하기 위한 확인 표시를 가질 수 있다. 예를 들어, 워크스테이션(73) 내의 클라이언트 뷰어 또는 리포팅 시스템에 의해 소견에 대한 변경이 통지되는 경우, 인공 지능 인터페이스(72) 내의 통신 인터페이스에 의해 조정이 프롬프팅된다. 소견 엔진(77)은 이미지 데이터(71) 및/또는 이미지 프로세서(76)에 기초하여 소견을 생성할 수 있다. 소견 엔진(77)은 이미지 처리 기능과 관련된 소견을 생성할 수 있다. 추적 엔진(78)은 초기 소견, 조작된 소견, 조정된 소견, 또는 이들의 임의의 조합을 추적할 수 있다. 예를 들어, 임의의 누락을 방지하기 위해, 사용자가 검토하지 않았거나 또는 사용자가 조정하지 않았던 소견의 요약이 사용자에게 제공될 수 있다. 대안적으로, 의사는 이미지 해석으로 시작하여 의사가 수용 또는 거부할 수 있는 검증되지 않은 측정치를 우연히 발견하길 원할 수 있다. 이는 리포트에서, 검토되지 않았고, 삭제되었으며, 조정되었고, 사용자에 의해 완전히 새롭게 추가되었던 측정치가 리포트에 고유하게 표시될 수 있어야 함을 의미한다(리포트에서의 분류 또는 컬러나 메모 등을 통해). 예를 들어, 사용자는 검토되지 않았거나, 확인되지 않았거나, 거부되지 않았거나, 리포팅되지 않았거나 또는 조정되지 않았던 소견을 리뷰하도록 프롬프팅된다. 소견이 클라이언트 뷰어를 통해 사용자에게 디스플레이되고 사용자가 디스플레이된 소견과 추가로 상호 작용하지 않거나 디스플레이된 소견을 확인하지 않는 경우, 시스템이 소견을 거부된 것으로 표시하거나 리포트에서 소견을 제외시키기 위한 사용자 옵션이 제공된다.

예를 들어, 인공 지능 소견 인터페이스(72)는 예를 들어, 도 7에 도시된 의료 이미지 해석 시스템에 의해 또는 유사한 앱 스토어 시스템에 의해 구현될 수 있다. 대안적으로, 인공 지능 소견 인터페이스(72)는 예를 들어, 단일 서버, 서버들의 조합, 클라우드를 통해 이용 가능한 애플리케이션, 또는 몇몇 다른 시스템을 통해 구현될 수 있다. 대안적으로, 단일의 개별 서버 대신에, 예를 들어, 뷰어가 이미지 처리 클라우드로부터 측정치를 수신하는 것을 지원하고 조정을 다시 제공하는, 통신 인터페이스가 사용될 수 있다.

도 8, 도 9 및 도 10은 특정 실시형태에 따른 데이터의 양방향 흐름을 도시하는 블록도이다. 도 8에서, 사용자(81)는, 인공 지능 소견 인터페이스(72)에 의해 생성되어 클라이언트 뷰어(74), 리포트(75), 또는 이들의 임의의 조합에서 디스플레이된 초기 소견을 조정할 수 있다. 예를 들어, 사용자(81)는 의사, 방사선 전문의, 기술자, 다른 유형의 의료 전문가, 또는 인공 지능 소견 인터페이스(72)의 임의의 사용자이다. 사용자(81)가 클라이언트 뷰어(74)에서 소견을 조작하는 경우, 소견이 리포트(75)에서 업데이트될 수 있다.

도 9는 인공 지능 소견 서버에 의해 생성되어 클라이언트 뷰어(74)에서 디스플레이된 초기 소견을 사용자(81)가 조정할 수 있음을 도시한다. 조작된 소견은 인공 지능 소견 인터페이스(72)로 전송되어 추적될 수 있거나, 업데이트될 수 있거나, 최적화될 수 있거나, 기계 학습될 수 있거나 또는 이들의 임의의 조합으로 될 수 있다. 인공 지능 소견 인터페이스(72)는 초기 소견이 조작된 소견으로 대체될 수 있도록 조작된 소견을 리포트(75)로 전송할 수 있다. 리포트(75)는 조작된 소견을 디스플레이할 수 있다.

도 10은 조작된 소견이 인공 지능 소견 인터페이스(72)로 전송될 수 있도록, 리포트(75)에 디스플레이된 초기 소견을 사용자(81)가 조작할 수 있음을 도시한다. 인공 지능 소견 인터페이스(72)는 클라이언트 뷰어(74)에 디스플레이될 수 있는 사용자 조작된 소견으로 클라이언트 뷰어(74)를 업데이트할 수 있다.

도 11은 인공 지능 소견 시스템(70)의 일 실시예이다. 폐의 이미지 데이터가 인공 지능 소견 인터페이스(72)에 의해 처리될 수 있다. 예를 들어, 이미지 데이터에 기초하여, 폐의 일부분의 체적 X와 같은 초기 소견이 인공 지능 소견 인터페이스(72)에 의해 생성될 수 있고, 이미지 해석 환경(즉, 클라이언트 뷰어(74)) 및/또는 리포트(75)에 디스플레이될 수 있다. 초기 소견은 추적 모듈(78)을 통해 추적될 수 있다. 예를 들어, 추적 모듈은, 사용자가 예를 들어, 워크스테이션(73) 내에서 구현되는 진단 리뷰 시스템을 사용하는 경우에 사용자에 의해 이루어진 소견에 대한 조정 및 소견을 추적한다. 예를 들어, 추적 모듈(78)은 다른 사용자에 기초하여 확인 가능한 사용 패턴 및 현재의 사용자에 의해 소견에 이루어진 조정 및 소견에 기초하여 추적 정보를 생성한다.

사용자(81)는 도 11에 도시된 바와 같이, 이미지 해석 환경 내에서, 초기 소견을 조작 및/또는 초기 윤곽선을 변경할 수 있고, 예를 들어 체적 X로부터 체적 Y로 체적을 변경할 수 있다. 추적 엔진(78)은 이미지 데이터(71)로부터의 초기 소견 및 조작된 소견을 추적 모듈(78)이 메모리에 저장할 수 있도록, 조작된 소견을 추적할 수 있다. 조정 엔진(79)은 조작된 소견을 디스플레이하도록 클라이언트 뷰어(74) 및/또는 리포트(75)를 업데이트할 수 있다(즉, 체적 X의 초기 소견을 체적 Y의 조작된 소견으로 대체). 이러한 작업 흐름은 사용자(81)가 클라이언트 뷰어(74) 내의 소견을 조정할 수 있게 함으로써, 결과적으로 리포트(75)를 자동으로 업데이트할 수 있어서 사용자(81)가 이미지에 집중할 수 있게 한다. 기계 학습 엔진은 사용자 조정(예를 들어, 사용자(81)가 폐 체적을 체적 X로부터 체적 Y로 변경)에 기초하여 학습할 수 있다. 이러한 기계 학습은 후속적인 소견을 위하여 사용자(81)를 위한 정확한 소견을 가능하게 할 수 있다.

일 실시형태에서, 자동화된 윤곽선이 측정치를 생성할 수 있다. 측정치가 사용자(81)가 측정한 것과 매칭되지 않거나 이들이 이를 조정하는 경우, 이는 매칭되지 않는 것으로서 플래깅될 수 있다. 인공 지능 엔진은 사용자에게 개선된 소견을 제안하기 위해, 또는 시스템 설정의 변경을 제안하기 위해, 또는 심지어 현재의 사용자 선택사항 및 검출된 사례 차이점에 기초하여 개별적으로 맞춤화된 모범 사례, 그룹 사례, 또는 특정 동료의 사례와 더 양호하게 매칭되는 임상 작업 흐름의 변경을 제안하기 위해, 차이점을 학습할 수 있고(딥 러닝, 기계 학습, 로깅, 또는 이들의 임의의 조합), 피드백의 트렌드를 인지하기 시작할 수 있다. 또한, 한 명의 의사가 해부학적 구조를 지속적으로 더 크게 윤곽 형성하거나 다른 것들보다 더 풍부하게 윤곽 형성하는 경우와 같은, 일부 차이점이 수용될 수 있다. 의사의 사례를 변경하거나 모범 사례 편차가 문제인 것으로 간주하지 않고, 시스템은 의사가 이러한 선택사항을 갖는다는 것을 수용할 수 있으며, 자신의 양방향 학습 기능을 사용하도록 시도하여, 그들이 조정 없이 이들을 더 자주 수용하는 방식으로 조정된 소견을 의사에게 대신 제시할 수 있다. 이는 병변을 크게 윤곽 형성하는 사람과 병변을 작게 윤곽 형성하는 사람이 개별화된 제안들을 받을 수 있도록 사용자간 적응을 통해 수행될 수 있다.

예를 들어, 추적 모듈(78)과 결합되어 작용하는 처리 엔진은 디스플레이 선택사항을 본질적으로 "학습"할 수 있고, 이들을 사용자 선택사항 또는 신념 체계에 적응시킬 수 있다. 예를 들어, 다른 모든 변수가 일정한 경우, 이들이 측정하는 영역이나 체적에서의 의사간 편차가 40% 이상인 경우가 있다. 이러한 경우, 처리 엔진은 집단적 사용에 기초하여, "그룹 사고" 실측 정보의 일반적 결과물을 학습할 수 있다. 그 다음, 추적 모듈(78)로부터의 정보를 고려하여, 어떤 소견이 사용자(81)에게 중요한지를 적응시킬 수 있고, 이의 의견과 조정 조치 사이의 측정된 편차 및 그러한 실측 정보 그룹 사고의 일반적 결과물에 따라 이러한 초기 소견을 조정할 수 있다. 이는 소견에 적용될 수 있을 뿐만 아니라, 이미지의 레이아웃에도 적용될 수 있으며, 해석 동안에 호출되거나 또는 이용 가능한 도구에 적용될 수 있다. 이것은 컴퓨터 생성 결과물이 거의 조정되지 않거나 전혀 조정되지 않고 수용될 가능성, 또는 증가된 사용 및 학습을 통해 의사의 생산성과 해석 시스템의 유용성이 시간이 지남에 따라 향상될 가능성을 증가시킴으로써, 의사의 이러한 자동화 채택을 증가시킬 것이다. 또한, 이러한 접근법을 사용하는 향후의 해석 시스템은 크게 감소된 시스템 사전 구성을 필요로 할 것이다. 또한, 예를 들어, 처리 엔진은 모범 사례 사용자 그룹과 비교하여, 또는 임상적으로 수용된 사례 가이드라인과 비교하여, 현재 사용자 또는 사용자들 사례의 비교에 기초하여, 특정 도구 또는 이미지 뷰를 사용하도록 제안할 수 있다. 예를 들어, 워크스테이션(73) 내의 진단 리뷰 시스템은 뷰어를 사용하여 의사 해석 작업 흐름 내로 통합된 이미지를 디스플레이한다. 사용자는 진단 리뷰 시스템을 사용하여 소견을 검토하고 확인한다. 예를 들어, 추적 모듈(78) 또는 진단 리뷰 시스템은 소견이 검토되지 않는지, 검토되는지, 확인되지 않거나 확인되는지, 조정되는지, 조정되지 않는지, 삭제되는지, 추가되는지, 리포팅되거나 리포팅되지 않는지 여부를 추적한다. 예를 들어, 진단 리뷰 시스템은 사용자가 리포트(75)의 소견(77)을 수정할 수 있게 하며, 이러한 변경은 사용자(예를 들어, 의사)가 워크스테이션(73)을 사용하여 이미지 및 소견을 검토할 때 반영된다. 리포트(75)와 워크스테이션(73) 모두에서, 소견의 상태가 동기화될 수 있다. 예를 들어, 이미지 프로세서(76)는 소견, 오버레이, 윤곽선, 측정치 또는 포함된 다른 표시가 있거나 없는 도출된 이미지를 생성하기 위해, 소견 엔진(77), 추적 모듈(78) 및 조정 엔진(79)의 소정 조합에 의존한다.

일 실시형태에서, 사용자(81)가 임계값을 조정할 수 있으므로, 이미지 처리 엔진이 2로 선택한 제1 임계값과 사용자(81)가 판독 동안에 동의하지 않고 도구(어쩌면 임계화 도구)를 사용하여 4를 선택하는 경우, 리포팅 시스템이 완성한 리포트는 4로 업데이트될 수 있다. 그 다음, 조정 엔진은 4를 사용해야 함을 인지한다. 이미지 처리 엔진은 a) 새로운 알고리즘 또는 필터가 필요하다는 것을 트레이닝(자동적인 또는 전문가에 의한)을 통해 결정할 수 있거나, 또는 b) 소견 계산을 수행하거나 도출된 이미지를 생성하는 경우, 뷰어에서 임계값을 상이하게 간단히 설정할 수 있다. 이미지(들) 및 다른 의사가 검증한 산출물은 예를 들어, VNA, PACS, ECM 또는 EMR과 같은 기록 시스템에 푸시될 수 있다.

예를 들어, 핵심 유형은 임계값을 조정하고, 파라메트릭 매핑을 위한 설정을 조정하며, 특히 연구에 이루어진 편집, 윤곽선 및 측정치 전부가 리콜될 수 있게 하는 파일(TeraRecon COF 파일 또는 JSON 구조화된 객체 파일과 유사하거나 기능상 유사함) 및 사용자(81)가 제외한 지점으로 복원된 이미지 체적을 입력하는 것을 포함할 수 있다. 이러한 파일에는, 임의의 디지털로 기록된 대상물, 편집, 변환, 룩업 테이블, 벡터 파일, 및 픽셀 또는 복셀로 이루어진 처리된 의료 이미지를 구성하는 다른 데이터를 통합할 수 있는 많은 형태의 조정 가능한 메타데이터가 있을 수 있다.

일 실시형태에서, 인공 지능 소견 시스템(70)은 사용자 및/또는 그룹 선호 행잉(hanging) 프로토콜을 결정하는데 사용될 수 있다. 행잉 프로토콜은 PACS 뷰어라고 지칭되는 방사선과 해석 시스템에서 상이한 이미지들을 검토하는 표준 방식이다. 행잉 프로토콜에서, 컴퓨터 화면 상의 이미지는 다수의 모니터 상에 다수의 이미지로 특정 순서로 디스플레이된다. 예를 들어, 인공 지능 소견 시스템(70)은 사용자(81)가 정렬된 이미지를 얼마나 좋아하는지에 관한 피드백을 수신하고, 어떤 이미지가 어디로 가는지를 자신이 스스로 학습하기 시작한다. 예를 들어, 한 명의 사용자가 올바른 방식이라고 판단하는 것과 사용자들의 그룹의 측정된 반응 간의 측정 가능한 차이가 제안하는데 사용되며, 예를 들어 그룹 엔진의 결과물은 개인의 신념 체계 및 선택사항에 적응된다. 이러한 시스템(디스플레이 프로토콜에 대한 GE 특허 참조)은 DICOM 이미지 헤더 정보를 사용하여 이미지 유형을 결정한 다음, 이들이 어떤 이미지 정렬을 선호하는지에 대해 최종 사용자에 의한 사용을 모니터링한다. 인공 지능 시스템에서, 일 실시형태는 이미지 형태 랜드마크 내에서 보는 이미지 처리 엔진이 DICOM 이미지 헤더와 완전히 관계없이 이미지 유형을 결정할 수 있게 한다. 예를 들어, 개인이 판독하는 방식과 그룹 의견 간의 측정 가능한 임의의 큰 차이는 사용자 선택사항 설정으로서 수용되거나 거부될 수 있는 해당 사용자를 위한 변경 및 제안을 유발할 수 있으며, 해당 응답은 개인의 판독 및 도구 선택사항 프로토콜의 일부로서 학습된다. 일 실시형태에서, 가능한 선택사항 설정을 나타내는 인공 지능 소견이 자동으로 호출된다. 다른 실시형태에서, 이러한 가능한 선택사항 설정은 그들의 판독 스타일 및 측정된 활동에 대한 모범 사례에 대한 프롬프팅을 제공하면서, 시스템 반응의 제어 하에 이들을 유지하도록 확인을 위해 최종 사용자에게 제시된다. 유사하게, 해석 전에, 해석 중에 그리고 해석 후에 이미지를 처리하는데 사용되는 이미지 처리 엔진은, a) 개별 사용자가 선택한 선택사항에 따라, 또는 b) 최종 사용자에 의해 수용 또는 거부될 수 있는 시스템 프롬프트 뿐만 아니라, 이러한 엔진에 대한 지도형 또는 비지도형 트레이닝을 수행하기 위한 조정 엔진 및 추적 엔진의 사용 또는 적용에 의한 데이터의 사용 및 기계 학습을 통해 결정된 데이터 유발 제안에 따라, 조정될 수 있다.

인공 지능 소견은 동급 최고 또는 그룹 신념 체계 행잉 프로토콜(즉, 도구 및 이미지의 레이아웃)을 생성할 수 있고, 그 다음 이는 개인의 신념 체계 또는 변경된 레이아웃과 비교된다. 이는 제안될 수 있는 개선 사항 또는 통계적 모범 사례에 영향을 줄 수 있다.

일 실시형태에서, 인공 지능 소견은, 양호, 보통, 불량, 실행 또는 실행되지 않음(즉, 이미지 해석 환경 내에서)과 같은, 엔진으로부터의 상태 및 전체 산출 소견을 표시하는 각각의 이미지 프리젠테이션 패널에서 또는 환자 리스트에서 표시하기 위한 적색등, 황색등, 녹색등 표시기를 가질 수 있다. 이미지 또는 연구에 대한 다수의 표시기를 갖는 것이 가능할 수 있다. 또한, 다수의 이미징 연구가 뷰어에서 동시에 표시될 수 있으므로, 뷰어에서 다수의 연구를 동시에 리뷰하는 기능을 의사에게 제공할 수 있다. 이는 소견을 생성하는 이미지 처리 엔진들로부터 한눈에 보기(quick look) 경보를 제공할 수 있다. 각각의 레벨을 나타내는 소견의 수 또는 소견의 레벨은 이미지 처리 엔진의 저자에 의해, 인공 지능 시스템의 설정으로서, 또는 해석 시스템에서, 조정 및 설정될 수 있다. 예를 들어, 표시등, 문자, 숫자, 소리, 또는 이들의 임의의 조합과 같은 임의의 표시기가 사용될 수 있다.

본원에서 설명된 바와 같은 인공 지능 소견 시스템은 의사가 검토 뷰어를 주시하여 리포트의 소견과 상관되는 자동으로 생성된 소견을 리뷰할 수 있게 한다. 이는 뷰어의 소견과 리포트의 소견 사이의 완전한 일대일 관계를 제공한다. 뷰어의 다수의 상이한 측정치가 "보통"의 하나의 소견을 유발하는 경우에도, 리포트의 소견이 변경되어 사용자(81)가 기본 소견을 검증하도록 유발하는 경우가 여전히 가능하다. 그리고, 임의의 소견이 조정되어 레벨의 변경(예를 들어, 심한 정도로)을 초래하는 경우, 리포트가 업데이트되고, 이루어진 해당 변경이 사용자(81)에게 통지된다. 리포트가 완성되면, 보았던 것과 보지 않았던 것, 그리고 관측에 의해 검증된 소견 및 검증되지 않은 소견에 대한 기록과 함께, 이는 결과적인 라벨링된 이미지와 함께 저장될 수 있다. 이러한 리포트는 모든 결과물을 표시하거나, 선택된 결과물만을 표시하거나, 결과물을 표시하지 않거나, 또는 의사가 시스템으로부터 검증한 결과물만 표시하는 옵션을 가질 수 있다.

도 12는 인공 지능 소견 시스템(70) 내의 논리 흐름을 도시하는 간소화된 흐름도이다. 블록(91)에서, 소견 엔진(77)은 이미지 데이터(71)를 수신하고, 이미지 데이터(71)에 기초하여 그리고 사용자(81)에 대한 저장된 선택사항을 고려하는 이미지 해석 알고리즘에 기초하여, 소견을 생성하기 위해 이미지 날짜를 해석한다. 예를 들어, 사용자에 대한 저장된 선택사항은 사용자, 시스템 관리자, 또는 의료 이미지 해석 시스템의 다른 사용자에 의해 수동으로 추가적으로 조정될 수 있다. 예를 들어, 저장된 선택사항은 추적 정보를 수신하는 기계 학습 엔진에 기초하여 조정될 수 있으며, 추적 정보에 기초하여 사용자에 대한 저장된 선택사항을 조정한다. 예를 들어, 소견은 의료 이미지 내의 이상들이다. 예를 들어, 소견은, 질병, 의학적으로 유의한 해부학적 이상, 의학적으로 유의한 징후, 의학적으로 유의한 피처, 의학적으로 유의한 대상물, 의학적으로 유의한 형상, 의학적으로 유의한 텍스처, 의학적으로 유의한 측정치, 의학적으로 유의한 플래그, 의학적으로 유의한 렌더링, 의학적으로 유의한 윤곽선, 소스 이미지 데이터의 의학적으로 유의한 결함, 임상 데이터의 의학적으로 유의한 결함, 참조 이미지 또는 데이터와의 의학적으로 유의한 유사성, 측정된 활동과 모범/정상 사례 뷰어 사용 및/또는 해석 작업 흐름 간의 의학적으로 유의한 편차, 및/또는 리포트(75)를 준비하는데 있어서의 사용에 대한 소정의 다른 관심 소견, 또는 이미지 처리 엔진(76) 또는 사용된 이미지 데이터(71)의 출처에서의 의학적으로 유의한 결함일 수 있다. 예를 들어, 이미지 해석 알고리즘은 현재의 모범 사례, 인공 소견 시스템의 사용자들의 일반적 사례, 임상 참조 가이드라인, 그룹 사례를 결정하는 연구들을 기초로 하고, 결정론적 공식 또는 소정의 다른 기준이다. 대안적으로 또는 추가적으로, 소견은 인공 소견 시스템의 사용자들의 사례에 관한 통계적으로 도출된 정보에 적어도 부분적으로 기초하거나, 또는 인공 소견 시스템의 사용자들의 사례에 관한 기계 학습된 정보에 기초한다.

블록(92)에서, 소견이 사용자(81)에게 제시된다. 예를 들어, 소견은 클라이언트 뷰어(74) 및 리포트(75)로 구성된 진단 리뷰 시스템에 의해 제시된다. 예를 들어, 소견은 클라이언트 뷰어(74)로부터 이용 가능한 이미지 데이터(71)에 대한 조정을 포함하는 데이터 이미지로 사용자(81)에게 제시된다. 예를 들어, 이미지 데이터(71)에 대한 조정은, 많은 의료 이미지에 의해 표시되는 체적 또는 의료 이미지 내의 2D, 3D 또는 4D 공간에서의 에지를 한정하는 윤곽선, 의료 이미지의 관심 영역을 나타내는 세그먼테이션, 이미지 오버레이, 또는 리포트(75)를 준비하는데 있어서의 사용자(81)에 대한 다른 관심 정보를 포함할 수 있다. 대안적으로, 소견은 클라이언트 뷰어(74)로부터 이용 가능한 이미지 데이터(71)에 대한 조정을 포함하는 데이터 이미지로 그리고 미리 채워진 버전의 리포트(75) 내의 후보 소견으로 사용자(81)에게 제시된다. 예를 들어, 미리 채워진 리포트는 실시간으로 이미지의 소견에 대한 조정을 포함한다. 예를 들어, 리포트의 후보 소견에 대한 조정은 조정된 측정치를 유발하거나 의사가 측정치를 조정하도록 유발하므로, 이들은 이미지 데이터에 대한 조정에 반영된다. 조정은 예를 들어, 다음 중 적어도 하나를 포함한다: 의료 이미지 내의 에지를 한정하거나 이미지 내의 측정치의 일부인 윤곽선의 표시; 의료 이미지 또는 의료 이미지의 체적 내의 관심 영역을 나타내거나, 또는 의사 리뷰, 측정, 또는 의사 리뷰 및 측정 모두를 위해 임상적 관심 영역을 한정하기 위한 출발점으로서 관심 영역을 사용하는 세그먼테이션; 가변하는 불투명도 또는 투명도의 컬러 맵을 나타내는 이미지 오버레이; 새로운 소스 이미지 데이터 세트를 생성하기 위해 윤곽선, 세그먼테이션 및 이미지 오버레이를 사용하는 도출된 이미지; 새로운 소스 이미지 데이터 세트를 생성하기 위해 윤곽선, 세그먼테이션 및 이미지 오버레이를 사용하는 이미지 시리즈.

블록(93)에서, 조정 엔진(79)은 사용자(81)가 소견을 조정하여 최종 버전의 리포트(75)를 생성할 수 있게 한다. 클라이언트 뷰어(74)를 사용하여 이미지 데이터에 이루어진 변경은 리포트(75)에 반영된다. 리포트(75) 내에서 이루어진 변경은 클라이언트 뷰어(74)를 사용하여 나타낸 이미지 데이터를 변경하는데 반영된다.

블록(94)에서, 추적 모듈(78)은 최종 버전의 리포트(75)를 생성할 때 사용자(81)에 의해 소견에 이루어진 조정 및 소견을 추적한다. 추적 모듈은 리포트(75)에 이루어진 변경 및 클라이언트 뷰어(74) 내에서 이미지 날짜에 이루어진 변경을 모두 반영하는 추적 정보를 생성한다.

블록(95)에서, 기계 학습 엔진(82)은 추적 정보를 수신하고, 사용자(81)에 의해 소견에 이루어진 조정에 기초하여 사용자(81)에 대한 저장된 선택사항을 조정한다. 예를 들어, 이미지 해석 알고리즘이 인공 소견 시스템의 사용자의 사례에 관한 통계적으로 도출된 또는 기계 학습된 정보에 적어도 부분적으로 기초하는 경우, 사용자(81)에 의해 소견에 이루어진 조정은 인공 소견 시스템의 사용자의 사례에 관한 도출된 정보와 함께 포함된다.

이미지 처리 서버(110)는 도 13에 도시된 바와 같은 피어 리뷰 시스템 내로 통합될 수 있다. 도 13은 일 실시형태에 따른 피어 리뷰 시스템의 새로운 작업 흐름의 실시예를 나타내는 작업 흐름 루프 다이어그램을 도시한다. 도 13을 참조하면, 작업 흐름은 피어 리뷰 높은 신뢰 주입 작업 흐름 루프를 포함한다. 이러한 작업 흐름 루프 동안에, 이미지 처리 서버(110)는 단계 1로서 표시된 이미지 처리 서버(110)에 도착하는 이미징 연구 또는 이미지 연구 및 제공자 해석(리포트로도 표시됨)에 의해 개시된다. 복수의 엔진 및 엔진 조합이 이미지 연구를 처리한 후에, 산출물은 단계 2로서 표시된다. 잠재적인 소견 또는 제공자 해석과의 잠재적인 불일치에 대한 높은 신뢰를 갖는 것으로 결정된 소견을 갖는 연구 또는 이미지는 단계 3에서의 피어 리뷰를 위한 선택으로 주입된다. 단계 4에서, 이러한 주입된 연구는 의사(해당되는 경우, 초기 제공자 해석을 수행하지 않았던 의사)에 의해 평가된다. 피어 리뷰 시스템 해석과 함께 해당 해석의 결과물은 단계 5로서 데이터베이스에 저장되고, 피어 리뷰 시스템 및 이미지 처리 서버(110) 내의 엔진들에 대한 엔진들 및 엔진들의 향후 트레이닝을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호 작용 데이터도 데이터베이스에 저장된다.

작업 흐름은 피어 리뷰 주입된 의사 확인된 소견 작업 흐름 루프를 더 포함한다. 이러한 작업 흐름 루프 동안에, 이미지 처리 서버(110)는 단계 1로서 표시된 이미지 처리 서버(110)에 도착하는 이미징 연구 또는 이미지 연구 및 제공자 해석(리포트로도 표시됨)에 의해 개시된다. 복수의 엔진 및 엔진 조합이 이미지 연구를 처리한 후에, 산출물은 단계 2로서 표시된다. 잠재적인 소견 또는 제공자 해석과의 잠재적인 불일치에 대한 높은 신뢰를 갖는 것으로 결정된 소견을 갖는 연구 또는 이미지는 단계 3에서의 피어 리뷰를 위한 선택으로 주입된다. 단계 A에서, 높은 신뢰 소견의 값을 가중하고 의사 리뷰를 위해 특정 최적화된 수 및 유형의 연구(또는 이미지)를 선택하는 엔진들에 대한 엔진을 통해 연구가 선택된다. 단계 B에서, 연구는 의사(해당되는 경우, 초기 제공자 해석을 수행하지 않았던 의사)에 의해 평가된다. 해당 해석의 긍정적인 결과물은 단계 D에서 피어 리뷰 시스템 내로의 연구의 자동 주입을 유발하며, 이는 연구가 부정적이라는 소견을 의사가 갖는 경우에는 수행되지 않는다. 긍정적인 또는 부정적인 경우 모두에서, 이러한 해석(및 임의의 이전의 해석) 및 피어 리뷰 시스템 해석의 결과물은 모두 단계 C로서 데이터베이스에 저장되고, 피어 리뷰 시스템 및 이미지 처리 서버(110) 내의 엔진들에 대한 엔진들 및 엔진들의 향후 트레이닝을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호 작용 데이터가 저장된다.

작업 흐름은 블라인드 피어 리뷰 엔진 트레이닝 작업 흐름 루프를 갖는 정기적 제1 판독 진단 해석을 더 포함한다. 이러한 작업 흐름 루프 동안에, 이미지 처리 서버(110)는 단계 1로서 표시된 이미지 처리 서버(110)에 도착하는 이미징 연구 또는 이미지 연구 및 제공자 해석(리포트로도 표시됨)에 의해 개시된다. 복수의 엔진 및 엔진 조합이 이미지 연구를 처리한 후에, 산출물은 단계 2로서 표시된다. 제공자 초기 해석 동안에 잠재적인 소견에 대한 높은 신뢰를 갖는 것으로 결정된 소견을 갖는 연구 또는 이미지는 단계 E에서 실제 의사 소견과의 비교를 위해 계산된다. 단계 B에서, 연구는 의사(해당되는 경우, 초기 제공자 해석을 수행하지 않았던 의사)에 의해 평가된다. 단계 C에서, 피어 리뷰 시스템 해석 뿐만 아니라 이러한 해석(및 임의의 이전의 해석들)의 결과물은 모두 데이터베이스에 저장되고, 피어 리뷰 시스템 및 이미지 처리 서버(110) 내의 엔진들에 대한 엔진들 및 엔진들의 향후 트레이닝을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호 작용 데이터가 저장된다.

예를 들어, 피어 리뷰 시스템에 의한 피어 리뷰는 자연 언어 처리 시스템(310)으로부터의 개시에 대응하여, 또는 소견에 대한 사용자 조정 또는 의료 이미지 데이터에 기초하는 생성된 소견에 대응하여 호출된다. 예를 들어, 소견 엔진(77)과 피어 리뷰 시스템 사이의 그리고 이에 의한 통신, 및 소견 엔진(77)과 다른 엔진 사이의 통신을 위한 사전 정의된 입력 및 출력 스키마는 입력 및 출력의 공통의 추상화 방법을 가능하게 한다.

이전의 도면들에 도시된 프로세스 또는 방법은 하드웨어(예를 들어, 회로, 전용 로직 등), 펌웨어, 소프트웨어(예를 들어, 비-일시적 컴퓨터 판독 가능한 매체에서 구현됨), 또는 이 둘의 조합을 포함하는 처리 로직에 의해 수행될 수 있다. 프로세스 또는 방법이 몇몇 순차적인 동작들을 고려하여 위에서 설명되지만, 설명된 동작들 중 일부가 다른 순서로 수행될 수 있음을 인식해야 한다. 더욱이, 몇몇 동작들은 순차적으로 수행되지 않고 병렬로 수행될 수 있다.

Claims (20)

1. 의료 이미지 해석 시스템으로서,
   인공 지능 소견 시스템을 포함하며,
   상기 인공 지능 소견 시스템은,
   이미지 데이터를 수신하고, 상기 이미지 데이터에 기초하여 그리고 사용자에 대한 저장된 선택사항을 고려하는 이미지 해석 알고리즘에 기초하여, 소견을 생성하기 위해 상기 이미지 날짜를 해석하는 소견 엔진;
   상기 소견을 상기 사용자에게 제시하는 진단 리뷰 시스템에 상기 소견을 제공하는 통신 인터페이스로서, 제시된 바와 같은 상기 소견은 이미지를 포함하는 데이터를 포함하는, 통신 인터페이스;
   상기 진단 리뷰 시스템을 사용할 때 사용자에 의해 이루어진 소견에 대한 변경의 통지를 상기 통신 인터페이스를 통해 수신하는 조정 엔진;
   상기 진단 리뷰 시스템을 사용할 때 상기 사용자에 의해 상기 소견에 이루어진 조정 및 소견을 추적하고, 다른 사용자에 기초하여 확인 가능한 사용 패턴 및 상기 사용자에 의해 상기 소견에 이루어진 조정 및 상기 소견에 기초하여, 추적 정보를 생성하는 추적 모듈; 및
   상기 추적 정보를 수신하고, 상기 추적 정보에 기초하여 상기 사용자에 대한 상기 저장된 선택사항을 조정하는 기계 학습 엔진을 포함하는,
   의료 이미지 해석 시스템.
2. 제1항에 있어서,
   상기 사용자에 대한 상기 저장된 선택사항은 상기 사용자, 시스템 관리자, 또는 상기 의료 이미지 해석 시스템의 다른 사용자에 의해 수동으로 추가적으로 조정될 수 있는, 의료 이미지 해석 시스템.
3. 제1항에 있어서,
   상기 진단 리뷰 시스템은,
   의사 해석 작업 흐름 내로 통합된 상기 이미지를 디스플레이하는 뷰어; 및
   리포트를 포함하며,
   상기 진단 리뷰 시스템은 상기 사용자가 소견을 검토 및 확인할 수 있게 하고,
   상기 진단 리뷰 시스템은 상기 사용자가 상기 이미지를 수정하여 도출된 이미지를 생성할 수 있게 하며,
   상기 리포트에 이루어진 변경은 상기 뷰어에 의해 디스플레이된 상기 이미지에 반영되고,
   상기 뷰어에 의해 디스플레이된 상기 이미지에 이루어진 변경은 상기 리포트에 반영되는, 의료 이미지 해석 시스템.
4. 제3항에 있어서,
   상기 사용자에게 원래 제시된 바와 같은 상기 리포트는 후보 소견으로 미리 채워지는, 의료 이미지 해석 시스템.
5. -
6. 제3항에 있어서,
   상기 미리 채워진 리포트는 측정으로 인해 비롯되는 후보 소견을 포함하며, 상기 후보 소견은 상기 이미지 데이터에 대한 조정에 반영되고, 상기 조정은,
   의료 이미지 내에서 에지를 한정하거나 이미지 내의 측정치의 일부인 윤곽선의 표시;
   의료 이미지 또는 의료 이미지의 체적 내의 관심 영역을 표시하거나, 또는 의사 리뷰, 측정, 또는 의사 리뷰 및 측정 모두를 위해 임상적 관심 영역을 한정하기 위한 출발점으로서 상기 관심 영역을 사용하는 세그먼테이션;
   가변하는 불투명도 또는 투명도의 컬러 맵을 표시하는 이미지 오버레이;
   새로운 소스 이미지 데이터 세트를 생성하기 위해 윤곽선, 세그먼테이션 및 이미지 오버레이를 사용하는 도출된 이미지; 및
   새로운 소스 이미지 데이터 세트를 생성하기 위해 윤곽선, 세그먼테이션 및 이미지 오버레이를 사용하는 이미지 시리즈 중 적어도 하나를 포함하는, 의료 이미지 해석 시스템.
7. 제1항에 있어서,
   상기 진단 리뷰 시스템은,
   리포팅 시스템의 사용 없이, 상기 추적된 사용 정보에 기초하여 자체적으로 적응되는 의사 해석 작업 흐름 내로 통합된 상기 이미지를 디스플레이하는 뷰어를 포함하며,
   상기 진단 리뷰 시스템은 상기 사용자가 소견을 검토 및 확인할 수 있게 하고, 상기 추적 엔진은 상기 소견이 검토되지 않는지, 검토되는지, 추가되는지, 삭제되는지, 조정되는지, 확인되지 않는지, 확인되는지, 리포팅되는지 또는 리포팅되지 않는지 여부를 추적하며,
   상기 진단 리뷰 시스템은 상기 사용자가 상기 이미지를 수정하여 도출된 이미지를 생성할 수 있게 하고,
   상기 리포트에 이루어진 변경은 상기 뷰어에 의해 디스플레이된 상기 이미지에 반영되며,
   상기 뷰어에 의해 디스플레이된 상기 이미지에 이루어진 변경은 리포트에 반영되는, 의료 이미지 해석 시스템.
8. 제1항에 있어서,
   상기 이미지 해석 알고리즘은,
   현재의 모범 사례를 결정하는 연구;
   상기 인공 소견 시스템의 사용자의 일반적 사례;
   임상적 참조 가이드라인;
   그룹 사례 중 적어도 하나에 기초하는, 의료 이미지 해석 시스템.
9. 제1항에 있어서,
   상기 이미지 해석 알고리즘은 상기 인공 소견 시스템의 사용자의 사례에 관한 통계적으로 도출된 또는 기계 학습된 정보에 적어도 부분적으로 기초하며,
   상기 사용자에 의해 상기 소견에 이루어진 상기 조정은 상기 인공 소견 시스템의 사용자의 사례에 관한 상기 통계적으로 도출된 또는 기계 학습된 정보와 함께 포함되는, 의료 이미지 해석 시스템.
10. 의료 이미지 데이터로부터 리포트를 생성하기 위한 방법으로서,
    상기 의료 이미지 데이터에 기초하여 소견을 생성하는 단계로서, 상기 소견은 인공 지능 소견 시스템 내의 소견 엔진에 의해 생성되고, 상기 소견 엔진은 사용자에 대한 저장된 선택사항을 고려하는 이미지 해석 알고리즘에 기초하여 상기 소견을 생성하기 위해 상기 이미지 날짜를 해석하는, 단계;
    클라이언트 뷰어를 통해 사용자에게 상기 소견을 제시하는 단계로서, 상기 클라이언트 뷰어는 상기 의료 이미지 데이터에 기초하여 이미지를 디스플레이하고, 상기 이미지는 상기 이미지 해석 알고리즘에 기초하여 생성되는, 단계;
    사용자 상호 작용 전에 소견이 조정될 수 있게 하는 조정 엔진을 제공하는 단계로서, 사용자 상호 작용은 조정된 소견이 상기 클라이언트 뷰어 및 상기 리포트 중 하나 또는 모두에서 나타나게 하는, 단계;
    상기 사용자가 상기 클라이언트 뷰어 및 상기 리포트 중 적어도 하나에서 상기 소견을 조정하는 경우, 상기 사용자가 상기 클라이언트 뷰어의 뷰잉 선택사항을 조정하는 경우, 그리고 상기 사용자가 상기 리포트의 뷰잉 선택사항을 조정하는 경우, 추적 정보를 생성하기 위해 상기 사용자에 의해 상기 소견에 이루어진 조정 및 상기 소견을 추적하는 단계; 및
    기계 학습 엔진에 의해 상기 추적 정보를 수신하는 단계를 포함하며,
    상기 기계 학습 엔진은 상기 사용자에 의해 상기 소견에 이루어진 상기 조정에 기초하여 상기 사용자에 대한 상기 저장된 선택사항을 조정하는,
    의료 이미지 데이터로부터 리포트를 생성하기 위한 방법.
11. 제10항에 있어서,
    상기 클라이언트 뷰어는 상기 의료 이미지 데이터에 대한 프리젠테이션 디스플레이 프로토콜 및 상기 소견에 대한 조정을 포함하는 미리 채워진 리포트에서 상기 소견이 나타남에 따라 상기 사용자에게 상기 소견을 제시하는, 방법.
12. 제10항에 있어서,
    상기 클라이언트 뷰어는 상기 의료 이미지 데이터에 대한 조정을 포함하는 미리 채워진 리포트에서 상기 사용자에게 상기 소견을 제시하며, 상기 의료 이미지 데이터에 대한 상기 조정은,
    의료 이미지 내의 에지를 한정하는 윤곽선;
    의료 이미지의 관심 영역을 표시하는 세그먼테이션;
    이미지 오버레이 중 적어도 하나를 포함하는, 방법.
13. 제10항에 있어서,
    상기 소견은 의료 이미지 내의 이상이며, 상기 이미지 해석 알고리즘은,
    현재의 모범 사례를 결정하는 연구;
    상기 인공 소견 시스템의 사용자의 일반적 사례;
    임상적 참조 가이드라인;
    그룹 사례 중 적어도 하나에 기초하는, 방법.
14. 제10항에 있어서,
    상기 소견은 의료 이미지 내의 이상이며, 상기 이미지 해석 알고리즘은 상기 인공 소견 시스템의 사용자의 사례에 관한 통계적으로 도출된 또는 기계 학습된 정보에 적어도 부분적으로 기초하고,
    상기 사용자에 의해 상기 소견에 이루어진 상기 조정은 상기 인공 소견 시스템의 사용자의 사례에 관한 상기 통계적으로 도출된 또는 기계 학습된 정보와 함께 포함되는, 방법.
15. 제10항에 있어서,
    소견은,
    질병;
    의학적으로 유의한 해부학적 이상;
    의학적으로 유의한 징후;
    의학적으로 유의한 피처;
    의학적으로 유의한 대상물;
    의학적으로 유의한 형상;
    의학적으로 유의한 텍스처;
    의학적으로 유의한 측정치;
    의학적으로 유의한 플래그;
    의학적으로 유의한 렌더링;
    의학적으로 유의한 윤곽선;
    소스 이미지 데이터에서의 의학적으로 유의한 결함;
    임상 데이터에서의 의학적으로 유의한 결함;
    참조 이미지 또는 데이터와의 의학적으로 유의한 유사성;
    측정된 활동과 모범/정상 사례 뷰어 사용 및/또는 해석 작업 흐름 간의 의학적으로 유의한 편차 중 적어도 하나의 의료 소견 또는 의료 소견 후보를 포함하는, 방법.
16. 제10항에 있어서,
    상기 사용자에 의해 상기 소견에 이루어진 조정 및 상기 소견을 추적하는 단계는,
    검토되지 않았거나, 확인되지 않았거나, 거부되지 않았거나, 리포팅되지 않았거나 또는 조정되지 않았던 소견을 상기 사용자가 리뷰하도록 프롬프팅하는 단계;
    상기 소견이 상기 클라이언트 뷰어를 통해 상기 사용자에게 디스플레이되고 상기 사용자가 상기 디스플레이된 소견과 추가로 상호 작용하지 않거나 상기 디스플레이된 소견을 확인하지 않는 경우, 소견을 거부된 것으로 표시하게 하거나 상기 리포트에서 소견을 제외시키게 하는 사용자 옵션을 제공하는 단계를 포함하는, 방법.
17. 제10항에 있어서,
    사용 제한을 가능하게 하기 위해 상기 이미지 데이터 내에 보안 정보를 포함하는 단계를 더 포함하며,
    상기 보안 정보는,
    워터마크;
    기본 인증 또는 검증 시스템이 있거나 없는 내장형 메타데이터 중 적어도 하나를 포함하는, 방법.
18. 제10항에 있어서,
    자연 언어 처리 시스템 개시에 대응하여 피어 리뷰 시스템에 의해 피어 리뷰를 호출하는 단계를 더 포함하는, 방법.
19. 제10항에 있어서,
    상기 소견에 대한 사용자 조정 또는 상기 의료 이미지 데이터에 기초하여 생성된 소견에 대응하여 피어 리뷰 시스템에 의해 피어 리뷰를 호출하는 단계를 더 포함하는, 방법.
20. 제10항에 있어서,
    이미지 프로세서, 엔진 알고리즘 및 뷰어의 입력 및 출력에 대한 공통의 추상화 방법을 가능하게 하기 위해, 상기 소견 엔진과 피어 리뷰 시스템 사이의 그리고 이에 의한 통신, 및 상기 소견 엔진과 다른 엔진 사이의 통신을 위한 사전 정의된 입력 및 출력 스키마를 사용하는 단계를 더 포함하는, 방법.

Images