KR20190046911A - 의료 이미징 인포메틱스 피어 리뷰 시스템을 위한 시스템 및 방법 - Google Patents

Abstract

이미지 프로세싱 엔진들은 한 세트의 의사들에 의해 식별된 의학적 소견들을 리뷰하도록 설계된 다른 상업적 또는 독립적으로-개발된 피어 리뷰 시스템들에 연구들을 투입하는 데 활용될 수 있다. 이미지 프로세싱 엔진들은 의사들 또는 다른 엔진들에 의한 소견들을 검출, 확인 또는 입증하며, 여기서는 엔진들이 피어 리뷰어들로서 작동한다. 엔진들은 이러한 이미지들이 진단 해석 중에 의사들에 의해 리뷰될 때 피드백으로부터 전향적으로 "학습"하여, 폐루프 품질 보증 프로세스를 생성하고, 보안, 가버넌스, 액세스 제어, 규제 준수 및 피어 리뷰 시스템의 다른 특징들에 의해 지원되는 엔진 개발에 대한 커뮤니티 플랫폼 접근법을 육성할 수 있다. 피어 리뷰로부터 수집된 데이터에 기반하여 기계 학습을 활용하면, 피어 리뷰 시스템은 이 시스템의 성능뿐만 아니라 진단 해석을 위해 시스템을 사용하는 의사들의 측정된 성과를 조정하고 개선할 수 있다.

Description

의료 이미징 인포메틱스 피어 리뷰 시스템을 위한 시스템 및 방법

[0001] 본 출원은 2016년 8월 29일자로 출원된 미국 가출원 제62/380,831호 및 2017년 2월 2일자로 출원된 미국 가출원 제62/453,951호를 우선권으로 주장한다. 상기 출원들의 개시내용은 전체가 인용에 의해 본원에 포함된다.

[0002] 본 발명의 실시예들은 일반적으로 의료 정보 프로세싱 시스템들에 관한 것이다. 더 상세하게는, 발명의 실시예들은 품질 보증 및 반복적 이미지 프로세싱 엔진 훈련의 통계적 방법들 및 이산 컨테이너화 자동화된 이미지 프로세싱 엔진(discrete containerized automated image processing engine)들을 사용하는 의료 진단 피어 리뷰(medical diagnostic peer review)에 관한 것이다.

[0003] 오늘날, 의료 이미지 리뷰 프로세스들에서는, 제1 세트의 의사들이 질환을 진단하기 위해, 이미지들 및 다른 환자 데이터를 포함하는 임상 연구(clinical study)들을 판독한다. 제1 세트의 의사들에 의해 이미 판독되었던 연례 임상 연구들의 총 수의 2 내지 7 %의 랜덤한 피어 리뷰 샘플들은, 제2 세트의 의사들에 의해 재판독/리뷰/블라인드 판독(blind read)되도록 하기 위한 피어 리뷰를 위해 전송된다. 다른 말로, 2 내지 7 %의 랜덤한 피어 리뷰 샘플들이 2 번 판독된다. 전형적으로, 연례 연구들의 절반은 정상적(즉, 어떠한 질환도 존재하지 않음)이다. 이로써, 랜덤한 피어 리뷰 샘플들의 절반은 정상적(즉, 어떠한 질환도 존재하지 않음)이다. 2 내지 7 %의 랜덤한 피어 리뷰 샘플들에 대한 지능적인 사전-선택은 없다. 효율성을 개선시키고 의사들의 시간 낭비를 방지하기 위하여, 플랫폼 상에서 랜덤한 피어 리뷰 샘플들의 지능적인 사전-선택에 대한 필요성이 있다.

[0004] 발명의 실시예들은 유사한 참조부호들이 유사한 엘리먼트들을 표시하는 첨부 도면들의 도(figure)들에서 예로서 제한없이 예시된다.
[0005] 도 1은 발명의 일 실시예에 따른 의료 데이터 피어 리뷰 시스템을 예시하는 블록 다이어그램이다.
[0006] 도 2는 일 실시예에 따른 이미지 프로세싱 서버의 예를 예시하는 블록 다이어그램이다.
[0007] 도 3은 일 실시예에 따른 의료 이미지 프로세싱의 프로세싱 흐름을 예시하는 흐름도이다.
[0008] 도 4a 내지 도 4c는 특정 실시예들에 따른 이미지 프로세싱 엔진들의 구성들의 예들을 예시하는 블록 다이어그램들이다.
[0009] 도 5는 다른 실시예에 따른 의료 이미지 프로세싱의 프로세싱 흐름을 예시하는 흐름도이다.
[0010] 도 6a는 일 실시예에 따른 피어 리뷰 프로세스의 워크플로우(workflow)를 예시하는 흐름도이다.
[0011] 도 6b는 일 실시예에 따른 피어 리뷰 시스템을 예시하는 블록 다이어그램이다.
[0012] 도 7은 일 실시예에 따른, 추적 데이터를 저장하는 데이터 구조의 예를 도시한다.
[0013] 도 8은 일 실시예에 따른, 소견(finding)들의 보고의 예를 도시한다.
[0014] 도 9는 다른 실시예에 따른, 추적 데이터를 저장하는 데이터 구조의 예를 도시한다.
[0015] 도 10a 및 도 10b는 일부 실시예들에 따른, 추적 데이터를 저장하는 데이터 구조의 예들을 도시한다.
[0016] 도 11은 일 실시예에 따른, 추적 데이터 및 보고들을 저장하는 데이터 구조의 예를 도시한다.
[0017] 도 12a 내지 도 12c는 일부 실시예들에 따른 액세스 제어 리스트들의 예들을 도시한다.
[0018] 도 13은 일 실시예에 따른 이미지 프로세싱을 위한 프로세스를 예시하는 흐름도이다.
[0019] 도 14는 다른 실시예에 따른 이미지 프로세싱을 위한 프로세스를 예시하는 흐름도이다.
[0020] 도 15는 다른 실시예에 따른 이미지 프로세싱을 위한 프로세스를 예시하는 흐름도이다.
[0021] 도 16은 다른 실시예에 따른 이미지 프로세싱을 위한 프로세스를 예시하는 흐름도이다.
[0022] 도 17은 발명의 일 실시예와 함께 사용될 수 있는 데이터 프로세싱 시스템의 블록 다이어그램이다.

[0023] 발명들의 다양한 실시예들 및 양상들은 아래에서 논의되는 세부사항들을 참조하여 설명될 것이고, 첨부 도면들은 다양한 실시예들을 예시할 것이다. 하기의 설명 및 도면들은 발명을 예시하며, 발명을 제한하는 것으로서 해석되지 않아야 한다. 본 발명의 다양한 실시예들의 철저한 이해를 제공하기 위하여 다수의 특정 세부사항들이 설명된다. 그러나, 특정 예시들에서, 본 발명들의 실시예들의 간결한 논의를 제공하기 위하여, 잘 알려진 또는 종래의 세부사항들은 설명되지 않는다.

[0024] 명세서에서 "일 실시예" 또는 "실시예"에 대한 참조는, 실시예와 함께 설명되는 특정한 특징(feature), 구조, 또는 특성(characteristic)이 발명의 적어도 일 실시예에 포함될 수 있다는 것을 의미한다. 명세서의 다양한 장소들에서의 "일 실시예에서"란 어구의 출현들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.

[0025] 발명의 일 양상에 따르면, 로컬로-위치된(locally-sited) 시스템 및/또는 클라우드-기반(cloud-based) 플랫폼은, 연구들을 익명화하고(anonymize), 연구들을 업로드하고, 새로운 계정을 등록하고 액세스하며, 커뮤니티(community)를 확립하고, 그룹에 대한 임상 자문 위원회(clinical advisory board) 및/또는 가버넌스(governance)를 특정하고, 기계 학습된 알고리즘들/엔진들을 훈련시키고 생성하기 위한 툴들에 액세스하고, 알고리즘들/엔진들을 업로드하거나 다운로드하고, 연구들에 대해 공개된 알고리즘들/엔진들을 액세스하고 실행시키며, 확인된 또는 거절된 소견들에 기반하여 사용 횟수, 정확도 및 신뢰성 레벨과 같은 성과/결과들을 통신하는 것을 용이하게 하는 데 활용된다. 시스템은, 개인의 신념들 또는 그룹의 신념들 간의 크라우드-소싱(crowd-sourced) 공통 사례들 및 유사성들을 결정하기 위한 빅 데이터(big data) 분석들과 함께, 그 개인의 신념들 또는 그룹의 신념들에 기반하여 구성가능한 기계 학습된 알고리즘들을 포함하는 해석 워크플로우 모범 사례(interpretation workflow best practice)들을 결정하기 위한 프레임워크(framework)를 가질 수 있다. 개인의 신념들 또는 그룹의 신념들에 기반하여 구성가능한 알고리즘들은 하나 이상의 의료 기관(medical institution)들에 공유될 수 있다.

[0026] 시스템은 하나 이상의 위치들에서 하나의 의료 기관을 위한 로컬 클라우드 시스템일 수 있다. 클라우드-기반 시스템은 하나 이상의 지리적 위치들에서 하나의 의료 기관을 위한 사설 클라우드(private cloud)일 수 있다. 시스템은 하나 이상의 위치들에서 하나 이상의 의료 기관들을 연결할 수 있는 시스템일 수 있다. 클라우드-기반 시스템은 공공 클라우드(public cloud)일 수 있다. 다수의 로컬 클라우드 시스템들을 연결할 수 있는 메인 클라우드 시스템이 있을 수 있다. 예컨대, 다수의 기관들로부터 다수의 사설 클라우드 시스템들을 연결할 수 있는 메인 클라우드 시스템이 있을 수 있다. 메인 클라우드 시스템으로부터 사설 클라우드 시스템들로의 정보 및 툴들의 액세스의 정도는 의료 기관들에 의해 사전구성된 세팅(setting)들에 의존할 수 있다.

[0027] 이미지 프로세싱 엔진들은, 의사 또는 임상의(clinician)에 의해 확인된 특정한 목표된 소견을 가지는 더 높은 또는 더 낮은 테스트전 확률(pre-test probability) 또는 신뢰성을 가지는 이미지들 및 정보의 개선된 코호트(cohort)들을 달성하기 위해 의료 이미지 데이터, 의료 메타데이터, 및 다른 환자 및 수술(procedure) 관련 콘텐츠에 대해 실행되는 기계 학습, 심층 학습(deep learning) 및 결정론적 통계 방법들(엔진들)을 활용하는 다방면(multi-sided) 플랫폼 상에 소환(evoke)되거나 인에이블링될 때, 독립적으로 또는 서로 조합하여 작동될 수 있다. 타겟 소견들은 의사가 독립적으로 합의하는지를 알아보기 위하여 블라인드 신뢰성(blind confidence)으로 유지되거나, 또는 소견들은 응답들을 소환하기 위해 의사 해석 프로세스 내에서 제공되고, 임의의 피드백, 조정들, 합의(agreement), 또는 비합의(disagreement)는 제안들을 생성한 엔진들에 대한 성능 피드백으로서 캡처되고 활용된다.

[0028] 소견들은 관심 있는 임의의 해부학(anatomy), 측정들, 표시들, 관련될 수 있는 레퍼런스 자료들, 이 연구과 유사한 이전의 연구들, 툴들의 제안, 및 진단 또는 리서치 해석 프로세스에서 사용되길 원하는 거의 모든 그 당시(then-current) 정보 또는 자동화 툴들을 표현한다. 엔진들은 피어 리뷰 시스템에서 상호교환가능하고, 발명은 아니다. 이로써, 소견들의 타입들 및 엔진들의 기능들은 시간이 지남에 따라 변동되고 변할 것이다. 엔진 프로세싱 데이터 및 피어 리뷰 시스템 활용 데이터 둘 모두로부터 수신되는 성능 피드백은, 통계 상호작용 데이터의 형태로 캡처되고, 그리고 프로세싱되고 리뷰되었던 현재의 이미지 데이터 코호트의 상대적인 값뿐만 아니라, 임의의 툴(들), 자동화된 상호작용들, 소견들, 및 연구들을 준비하거나 의사 또는 임상의 리뷰를 위하여 연구를 디스플레이하는 프로세스에서 의도적으로 소환되는 다른 데이터의 값 및 정확도, 그리고/또는 엔진(들) 자체의 값뿐만 아니라 이들의 다양한 조합들을 결정하기 위하여 활용된다.

[0029] 이로써, 이미지들, 데이터 및 소견들의 각각의 모든 의도적인 또는 부수적인 프리젠테이션은 의사 합의, 조정, 또는 비합의에 대해 블라인드 블라인드 또는 비블라인드 방식으로 측정될 수 있고, 그리고 이는 하기의 것들 중 임의의 것 또는 전부를 허용하는 가치있는 데이터를 생성한다: a) 새로운 피드백이 더 높은 확인 레이트들 및 의사들에 의한 누락된(missed) 소견들의 감소를 허용하기 위하여 리턴될 때, 엔진들이 개선되는 것, b) 리뷰어 성과(reviewer performance)를 측정함으로써 그리고 노력을 감소시키고 의료 이미지(또는 다른) 뷰어(viewer) 내에서 공통적으로 요구되는 아이템들에 대해 액세스하기 위하여 리뷰 툴들 및 이미지/콘텐츠 디스플레이를 적응시킴으로써, 워크플로우가 개선되는 것, c) 알려진 소견들을 갖는 큐레이팅된(curated) 이미지 코호트들이 피어 리뷰를 위하여 전송(또는 투입)되고 블라인드식 소견들(blinded findings)이 코호트에서의 실제 알려진 소견들과 비교될 때, 의사 품질이 측정되는 것, 및 d) 판독되지 않았던 연구들을 사전-프로세싱하여, 의료 이미지 연구들의 실시간 의사 첫번째 해석들이 병렬 블라인드식 또는 비블라인드식으로 자동적으로 생성된 피어 리뷰 시스템 소견들을 전향적으로 통합시키는 것을 허용하는, 피어 리뷰 시스템의 전향적(prospective) 적용, 및 e) 그 다음 이미지 코호트, 툴들 및 레이아웃 선택/제안들, 선택적 엔진 이용가능성, 및 이 코호트의 피어 리뷰 및 진단 해석을 위하여 필요한 다른 특징들 및 데이터를 생성하는 데 사용되는 엔진(들)(엔진들 중의 엔진들)을 최적화시키기 위해서, 추세들을 평가하기 위한 능력을 제공하고 그리고/또는 감독된 또는 감독되지 않은 엔진들이 이 데이터를 계속해서 또는 반복적으로 분석하게 하기 위한, 반복적으로 또는 계속해서 업데이트되는 이러한 이미지들, 데이터, 상호작용들, 및 소견들의 기계 및 인간 판독가능한 데이터베이스(들)의 어셈블리(assembly).

[0030] 발명의 일 실시예는 엔진들의 감독되지 않은(또는 감독된) 엔진(또한 마스터 엔진(master engine), 슈퍼바이저 엔진(supervisor engine), 또는 관리 엔진으로서 지칭됨)이 자율적으로 실행되는 것과, 실행되는 엔진들(예컨대, 2차 엔진(secondary engine)들 또는 슬레이브 엔진들), 및 예컨대, 분산 방식으로 (예컨대, 다수의 스레드(thread)들을 통해) 동시에 엔진마다 실행되는 이미지 연구들 또는 환자 콘텐츠 세트들의 수를 선택하는 것을 허용한다. 자율적인 능력을 달성하기 위하여, 피어 리뷰 시스템 관리자는, 그가 코호트에서 배치하거나 또는 그가 피어 리뷰를 위하여 전송하는 연구들 또는 콘텐츠 세트들의 수에 대한 제한들(이들 각각은, 시간 기간에 의해 또는 임의의 코호트에서의 엔진 또는 엔진들의 사용들의 제한에 의해 제한됨), 소견들의 타입 및 분량(quantity), 코호트들의 그룹(들)에 관한 규격들, 또는 시간 기간(들)에 대한 제한들 또는 타겟들을, 엔진들 중의 엔진에 제공하도록 요구된다.

[0031] 엔진들 중의 감독되지 않은 엔진은, 엔진들 중의 엔진이 그의 작동을 최적화시키도록, 그리고 의사들이 피어 리뷰를 위해 너무 많은 시간을 소모하지 않도록 그리고 또한 너무 많은 컴퓨테이셔널 자원들을 소모하지 않도록(이 둘 모두는 상당한 비용들을 가짐) 강제하기 위해, 이미지들의 타입들 및/또는 수/양, 이미지 코호트들, 콘텐츠, 소견들, 상호작용들 및 이들 엔진들을 실행시키고 그리고/또는 의사들이 이 프로세스들을 수행하기 위한 프로세싱 시간에 대한 개별적인 및/또는 집합적인 제한들(최소, 최대, 평균, 또는 다른 통계적으로 관련된 또는 설정된 제한들/목표들)을 제공받는다. 소견들의 최대화된 임상 값, 주석 조정들, 이미지 코호트들의 어셈블리, 및 피어 리뷰 및 임상 진단 해석에서 수신된 의사/임상의 피드백과 감독되지 않은 엔진의 관찰들 및 선택들의 정렬을 보장하기 위하여, 가중된 값들(동일 또는 비동일)은, a) 엔진들, b) (어떠한 소견들도 포함하지 않은) 각각의 엔진에 의해 행해진 소견들의 분량 및 타입, c) 소견들이 다수의 엔진들에 의해 확인되거나 거절되는 경우들에 적용되는 승수(multiplier)들, 및 d) 소견(또는 비-소견)을 결정하기 위해 다수의 엔진들이 이미지 또는 콘텐츠 세트에 대해 작동되는 경우들에 적용되는 승수들 중 하나 이상에 대해 배치된다.

[0032] 엔진들은 피어 리뷰 시스템을 개발하였던 동일한 또는 상이한 개인들 또는 회사들에 의해 개발될 수 있고, 엔진들은 앙상블 엔진(ensemble engine)으로서 또한 알려진, 다수의 엔진들이 직렬 또는 계층적 방식으로 실행되는 것을 허용하기 위하여 그들의 입력 및 출력 스키마(schema)들에서의 공통성(commonality)들을 활용한다. 이들 앙상블 엔진들은 엔진들 중의 감독된 엔진, 또는 엔진들의 출력들 또는 실행 또는 소견들 중의 소견에 대해 배치된 값들을 갖는 엔진들 중의 감독되지 않은 엔진을 사용하여 프로그램방식으로(programmatically) 어셈블리될 수 있다. 엔진들 및 피어 리뷰 시스템에 의한 그리고 이 엔진들과 피어 리뷰 시스템들 간의, 또는 엔진들과 다른 엔진들 간의 통신들을 위한 사전-정의된 입력 및 출력 스키마(schema)는, 다양한 엔진들에 의해 요구된 바와 같은 다양한 형태들로의 입력들 및 출력들의 추상화(abstraction)를 허용한다. 예컨대, 만약 엔진 1이 제로(zero)를 갖는 데이터 포인트 좌표들을 무한한 포지티브 및 네거티브 범위 도메인의 중간 값(middle value)으로서 수락하고 엔진 2가 0을 갖는 것들을 무한한 항상 포지티브 범위 도메인에서의 가장 낮은 값인 것으로 수락한다면, 통신 스키마에서 발생하는 추상화는 가능한 공유된 값들의 특정된 범위에 걸쳐 이 2개의 도메인들의 범위 값들을 맵핑하는 것일 것이다. 컨테이너화 엔진들 및 엔진들 중의 엔진들의 동작을 구현하기 위한 추상화 방법의 구현은 모든 가능한 값 타입들 및 범위들에 걸쳐 작동된다.

[0033] 소견들은, 기업 전자 건강 레코드 시스템들(enterprise electronic health records systems), 픽처 아카이빙(picture archiving) 및 통신 시스템들, 콘텐츠 관리 시스템들, 피어 리뷰 시스템들, 실험실 시스템들 및/또는 진보된 시각화 시스템(advanced visualization system)들에서 공통적으로 보이거나, 측정되거나, 유도되거나 또는 발견되는 유도된 이미지들, 컨투어(contour)들, 세그먼트화(segmentation)들, 오버레이(overlay)들, 수들, 유사성들, 분량들, 및 임의의 다른 값들을 포함할 수 있지만, 이것으로 제한되지는 않는다. 피어 리뷰로 생성된 결과들과 의사 또는 임상의가 생성한 결과들 간의 차이들은, 향후 분석들 및 엔진들의 최적화를 위해 피어 리뷰 시스템에 의해 캡처되고, 비교되고 그리고 출력될 수 있다.

[0034] 멀티-테넌시 플랫폼(multi-tenancy platform)으로서, 피어 리뷰 시스템은 다양한 이해관계자(stakeholder)들, 이를테면 엔진 저자(engine author)들 및 최종-사용자들(의사들 및 임상의들, 연구원(researcher)들, 산업 엔티티들, 또는 이들의 그룹들을 갖춘 건강관리 제공자들)과 같은 다양한 이해관계자(stakeholder)들에 의해 액세스될 수 있다. 특정 이미지들, 이미지 코호트들, 최종-사용자 의사들 또는 임상의 피드백, 가버넌스, 업로드 또는 삭제를 위한 엔진들, 이미지들 및 임상 콘텐츠를 실행하기 위한 엔진들, 및 사용자 세팅들에 대한 액세스 제어는 그의 인가된 오너(들)로부터의 허가없는 사용 또는 이미지들, 엔진들의 유입(comingling)을 방지하도록 제어되는 것을 가능하게 한다. 임의의 이해관계자는, 최종 사용자가 알고리즘, 코드 또는 이미지 데이터를 액세스하지 않으면서, 최종 사용자에 의해 사용될 수 있는 알고리즘을 생성할 수 있는 엔진 저자일 수 있다. 이는, 임의의 수의 컨테이너화 엔진들/알고리즘들을 사용하여 연구를 프로세싱하기 위하여, 연구들을 클라우드 기반일 수 있거나 로컬로 위치될 수 있는 사설 또는 멀티-테넌트(multi-tenant) 보안 서버로 전송함으로써 이루어질 수 있다. 액세스 제어는 알고리즘 개발자들이 인증 및 관리 특권(administration privilege)들을 승인(grant)하게 허용한다.

[0035] 알고리즘 및 사용 인증의 실시예에서, 알고리즘을 사용하는 능력을 상이한 최종 사용자들에게 승인하는 능력을 알고리즘 개발자들에게 부여하거나, 또는 서면으로(in written form) 또는 클릭-스루(click-through) 법적 거래약관(legal terms and conditions)을 통해 제공되는 라이센싱 합의들 및 플랫폼에 대해 합의하도록 최종 사용자(들)에게 요구하면서, 이들이 공개적으로 사용되도록 공개되게 허용한다. 관리 특권들은 다른 알고리즘 개발자들이 알고리즘을 수정하거나 알고리즘의 새로운 버전을 생성하게 하거나, 또는 엔진들 또는 엔진들 중의 엔진들이 알고리즘을 수정하게 하기 위한 능력을 알고리즘 개발자에게 부여한다. 버전 제어는, 알고리즘 개발자들에게, 규제 허가(regulatory clearance)를 위한 알고리즘 기술적 파일에 대한 변화들을 추적하면서, 그 알고리즘의 상이한 세대들(generations)을 생성하는 능력을 허용한다. 유사하게, 이미지 및 임상 콘텐츠 코호트들 및 피어 리뷰 피드백 데이터의 상이한 세대들은 또한, 고유 값을 보호하고 의도되지 않은 데이터 확산(proliferation)을 방지하도록 버전화되고(versioned) 보안화된다.

[0036] 일 실시예에서, 이미지 프로세싱 엔진들(또한, 임의의 이미지들에 관련되거나 관련되지 않은 데이터를 또한 프로세싱할 수 있거나 오직 프로세싱만할 수 있는 이미지 프로세싱 모듈들 또는 이미지 프로세싱 유닛들로서 지칭됨)은, 다양한 조직들 또는 기업 엔티티들에 의해 운영될 수 있는 다양한 개발자들에 의해 개발될 수 있다. 이미지 프로세싱 엔진은 이미지에 대한 특정 이미지 프로세스(이를테면, 형상 인식, 사이즈 측정 등)를 수행하기 위하여, 프로세서에 의해, 일부 경우들에서는, 하드웨어 프로세싱 자원들(예컨대, 그래픽 가속 디바이스들, 이를테면 그래픽 프로세싱 유닛들 또는 GPU들)의 조합으로 개별적으로 그리고 독립적으로 착수(launch)될 수 있고 실행될 수 있는 실행가능한 이미지 또는 바이너리 코드(binary code)를 지칭한다. 이미지 프로세싱 엔진들은, 사용자가 의도된 동작 파라미터들을 선택하고 프로그래밍하는 것을, 그리고/또는 한정된 곳에(insular) 로컬로-위치된 피어 리뷰 시스템 솔루션으로서 독립적으로, 그리고/또는 (하이브리드 모드로) 다른 시스템과 통신 및 조합하여, 특정 위치에서 실행하도록 하나 이상의 이미지 프로세싱 엔진들을 다운로드하는 것을 허용하기 위하여, 웹 서버(Web server)에 업로드되고 나열(list)될 수 있다. 선택된 이미지 프로세싱 엔진들은 하나 이상의 이미지 프로세싱 동작들의 시퀀스를 수행하기 위한 다양한 구성들로(예컨대, 직렬로, 병렬로, 또는 이 둘 모두로)로 구성될 수 있다.

[0037] 발명의 다른 양상에 따르면, 이미지 프로세싱 엔진들은, 한 세트의 의사들에 의해 식별되는 의학적 소견들을 리뷰하도록 설계되는 다른 상업적 또는 독립적으로-개발된 피어 리뷰 시스템들로 연구들을 투입시키기 위해 활용될 수 있다. 일 실시예에서, 이미지 프로세싱 엔진들은 의사들에 의한 소견들을 확인하거나 입증하는 데 사용되고, 여기서, 엔진들은 피어 리뷰 시스템들로서 동작한다. 이미지 프로세싱 엔진들은 또한, 비정상 소견들을 가질 가능성이 더 많은 임의의 이미지들을 스크리닝하고 식별하며, 제3자 시스템 상에서의 피어 리뷰를 위하여 이 이미지들을 전송하거나, 피어 리뷰 시스템 발명에 대한 진단 리뷰를 소환하기 위하여 사용될 수 있다.

[0038] 그런 다음 식별된 이미지들은, 소견들을 입증하고 확인하기 위하여 한 세트의 의사들에 의해 리뷰된다. 후자의 경우, 엔진들은 예비적인 리뷰어들로서 동작한다. 그 결과, 리뷰될 필요가 있는 수 천개의 의료 이미지들에 대하여, 이미지 프로세싱 엔진들은 비정상적 이미지들을 예비적으로 식별하기 위하여 대용량(massive) 이미지 프로세싱 동작들을 수행할 수 있고, 엔진들은, 이 이미지들이 진단 해석 동안에 의사들에 의해 리뷰될 때의 피드백으로부터 전향적으로 "학습"할 수 있다. 만약 이미지 프로세싱 엔진들 및 리뷰 의사들의 소견들이 일치하면, 수반된 이미지 프로세싱 엔진들의 동작들이 검증될 수 있는데, 즉, 이미지 프로세싱 엔진들에 의해 사용되는 알고리즘들이 검증된다. 그렇지 않을 경우, 이러한 알고리즘들은 예컨대, 기계 학습 방법들을 사용하여 추가의 정밀한 튜닝 또는 훈련을 필요로 할 수 있다. 때때로, 엔진의 기능은 알고리즘이라 불린다. 의사 또는 엔진이 액션을 수행하거나 알고리즘/입력 또는 툴를 적용할 때, 이는 때때로 동작으로서 지칭된다. 이들 동작들은 피어 리뷰 연구의 전체적인 해석 성과의 일부인 소견들을 산출한다. 피어 리뷰 워크플로우과 유사하지만, 엔진들을 수반하여, 피어 리뷰 시스템에서는, (의사, 엔진, 엔진들 중의 엔진, 또는 동작으로부터의) 제1 결과가 있고, 이것은 (의사, 엔진, 엔진들 중의 엔진, 또는 동작으로부터의) 제2 결과와 비교되고, 비합의의 경우에, 이들은 (의사, 엔진, 엔진들 중의 엔진, 또는 동작으로부터의) 제3 결과에 의해 판정된다. 이로써, 피어 리뷰 시스템에서, 인에이블링 기술은 해석하는 의사를 위한, 의사에 앞서, 또는 의사 다음에 동작들을 수행함으로써, 그리고 인간 및 기계(엔진)으로 알아낸 소견들의 비교를 지원하기 위하여 이 상호작용을 이용함으로써, 그리고 전형적인 피어 리뷰 환경들외에도, 실시간 이미지 해석 환경에서 캡처되고, 대조(collate)되고, 조합될 인간 입력, 엔진들, 콘텐츠 및 소견들에 대한 기술 플랫폼 및 방법을 제공함으로써, 신규한 방법들로 피어 리뷰의 역할들 및 적용들을 확장시킨다. 피어 리뷰 시스템의 경우, 이는 의사들, 엔진들(또는 엔진들 중의 엔진들), 콘텐츠/이미지 코호트들, 및 제3자 검증 데이터 소스들의 임의의 조합 간의 (동기식 또는 비동기식) 상호작용을 포함한다.

[0039] 의사 확인들 및 거절들뿐만 아니라, 그들이 피어 리뷰 시스템을 사용하여 제공하는 다른 수집가능한 워크플로우 입력들은, 폐루프(closed-loop) 방식으로 훈련 데이터(training data)로서 사용될 수 있고, 이로써 엔진은 감독된 또는 감독되지 않은 방식으로 기계 학습 기법들을 사용하여 계속해서 또는 반복적으로 훈련되고, 만약 엔진 소견들과 (의사 조정들, 확인 또는 거절들을 포함하는) 의사 소견들 간에 임의의 불일치가 있다면, 메시지는 이벤트를 레코딩하는 데이터베이스에 전송되고, 그리고 선택적으로, 무엇인가 주의를 기울일 필요가 있다는 것을 표시하는 메시지가 1차 해석(primary interpretation) 프로세스 또는 피어 리뷰 시스템 프로세스 동안에도 임의의 미리결정된 디바이스(들), 개인(들) 또는 그룹들에 전송될 수 있다. 이는 피드백을 다른 엔진들에 제공하는 엔진들로 감독되지 않은 방식으로 발생할 수 있으며, 그럼에도 폐루프 학습 시나리오를 생성할 수 있다. 이런 경우들에는, 제1, 제2, 및 심지어 제3 결과가 인간들이 아니라 엔진들(또는 엔진들 중의 엔진들)로부터 제공될 수 있고, 피어 리뷰 시스템에 의해 사용되는 엔진(들)을 향상시키는 목적을 위하여 사용될 수 있다. 제1, 제2, 및 제3 결과가 전적으로 인간들로부터 유도될 때, 이는 전형적인 피어 리뷰이고, 피어 리뷰 시스템 발명의 일부가 아니다. 그러나, 이런 경우, 검증된 소견들을 갖는 이들 해석들의 이미지 및 콘텐츠 코호트들은 이미지/콘텐츠 코호트로서 캡처될 수 있고, 이 프로세스는 발명의 기능이다. 이러한 코호트들은 학습하기 위하여 소급적으로(retrospectively) 엔진들에 의해 사용될 수 있고, 이들 데이터는 의사들의 성과를 추가로 입증하기 위해, 이미지/콘텐츠 코호트를 추가로 개선시키기 위해 그리고 새로운 엔진들 및/또는 엔진들 중의 엔진들을 개발하기 위해, 피어 리뷰 시스템에 의해 피어 리뷰 프로세스로 투입될 수 있다.

[0040] 엔진들(및 엔진들 중의 엔진들)은 단지 이미지/콘텐츠 코호트들만이 아니라, 인입 임상 데이터의 라이브 스트림들에 대해 양호하게 수행해야 한다. 해석을 필요로 하는 이 실시간 임상 이미지들 및 콘텐츠 세트들은 종종 불완전하다. 이것은 스캐닝 프로토콜 에러들, 환자 움직임, 금속 아티팩트(metal artifact)들, 비만 환자들 등과 같은 환자 스캐닝 결함들이 있기 때문에 발생할 수 있다. 그것은 또한, 현재의 이미징 연구, 또는 결손된 임상 정보 또는 의료 에러들 등에 관련되는 이전의 이미징 연구들의 이용가능성의 결여로 인해 발생할 수 있다. 이런 이유들로, 실시간 연구 평가는 이미지/콘텐츠 코호트들을 프로세싱하는 것보다 더 난제적이고, 다양한 엔진들/동작들이 실패할 것으로 예상될 수 있다. 피어 리뷰 시스템은 임의의 정해진 앙상블(ensemble)의 가능성(likelihood), 정해진 사용 케이스를 성공시키는 엔진 또는 동작, 및 제공된 데이터의 품질 팩터들을 결정하기 위하여 난제시되거나 또는 실패한 연구들의 코호트들을 활용할 수 있다. 그것은 임의의 특정 연구에 대한 요구된/원하는 소견들 또는 심지어 이미지들의 난제시되는 코호트를 최상으로 전달하기 위하여, 데이터를 분석하고 어느 엔진들, 앙상블들, 및 동작들이 작동되는지에 영향을 주는 엔진들 중의 엔진에서 이 정보를 활용할 수 있다. 이러한 방법으로 최적화함으로써, 피어 리뷰 시스템은 낭비된 연산력(compute power)을 감소시키고, 열등한 소견들을 리뷰하는 낭비된 의사 시간을 감소시키고, 엔진들 및 앙상블들의 일치 및 성능을 증가시킴으로써, 피어 리뷰 시스템 자체의 성능을 개선시키기 위하여 피어 리뷰 시스템의 지능을 활용한다.

[0041] 경고들은, 만약 하나 또는 다수의 엔진들 또는 앙상블들에 의해 리턴된 일치하는, 불일치하는, 정상적인, 비정상적인, 높은 품질, 낮은 품질, 실패한, 또는 성공적인 결과들이 있다면, 제공될 수 있다. 추가적으로, 감독된 또는 감독되지 않은 기계 학습 엔진은 다양한 상황들에서 다양한 엔진들의 유효성을 모니터하고 학습하기 위하여 사용될 수 있고, 그리고 피어 리뷰 프로세스 내부 또는 또 다른 의사 또는 임상의 이미지 해석 또는 리뷰 프로세스 내부, 또는 전자 건강 레코드, 뷰잉 시스템, PACS 또는 3D 진보된 시각화 시스템 내에서든지, 만약 마킹(mlark)되지 않거나, 그렇지 않고 엔진에 의해 측정되거나, 언급되거나, 마킹되거나, 또는 표기되고, 클라우드 플랫폼에 의해 공급된다면, 의사에 의해 확인되거나 또는 그렇지 않으면 의사에 의해 결손될 가능성이 있는 소견들의 수를 증가시키기 위하여 다양한 사용 케이스들에 최상으로 적용되어야 할 다양한 엔진들의 사용을 최적화하는 것을 시작할 수 있다.

[0042] 일 실시예에 따르면, 특정 임상 연구와 연관된 제1 세트의 의료 이미지들이 의료 데이터 소스로부터 수신될 때, 하나 이상의 이미지 프로세싱 엔진들은 이미징 연구의 특정한 유형에 대하여 구성되는 엔진 동작들을 수행하기 위한 미리결정된 또는 기계 학습 제안 순서에 따라 의료 이미지들(또는 이 출원에서 동의어로 사용된 데이터)을 프로세싱(예컨대, 이미지들 또는 다른 데이터 또는 측정들에서의 형상들, 특징들, 추세들을 인식함)하기 위하여 인보크된다. 이미지 프로세싱 엔진들은 의료 이미지들의 임의의 비정상 소견들을 검출하거나, (그것들이 해석을 위하여 이용하고 있는 시스템에 기반하여, 또는 피어 리뷰 시스템 기능성의 일부로서의 최종-사용자 맞춤화된 방식으로) 최종-사용자의 선호도들 또는 컴퓨터-관찰된 작업 방법들에 따라 임상 워크플로우를 최적화하고, 비정상적인 소견들을 설명하는 제1 결과, 또는 이미지들 및 정상 및/또는 비정상 소견들의 바람직한 프리젠테이션을 생성하기 위하여, 이미지 프로세싱 동작들을 수행하도록 구성된다. 의사 입력은 제2 결과를 표현한다. 피어 리뷰 시스템은 결과들 및 소견들의 합의 또는 비합의를 검출하고 부조화 결과들이 주어질 경우에 추가의 판정을 위한 경고들을 전송하거나, 그것은 차이들을 레코딩하고, 차이들을 알고리즘/엔진의 오너에게 제공하여, 오너가 이 피드백이 수락되는지 여부(즉, 의사 입력이 참(truth)으로서 수락되어야 하는지 여부, 및 이 연구가 새로운 또는 업데이트된 코호트에 포함되어야 하는지 여부)를 통제하게 허용한다.

[0043] 발명의 일 실시예는 이미지 획득 품질에 기반하여 추론 및 이미지 코호트 수집을 조절한다. 이미지 품질은 임의의 예측 엔진이 엔진 표준들이 충족되는 것을 보장하기 위하여 소환되기 전에 또는 그 후에 체크되고 입증될 필요가 있다. 이것은 이미징 인포매틱스에서의 품질 제어를 담당하는 규제 및 단속 본문들의 표준들을 포함할 수 있다. 이것의 하나의 예는 폐색전증(pulmonary embolism) 연구들과 관련한다. 폐색전증의 검출을 위한 민감도(sensitivity) 및 특성(specificity)은 이미지 획득 품질에 직접적으로 관련된다. 호흡 모션 아티팩트(respiratory motion artifact) 또는 기술적 획득 파라미터들(예컨대, 콘트라스트 볼루스(contrast bolus) 타이밍)과 같은 이미지 열화를 야기하는 아티팩트들은 정해진 소견을 신뢰적으로 식별하기 위하여 엔진의 능력에 직접적으로 영향을 미친다. 의사에게 제공되거나 입증되어야 할 폐색전증 검출 엔진 결과에 대하여, 품질 제어 엔진은 폐색전증 검출 엔진의 신뢰성을 수정하기 위하여 콘트라스트 볼루스 타이밍을, 그리고 호흡 모션 아티팩트에 대하여 평가해야 한다. 이미지들을 프로세싱하기 위하여 자동으로 선택될 수 있는 정해진 아티팩트의 존재 또는 부재가 정해질 경우에, 더 양호하게 또는 더 열악하게 수행하는 엔진들이 있을 수 있다. 프로세싱된 엔진들의 조합은 정해진 소견에 대한 소견 출력의 최적의 그리고 적절한 신뢰성을 보장한다. 따라서, 소견의 존재 또는 부재는 반드시 이산 값이 아니라, 연구 품질의 범위 또는 함수로서 발생할 수 있다. 이것은 이미지 아티팩트들 및 기술적 이미지 획득 품질 변동들의 품질 제어 및 핸들링에 대한 엔진 선택기의 엔진의 일 실시예이다.

[0044] 유사한 품질 제어 패러다임(paradigm)은 이미지 코호트 큐레이션 품질 스코어링(image cohort curation quality scoring)에 적용된다. 의사들과 엔진들의 조합에 의해 큐레이팅되는 정해진 이미지 코호트에 저장된 각각의 이미지에 대하여, 이미징 아티팩트들의 존재 및 부재로 인한 품질 스코어들은 소견들과 함께, 데이터베이스 내에 저장된다. 자동화된 품질 제어 스코어는 진단 이미지 해석자 또는 제공자에 의해 수락될 수 있거나 거절될 수 있다. 높고 낮은 품질 라벨 세트들 둘 모두가 큐레이팅된다. 정해진 엔진의 성능은, 만약 특정 아티팩트들이 존재한다면, 엔진이 사용될 수 있는지를 결정하기 위하여 높고 낮은 품질 데이터 세트들 둘 모두에 대하여 스코어링된다.

[0045] 구체적으로, 발명의 일 실시예에서, 이미지 프로세싱 엔진들은 동일하거나 상이한 엔티티들 또는 조직들에 의해 운영될 수 있는 하나 이상의 이미지 프로세싱 엔진 개발자들에 의해 제공된다. 제2 세트의 의료 이미지들은 제1 리뷰 시스템으로 송신되고, 여기서, 제2 세트의 의료 이미지들은 제1 서브세트의 의료 이미지들이다. 일 실시예에서, 제2 세트의 의료 이미지들은 이미지 프로세싱 엔진들에 의해 비정상 이미지들로서 카테고리화되었다. 피어 리뷰 시스템으로서 동작하는 리뷰 시스템은 이미지들의 비정상을 입증 또는 확인하거나 또는 비입증 또는 거절하여, 제2 결과를 생성하기 위하여 제2 세트의 의료 이미지들을 리뷰하도록 구성된다. 리뷰 시스템으로부터 수신된 제2 결과에 대한 응답으로, 피어 리뷰 시스템 상에서 실행된 이미지 프로세싱 엔진들의 동작들은 제1 결과 및 제2 결과에 기반하여 검증되거나 무효화된다(이것은 이러한 능력을 가지는, 제3자 종래 피어 리뷰 시스템 상에서, 또는 본원에서 설명된 피어 리뷰 시스템 발명 상에서 행해짐).

[0046] 기계 학습 엔진들은 이 정보 및/또는 가버넌스로부터 학습할 수 있고, 및/또는 알고리즘의 오너는 학습 프로세스로의 이러한 피드백을 수락할 수 있거나 거절할 수 있거나, 감독되지 않은 엔진은 일부 피드백을 수락하는 것과 다른 피드백을 거절하는 것의 통계적으로 이상적인 조합을 알아내기 위하여 스스로 다양한 시나리오들로 실험할 수 있다. 엔진(들)/앙상블(들) 성능은 품질 제어를 수행하기 위하여 훈련 데이터로서 엔진 저자가 이용가능하지 않은 레퍼런스 표준 이미지 코호트에 대하여 검증될 수 있고, 여기서, 엔진의 버전화는 이 성능 메트릭(performance metric)들을 디스플레이하고 및/또는 전형적인 건강관리 규제 및 레퍼런스 표준들에 따라 추적가능성을 위하여 저자에게 제공된 정해진 알고리즘 및 이미지들의 코호트들을 버전화한다. 알고리즘 입증 및 엔진 자격을 위하여 특수하게 어셈블리된 투입된 이미지들 또는 이미지 코호트들은 알고리즘의 정해진 버전의 과다맞춤(overfit)을 방지하기 위하여 제공된 이미지들의 수 및 타입들의 면에서 랜덤화(randomize)된다(즉, 알고리즘이 좋게 보이고 양호하게 레이팅되도록 하기 위하여 데이터를 조절함). 이러한 버전화는 레퍼런스 표준 코호트를 사용하여 검증을 수행하는 것이 적합하지 않을 경우에, 훈련 데이터와 검증 데이터 사이의 정의된 분리를 보장한다.

[0047] 일 실시예에서, 이미지 프로세싱 엔진의 결과들을 일관적으로 그리고 많은 사용자들에 의해 검증함으로써, 이미지 프로세싱 엔진은 FDA 또는 유사한 것과 같은 외부 제3자 엔티티에 의해, 규제 증명들을 지원하기 위하여 이 데이터를 활용함으로써 "증명된" 또는 "승인된" 이미지 프로세싱 엔진이 될 수 있다. 만약 이미지 프로세싱 엔진이 그것이 사용 결과들에 기반하여 검증될 수 없다면, 이미지 프로세싱 엔진의 파라미터들 또는 알고리즘은 예컨대, 이 이전의 결과들(이미지 코호트들 및 임상 콘텐츠 코호트들)에 기반하여 기계-학습 방법을 이용하여 조정되거나 재훈련(retrain)될 필요가 있을 수 있다. 또한, 엔진들, 이미지 코호트들, 임상 코호트들의 수정 및 모든 피어 리뷰 시스템 활용 데이터의 저장은, 엔진들 중의 엔진들이 학습하고 적응하고, 엔진 저자들이 이 레코딩된 이벤트들에 기반하여 그들의 엔진들의 성능을 개선시키기 위한 방법을 제공한다.

[0048] 도 1은 발명의 일 실시예에 따른 의료 데이터 피어 리뷰 시스템을 예시하는 블록 다이어그램이다. 도 1을 참조로, 의료 데이터 피어 리뷰 시스템(100)은 네트워크(103)를 통해 의료 이미지 프로세싱 서버(110)에 통신가능하게 커플링된 하나 이상의 클라이언트 디바이스들(101 내지 102)을 포함한다. 클라이언트 디바이스들(101 내지 102)은 데스크톱, 랩톱, 모바일 디바이스, 워크스테이션 등일 수 있다. 네트워크(103)는 LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 사설 클라우드 네트워크, 공공 클라우드 네트워크, 또는 이들의 조합일 수 있다.

[0049] 이미지 프로세싱 서버(110)는 의료 데이터 소스들(105)에 의해 제공될 수 있는 의료 이미지들 및 임상 콘텐츠에 대한 일련의 하나 이상의 이미지 프로세싱 동작들 또는 임상 콘텐츠 프로세싱 동작들을 수행하도록 인보크될 수 있고 구성될 수 있는 다수의 이미지 프로세싱 엔진들(113 내지 115)을 호스팅(host)한다. 의료 데이터 소스들(105)은 LIS(Laboratory Information System), RIS(Radiology Information System), ECM(Enterprise Content Management Systems), EMR(Electronic Medical Record), HIS(Hospital Information System), PACS(Picture Archiving and Communication System), VNA(Vendor Neutral Archive), 진보된 시각화 3D 시스템들(Advanced Visualization 3D systems), EMR 데이터, 다양한 디렉토리(directory)들 뿐만 아니라, HIE(health information exchange) 서버들 및 개별 또는 조직 저장소들과 같은 다른 데이터 소스들을 포함할 수 있다. 의료 데이터 소스들(105)은 이미지 프로세싱 서버(110)를 운영하는 조직과는 상이한 조직들 또는 정보 제공자들에 의해 관리될 수 있고 및/또는 운영될 수 있다. 의료 이미지 데이터 소스(105)는 클라우드 기반 스토리지(storage), 로컬 드라이브, CD, 하드 드라이브, DVD, USB, 웹 업로더(web uploader), 임의의 DICOM 저장소 또는 소스, 이미지들 및 임상 콘텐츠의 다른 소스들, 또는 이들의 임의의 조합으로부터의 이미지 데이터를 포함할 수 있다. 이미지 프로세싱 서버(110)는 의료 이미지 데이터 소스들(105)로부터 네트워크를 통해 이미지 데이터(예컨대, 연구들, 임상 보고들, 이미지들, 환자 데이터, 활용 데이터, 또는 이들의 임의의 조합)를 수신할 수 있다.

[0050] 피어 리뷰 시스템은, 인간 지능 및 입증, 또는 많은 양들의 비라벨링된 데이터의 의도적 수집을 요구하는, 라벨링된 데이터의 고유 값을 인식한다. 라벨링된 데이터 절도를 통한 엔진들의 역 엔지니어링(reverse engineering)을 방지하거나, 이 임무(task)를 수행할 수 있는 엔진을 도용함으로써 라벨링된 데이터 세트를 복제하는 것을 방지하기 위한 옵션으로서, 피어 리뷰 시스템은 라벨링된 데이터, 소스 데이터의 액세스, 실행, 암호해독(decrypt), 또는 내보내기(export), 또는 엔진들/앙상블들의 제약이 엔진 저자 허가 없이 이러한 마킹의 부재 또는 존재 시에 실행하는 것을 방지하기 위하여 활용될 수 있는, 기본 증명서(underlying certificate) 또는 입증 시스템을 갖거나 갖지 않는 워터마킹(watermarking), 이미지 라벨링(image labelling), 및/또는 암호화(encryption) 능력을 포함한다.

[0051] 피어 리뷰 시스템의 일 실시예는 저자의 허가 없이 주석처리된 데이터를 수집함으로써 엔진의 역 엔지니어링을 방지함으로써 엔진의 지적 재산의 저자들을 보호할 수 있다. 이것은 저자 및 최종 사용자에 의해 세팅된 EULA 및 허가들에 기반하여 변할 수 있다. 이 특징의 몇몇의 샘플 구현들은 a) 블록 체인 기반(예컨대, 이더리움(etherum)) DApp(decentralized application)을 이용하여 메타데이터(metadata) 또는 이미지 데이터를 주석처리하는 것에 의한 연구들을 추적하는 것, b) 엔진들에 의해 생성된 이미지 오버레이들을 워터마킹하는 것, c) 인증된 뷰어 또는 PACS 환경으로 보일 엔진의 출력을 암호화하는 것, d) 주석처리된 이미지 데이터 및/또는 메타데이터의 벌크 데이터 내보내기(bulk data export)를 방지하는 것, e) 주석처리된 이미지 코호트들의 사용을 로그(log)하는 것, f) 입증 증명서의 수신 없이 엔진/앙상블의 실행을 방지하는 것, 및 g) 데이터가 특정한 마킹들 또는 주석처리된 메타데이터, 또는 암호화된 액세스 키(access key) 등을 포함하지 않는다면, 엔진이 데이터에 대해 실행하는 것을 방지하는 것을 포함(그러나, 이것들로 제한되지는 않음)한다.

[0052] 일 실시예에서, 데이터 소스들(105)에 의해 제공된 의료 데이터는 DICOM 포맷인 의료 이미지 데이터, 비-DICOM 포맷인 의료 이미지 데이터, 스케줄링 데이터, 등록(registration) 데이터, 인구학적 데이터, 처방 데이터, 빌링 데이터, 보험 데이터, 구술 데이터(dictation data), 보고 데이터, 워크플로우 데이터, EKG 데이터, 모범 사례 레퍼런스 자료들, 레퍼런스 자료들, 훈련 자료들 등을 포함할 수 있다. 이 데이터는 HIS, RIS, PACS, LIS, ECM, EMR, 또는 다른 시스템들을 포함하는 몇몇의 위치들 또는 시스템들에서 상주(reside)할 수 있다. 비-DICOM 데이터는 A/V, MPEG, WAV, JPG, PDF, Microsoft Office™ 포맷들, 및 다른 포맷들을 포함하는 몇몇의 포맷들로 되어 있을 수 있다. 일반적으로, PACS 내의 데이터는 DICOM 데이터를 포함할 것이고, 여기서, HIS, RIS 및 LIS, ECM, EMR에서의 데이터는 이미지 및 비-이미지 데이터 둘 모두를 포함하는 비-DICOM 데이터를 포함할 것이다. HIE 데이터는 건강 정보 교환 시스템을 통해 이용가능한 데이터를 포함한다. 이 데이터는 일반적으로, 구역, 커뮤니티, 또는 병원 시스템 내에서의 상이한 조직들에 걸쳐 이용가능한 데이터를 포함하고, 텍스트-기반, 파일-기반, DICOM, 또는 비-DICOM 이미지 데이터일 수 있다. 다른 데이터는 컴퓨터들 상의 디렉토리들, 데이터베이스들, 백색 페이퍼들 및 임상 저장소들, 연구 기관들 및 사용자들로부터 수집된 데이터, 모바일 디바이스들, 및 임상 이용의 과정 등에서의 데이터를 포함하는 임의의 다른 관련된 데이터를 포함할 수 있다.

[0053] 이미지 프로세싱 엔진들(113 내지 115)은 다양한 조직 또는 기업 엔티티들에 의해 운영될 수 있는 다양한 벤더(vendor)들에 의해 개발될 수 있고 제공될 수 있다. 일 실시예는 추세들, 비교들, 특정 값들, 특성들, 형상 또는 비슷함(유사성) 인식, 관심 있는 영역들, 사이즈, 측정들 등과 같은, 이미지(또는 동의어로 이용된 데이터 세트)에 대한 특정한 이미지 프로세스를 수행하기 위하여, 프로세서에 의해, 일부 경우들에는, 하드웨어 프로세싱 자원들(예컨대, 그래픽 프로세싱 유닛들 또는 GPU들과 같은 그래픽 가속도 디바이스들)의 조합으로 개별적으로 그리고 독립적으로 착수될 수 있고 실행될 수 있는 실행가능한 이미지, 컨테이너, 가상 환경, 2진 코드로서의 이미지 프로세싱 엔진이다. 이미지 프로세싱 엔진들(113 내지 115)은 클라이언트들(101 내지 102)의 사용자가 하나 이상의 이미지 프로세싱 엔진들을 각각 클라이언트 애플리케이션들(111 내지 112)의 일부로서 구매하고, 선택하고, 다운로드하게 허용하기 위하여, 웹 서버(109), 이 예에서는, 애플리케이션 스토어(application store)에서 업로드될 수 있고 나열될 수 있다. 선택된 이미지 프로세싱 엔진들은 하나 이상의 이미지 프로세싱 동작들의 시퀀스를 수행하기 위한 다양한 구성들(예컨대, 직렬, 병렬, 또는 둘 모두)로 구성될 수 있다. 이미지 프로세싱 엔진들(113 내지 115)은 동작들을 수행하기 위하여 클라이언트 시스템들(101 내지 102)로 다운로드될 수 있다. 대안적으로, 이미지 프로세싱 엔진들(113 내지 115)은 동작들을 수행하기 위하여, 그리고 엔진들의 저자들이 액세스를 제어하고 버전들 및 규제 준수성을 유지하는 것을 허용하기 위하여, SaaS(software as a service) 및/또는 PaaS(platform as a service)의 일부로서 이미지 프로세싱 서버(110)와 같은 클라우드-기반 시스템에서 호스팅될 수 있다.

[0054] 일 실시예에서, 이미지 프로세싱 엔진들 또는 모듈들(113 내지 115)의 각각은 예컨대, 폐 결절(lung nodule) 검출, 뼈 골절(bone fracture) 검출, 장기 식별 및 세그먼트화, 혈전(blood clot) 검출, 이미지 신체 부위 카테고리화, COPD(chronic obstructive pulmonary disease) 검출, 또는 연조직 특성화와 같은, 의료 이미지들에 대한 특정한 이미지 프로세싱 동작을 수행하도록 구성될 수 있다. 이미지 프로세싱 엔진은 임상 콘텐츠에 의해 유도되거나 암시되는 의료 이미지들로부터 획득된 형상, 텍스처, 구형도 측정, 컬러, 또는 다른 특징들에 기반하여 이러한 검출을 수행할 수 있다. 일 실시예에서, 다수의 벤더들에 의해 제공된 다수의 이미지 프로세싱 엔진들은 의료 이미지 프로세싱 서버(110)의 구성 인터페이스를 통해 또는 클라이언트 애플리케이션들(111 내지 112)을 통해 구성될 수 있는 이미지 프로세싱 동작들을 수행하기 위하여, 직렬로, 병렬로, 또는 둘 모두의 조합으로 구성될 수 있다.

[0055] 일 실시예에서, 이미지 프로세싱 엔진들(113 내지 115) 중의 임의의 하나가 인보크될 때, 그것은 이미지 프로세싱 서버(110)의 일부로서, 또는 대안적으로, 이미지 프로세싱 서버(110)에 통신가능하게 커플링된 원격 의료 이미지 프로세싱 시스템(또는 시스템들 또는 서버들의 클러스터)으로서 통합될 수 있는, 이미지 프로세싱 시스템(106)의 하나 이상의 이미지 프로세싱 툴들(107)을 추가로 인보크할 수 있다. 이미지 프로세싱 시스템(106)은 TeraRecon® AquariusNET™ 서버 및/또는 TeraRecon® AquariusAPS™ 서버의 일부로서 구현될 수 있다. 각각의 이미지 프로세싱 엔진은 이러한 이미지들에 대한 특정 이미지 정량적 데이터 또는 측정 데이터를 생성하기 위하여, 엔진 또는 엔진들 중의 엔진으로 내비게이팅되었거나 엔진 또는 엔진들 중의 엔진에 의해 자동적으로 검출될 수 있는 환자의 신체 부위의 이미지에 대한 이미지 프로세싱 동작을 수행하기 위한 의료 이미지 프로세싱 시스템(106)을 인보크할 수 있다. 유사하게, 임상 콘텐츠가 조사될 수 있다.

[0056] 이미지 정량적 데이터는 의료 이미지의 특정 신체 부위의 사이즈 및/또는 특징들을 수동으로 또는 반-자동으로 결정하거나 측정하기 위하여 사용될 수 있다. 이미지 정량적 데이터는 특정 의료 조건, 의료 이슈, 또는 질환이 존재하거나 의심되는지 여부를 결정하기 위하여 이미지의 타입과 연관된 대응하는 벤치마크(benchmark)와 비교될 수 있다. 이러한 발생의 가능성은 환자의 의료 이력의 일부로서의 환자의 의료 데이터 및/또는 다른 환자들의 데이터의 동일한 타입의 추세에 기반하여 추가로 예측될 수 있거나 결정될 수 있다. 일 실시예에서, 앙상블 엔진들, 예컨대, 신체 부위를 발견하는 것, 그것을 세그먼트화하는 또 다른 것, 그것 내에서 해부학을 라벨링하는 또 다른 것, 및 그 영역에서 가장 중요한 질환들의 징후들을 검출하는 또 다른 것, 그리고 최종적으로, 보조 및 지시를 의사에게 제공하기 위하여 이 소견들을 임상 정보 자원들 및 추천들과 매칭할 수 있는 또 다른 것이 조합될 수 있다.

[0057] 일 실시예에서, 프로세싱 엔진은 환자의 특정 신체 부위와 연관될 수 있다. 단지 특정 엔진들만이 그것이 신체의 어떤 부위에 관련하는지에 따라, 또는 사용되는 것이 어떤 이미징 모달리티 타입(이미징 절차 타입)인지에 따라 적용될 것이다. 이것은 위에서 언급된 엔진들 중의 엔진이 양호한 선택을 행하고 작업하는 것을 학습하는 것을 도울 것이다.

[0058] 이미지 프로세싱 서버(110)는 하나 이상의 e-스위트(e-suite)들(즉, 앙상블들로서 또한 지칭된 e-스위트들은 하나 이상의 이미지 프로세싱 엔진들의 조합일 수 있음)을 더 포함할 수 있다. 이로써, 앙상블들은 입도(granularity)를 증가시키기 위하여 캐스케이딩(cascade)될 수 있음으로써, 앙상블 엔진의 특정 의도된 액션에 대한 민감도 및 특성을 증가시킬 수 있다.

[0059] 엔진 또는 e-스위트들은 소견들(예컨대, 질환, 표시, 특징, 오브젝트, 형상, 텍스처, 측정, 보험 사기, 또는 이들의 임의의 조합)을 검출할 수 있다. 하나 이상의 엔진들 및/또는 하나 이상의 e-스위트들은 메타데이터, 이미지내 분석(in-image analysis)의 알려진 방법들, 또는 이들의 임의의 조합에 기반하여 연구들(예컨대, 임상 보고들, 이미지들, 환자 데이터, 이미지 데이터, 메타데이터, 또는 이들의 임의의 조합)로부터 소견들을 검출할 수 있다. 이미지 프로세싱 서버(110)의 이미지 프로세싱 엔진들(113 내지 115)은 예컨대, 이미지 데이터가 비정상이라는 것을 표시하는 소견들로 이미지 데이터를 플래그화(flag)할 수 있다.

[0060] 플래깅은 실제적인 소견(들), 또는 엔진/e-스위트에 의해 알아낸 소견들의 조합, 엔진/e-스위트 네임, 연구가 이미지 프로세싱 서버(110)에 의해 프로세싱되었다는 것을 표현하는 간단한 마크, 연구가 정상/비정상이었다는 것을 마킹하는 것, 소견들의 위험을 묘사하는 일련의 매크로 레벨 표시 선택들(예컨대, 적색, 황색, 녹색, 또는 주황색), 심각도(예컨대, 경도, 중등도, 또는 중증도) 또는 소견을 나타내는 아이콘(icon)들(예컨대, 소견들이 있다는 것을 나타내는 간단한 마크)로 마킹하는 것, 이미지 뷰잉 시스템에서 자동으로 소환된 관련된 툴들, 또는 이들의 임의의 조합을 활용하는 유도된 개요 표시, 또는 엔진/e-스위트/앙상블 또는 엔진들 중의 엔진에 의해 제공된 바와 같은 그 외의 것을 디스플레이하는 것을 포함할 수 있다.

[0061] 플래깅은 연구 시에 또는 연구와는 별개로 발생할 수 있다. 플래깅은 하나 또는 몇몇의 레스트풀 서비스(restful services)들, API들, 통지 시스템들을 통해 이용가능할 수 있고 액세스가능할 수 있거나, 제3자 애플리케이션으로, 또는 이미지 프로세싱 서버, 또는 피어 리뷰 시스템의 데이터베이스(들) 상으로 푸시(push)될 수 있다. 일 실시예에서, 플래깅은 3D 의료 이미징 소프트웨어 애플리케이션(예컨대, 클라이언트 애플리케이션들(111 내지 112))에서 디스플레이될 수 있거나 보일 수 있다. 엔진들 및/또는 e-스위트들은, 엔진들/e-스위트들이 더 많은 연구들을 프로세싱할 때, 엔진들/e-스위트들이 소견들을 더 정확하게 검출할 수 있도록, 주기적으로 이전의 소견들에 기반하여 기계 테어링(machine tearing) 알고리즘들을 사용하여 기계 학습할 수 있거나 훈련될 수 있다. 다른 말로, 소견들을 검출하는 신뢰성 레벨은 더 많은 연구들이 프로세싱될 때에 증가한다. 엔진들 및/또는 e-스위트들의 소견들에 기반하여, 이미지 프로세싱 서버(110)는 예컨대, 소견들의 타입, 소견들의 심각도, 환자 건강에 대한 위험, 또는 이들의 임의의 조합에 기반하여 연구 작업리스트를 우선순위화할 수 있고 소팅(sorting)할 수 있다. 이것은 1차 이미지 해석의 프로세스에서 사용될 수 있는 결과들 및 매크로 소견들의 리스트를 포함하는 플랫폼의 최종 출력이고, 이 소견들 중의 임의의 것은 조정에 대한 기본 가정들의 면에서 개방될 수 있거나 추가로 심문(interrogate)될 수 있거나, 이미지 데이터 또는 임상 데이터의 품질은 적절성 및 가능한 교환 또는 편집을 위하여 평가될 수 있다.

[0062] 레스트풀 서비스들을 갖는 인터페이스 또는 API는 피어 리뷰 시스템, 다른 공통적인 피어 리뷰 시스템들, 및 다른 의료 이미지 뷰어들 사이의 양방향 통신을 제공하여, 이 제3 부분 애플리케이션들에서 제공된 임의의 피드백은 추가적인 이미지 데이터 코호트들 및 임상 콘텐츠 코호트들의 엔진 학습 및 큐레이션을 가능하게 하기 위하여 피어 리뷰 시스템으로 리턴될 수 있다.

[0063] 애플리케이션 저장소(109)는 하나 이상의 엔진들, 하나 이상의 e-스위트들, 또는 이들의 임의의 조합을 저장할 수 있는 전자-상거래(e-commerce) 서버일 수 있다. 이미지 프로세싱 서버(110)는 동일하거나 상이한 엔진들 또는 e-스위트들을 애플리케이션 저장소(109)로서 저장할 수 있다. 이미지 프로세싱 서버(110)의 엔진들 또는 e-스위트들은 어느 엔진들이 이미지 프로세싱 서버(110)의 그래픽 사용자 인터페이스(GUI) 또는 (로컬 또는 인터넷 상의) 웹사이트를 통해 사용자에 의해 선택되는지에 의존하여 연구들을 프로세싱할 수 있다. 이미지 프로세싱 서버(110)는 업데이트된/개선된 엔진들 또는 e-스위트들을 애플리케이션 저장소(109)로 전송할 수 있다. 애플리케이션 저장소(109) 또는 이미지 프로세싱 서버(110)는 사용자 프로파일들 및/또는 그룹 프로파일들을 저장할 수 있다. 사용자 프로파일들은 하나 이상의 사용자들에 특정적일 수 있다. 그룹 프로파일들은 하나 이상의 그룹들, 예컨대 가버넌스 위원회(governance board), 방사선 전문의 그룹, 심장병 전문의 그룹, 기술자 그룹, 개발자 그룹, 또는 이들의 임의의 조합에게 특정적일 수 있다. 사용자 프로파일들 및 그룹 프로파일들은 툴들, 엔진들, e-스위트들, 훈련 툴들, 코딩 툴들, 또는 이들의 임의의 조합에 대한 액세스 제어들을 가질 수 있다. 사용자들 및/또는 그룹들은 다른 사용자들 및/또는 그룹들에 대한 액세스 제어를 확장 또는 감소시킬 수 있다.

[0064] 툴들, 엔진들, e-스위트들, 훈련 툴들, 코딩 툴들, 또는 이들의 임의의 조합은 이미지 프로세싱 서버(110)를 통해 또는 2D 및/또는 3D 의료 이미징 소프트웨어 애플리케이션, 또는 피어 리뷰 시스템, 또는 신규한 피어 리뷰 시스템에서 디스플레이 및 사용될 수 있다. 의료 이미징 소프트웨어 애플리케이션은 이미지 프로세싱 시스템(106)의 이미지 프로세싱 툴들(107)의 출력에 액세스하는 클라이언트 애플리케이션이다. 예컨대, 제1 사용자는 클라이언트 디바이스(예컨대, 웹사이트, 모바일 폰, 워크스테이션, 컴퓨터, iPad, 랩톱, 또는 임의의 다른 방법 또는 타입, 또는 이들의 조합)를 통해 제1 엔진을 업로드할 수 있으며, 이는 애플리케이션 저장소(109)에 저장될 수 있다. 제1 사용자 또는 가버넌스 위원회는 특정 툴들, 예컨대 기계 학습/훈련 툴들에 대한 액세스를 제2 사용자 또는 그룹에 제공할 수 있다. 제2 사용자 또는 그룹은 기계 학습/훈련 툴들을 사용할 수 있으며, 그리고 이러한 사용으로부터의 피드백은 더 높은 정확도로 소견들을 검출하도록 제1 엔진을 훈련시키는 데 적용될 수 있다. 제1 엔진은 이미지 프로세싱 서버(110)에 의해 업데이트되어 애플리케이션 저장소(109)에 저장될 수 있다. 엔진들에 의한 이미지 데이터의 프로세싱 및 엔진들의 업데이트는 이미지 프로세싱 서버(110), 이미지 프로세싱 애플리케이션 저장소(109), 또는 이들의 임의의 조합에서 이루어질 수 있다.

[0065] 이러한 엔진들은 측정된 성능 속성들을 가질 수 있으며, 이러한 성능 속성들은, 감독된 학습을 통해 구현되는, 규정적(prescriptive)이거나, 감독된 또는 감독되지 않은 학습을 통해 엔진들(엔진들 중의 엔진들)에 의해 자체-개발되도록 허용됨이 주목된다. 그런 다음, 가버넌스를 통해, 엔진을 업로드하는 사람은 변경들을 수락 또는 거절하고 그리고/또는 다른 사람들에 의한 사용을 위해 이들을 공개할 수 있다.

[0066] 이미지 프로세싱 서버(110)는 상이한 위치들에 있는 하나 이상의 의료 기관들, 하나 이상의 사용자들, 하나 이상의 그룹들, 또는 이들의 임의의 조합으로부터의 e-스위트들 또는 엔진들을 포함할 수 있다. 이미지 프로세싱 서버(110)는, 하나 이상의 사용자들이 하나 이상의 엔진들 또는 하나 이상의 e-스위트들을 업로드 또는 다운로드할 수 있도록 GUI(graphical user interface)를 가질 수 있다. 이미지 프로세싱 서버(110)는 하나 이상의 사용자들 또는 그룹들이 엔진들 또는 e-스위트들에 대한 데이터를 훈련, 코딩, 개발, 업로드, 삭제, 추적, 구매, 업데이트, 또는 프로세싱하도록 하기 위한 GUI를 가질 수 있다. 이미지 프로세싱 서버(110)는 액세스 제어(access controls)를 가질 수 있다. 이미지 프로세싱 서버(110)는, 엔진들, 앙상블 엔진들, 엔진들 중의 엔진들, 및 그 구성에 대한 제어된 액세스를 지원하기 위한 독립적인 보안 및 클라우드 액세스 제어들을 제공하는 멀티-테넌트 환경을 지원하도록 패스워드로 보호될 수 있다. 이러한 패스워드들 (및/또는 다른 시스템들과의 통합형 워크플로우에 대한 인증 방법들)은 이미지 코호트들, 임상 데이터 코호트들, 엔진 액세스 가능성 및 상호작용 데이터베이스의 별개의 액세스 제어를 지원한다.

[0067] 이미지 프로세싱 서버(110)는 사용자들 또는 그룹들이, 동일한 의료 기관 또는 다른 의료 기관들(예컨대, 멀티-테넌시 구성)의 다른 사용자들 또는 그룹들에게 툴들 및 엔진들에 대한 액세스 제어를 부여하는 것을 허용할 수 있다. 이는, 소견들을 검출하도록 엔진들 또는 e-스위트들을 개선하기 위해, 하나 이상의 의료 기관들로부터의 하나 이상의 사용자들 또는 그룹들 간의 공동의 노력들을 촉진시킬 수 있다. 이미지 프로세싱 서버(110)는, 사용자들이 이미지 데이터를 프로세싱하기 위해 엔진들 또는 e-스위트들을 실행하는 것을 허용할 수 있는 GUI를 가질 수 있다. 일 실시예에서, 피어 리뷰 시스템의 출력은, 레스트풀 및/또는 API 통신들을 지원하거나 플랫폼의 데이터베이스에 대한 판독/기록이 가능한 임의의 제3자 시스템에 의해 통합 및/또는 소모될 수 있다. 대안적으로, 피어 리뷰 시스템의 뷰잉 부분은 이 콘텐츠의 소비자이거나 그리고/또는 제3자 시스템 내에 임베딩되거나 독립형으로 사용될 수 있다. 임의의 이미지 프로세싱 엔진들(113-115)은 또한, 피어 리뷰 및/또는 진단 해석을 수행하는 피어 리뷰 시스템 사용자들 및 엔진 오너들에 의해 적용되는 보안 및 거버넌스에 대한 세팅들에 따라, 이미지 프로세싱 시스템(106)의 이미지 프로세싱 툴들(107)을 인보크할 수 있다.

[0068] 엔진 저자는, 자신의 그래픽 인터페이스, 이를테면 웹 인터페이스를 사용하여 이미지 프로세싱 서버(110)를 통해 애플리케이션 저장소(109)에 임의의 이미지 프로세싱 엔진 또는 e-스위트를 업로드할 수 있다. 이미지 프로세싱 서버(110)는, 이미지 프로세싱 서버(110) 상의 엔진들 중 임의의 엔진을 업데이트하고, 변경하고, 훈련시키고, 기계-학습하고, 또는 이들의 임의의 조합을 행하기 위한, 하나 이상의 엔진 개발자들을 위한 개발자 플랫폼을 가질 수 있다. 엔진들은, 예컨대, 기계-학습 알고리즘들을 사용한 훈련을 통해, 또는 정해진 엔진에 대한 예측 방법의 컨테이너화 버전의 수정을 통해, 개발자 플랫폼 상에서 소견들을 검출하도록 개선될 수 있다. 이러한 접근법을 달성할 수 있는 하나의 방법은, 정해진 엔진을 개선하기 위해 데이터를 어그리게이팅(aggregating)하고, 그리고 정해진 소프트웨어 컨테이너 또는 래퍼(wrapper) 내의 엔진 소스 코드의 반복적 훈련 평가 및 버전화를 위해 사용되는 데이터를 비동기식으로 버전화함으로써, 플랫폼에서 협력하여 작업하는 최종-사용자들 및 알고리즘/엔진 저자들의 액션들에 의해 관리 및 통제되는 전개된 컨테이너화 알고리즘 플레이어 소프트웨어에서 원격으로 사용중이거나 또는 클라우드에서 사용중인 알고리즘들의 분배 및 업데이트를 허용하는 것이다.

[0069] 하나 이상의 개별 프로세싱 엔진들은, 입력들 및 출력들의 정의된 세트와 소프트웨어 컨테이너 내에서 랩핑될 수 있다. 호환가능 입력들 및 출력들을 갖는 프로세싱 엔진들은, 보다 정확한 최종 출력을 생성하기 위해 (예컨대, 다수의 스레드들을 통해) 병렬로 또는 직렬로 실행될 수 있다. 일 실시예에서, 플랫폼에 의해 지원되고 업데이트되는 표준의 공개된 스키마에 대한 특정한 엔진/알고리즘의 필요한 입력들 및 출력들의 추상화(abstraction)를 허용하는 표준화된 레스트풀 웹 서비스(restful web service) API(또는 유사한 것)가 활용될 수 있다. 이는, 모든 엔진이 입력 및 출력 측에 맵핑 및 추상화를 허용하는 추상화 계층을 가질 것을 요구한다. 그런 다음, 하나 이상의 추상화된 출력들은 하나 이상의 추상화된 입력들에 맵핑될 수 있다.

[0070] 예컨대, 엔진 개발자는, 폐 결절들을 검출하는 다양한 특징들(예컨대, 기하학적 형상들, 텍스처들, 폐 결절들의 검출을 야기하는 특징들의 다른 조합, 또는 이들의 임의의 조합)에 기반하여 엔진을 훈련시킴으로써 데이터 분석 시스템(미도시) 또는 애플리케이션 저장소(109)의 개발자 플랫폼에 관한 연구들에서 폐 결절들을 검출하도록 폐 결절 검출 엔진을 훈련시킬 수 있다. 다른 예에서, 엔진 개발자는 개발자 플랫폼 상에서 혈병 엔진을 훈련시킬 수 있다. 다른 예에서, 뼈 골절 엔진은 이미지 프로세싱 서버(110)로부터의 뼈 골절 엔진 데이터에 기반하여 개발자 플랫폼 상에서 기계-학습할 수 있다. 다른 예에서, COPD 엔진은, 동일한 COPD 엔진 데이터에 기반하여, 다른 COPD 엔진 데이터에 기반하여, 또는 이들의 임의의 조합에 기반하여, 기계 학습할 수 있다.

[0071] 도 2는 일 실시예에 따른 이미지 프로세싱 서버의 예를 예시하는 블록 다이어그램이다. 도 2를 참조로, 이미지 프로세싱 서버(110)는 하나 이상의 이미지 프로세싱 엔진들(113-115)을 호스팅하는 메모리(201)(예컨대, 동적 랜덤 액세스 메모리, 즉 DRAM)를 포함하며, 하나 이상의 이미지 프로세싱 엔진들(113-115)은 영구 저장 디바이스(202)(예컨대, 하드 디스크들)에 설치되어 이로부터 로딩되며, 하나 이상의 프로세서들(미도시)에 의해 실행될 수 있다. 이미지 프로세싱 서버(110)는 추적 모듈(211), 경고 모듈(212), 분석 모듈(213), 및 보고 모듈(214)을 더 포함한다. 이미지 프로세싱 엔진들(113-115)은 프로세스 구성(224)에 따라 다양한 구성들로 구성될 수 있다. 프로세스 구성(224)은, 특정 연구 또는 이미지들에 대해 또는 사용자에 의해 구체적으로 구성되는 구성 파일에 저장될 수 있다. 의료 이미지 프로세싱 서버(110)는 멀티-테넌시 클라우드 서버일 수 있다. 다수의 구성 파일들(이들 각각은 사용자 또는 사용자들의 그룹과 연관될 수 있음)이 존재할 수 있고, 이들은 구성 인터페이스(미도시)를 통해 구성될 수 있다.

[0072] 예컨대, 도 2 및 도 3을 참조로, 의료 데이터(이 예에서는, 의료 이미지들)가 이미지 프로세싱 서버(110)에서 의료 데이터 소스(105)로부터 수신될 수 있다. 이미지 프로세싱 엔진들(113-115) 중 하나 이상은 프로세스 구성 데이터(224)에 기반하여 순차적 순서에 따라 배열될 수 있다. 이미지 프로세싱 엔진들(113-115)은 또한, 의료 이미지 프로세싱 시스템(106)의 이미지 프로세싱 툴들(107)을 인보크할 수 있다. 하나 이상의 결과들(250)이 생성되어, 영구 저장 디바이스(224)에 출력 데이터(222)의 일부로서 저장될 수 있다. 일 실시예에서, 이미지 프로세싱 엔진들(113-115)은 직렬로 배열될 수 있으며, 여기서, 도 4a에 도시된 바와 같이, 제1 이미지 프로세싱 엔진의 출력은 제2 이미지 프로세싱 엔진의 입력으로서 활용될 수 있다. 대안적으로, 이미지 프로세싱 엔진들(113-115)은, 도 4b에 도시된 바와 같이, 동일한 또는 상이한 이미지 프로세싱 동작들을 동시에 수행하도록 병렬로 배열될 수 있다. 그런 다음, 이미지 프로세싱 엔진들의 출력들은 최종 결과를 생성하기 위해 어그리게이팅된다. 또한, 도 4c에 도시된 바와 같이, 이미지 프로세싱 엔진들(113-115)은 직렬 및 병렬 둘 모두로 배열될 수 있다.

[0073] 일 실시예에서, 이미지 프로세싱 서버(110)는 또한, 출력들(250)의 텍스트들 또는 언어들을 프로세싱하기 위해 NLP(natural language processing) 시스템(310)을 인보크할 수 있다. NLP 시스템(310)은, 누락된 소견들 또는 잘못 해석된(misinterpreted) 소견들을 갖는 연구들을 식별하여, 출력들(250)과 상관시키기 위해, 이미지 프로세싱 서버(110)에 의해 추출된 특징들을 스캔, 분석 및 매칭할 수 있다. NLP는, 컴퓨터들과 인간 (자연) 언어들 간의 상호작용들과 관련된, 특히 큰 자연 언어 코퍼스들(corpora)을 효과적으로 프로세싱하기 위해 컴퓨터들을 프로그래밍하는 것과 관련된 컴퓨터 사이언스, 인공 지능 및 언어학 분야의 필드이다. 많은 상이한 부류들의 기계 학습 알고리즘들이 NLP 임무들에 적용되어 왔다. 이러한 알고리즘들은, 입력으로서, 입력 데이터로부터 생성되는 큰 세트의 "특징들"을 취한다.

[0074] 예컨대, 제1 엔진은 소견들을 검출하기 위한 알고리즘을 실행할 수 있다. 제1 엔진은 제1 엔진의 소견들의 출력을 생성할 수 있다. 제1 엔진에 의한 소견들은, 통계 인터페이스, 보고서(미도시), 진단 해석 뷰어(미도시), 또는 레스트풀 서비스들 및/또는 API를 통해 결과들 및 코호트들에 액세스할 수 있는 임의의 시스템 또는 데이터베이스에 포함될 수 있다. 의사는 소견들의 출력을 리뷰할 수 있다. 의사는 제1 엔진의 소견들을 검증/무효화할 수 있다. 제1 엔진의 소견들의 검증/무효화는 출력 데이터(222)의 일부로서 포함될 수 있다. 제1 엔진은, 결과들이 출력 데이터(222)에 포함될 수 있는, 하나 이상의 의료 기관들로부터의 연구들을 프로세싱할 수 있다.

[0075] 임의의 이해 당사자는, 최종 사용자가 알고리즘, 코드, 또는 알고리즘을 훈련하는 데 요구되는 이미지 데이터에 액세스하지 않으면서, 최종 사용자에 의해 사용될 수 있는 알고리즘을 생성할 수 있는 엔진 저자일 수 있다. 이는, 임의의 수의 컨테이너화 엔진들/알고리즘들로 연구를 프로세싱하기 위해 클라우드 기반이거나 또는 로컬로 위치된 개인 또는 멀티-테넌트 보안 서버에 연구들을 전송함으로써 수행된다. 액세스 제어는, 알고리즘 개발자들이 인증 및 관리 특권들을 승인하도록 허용한다. 알고리즘 및 사용 인증의 실시예에서, 알고리즘을 사용하는 능력을 상이한 최종 사용자들에게 승인하는 능력을 알고리즘 개발자들에게 부여하거나, 또는 서면으로(in written form) 또는 클릭-스루(click-through) 법적 거래약관(legal terms and conditions)을 통해 제공되는 라이센싱 합의들 및 플랫폼에 대해 합의하도록 최종 사용자(들)에게 요구하면서, 이들이 공개적으로 사용되도록 공개되게 허용한다. 관리적 특권들은 다른 알고리즘 개발자들이 알고리즘을 수정하거나 알고리즘의 새로운 버전을 생성하게 하거나, 또는 엔진들 또는 엔진들 중의 엔진들이 알고리즘을 수정하게 하기 위한 능력을 알고리즘 개발자에게 부여한다. 버전 제어는, 알고리즘 개발자들에게, 규제 허가를 위한 알고리즘 기술적 파일에 대한 변화들을 추적하면서, 그 알고리즘의 상이한 세대들을 생성하는 능력을 허용한다. 유사하게, 이미지 및 임상 콘텐츠 코호트들 및 피어 리뷰 피드백 데이터의 상이한 세대들은 또한, 고유 값을 보호하고 의도되지 않은 데이터 확산을 방지하도록 버전화되고 보안화된다.

[0076] 본 발명의 일 실시예에서, 복부의 포스트 콘트라스트 CT 스캔은 CT 형광 투시(fluoroscopy) 절차 전에 프로세싱된다. 포스트 콘트라스트 이미지들은 등록 엔진을 사용하여 CT 형광 투시 데이터 세트에 등록된다. 등록 및 해부학적 세그먼트화의 결과들은, CT 안내된 생검(biopsy) 또는 절제 동안 비-콘트라스트 CT 형광 투시 이미지 상에 혈관들을 디스플레이하기 위해 CT 형광 투시 데이터에 대해 토글링될 수 있다. 따라서, 가상의 콘트라스트 향상된 형광 투시 결과들을 산출하게 된다. 이는, MRI와 같은 다른 모달리티들과 유사하게 지원될 수 있다. 일 실시예에서, e-스위트의 소견들의 출력의 검증 또는 무효화는 추적 데이터(221) 및/또는 통계(223)에 포함될 수 있다.

[0077] 다른 시나리오들에 따르면, 예컨대, PACS 서버 또는 CT, MRI, 초음파, X-레이, 또는 다른 이미징 모달리티 또는 정보 시스템이 e-스위트의 제1 엔진에 연구들을 전송할 수 있다. 제1 엔진이 연구들을 프로세싱한 후, 제1 엔진으로부터의 소견들의 출력은 제2 엔진 및 제3 엔진에 전송될 수 있다. 제2 엔진 및 제3 엔진은 병렬로 실행될 수 있다. 제2 엔진 및 제3 엔진의 소견들의 출력은 조합될 수 있다. 제2 엔진 및 제3 엔진의 조합된 출력은 e-스위트의 소견들의 출력이 될 수 있다. 대안적으로, 프로세스는 다수의 엔진들이 프로세싱을 위한 데이터를 수신하는 것으로 시작될 수 있으며, 이들은 설명된 바와 같이 자신들의 결과들을 하나 이상의 다른 엔진들에 전송한다. 최종 결과는, 의사에 의해 리뷰되어 e-스위트 앙상블의 출력의 소견들을 확인 또는 거부하도록, 소스 모달리티, 또는 PACS, 또는 피어 리뷰 시스템에 다시 전송될 수 있다.

[0078] 제1 엔진의 출력은 제1 가중치 팩터를 가질 수 있다. 제2 엔진의 출력은 제2 가중치 팩터 등을 가질 수 있다. 제1 가중치 팩터 및 제2 가중치 팩터는 -100%% 내지 +100%의 범위에 있는 임의의 백분율, 또는 로그자(logarithmic scale), 또는 실행되는 테스트 및 코호트들의 타입에 적합한 임의의 종류의 임의의 저자-할당된 스케일일 수 있다. 소견들의 가중된 출력은 하나의 엔진이 다른 엔진보다 더 많은 가중치를 가질 수 있게 할 수 있으며, 엔진의 하나의 타입의 소견은 각각의 소견에 대해 상이한 가중들을 가질 수 있다. 사용자는 이미지 프로세싱 서버 상의 인터페이스로부터의 각각의 엔진의 가중치들을 조작할 수 있다. 대안적으로, 엔진들 중의 엔진은 감독된 또는 감독되지 않은 기계 학습 기법들을 사용하여 이들 값들을 세팅하도록 적용될 수 있다.

[0079] 예컨대, 제1 엔진은 에지 검출을 위한 엔진일 수 있다. 제2 엔진은 연조직 검출을 위한 엔진일 수 있다. 사용자는, 제1 엔진이 20%로 가중되고 제2 엔진이 80%로 가중되도록 각각의 엔진을 조작할 수 있다. 제1 및 제2 엔진들의 출력은 그러한 가중치들을 반영할 수 있다. 다수의 엔진들 또는 e-스위트들은 동일한 연구들에 대해 동시에 병렬로 실행될 수 있다. 다수의 엔진들 또는 e-스위트들은 동일한 환자로부터의 또는 상이한 환자들로부터의 상이한 연구들에 대해 동시에 실행될 수 있다.

[0080] 유사한 소견들을 알아내는 유사한 엔진들은 병렬로 또는 직렬로 실행될 수 있거나, 또는 이들의 조합은 동일한 소견을 검출하기 위한 상이한 엔진들일 수 있다. 예컨대, 제1 엔진, 제2 엔진, 및 제3 엔진은 폐 결절 검출 엔진들일 수 있지만, 그들은 상이한 엔진 개발자들 또는 상이한 의료 기관들로부터의 것일 수 있다. 그러한 구성은, 상이한 벤더들로부터의 3개의 엔진들로부터의 소견들을 비교하여, 피어 리뷰 동안 발생하는 진단 해석 프로세스 동안 즉시, 다수의 툴들에 대한 즉각적인 액세스 및 각각의 엔진으로부터의 소견들의 신속한 개요를 의사들에게 제공하는 것을 가능하게 할 수 있다. 교대로, 피어 리뷰 시스템은 진단 리뷰가 공통 PACS 시스템에서 발생하게 허용하고, 그런 다음, 피어 리뷰가 이들 진단 해석들 간의 유사하고 상이한 소견들을 측정하기 위해 피어 리뷰 시스템을 사용한 그러한 리뷰 이후 발생하게 허용할 수 있다.

[0081] 전형적인 피어 리뷰와 피어 리뷰 시스템 간의 차이는, 공통 피어 리뷰가 해석의 전체 결과에 관한 합의만을 확인하기를 추구하는 반면, 피어 리뷰 시스템은 소견들을 포함하여 보다 세밀한(granular) 레벨에 대한 합의의 측정을 허용하고, 따라서, 개선된 향후 결과들을 제공하기 위해 이미지 프로세싱 또는 데이터 프로세싱 엔진을 훈련시키는 데 필요한 세부사항을 제공한다는 것이다. 피어 리뷰 시스템이 개시될 때, 피어 리뷰 시스템이 더 많은 의사 참여 시간을 요구할 수 있지만, 매우 튜닝된 알고리즘들의 이용가능성은 계속된 사용의 결과일 것이며, 이는 향후 시간에 전체 의사 해석을 감소시킬 것이고, 시간이 지남에 따라 개선된 피어 리뷰 결과들을 제공할 것이다.

[0082] 일 실시예에 따라, 프로세싱 엔진은 유사한 모달리티를 갖는 다수의 연구들을 분석하고, "어떠한 상당한 인터벌 변화도 없음"의 분석 결과를 생성할 수 있다. 예컨대, 프로세싱 엔진은, 상이한 시간들에서 발생하지만 동일한 모달리티 및 신체 부위의 2개의 머리 CT 연구들을 취할 수 있다. 후속 연구로부터의 용이하게 추출되는 보고 특징은 "어떠한 상당한 인터벌 변화도 없음"이다. 그런 다음, 프로세싱 엔진은, 임의의 차이들이 존재하는지를 보기 위해 2개를 비교하도록 둘 모두의 CT 연구들 상에서 실행될 것이다. 만약 가장 최근의 보고가 "어떠한 상당한 인터벌 변화도 없음"으로 간주되면, 피어 리뷰 시스템 기능은, 유사성을 입증할 수 있는 엔진을 실행하고, 따라서, 그 진술과 합의하거나 또는 미합의하기 위한 능력을 제공할 수 있다. 종종, 보고된 소견들은 보고들에서 유지되며, 플랫폼에 대한 입력들인 전자 통신들 및 관련 콘텐츠들은, 엔진이 실행될 때 엔진에 제공된다.

[0083] 다른 실시예에 따라, 단일 연구 상에서 실행되는 엔진은 비정상의 안정성을 평가하기 위해 관련 비교 상에서 실행되도록 다른 엔진 또는 엔진들을 콜할 수 있다. 이것은 멀티모달리티, 이를테면, CT 간 병변 엔진을 비교 연구 상의 MRI 간 병변 엔진에 비교하는 것일 수 있다. 이 실시예에서, CT 이미지 코호트 상에서 실행되는 CT 알고리즘을 실행하는 프로세싱 엔진은, 단일 비교 임무를 수행하기 위해, 다른 프로세싱 엔진, 또는 동일한 환자에 대한 MRI 이미지 코호트 상에서 MRI 알고리즘을 실행하는 추론된 엔진의 이전의 결과들을 콜한다.

[0084] 엔진들 및/또는 e-스위트들은, 소견을 검출하기 위한(또는 만약 그것이 목표라면 어떠한 소견도 확인하지 않기 위한) 확률이 높고 그리고/또는 최적화되도록 임의의 구성으로 실행될 수 있다. 엔진들 및/또는 e-스위트들은 소견들을 검출하기 위해 신뢰성 레벨을 최대화시키도록 임의의 구성으로 실행될 수 있다. 엔진들은, 소견들의 출력이 어떻게 보이는지(예컨대, 소견을 검출하기 위한 높은 확률, 소견을 검출하기 위한 낮은 확률, 특정 소견들을 배제함, 특정 소견들을 포함함, 정상 연구들을 선택함, 또는 이들의 임의의 조합)를 사용자가 구성할 수 있도록 임의의 구성으로 실행될 수 있다.

[0085] 예컨대, 만약 사용자가 COPD 및/또는 COPD의 특징들을 검출하기를 원한다면, 엔진들의 구성이 COPD 또는 COPD의 특징들을 검출할 높은 확률을 가질 수 있도록, 사용자는 하나 이상의 COPD 엔진들을 병렬로, 직렬로, 또는 이들의 임의의 조합으로 구성할 수 있다(즉, COPD e-스위트). 이것은, 의사에 의해 확인된 바와 같이 환자들이 목표된 소견들을 가졌었던 정보가 보고에서 제공되면, 검출 알고리즘들의 가중을 자체-최적화할 수 있는 엔진들 중의 엔진에 대한 이상적인 사용 경우이다. 더 많은 의사들이 COPD e-스위트를 사용하고 COPD e-스위트의 소견들의 출력을 확인(즉, 검증)할수록, e-스위트는 더 높은 레이팅들을 가질 수 있다. 높은 레이팅들 및/또는 증가된 확인들은 다른 의사들이, 어느 COPD e-스위트들이 최상의 소견 검출 레이트들을 갖는지를 인식하게 허용할 수 있다. 이것은 전자-상거래 사이트에서 레이팅 시스템을 제공함으로써 사용자들에게 자명할 것이다.

[0086] 다른 예에서, 만약 사용자가 폐 결절들을 검출하기를 원하면, 사용자는, 폐 결절들의 특정한 특징들을 검출하는 엔진들, 예컨대, 텍스처에 대한 엔진, 및 결절 형상에 대한 엔진, 세기에 대한 엔진, 또는 이들의 임의의 조합을 선택할 수 있다. 그러한 엔진들은 병렬로, 직렬로, 또는 이들의 임의의 조합으로 실행될 수 있다. 많은 폐 스캔들이 소견들을 가지므로, 검출하는 데 가장 중요한 것은, 의사로부터의 순서화된 후속조치를 산출할 가능성이 있는 소견들이다. 이로써, 엔진 또는 엔진들 중의 엔진에는, 후속조치를 요구할 가능성이 가장 높은 폐 소견들의 그의 검출을 개선하기 위해 보고 정보 또는 다른 임상 정보가 제공될 수 있다. 부수적 소견들이 누락된 소견들이 아니므로, 그런 다음, 본 발명의 일 실시예는, 이들 소견들을 제공하지 않음으로써 또는 그들을 제공하고 그들을 부수적일 가능성이 있는 것으로 마킹함으로써 피어 리뷰 및 진단 해석 프로세스에서 부수적 소견들을 필터링 아웃하는 시스템이다. 앞서 언급된 프로세스를 실시하기 위한 다른 방식은, 일부 부수적 소견들이 임상 관련성을 가질 수 있거나 또는 갖지 않을 수 있으므로 임상 심각도 스코어로서 이루어지며, 이는 임상 성과들에 영향을 준다. 사용자는, 이미지 프로세싱 서버(110)(미도시)의 구성 인터페이스를 통해 엔진을 다른 엔진으로 수동으로 대체할 수 있다.

[0087] 다시 도 2를 참조로, 일 실시예에 따라, 추적 모듈(211)은 이미지 프로세싱 엔진들(113 내지 115)의 할당들 및 프로세스들을 추적 또는 레코딩하도록 구성된다. 이미지 프로세싱 엔진들(113 내지 115)이 멀티-테넌시 동작 환경의 다수의 인스턴스들(예컨대, 다수의 스레드들)에서 실행될 수 있음이 주목된다. 멀티-테넌시 동작 환경에서, 상이한 사용자들이 로그 인 및 인증될 수 있다. 일단 사용자들이 인증되고 인가되면, 사용자들은 상이한 연구들, 상이한 조직들 등에 대해 그들의 서비스 또는 가입 합의들에 따라 이미지 프로세싱 엔진들을 구성 및 활용할 수 있다. 추적 모듈(211)은, 어느 이미지 프로세싱 엔진들이 어느 인덱싱된 사용자 데이터를 산출했던, 어느 이미지 코호트들 및 임상 콘텐츠 코호트들 상에서 어느 의료 연구들에 대해 또는 어느 사용자들에 의해 활용되는지를 계속해서 추적하고, 그런 다음, 데이터베이스 또는 데이터베이스들로 또한 지칭되는 영구 스토리지 디바이스(202)에 저장되는 추적 데이터(221)(또한, 엔진 데이터로서 지칭됨)를 생성하도록 구성된다.

[0088] 도 5는 일 실시예에 따른, 의료 이미지들을 프로세싱하는 프로세싱 흐름이다. 도 5를 참조로, 의료 이미지들(501)이 수신될 때, 이미지 프로세싱 엔진들(113 내지 115) 중 하나 이상을 갖는 프로세싱 엔진들(502)은 의료 이미지들을 프로세싱하고, 그리고 결과들(503)을 생성하도록 구성된다. 이미지들(501)이 단일 연구 내의 다수의 이미지들, 연구 내의 다수의 시리즈들, 또는 상이한 모달리티들의 다수의 연구들로부터의 시리즈들 및 이미지들의 조합을 표현할 수 있음이 주목된다. 결과들(503)은 통계 데이터를 생성하도록 분석 모듈(213)에 의해 분석된다. 한편, 추적 모듈(211)은 프로세싱 엔진들(502)의 동작들을 추적하도록 구성된다. 결과들(503)은 출력 데이터(222)의 일부로서 저장될 수 있다. 추적 데이터(221) 및/또는 통계(223)의 일부로서 저장될 수 있는 추적 데이터 및 통계 데이터(504)가 생성된다. 추적 데이터/통계 데이터(504)에 기반하여, 만약 미리결정된 조건을 충족하는 임의의 데이터, 이를테면 비정상 소견들 또는 불일치하는 소견들이 존재하면, 경고 모듈(212)은 경고를 생성하고 경고를 미리결정된 디바이스, 데이터베이스(들) 또는 시스템(들)에 전송하도록 구성된다. 보고는 또한, 보고 모듈(214)에 의해 추적/통계 데이터(504)에 기반하여 생성될 수 있다.

[0089] 추적 모듈(211)은 하나 이상의 엔진들(예컨대, 제1 엔진)에 대해 엔진 데이터(예컨대, 어느 연구들이 이미지 프로세싱 서버에 전송되었는지; 어느 연구들이 어느 엔진들에 의해 프로세싱되었는지; 어느 연구들이 어느 엔진들에 의해 플래깅되었는지; 어느 연구들이 다수의 엔진들에 의해 플래깅되었는지; 어느 연구들이 피어 리뷰 샘플들의 일부로서 전송되었는지; 엔진 네임; 소견들; 검증된 그리고/또는 무효화된 기계 학습된 더 높은 가능성의 질환 연구들에 대한 데이터; 벽 두께, 텍스처, 슬로프, 측정들, 밀도, 이질성, 복셀들의 범위의 표준 편차, 또는 이들의 임의의 조합을 포함(그러나 이에 제한되지 않음)하는, 연구들의 이미지들의 특징들에 대한 데이터; 해석하는 의사들 뿐만 아니라 시스템을 사용하는 임의의 다른 사람들과의 사용자 상호작용들; 진단을 위한 시간; 예컨대, 환자 건강에 대한 위험에 기반한 연구들의 플래깅; 위험에 기반한 연구들의 순서; 또는 이들의 임의의 조합)를 추적할 수 있다. 엔진 데이터는, 각각의 연구가 하나 이상의 엔진들 또는 e-스위트들에 의해 실행된 이후 수동으로, 계속해서, 또는 자동으로 추적 및 업데이트될 수 있다. 피어 리뷰 기능은 1개 초과, 2개 또는 3개의 의사 해석들을 수반할 수 있고, 피어 리뷰 시스템은 의사 또는 임상 시험에 의하여, 관련되지 않은 연구들의 시리얼 진단 해석을 위해 사용될 수 있다.

[0090] 또한, 통계 데이터 엔진으로서 또한 지칭되는 분석 모듈(213)은 이미지 프로세싱 엔진에 대한 추적된 엔진 데이터에 대해 분석을 수행할 수 있다. 통계 데이터 엔진(213)은, 엔진을 제공하는 하나 이상의 의료 기관들 및 이미지 및 임상 콘텐츠 코호트들만을 제공하는 다른 사람들을 포함하여, 피어 리뷰 시스템 뿐만 아니라 외부 소스들과 연관된 하나 이상의 이미지 프로세싱 서버들 및 하나 이상의 데이터베이스들로부터의 엔진 데이터를 어그리게이팅할 수 있다. 통계 데이터 엔진(213)은, 엔진 데이터에 기반하여 모든 엔진들 및 엔진들 중의 엔진들에 대한 통계 데이터를 업데이트할 수 있으며, 통계 데이터는 엔진 레이팅들의 일부로서 애플리케이션 저장소(109) 상에서 업데이트될 수 있다. 통계 데이터는 또한, 통계 데이터(223)의 일부로서 영구 저장 디바이스(202)에 저장될 수 있다. 유사한 피드백이 이미지 코호트들 및 임상 데이터 코호트들에 대해 수집 및 디스플레이된다.

[0091] 위에서 도시되고 설명된 바와 같은 컴포넌트들 중 일부 또는 전부가 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있음이 주목된다. 예컨대, 그러한 컴포넌트들은 영구 저장 디바이스에 설치 및 저장된 소프트웨어로서 구현될 수 있으며, 그 소프트웨어는 본 출원 전반에 걸쳐 설명된 프로세스들 또는 동작들을 수행하도록 프로세서(미도시)에 의해 메모리에서 로딩 및 실행될 수 있다. 대안적으로, 그러한 컴포넌트들은, 애플리케이션으로부터 대응하는 드라이버 및/또는 운영 시스템을 통해 액세스될 수 있는 전용 하드웨어, 이를테면, 집적 회로(예컨대, 주문형 IC 또는 ASIC), GPU(Graphics Processing Unit), DSP(digital signal processor), 또는 FPGA(field programmable gate array) 또는 유사한 것 내로 프로그래밍 또는 임베딩된 실행가능 코드로서 구현될 수 있다. 또한, 그러한 컴포넌트들은 하나 이상의 특정한 명령들을 통하여 소프트웨어 컴포넌트에 의해 액세스가능한 명령 세트의 일부로서 프로세서 또는 프로세서 코어 내의 특정한 하드웨어 로직으로서 구현될 수 있다.

[0092] 본 발명의 다른 양상에 따라, 이미지 프로세싱 엔진들은 한 세트의 의사들에 의해 수행되는 의학적 소견들을 리뷰하기 위해 피어 리뷰 시스템들의 일부로서 활용될 수 있다. 이미지 프로세싱 엔진들은 비정상 소견들을 가질 가장 가능성이 있는 임의의 이미지들을 스크린 및 식별하는 데 활용된다. 그런 다음, 식별된 이미지들은 소견들을 입증 및 확인하기 위해 한 세트의 의사들에 의해 리뷰된다. 결과적으로, 리뷰될 필요가 있는 수천개의 의료 이미지들에 대해, 이미지 프로세싱 엔진들은, 비정상 이미지들을 예비적으로 식별하기 위해 대용량 이미지 프로세싱 동작들을 수행할 수 있다. 그런 다음, 이들 이미지들은 소견들을 확인하도록 의사들에 의해 리뷰된다. 만약 이미지 프로세싱 엔진들 및 리뷰한 의사들의 소견들이 일치하면, 수반된 이미지 프로세싱 엔진들의 동작들은 검증될 수 있으며, 즉 이미지 프로세싱 엔진들에 의해 사용된 알고리즘들은 검증된다. 그렇지 않으면, 그러한 알고리즘들은, 예컨대 기계 학습 방법들을 사용하여 추가적인 정밀한 튜닝 또는 훈련을 필요로 할 수 있다.

[0093] 대안적으로, 만약 기계 소견들과 의사 소견들 간에 임의의 불일치가 있다면, 데이터베이스(들)의 표시 및 레스트풀 서비스들 및/또는 API의 통지들은 원하는 시스템들 및 스태프에게 통지를 전송하는 효과를 갖는다. 그런 다음, 이들 식별된 상반되는 연구들은 2차 의사 리뷰를 위해 전송된다. 일단 리뷰 결과들 둘 모두가 알려지면, 분석 모듈을 통한 중재(reconciliation)는 엔진에 대한 개선 또는 엔진 정확도의 확인을 산출할 수 있다.

[0094] 도 6a는 일 실시예에 따른, 피어 리뷰 시스템의 신규한 워크플로우들의 예들을 보여주는 워크플로우 루프 다이어그램을 도시한다. 도 6a를 참조로, 워크플로우는 피어 리뷰 높은 신뢰성 투입 워크플로우 루프를 포함한다. 이 워크플로우 루프 동안, 이미지 프로세싱 서버(110)는, 단계 1로서, 이미지 프로세싱 서버 노트들에 도달하는 제공자 해석(또한 보고로서 표기됨) 및 이미징 연구들 또는 이미지 연구들에 의해 개시된다. 복수의 그리고 조합된 엔진들이 이미지 연구를 프로세싱한 후, 단계 2로서 출력이 표기된다. 제공자 해석과의 잠재적 모순 또는 잠재적 소견에 대해 높은 신뢰성을 갖는 것으로 결정된 소견들을 갖는 이미지들 또는 연구들은 단계 3에서 피어 리뷰를 위한 선택에 투입된다. 단계 4에서, 이 투입된 연구가 (적절하다면, 초기 제공자 해석을 행하지 않았던) 의사에 의해 평가된다. 피어 리뷰 시스템 해석과 함께 그 해석의 결과들은 단계 5로서 데이터베이스에 저장되며, 이미지 프로세싱 서버 및 피어 리뷰 시스템 내의 엔진들 및 엔진들 중의 엔진들의 향후 훈련을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호작용 데이터가 마찬가지로 데이터베이스에 저장된다.

[0095] 워크플로우는 피어 리뷰 투입 의사 확인 소견 워크플로우 루프를 더 포함한다. 이 워크플로우 루프 동안, 이미지 프로세싱 서버(110)는 단계 1로서, 이미지 프로세싱 서버 노트들에 도달하는 제공자 해석(또한 보고로서 표기됨) 및 이미징 연구들 또는 이미지 연구들에 의해 개시된다. 복수의 그리고 조합된 엔진들이 이미지 연구를 프로세싱한 후, 단계 2로서 출력이 표기된다. 제공자 해석과의 잠재적 모순 또는 잠재적 소견에 대해 높은 신뢰성을 갖는 것으로 결정된 소견들을 갖는 이미지들 또는 연구들은 단계 3에서 피어 리뷰를 위한 선택에 투입된다. 단계 A에서, 연구들은 높은 신뢰성 소견들의 값을 가중하고 의사 리뷰를 위해 특정 최적화된 수 및 타입의 연구들(또는 이미지들)을 선정하는 엔진들 중의 엔진을 통해 선택된다. 단계 B에서, 연구는 (적절하다면, 초기 제공자 해석을 행하지 않았던) 의사에 의해 평가된다. 그 해석의 포지티브 결과들은, 단계 D에서 피어 리뷰 시스템으로 연구의 자동적 투입을 유발하며, 이는 만약 의사가 연구가 네거티브임을 발견하면 이루어지지 않는다. 포지티브 또는 네거티브 경우 둘 모두에서, 이 해석(및 임의의 이전 해석들)뿐만 아니라 피어 리뷰 시스템 해석의 결과들 둘 모두가 단계 C로서 데이터베이스에 저장되며, 이미지 프로세싱 서버 및 피어 리뷰 시스템 내의 엔진들 및 엔진들 중의 엔진들의 향후 훈련을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호작용 데이터가 저장된다.

[0096] 워크플로우는 블라인드식 피어 리뷰 엔진 훈련 워크플로우 루프를 이용한 루틴한 제1 판독 진단 해석을 더 포함한다. 이 워크플로우 루프 동안, 이미지 프로세싱 서버(110)는 단계 1로서, 이미지 프로세싱 서버 노트들에 도달하는 제공자 해석(또한 보고로서 표기됨) 및 이미징 연구들 또는 이미지 연구들에 의해 개시된다. 복수의 그리고 조합된 엔진들이 이미지 연구를 프로세싱한 후, 단계 2로서 출력이 표기된다. 제공자 1차 해석 동안 잠재적 소견에 대해 높은 신뢰성을 갖는 것으로 결정된 소견들을 갖는 이미지들 또는 연구들은 단계 E에서 실제 의사 소견들과의 비교를 위해 계산된다. 단계 B에서, 연구는 (적절하다면, 초기 제공자 해석을 행하지 않았던) 의사에 의해 평가된다. 단계 C에서, 이 해석(및 임의의 이전 해석들)뿐만 아니라 피어 리뷰 시스템 해석의 결과들 둘 모두가 데이터베이스에 저장되며, 이미지 프로세싱 서버 및 피어 리뷰 시스템 내의 엔진들 및 엔진들 중의 엔진들의 향후 훈련을 위해 사용될 수 있다. 또한, 단계 B에서, 사용자 상호작용 데이터가 저장된다.

[0097] 도 6b는 일 실시예에 따른 의료 이미지 피어 리뷰 시스템의 예를 예시하는 블록 다이어그램이다. 도 6b를 참조로, 의료 데이터 소스(601), 이 예에서, PACS는 제1 세트의 의사들을 1차 리뷰어들로서 표현하는 한 세트의 이미지들을 1차 리뷰 시스템(602)에 전송한다. 1차 리뷰 시스템(602)의 리뷰어들은 소견들을 리뷰하고 이를 다시 PACS(601)에 전송한다. 1차 리뷰어들에 의해 리뷰된 이미지들 중 일부(예컨대, 5%)는 피어 리뷰 시스템(603)에 전송되어, 제2 세트의 리뷰어들을 2차 또는 피어 리뷰어들로서 표현한다. 2차 리뷰어들이 이미지들을 리뷰하여, 제2 견해 소견들을 제공하는 제2 결과를 생성한다. 제2 결과는 제1 세트의 의사들에 의해 수행된 1차 소견들을 검증하거나 입증하는 것이다. 2차 리뷰어들은, 1차 리뷰어들이 동일한 이미지들을 리뷰한 방법을 알지 못한채, 리뷰를 수행한다(이는 블라인드 판독으로 지칭됨). 이미지들의 2차 소견들은 리뷰 피어 시스템(603)으로부터 PACS(601)로 다시 송신될 수 있다.

[0098] 또한, 일 실시예에 따라, 1차 리뷰어들에 의해 리뷰된 의료 이미지들은 이미지 프로세싱 서버(110)에 송신된다. 이미지 프로세싱 서버(110)는 이미지들을 독립적으로 프로세싱하고 제3 결과를 생성하기 위해, 하나 이상의 이미지 프로세싱 엔진들(113-115)을 인보크할 것이다. 유사하게, 이미지 프로세싱 엔진들은 1차 리뷰어들에 의해 수행된 제1 결과를 알지 못한채 독립적으로 리뷰를 수행할 수 있다(예컨대, 블라인드 판독들). 제3 결과는 또한, 제1 결과를 검증하거나 입증하는 데 활용될 수 있다.

[0099] 다른 실시예에 따르면, 이미지 프로세싱 서버(110)에 의해 리뷰된 이미지들의 적어도 일부(예컨대, 5-20%)는 추가의 피어 리뷰를 위해 피어 리뷰어들(603)에 송신된다. 즉, 피어 리뷰어들(603)은 1차 리뷰어들(602)에 의해 리뷰된 이미지들의 샘플들 및 이미지 프로세싱 서버(110)에 의해 리뷰된 이미지들의 샘플들을 수신할 것이다. 피어 리뷰어들(603)은 1차 리뷰어들에 의해 생성된 제1 결과 및 이미지 프로세싱 서버(110)에 의해 생성된 제3 결과(더블 블라인드 판독들로 지칭됨)를 알지 않고 1차 리뷰어들(602) 및 이미지 프로세싱 서버(110)로부터 수신된 이미지들을 리뷰할 수 있다. 일 실시예에서, 이미지 프로세싱 서버(110)는 검증을 위해 피어 리뷰어들(603)에 비정상으로서 플래깅되었던 이미지들만을 송신한다. 유사하게, 1차 리뷰어들(602)에 의해 플래깅된 비정상 소견들을 갖는 이미지들만이 피어 리뷰어들(603)에 전송될 수 있다. 1차 리뷰어들(602), 이미지 프로세싱 서버(110) 및 피어 리뷰어들(603)의 소견들은 추적 모듈(211)에 의해 추적될 수 있고 추적 데이터(504)의 일부로서 저장될 수 있다. 경고 모듈(212)은 특정 비정상 소견들 또는 1차 리뷰어들(601), 엔진들(502) 및 피어 리뷰어들(603) 간의 불일치 소견들에 대한 응답으로, 미리결정된 디바이스, 이를테면 PACS(601)에 경고를 전송할 수 있다.

[00100] 구체적으로, 일 실시예에 따르면, 이 예에서는 PACS인 데이터 소스(601)는 리뷰 또는 검사를 위해 제1 리뷰어들(602)에 연구들을 전송할 수 있다. 연구들은 임의의 모달리티의 이미지들, 예컨대, CT, MR, X-레이, 다른 알려진 또는 알려지지 않은 모달리티들 또는 이들의 임의의 조합을 포함할 수 있다. 제1 세트의 의사들(601)은 워크스테이션 상에서 연구들을 리뷰하고 하나 이상의 소견들을 검출/진단할 수 있다. 소견들은 연구들에 포함되거나 또는 예컨대, 보고, 이메일 또는 3D 의료 이미징 소프트웨어에서 연구들로부터 분리될 수 있다. 제1 세트의 의사들에 의한 소견들과 함께 연구들은 워크스테이션으로부터 전송되고 PACS 서버에 저장될 수 있다. PACS 서버는 제1 세트의 의사들(602)에 의한 소견들을 갖는 시간 기간(예컨대, 1년, 6개월, 3개월, 1개월, 1주 또는 1일) 간에 전체 연구들의 일부(예컨대, 0% 내지 100%, 더 좁게는, 약 1% 내지 약 50%, 약 1% 내지 약 25%, 약 1% 내지 약 20%, 약 1% 내지 약 10%)를 제2 세트의 의사들에 의한 피어 리뷰를 위해 피어 리뷰 시스템(603)에 전송할 수 있다.

[00101] 또한, 데이터 소스(601)는 이미지 프로세싱 서버(110)에 연결될 수 있다. 데이터 소스(601)는 제1 세트의 의사들(602)에 의한 소견들을 갖는 전체 연구들을 서버(110)에 전송할 수 있다. 이미지 프로세싱 서버(110)는 하나 이상의 엔진들, 하나 이상의 e-스위트들(즉, 하나 이상의 엔진들의 조합) 또는 이들의 임의의 조합(502)을 포함할 수 있다. 하나 이상의 엔진들 및 하나 이상의 e-스위트들은 소견들을 검출하기 위한 알고리즘을 실행할 수 있다. 이미지 프로세싱 서버(110)는 제1 세트의 의사들(602)에 의한 소견들과 함께 전체 연구들을 수신 및 프로세싱할 수 있다. 이미지 프로세싱 서버(110)는 이미지 프로세싱(즉, 하나 이상의 엔진들 및/또는 하나 이상의 e-스위트들에 기반한 소견들을 갖는 연구들을 플래깅하는 것)으로 알아낸 기계 학습된(즉, 훈련된) 더 높은 가능성의 질환 연구들을 출력할 수 있다. 플래깅은 엔진/e-스위트로 알아낸 실제 소견들, 엔진/e-스위트 네임, 연구가 이미지 프로세싱 서버(110)에 의해 프로세싱되었음을 표현하는 간단한 마크, 연구가 정상이었다는 마킹 또는 이들의 임의의 조합을 디스플레이하는 것을 의미할 수 있다. 하나 이상의 엔진들 및/또는 하나 이상의 e-스위트들은, 엔진들/e-스위트들이 더 많은 이미지들을 프로세싱함에 따라 엔진들/e-스위트들이 소견들을 더 정확히 검출할 수 있도록 기계 학습 또는 훈련될 수 있다.

[00102] 일 실시예에서, 이미지 프로세싱 서버(110)는 기계 학습된 더 높은 가능성의 질환 연구들의 일부를 피어 리뷰 시스템(603)에 전송할 수 있다. 피어 리뷰 시스템(603)에 전송된 기계 학습된 더 높은 가능성의 질환 연구들은 엔진/e-스위트에 의한 소견들의 심각도에 기반할 수 있다. 예컨대, 이미지 프로세싱 서버(110) 내의 엔진들(502)이 폐 결절에 대한 하나의 연구 및 마이너 뼈 골절에 대한 다른 연구를 플래깅하면, 이미지 프로세싱 서버(110)는 폐 결절 연구를 제2 리뷰를 위해 피어 리뷰 시스템(603)에 전송할 수 있는데, 이는 환자에 대한 위험이 마이너 뼈 골절 연구에 비해 폐 결절 연구에 대해 더 크기 때문이다. 이미지 프로세싱 서버(110)는 엔진들/e-스위트들에 의한 소견들의 심각도에 기반하여 연구들을 소팅할 수 있다.

[00103] 이미지 프로세싱 서버(110)는, 이미지 프로세싱으로 알아낸 기계 학습된 더 높은 가능성의 질환 연구들이 피어 리뷰 시스템(603)에 전송될 수 있도록 피어 리뷰 시스템(603)에 연결될 수 있다. 피어 리뷰 시스템(603)은 PACS 서버(601)로부터 피어 리뷰 샘플들, 이미지 프로세싱 서버(110)로부터 기계 학습된 더 높은 가능성의 질환 연구들 또는 이들의 임의의 조합을 수신할 수 있다. 제2 세트의 의사들은 피어 리뷰 샘플들, 기계 학습된 더 높은 가능성의 질환 연구들 또는 이들의 임의의 조합을 피어 리뷰 시스템(603)에서 리뷰, 재판독, 블라인드 판독 또는 더블-블라인드 판독할 수 있다. 제2 세트의 의사들로부터의 소견들을 갖는 피어 리뷰 샘플들 및 제2 세트의 의사들로부터의 소견들을 갖는 기계 학습된 더 높은 가능성의 질환 연구들은 이미지 프로세싱 서버(110), 워크스테이션, PACS 서버 또는 이들의 임의의 조합에 전송될 수 있다. 일 실시예에서, 이미지 프로세싱 서버(110)는 정상인 연구들을 플래깅할 수 있다. 일 실시예에서, 이미지 프로세싱 서버(110)는 이미지 프로세싱 서버(110)의 제거 엔진 및/또는 피어 리뷰 시스템(603)에 의해 피어 리뷰 샘플들로부터 정상인 연구들을 제거할 수 있다.

[00104] 일 실시예에 따르면, 이미지 프로세싱 엔진들(113-115) 중 일부는 리뷰 결과들을 개별적으로 생성할 수 있고 리뷰 결과들은 피어 리뷰 시스템(603)에 전송된다. 개별 결과들은 피어 리뷰 시스템(603)의 데이터 통합기에 의해 통합될 수 있다. 예컨대, PACS 서버는 제1 세트의 의사들에 의한 리뷰를 위해 연간 1,000,000개의 전체 연구들을 워크스테이션(예컨대, 하나 이상의 워크스테이션들)에 전송할 수 있다. 제1 세트의 의사들은 그들에게 할당된 연구들을 리뷰하고 리뷰된 연구들 각각에 대해 소견들을 행할 수 있다. 제1 세트의 의사들에 의한 소견들을 갖는 전체 연구들은 PACS 서버에 전송될 수 있다. PACS 서버는 제1 세트의 의사들에 의한 소견들을 갖는 피어 리뷰 샘플들(즉, 50,000개의 연구들)을 피어 리뷰 시스템(603)에 전송할 수 있다.

[00105] PACS 서버는 1,000,000개의 전체 연구들을 이미지 프로세싱 서버(110)에 전송할 수 있다. 이미지 프로세싱 서버(110)는 COPD e-스위트(즉, 하나 이상의 이미지들, 보고들, 연구들 또는 이들의 임의의 조합에 기반하여 COPD를 검출할 수 있는 엔진들의 그룹), 폐 결절 엔진(즉, 하나 이상의 이미지들, 보고들, 연구들 또는 이들의 임의의 조합에 기반하여 결절을 검출할 수 있는 엔진), 뼈 골절 엔진(즉, 하나 이상의 이미지들, 보고들, 연구들 또는 이들의 임의의 조합에 기반하여 골절을 검출할 수 있는 엔진) 및 병변 엔진(즉, 하나 이상의 이미지들, 보고들, 연구들 또는 이들의 임의의 조합에 기반하여 병변들을 검출할 수 있는 엔진)을 포함할 수 있다. 엔진들(즉, COPD e-스위트, 폐 결절 엔진, 뼈 골절 엔진 및 병변 엔진) 각각은 소견들을 검출하기 위해 1,000,000개의 전체 연구들을 프로세싱할 수 있다. 이미지 프로세싱 서버(110)는 엔진들에 기반하여 기계 학습된 더 높은 가능성의 질환 연구들(즉, COPD, 폐 결절들, 뼈 골절들, 병변들 또는 이들의 임의의 조합을 갖는 연구들)을 출력할 수 있다.

[00106] 이미지 프로세싱 서버(110)는 기계 학습된 더 높은 가능성의 질환 연구들의 전부 또는 일부를 피어 리뷰 시스템에 전송할 수 있다. 이미지 프로세싱 서버(110)는 예컨대 환자 건강에 대한 위험에 기반하여 기계 학습된 더 높은 가능성의 질환 연구들을 순서화 또는 우선순위화할 수 있다. 이미지 프로세싱 서버(110)는 의사들에 의한 리뷰를 위해 환자 건강 연구들에 대한 가장 높은 위험을 피어 리뷰 시스템 또는 다른 시스템에 전송할 수 있다. 이미지 프로세싱 서버(110)는 기계 학습된 더 높은 가능성의 질환 연구들에 대한 플래깅 디스플레이하거나 또는 플래깅을 숨길 수 있다. 제2 세트의 의사들은 기계 학습된 더 높은 가능성의 질환 연구들 및 피어 리뷰 샘플들을 리뷰할 수 있다. 제2 세트의 의사들로부터의 소견들을 갖는 기계 학습된 더 높은 가능성의 질환 연구들 및 제2 세트의 의사들로부터의 소견들을 갖는 피어 리뷰 샘플들은 이미지 프로세싱 서버(110)에 또는 PACS 서버에 전송될 수 있다.

[00107] 기계 학습된 더 높은 가능성의 질환 연구들은 소견들이 존재할 높은 확률이 존재하는 연구들일 수 있다. 기계 학습된 더 높은 가능성의 질환 연구들은 제1 세트의 의사들에 의한 초기 리뷰가 연구를 오진하였을 수 있는 높은 가능성이 존재하는 연구들일 수 있다. 만약 다수의 엔진들이 기계 학습된 더 높은 가능성의 질환 연구들의 일부로서 하나의 연구를 플래깅한다면, 그러한 연구는 기계 학습된 더 높은 가능성의 질환 연구들에 한 번만 포함될 수 있다(즉, 복제 연구들은 포함될 수 없음).

[00108] 리뷰어들(예컨대, 1차 리뷰어들, 이미지 프로세싱 엔진들, 및 피어 리뷰어들)의 동작들 및 결과들은 추적 모듈(211)에 의해 추적될 수 있다. 추적 엔진(211)은, 이미지 프로세싱 서버(110)에 의해 어떤 연구들이 수신되었는지, 어떤 엔진들에 의해 어떤 연구들이 프로세싱되었는지, 어떤 엔진들에 의해 어떤 연구들이 플래깅되었는지, 어떤 엔진들에 의해 어떤 연구들이 플래깅되었는지, 피어 리뷰 샘플들의 일부로서 어떤 연구들이 전송되었는지, 엔진 네임, 엔진으로부터의 소견들, 정상 연구들, 소견들의 심각도, 심각도 레이팅들, 소견들에 기반한 연구들의 랭킹들, 심각도, 및/또는 소견들의 수, 또는 이들의 임의의 조합을 포함하는 정보를 추적할 수 있다.

[00109] 추적 엔진(211)은 각각의 연구에 대해 엔진들에 기반하여 소견들을 추적할 수 있다. 추적 엔진(211)은 그러한 정보를 이미지 프로세싱 서버(110)의 메모리에 저장할 수 있다. 기계 학습된 더 높은 가능성의 질환 연구들 중 일부 또는 전부 및 피어 리뷰 샘플들은 피어 리뷰 시스템(603)에 전송될 수 있다. 피어 리뷰 시스템(603)의 조합된 샘플 엔진(미도시)은, 리뷰되는 연구가 피어 리뷰 샘플들로부터 유래하는지 또는 기계 학습된 더 높은 가능성의 질환 연구들로부터 유래하는지를 제2 세트의 의사들이 결정할 수 없도록, 조합된 샘플들을 형성하기 위해, 피어 리뷰 샘플들과 기계 학습된 더 높은 가능성의 질환 연구들을 랜덤하게 혼합할 수 있다. 조합된 샘플 엔진은, 소견들, 질환, 엔진 네임, 건강에 대한 위험, 의사, 연구의 날짜, 환자, 랜덤, 또는 이들의 임의의 조합에 기반하여, 미리-결정된 순서로, 기계 학습된 더 높은 가능성의 질환 연구들 및 피어 리뷰 샘플들을 함께 배치할 수 있다.

[00110] 예컨대, 추적 데이터를 저장하는 추적 테이블의 예로서 도 7에 도시된 바와 같이, 추적 엔진(211)은, 제1 엔진이 제1 연구를 출력(즉, 플래깅)할 수 있고 제1 연구가 제1 소견을 가질 수 있음을 상관시킬 수 있다. 추적 엔진(211)은, 제2 엔진이 제2 연구를 출력(즉, 플래깅)할 수 있고 제2 연구가 제2 소견을 가질 수 있음을 상관시킬 수 있다. 일 실시예에서, 기계 학습된 더 높은 가능성의 질환 연구들은 피어 리뷰 샘플들로부터의 연구들을 포함할 수 있다. 이미지 프로세싱 서버(110) 및/또는 피어 리뷰 시스템은 조합된 샘플들로부터 복제 연구들을 제거할 수 있다. 일 실시예에서, 이미지 프로세싱 서버(110) 및/또는 피어 리뷰 시스템(603)은 조합된 샘플들 및/또는 피어 리뷰 샘플들로부터 정상 연구들(즉, 소견들을 갖지 않는 연구들)을 제거할 수 있다. 추적 엔진(211)은 조합된 샘플들 및/또는 피어 리뷰 샘플들로부터 어떤 엔진들이 제거되었는지를 추적할 수 있다.

[00111] 일 실시예에 따라, 추적 데이터에 기반하여 보고 모듈(214)에 의해 보고가 생성될 수 있고, 보고는 요청된 목적지, 이를테면 특정 사용자 또는 시스템에 송신될 수 있다. 도 8은 일 실시예에 따라 특정 연구의 소견들의 보고의 예를 예시하는 블록 다이어그램이다. 보고는, 어떤 이미지 프로세싱 엔진이 사용되었는지; 어떤 소견들이 식별되었는지; 소견들의 측정; 및 진단 결과를 표시하는 데이터를 포함한다.

[00112] 일 실시예에 따라, 이미지 데이터에 대한 각각의 프로세싱 엔진으로부터의 특징들은 보고 내의 엘리먼트들에 대응할 필요가 있을 것이다. 추출된 이미지 특징들과 매칭하도록 보고 내의 텍스트를 파싱하기 위해, NLP 시스템 또는 NLP 모듈이 활용될 수 있다. 어떤 프로세싱 엔진들이 NLP 알고리즘을 실행할지를 결정하기 위해, 한 세트의 NLP 규칙들이 정의될 수 있다. 예컨대, 만약 손 x-레이가 "급성 골절 또는 외상성 아탈구가 없음"을 명시한다면, 보고 정확도를 준수하기 위해 이미지 프로세싱 서버를 통해 손 x-레이 골절 알고리즘이 개시된다.

[00113] 일 실시예에 따라, 다시 도 6b를 참조로, 시스템은 소견들을 검증하기 위한 더블 블라인드 판독들을 위해 활용될 수 있다. 예컨대, PACS 서버(601)는 전체 연구들 각각에 대한 소견들을 결정하기 위한 제1 세트의 의사들에 의한 리뷰를 위해 리뷰 시스템(602)에 전체 연구들을 전송할 수 있다. 리뷰 시스템(602)은 제1 세트의 의사들에 의한 소견들을 갖는 전체 연구들을 PACS 서버(601)에 전송할 수 있다. PACS 서버(601)는 소견들을 갖는 전체 연구들을 이미지 프로세싱 서버(110)에 전송할 수 있다. 이미지 프로세싱 서버(110)의 제1 엔진(113), 제2 엔진(114), 및 제3 엔진(115)은 제1 의사에 의한 소견들을 갖는 또는 갖지 않는 전체 연구들 각각을 프로세싱할 수 있다. 이미지 프로세싱 서버(110)는, 기계 학습된 더 높은 가능성의 질환 연구들 각각에 디스플레이되는 엔진들(113-115)에 의해 생성된 클레임들/소견들을 갖지 않는 기계 학습된 더 높은 가능성의 질환 연구들을 출력할 수 있다(즉, 제2 세트의 의사들은 리뷰되는 연구들이 이미지 프로세싱 서버(110)에 의해 플래깅 및/또는 프로세싱되었는지 여부를 알지 못할 것임).

[00114] 기계 학습된 더 높은 가능성의 질환 연구들 및 피어 리뷰 샘플들은 조합된 샘플들을 형성하기 위해, 피어 리뷰 시스템(603)에서 랜덤하게 조합될 수 있다. 조합된 샘플들은 제2 세트의 의사들에 의해 리뷰될 수 있다. 제2 세트의 의사들은 제1 세트의 의사들 및 엔진들(113-115)의 소견들을 검증할 수 있다. 다른 말로, 엔진들(113-115)은, 제1 세트의 의사들로부터의 소견들과 엔진들(113-115)에 의한 소견들을 비교함으로써; 그리고 제2 세트의 의사들에 의한 소견들과 엔진들(113-115)에 의한 소견들을 비교함으로써, 더블-블라인드 판독에 의해 검증될 수 있다.

[00115] 예컨대, 제1 의사가 제1 연구를 리뷰할 수 있고, 제1 연구에서의 이미지들이 뼈 골절들을 포함한 것으로 결정할 수 있다. 제1 연구는 뼈 골절 엔진에 의해 프로세싱될 수 있다. 뼈 골절 엔진은, 어떤 엔진이 사용되었는지 또는 뼈 골절 엔진에 의해 어떤 소견들이 검출되었는지를 제2 의사가 알지 못하게 하도록, 제1 연구에서의 임의의 클레임들/소견들을 디스플레이하지 않으면서, 제1 연구를 뼈 골절들을 갖는 것으로서 플래깅할 수 있다. 제2 의사는 제1 연구를 리뷰할 수 있고, 제1 연구가 뼈 골절들을 갖는 것을 확인할 수 있다. 여기서, 뼈 골절 엔진은 제1 연구를 뼈 골절들을 갖는 것으로서 플래깅하였고, 이는 제1 의사의 소견 및 제2 의사의 소견에 의해 검증되었다.

[00116] 다른 예에서, 제1 의사가 제1 연구를 리뷰할 수 있고, 제1 연구에서의 이미지들이 폐 결절들을 포함하지 않은 것으로 결정할 수 있다. 제1 연구는 제1 폐 결절 엔진에 의해 프로세싱될 수 있다. 제1 폐 결절 엔진은, 어떤 엔진이 사용되었는지 또는 제1 폐 결절 엔진에 의해 어떤 소견들이 검출되었는지를 제2 의사가 알지 못하게 하도록, 제1 연구에서의 임의의 클레임들/소견들을 디스플레이하지 않으면서, 제1 연구를 폐 결절들을 갖는 것으로서 플래깅할 수 있다. 제2 의사는 제1 연구를 리뷰할 수 있고, 제1 연구가 폐 결절들을 갖는 것을 확인할 수 있다. 여기서, 제1 폐 결절 엔진은 제1 연구를 폐 결절들을 갖는 것으로서 플래깅하였고, 이는 제2 의사에 의해 검증되었지만, 제1 의사에 의해 오진되었다.

[00117] 다른 실시예에 따라, 제1 의사가 제1 연구를 리뷰할 수 있고, 제1 연구가 제1 소견을 포함하는 것으로 결정할 수 있다. 제1 연구는 이미지 프로세싱 서버(110)에서 제1 엔진에 의해 프로세싱될 수 있다. 제1 엔진은 제1 연구 상의 또는 제1 연구에 대한 임의의 클레임들/소견들을 표시하지 않으면서, 제1 연구를 제1 소견을 갖는 것으로서 플래깅할 수 있고, 제1 연구를 기계 학습된 더 높은 가능성의 질환 연구들로서 출력할 수 있다. 제2 의사는 제1 연구를 리뷰할 수 있고, 제1 연구가 제1 소견을 갖는 것을 확인할 수 있다. 추적 엔진은 제1 의사, 제2 의사, 제1 엔진, 또는 이들의 임의의 조합의 제1 연구 소견들을 추적할 수 있다. 비교기 엔진(미도시)은, 더블-블라인드식 판독을 통해 제1 엔진이 검증될 수 있는지를 결정하기 위해, 제1 의사, 제2 의사, 제1 엔진, 또는 이들의 임의의 조합의 소견들을 비교할 수 있다. 추적 엔진은 제1 엔진의 동작들이 검증되었는지 또는 무효화되었는지를 계속해서 추적할 수 있다.

[00118] 예컨대, 제1 의사가 제1 연구를 리뷰할 수 있고, 제1 연구가 폐 결절들을 포함하는 것으로 결정할 수 있다. 제1 연구는 제1 폐 결절 엔진에 의해 프로세싱될 수 있다. 제1 폐 결절 엔진은 임의의 소견들/클레임들을 표시하지 않으면서, 제1 연구를 폐 결절들을 갖는 것으로서 플래깅할 수 있고, 제1 연구를 기계 학습된 더 높은 가능성의 질환 연구들로서 출력할 수 있다. 제2 의사는 제1 연구를 리뷰할 수 있고, 제1 연구가 폐 결절들을 갖는 것을 확인할 수 있다. 추적 엔진은 (도 9에 도시된 바와 같은 추적 데이터의 일부로서) 제1 의사, 제2 의사, 폐 결절 엔진, 또는 이들의 임의의 조합의 소견들을 추적할 수 있다. 비교기 엔진은, 더블-블라인드식 연구를 통해 폐 결절 엔진이 검증될 수 있는지 여부를 결정하기 위해, 제1 의사, 제2 의사, 폐 결절 엔진, 또는 이들의 임의의 조합의 소견들을 비교할 수 있다.

[00119] 도 9에 도시된 바와 같이, 폐 결절 엔진은 검증될 수 있는데, 이는 제1 의사 소견, 제2 의사 소견, 및 폐 결절 엔진 소견이 일치/동일하였기 때문이다. 엔진이 검증되었는지 여부는 클라이언트 디바이스(예컨대, 워크스테이션, 웹 사이트, 모바일 디바이스, 또는 임의의 향후 컴퓨터 i/o 디바이스), 피어 리뷰 시스템(603), 이미지 프로세싱 서버(110), 엔진 프로파일, 피어 리뷰 의료 이미징 소프트웨어, 또는 이들의 임의의 조합 상에 디스플레이될 수 있고, 그러한 결과들은 이미지 프로세싱 서버(110)에 저장될 수 있다.

[00120] 일 실시예에서, 비교기 엔진(미도시)이 제1 의사, 제2 의사, 및 제1 엔진의 소견들을 비교할 때, 비교기 엔진은 제1 의사, 제2 의사, 및 제1 엔진 간의 소견들의 유사성들에 기반하여 통계를 출력할 수 있다. 그러한 정보는 메모리 및/또는 영구 저장 디바이스에 저장될 수 있다. 예컨대, 비교기 엔진은, 제1 엔진이 제1 의사와 80% 맞는(correct) 소견들을 가졌고; 제1 엔진이 제2 의사와 20% 맞는 소견들을 가졌음을 디스플레이할 수 있다.

[00121] 다른 실시예에 따라, 추적 엔진은 제1 엔진 데이터(예컨대, 이미지 프로세싱 서버(110)에 어떤 연구들이 전송되었는지; 어떤 엔진들에 의해 어떤 연구들이 프로세싱되었는지; 어떤 엔진들에 의해 어떤 연구들이 플래깅되었는지; 다수의 엔진들에 의해 어떤 연구들이 플래깅되었는지; 피어 리뷰 샘플들의 일부로서 어떤 연구들이 전송되었는지; 엔진 네임; 소견들; 검증된 및/또는 무효화된 기계 학습된(모든 경우들에서, 이는 대안적으로, 결정론적 또는 다른 비-기계 학습 컴퓨테이셔널 방법일 수 있음) 더 높은 가능성의 질환 연구들에 대한 데이터; 벽 두께, 텍스처, 기울기, 측정들, 유사성들, 해부학적 식별자들, 또는 이들의 임의의 조합을 포함(그러나 이에 제한되지 않음)하는 연구들에서의 이미지들의 특징들에 대한 데이터; 제1 의사 및 제2 의사의 사용자 상호작용들; 진단을 위한 시간; 또는 이들의 임의의 조합)를 추적할 수 있다. 제1 엔진 데이터에 기반하여, 훈련 엔진은, 공통 결정론적 또는 통계적 엔진의 수동적 조정, 또는 감독된 또는 감독되지 않은 방법에 의한 기계 학습으로 제1 엔진을 훈련시킬 수 있다. 그러한 피드백 및 분석은 제1 엔진의 알고리즘을 개선할 수 있다. 그러한 기계 학습은 기계 학습된 더 높은 가능성의 질환 연구들의 선택을 개선할 수 있다. 제1 엔진 데이터에 기반한 그러한 기계 학습 프로세스는 반복적, 자동적, 또는 수동적일 수 있다.

[00122] 예컨대, 폐 결절 엔진을 통해 전체 연구들이 실행된 후에, 기계 학습된 더 높은 가능성의 폐 결절 연구들은 연구들 상의 임의의 클레임들/소견들을 디스플레이하지 않으면서 플래깅될 수 있다. 기계 학습된 더 높은 가능성의 폐 결절 연구들은 사용 중인 현재 피어 리뷰 시스템의 워크플로우에 투입될 수 있고, 그에 의하여, 제2 의사에 의해, 의사가 소견들의 사전 지식을 갖지 않은 상태로, 폐 결절 엔진의 소견들을 검증 또는 무효화하기 위해 리뷰될 것이다. 훈련 엔진(예컨대, 기계 학습 엔진)은 추적 엔진에 의해 레코딩된 폐 결절 엔진 데이터에 기반하여 폐 결절 엔진을 훈련시킬 수 있다. 예컨대, 훈련 엔진은, 검증/무효화 데이터, 검증/무효화를 산출한 연구들에서의 이미지들의 특징들, 이를테면 형상 측정(도 10a 및 도 10b에 도시된 바와 같음), 텍스처, 구형도, 다른 측정들, 또는 이들의 임의의 조합에 기반하여, 폐 결절 엔진을 훈련시킬 수 있다.

[00123] 기계 학습 기법들을 사용하여, 뉴럴 네트워크 기술이 공식들이 아닌 추론들 및 유사성들을 사용하기 때문에, 소견들을 생성하는 실제 특징(들)이 항상 알려져 있는 것은 아니다. 훈련 엔진은, 제2 의사(도 10a에 도시된 바와 같음), 제1 의사(도 10b에 도시된 바와 같음), 알려진 소견들을 갖는 연구들, 또는 이들의 임의의 조합으로부터의 폐 결절 엔진 데이터에 기반하여 폐 결절 엔진을 훈련시킬 수 있다. 훈련은 피어 리뷰 시스템 플랫폼 소프트웨어 애플리케이션 내에서 또는 이미지 프로세싱 서버(110)의 GUI 상에서 발생할 수 있다. 도 10a-도 10b에 도시된 바와 같이, 의사와 이미지 프로세싱 엔진 간의 소견들이 일치할 때, 소견들은 검증된다. 만약 소견들이 불일치한다면, 이들은 무효화될 것이다.

[00124] 일 실시예에 따르면, 피어 리뷰 세션들은, 특정 환자 질병들의 증상을 보이는 조건들 또는 표시들을 갖는 매우 높은 또는 매우 낮은 통계적 신뢰성을 갖는 판독될 연구들을 투입할 고유한 기회를 제공한다. 이 확인은 완전 블라인드 방식으로 엔진들에 의한 소견들을 확인하거나 또는 거절하는 데 필요한 실측 자료(ground truth)로서 사용될 수 있는데, 그 이유는 의사가 재판독을 위해 이미지들이 투입된 이유(들)를 알지 못할 것이기 때문이다. 최종 이미징 보고는 의심되는 환자 조건들의 확인을 찾기 위해 컴퓨터 판독될 수 있다. 대안적으로, 시스템은, 높은 또는 낮은 확률 조건들이 존재하는지 또는 존재하지 않는지 여부에 대한 해석의 끝에서 직접 피드백이 수집될 수 있게 하기 위해 선택 박스 또는 다른 수단을 통해 의사에게 문의할 수 있다. 대안적으로, 이러한 피드백은, 진단 해석 동안 피어 리뷰 시스템과의 상호작용들을 관찰함으로써 얻어질 수 있다.

[00125] 일부 경우들에서 의료 이미지들에 적용되고 컴퓨터 비전으로 불리는 결정론적 또는 기계 학습(또는 심층 학습) 테스트들에 기반하는 훈련된 엔진들 또는 알고리즘들에 의해, 높은 또는 낮은 확률 조건들 및/또는 소견들이 검출될 수 있다. 이 사이언스 및 알고리즘들의 생성은, 알고리즘들 또는 엔진들을 훈련하거나 또는 테스트하기 위해 많은 수의 라벨링된 이미지 데이터 세트들의 이용가능성에 의존하며, 이 알고리즘들 또는 엔진들은 후속적으로, 그것이 훈련된 것들에 관련하여 유사한 일부 방식으로 유사한 소견들을 알아내거나 또는 생성할 수 있다. 이들 추가적인 피어 리뷰(높은 또는 낮은 테스트 확률) 연구들이 피어 리뷰의 정상 과정에서 전문가에 의해 판독(제2 전문가에 의한 블라인드식 또는 비혼합식 판독, 그리고 비합의의 경우, 제3 전문가에 의한 판정)됨에 따라, 이들 프로세싱된 데이터에서의 결과들은 유사한 소견들을 통해 검증되거나 또는 부조화 결과들에 기반하여 거절된다. 이는 부조화 결과들에 대해 다시 유사하게 일어난다. 이 피드백은 엔진 실행 및 훈련 시스템(플랫폼으로서 또한 알려짐)에 리턴되며, 자동으로(감독되지 않음) 또는 엔진-저자 또는 오너 선호도들 및 가이던스(감독됨)에 기반하여 알고리즘을 재훈련하거나 또는 추가 훈련하는 데 사용된다. 모든 피드백이 더욱 지능적인 엔진을 생성하지는 않을 것이며, 이로써 감독되지 않은 또는 감독된(통제된) 훈련 접근법에 대한 다양한 이익들이 있다.

[00126] 감독되지 않은 엔진 학습은, 가장 가치있는 결과들을 생성하기 위해 다양한 상황들에 대해 어느 엔진들이 실행되는지를 선택하기 위해, 감독된 또는 감독되지 않은 모드에서 실행되는 엔진을 사용하여 달성될 수 있다. 예컨대, 만약 정해진 날의 작업 출력에 대한 10,000개의 이미지 데이터 세트들(또는 만약 이미지들이 아니라면, 숫자/다른 데이터)에 대해 실행될 수 있는 100개의 엔진들이 있다면, "엔진들 중의 엔진"은 어느 엔진들이 (각각의 소견의 할당된 값에 기반하여) 하루 동안 가능한 가장 높은 가치를 달성하기 위해 적용가능한 데이터 및 실험 중의 어느 것에 대해 실행될지를 선택할 것이다. 이 값은 피어 리뷰 프로세서에서 의사에 의해 연구가 재판독되었을 때 실제로 확인된 소견들의 값을 표현한다.

[00127] 이미 구체적으로 세팅되지 않은 새로운 소견들에 대한 디폴트들을 세팅하기 위한 수단을 포함하여, 각각의 엔진에 대해, 각각의 소견 타입으로의 값들의 맵핑 또는 사용자 입력들이 이루어졌다. 의사 참여 및 상호작용들은, 엔진들의 소견들, 이를테면 표시자 포인트들(네이밍하지 않고 여기서 무엇인가를 찾음 또는 특정한 네임/타입을 이용하여 무엇을 찾음)을 조정, 수락, 거절, 제거 또는 추가하기 위한 것이다.

[00128] 최종 사용자 상호작용 피드백 및 기본 데이터를, 이들 데이터를 향후 엔진 훈련 데이터로서 확립하기 위해 엔진이 완전히 이해하도록 하는 능력은: 액세스 보안 제어들, 클라우드 액세스 제어들, 가버넌스 특징들, 피드백의 훈련 특징 타입, 최종 사용자 특징들, 최종 사용자 상호작용 피드백 중 임의의 것, 전부 또는 일부를 포함하거나 포함하지 않는 측정된 엔진 성능의 분산 중 임의의 것에 기반한다. 가장 높은 활동들을 리턴하기 위해 적절한 알고리즘들을 선정하는 것은 (예컨대, 절차 코드 또는 CPT 코드, 절차 타입, 신체 부위, 이미징 모달리티, 그리고 환자 케어 및 건강관리 제공자 워크플로우에 관련된 다른 팩터들에 의해) 카테고리들로 구성된다. 파일들은 자동화된 값들을 포함하고, 시스템에 업로드되며, 복원, 편집 및 저장된다. 이들 파일들의 값들은 예컨대 XML에 저장되고, 파일들에 유지되고, 파일들로 복구되며, 그리고 모든 추출 데이터의 버저닝과 함께 데이터베이스에 저장되며, 이 데이터베이스는, 진단 또는 뷰잉 시스템에 리턴될 수 있는 파일 포맷으로 다시 재구성될 수 있는 평균(mean), 평균(average) 또는 값들의 다른 통계적 편집(compilation)을 다시 전달하기 위해 통계를 실행하는 능력, 그리고 값들의 탐색들, 비교들 및 시간이 지남에 따른 추세를 다시 전달할 수 있다.

[00129] 일 실시예에서, 요청(예컨대, 웹 요청, 이를테면 JSON 요청) 시에, 이 요청으로부터 획득된 문서는 파일시스템으로 변환된다. 변환에서, 요청 문서에서의 각각의 키-값-쌍(key-value-pair)은 피어 리뷰 시스템 상의 폴더에서의 파일 또는 디렉토리에 대응한다. 값이 부울, 숫자 또는 스트링 타입을 갖는 키-값-쌍들은, 키에 의해 네이밍되고 값을 포함하는 파일들로 변환된다. 값이 어레이 타입인 키-값-쌍들은, 이들 동일한 변환 규칙들에 따라 콘텐츠들을 갖는 어레이에서 자신들의 인덱스에 의해 네이밍된 파일들 또는 디렉토리들을 포함하고 키에 의해 네이밍된 디렉토리들로 변환된다. 값이 내포된 문서(nested document)인 키-값-쌍들은, 이들 동일한 변환 규칙들을 따르는 파일시스템을 포함하고 키에 의해 네이밍된 디렉토리들로 변환된다.

[00130] 새로 생성된 '입력' 파일시스템은, 기록가능 '출력' 파일시스템과 함께, 실행가능 소프트웨어 컨테이너(예컨대, 도커(docker))의 출력을 홀딩하기 위해 이 컨테이너에 결속된다. 그런 다음, 컨테이너 이미지가 수행될 때, '출력' 파일시스템을 실행하는 것은, 변환 규칙들의 역을 사용하여 응답 문서(예컨대, JSON 문서)로 변환된다. 추가적으로, 기존의 컨테이너 로드 밸런서들 및 스케줄러들과 호환가능한 방식으로 입력 및 출력 변환들을 가능하게 하기 위해 각각의 실행가능 컨테이너와 페어링되도록 작은 컴패니언 컨테이너 이미지(small companion container image)가 생성된다. 이는, 자신만의 호스트를 연결시켜 그런 다음 실행가능 컨테이너(도커) 이미지를 시블링(sibling)하는 것을 실행하기 위한 NvidiaGPUInfo 서비스 뿐만 아니라, 원격 컨테이너(도커) API를 사용하기 위해, 컴패니언 컨테이너(도커) 이미지를 요구할 것이다.

[00131] 의사 합의, 활용 및 인식을 갖는 것들과 엔진 출력들 및/또는 소견들을 매칭하기 위한 자신의 특징들을 갖는 이러한 피어 리뷰 시스템은, PMA 파일링들 또는 FDA 510k 및 CE 마크와 같은 규제 기관들에 대한 준수에 대한 검증 데이터를 수집하기 위한 자동화된 수단, 또는 심지어 새로운 그러한 파일링들을 지원하기 위해 실측 자료 및/또는 의사 검증을 수집하기 위한 수단을 제공한다. 규제 기관들은 피어 리뷰 프로세스의 일부로서 지원되는 데이터 수집에 체계적이고 잘 문서화된 접근법을 이용하며, 그리고 그러한 수단에 의해 개발되거나 또는 검증되는 엔진들은, 피어 리뷰 프로세스 외의 임상 사례에서 사용되는 엔진들과 동일하다. 일 실시예에서, 피어 리뷰 시스템은, 각각의 엔진에 대한 규제 및 품질 보증 요건들이 부분적으로 또는 전체적으로 충족되기 때문에, 의사 검증 지원 뿐만 아니라, 이미지들 및 임상 콘텐츠를 포함하는 데이터 수집 요건들을 보장하는 이중 목적을 제공한다. 또한, 그러한 지원은 엔진들의 조합, 또는 엔진들 중의 엔진에 대해 제공된다.

[00132] 그러한 임상 입증 외에도, 피어 리뷰 시스템은, 엔진을 마케팅하기 위해 그리고/또는 각각의 국가의 특정한 요건들에 기반하여 변하는 의료 디바이스로서 그것의 진단 사용을 위한 승인을 얻기 위해 필요한 기록문서(documentation)의 수집 및 편집을 지원한다. 피어 리뷰 시스템 검증 및 준수 기록문서의 하나의 컴포넌트는, 변경들을 추적하고 소프트웨어에 업데이트하는 기술 파일이다. 기술 파일은 또한, 임상 능력들 및 특징 규격들 뿐만 아니라, 컴퓨팅 환경 및 서버 요건들을 포함하는 정해진 의료 디바이스의 특정한 구현에 관한, 엔진 저자의 표현들을 포함한다. 이는 또한, 의료 디바이스가 정해진 시스템 내에서 어떻게 구현되는지에 대한 규격들을 포함할 수 있다. 일 실시예에서, 의사 피드백 및 활용 데이터 뿐만 아니라, 자신의 연관된 또는 포함된 엔진 버전 추적 및 이미지/콘텐츠 코호트 버전 추적을 갖는 피어 리뷰 시스템 데이터베이스는, 자동화된 방식으로 이들 규제 및 품질 시스템 요건들을 준수하기 위한 수단으로서의 역할을 하여서, 규제 및 품질 보증 제출(들)의 기술 및 임상 검증 및 입증 섹션들의 거의 완벽한 또는 완전히 완벽한 생성이 허용된다.

[00133] 제3자 데이터 및/또는 회사들로부터 학습된 엔진들에 대한 규제 준수를 보장하기 위해, 시스템은 피어 리뷰를 위한 그것의 일상적인 사용 과정에서 규제 정보를 추적한다. 피어 리뷰 시스템은 사용 중인 엔진들의 품질을 관리하기 위해 알고리즘 개발자들(저자들) 및/또는 회사들에 의한 이들 엔진들의 가버넌스를 포함한다. 시스템은, 피어 리뷰 시스템 세팅들에 기반하여 선정된 세팅 및 선택된 피어 리뷰 엔진들에 기반하여 임상적으로 해석되거나 또는 판독되는 이미지들의 스트림으로부터, 연구들의 피어 리뷰 코호트를 선택한다. 시스템은, 저장된 상태 이미지 세트 또는 세트들 및/또는 이미지 데이터 또는 임상 콘텐츠 코호트(들)의 형태로, 이전에 라벨링된 데이터를 임포트하는 능력을 제공한다. 시스템은, (종종, 실측 자료인 것으로 가정된 전문가 판독 코호트들의 어셈블리로부터의 또는 다른 엔진, 제품 또는 제3자로부터의) 알려진 우수한 레퍼런스 코호트와 비교할 때, 코호트에서의 각각의 소견에 대한 측정된 합의 또는 비합의를 보여주는 임상 규제 검증을 위한 이미지 및 임상 콘텐츠 코호트들을 생성하는 데 사용된다.

[00134] 엔진 출력들의 새로운 비-규제 승인 세트의 결과들은 엔진 출력들의 규제 승인 세트와 비교되고, 이러한 합의 또는 비합의는, 그의 피어 리뷰 시스템에 문서화된 모든 그러한 결과들과 함께 리뷰 및 수락을 위해 의사에게 제공된다. 의사 또는 임상의에 의한 모든 최종 확인, 거절 또는 조정은 피어 리뷰 데이터베이스에 문서화된다. 피어 리뷰 시스템은, 플랫폼의 표준 피어 리뷰 특징들의 애플리케이션을 통해 달성될 수 있는 측정된 통계적 합의 신뢰성과 함께, 승인된 엔진(들)이 만족스러운 결과들, 워크플로우 및 안전, 및/또는 유사한 민감도 및 특성으로 동작되는 것을 보여주는 데 사용된다.

[00135] 엔진에 대한 알고리즘 개발자는 의사, 회사, 소프트웨어 엔지니어, 데이터 과학자, 또는 엔진들을 형성하기 위해 데이터에 액세스하는 누군가일 수 있다. 엔진은 또한, 감독된 또는 감독되지 않은 방식으로 작업하는 많은 다른 엔진들의 출력인 파생작(derivative work)일 수 있다. 가버넌스의 시스템은, 플랫폼에서 사용되도록 개발된 엔진들을 관리하기 위해, 그리고 실행시키고, 관리하고, 버저닝하고, 사용을 추적하고, 출력을 제어하고, 다른 사람들에게 액세스를 승인하고, 사용을 위해 엔진을 공개하고, 사설 또는 제한된 사용을 위해 그것을 제한하고, 기록문서, 입증 및 검증 데이터 뿐만 아니라 마케팅 자료들 및 품질 증명서, 규제 허가 상황 및 기록문서, 사용 및 고객 만족에 관한 특정사항들, 및 다른 형태들의 관련된 임상 콘텐츠 및 정보를 업로드할 수 있는 액세스 권리들을 할당하기 위해, 피어 리뷰 시스템에서 구현된다. 조사 사용 및 임상 사용 엔진들은 상이한 가버넌스, 가격결정, 성능 보증들, 사용을 위한 법적 계약, 및 그러한 엔진들이 의료 디바이스들로서의 마케팅 및 사용에 적절하다는 것을 보장하는 다른 팩터들을 갖는 엔진 저자들에 의해 이루어지는 의료 청구들에 의해 차별화된다.

[00136] 규제 파일링, 이를테면 CE 마크, 510k 또는 PMA에 대한 자동으로 생성된 보고들과 함께; 관리자들을 위한 가버넌스 특징들은, 사용 데이터 및 피드백 데이터를 리뷰함으로써, 자동화된 사후 마켓 감시를 수행할 것이다. 사용 데이터는 임상 사례에서 알고리즘이 어떻게 사용되었는지일 수 있다. 피드백 데이터는 또한, 평가 및 측정되는 임상 콘텐츠 및 임상 이미지 데이터 세트와 연관된 임상 성과 데이터를 포함할 수 있다. 그것은, 성능에 관한 피어 리뷰 시스템에 의한 프로세싱 또는 엔진 결과들 및 결과들을 리턴하는 엔진들의 앙상블(조합) 또는 엔진들 중의 엔진의 그것들의 다운스트림 임상 영향(clinical implication)들의 전향적/후향적 분석 전에 또는 그 후에, 의사에 의한 해석 후 또는 해석 시, 부울 또는 열거형(enum) 선택들일 수 있거나 또는 다른 임상 관찰들일 수 있다.

[00137] 도 11은 일 실시예에 따른 보고 생성 프로세스를 예시한다. 도 11을 참조로, 제1 사용자는 사용자 입력 정보를 업로드하거나 또는 완료할 수 있다. 사용자 입력 정보는 엔진과 연관되고, 스토리지에 저장될 수 있다. 사용자는 클라이언트 애플리케이션을 통해 제1 엔진과 연관된 문서들을 업로드할 수 있다. 사용자 업로드 문서들은 제1 엔진과 연관되고, 스토리지에 저장될 수 있다. 예컨대, 사용자는 의료 디바이스 사용자 요금 커버시트, CDRH(Center for Devices and Radiological Health) 프리마켓 리뷰 제출, 준수 증명서, 콘텐츠들의 표, 커버 레터, 사용에 대한 표시들, 510k 요약, 정직한 정확도 진술, 클래스 III 인증 요약, 디바이스/엔진의 네임, 디바이스/엔진의 설명, 술어, 술어와 디바이스/엔진의 비교, 의도된 사용, 제안된 라벨링, 만료, 또는 임의의 다른 정보 또는 이들의 조합에 관련된 문서들을 업로드하거나 또는 정보를 입력할 수 있다. 그러한 정보는 애플리케이션 저장소 또는 이미지 프로세싱 서버의 스토리지에 저장될 수 있다. 그러한 정보는 제1 엔진과 연관될 수 있다. 그러한 정보 또는 정보의 임의의 서브세트는, 만약 제1 사용자에 의해 요청되면 또는 만약 애플리케이션 템플릿의 일부이면 스토리지로부터 취해질 수 있으며, 보고에 포함될 수 있다. 만약 템플릿으로부터의 임의의 정보가 누락되면, 사용자가 정보를 누락했다는 것을 사용자에게 통지하기 위한 프롬프트(prompt)가 생성될 수 있고, 이 프롬프트는 정보를 포함할 수 있다.

[00138] 사용자는 클라이언트 디바이스 상의 클라이언트 애플리케이션 또는 웹페이지로부터 제1 엔진에 대한 보고를 요청할 수 있다. 사용자가 애플리케이션으로부터 보고를 요청할 때, 애플리케이션은 네트워크를 통해 요청을 이미지 프로세싱 서버에 전송할 수 있다. 보고 모듈은 사용자 입력 정보, 추적 정보, 연구 정보, 검증 정보, 업로드된 문헌들, 자신의 데이터베이스 또는 정보 또는 자신이 통합된 시스템들 내부의 다른 정보, 또는 제1 엔진, 코호트 또는 스토리지로부터의 제한된 데이터 질의에 대한 이들의 임의의 조합을 컴파일링하고, 보고를 컴파일링할 수 있다. 보고는, 보고가 저장된 정보에 기반하여 자동으로 완료되도록 보고 템플레이트를 사용하여 사전구성될 수 있다. 보고는, 사용자가 애플리케이션 상의 특정한 필드들을 선택함으로써 이미지 프로세싱 서버의 스토리지로부터 필요한 데이터의 사용자 규격들에 기반할 수 있다. 예컨대, 사용자는 사용을 위한 표시들 및 검증만을 원할 수 있다. 보고는 클라이언트 애플리케이션 또는 웹사이트에 전송될 수 있다. 보고는 일단 애플리케이션에 전송되면 사용자에 의해 조작될 수 있거나, 보고가 애플리케이션에 전송되기 전에 사용자에 의해 조작될 수 있다.

[00139] 예컨대, 사용자는 추가적인 정보, 업데이트 정보, 제거 정보, 또는 이들의 임의의 조합을 포함할 수 있다. 애플리케이션은 미리결정된 보고 템플레이트들로 구성될 수 있고, 여기서 보고는 510K 서브미션들, PMA 서브미션들, 임상 시험 서브미션들, 보험 관련 서브미션들, 또는 엔진의 검증을 요구하는 임의의 다른 서브미션들에 대한 모든 정보로 구성된다. 하나 이상의 의료 기관들로부터의 하나 이상의 사용자들은, 애플리케이션을 통해 보고의 결과들을 입증하기 위해 보고를 리뷰할 수 있다. 그러한 보고들은, 사용자가 애플리케이션을 통해 이러한 보고를 요청할 때, 자동 생성될 수 있다. 애플리케이션은 하나 이상의 사용자들이 보고가 입증되었는지 여부를 마킹(예컨대, 각각의 연구에 대한 이슈들을 플래깅, 적색/녹색, 원형으로 마킹, 또는 이들의 임의의 조합을 행함)하거나, 결과들이 부정확할 수 있는 특정한 연구들을 마킹하게 허용할 수 있다. 다른 실시예에서, 판정 그룹은, 애플리케이션을 통해 엔진이 유효한지 여부를 결정할 수 있다. 폐루프 기계 학습은 임상 시험 검증 데이터 세트들을 생성한다.

[00140] 예컨대, 사용자는 엔진(예컨대, 폐 결절)을 클라우드에 업로드할 수 있다. 사용자는 애플리케이션을 통해 연구들로 폐 결절 엔진을 기계 학습/훈련할 수 있다. 만약 폐 결절 엔진에 대한 액세스가 다른 사용자들에게 승인되면, 다른 사용자들은 로컬로 또는 클라우드를 통해 연구들로 폐 결절 엔진을 훈련/기계 학습할 수 있다. 폐 결절 엔진이 최적화될 때, 사용자는 알려진 또는 알려지지 않은 소견들로 하나 이상의 연구들에 대한 폐 결절 엔진을 실행할 수 있다. 추적 모듈은 정보, 이를테면, 연구 ID, 알려진 소견들, 알려지지 않은 소견들, 폐 결절 엔진 소견들, 폐 결절 엔진의 정확도, 폐 결절 엔진의 퍼센트 정확도, 또는 이들의 임의의 조합을 추적할 수 있다.

[00141] 사용자는 또한 애플리케이션의 GUI를 통해 다른 폐 결절 엔진 정보, 이를테면, 의도된 사용, 사용을 위한 표시들, 추적 모듈을 통해 폐 결절 엔진과 연관되고 스토리지에 저장될 수 있는 설명을 입력할 수 있다. 사용자는 애플리케이션으로부터 보고, 예컨대, 510K 보고를 요청할 수 있다. 보고 모듈은 폐 결절 엔진에 대한 510K 보고에 대한 요청을 수신하고, 폐 결절 엔진과 연관된 스토리지에 저장된 정보에 기반하여 510k 보고 템플레이트에서 적용가능한 필드들을 완료할 수 있다. 그런 다음, 폐 결절 엔진에 대한 510k 보고는, 사용자가 510k 보고를 보거나, 510k 보고를 업데이트하거나, 보고를 다운로드하거나, 보고를 인쇄하거나, 보고를 규제 기관에 직접 제출하거나 이들의 임의의 조합을 행할 수 있도록, 애플리케이션에 전송될 수 있다.

[00142] 도 12a-도 12c는 일 실시예에 따른, 이미지 프로세싱을 위해 사용자들을 인증하기 위한 액세스 제어 표를 예시한다. 클라이언트 애플리케이션은, 특정 사용자들에게 특정 사용자 특권들을 부여하도록, 액세스 제어를 가질 수 있다. 예컨대, 의사는, 임상 및 비-임상 사용을 위해 클라우드 상에서 의사가 이용가능한(즉, 만약 임의의 엔진에 대한 액세스가 작성자에 의해 의사에게 승인되었다면) 임의의 엔진에 대한 액세스를 갖고 이를 사용할 수 있다. 예컨대, 비-의사는, 임의의 엔진들에 대한 액세스가 작성자들에 의해 그들에게 승인되는 한 그리고 비-임상 사용을 위해 클라우드 상에서 비-의사가 이용가능한 임의의 엔진에 대한 액세스를 갖고 이를 사용할 수 있다. 예컨대, 엔진의 작성자는, 엔진을 사용하고 그리고/또는 엔진을 기계 학습/훈련하기 위한 액세스를 다른 의사에게 제공할 수 있다. 다른 예에서, 작성자는 엔진을 통해 연구들을 프로세싱하기 위해 액세스를 의사 또는 하나 이상의 의료 기관들로부터의 의사들의 그룹에 제공할 수 있다.

[00143] 일 실시예에 따라, 이미지 프로세싱 서버(110)는 엔진들의 액세스, 자원들(예컨대, 이미지 프로세싱 툴들) 및/또는 의료 데이터 저장소에 저장된 의료 데이터를 제어하기 위한 액세스 제어 시스템을 더 포함한다. 사용자들은 그들 개개의 액세스 특권들에 의존하여 특정 엔진들, 자원들의 특정 부분들 및/또는 의료 데이터 저장소에 저장된 의료 데이터에 액세스할 수 있거나 액세스할 수 없다. 액세스 특권들은, 도 12a-도 12c에 도시된 바와 같이, 한 세트의 역할-기반 규칙들 또는 정책들에 기반하여 결정 또는 구성될 수 있다. 예컨대, 의사들은 특정 엔진들, 이를테면, FDA 허가 엔진들, 개발 중인 엔진들, 훈련을 요구하는 엔진들, 또는 그들 자신의 업로드된 엔진들 및 데이터, 또는 이들의 임의의 조합에만 액세스할 수 있다. 특정 역할들 또는 크리덴셜들을 갖는 일부 사용자들은, 도 12b에 도시된 바와 같이, 시스템에 의해 제공된 툴들 중 일부에만 액세스할 수 있다. 특정 역할들을 갖는 일부 사용자들은 훈련/기계 학습의 특정 단계들 또는 스테이지들만을 수행할 수 있다. 단계들 또는 스테이지들은 툴들에 통합되고, 이전에 수행된 단계들 또는 스테이지들로부터의 명령들 또는 피드백의 검증/수락을 식별하는 것 및/또는 측정하는 것을 포함할 수 있다. 특정 역할들을 갖는 일부 사용자들은 특정 타입들의 프로세스들에 제한된다.

[00144] 일 실시예에서, 액세스 제어 시스템은 HIPAA(Health Insurance Portability and Accountability Act) 준수에 기반하여 액세스를 제어할 수 있다. 예컨대, 제1 의사는 의료 이미지 데이터 및/또는 엔진들에 대한 제2 의사의 액세스를 승인할 수 있다. 제1 의사는 엔진에 대한 액세스를 승인할 수 있고, 또한 HIPAA 요건들의 준수를 보장하기 위해 BAA(Business Associate Agreement)를 이미지 프로세싱 서버를 통해 요청/전송할 수 있다. 제2 의사는, 제2의사가 BAA에 합의한 후에, 엔진에 액세스할 수 있다. 제1 의사 및 제2 의사의 사용자 프로파일 상에서 BAA가 추적될 수 있다. 애플리케이션은 연구들에서 보호되는 건강 정보를 익명화하기 위한 옵션을 가질 수 있다.

[00145] 도 12a-도 12c에 도시된 규칙들 또는 정책들이 단지 예시 목적으로 설명되고, 다른 규칙들 및 포맷들이 또한 적용될 수 있음이 주목된다. 일부 실시예들에 따르면, 액세스 레벨들은 다양한 파라미터들, 예컨대, 엔진들의 타입들, 엔진들이 FDA에 의해 승인되었는지 여부, 엔진들이 여전히 개발중인지 여부, 엔진이 검증되었는지 여부, 엔진들이 추가로 훈련될 필요가 있는지 여부, 툴들의 타입들 또는 툴 내의 단계들, 기능들(예컨대, 업로드, 다운로드, 뷰잉, 조작, 회계 감사, 검증 등), 액세스를 다른 것들(예컨대, 제2 견해, 위탁들, 전문가들, 가족, 친구 등)에 제공할 능력, 환자들, 엔진(예컨대, 라이센싱 계약에 의존하여, 예컨대, 달마다 특정 수 또는 용도들의 엔진들에 대한 액세스만을 가질 수 있음), 의료 기관, 전공 분야(specialty), 상환 또는 빌링 코드(예컨대, 보험에 의해 상환되는 특정 절차들을 수행하기 위한 액세스만을 가질 수 있음), 관리 액세스 레벨, 임상 시험 또는 연구 프로젝트, 데이터를 보는 방식, HIPAA 허가, 또는 이들의 임의의 조합에 기반하여 구성될 수 있다.

[00146] 이미지 데이터 코호트들, 임상 데이터 코호트들, 데이터베이스 내의 또는 피어 리뷰 시스템 내에 포함된 피드백 및 데이터에 대해 유사한 액세스 제어들이 제공될 수 있다. 클라우드 모델은 전세계의 의사들 또는 다른 참여자들이 애플리케이션을 사용하는 데 참여하게 허용한다. 로컬 모델은 하나의 네트워크 내의 또는 부서 내의 닥터들 또는 다른 참여자들이, 환자 정보가 자신들의 환경에서 떠나지 않고서, 애플리케이션을 사용하는 데 참여하게 허용한다. 애플리케이션의 액세스 제어는 어떠한 엔진들 및 툴들이 사용되는지 및 어떻게 사용되는지 및 누구에 의해 사용되는지를 제어할 수 있다.

[00147] 도 13은 본 발명의 일 실시예에 따라 의료 이미지들을 프로세싱하는 프로세스를 예시하는 흐름도이다. 프로세스(1300)는, 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예컨대, 프로세스(1300)는 이미지 프로세싱 서버(110)에 의해 수행될 수 있다. 도 13을 참조로, 블록(1301)에서, 프로세싱 로직은 의료 데이터 소스, 이를테면, PACS로부터 한 세트의 임상 연구들과 연관된 의료 이미지들의 세트들을 수신한다. 블록(1302)에서, 각각의 임상 연구의 각각의 세트의 의료 이미지들에 대해, 프로세싱 로직은, 임상 연구의 이미지들을 프로세싱하도록 구성되었던 하나 이상의 이미지 프로세싱 엔진들을 식별한다. 블록(1303)에서, 프로세싱 로직은 임상 연구와 연관된 구성 파일에 의해 특정된 프로세싱 순서에 따라 이미지 프로세싱 엔진들을 구성한다. 블록(1304)에서, 프로세싱 로직은 의료 이미지들을 프로세싱하기 위해 이미지 프로세싱 엔진들을 인보크하고 실행하여, 제1 결과를 생성한다. 제1 결과는 비정상 의료 이미지들을 표시하는 정보를 포함한다. 블록(1305)에서, 프로세싱 로직은 비정상 의료 이미지들을 제1 리뷰 시스템에 송신한다. 제1 리뷰 시스템은 제2 리뷰 시스템에 의해 수행된 제2 리뷰의 제2 결과와 조합하여 제1 결과를 검증한다. 블록(1306)에서, 피어 리뷰 시스템으로부터 수신된 리뷰 결과에 대한 응답으로, 프로세싱 로직은 향후 이미지 프로세싱 동작들(예컨대, 효율성, 정확도)을 개선하기 위해 하나 이상의 프로세싱 알고리즘을 수정하도록 프로세싱 엔진들 중 적어도 하나를 훈련하기 위해 기계 학습 동작을 수행할 수 있다.

[00148] 도 14는 본 발명의 다른 실시예에 따라 의료 이미지들을 프로세싱하는 프로세스를 예시하는 흐름도이다. 프로세스(1400)는, 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예컨대, 프로세스(1400)는 이미지 프로세싱 서버(110)에 의해 수행될 수 있다. 도 14를 참조로, 블록(1401)에서, 프로세싱 로직은 의료 데이터 소스, 이를테면, PACS로부터 한 세트의 임상 연구들과 연관된 의료 이미지들의 세트들뿐만 아니라 제1 리뷰 시스템(예컨대, 제1 피어 리뷰 시스템 또는 1차 리뷰 시스템)으로부터 수신된 제1 리뷰 결과를 수신한다. 블록(1402)에서, 각각의 임상 연구의 각각의 세트의 의료 이미지들에 대해, 프로세싱 로직은, 임상 연구의 이미지들을 프로세싱하도록 구성되었던 하나 이상의 이미지 프로세싱 엔진들을 식별한다. 블록(1403)에서, 프로세싱 로직은 의료 이미지들을 프로세싱하기 위해 이미지 프로세싱 엔진들을 인보크하고 실행하여, 제2 리뷰 결과를 생성한다. 제2 리뷰 결과는, 만약 있다면, 비정상 의료 이미지들을 표시하는 정보를 포함한다. 블록(1404)에서, 프로세싱 로직은, 제1 및 제2 리뷰 결과들 사이의 임의의 모순을 검출하기 위해 제1 리뷰 결과와 제2 리뷰 결과를 비교한다. 블록(1405)에서, 프로세싱 로직은 모순(예컨대, 제1 및 제2 리뷰 결과들 간의 충돌)이 있는 의료 이미지들을 제2 리뷰 시스템(예컨대, 제2 피어 리뷰 시스템)에 송신한다. 제2 리뷰 시스템은 충돌하는 의료 이미지들에 대해 다른 리뷰를 수행하여, 제3 리뷰 결과를 생성한다. 블록(1406)에서, 제2 리뷰 시스템으로부터 수신된 제3 리뷰 결과에 대한 응답으로, 프로세싱 로직은 향후 이미지 프로세싱 동작들(예컨대, 효율성, 정확도)을 개선하기 위해 하나 이상의 프로세싱 알고리즘을 수정하도록 프로세싱 엔진들 중 적어도 하나를 훈련하기 위해 기계 학습 동작을 수행할 수 있다.

[00149] 도 15는 본 발명의 다른 실시예에 따라 의료 이미지들을 프로세싱하는 프로세스를 예시하는 흐름도이다. 프로세스(1500)는, 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예컨대, 프로세스(1500)는 이미지 프로세싱 서버(110)에 의해 수행될 수 있다. 도 15를 참조로, 블록(1501)에서, 프로세싱 로직은 의료 데이터 소스, 이를테면, PACS 시스템으로부터 한 세트의 하나 이상의 의료 이미지들을 수신한다. 의료 이미지들은 임상 연구 또는 환자와 연관될 수 있다. 블록(1502)에서, 프로세싱 로직은 분석 시스템으로부터 분석 보고를 수신한다. 분석 보고는 의료 이미지들의 의학적 소견을 설명하는 정보를 포함한다. 예컨대, 분석 보고는 의사에 의해 생성되거나 컴퓨팅 시스템에 의해 자동으로 생성된 임상 보고일 수 있다. 블록(1503)에서, 프로세싱 로직은, 의료 이미지들로부터 제1 세트의 특징들을 추출하기 위해 의료 이미지들에 대해 이미지 분석, 이를테면, 이미지 인식을 수행하기 위한 하나 이상의 의료 이미지 프로세싱 엔진들을 인보크한다.

[00150] 블록(1504)에서, 프로세싱 로직은 분석 보고로부터 제2 세트의 특징들을 추출한다. 추출된 특징들은 의료 이미지들의 의학적 소견 또는 추정을 표시할 수 있다. 블록(1505)에서, 프로세싱 로직은 제1 세트의 특징들 및 제2 세트의 특징들을 비교하여, 이 둘 간에 어떠한 차이가 있는지 여부를 검출한다. 만약 그렇다면, 블록(1506)에서, 프로세싱 로직은 경고 메시지를 미리결정된 목적지(예컨대, 관리자 시스템, 분석 보고를 생성한 의사, 또는 피어 리뷰를 수행할 수 있는 다른 의사)에 송신한다. 경고 메시지는 누군가 환자에 대한 후속조치 또는 의료 이미지들을 필요로 한다는 것을 표시할 수 있다. 일 실시예에 따라, 의료 이미지들은, 피어 리뷰어가 의료 프로세싱 엔진들에 의해 수행된 분석 보고 및/또는 이미지 분석의 의학적 소견을 추가로 검증 또는 무효화하기 위해 피어 리뷰를 수행하게 허용하기 위해 피어 리뷰 시스템에 송신될 수 있다.

[00151] 도 16은 본 발명의 다른 실시예에 따른 의료 이미지들을 프로세싱하는 프로세스를 예시하는 흐름도이다. 프로세스(1600)는 소프트웨어, 하드웨어, 또는 이들의 결합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예컨대, 프로세스(1600)는 이미지 프로세싱 서버(110)에 의해 수행될 수 있다. 도 16을 참조로, 블록(1601)에서, 프로세싱 로직은 임상 연구의 하나 이상의 의료 이미지들을 리뷰하는 제1 리뷰어의 제1 결과를 수신한다. 블록(1602)에서, 프로세싱 로직은 동일한 이미지들을 독립적으로 리뷰하는 제2 리뷰어의 제2 결과를 수신한다. 블록(1603)에서, 프로세싱 로직은 동일한 의료 이미지들을 프로세싱하는 하나 이상의 이미지 프로세싱 엔진들에 의해 생성된 제3 결과를 수신한다. 블록(1604)에서, 프로세싱 로직은 결과들 간의 임의의 불일치를 결정하기 위해, 제1, 제2 및 제3 결과들을 비교한다. 만약 결과들의 임의의 불일치가 존재한다면, 블록(1605)에서, 프로세싱 로직은 경고를 미리결정된 목적지로 송신하고 그리고/또는 이미지 프로세싱 엔진들의 동작을 무효화한다. 만약 결과들이 서로 일치하는 경우, 블록(1606)에서, 프로세싱 로직은 이미지 프로세싱 엔진들의 동작들을 검증한다. 블록(1607)에서, 이미지 프로세싱 엔진들은 기계 학습 알고리즘을 사용하여 결과들에 기반하여 훈련된다. 이 방법은 서로를 알지 못하지만 그의 엔진들에 대한 액세스가 승인된 저자들로부터의 엔진들의 출력들을 조합함으로써 개선된 민감도 및 특성을 달성하기 위한 수단을 제공한다.

[00152] 특정 실시예들에 따르면, 다양한 이미지 프로세싱 툴들은 피어 리뷰 시스템의 진단 이미지 프로세싱 특징들을 사용함으로써 사용자에 의해 액세스될 수 있다. 대안적으로, 이러한 이미지 프로세싱 툴들은 PACS 또는 EMR, 또는 다른 임상 또는 정보 시스템과 같은 다른 제3자 시스템들에서 추후에 소환되는 이미지 프로세싱 엔진들(113-115)로서 구현될 수 있다. 다음은, 위에서 설명된 이미지 프로세싱 시스템의 부분으로서 포함되고 그리고/또는 추가로 자동화되거나, 또는 엔진들로 변환될 수 있는 현재 앞선 반-자동화된 이미지 뷰잉 및 진보된 시각화 시스템에 존재하는 의료 이미지 프로세싱 툴들의 예들이다. 이들 예들은 예시 목적들로 제공되며 본 발명의 제한으로 의도하지 않는다.

[00153] 혈관 분석 툴들은, 경동맥 및 신장 동맥들을 포함해서 관상 동맥에서부터 대동맥 내막 이식 계획 및 보다 일반적인 혈관 리뷰에 이르기까지 광범위한 혈관 분석 임무들이 가능한 CT 및 MR 혈관조영술을 위한 포괄적 맥관 분석 패키지를 포함할 수 있다. 자동 중심선 추출, 정돈된 뷰(straightened view), 직경 및 길이 측정들, CPR 및 축 렌더링들, 자동화된 얇은 슬라브 MIP를 위한 혈관 추적 모드가 포함될 수 있다.

[00154] 칼슘 스코어링 툴들은 아가츠톤(Agatston), 볼륨 및 미네랄 질량 알고리즘들과 함께 관상 동맥 칼슘의 식별을 포함할 수 있다. 맞춤화 옵션들을 갖는 통합형 보고 패키지가 포함될 수 있다.

[00155] TDA(time-dependent analysis) 툴들은 CT 또는 MR로 획득된 시간-분해된 평면 또는 볼류메트릭 4D 뇌 관류 검사들을 포함할 수 있다. TDA 툴들은 분석 속도를 높이기 위해 입력 기능 및 베이스라인의 반-자동화된 선택으로, 다양한 파라미터들, 이를테면, 평균 향상 시간 및 향상 통합의 맵핑 또는 컬러를 지원할 수 있다. TDA 툴들은 동적 4D 영역-검출기 CT 검사들의 신속한 자동화된 프로세싱을 지원하여 몇분 내에(within minutes) 획득의 해석을 보장할 수 있다.

[00156] CT/CTA(Computed tomography angiography) 차감 툴들은 CT 혈관조영술 검사들로부터 비-향상 구조들(예컨대, 뼈)의 제거에 사용되며, CT/CTA 옵션은 사전- 및 사후-콘트라스트 이미지들의 자동적 등록에 뒤따르는, 콘트라스트-향상된 맥관 구조들의 격리의 도움으로 잡음 증가 없이 CTA 스캔으로부터 고-세기 구조들(뼈 및 수술 클립들과 같은)을 제거하는 조밀한-복셀 마스킹 알고리즘을 포함한다.

[00157] 소엽 분해 툴들은 관심 볼륨 내의 트리-유사 구조들, 예컨대, 혈관상을 포함하는 스캔 구역, 또는 간과 같은 장기를 식별할 수 있다. 그런 다음, LD 툴은 트리의 정해진 분기 또는 그의 하위-분기들 중 하나에 대한 근접도에 기반하여 관심의 하위-볼륨을 식별할 수 있다. 연구 애플리케이션들은 장기들의 소엽 구조의 분석을 포함한다.

[00158] 저 노출 툴들을 사용한 일반 향상 및 잡음 처리는, 소스 이미지 품질이 최적이 아닌 경우에도 3D, 중심선 및 컨투어링(contouring) 및 세그먼트화 알고리즘들의 유효성을 개선하는 잡음 관리 기법들을 적용한 진보된 볼류메트릭 필터 아키텍처들을 포함할 수 있다.

[00159] 스피어파인더(spherefinder) 툴들은 볼류메트릭 검사들의 자동화된 분석을 수행하여 높은 구형도 인덱스(다수의 결절들 및 폴립(polyp)들에 의해 나타나는 특징)를 갖는 구조들의 위치를 식별한다. 스피어파인더는 종종 잠재적인 관심 영역들을 식별하기 위해 폐 또는 결장 CT 스캔들과 함께 사용된다.

[00160] 세그먼트화, 분석 및 추적 툴들은 단독 폐결절들(solitary pulmonary nodules) 또는 다른 잠재적인 병변들과 같은 질량들 및 구조들의 분석 및 특징화를 지원한다. 툴들은 관심 구역들을 식별 및 세그먼트화하고 그런 다음, RECIST 및 WHO와 같은 측정 기준들을 적용하여, 소견들 및 후속 비교의 표로 작성된 보고로 이어진다. 스피어파인더를 포함해서 선택적인 검출 엔진들로부터의 후보 마커들의 디스플레이 및 관리가 지원될 수 있다.

[00161] 시간 볼륨 분석 툴들은 심실과 같이 리듬 모션중인 챔버로부터 박출 분율의 자동화된 계산을 제공할 수 있다. 빠르고 효율적인 워크플로우가 포함되어, 사용자가 관심의 벽 경계들(예컨대, 심외막 및 심내막)을 식별하고, 이러한 관심의 사용자-확인된 구역들에 기반하여, 다상(multi-phasic) CT 데이터로부터 박출 분율, 벽 볼륨(질량) 및 벽의 비대화(thickening)을 보고하는 것을 가능하게 할 수 있다. 표로 작성된 보고 출력이 포함된다.

[00162] 악안면(Maxillo-facial) 툴들은 악안면 구역의 CT 검사들의 분석 및 시각화를 지원하고, 이 툴들은 다양한 평면들의 그리고 다양한 두께들의 "파노라마형" 프로젝션들 및 정의된 커브 평면을 따른 세팅된 증분들의 단면 MPR 뷰들을 생성하도록 CPR 툴을 적용한다.

[00163] 결장, 폐들 또는 혈관들과 같은 엔도루미날 CT 또는 MR 조사들에 적용 가능한, 플라이쓰루(flythrough) 툴들은 사이드-바이-사이드(side-by-side) 리뷰, 이전에-뷰잉된 영역들의 페인팅, 퍼센트 커버리지 추적, 및 전방향, 역방향, 어안 및 평탄 볼륨 렌더링된 뷰들을 포함하는 다수의 스크린 레이아웃들을 지원한다. 콘트라스트 차감을 위한 툴들, "큐브 뷰(Cube View)" 및 통합된 맥락적 보고가 지원될 수 있다. iNtuition의 스피어파인더를 포함해서 선택적인 검출 엔진들로부터의 후보 마커들의 디스플레이 및 관리가 지원될 수 있다.

[00164] 볼류메트릭 히스토그램 툴들은, 관심의 볼륨이 조성을 위해 세그먼트화되고 분석되게 허용한다. 연구 애플리케이션들은 폐들의 저-감쇠 구역들의 분석, 복셀 파퓰레이션(voxel population)들로의 종양들의 임계치-기반 분할, 혈전 혈관들 또는 동맥류들의 조사 또는 다른 병리학을 포함한다.

[00165] 소견 워크플로우 툴들은 일련의 검사들에 걸친 소견들을 추적하기 위한 프레임워크를 제공한다. 데이터베이스는 측정들 및 핵심 이미지들을 홀딩하고 구조화된 비교들 및 시간이 지남에 따른 소견들의 표로 작성된 보고에 대한 지원, 이를테면, 순차적인 비교들을 제공하기 위한 RECIST 1.1 접근법을 제공한다. 음성 인식 시스템들 또는 임상 데이터베이스들과의 자동화된 통합을 위해 AIM(Annotation and Image Markup) XML 스키마가 지원될 수 있고 워드-기반 보고들이 데이터베이스로부터 유도될 수 있다.

[00166] 이 툴들로, CT, PET, MR 또는 SPECT 시리즈 또는 그의 임의의 2-시리즈 조합(하나는 반투명 컬러 코딩이 할당되고, 다른 것은 해부학적 레퍼런스를 위한 그레이스케일 및 볼륨 렌더링으로 도시됨)이 오버레이될 수 있다. 자동적 등록이 제공되고 임시 시리즈 또는 저장된 제3 시리즈에 대한 차감이 가능하다. PET/MR 시각화에 대한 지원이 포함된다.

[00167] 특정 MR 검사들(예컨대, 유방 MR)은 일정 시간 기간에 걸쳐 행해진 일련의 이미지 획득을 수반하며, 여기서 특정 구조들이 다른 구조들에 대해 시간이 지남에 따라 향상된다. 이 툴들은 구조(예컨대, 맥관 구조들 및 다른 향상 조직)의 향상의 시각화를 강조하기 위해 모든 포스트-향상 이미지들로부터 프리-향상 이미지를 차감하는 능력을 특징으로 한다. 시간-종속 관심 구역 툴들은 정해진 구역의 시간-세기 그래프들을 플로팅하도록 제공될 수 있다.

[00168] 파라메트릭 맵핑 툴들은 다중-위상 MR 툴들에 대한 향상이며, 파라메트릭 맵핑 옵션은 이미지의 각각의 픽셀이 픽셀 세기의 시간-종속 거동에 의존하여 컬러-코딩되는 오버레이 맵들을 사전 계산한다. 예로서, 이 툴은 유방 MR에 사용되어 향상 구역들의 식별 및 조사 속도를 높인다.

[00169] MultiKv 툴들은 다수의 벤더들로부터 듀얼 에너지 및 스펙트럼 이미징 획득들에 대한 지원을 제공하여, 새로운 기법들의 정밀한 분석 및 개발을 위한 일반적인 툴킷들뿐만 아니라, 세그먼트화 또는 콘트라스트 억제와 같은 표준 이미지 프로세싱 알고리즘들을 제공한다.

[00170] 이러한 예들 및 현재 진보된 이미지 분석 및 임상 데이터 분석들의 대부분의 기능들은 피어 리뷰 플랫폼에서 지원될 수 있다. 그러나 엔진들의 능력들뿐만 아니라, 엔진들 중의 엔진들은 훨씬 더 발전되고 더 높은 지능 및 자동화를 갖는 툴들을 수용할 수 있을 뿐만 아니라, 엔진을 개인 또는 그룹 선호도들에 적응시킴으로써 개별적으로 맞춤제작된 워크플로우를 전달할 수 있다.

[00171] 위에서 설명된 실시예들은 다양한 의료 영역들에 적용될 수 있다. 예컨대, 위에서 설명된 기법들은 혈관 분석(EVAR(Endovascular Aortic Repair) 및 EP(electrophysiology) 계획을 포함함)에 적용될 수 있다. 이러한 혈관 분석은 대동맥 내막 이식 및 전기 생리학 계획 외에도, 경동맥 및 신장 동맥들과 같은 관상 동맥 및 일반 혈관 분석 둘 모두의 해석을 위해 수행된다. 로컬로-위치된 또는 클라우드 위치된 전개를 위한 플랫폼의 클라우드 서비스들로서 제공되는 툴들은, 자동-중심선 추출, 정돈된 뷰, 직경 및 길이 측정들, 컬러 오버레이, 융합 맵핑, CPR(Curved Planar Reformation) 및 축 렌더링들뿐만 아니라, 혈관 직경 대 거리 및 단면도들의 차트화를 포함한다. 혈관 추적 툴은, 네비게이션 및 심도 있는 심문의 용이함을 위해 혈관 중심선을 따라 이동하고 이 혈관 중심선을 중심으로 회전하는 2개의 직교 평면들에서의 MIP(Maximum Intensity Projection) 뷰를 제공한다. 플라크 분석 툴은 비-내강 구조, 이를테면, 소프트 플라크, 석회화된 플라크 및 벽 내 병변들의 상세한 묘사를 제공한다.

[00172] 또한, 위에서 설명된 기법들은 혈관 내 대동맥 치유의 영역에서 활용될 수 있다. 일부 실시예들에 따르면, 유사한 클라우드 서비스들로서 제공되는 맥관 분석 툴들은 내막 이식 사이징을 위한 측정들을 캡처하는 보고 템플릿의 정의를 지원한다. 다수의 중심선들이 추출되어 다수의 액세스 포인트들을 갖는 EVAR 절차들의 계획을 허용할 수 있다. 혈관에 수직인 직경들은 2개의 대동맥-회장동맥(aorto-iliac) 경로들을 따른 거리들과 함께 측정될 수 있다. 맞춤 워크플로우 템플릿들은, 메이저 대동맥 내막 이식 제조자의 측정 사양들이 스텐트 사이징을 위해 요구되는 바와 같이 제조되는 것을 가능하게 하는 데 사용될 수 있다. 유창(fenestrated) 및 분기 디바이스 계획을 위한 분기 혈관들의 배향 및 위치의 문서화로 돕기 위해 "시계-문자판" 오버레이를 갖는 Sac 세그먼트화 및 볼륨 결정이 또한 사용될 수 있다. 요구된 측정들 및 데이터를 포함하는 보고들이 생성될 수 있다.

[00173] 위에서 설명된 기법들은 또한, 메이저 및 마이너 정맥 직경의 평가를 위해, 클라우드 서비스로서 제공되는, 각각의 폐정맥 소공의 반-자동화된 좌심방 세그먼트화가 거리 페어 툴로 지원되는 좌심방 모드에서 적용될 수 있다. 측정들은 자동으로 검출되고 통합된 보고 시스템 내에서 캡처된다. 이러한 능력들은 다른 혈관 분석 툴들과 조합하여 절제 및 리드 접근 계획을 위한 포괄적이고 맞춤화된 EP 계획 워크플로우를 제공할 수 있다.

[00174] 위에서 설명된 기법들은 또한 칼슘 스코어링에 활용할 수 있다. 관상 동맥 칼슘의 식별은 아가츠톤에서 지원되며, 볼륨 및 미네랄 질량 알고리즘들이 합산되어 보고된다. 결과들은 환자 및 그의 심혈관 이력 및 위험 팩터들과 관련된 다양한 다른 데이터와 함께 오픈-포맷 데이터베이스에 저장될 수 있다. 이러한 데이터에 기반하여 맞춤화된 보고가 자동으로 생성될 수 있다. 또한, SCCT(Cardiovascular Computed Tomography Society) 가이드 라인들에 의해 정의된 바와 같은 보고 생성이 포함된다.

[00175] 위에서 설명된 기법들은 또한, 다상(multi-phasic) 데이터로부터의 좌심실 볼륨, 박출 분율, 심근 볼륨(질량) 및 벽 비대화의 완전-자동화된 계산을 포함할 수 있는 TVA(time-volume analysis)에서 활용될 수 있다.

[00176] 위에서 설명한 기법들은 또한, 폐 CT 검사를 포함해서, 다양한 스캔들에서 질량들 및 구조들의 분석 및 특징화의 지원을 포함하는 SAT(segmentation analysis and tracking)의 영역에서 활용될 수 있다. 특징들은 질량들의 세그먼트화, 치수들 및 볼륨의 보고, 선택된 구역들의 그래픽 3D 디스플레이, 퍼센트 볼륨 변화 및 배가 시간(doubling time)을 포함하는 후속 비교들에 대한 지원 및 필터 결과들의 적용 및 리뷰에 대한 지원(예컨대, 구형도)을 포함한다.

[00177] 위에서 설명된 기법들은 또한, 결장의 자동적 세그먼트화 및 센터라인 추출의 특징들을 포함할 수 있는 플라이스루의 분야에서 활용될 수 있으며, 2D 리뷰는 대표적인 동기화된 엔도루미날 뷰들과 함께 축방향, 관상면 또는 시상 뷰들에서 나란히 동기화되는 앙와위 및 복와위 데이터 세트들을 포함한다. 3D 리뷰는, 전체 결장을 디스플레이하는 폴딩되지 않은 뷰 및 큰 엔도루미날 뷰와 함께 축방향, 관상면 및 시상 MPR 또는 MIP 이미지 디스플레이를 포함한다. 커버리지 추적은, 보이지 않는 섹션들의 단계적 리뷰, 폴립 식별, 북마크 및 병합 소견들뿐만 아니라 관심 볼륨을 격리시키기 위한 큐브 뷰 및 통합된 맥락적 보고 툴과 함께 100% 커버리지를 보장하기 위해 지원된다. 필터 결과들(예컨대, 구형도)을 사용하기 위한 지원이 제공된다.

[00178] 위에서 설명된 기법들은 또한, 이를테면, 뇌관류 연구들 내에서 적합한 CTA(computerized tomographic angiography) 및/또는 MRI 검사들의 시간-종속 거동의 평가 분석을 제공하는 TDA(time-dependent analysis)의 분야에서 활용될 수 있다. 다수의 시간-종속 시리즈가 동시에 분석되고, 입력 및 출력 기능 및 관심 구역들을 선택하기 위한 절차적 워크플로우가 제공된다. 혈류, 혈액량 및 통과 시간(transit time) 맵들에 대한 값들의 내보내기(exportation)는 DICOM 또는 다른 이미지 포맷들로 지원되거나 내보내진다. 다른 출력들은 다양한 시간-종속 파라미터들의 계산을 포함한다.

[00179] 위에서 설명된 기법들은 또한, 잡음을 증가시키지 않으면서 CTA 스캔으로부터 (뼈 및 외과용 클립들과 같은) 고강도 구조들을 제거하고 콘트라스트-향상된 맥관 구조들을 온전하게 남기는 차감 또는 조밀-복셀 마스킹 기법이 뒤따르는 사전- 및 사후-콘트라스트 이미지들의 자동적 등록을 포함하는 CTA-CT 차감 분야에서 활용될 수 있다.

[00180] 위에서 설명된 기법들은 또한, 치과용 분석에서 활용될 수 있으며, 치과용 분석은, 다양한 평면들에서의 그리고 다양한 두께들의 "파노라마" 프로젝션들, 및 정의된 커브 평면을 따라 설정된 증분들로 횡단면 MPR 뷰들을 생성하는 능력을 제공하는 치과용 CT 스캔들의 리뷰에 적용될 수 있는 CPR 툴을 제공한다.

[00181] 위에서 설명된 기법들은 또한, 멀티-페이즈 MR(기본, 예컨대 유방, 전립선 MR)의 분야에서 활용될 수 있다. 특정 MR 검사들(예컨대, 유방, 전립선 MR)은 일정 시간 기간에 걸쳐 취해진 일련의 이미지 획득들을 수반하며, 여기서 측정 구조들은 다른 구조들과 비교하여 시간이 지남에 따라 향상된다. 기능은, 향상 구조들(예컨대, 맥관 구조들 및 다른 향상 조직)의 시각화를 강조하기 위해 모든 향상-후 이미지들로부터 사전-향상 이미지를 차감하는 능력을 포함한다. 시간-종속 관심 구역 툴들은 정해진 구역의 시간-세기 그래프들을 플로팅하기 위해 제공된다.

[00182] 위에서 설명된 기법들은 또한, (예컨대, 멀티-페이즈 유방 MR을 위해) 파라메트릭 맵핑에서 활용될 수 있으며, 여기서, 파라메트릭 맵핑 모듈은, 이미지의 각각의 픽셀이 픽셀 세기의 시간-종속 거동에 의존하여 컬러-코딩되는 오버레이 맵들을 사전-계산한다.

[00183] 위에서 설명된 기법들은 또한, 이미지 데이터세트들 내의 오브젝트들에서 구형도를 발견하는 데 활용될 수 있다. 이는 종종 잠재적 관심 영역들을 식별하기 위해 폐 또는 결장 CT 스캔들과 함께 사용된다.

[00184] 설명된 기법들은 또한, CT/MR/PET/SPECT에 대한 융합에서 활용될 수 있다. 임의의 2개의 CT, PET, MR 또는 SPECT 시리즈 또는 임의의 2-시리즈 조합은, 반투명 컬러 코딩이 할당되는 하나와 해부학적 레퍼런스를 위해 그레이스케일 및 볼륨 렌더링으로 보여지는 다른 하나로 오버레이될 수 있다. 자동적 등록이 제공되며 일시적 시리즈에 대한 또는 저장된 제3 시리즈에 대한 차감이 가능하다.

[00185] 위에서 설명된 기법들은 또한, 소엽 분해의 분야에서 활용될 수 있다. 소엽 분해는 해부학적 구조들을 검출 및 세그먼트화하도록 설계된 분석 및 세그먼트화 툴이다. 트리 같은 구조(이를테면, 동맥 및/또는 정맥 트리)와 얽혀있는 임의의 구조 또는 장기 구역의 경우, 툴은 관심 볼륨들뿐만 아니라 그와 관련된 트리들을 계산하고, 볼륨들을 트리 또는 그 트리의 임의의 특정한 하위-분기에 가장 가까운 엽(lobe)들 또는 영역(territory)들로 파티셔닝한다. 이러한 일반적이고 유연한 툴은, 간, 폐, 심장 및 다양한 다른 장기들 및 병리학적 구조들의 분석에서 잠재적 연구 애플리케이션들을 갖는다.

[00186] 위에서 설명된 기법들은 또한, 볼류메트릭 히스토그램 계산들의 분야에서 활용될 수 있다. 볼류메트릭 히스토그램은 상이한 세기 또는 밀도 범위들의 그룹들 또는 파퓰레이션들을 생성하는 구성성분 복셀들에 기반하여 정해진 관심 볼륨을 파티셔닝한다. 이는 예컨대, 기종(emphysema)(폐 CT 검사에서 저-감쇠 복셀들의 파퓰레이션이 조기 질환의 의미있는 표시자일 수 있음) 또는 암(cancer)(종양들의 구성을 분석하는 것이 바람직한 경우, 활성 종양과 괴사 조직과 부종 사이의 밸런스를 이해하기 위한 시도에서)과 같은 질환 프로세스들에 대한 연구를 지원하는 데 사용될 수 있다.

[00187] 위에서 설명된 기법들은 또한, 모션 분석의 분야에서 활용될 수 있다. 모션 분석은, 상호작용형 3D 또는 4D 디스플레이가 이용가능하지 않을 때 소견들의 더 효과적인 통신을 위해 4D 프로세스의 강력한 2D 표현을 제공한다. 고동치는 심장과 같은 임의의 동적 볼륨 획득은 동적 시퀀스 전반에 걸쳐 키 경계들의 아웃라인들의 컬러-코딩된 "트레일(trail)"을 생성하기 위해 모션 분석되어, 문헌에서 쉽게 보고될 수 있는 방식으로, 단일 2D 프레임이 모션을 캡처하고 예시하게 허용할 수 있다. 컬러 패턴의 균일성 또는 그 균일성의 부족은, 모션이 고조파인 정도를 반영하여, 단일 이미지로부터 즉각적인 시각적 피드백을 제공한다.

[00188] 도 17은 본 발명의 일 실시예와 함께 사용될 수 있는 데이터 프로세싱 시스템의 블록 다이어그램이다. 예컨대, 시스템(1700)은 앞서 설명된 바와 같이 서버 또는 클라이언트의 부분으로서 사용될 수 있다. 예컨대, 시스템(1700)은, 네트워크 인터페이스(1710)를 통해 원격 클라이언트 디바이스 또는 다른 서버에 통신가능하게 커플링되는, 위에서 설명된 이미지 프로세싱 서버(110)를 표현할 수 있다. 도 17이 컴퓨터 시스템의 다양한 컴포넌트들을 예시하지만, 컴포넌트들을 상호연결하는 임의의 특정 아키텍처 또는 방식을 표현하도록 의도되지 않으며; 이로써 세부사항들은 본 발명과 밀접하지 않음이 주목된다. 더 적은 컴포넌트들 또는 아마도 더 많은 컴포넌트들을 갖는 네트워크 컴퓨터들, 핸드헬드 컴퓨터들, 셀폰들 및 다른 데이터 프로세싱 시스템들이 또한 본 발명과 함께 사용될 수 있다는 것이 또한 인지될 것이다.

[00189] 도 17에 도시된 바와 같이, 데이터 프로세싱 시스템의 형태인 컴퓨터 시스템(1700)은, 하나 이상의 마이크로프로세서들(1703) 및 ROM(1707), 휘발성 RAM(1705), 및 비-휘발성 메모리(1706)에 커플링되는 버스 또는 상호연결부(1702)를 포함한다. 마이크로프로세서(1703)는 캐시 메모리(1704)에 커플링된다. 버스(1702)는 이러한 다양한 컴포넌트들을 함께 상호연결시키고, 이러한 컴포넌트들(1703, 1707, 1705, 및 1706)을 또한, 디스플레이 제어기 및 디스플레이 디바이스(1708)뿐만 아니라, 마우스들, 키보드들, 모뎀들, 네트워크 인터페이스들, 프린터들, 및 당해 기술분야에 잘 알려진 다른 디바이스들일 수 있는 입력/출력(I/O) 디바이스들(1710)에 상호연결시킨다.

[00190] 전형적으로, 입력/출력 디바이스들(1710)은 입력/출력 제어기(1709)를 통해 시스템에 커플링된다. 휘발성 RAM(1705)은 전형적으로, 메모리 내의 데이터를 리프레시 또는 유지하기 위해 계속해서 전력을 요구하는 동적 RAM(DRAM)으로서 구현된다. 비-휘발성 메모리(1706)는 전형적으로, 자기 하드 드라이브, 자기 광학 드라이브, 광학 드라이브, 또는 DVD RAM, 또는 시스템으로부터 전력이 제거된 후에도 데이터를 유지하는 다른 타입의 메모리 시스템이다. 전형적으로, 비-휘발성 메모리는 또한 랜덤 액세스 메모리일 수 있지만, 이것이 요구되지는 않는다.

[00191] 도 15는, 비-휘발성 메모리가 데이터 프로세싱 시스템의 나머지 컴포넌트들에 직접적으로 커플링된 로컬 디바이스임을 도시하지만, 본 발명은 시스템으로부터 원격인 비-휘발성 메모리; 이를테면, 모뎀 또는 이더넷 인터페이스와 같은 네트워크 인터페이스를 통해 데이터 프로세싱 시스템에 커플링되는 네트워크 저장 디바이스를 활용할 수 있다. 버스(1702)는, 당해 기술분야에 잘 알려진 바와 같이, 다양한 브리지들, 제어기들, 및/또는 어댑터들을 통해 서로 연결되는 하나 이상의 버스들을 포함할 수 있다. 일 실시예에서, I/O 제어기(1709)는 USB(Universal Serial Bus) 주변기기들을 제어하기 위한 USB 어댑터를 포함한다. 대안적으로, I/O 제어기(1709)는 파이어와이어(FireWire) 디바이스들을 제어하기 위한 파이어와이어 어댑터로서 또한 알려진 IEEE-1394 어댑터를 포함할 수 있다.

[00192] 전술한 상세한 설명들의 일부 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 연산들의 기호적인 표현들 및 알고리즘들의 면에서 제공되었다. 이러한 알고리즘 설명들 및 표현들은, 자신들의 작업의 실체를 다른 당업자들에게 가장 효과적으로 전달하기 위해 데이터 프로세싱 분야의 당업자들에 의해 사용되는 방식들이다. 알고리즘은 여기서 그리고 일반적으로, 원하는 결과를 유도하는 동작들의 일관적인 시퀀스들인 것으로 이해된다. 동작들은 물리적 양들의 물리적 조작들을 필요로 하는 동작들이다.

[00193] 그러나, 이러한 그리고 유사한 용어들 모두는 적합한 물리적 양들과 연관될 것이고 단순히 이러한 양들에 적용되는 편리한 라벨들이라는 것이 상기되어야 한다. 위의 논의로부터 자명한 바와 같이 구체적으로 달리 언급되지 않는 한, 설명 전반에 걸쳐, 아래의 청구항들에서 설명되는 용어들과 같은 용어들을 활용하는 논의들은, 컴퓨터 시스템의 레지스터들 및 메모리들 내에 물리적(예컨대, 전자) 양들로서 표현된 데이터를 조작하고 그리고 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내에서 물리적 양들로서 유사하게 표현되는 다른 데이터로 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 프로세스들 및 액션을 지칭한다는 것이 인지된다.

[00194] 도면들에 도시된 기법들은 하나 이상의 전자 디바이스들 상에 저장되고 실행되는 코드 및 데이터를 사용하여 구현될 수 있다. 그러한 전자 디바이스들은, 컴퓨터-판독가능한 매체, 이를테면, 비-일시적 컴퓨터-판독가능한 저장 매체(예컨대, 자기 디스크들; 광학 디스크들; 랜덤 액세스 메모리; 판독 전용 메모리; 플래시 메모리 디바이스들; 상변화 메모리) 및 일시적 컴퓨터-판독가능한 송신 매체(예컨대, 전기, 광학, 음향 또는 다른 형태의 전파되는 신호들 - 이를테면, 반송파들, 적외선 신호들, 디지털 신호들)를 사용하여 코드 및 데이터를 저장하고 그리고 (내부적으로 그리고/또는 네트워크를 통해 다른 전자 디바이스들과) 통신한다.

[00195] 이전의 도면들에서 묘사된 프로세스들 또는 방법들은, 하드웨어(예컨대, 회로, 전용 로직 등), 펌웨어, 소프트웨어(예컨대, 비-일시적 컴퓨터 판독가능한 매체 상에 구현됨), 또는 둘 모두의 조합을 포함하는 프로세싱 로직에 의해 수행될 수 있다. 프로세스들 또는 방법들이 일부 순차적 동작들의 면에서 위에서 설명되었지만, 설명된 동작들 중 일부는 상이한 순서로 수행될 수 있음이 인지되어야 한다. 또한, 일부 동작들은 순차적으로보다는 병렬로 수행될 수 있다.

[00196] 전술한 명세서에서, 본 발명의 실시예들은 본 발명의 특정한 예시적 실시예들을 참조하여 설명되었다. 다음의 청구항들에서 설명되는 바와 같은 본 발명의 더 넓은 사상 및 범위로부터 벗어나지 않으면서 실시예들에 대한 다양한 수정들이 이루어질 수 있다는 것이 자명할 것이다. 그에 따라서, 본 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다.

Claims (27)

1. 의료 데이터 소스로부터의 임상 연구와 연관된 제1 세트의 의료 이미지들을, 프로세서 및 메모리를 갖는 의료 이미지 프로세싱 서버에서 수신하는 단계;
   상기 의료 연구를 리뷰하도록 구체적으로 구성된 미리결정된 순서에 따라 상기 의료 이미지들을 프로세싱하기 위해 하나 이상의 이미지 프로세싱 엔진들을 인보크하는(invoking) 단계 ― 상기 이미지 프로세싱 엔진들은 상기 의료 이미지들의 비정상 소견들을 검출하기 위한 그리고 상기 비정상 소견들을 설명하는 제1 결과를 생성하기 위한 것이고, 상기 이미지 프로세싱 엔진들은 복수의 엔티티들에 의해 작동되는 복수의 엔진 개발자들에 의해 제공됨 ―;
   제1 리뷰 시스템에 제2 세트의 의료 이미지들을 송신하는 단계 ― 상기 제2 세트의 의료 이미지들은 상기 제1 세트의 의료 이미지들의 서브세트이고, 상기 제2 세트의 의료 이미지들은 상기 이미지 프로세싱 엔진들에 의해 비정상으로 카테고리화됨 ―; 및
   상기 제1 리뷰 시스템으로부터 기인하는 제2 결과를 수신하는 것에 대한 응답으로, 상기 제1 결과 및 상기 제2 결과에 기반하여 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계를 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
2. 제1 항에 있어서,
   상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계는,
   상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계;
   상기 제1 결과와 상기 제2 결과가 서로 일치한다는 결정에 대한 응답으로, 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계; 및
   그렇지 않으면, 상기 이미지 프로세싱 엔진들의 동작들을 무효화하는 단계를 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
3. 제1 항에 있어서,
   상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계; 및
   상기 제1 결과와 상기 제2 결과가 불일치한다는 결정에 대한 응답으로, 미리결정된 디바이스에 경고를 송신하는 단계를 더 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
4. 제1 항에 있어서,
   상기 제1 결과 및 상기 제2 결과를 임상 연구 시스템에 의해 수행된 제3 결과와 비교하는 단계 ― 상기 임상 연구 시스템은 임의의 비정상 이미지를 검출하도록 구성되고, 상기 제1 리뷰 시스템은 상기 임상 연구 시스템에 대한 피어 리뷰 시스템임 ―; 및
   상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 기반하여 상기 임상 연구 시스템의 비정상 소견들을 검증하는 단계를 더 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
5. 제4 항에 있어서,
   상기 제1 결과, 상기 제2 결과 및 상기 제3 결과는 나머지 대응 결과들을 알지 않고 독립적으로 생성되는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
6. 제4 항에 있어서,
   만약 상기 제1 결과와 상기 제2 결과가 일치하지만 상기 제3 결과가 상기 제1 결과 및 상기 제2 결과와 불일치한다면, 미리결정된 디바이스에 경고를 송신하는 단계를 더 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
7. 제1 항에 있어서,
   상기 제1 결과 및 상기 제2 결과에 기반하여 기계-학습 알고리즘을 사용하여 상기 이미지 프로세싱 엔진들 중 적어도 하나를 훈련시키는 단계를 더 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
8. 제1 항에 있어서,
   어떤 이미지 프로세싱 엔진이 어떤 의료 연구에 대한 동작들을 수행하는지를 표시하는 데이터를 포함하여, 상기 이미지 프로세싱 엔진들의 동작들의 통계를 추적하는 단계를 더 포함하는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
9. 제1 항에 있어서,
   상기 이미지 프로세싱 엔진들은 웹 서버 상에 나열된 복수의 이미지 프로세싱 엔진들로부터 선택되고,
   상기 선택된 이미지 프로세싱 엔진들은 상기 웹 서버에서의 구성 인터페이스를 통해 상기 미리결정된 순서에 따라 구성되는,
   의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
10. 제9 항에 있어서,
    상기 복수의 이미지 프로세싱 엔진들은 상기 복수의 엔진 개발자들에 의해 독립적으로 제공되고 상기 웹 서버 상에 업로드되어 복수의 사용자들이 하나 이상의 이미지 프로세싱 엔진들을 선택하여 상기 이미지 프로세싱 엔진들의 개개의 의료 이미지들에 가입하게 허용하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
11. 제1 항에 있어서,
    상기 프로세싱 엔진들은 분산형 방식으로 동시에 상기 의료 이미지들의 상이한 부분들에 대해 복수의 리뷰 세션들을 수행하도록 구성되며,
    상기 프로세싱 엔진들 중 하나는 리뷰 임무들을 나머지 프로세싱 엔진들에 배정하고 할당하는 슈퍼바이저 엔진으로서 동작하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
12. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 의료 이미지들을 프로세싱하기 위한 방법을 수행하게 하는 명령들이 저장된 비-일시적 기계-판독가능 매체로서,
    상기 방법은,
    의료 데이터 소스로부터의 임상 연구와 연관된 제1 세트의 의료 이미지들을, 프로세서 및 메모리를 갖는 의료 이미지 프로세싱 서버에서 수신하는 단계;
    상기 의료 연구를 리뷰하도록 구체적으로 구성된 미리결정된 순서에 따라 상기 의료 이미지들을 프로세싱하기 위해 하나 이상의 이미지 프로세싱 엔진들을 인보크하는 단계 ― 상기 이미지 프로세싱 엔진들은 상기 의료 이미지들의 비정상 소견들을 검출하기 위한 그리고 상기 비정상 소견들을 설명하는 제1 결과를 생성하기 위한 것이고, 상기 이미지 프로세싱 엔진들은 복수의 엔티티들에 의해 작동되는 복수의 엔진 개발자들에 의해 제공됨 ―;
    제1 리뷰 시스템에 제2 세트의 의료 이미지들을 송신하는 단계 ― 상기 제2 세트의 의료 이미지들은 상기 제1 세트의 의료 이미지들의 서브세트이고, 상기 제2 세트의 의료 이미지들은 상기 이미지 프로세싱 엔진들에 의해 비정상으로 카테고리화됨 ―; 및
    상기 제1 리뷰 시스템으로부터 기인하는 제2 결과를 수신하는 것에 대한 응답으로, 상기 제1 결과 및 상기 제2 결과에 기반하여 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계를 포함하는,
    비-일시적 기계-판독가능 매체.
13. 제12 항에 있어서,
    상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계는,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계;
    상기 제1 결과와 상기 제2 결과가 서로 일치한다는 결정에 대한 응답으로, 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계; 및
    그렇지 않으면, 상기 이미지 프로세싱 엔진들의 동작들을 무효화하는 단계를 포함하는,
    비-일시적 기계-판독가능 매체.
14. 제12 항에 있어서,
    상기 방법은,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계; 및
    상기 제1 결과와 상기 제2 결과가 불일치한다는 결정에 대한 응답으로, 미리결정된 디바이스에 경고를 송신하는 단계를 더 포함하는,
    비-일시적 기계-판독가능 매체.
15. 제12 항에 있어서,
    상기 방법은,
    상기 제1 결과 및 상기 제2 결과를 임상 연구 시스템에 의해 수행된 제3 결과와 비교하는 단계 ― 상기 임상 연구 시스템은 임의의 비정상 이미지를 검출하도록 구성되고, 상기 제1 리뷰 시스템은 상기 임상 연구 시스템에 대한 피어 리뷰 시스템임 ―; 및
    상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 기반하여 상기 임상 연구 시스템의 비정상 소견들을 검증하는 단계를 더 포함하는,
    비-일시적 기계-판독가능 매체.
16. 제15 항에 있어서,
    상기 제1 결과, 상기 제2 결과 및 상기 제3 결과는 나머지 대응 결과들을 알지 않고 독립적으로 생성되는,
    비-일시적 기계-판독가능 매체.
17. 프로세서;
    상기 프로세서에 커플링되어, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장하는 메모리를 포함하며,
    상기 방법은,
    의료 데이터 소스로부터의 임상 연구와 연관된 제1 세트의 의료 이미지들을, 프로세서 및 메모리를 갖는 의료 이미지 프로세싱 서버에서 수신하는 단계,
    상기 의료 연구를 리뷰하도록 구체적으로 구성된 미리결정된 순서에 따라 상기 의료 이미지들을 프로세싱하기 위해 하나 이상의 이미지 프로세싱 엔진들을 인보크하는 단계 ― 상기 이미지 프로세싱 엔진들은 상기 의료 이미지들의 비정상 소견들을 검출하기 위한 그리고 상기 비정상 소견들을 설명하는 제1 결과를 생성하기 위한 것이고, 상기 이미지 프로세싱 엔진들은 복수의 엔티티들에 의해 작동되는 복수의 엔진 개발자들에 의해 제공됨 ―,
    제1 리뷰 시스템에 제2 세트의 의료 이미지들을 송신하는 단계 ― 상기 제2 세트의 의료 이미지들은 상기 제1 세트의 의료 이미지들의 서브세트이고, 상기 제2 세트의 의료 이미지들은 상기 이미지 프로세싱 엔진들에 의해 비정상으로 카테고리화됨 ―, 및
    상기 제1 리뷰 시스템으로부터 기인하는 제2 결과를 수신하는 것에 대한 응답으로, 상기 제1 결과 및 상기 제2 결과에 기반하여 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계를 포함하는,
    의료 이미지들을 프로세싱하기 위한 데이터 프로세싱 시스템.
18. 제17 항에 있어서,
    상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계는,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계;
    상기 제1 결과와 상기 제2 결과가 서로 일치한다는 결정에 대한 응답으로, 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계; 및
    그렇지 않으면, 상기 이미지 프로세싱 엔진들의 동작들을 무효화하는 단계를 포함하는,
    의료 이미지들을 프로세싱하기 위한 데이터 프로세싱 시스템.
19. 제17 항에 있어서,
    상기 방법은,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계; 및
    상기 제1 결과와 상기 제2 결과가 불일치한다는 결정에 대한 응답으로, 미리결정된 디바이스에 경고를 송신하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 데이터 프로세싱 시스템.
20. 제17 항에 있어서,
    상기 방법은,
    상기 제1 결과 및 상기 제2 결과를 임상 연구 시스템에 의해 수행된 제3 결과와 비교하는 단계 ― 상기 임상 연구 시스템은 임의의 비정상 이미지를 검출하도록 구성되고, 상기 제1 리뷰 시스템은 상기 임상 연구 시스템에 대한 피어 리뷰 시스템임 ―; 및
    상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 기반하여 상기 임상 연구 시스템의 비정상 소견들을 검증하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 데이터 프로세싱 시스템.
21. 의료 데이터 소스로부터의 임상 연구와 연관된 제1 세트의 의료 이미지들을, 프로세서 및 메모리를 갖는 의료 이미지 프로세싱 서버에서 수신하는 단계;
    제1 리뷰 시스템으로부터 기인하는 제1 결과를 수신하는 단계 ― 상기 제1 리뷰 시스템은 상기 제1 세트의 의료 이미지들을 리뷰했고 상기 제1 결과를 생성했음 ―;
    상기 의료 연구를 리뷰하여, 제2 결과를 생성하도록 구체적으로 구성된 미리결정된 순서에 따라 상기 의료 이미지들을 프로세싱하기 위해 하나 이상의 이미지 프로세싱 엔진들을 인보크하는 단계 ― 상기 이미지 프로세싱 엔진들은 복수의 엔티티들에 의해 작동되는 복수의 엔진 개발자들에 의해 제공됨 ―;
    상기 제1 결과와 상기 제2 결과 간의 차이를 검출하기 위해 상기 제1 결과와 상기 제2 결과를 비교하는 단계;
    제2 리뷰 시스템에 제2 세트의 의료 이미지들을 송신하는 단계 ― 상기 제2 세트의 의료 이미지들은 상기 제1 세트의 의료 이미지들과 동일하거나 상기 제1 세트의 의료 이미지들의 서브세트이고, 상기 제2 세트의 의료 이미지들은 상기 이미지 프로세싱 엔진들에 의해 제1 결과와 상이한 것으로 카테고리화됨 ―; 및
    상기 제2 리뷰 시스템으로부터 제3 결과를 수신하는 것에 대한 응답으로, 상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 기반하여 상기 이미지 프로세싱 엔진들의 동작을 검증하는 단계를 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
22. 제21 항에 있어서,
    상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 부분적으로 기반하여 상기 이미지 프로세싱 엔진들 중 적어도 하나의 이미지 프로세싱 엔진의 하나 이상의 프로세싱 알고리즘들을 수정하도록 상기 적어도 하나의 프로세싱 엔진에 대해 기계-학습 동작을 수행하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
23. 제21 항에 있어서,
    상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계는,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계;
    상기 제1 결과와 상기 제2 결과가 서로 일치한다는 결정에 대한 응답으로, 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계; 및
    그렇지 않으면, 상기 이미지 프로세싱 엔진들의 동작들을 무효화하는 단계를 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
24. 제21 항에 있어서,
    상기 방법은,
    상기 제1 결과가 상기 제2 결과와 일치하는지 여부를 결정하기 위해 상기 제1 결과를 상기 제2 결과와 비교하는 단계; 및
    상기 제1 결과와 상기 제2 결과가 불일치한다는 결정에 대한 응답으로, 미리결정된 디바이스에 경고를 송신하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
25. 제21 항에 있어서,
    상기 방법은,
    상기 제1 결과 및 상기 제2 결과를 임상 연구 시스템에 의해 수행된 제3 결과와 비교하는 단계 ― 상기 임상 연구 시스템은 임의의 비정상 이미지를 검출하도록 구성되고, 상기 제1 리뷰 시스템은 상기 임상 연구 시스템에 대한 피어 리뷰 시스템임 ―; 및
    상기 제1 결과, 상기 제2 결과 및 상기 제3 결과에 기반하여 상기 임상 연구 시스템의 비정상 소견들을 검증하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
26. 의료 데이터 소스로부터의 임상 연구와 연관된 하나 이상의 의료 이미지들을, 프로세서 및 메모리를 갖는 의료 이미지 프로세싱 서버에서 수신하는 단계;
    의료 분석 시스템으로부터 분석 보고를 수신하는 단계 ― 상기 분석 보고는 상기 의료 이미지들에 관한 의학적 소견을 설명하는 정보를 포함함 ―;
    상기 의료 이미지들에 대한 이미지 분석을 수행하여 상기 의료 이미지들로부터 제1 세트의 특징(feature)들을 추출하기 위해 하나 이상의 이미지 프로세싱 엔진들을 인보크하는 단계;
    상기 분석 보고로부터 제2 세트의 특징들을 추출하기 위해 상기 분석 보고를 파싱하는 단계;
    상기 제1 세트의 특징들과 상기 제2 세트의 특징들 간의 차이를 검출하기 위해 상기 제1 세트의 특징들과 상기 제2 세트의 특징들을 비교하는 단계; 및
    상기 제1 세트의 특징들과 상기 제2 세트의 특징들 간의 차이를 검출하는 것에 대한 응답으로, 상기 제1 세트의 특징들과 상기 제2 세트의 특징들 간의 모순이 있음을 표시하는 경고 메시지를 미리결정된 목적지로 송신하는 단계를 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
27. 제26 항에 있어서,
    상기 제1 세트의 특징들과 상기 제2 세트의 특징들 간의 모순을 검출하는 것에 대한 응답으로, 상기 의료 이미지들에 대한 피어 리뷰를 수행하도록 피어 리뷰 시스템에 요청하기 위해 상기 피어 리뷰 시스템에 상기 의료 이미지들을 송신하는 단계; 및
    상기 피어 리뷰 시스템으로부터 리뷰 결과를 수신하는 것에 대한 응답으로, 상기 리뷰 결과에 기반하여 상기 이미지 프로세싱 엔진들의 동작들을 검증하는 단계를 더 포함하는,
    의료 이미지들을 프로세싱하기 위한 컴퓨터-구현 방법.
    

Images