KR20240032031A

KR20240032031A - 블러 강건성을 제공하도록 전자 이미지를 처리하는 시스템 및 방법

Info

Publication number: KR20240032031A
Application number: KR1020247001518A
Authority: KR
Inventors: 로드리고 세바요스 렌티니; 크리스토퍼 카난
Original assignee: 페이지.에이아이, 인크.
Priority date: 2021-07-06
Filing date: 2022-04-29
Publication date: 2024-03-08
Also published as: AU2022309204A1; EP4367629A1; US20230010654A1; WO2023282960A1; CN117651968A; CA3224288A1

Abstract

전자 의료 이미지들을 처리하기 위한 컴퓨터 구현 방법은 의료 표본의 복수의 전자 의료 이미지들을 수신하는 단계를 포함한다. 복수의 전자 의료 이미지들 각각은 복수의 타일들로 분할될 수 있다. 매칭 타일들의 복수의 세트들이 결정될 수 있으며, 각 세트 내의 타일들은 의료 표본의 복수의 지역들 중 주어진 지역에 대응한다. 매칭 타일들의 복수의 세트들의 각 타일에 대해, 타일의 이미지 블러의 레벨에 대응하는 블러 스코어가 결정될 수 있다. 매칭 타일들의 각 세트에 대해, 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 타일이 결정될 수 있다. 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함하는, 복합 전자 의료 이미지가 결정되고, 디스플레이를 위해 제공될 수 있다.

Description

블러 강건성을 제공하도록 전자 이미지를 처리하는 시스템 및 방법

관련 출원(들)

본 출원은 2021년 7월 6일자로 출원된 미국 가출원 제63/203,033 호에 대한 우선권을 주장하며, 이의 전문이 여기에 참조로 통합된다.

기술분야

본 개시의 다양한 실시예들은 일반적으로 이미지 처리 방법들에 관한 것이다. 보다 구체적으로, 본 개시의 특정 실시예들은 블러량을 감소시키기 위해 이미지의 다수의 스캔들을 사용하여 이미지들을 처리하기 위한 시스템들 및 방법들에 관한 것이다.

이미지 처리 분야 내에서, 이미지들은 적절한 분석이나 진단이 이루어질 수 있도록 초점이 맞고(in focus) 선명해야 할 수 있다. 특히, 의료 이미지(예를 들어, 병리학적 전체 슬라이드 이미지(whole slide image, WSI)들, 컴퓨터 단층 촬영(computerized tomography, CT) 스캔 등)를 정확하게 진단하거나 분석하기 위해서는, 선명한 의료 이미지가 필요할 수 있다. 이미지 블러를 포함하는 이미지들은 분석을 수행하는 개인이나 컴퓨터 시스템들에 문제를 일으킬 수 있다. 특히, 블러량이 많거나 이미지 상에 블러가 있는 위치들이 많을수록, 진단 및 치료를 결정하는 데 이미지는 더 많은 문제를 일으킬 수 있다. 상당량의 블러가 진단을 불가능하게 할 수 있지만, 블러는 이미지의 작은 지역(region)에만 국한될 수 있다. 이미지의 작은 지역들만 블러를 포함하는 상황들에서, 그 이미지는 블러 지역이 복구(repair)된다면 진단에 적합할 수 있다.

본 명세서에서 제공된 배경기술 설명은 일반적으로 본 개시의 맥락을 제시하기 위한 것이다. 본 명세서에서 달리 나타내어지지 않는 한, 본 섹션에서 설명된 소재가 본 섹션에 포함된 것에 의해, 본 출원의 청구범위에 대한 종래기술인 것은 아니고, 종래기술 또는 종래기술이 시사하는 것으로 인정되는 것도 아니다.

본 개시의 특정 양태들에 따르면, 전자 의료 이미지들을 처리하기 위한 시스템들 및 방법들이 개시되며, 본 방법은: 의료 표본의 복수의 전자 의료 이미지들을 수신하는 단계; 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하는 단계 ― 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―; 매칭 타일들의 복수의 세트들을 결정하는 단계 ― 각 세트 내의 타일들은 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―; 매칭 타일들의 복수의 세트들의 각 타일에 대해, 타일의 이미지 블러의 레벨에 대응하는 블러 스코어(blur score)를 결정하는 단계; 매칭 타일들의 각 세트에 대해, 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 타일을 결정하는 단계; 복합 전자 의료 이미지를 결정하는 단계 ― 복합 전자 의료 이미지는 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 및 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 단계를 포함한다.

전자 디지털 의료 이미지들을 처리하기 위한 시스템으로서, 본 시스템은: 명령어들을 저장하는 적어도 하나의 메모리; 및 명령어들을 실행하여 동작들을 수행하도록 구성된 적어도 하나의 프로세서를 포함하며, 동작들은: 의료 표본의 복수의 전자 의료 이미지들을 수신하고; 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하고 ― 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―; 매칭 타일들의 복수의 세트들을 결정하고 ― 각 세트 내의 타일들은 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―; 매칭 타일들의 복수의 세트들의 각 타일에 대해, 타일의 이미지 블러의 레벨에 대응하는 블러 스코어를 결정하고; 매칭 타일들의 각 세트에 대해, 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 타일을 결정하고; 복합 전자 의료 이미지를 결정하며 ― 복합 전자 의료 이미지는 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 그리고 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 동작을 포함한다.

프로세서에 의해 실행될 때, 전자 디지털 의료 이미지들을 처리하는 동작들을 수행하는 명령어들을 저장하는 비일시적인 컴퓨터 판독가능 매체로서, 동작들은: 의료 표본의 복수의 전자 의료 이미지들을 수신하고; 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하고 ― 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―; 매칭 타일들의 복수의 세트들을 결정하고 ― 각 세트 내의 타일들은 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―; 매칭 타일들의 복수의 세트들의 각 타일에 대해, 타일의 이미지 블러의 레벨에 대응하는 블러 스코어를 결정하고; 매칭 타일들의 각 세트에 대해, 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 타일을 결정하고; 복합 전자 의료 이미지를 결정하며 ― 복합 전자 의료 이미지는 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 그리고 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 동작을 포함한다.

전술한 포괄적인 설명과 후술하는 상세한 설명 둘 모두는 단지 예시적이고 설명적인 것이며, 주장되는 바에 따라, 개시된 실시예들을 제한하지 않는다는 것을 이해해야 한다.

본 명세서에 통합되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하고, 상세한 설명과 함께, 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1은 다양한 정도의 블러를 갖는 세 개의 이미지들의 예시이다.
도 2a는 본 명세서에서 제시되는 기술에 따른, 낮은 블러 이미지를 생성하도록 이미지들을 처리하기 위한 시스템 및 네트워크의 예시적인 블록도를 예시한다.
도 2b는 본 명세서에서 제시되는 기술에 따른, 조직 관찰 플랫폼의 예시적인 블록도를 예시한다.
도 2c는 본 명세서에서 제시되는 기술에 따른, 슬라이드 분석 툴의 예시적인 블록도를 예시한다.
도 3은 본 명세서에서 제시되는 기술에 따른, 하나 이상의 이미지를 디블러링(de-blurring)하는 프로세스를 예시한다.
도 4는 본 명세서에서 제시되는 기술에 따른, 이미지를 어떻게 디블러링하는지에 대한 방법들을 예시하는 흐름도이다.
도 5는 어떠한 블러도 없는 이미지를 생성하기 위해 동일한 이미지로부터 마이너한 블러링을 갖는 다수의 스캔들을 조합하는 프로세스를 예시한다.
도 6은 본 명세서에서 제시되는 기술에 따른, 이미지를 디블러링하기 위한 알고리즘을 어떻게 트레이닝하는지를 예시하는 흐름도를 예시한다.
도 7은 본 명세서에서 제시되는 기술에 따른, 디블러링 알고리즘을 트레이닝하는 프로세스를 예시한다.
도 8은 하나 이상의 실시예에 따른, 본 명세서에서 제시되는 기술들을 실행할 수 있는 컴퓨팅 디바이스의 일 예를 도시한다.
도 9는 하나 이상의 실시예에 따른, 기계 학습 모델을 트레이닝하기 위한 흐름도를 도시한다.

본 개시의 소정 양태들에 따르면, 선명성이 증가된/블러가 없는 새로운 이미지를 생성하기 위해, 단일 표본의 다수의 이미지들을 편집/조합하기 위한 시스템/프로세스를 제공하기 위한 방법들 및 시스템들이 개시된다. 전통적으로, 의료 이미지에 블러가 있을 때, 의료 표본의 재스캔이 필요했을 것이다. 의료 표본의 재스캔은 요구하지 않으면서, 의료 이미지들을 바로잡고 블러량이 최소인 의료 이미지를 제공할 필요가 있다. 이에 따라, 의료 표본의 이미지들을 디블러링하기 위해서는 이미지 처리 및 기계 학습의 개선이 필요하다.

아래에서 더 상세히 논의될 바와 같이, 다양한 실시예들에서, 동일한 의료 표본의 다수의 이미지들을 조합하기 위한 이미지 처리 기술들 및/또는 기계 학습을 활용하여 가장 높은 선명도 레벨(예를 들어, 가장 낮은 블러 레벨)로 업데이트된 의료 이미지를 출력하기 위한 시스템들 및 방법들이 설명된다. 이를 최적화된 의료 이미지로 지칭할 수 있다.

또한, 다양한 실시예들에서, 기계 학습을 사용하여 블러 이미지 내에서 블러를 감소시키기 위한 시스템들 및 방법들이 설명된다. 예를 들어, 블러 이미지들의 섹션들 내에서 블러 픽셀들을 어떻게 복구하는지를 학습하기 위해 지도 학습, 반(semi) 지도 학습, 또는 지도 학습을 통해, 하나 이상의 디블러링 AI 모델을 트레이닝 함으로써, 트레이닝된 디블러링 AI 모델이 원래 블러 섹션들을 포함하는 이미지들의 보다 높은 해상도 버전을 생성하기 위해 사용될 수 있다.

이제 본 개시의 예시적인 실시예들이 상세히 참조될 것이며, 이의 예들은 첨부 도면들에 예시되어 있다. 가능한 한, 동일한 참조 번호들은 동일하거나 유사한 부분들을 지칭하기 위해 도면들 전체에 걸쳐 사용될 것이다.

본 명세서에서 개시되는 시스템들, 디바이스들, 및 방법들은 예들을 통해 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에서 논의되는 예들은 단지 예들이고, 본 명세서에서 설명되는 장치들, 디바이스들, 시스템들, 및 방법들에 대한 설명을 돕기 위해 제공된다. 도면들에 도시되거나 아래에서 논의되는 피처들 또는 구성요소들 중 어느 것도, 특별히 필수적인 것으로 지정되지 않는 한, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현예에 대해 필수적인 것으로 취해지지 않아야 한다.

또한, 설명되는 임의의 방법들에 대해, 그 방법이 흐름도와 함께 설명되는지 여부에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행 시 수행되는 단계들의 임의의 명시적 또는 암시적 순서는 이러한 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하지 않는 것이 아니라, 상이한 순서로 또는 병렬로 수행될 수 있다는 것을 이해해야 한다.

본 명세서에서 사용될 때, "예시적인"이라는 용어는 "이상적인"이 아니라, "예"의 의미로 사용된다. 또한, 본 명세서에서 단수 표현은 언급되는 항목들의 수량의 제한을 나타내는 것이 아니라, 하나 이상의 존재를 나타낸다.

본 명세서에서 제시되는 기술들은 표본 및/또는 대상체를 재스캔할 필요 없이 초점이 맞는 것으로 간주될 수 있는 의료 이미지의 비율을 교정 및/또는 증가시키기 위해 컴퓨터 비전 및/또는 기계 학습을 사용하여 국부적 블러 지역들을 패칭하고/하거나 복구하는 것을 설명한다.

본 명세서에서 제시되는 기술들은 동일한 이미지의 다수의 스캔들을 사용하고 이미지 처리 기술들 및/또는 기계 학습을 사용하여 이들을 하나의 코히어런트, 낮은 블러 이미지로 조합하는 것 및/또는 생성 방법들을 사용하여 블러를 메우는 것에 관한 것일 수 있다.

본 명세서에서 사용될 때, "기계 학습 모델"은 일반적으로 입력을 수신하고, 입력에 가중치, 바이어스, 분류, 또는 분석 중 하나 이상을 적용하여 출력을 생성하도록 구성된 명령어들, 데이터, 및/또는 모델을 포괄한다. 출력은 예를 들어, 입력의 분류, 입력에 기초한 분석, 입력과 연관된 디자인, 프로세스, 예측, 또는 추천, 또는 임의의 다른 적합한 타입의 출력을 포함할 수 있다. 기계 학습 모델은 일반적으로 모델의 하나 이상의 양태, 예를 들어, 가중치, 바이어스, 분류 또는 클러스터를 형성하기 위한 기준 등을 수립, 조정, 또는 수정하기 위해 모델에 공급되는 트레이닝 데이터, 예를 들어, 경험 데이터 및/또는 입력 데이터의 샘플들을 사용하여 트레이닝된다. 기계 학습 모델의 양태들은 입력에 대해, 선형적으로, 병렬적으로, 네트워크(예를 들어, 뉴럴 네트워크)를 통해, 또는 임의의 적합한 구성을 통해 동작할 수 있다.

기계 학습 모델의 실행은 선형 회귀, 로지스틱 회귀, 랜덤 포레스트, 그래디언트 부스트 머신(gradient boosted machine, GBM), 심층 학습, 및/또는 심층 뉴럴 네트워크와 같은 하나 이상의 기계 학습 기술의 배치를 포함할 수 있다. 지도 및/또는 비지도 트레이닝이 채용될 수 있다. 예를 들어, 지도 학습은 예를 들어, 실측 자료(ground truth)로서 트레이닝 데이터 및 트레이닝 데이터에 대응하는 라벨들을 제공하는 것을 포함할 수 있다. 비지도 접근법들은 클러스터링, 분류 등을 포함할 수 있다. 지도 또는 비지도일 수 있는, K 평균 클러스터링 또는 K 최근접 이웃이 또한 사용될 수 있다. K 최근접 이웃과 비지도 클러스터 기술의 조합들이 또한 사용될 수 있다. 임의의 적합한 타입의 트레이닝, 예를 들어, 스토캐스틱, 그래디언트 부스트, 랜덤 시드, 재귀, 에포크 또는 뱃치(batch) 기반 등이 사용될 수 있다.

인체 내부의 의료 이미지들을 생성하여 조직의 질병 상태를 진단 또는 분석하기 위해 의료 이미지 스캐너들이 활용될 수 있다. 본 명세서에서 설명되는 프로세스 및 기술들은 의료 이미지들과 관련된 소정 이미지 포커싱 이슈들을 해결하기 위해 활용될 수 있다. 예를 들어, 조직의 WSI들에 대한 문제는 WSI가 다수의 초점면들을 가질 수 있다는 것이다. WSI가 다수의 초점면들을 가질 때, 다수의 초점면들 중 하나 이상에 중요한 진단 정보가 위치될 수 있다. 모든 중요한 진단 정보는 "초점이 맞을" 필요가 있을 수 있다. WSI의 모든 또는 다수의 스캐닝된 영역(area)들이 초점이 맞는 것을 보장하는 것은 어려울 수 있다. 특히, 이는 WSI 스캐너들이 스캔 속도와 이미지 품질의 균형을 맞출 필요가 있을 수 있기 때문에 어려울 수 있는데, 이는 병원이나 기타 기관이 하루에 스캔할 수백 또는 수천 개의 슬라이드를 가질 수 있기 때문이다. 이러한 한계로 인해, 결과적인 WSI는 최상의 시나리오에서 어느 정도의 블러량을 가질 수 있다. 이는 스캐너에서 이루어지는 절충이 이미지의 어느 정도 작지만 무시할 수 없는 비율이 초점을 벗어나게 할 수 있다는 것을 의미할 수 있다. 대부분의 의료 이미지 기술들에서 유사한 이슈들이 발생할 수 있으며, 여기서 환자 움직임, 열악한 캘리브레이션 및/또는 오정렬이 이미지에서 초점이 벗어난 지역들을 초래할 수 있다. 예를 들어, (아래에서 더 상세히 설명될) 도 1이 의료 이미징 동안 발생할 수 있는 다양한 정도의 블러를 갖는 WSI들의 부분들을 도시한다.

전형적인 의료 진단 작업 흐름에서, 이미지에서의 초점이 벗어난 지역들은 이미지가 수용가능한 품질을 갖지 않을 때, 또는 특히 의심스러운 지역이 완전히 초점이 맞지 않을 때 표본의 재스캔이 수행될 것을 필요로 할 수 있다. 이러한 이슈는 블러가 컴퓨터 비전 알고리즘들의 검출 성능에 영향을 미칠 수 있음에 따라, 인공 지능 또는 기계 학습을 활용하여 이미지의 분석을 수행할 때 특히 관련이 있을 수 있다. 블러를 검출 및/또는 복구할 수 있는 능력이 없으면, 의사의 진단이 정확하다는 것을 검증하기 위해 배경에서 AI 시스템이 실행되는 품질 관리(quality control, QC)과 같은 적용예들, 또는 의사가 비양성(non-benign) 이미지들만을 보는 트리아제(triage) 적용예들은 비효율적이고 배치하는 것에 잠재적으로 안정적이지 못할 수 있다.

이러한 이슈에 대한 한 가지 해결책은 이미지가 진단에 불충분한 품질을 가질 때를 검출하는 QC 파이프라인을 갖고, 재스캔을 지시하는 것일 수 있다(예를 들어, 이를테면 US20200381104A1에서 설명된 QC 방법들, 전문이 참조로 통합됨). 하지만, 이는 의료 이미지를 캡처하는 데 필요한 절차의 일부 또는 전부를 잠재적으로 반복하는 것을 수반하므로 비용이 많이 든다.

본 명세서에서 제시되는 기술들은 재스캔을 필요로 하는 대안적인 해결책을 제공할 수 있다. 블러가 (예를 들어, 도 1의 지역적 및 국부적 패널들에 도시된 바와 같이) 특정 이미지 지역들에 국한되고 제한될 때, 병리학자/의사/연구진 및/또는 컴퓨터/AI 시스템에 의해 이미지가 검토될 수 있도록 초점이 벗어난 이미지 지역들을 복구 및/또는 교정하기 위해 본 명세서에서 설명되는 시스템의 하나 이상의 실시예가 사용될 수 있다.

도 1은 다양한 정도의 블러를 갖는 세 개의 WSI들을 도시한다. 먼저, WSI(101)는 "전역적 블러"를 갖는 WSI를 도시한다. 전역적 블러는 전체 WSI에 블러가 있거나 전체 WSI의 초점이 벗어나는 것을 의미할 수 있다. WSI(102)는 WSI 상의 지역적 블러를 도시한다. 지역적 블러는 블러가 특정 슬라이드의 대략 2% 내지 50%에 영향을 미치는 것을 의미할 수 있다. 예를 들어, 슬라이드의 40%에 블러를 갖는 WSI를 지역적 블러를 갖는 것으로 지칭할 수 있다. WSI(103)는 WSI 상의 국부적 블러를 도시한다. 국부적 블러는 WSI의 작은 지역만 블러링된 것을 의미할 수 있다. 예를 들어, 작은 영역은 총 이미지의 대략 2% 이하일 수 있다.

WSI가 다양한 정도의 블러를 가질 수 있기 때문에, 블러(예를 들어, 초점이 벗어난 이슈들)를 교정하기 위해 디지털 후처리를 수행할 수 있는 시스템은 진단 이미징 준비 파이프라인의 가치 있는 부분이 될 수 있다.

본 명세서에서 제시되는 기술들은 컴퓨터 비전 및/또는 기계 학습 기술들을 사용하여 의료 이미지에 존재하는 초점이 벗어난/블러 이슈들을 복구할 수 있다. 블러가 있는 이미지는 정보가 모자라는 위치를 갖는 것으로 간주될 수 있다. 그 위치는 초점을 벗어날 수 있고/있거나, 보케(bokeh)를 가질 수 있고/있거나, 피사계 심도 문제들을 가질 수 있고/있거나, 부정확한 초점을 가질 수 있고/있거나, 그 외 선명성이 부족할 수 있다. 이미지는 아티팩트, 방해, 부분 방해, 불충분하거나 부적절한 명암을 가질 수 있다. 단순 이미지 처리 기술들, 예를 들어, "첨예하지 않은" 마스크를 이용한 첨예화는 적은 양의 국한된 블러를 복구하기에도 부적절할 수 있다. 이에 따라, 본 명세서에서 제시되는 기술들은 동일한 조직의 다수의 이미지들에 걸친 정보를 사용함으로써, 그리고/또는 보다 높은 해상도의 이미지 타일들을 생성하기 위해 생성 기계 학습 알고리즘들을 사용함으로써 이미지를 복구할 수 있다.

상기한 기술들은 시스템이 매우 특화된 타입의 이미지, 예를 들어, 특정 스캐너에서 스캔된 헤마톡실린 & 에오신(hematoxylin & eosin, H&E)으로 염색된 WSI들에 대해 트레이닝될 수 있기 때문에 임상 환경에서 잘 작동할 수 있다. 입력 공간에서의 이러한 일관성은 임의의 이미지를 첨예화하는 보다 일반적인 작업과 비교할 때 이러한 방법의 결과들을 개선할 기대될 수 있다.

도 2a는 본 개시의 예시적인 실시예에 따른, 기계 학습을 사용하여, 낮은 블러 이미지를 생성하도록 이미지들을 처리하기 위한 시스템 및 네트워크의 블록도를 예시한다.

구체적으로, 도 2a는 병원, 실험실, 및/또는 의원 등에서의 서버들에 연결될 수 있는 전자 네트워크(220)를 예시한다. 예를 들어, 의사 서버들(221), 병원 서버(222), 임상 시험 서버들(223), 연구실 서버들(224), 및/또는 실험실 정보 시스템들(225) 등은 각각 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(220)에 각각 연결될 수 있다. 본 개시의 예시적인 실시예에 따르면, 전자 네트워크(220)는 본 개시의 예시적인 실시예에 따라, 디지털 병리학적 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하고, 기계 학습을 사용하여 표본을 분류하기 위해 슬라이드 분석 툴(201)을 포함하는 조직 관찰 플랫폼(200)을 구현하도록 구성된 처리 디바이스를 포함할 수 있는 서버 시스템(210)에 또한 연결될 수 있다.

의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225)은 하나 이상의 환자의 세포학적 표본(들), 조직병리학적 표본(들), 세포학적 표본(들)의 슬라이드(들), 조직병리학적 표본(들)의 슬라이드(들)의 디지털화된 이미지, 또는 이들의 임의의 조합의 이미지들을 생성하거나 또는 달리 획득할 수 있다. 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225)은 연령, 병력, 암 치료 이력, 가족력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 또한 획득할 수 있다. 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225)은 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 전자 네트워크(220)를 통해 서버 시스템(210)에 송신할 수 있다. 서버 시스템들(210)은 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225) 중 적어도 하나로부터 수신되는 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(209)를 포함할 수 있다. 서버 시스템들(210)은 하나 이상의 저장 디바이스(209)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 또한 포함할 수 있다. 서버 시스템들(210)은 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은 일 실시예에 따른, 조직 관찰 플랫폼(200)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시(또는 본 개시의 시스템 및 방법의 부분들)은 로컬 처리 디바이스(예를 들어, 랩탑) 상에서 수행될 수 있다.

의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 사용되는 시스템들을 지칭한다. 병원 환경에서, 조직 타입 정보가 실험실 정보 시스템들(225) 중 하나에 저장될 수 있다. 하지만, 정확한 조직 분류 정보가 항상 이미지 내용과 쌍을 이루는 것은 아니다. 또한, 실험실 정보 시스템이 디지털 병리학적 이미지들에 대한 표본 타입에 액세스하기 위해 사용되더라도, 이러한 라벨은 실험실 정보 시스템의 많은 구성요소들이 수동으로 입력될 수 있는 면으로 인해 부정확할 수 있어, 큰 오류를 남길 수 있다. 본 개시의 예시적인 실시예에 따르면, 표본 타입은 실험실 정보 시스템(225)에 액세스할 필요 없이 식별될 수 있거나, 가능하게는 실험실 정보 시스템들(225)을 교정하기 위해 식별될 수 있다. 예를 들어, 실험실 정보 시스템에 저장된 대응하는 표본 타입 라벨 없이 이미지 내용에 대한 익명으로 된 액세스가 서드 파티에 주어질 수 있다. 또한, 민감한 내용으로 인해 실험실 정보 시스템 내용에 대한 액세스가 제한될 수 있다.

도 2b는 기계 학습을 사용하여, 디지털 병리학적 이미지(들)에 관한 이미지 속성 정보의 표본 속성을 결정하기 위한 조직 관찰 플랫폼(200)의 예시적인 블록도를 예시한다. 예를 들어, 조직 관찰 플랫폼(200)은 슬라이드 분석 툴(201), 데이터 수집 툴(202), 슬라이드 수용 툴(203), 슬라이드 스캐너(204), 슬라이드 매니저(205), 저장소(206), 및 관찰 애플리케이션 툴(208)을 포함할 수 있다.

슬라이드 분석 툴(201)은 아래에서 설명될 바와 같이, 조직 표본과 연관된 디지털 이미지들을 처리하기 위한 프로세스 및 시스템을 지칭하고, 예시적인 실시예에 따라, 기계 학습을 사용하여 슬라이드를 분석한다.

데이터 수집 툴(202)은 예시적인 실시예에 따라, 디지털 병리학적 이미지들을 분류 및 처리하는 데 사용되는 다양한 툴들, 모듈들, 구성요소들, 및 디바이스들로의 디지털 병리학적 이미지들의 전송을 가능하게 하기 위한 프로세스 및 시스템을 지칭한다.

슬라이드 수용 툴(203)은 예시적인 실시예에 따라, 병리학적 이미지들을 스캔하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(204)로 스캔될 수 있고, 슬라이드 매니저(205)는 슬라이드들 상의 이미지들을 디지털화된 병리학적 이미지들로 처리하고 디지털화된 이미지들을 저장소(206)에 저장할 수 있다.

관찰 애플리케이션 툴(208)은 예시적인 실시예에 따라, 디지털 병리학적 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스 및/또는 웹 브라우저 등)을 통해 제공될 수 있다.

슬라이드 분석 툴(201) 및 이의 구성요소들 각각은 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 전자 네트워크(220)를 통해 서버 시스템들(210), 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225)에 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(210)은 슬라이드 분석 툴(201), 데이터 수집 툴(202), 슬라이드 수용 툴(203), 슬라이드 스캐너(204), 슬라이드 매니저(205), 및 관찰 애플리케이션 툴(208) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(209)를 포함할 수 있다. 서버 시스템들(210)은 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 또한 포함할 수 있다. 서버 시스템들(210)은 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시(또는 본 개시의 시스템 및 방법의 부분들)은 로컬 처리 디바이스(예를 들어, 랩탑) 상에서 수행될 수 있다.

상기한 디바이스들, 툴들 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(220)에 연결될 수 있는 디바이스 상에 위치할 수 있다.

도 2c는 본 개시의 예시적인 실시예에 따른, 슬라이드 분석 툴(201)의 예시적인 블록도를 예시한다. 슬라이드 분석 툴은 트레이닝 이미지 플랫폼(231) 및/또는 타겟 이미지 플랫폼(235)을 포함할 수 있다.

트레이닝 이미지 플랫폼(231)은 일 실시예에 따르면, 기계 학습 시스템을 트레이닝하여 디지털 병리학적 이미지들을 효과적으로 분석 및 분류하는 데 사용되는 트레이닝 이미지들을 생성 또는 수신할 수 있다. 예를 들어, 트레이닝 이미지들은 서버 시스템들(210), 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 트레이닝에 사용되는 이미지들은 실제 소스들(예를 들어, 인간, 동물 등)로부터 나올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 비롯될 수 있다. 디지털 병리학적 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은(그러나 이에 제한되지 않음) 다양한 염색제로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로 CT와 같은 3D 이미징 디바이스로부터의 디지털화된 이미지 샘플들을 포함할 수 있다.

트레이닝 이미지 수집부(232)는 인체 조직의 이미지들 및 그래픽으로 렌더링된 이미지들 중 어느 하나 또는 둘 다에 대응하는 하나 이상의 트레이닝 이미지를 포함하는 데이터 세트를 생성하거나 수신할 수 있다. 예를 들어, 트레이닝 이미지들은 서버 시스템들(210), 의사 서버들(221), 및/또는 실험실 정보 시스템들(225) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 이러한 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 블러 추출기 모듈(233)은 디지털 병리학적 이미지의 사용가능성에 큰 영향을 미칠 수 있는 트레이닝 이미지들 내에서의 블러를 식별하는 것과 관련된 트레이닝 데이터를 수집할 수 있다. 예를 들어, 블러 추출기 모듈(233)은 본 명세서에서 설명된 기계 학습 기술들에 대한 트레이닝을 제공하도록 돕기 위해 전체 이미지에 대한 정보, 예를 들어, 표본 타입, 표본의 전체 픔질, 유리 병리학적 슬라이드 자체 또는 조직 모폴러지 특성의 전반적인 품질, 이미지 선명도, 슬라이드 내에 위치된 블러의 레벨을 사용할 수 있다. 슬라이드 배경 모듈(234)은 조직의 이미지들을 분석하고, 디지털 병리 이미지 내의 배경을 결정할 수 있다. 조직 세그먼트들이 간과되지 않도록 하기 위해 디지털 병리학적 슬라이드 내의 배경을 식별하는 것이 유용하다.

일 실시예에 따르면, 타겟 이미지 플랫폼(235)은 타겟 이미지 수용 모듈(236), 블러 식별 모듈(237), 및 출력 인터페이스(238)를 포함할 수 있다. 타겟 이미지 플랫폼(235)은 타겟 이미지를 수신하고, 타겟 표본의 특성을 결정하기 위한 기계 학습 모델을 수신된 타겟 이미지에 적용할 수 있다. 예를 들어, 타겟 이미지는 서버 시스템들(210), 의사 서버들(221), 병원 서버들(222), 임상 시험 서버들(223), 연구실 서버들(224) 및/또는 실험실 정보 시스템들(225) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 타겟 이미지 수용 모듈(236)은 타겟 표본에 대응하는 타겟 이미지를 수신할 수 있다. 블러 식별 모듈(237)은 기계 학습 모델을 WSI에 적용하여 WSI의 블러 스코어를 결정할 수 있다. 예를 들어, 블러 스코어 모델(237)은 기계 학습 모델을 적용하여 WSI를 디블러링하고; WSI들의 블러 스코어를 결정하고; 의료 이미지들의 섹션들/타일들의 픽셀별 분류를 수행하며; 의료 이미지들의 타일들/섹션들을 조합할 수 있다.

출력 인터페이스(238)는 타겟 이미지 및 타겟 표본 대한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하기 위해 사용될 수 있다.

도 3은 방법(400)에서 더 상세히 설명될 바와 같이, 하나 이상의 디지털 이미지의 세트 상의 블러를 복구하기 위한 프로세스(300)를 예시한다. 프로세스(300)는 스캐닝 및/또는 획득 프로세스(304)에 입력되는 표본 및/또는 이미지(302)를 포함할 수 있다. 스캐닝 및/또는 획득 프로세스는 하나 이상의 디지털 이미지(306)를 출력할 수 있다. 그런 다음, 하나 이상의 디지털 이미지(306)는 아래 방법(400)의 단계들 402-414에서 더 상세히 설명되는 후처리 디블러링 절차(308)에 입력될 수 있으며, 이는 하나 이상의 수정된 디지털 이미지(310)를 출력한다. 후처리 디블러링 절차(308)는 예시적인 방법(400)에서 더 상세히 설명될 수 있다. 범례(320)는 프로세스에서 각각 어떤 형태를 취할 수 있는지를 나타낼 수 있다.

도 4는 본 명세서의 하나 이상의 실시예에 따른, 이미지를 어떻게 처리하는지(예를 들어 이미지를 어떻게 디블러링하는지)에 대한 방법들을 예시하는 흐름도이다. 예시적인 방법(400)(예를 들어, 단계들 402-414)은 슬라이드 분석 툴(201)에 의해 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 따라 수행될 수 있다. 대안적으로, 방법(400)은 아래에서 더 상세히 설명되는 디바이스(800)와 같은 이미지 입력들을 수신할 수 있는 임의의 컴퓨터 프로세스 시스템에 의해 수행될 수 있다.

단계 402에서, 슬라이드 분석 툴(201)(이하, 일반적으로 "시스템"으로 지칭됨)은 의료 표본(예를 들어, 조직 표본)의 복수의 전자 의료 이미지들을 수신할 수 있다. 일 실시예에서, 의료 이미지들은 동일한 관점으로부터의 이미지들일 수 있다. 다른 실시예에서, 의료 표본의 이미지들은 상이한 관점들로부터의 이미지들일 수 있다. 다른 실시예에서, 본 시스템은 의료 표본의 단일 의료 이미지만을 수신할 수 있다. 의료 이미지들은 전자 저장소(예를 들어, 클라우드 저장소, 하드 드라이브, RAM 등) 상에 저장될 수 있다. 단계 402에서 수신된 의료 이미지들은 도 3으로부터의 디지털 이미지들(306)과 동등할 수 있다.

단계 402에서, 본 시스템은 단일 의료 표본의 이미지들을 수신할 수 있다. 대안적으로, 본 시스템은 복수의 의료 표본 각각에 대한 하나 이상의 이미지를 수신할 수 있다. 본 시스템이 하나보다 많은 표본의 이미지들을 수신한다면, 본 시스템은 어느 의료 표본을 나타내는지에 기초하여 각 이미지를 마킹하고 기록할 수 있다.

단계 404에서, 본 시스템은 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할할 수/나눌 수 있으며, 복수의 타일들의 각 타일은 미리 결정된 크기를 갖는다. 복수의 타일들은 전자 이미지들로서 기능할 수 있다. 타일들은 M x M 크기일 수 있다. 또한, 타일의 크기는 의료 이미지가 처리된 배율에 의존적일 수 있다. 이는 보다 낮은 배율에서, M × M 픽셀들의 타일이 보다 큰 배율에서의 M × M 타일보다 더 큰 면적을 나타낼 수 있음을 의미할 수 있다. 일 실시예에서, 20배의 스캔 배율에서, 타일은 224 × 224 픽셀과 같은 미리 결정된 크기일 수 있다. . 다른 실시예에서, 사용자는 다양한 배율에서의 타일 크기들에 대한 다양한 크기들로부터 선택할 수 있다. 단계 402로부터 입력된 모든 이미지들이 타일들로 분할되면, 본 시스템은 의료 이미지들의 어떤 타일들이 "배경 타일"인지를 검출할 수 있다. 배경 타일들은 복수의 픽셀들이 의료 이미지를 도시하지 않는 타일들을 지칭할 수 있다. 예를 들어, 픽셀들은 의료 표본이 위치된 표면을 가질 수 있다. 일 실시예에서, 본 시스템은 Otsu 방법을 활용함으로써 타일들이 배경인지 여부를 결정할 수 있다. 배경은 Otsu 방법 또는 기타 다른 방식을 사용하여 검출될 수 있다. 대안적으로, 본 시스템은 배경으로부터 전경을 분리할 수 있는 임의의 다른 방법, 이를테면 최대 엔트로피 임계 방법을 사용할 수 있다. 배경 타일들은 본 시스템에 의해 라벨링되거나 마킹될 수 있다. 본 시스템은 배경 슬라이드에들 대한 추가 분석을 수행하지 않을 수 있고, 단계들 406-412는 의료 표본의 타일들만을 지칭할 수 있다.

단계 406에서, 본 시스템은 매칭 타일들의 복수의 세트들을 결정할 수 있으며, 각 세트 내의 타일들은 의료 표본의 복수의 지역들 중 주어진 지역에 대응한다. 본 시스템은 먼저 특정 의료 표본에 대해 얼만큼의 전자 이미지(A)가 있는지에 유의할 수 있다. 다음으로, 본 시스템은 의료 표본에 대한 복수의 세트들을 결정할 수 있다. 각 세트는 각 의료 이미지에 대한 타일에 대응하는 A개의 타일을 가질 수 있다. 세트들의 개수는 각 의료 표본에 대해 얼만큼의 타일이 있는지에 기초할 수 있다.

예를 들어, 본 시스템은 의료 표본의 세 개의 이미지들을 수신할 수 있다. 그런 다음, 본 시스템은 이미지를 각 이미지에 대해 타일들의 25 x 25개의 그리드로 분해함으로써 각 이미지를 타일들로 분해할 수 있다. 그런 다음, 본 시스템은 세 개의 매칭 타일들의 625개의 세트들을 만들어 낼 수 있다.

단계 406에서, 본 시스템은 상응하는 의료 이미지들로부터의 대응하는 타일들의 매치를 다양한 방식들로 결정할 수 있다. 일 실시예에서, 각 타일은 의료 이미지의 4 x 7개의 타일과 같이, 열과 행에 기초하여 마킹될 수 있다. 그런 다음, 대응하는 타일들은 동일한 의료 표본의 의료 이미지들에 대해 4 x 7개의 각 타일이 될 것이다. 대안적으로, 본 시스템은 임의의 다른 식별 정보를 사용하여 위치에 기초하여 타일을 마킹할 수 있다. 다른 실시예에서, 상이한 의료 이미지들로부터의 타일들을 매칭하기 위한 대응하는 매칭 기술들이 활용될 수 있다. 예를 들어, 본 시스템은 그 다음의 대응하는 이미지로부터의 동일한 포인트들 또는 피처들과 매칭되는 하나의 이미지에서의 포인트들/피처들을 만들어 낼 수 있다. 이는 의료 이미지들이 상이한 관점들로부터 취해지더라도 본 시스템 내의 컴퓨터 알고리즘들에 의해 타일들이 서로 연관될 수 있게 할 수 있다.

다른 실시예에서, 대응하는 타일들을 결정하기 위해 픽셀별 분류 방법들이 활용될 수 있다. 예를 들어, 본 시스템은 기계 학습 모델을 활용하여 각 타일의 픽셀별 분류를 수행할 수 있다. 픽셀별 분류를 수행하는 기계 학습 모델은 지도 학습, 비지도 학습, 또는 반지도 학습을 사용하여 학습될 수 있다. 트레이닝은 일반적인 픽셀별 분류 데이터를 포함할 수 있는 트레이닝 데이터에 기초할 수 있다. 일반적인 픽셀별 분류 데이터는 실측 자료 시맨틱(semantic) 세그먼트화 마스크들을 지칭할 수 있다. 실측 자료 시맨틱 세그먼트화 마스크들은 원래 슬라이드 이미지에 대한 정보 및 각 픽셀의 카테고리를 기술하는 정보를 포함할 수 있다. 이는 각 픽셀에 대한 정확한 출력 값을 나타내는 타겟 출력 "이미지"로서 정의될 수 있다. 트레이닝은 트레이닝 데이터 및 입력된 타일들에 기초하여 대응하는 타일들을 출력하기 위해 픽셀별 분류를 수행하는 기계 학습 모델의 구성요소들(예를 들어, 가중치, 바이어스, 레이어 등)이 조정되도록 수행될 수 있다. 일단, 픽셀별 분류가 적용되면, 본 시스템은 기계 학습 기술들을 통해, 타일들의 픽셀별 분류를 매칭하여 세트들을 결정할 수 있다.

다른 실시예에서, 대응하는 타일들을 결정하고 동일한 의료 표본의 상이한 의료 이미지들로부터 세트들을 만들어내기 위해 이미지 정합과 관련된 임의의 형태 또는 기술이 본 시스템에 의해 활용될 수 있다.

단계 408에서, 본 방법은 매칭 타일들의 복수의 세트들의 각 타일에 대해, 타일의 이미지 블러의 레벨에 대응하는 블러 스코어를 결정하는 단계를 포함할 수 있다. 블러 스코어는 타일의 선명성을 정의하는 분율, 비, 개수, 또는 비율일 수 있다. 블러 스코어는 정의된 에지들을 덜 갖는 타일들 및 더 많은 블러를 갖는 것으로 간주되는 타일들에 대해 더 높을 수 있다. 예를 들어, 더 높은 블러 스코어를 갖는 이미지는 에지를 덜 가질 수 있다. 타일당 블러 스코어는 라플라스 분산, 푸리에 변환, 웨이블릿 변환을 사용하여, 블러를 식별하기 위해 트레이닝된 컨볼루션 뉴럴 네트워크를 사용하는 등으로 컴퓨트될 수 있다.

일 실시예에서, 본 시스템은 라플라스 분산을 활용하여 타일의 블러 스코어를 결정할 수 있다. 본 시스템은 입력된 타일들의 에지들을 찾기 위해 라플라스 필터를 적용할 수 있다. 선택사항으로서, 본 시스템은 라플라스("라플라시안") 필터를 적용하기 전에 타일에 그레이스케일을 먼저 적용할 수 있다. 라플라시안 필터는 이미지의 제2 파생물을 컴퓨트하기 위해 활용되는 에지 검출기일 수 있다. 다음으로, 본 시스템은 라플라시안 필터를 이용하여 타일의 분산을 컴퓨트할 수 있다. 블러 스코어는 라플라시안 분산과 직접적으로 대응할 수 있으며, 더 높은 블러 스코어(예를 들어, 더 많은 블러 타일)에 더 낮은 분산이 대응한다.

다른 실시예에서, 본 시스템은 고속 푸리에 변환("FFT")을 활용하여 블러 스코어를 결정할 수 있다. 이러한 실시예에서, 이산 푸리에 변환을 컴퓨트하기 위한 수학적 알고리즘이 각 타일에 적용될 수 있다. 이는 입력 타일을 공간 도메인으로부터 주파수 도메인으로 변환할 수 있다. 다음으로, 본 시스템은 고역 통과 필터 또는 대역 통과 필터를 적용하여 고주파수들과 대응하는 에지들을 결정할 수 있다. 다음으로, 검출된 에지들을 활용하여 블러 스코어가 컴퓨트될 수 있으며, 에지를 더 많이 가진 타일은 더 높은 블러 스코어를 가질 수 있고, 에지를 덜 가진 타일은 더 낮은 블러 스코어를 가질 수 있다.

일 실시예에서, 본 시스템은 웨이블릿 변환을 활용하여 타일에 대한 블러 스코어를 결정할 수 있다. 본 시스템은 먼저 타일을 N x N 내측 타일들로 분리할 수 있다. 다음으로, 본 시스템은 각 내측 타일에 이차원 하르 웨이블릿 변환을 여러 번 반복하여 적용할 수 있다. 다음으로, 각 내측 타일은 수평, 수직, 그리고 대각으로 현저한 변화를 이용하여 타일 클러스터들로 그룹화될 수 있다. 블러 스코어는 클러스터의 양에 기초할 수 있다. 예를 들어, 타일 클러스터가 작은 타일은 더 높은 블러 스코어에 대응할 수 있고, 타일 클러스터가 큰 타일은 더 낮은 블러 스코어에 대응할 수 있다. 대안적으로, 블러 스코어는 전체 타일 대비 연결된 타이틀 클러스터의 총 면적의 비에 기초할 수 있다.

다른 실시예에서, 본 시스템은 컨볼루션 뉴럴 네트워크와 같은 기계 학습 모델을 활용하여 각 타일에 대한 블러 스코어를 결정할 수 있다. 블러 스코어를 결정하기 위한 기계 학습 모델은 지도, 반지도, 비지도 학습을 사용하여 학습될 수 있다. 트레이닝은 전역적 블러, 지역적 블러, 및 국부적 블러를 포함하는 의료 이미지들의 타일들을 포함하는 트레이닝 데이터에 기초할 수 있다. 트레이닝 데이터는 미리 결정된 블러 스코어들을 갖는 타일들을 가질 수 있다. 트레이닝은 트레이닝 데이터 및 입력된 타일들에 기초하여 블러 스코어들을 출력하기 위해 기계 학습 모델의 구성요소들(예를 들어, 가중치, 바이어스, 레이어 등)이 조정되도록 수행될 수 있다. 블러 스코어를 결정하기 위한 기계 학습 모델은 타일들을 입력으로서 수신할 수 있다. 기계 학습 모델은 입력된 각 타일과 연관된 블러 스코어를 출력할 수 있다.

단계 410에서, 본 방법은 매칭 타일들의 각 세트에 대해, 가장 낮은 블러 레벨을 나타내는 블러 스코어(예를 들어, 단계 408로부터의 가장 낮은 블러 스코어)를 갖는 타일을 결정하는 단계를 포함할 수 있다. 예를 들어, 본 시스템이 의료 표본의 세 개의 이미지들을 수신하고 각 이미지를 25 x 25개의 타일들(이미지당 총 625개의 타일들)로 분해한다면, 세 개의 타일들의 625개 세트들이 있을 것이다. 625개의 세트들 각각에 대해, 본 시스템은 타일들 각각을 이들의 블러 스코어에 의해 랭크하기 위해 랭킹 알고리즘들을 활용할 수 있다. 이는 의료 표본의 타일들의 각 세트에 대해 가장 높은 블러 스코어 및 가장 낮은 블러 스코어를 기록할 수 있게 할 수 있다.

단계 412에서, 본 방법은 복합 전자 의료 이미지를 결정하는 단계를 포함할 수 있으며, 복합 전자 의료 이미지는 가장 낮은 블러 레벨을 나타내는 블러 스코어를 갖는 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함한다. 본 시스템은 가장 높은 블러 스코어에 대응하여, 가장 낮은 블러 레벨을 갖는 각 세트로부터의 타일을 먼저 식별할 수 있다. 동일한 세트로부터의 대응하는 타일들이 동일한 블러 스코어를 갖는다면, 복합 전자 의료 이미지에서 타일들 중 어느 하나가 활용될 수 있다. 그런 다음, 본 시스템은 가장 낮은 블러 레벨을 갖는 모든 타일들을 조합하여 가장 낮은 블러 레벨을 갖는 복합 전자 의료 이미지를 만들어 낼 수 있다. 본 시스템은 단계 404에서 식별된 배경 타일들을 또한 조합할 수 있다. 본 시스템은 배경 타일들이 분석되지 못할 때 의료 표본의 의료 이미지들 중 어느 하나의 의료 이미지로부터의 배경 타일들을 활용할 수 있다. 모든 타일들을 조합하는 것은 이미지에서의 다수의 타일들을 컴파일, 압축, 합치, 연결, 렌더링, 스티칭 등을 하여 의료 표본의 새로운 완성 이미지를 형성하는 것을 포함할 수 있다. 그런 다음, 본 시스템은 대체/조합된 임의의 타일들 주위의 완성 이미지의 하나 이상의 시임을 평활화하는 것을 수행할 수 있다. 다시 말해, 평활화가 활용되지 못하는 유일한 때는 최종 의료 이미지가 동일한 원본 의료 이미지로부터 비롯된 서로 접촉하는 타일들을 가질 때일 수 있다.

단계 412는 복합 AI 모델로 지칭되는 기계 학습 모델을 활용함으로써 수행될 수 있다. 복합 AI 모델은 지도, 반지도, 자기 지도 및/또는 비지도 학습을 사용하여 트레이닝될 수 있다. 이러한 상이한 트레이닝 방법들은 최종 모델을 트레이닝하기 위해 조합될 수 있다. 트레이닝은 특정 이미지들의 복수의 타일들을 포함하는 트레이닝 데이터에 기초할 수 있다. 트레이닝은 별개의 타일들이 출력된 이미지를 만들어 내도록 가능한 한 (스티칭 및 평활화를 통해) 조합되는 이미지들을 출력하도록 복합 AI 모델의 구성요소들(예를 들어, 가중치, 바이어스, 레이어 등)이 조정되도록 수행될 수 있다. 이에 따라, 모델은 의료 이미지들의 세트들의 타일들을 가장 효과적으로 어떻게 컴파일링하고 스티칭하는지를 복합 AI 모델에 교시하도록 트레이닝될 수 있다.

도 5는 수행되는 단계 412의 예를 도시할 수 있다. 도 5는 스캔 1과 스캔 2로 지칭되는 동일한 의료 표본으로부터의 두 개의 의료 이미지들을 갖는 예를 도시한다. 의료 이미지들은 타일들(예를 들어, 4 x 4, 16개의 타일들)로 나뉘고 블러 스코어가 주어질 수 있다(도시되지 않음). 본 시스템은 스캔 1이 (스캔 2 상에서 대응하는 타일보다 더 높은 블러 스코어를 나타내는) 블러 지역(502)을 갖는 두 개의 타일을 갖는다고 결정할 수 있다. 스캔 1은 대략 10%총 블러를 가질 수 있다. 본 시스템은 스캔 2가 블러 지역들(502)을 갖는 여섯 개의 타일들을 가지며, 블러 스코어는 스캔 1보다 스캔 2에서 더 높다고 또한 결정할 수 있다. 스캔 2은 대략 20%총 블러를 가질 수 있다. 본 시스템은 나머지 모든 타일들이 동등한 블러 스코어를 갖는다고 결정할 수 있다. 그런 다음, 본 시스템은 도 3의 “출력”으로서 도시된 복합 전자 의료 이미지를 만들어낼 수 있다. 복합 전자 의료 이미지는 매칭 타일들의 각 세트에 대해 선택된 지역들(501)에 대응하는, 가장 낮은 블러 스코어를 갖는 타일을 선택할 수 있다. 이에 따라, 복합 전자 의료 이미지(출력)는 스캔 1 또는 스캔 2에 비해 블러를 덜 가질 수 있다(또는 어떠한 블러도 갖지 않을 수 있다).

일 실시예에서, 선택사항으로서, 본 시스템은 “총 블러 스코어”를 추적할 수 있다. 총 블러 스코어는 복합 전자 의료 이미지에서 활용되는 모든 타일들의 조합된 블러 스코어일 수 있다. 블러 스코어가 숫자라면, 총 블러 스코어도 숫자일 수 있다. 블러 스코어가 비 또는 비율이라면, 총 블러 스코어는 모든 타일들에 대한 블러 스코어 비 또는 비율의 평균일 수 있다. 총 블러 스코어가 제1 임계값을 초과한다면, 본 시스템은 의료 이미지의 재스캔을 지시할 수 있다. 이는 이미지가 (도 1에 도시된 바와 같이) 전역적 블러를 가질 때 발생할 수 있다. 대안적으로, 주어진 위치에서의 충분히 많은 수의 타일이 부적절한 블러 스코어를 갖는다면, 본 시스템은 의료 이미지의 재스캔을 지시할 수 있다. 예를 들어, 총 블러 스코어가 제1 임계값 미만이더라도, 다수의 연결 타일들이 제2 임계값을 초과하는 높은 블러 스코어들을 갖는다면, 본 시스템은 의료 이미지의 재스캔을 지시할 수 있다. 예를 들어, 복합 전자 의료 이미지는 제1 임계값 미만의 총 블러 스코어를 가질 수 있다. 그런 다음, 본 시스템은 대응하는 시임들을 따라 연결되는 다수의 타일들(예를 들어, 네 개의 타일들)이 제2 임계값을 초과하는 블러 스코어를 갖는다고 결정할 수 있으며, 본 시스템은 재스캔을 지시할 수 있다. 재스캔이 요구된다면, 본 시스템은 의료 표본의 새로운 스캔 없이 블러를 복구할 수 없음을 사용자에게 알릴 수 있다. 재스캔 요청은 미국 특허 공개 20200381104 A1에서 개시된 방법을 사용하여 이루어질 수 있으며, 이의 전문이 본 명세서에 참조로 통합된다.

다른 실시예에서, 본 시스템은 “이차 총 블러 스코어”를 추적할 수 있다. 본 실시예에서, 이차 총 블러 스코어는 모든 타일들에 기초하여 각 입력된 전자 의료 이미지에 대해 계산될 수 있다. 본 시스템은 의료 표본에 대한 모든 의료 이미지들의 가장 낮은 이차 총 블러 스코어를 결정할 수 있다. 그런 다음, 본 시스템은 위에서 설명된 바와 같이, 단계들 406-410을 수행할 수 있다. 다음으로, 복합 전자 의료 이미지를 결정할 때, 본 시스템은 가장 낮은 이차 총 블러 스코어를 갖는 초기 의료 이미지로 시작할 수 있다. 이러한 실시예에서, 소정의 제3 임계값을 초과하는 블러 스코어를 갖는 타일들만이 대체될 수 있다. 타일들이 제3 임계값을 초과하는 블러 스코어를 가질 때, 이것들은 대응하는 모든 타일들의 가장 낮은 블러 스코어를 갖는 대응하는 타일로 대체될 수 있다. 그런 다음, 타일들은 위에서 설명된 바와 같이 조합되고 평활화될 수 있다. 이러한 실시예는 컴퓨팅 파워를 덜 요구하고 타일들의 전체 스티칭을 덜 요구할 수 있다.

다른 실시예에서, 본 방법은 하나 이상의 결손 타일의 해상도를 증가시키기 위해, 세트 내의 모든 타일들의 블러 스코어가 너무 높게 유지된다면(예를 들어, 제1 임계값을 초과), 초해상도를 위한 조건부 생성 모델(generative model), 심층 생성 모델(예를 들어, 조건부 생성 적대적 네트워크, 조건부 변이형 오토인코더, 플로우 기반 생성 방법, 인공 뉴럴 네트워크를 사용한 다른 심층 학습 기술, 판별 또는 생성 모델 등)을 사용하는 단계를 포함할 수 있다. 이러한 조건부 생성 접근법을 사용하는 방법을 "디블러링"으로 지칭할 수 있다. "디블러링"은 아래에서 더 상세히 설명하는 바와 같이 디블러링 AI 모델에 의해 수행될 수 있다. 도 6은 생성 방법들을 사용하여 디블러링하기 위한 알고리즘을 트레이닝하는 예시적인 방법을 제공할 수 있다. 또한, 도 7은 아래에서 더 상세히 설명될 바와 같이, 생성 디블러링 방법을 트레이닝하기 위한 작업 흐름을 도시할 수 있다. 이러한 실시예에서, 디블러링은 가장 낮은 블러 스코어를 갖는 세트 내의 타일에 적용될 수 있다. 대안적으로, 복합 전자 의료 이미지에 어느 타일이 사용되어야 하는지 결정하기 위해 세트 내의 모든 타일들에 디블러링이 적용될 수 있고 새로운 블러 스코어들이 계산될 수 있다.

다른 실시예에서, 본 방법은 복합 전자 의료 이미지 내의 임의의 타일들의 블러 스코어가 제2 임계값을 초과한다면, 제2 임계값을 초과하는 타일들에 디블러링을 수행하는 단계를 포함할 수 있다. 그런 다음, 이러한 업데이트된 타일들은 이들의 대응하는 타일을 대체하여, 복합 전자 의료 이미지로 다시 편입될 수 있다.

트레이닝되면, 생성 디블러링 알고리즘은 단계 402에서 수신된 의료 표본의 복수의 전자 의료 이미지들에 대응하는 디지털 이미지들(702)을 수신할 수 있다. 디블러링 알고리즘은 높은 블러 스코어를 갖는 타일에 적용되어 각 타일의 해상도를 증가시킬 수 있다. 이는 디블러링으로 지칭될 수 있다. 생성 디블러링은 의료 표본에 대한 타일들의 세트가 모두 제2 임계값을 초과하는 블러 스코어를 가질 때 활용될 수 있다.

단계 414에서, 본 방법은 디스플레이를 위해 복합 전자 의료 이미지를 제공하는 단계를 포함할 수 있다. 의료 이미지들은 도 3으로부터의 디지털 이미지들(310)에 대응할 수 있다. 본 방법은 어느 타일들이 변경되었는지를 나타내는 대응하는 이진 또는 시맨틱 마스크를 이용하여 결과 이미지를 전자 저장소에 저장하는 단계를 포함할 수 있다. 이진 또는 시맨틱 마스크는 복합 전자 의료 이미지 내의 각 타일이 어느 초기 의료 이미지에 대응하는지, 블러 스코어를 결정하기 위해 어떤 방법이 활용되었는지, 임의의 타일들에 디블러링이 적용되었는지 여부, 및 어느 타일들에 디블러링이 적용되었는지와 같은 정보를 포함할 수 있다. 복합 전자 이미지는 도 2b로부터의 관찰 애플리케이션 툴(208) 상에 디스플레이될 수 있다. 복합 전자 이미지는 다른 외부 시스템들에 파일/이미지로서 내보내기될 수 있다. 또한, 본 시스템은 어느 타일들이 어느 의료 이미지로부터 나오고 어느 타일들이 생성되었는지를 나타내는 시맨틱 마스크를 저장할 수 있다. 다른 실시예에서, 본 시스템은 복합 전자 의료 이미지에 대응하는 이진 마스크를 저장할 수 있으며, 이 이진 마스크는 블러가 존재하는지 여부에 대한 정보를 포함한다.

도 6은 본 명세서의 하나 이상의 실시예에 따른, 생성 방법들을 사용하여 디블러링하기 위한 알고리즘을 트레이닝하는 예시적인 방법을 예시하는 흐름도이다. 예시적인 방법(600)(예를 들어, 단계들 602-614)은 세트 내의 모든 타일들의 블러 스코어가 제2 임계값을 초과할 때 자동으로 슬라이드 분석 툴(201)에 의해 수행될 수 있다. 또한, 사용자(예를 들어, 병리학자)는 복합 전자 의료 이미지의 하나 이상의 타일을 살펴보고, 타일의 블러 스코어들에 기초하여 디블러링을 활성화하기 위한 타일들을 선택할 수 있다. 사용자는 재스캔에 액세스하지 못하지만, WSI에는 블러가 존재할 때 전체 슬라이드 이미지 또는 특정 타일들에 대한 디블러링을 개시할 수 있다. 예를 들어, 슬라이드는 손실되었을 수 있거나, 슬라이드는 발원 기관으로 되돌려 보내졌을 수 있거나, 재스캔 대기 시간이 너무 긴 것으로 결정되었을 수 있거나, 스캔은 원래의 WSI에 액세스하지 못한 다른 엔티티에 의해 다운스트림에서 홀드될 수 있다.

단계 602에서, 본 방법은 동일한 의료 표본의 복수의 전자 의료 트레이닝 이미지들을 수신하는 단계를 포함할 수 있다. 의료 표본은 조직 표본일 수 있다. 이들 의료 이미지들은 전자 저장소(예를 들어, 클라우드 저장소, 하드 드라이브, RAM 등)를 통해 절감될 수 있다. 일 실시예에서, 단계 402와 달리, 복수의 전자 이미지들은 소정 블러량을 갖는 이미지를 포함하지 않도록 스크리닝될 수 있다.

단계 604에서, 본 시스템은 복수의 전자 의료 트레이닝 이미지들 각각을 복수의 타일들로 분할할 수 있으며, 복수의 타일들의 각 타일은 미리 결정된 크기를 갖는다. 타일들은 M x M 크기일 수 있다. 단계 404와 유사하게, 본 방법은 유사한 기술들을 활용하여 이미지를 배경 및 비배경 타일들로 분해할 수 있다.

단계 606에서, 본 방법은 이미지에서의 블러를 시뮬레이션하기 위해 설정된 양의 타일에 하나 이상의 블러 필터를 적용하는 단계를 포함할 수 있다. 이는 N x N 컨볼루션, 가우시안 평활화, 또는 삽입된 의료 이미지들 내에 "블러"를 만들어 낼 수 있는 임의의 다른 기술을 적용하는 본 시스템에 의해 수행될 수 있다. 예를 들어, 본 시스템이 가우시안 평활화를 적용한다면, 각 픽셀에 적용할 변환을 계산하기 위한 가우시안 함수가 계산될 수 있다. 가우시안 평활화는 하나 이상의 타일에 적용될 수 있다. 다수의 타일들에 적용된다면, 가우시안 평활화는 서로 옆에 위치된 타일들에 적용될 수 있다. 그런 다음, 본 시스템은 블러링이 적용된 업데이트된 타일들을 저장할 수 있다.

단계 608에서, 본 방법은 복수의 블러링된 타일들을 트레이닝으로서 디블러링 AI 모델을 통해 입력하는 단계를 포함할 수 있다. 선택사항으로서, 본 방법은 인접한 언블러 타일들/이미지들 또는 블러 이미지를 더 잘 복구하도록 모델을 도울 수 있는 전역적 또는 비국부적 컨텍스트의 다른 형태를 입력하는 단계를 포함할 수 있다. 이는 단일 타일 내의 정보가 불충분한 정보를 포함할 수 있는 상황에서 블러를 복구하도록 도울 수 있다. 인접한 타일들은 x-y 위치의 측면에서 인접하거나 z 위치의 측면에서 인접할 수 있으며, z 위치는 블록의 이전 레벨과 다음 레벨을 의미한다(예를 들어, 동일한 의료 샘플의 의료 이미지들에 대한 대응하는 타일들). 디블러링 AI 모델은 미지도, 반지도, 또는 미지도 학습을 사용하여 트레이닝될 수 있다. 트레이닝은 트레이닝 데이터(블러 및 대응하는 언블러 타일들)에 기초하여 타겟 모집단을 출력하기 위해 디블러링 AI 모델의 구성요소들(예를 들어, 가중치, 바이어스, 레이어 등)이 조정되도록 수행될 수 있다.

단계 610에서, 본 방법은 결과적인 디블러링 AI 모델 출력 및 초기 언블러 타일을 사용하여 모델 손실을 계산하는 단계를 포함할 수 있다.

단계 612에서, 본 방법은 이러한 손실을 사용하여 언블러 입력 이미지와 결과적인 디블러 이미지 간의 차이를 최소화하도록 트레이닝 중인 모델을 최적화하는 단계를 포함할 수 있다.

단계 614에서, 본 방법은 모델이 복구에서 수용가능한 레벨 또는 오류로 충분히 수렴할 때까지 본 방법을 반복하는 단계를 포함할 수 있다. 예를 들어, 단계 614는 방법(400)의 단계 412에서 설명된 바와 같이 타일들이 제2 임계값 미만인 블러 스코어를 수신할 때까지 모델이 타일들을 디블러링하도록 트레이닝될 때까지 필요한 만큼의 트레이닝 타일들로서 수행될 수 있다.

도 7은 위에서 방법 600에서 설명된 바와 같은 생성 디블러링 방법을 트레이닝하기 위한 작업 흐름을 예시한다. 디지털 이미지들(702)은 단계 602에서 설명된 바와 같이 블러를 포함하지 않거나 무시할 수 있는 의료 이미지들의 트레이닝 데이터를 지칭할 수 있다. 다음으로, 본 시스템은 트레이닝 데이터를 타일들로 분해한 후, 인공 블러(704)를 N x N 컨볼루션, 또는 가우시안 평활화 등과 같은 단계 606에서 설명된 방식들 중 어느 하나로 트레이닝 데이터에 적용할 수 있다. 다음으로, 본 시스템은 인공 블러(704)가 의료 이미지들(702)에 적용된 후에, 블러 디지털 이미지들(706)을 가질 수 있다. 다음으로, 블러 디지털 이미지들(706)은 트레이닝 중인 후처리 디블러링 절차(708)(예를 들어, 단계 608에서 설명된 디블러링 AI 모델)에 공급될 수 있다. 후처리 디블러링 절차(708)는 인공 블러(704)에 의해 적용된 블러를 무효화하려는 언블러 디지털 이미지(710)를 출력할 수 있다. 그런 다음, 언블러 디지털 이미지(710)와 원래의 대응하는 디지털 이미지들(702) 둘 다를 손실 함수(712)에 입력할 수 있다. 손실 함수(712)는 블러의 복구에서 오류를 최소화하도록 트레이닝 절차를 안내할 수 있다. 손실 함수는 디블러링 시스템(714)의 최적화 동안 모델을 최적화하기 위해 활용될 수 있다. 그런 다음, 디블러링 시스템(714)의 최적화는 트레이닝 중인 후처리 블러링 절차(708)를 업데이트하기 위해 활용될 수 있다.

도 8에 도시된 바와 같이, 디바이스(800)는 중앙 처리 유닛(CPU)(820)을 포함할 수 있다. CPU(820)는 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하여, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술분야의 통상의 기술자들에 의해 이해될 바와 같이, CPU(820)는 멀티 코어/멀티프로세서 시스템, 단독으로 동작하는 이러한 시스템, 또는 클러스터 또는 서버 팜에서 동작하는 컴퓨팅 디바이스들의 클러스터 내의 단일 프로세서일 수도 있다. CPU(820)는 데이터 통신 인프라스트럭처(810), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티 코어 메시지 전달 방식에 연결될 수 있다.

디바이스(800)는 메인 메모리(840), 예를 들어, 랜덤 액세스 메모리(RAM)를 또한 포함할 수 있고, 또한 보고 메모리(830)를 포함할 수 있다. 보조 메모리(830), 예를 들어, 판독 전용 메모리(ROM)는 예를 들어, 하드 디스크 드라이브 또는 탈착 가능 저장 드라이브일 수 있다. 이러한 탈착 가능 저장 드라이브는 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서의 탈착 가능 저장 드라이브는 주지되어 있는 방식으로 탈착 가능 저장 유닛으로부터 판독하고/거나 이에 기록한다. 탈착 가능 저장소는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있으며, 이는 탈착 가능 저장소 드라이브에 의해 판독되고 이에 의해 기록된다. 관련 기술분야의 통상의 기술자들에 의해 이해될 바와 같이, 이러한 탈착가능 저장소 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터가 저장된 컴퓨터 사용 가능 저장 매체를 포함한다.

대안적인 구현예들에서, 보조 메모리(830)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(800)에 로딩될 수 있게 하기 위한 유사한 수단들을 포함할 수 있다. 이러한 수단들의 예들은 프로그램 카트리지 및 카트리지 인터페이스(이를테면, 비디오 게임 디바이스들에서 발견되는 것), 탈착 가능 메모리 칩(이를테면, EPROM 또는 PROM) 및 연관된 소켓, 및 다른 탈착 가능 저장소 유닛들 및 인터페이스들을 포함할 수 있으며, 이들은 소프트웨어 및 데이터가 탈착 가능 저장소 유닛으로부터 디바이스(800)로 전송될 수 있게 한다.

디바이스(800)는 통신 인터페이스("COM")(860)를 또한 포함할 수 있다. 통신 인터페이스(860)는 소프트웨어 및 데이터가 디바이스(800)와 외부 디바이스들 사이에서 전송될 수 있게 한다. 통신 인터페이스(860)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(860)를 통해 전송되는 소프트웨어 및 데이터는 ― 통신 인터페이스(860)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 ― 신호들의 형태일 수 있다. 이러한 신호들은 ― 예를 들어, 와이어 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 사용하여 구현될 수 있는 ― 디바이스(1300)의 통신 경로를 통해 통신 인터페이스(860)에 제공될 수 있다.

하드웨어 요소들, 운영 체제들 및 이러한 장비의 프로그래밍 언어들은 본질적으로 통상적인 것이고, 통상의 기술자들은 이들에 충분히 익숙할 것으로 여겨진다. 디바이스(800)는 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 연결하기 위한 입력 및 출력 포트들(850)을 또한 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 로드를 분산시키기 위해, 다수의 유사한 플랫폼들 상에서 분산된 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.

도 9는 하나 이상의 실시예에 따른, 기계 학습 모델을 트레이닝하여 이미지를 디블러링하거나, 블러 스코어를 결정하거나, 이미지의 타일들을 조합하거나, 픽셀별 분류를 수행하기 위한 흐름도를 도시한다. 본 명세서에서 개시된 하나 이상의 구현예는 기계 학습 모델을 사용함으로써 적용될 수 있다. 본 명세서에서 개시된 바와 같은 기계 학습 모델은 도 7의 흐름도(700), 도 4의 흐름도(400), 및/또는 도 6의 흐름도(600)를 사용하여 트레이닝될 수 있다. 도 9의 흐름도(900)에 도시된 바와 같이, 트레이닝 데이터(912)는 트레이닝될 기계 학습 모델과 관련된 스테이지 입력들(914) 및 알려진 결과들(918) 중 하나 이상을 포함할 수 있다. 스테이지 입력들(914)은 도 4, 6 또는 7에 설명된 구성요소 또는 세트를 포함하는 임의의 적용가능한 소스로부터의 입력들일 수 있다. 알려진 결과들(618)은 지도 또는 반지도 트레이닝에 기초하여 생성되는 기계 학습 모델에 포함될 수 있다. 비지도 기계 학습 모델은 알려진 결과들(918)을 사용하여 트레이닝되지 않을 수 있다. 알려진 결과들(918)은 대응하는 알려진 출력들을 갖지 않는 스테이지 입력들(914)과 유사하거나 동일한 카테고리의 향후 입력들에 대한 알려진 또는 원하는 출력들을 포함할 수 있다.

트레이닝 데이터(912) 및 트레이닝 알고리즘(920)은 트레이닝 알고리즘(920)에 트레이닝 데이터(912)를 적용하여 단계 608에서 설명된 디블러링 AI 모델/트레이닝 중 후처리 디블러링 절차 708, 단계 608의 트레이닝된 블러 스코어 기계 학습 모델, 단계 412의 복합 AI 모델, 또는 단계 404의 트레이닝된 픽셀별 분류 기계 학습 모델을 생성할 수 있는 트레이닝 구성요소(930)에 제공될 수 있다. 구현예에 따라, 트레이닝 구성요소(930)에는 이전 결과를 적용하여 기계 학습 모델을 재트레이닝하기 위해 대응하는 기계 학습 모델의 이전 출력을 비교하는 비교 결과들(916)을 제공할 수 있다. 비교 결과들(916)은 트레이닝 구성요소(930)에 의해 대응하는 기계 학습 모델을 업데이트하기 위해 사용될 수 있다. 트레이닝 알고리즘(920)은 심층 학습 네트워크 이를테면 DNN(Deep Neural Network), CNN(Convolutional Neural Network), FCN(Fully Convolutional Network), RCN(Recurrent Neural Network), 확률 모델들 이를테면 베이지안 네트워크 및 그래픽 모델, 및/또는 판별 모델들 이를테면 의사 결정 포레스트 및 최대 마진 방법 등을 포함하지만 이에 제한되지 않는 기계 학습 네트워크 및/또는 모델을 활용할 수 있다. 흐름도(900)의 출력은 단계 608에서 설명된 디블러링 AI 모델/트레이닝 중 후처리 디블러링 절차 708, 단계 608의 트레이닝된 블러 스코어 기계 학습 모델, 또는 단계 404의 트레이닝된 픽셀별 분류 기계 학습 모델 내에서 사용되는 모델들과 같은 트레이닝된 기계 학습 모델일 수 있다.

본 명세서에서 제시된 기술들은 반드시 이러한 시스템을 생성하는 데 사용될 수 있는 이미지 처리와 컴퓨터 비전의 특정 조합에 관한 것이 아니라, 디지털 방식으로 진단 이미지들에서 초점을 벗어나는 이슈들을 해결하기 위한 목적으로 이러한 툴을 사용하는 개념에 관한 것이다.

앞서 설명한 바와 같이, 단순히 이미지를 재스캔하는 것은 전체적으로 초점을 벗어난 지역들을 덜 초래할 수 있지만, 본 명세서에서 제시되는 기술들은 다수의 이미지들을 조합하여 어느 단일 이미지보다도 블러가 적은 이미지를 만들어 낼 수 있다.

본 개시 전반에 걸쳐, 구성요소들 또는 모듈들의 지칭은 일반적으로 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 구성요소들을 지칭하는 것으로 의도된다. 구성요소들 및/또는 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.

위에서 설명된 툴, 모듈들, 및/또는 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장소" 타입 매체는 컴퓨터들, 프로세서들 등의 타입의 메모리, 또는 이의 연관된 모듈들, 이를테면 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등 중 임의의 것 또는 전부를 포함할 수 있으며, 이는 소프트웨어 프로그래밍을 위해 언제든 비일시적인 저장소를 제공할 수 있다.

소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 텔레통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신은 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 사용될 때, 비일시적인 실체적인 "저장" 매체로 국한되지 않는 한, 컴퓨터 또는 기계 "판독 가능 매체"와 같은 용어들은 프로세서에 실행을 위한 명령어들을 제공하는 데 참여하는 임의의 매체를 지칭한다.

전술한 일반적인 설명은 단지 예시적이고 설명적인 것이며, 본 개시를 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에서 개시된 본 발명의 명세서 및 실행을 고려하여 당업자들에게 명백할 수 있다. 본 명세서 및 예들은 단지 예시적인 것으로 간주되도록 의도된다.

Claims

전자 의료 이미지들을 처리하기 위한 컴퓨터 구현 방법으로서,
의료 표본의 복수의 전자 의료 이미지들을 수신하는 단계;
상기 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하는 단계 ― 상기 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―;
매칭 타일들의 복수의 세트들을 결정하는 단계 ― 각 세트 내의 상기 타일들은 상기 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―;
상기 매칭 타일들의 복수의 세트들의 각 타일에 대해, 상기 타일의 이미지 블러(image blur)의 레벨에 대응하는 블러 스코어(blur score)를 결정하는 단계;
상기 매칭 타일들의 각 세트에 대해, 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 타일을 결정하는 단계;
복합 전자 의료 이미지를 결정하는 단계 ― 상기 복합 전자 의료 이미지는 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 상기 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 및
상기 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,
주어진 위치에서의 타일들의 미리 결정된 임계치가 부적절한(inadequate) 블러 스코어를 갖는지 여부를 결정하는 단계; 및
상기 미리 결정된 임계치가 초과된다고 결정 시, 대응하는 상기 의료 이미지의 재스캔을 지시하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,
총 블러 스코어를 결정하는 단계를 더 포함하며, 상기 총 블러 스코어는 의료 이미지 내의 모든 타일들의 평균 블러 스코어에 대응하되, 상기 총 블러 스코어가 임계값을 초과한다면, 상기 대응하는 의료 이미지의 재스캔이 지시되는 것인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 블러 스코어는 상기 복수의 타일들을 수신하는 기계 학습 모델에 의해 출력되며, 상기 기계 학습 모델은 상기 타일들에, 하나 이상의 가중치, 바이어스, 및/또는 레이어를 적용하고, 각 타일에 대한 블러 스코어를 출력하는 것인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 복합 전자 의료 이미지를 결정하는 단계는 기계 학습 모델을 사용하여 수행되는 것인, 컴퓨터 구현 방법.
제1항에 있어서,
세트 내의 각 타일이 임계값 초과의 블러 스코어를 갖는다고 결정 시, 적어도 하나의 조건부 생성 모델(generative model)을 사용하여 상기 타일의 더 높은 해상도를 만들어 내는 단계를 더 포함하는, 컴퓨터 구현 방법.
제5항에 있어서, 조건부 생성 모델을 사용하는 것은 상기 타일 데이터를 디블러링 모델들의 가중치, 바이어스들, 또는 레이어들 중 하나 이상에 적용하는 디블러링 기계 학습 모델에, 상기 가장 낮은 블러 스코어를 갖는 타일을 입력하고, 더 낮은 블러 스코어를 갖는 타일에 대응하는 타일을 출력하는 것을 포함하는 것인, 컴퓨터 구현 방법.
제1항에 있어서,
상기 복합 의료 이미지의 어느 타일들이 변경되었는지를 나타내는 대응하는 시맨틱 마스크(semantic mask)를 제공하는 단계를 더 포함하는, 컴퓨터 구현 방법.
전자 디지털 의료 이미지들을 처리하기 위한 시스템으로서,
명령어들을 저장하는 적어도 하나의 메모리; 및
상기 명령어들을 실행하여 동작들을 수행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 동작들은:
의료 표본의 복수의 전자 의료 이미지들을 수신하고;
상기 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하고 ― 상기 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―;
매칭 타일들의 복수의 세트들을 결정하고 ― 각 세트 내의 상기 타일들은 상기 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―;
상기 매칭 타일들의 복수의 세트들의 각 타일에 대해, 상기 타일의 이미지 블러의 레벨에 대응하는 블러 스코어를 결정하고;
상기 매칭 타일들의 각 세트에 대해, 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 타일을 결정하고;
복합 전자 의료 이미지를 결정하며 ― 상기 복합 전자 의료 이미지는 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 상기 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 그리고
상기 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 동작을 포함하는 것인, 시스템.
제9항에 있어서,
주어진 위치에서의 타일들의 미리 결정된 임계치가 부적절한 블러 스코어들을 갖는지 여부를 결정하는 것을 더 포함하며, 상기 대응하는 의료 이미지의 재스캔이 지시되는 것인, 시스템.
제9항에 있어서,
총 블러 스코어를 결정하는 것을 더 포함하며, 상기 총 블러 스코어는 의료 이미지 내의 모든 타일들의 평균 블러 스코어에 대응하되, 상기 총 블러 스코어가 임계값을 초과한다면, 상기 대응하는 의료 이미지의 재스캔이 지시되는 것인, 시스템.
제9항에 있어서, 상기 블러 스코어는 상기 복수의 타일들을 수신하는 기계 학습 모델에 의해 출력되며, 상기 기계 학습 모델은 상기 타일들에, 하나 이상의 가중치, 바이어스, 및/또는 레이어를 적용하고, 각 타일에 대한 블러 스코어를 출력하는 것인, 시스템.
제9항에 있어서, 상기 복합 전자 의료 이미지를 결정하는 단계는 기계 학습 모델을 사용하여 수행되는 것인, 시스템.
제9항에 있어서,
세트 내의 각 타일이 임계값 초과의 블러 스코어를 갖는다고 결정 시, 적어도 하나의 조건부 생성 모델을 사용하여 상기 타일의 더 높은 해상도를 만들어 내는 것을 더 포함하는, 시스템.
제14항에 있어서, 조건부 생성 모델을 사용하는 것은 상기 타일 데이터를 디블러링 모델들의 가중치, 바이어스들, 또는 레이어들 중 하나 이상에 적용하는 디블러링 기계 학습 모델에, 상기 가장 낮은 블러 스코어를 갖는 타일을 입력하고, 더 낮은 블러 스코어를 갖는 타일에 대응하는 타일을 출력하는 것을 포함하는 것인, 시스템.
제9항에 있어서,
상기 복합 의료 이미지의 어느 타일들이 변경되었는지를 나타내는 대응하는 시맨틱 마스크를 제공하는 것을 더 포함하는, 시스템.
프로세서에 의해 실행될 때, 전자 디지털 의료 이미지들을 처리하는 동작들을 수행하는 명령어들을 저장하는 비일시적인 컴퓨터 판독가능 매체로서, 상기 동작들은:
의료 표본의 복수의 전자 의료 이미지들을 수신하고;
상기 복수의 전자 의료 이미지들 각각을 복수의 타일들로 분할하고 ― 상기 복수의 타일들의 각 타일은 미리 결정된 크기를 가짐 ―;
매칭 타일들의 복수의 세트들을 결정하고 ― 각 세트 내의 상기 타일들은 상기 의료 표본의 복수의 지역들 중 주어진 지역에 대응함 ―;
상기 매칭 타일들의 복수의 세트들의 각 타일에 대해, 상기 타일의 이미지 블러의 레벨에 대응하는 블러 스코어를 결정하고;
상기 매칭 타일들의 각 세트에 대해, 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 타일을 결정하고;
복합 전자 의료 이미지를 결정하며 ― 상기 복합 전자 의료 이미지는 상기 가장 낮은 블러 레벨을 나타내는 상기 블러 스코어를 갖는 상기 매칭 타일들의 각 세트로부터의 복수의 타일들을 포함함 ―; 그리고
상기 복합 전자 의료 이미지를 디스플레이를 위해 제공하는 동작을 포함하는 것인, 컴퓨터 판독가능 매체.
제17항에 있어서,
주어진 위치에서의 타일들의 미리 결정된 임계치가 부적절한 블러 스코어를 갖는지 여부를 결정하는 것; 및
상기 미리 결정된 임계치가 초과된다고 결정 시, 대응하는 상기 의료 이미지의 재스캔을 지시하는 것을 더 포함하는, 컴퓨터 판독가능 매체.
제17항에 있어서, 상기 블러 스코어는 상기 복수의 타일들을 수신하는 기계 학습 모델에 의해 출력되며, 상기 기계 학습 모델은 상기 타일들에, 하나 이상의 가중치, 바이어스, 및/또는 레이어를 적용하고, 각 타일에 대한 블러 스코어를 출력하는 것인, 컴퓨터 판독가능 매체.
제17항에 있어서, 상기 동작들은:
상기 복합 의료 이미지의 어느 타일들이 변경되었는지를 나타내는 대응하는 시맨틱 마스크를 제공하는 동작을 더 포함하는 것인, 컴퓨터 판독가능 매체.