KR20220051201A - 범용 슬라이드 뷰어 - Google Patents

Abstract

본 개시는 일반적으로 영상 뷰어, 특히 다양한 배율 또는 해상도에서 생체의학 영상을 동시에 렌더링할 수 있는 생체의학 영상 뷰어에 관한 것이다. 컴퓨팅 시스템은 생체의학 영상의 제1 부분으로부터 타일을 식별할 수 있다. 각 타일은 생체의학 영상 내의 배율 수준 및 좌표에 대응할 수 있다. 컴퓨팅 시스템은 각각의 그래픽 사용자 인터페이스(GUI) 요소에서 동시 디스플레이를 위해 타일을 제공할 수 있다. 컴퓨팅 시스템은 GUI 요소와의 상호작용을 검출할 수 있다. 컴퓨팅 시스템은 상호작용에 기초하여 GUI 요소 내에 디스플레이된 타일에 대한 좌표 변경을 식별할 수 있다. 컴퓨팅 시스템은 좌표 변경에 기초하여 다른 동시 디스플레이된 타일 내의 제2 변경을 식별할 수 있다. 컴퓨팅 시스템은 변경에 기초하여 타일의 동시 디스플레이를 갱신할 수 있다.

Description

범용 슬라이드 뷰어

관련된 출원에 대한 상호 참조

본 출원은 2019년 8월 23일에 출원된 미국 가특허 출원 제62/890,953호, 발명의 명칭 "범용 슬라이드 뷰어"의 우선권을 주장하며, 이는 본원에서 전체로서 참조로 포함된다.

기술 분야

본 출원은 일반적으로 생체의학 영상(biomedical images) 렌더링을 위한 보기 인터페이스(viewing interface)에 관한 것이며, 다양한 형식, 구성 및 매개변수를 갖는 영상용 범용 슬라이드 뷰어와 같은 슬라이드 뷰어를 사용하는 것을 포함하지만 이에 제한되지 않는다.

영상은 애플리케이션을 통해 컴퓨팅 디바이스에 디스플레이 및 렌더링될 수 있다. 영상의 보기는 애플리케이션의 하나 이상의 사용자 인터페이스 요소를 통해 제어될 수 있다.

본 개시의 시스템 및 방법은 상이한 해상도 및 색상 구성(color scheme)에 대해 표준화된(normalized), 상이한 배율 수준에서 생체의학 영상에 대한 동시 보기(concurrent viewing)를 가능하게 할 수 있다. 범용 슬라이드 보기는 생체의학 영상 보기와 관련된 다른 양상 중에서도, 패닝(pan) 또는 줌(zoom) 동작이 영상에 적용될 때 상이한 배율 수준에서 동기화된 다중 보기에 대한 지원을 추가로 제공한다. 본원에 설명된 시스템 및 방법은 상이한 배율에서 슬라이드의 매끄럽고 빠른 픽셀-정밀도의(pixel-accurate) 주석(annotation)을 제공할 수 있다. 래스터화된(rasterized) BMP 영상은 정확도나 속도를 희생하면서 저장 공간을 개선하기 위해 주석을 저장할 수 있다.

본 개시의 적어도 일 양상은 방법에 관한 것이다. 방법은 조직병리학적 영상 준비기를 통해 조직 샘플로부터 유도된 생체의학 영상의 제1 부분으로부터 복수의 타일을 식별하는 것을 포함할 수 있다. 복수의 타일 중 각 타일은 복수의 배율 계수 중 하나에서 획득되고 생물학적 영상 내의 대응하는 좌표 세트에 의해 정의될 수 있다. 복수의 타일 중 적어도 하나는 제1 부분의 적어도 서브세트에 대응할 수 있다. 방법은 대응하는 복수의 그래픽 사용자 인터페이스 요소를 통한 동시 디스플레이를 위해 복수의 타일을 제공하는 것을 포함할 수 있다. 방법은 복수의 타일 중의 타일을 수정하기 위해 복수의 GUI 요소로부터 GUI 요소와의 상호작용을 검출하는 것을 포함할 수 있다. 방법은 GUI 요소와의 상호작용에 응답하여 타일을 정의하는 제1 좌표 세트에 대한 제1 변경을 식별하는 것을 포함할 수 있다. 방법은 제1좌표 세트에 대한 제1 변경에 기초하여 복수의 타일 중 나머지의 각 타일을 정의하는 제2 좌표 세트에 적용할 제2 변경을 결정하는 것을 포함할 수 있다. 방법은 상호작용이 검출된 타일에 대해 제1 좌표 세트에 제1 변경을 적용하고 복수의 타일 중 나머지의 각 타일에 대해 제2 좌표 세트에 제2 변경을 적용하여 대응하는 복수의 GUI 요소 내의 복수의 타일의 디스플레이를 갱신하는 것을 포함할 수 있다.

일부 구현에서, 방법은 타일을 정의하는 제1 좌표 세트에 적용될 제1 변경에 기초하여 생체의학 영상의 제2 부분을 식별하는 것을 포함할 수 있다. 일부 구현에서, 방법은 제1 부분 및 제2 부분의 비교에 기초하여 제2 좌표 세트에 적용할 제2 변경을 결정하는 것을 포함할 수 있다. 일부 구현에서, 복수의 GUI 요소는 복수의 타일 중 기준 타일을 디스플레이하기 위한 제1GUI 요소 및 복수의 타일 중 대응하는 하나 이상의 다른 타일을 디스플레이하기 위한 하나 이상의 제2 GUI 요소를 포함할 수 있다.

일부 구현에서, 상호작용을 검출하는 것은 타일 내에서 줌 동작 또는 타일로부터 이동하기 위한 패닝 동작 중 적어도 하나를 수행하기 위한 상호작용을 검출하는 것을 더 포함할 수 있다. 일부 구현에서, 복수의 타일을 식별하는 것은, 클라이언트 디바이스로, 대응하는 복수의 GUI 요소를 통해 클라이언트 디바이스 상에 디스플레이하기 위해 생체의학 영상의 제1 부분에 대응하는 복수의 타일을 스트리밍하는 것을 더 포함할 수 있다.

일부 구현에서, 방법은 복수의 GUI 요소 중 제2 GUI 요소를 통해 주석을 식별하는 것을 포함할 수 있다. 일부 구현에서, 주석은 제2 GUI 요소를 통해 디스플레이되는 복수의 타일 중 제2 타일 상의 하나 이상의 픽셀 좌표를 식별할 수 있다. 일부 구현에서, 주석은 제2 타일 상의 하나 이상의 픽셀 좌표에 대응하는 조직 샘플 상의 영역에서 하나 이상의 조건의 존재를 표시할 수 있다. 일부 구현에서, 방법은 하나 이상의 데이터 구조에, 주석과 생체의학 영상 사이의 연관을 저장하는 것을 포함할 수 있다.

일부 구현에서, 방법은 주석에 의해 식별된 하나 이상의 픽셀 좌표에 대응하는 복수의 색인된 색상 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 방법은 복수의 색인된 색상 값을 주석에 대한 맵으로 저장하는 것을 포함할 수 있다. 일부 구현에서, 방법은 제2 GUI 요소를 통해 디스플레이된 제2 타일 내에서 식별된 주석에 기초하여 대응하는 복수의 GUI 요소 내에서 복수의 타일의 디스플레이를 갱신하는 것을 포함할 수 있다.

일부 구현에서, 방법은 복수의 타일 중 제3 타일에 대해, 생체의학 영상의 각각의 부분을 식별하는 것을 포함할 수 있다. 일부 구현에서, 방법은 생체의학 영상의 나머지 부분을 유지하면서 적어도 하나의 타일에 대한 각각의 부분에 색상 수정 동작을 적용하는 것을 포함할 수 있다. 일부 구현에서, 방법은 각각의 부분에 대한 색상 수정 동작의 적용에 기초하여 복수의 GUI 요소의 대응하는 GUI 요소 내에서 제3 타일의 디스플레이를 갱신하는 것을 포함할 수 있다. 일부 구현에서, 방법은 복수의 타일이 유도되는 생체의학 영상에 대한 출처를 식별하는 것을 포함할 수 있다. 일부 구현에서, 방법은 복수의 색상 수정 동작으로부터 선택하는 것을 포함할 수 있다. 방법의 일부 구현에서, 색상 수정 동작은 생체의학 영상에 대해 식별된 출처에 기초할 수 있다.

본 개시의 적어도 하나의 다른 양상은 시스템에 관한 것이다. 시스템은 메모리에 결합된 하나 이상의 프로세서를 갖는 컴퓨팅 시스템을 포함할 수 있다. 시스템은 조직병리학적 영상 준비기를 통해 조직 샘플로부터 유도된 생체의학 영상의 제1 부분으로부터 복수의 타일을 식별할 수 있다. 복수의 타일 중 각 타일은 복수의 배율 계수 중 하나에서 획득되고 생물학적 영상 내의 대응하는 좌표 세트에 의해 정의되며, 복수의 타일 중 적어도 하나는 제1 부분의 적어도 서브세트에 대응한다. 시스템은 대응하는 복수의 그래픽 사용자 인터페이스 요소를 통한 동시 디스플레이를 위해 복수의 타일을 제공할 수 있다. 시스템은 복수의 타일 중의 타일을 수정하기 위해 복수의 GUI 요소로부터 GUI 요소와의 상호작용을 검출할 수 있다. 시스템은 GUI 요소와의 상호작용에 응답하여 타일을 정의하는 제1 좌표 세트에 대한 제1 변경을 식별할 수 있다. 시스템은 제1좌표 세트에 대한 제1 변경에 기초하여 복수의 타일 중 나머지의 각 타일을 정의하는 제2 좌표 세트에 적용할 제2 변경을 결정할 수 있다. 시스템은 상호작용이 검출된 타일에 대해 제1 좌표 세트에 제1 변경을 적용하고 복수의 타일 중 나머지의 각 타일에 대해 제2 좌표 세트에 제2 변경을 적용하여 대응하는 복수의 GUI 요소 내의 복수의 타일의 디스플레이를 갱신할 수 있다.

일부 구현에서, 시스템은 타일을 정의하는 제1 좌표 세트에 적용될 제1 변경에 기초하여 생체의학 영상의 제2 부분을 식별할 수 있다. 일부 구현에서, 시스템은 제1 부분 및 제2 부분의 비교에 기초하여 제2 좌표 세트에 적용할 제2 변경을 결정할 수 있다. 일부 구현에서, 복수의 GUI 요소는 복수의 타일 중 기준 타일을 디스플레이하기 위한 제1 GUI 요소 및 복수의 타일 중 대응하는 하나 이상의 다른 타일을 디스플레이하기 위한 하나 이상의 제2 GUI 요소를 포함할 수 있다. 일부 구현에서, 시스템은 타일 내에서 줌 동작 또는 타일로부터 이동하기 위한 패닝 동작 중 적어도 하나를 수행하기 위한 상호작용을 검출할 수 있다.

일부 구현에서, 시스템은, 클라이언트 디바이스로, 대응하는 복수의 GUI 요소를 통해 클라이언트 디바이스 상에 디스플레이하기 위해 생체의학 영상의 제1 부분에 대응하는 복수의 타일을 스트리밍할 수 있다. 일부 구현에서, 시스템은 복수의 GUI 요소 중 제2 GUI 요소를 통해 주석을 식별할 수 있다. 일부 구현에서, 주석은 제2 GUI 요소를 통해 디스플레이되는 복수의 타일 중 제2 타일 상의 하나 이상의 픽셀 좌표를 식별할 수 있다. 일부 구현에서, 주석은 제2 타일 상의 하나 이상의 픽셀 좌표에 대응하는 조직 샘플 상의 영역에서 하나 이상의 조건의 존재를 표시할 수 있다. 일부 구현에서, 시스템은, 하나 이상의 데이터 구조에, 주석과 생체의학 영상 사이의 연관을 저장할 수 있다.

일부 구현에서, 시스템은 주석에 의해 식별된 하나 이상의 픽셀 좌표에 대응하는 복수의 색인된 색상 값을 생성할 수 있다. 일부 구현에서, 시스템은 복수의 색인된 색상 값을 주석에 대한 맵으로 저장할 수 있다. 일부 구현에서, 시스템은 제2 GUI 요소를 통해 디스플레이된 제2 타일 내에서 식별된 주석에 기초하여 대응하는 복수의 GUI 요소 내에서 복수의 타일의 디스플레이를 갱신할 수 있다.

일부 구현에서, 시스템은, 복수의 타일 중 제3 타일에 대해, 생체의학 영상의 각각의 부분을 식별할 수 있다. 일부 구현에서, 시스템은 생체의학 영상의 나머지 부분을 유지하면서, 적어도 하나의 타일에 대한 각각의 부분에 색상 수정 동작을 적용할 수 있다. 일부 구현에서, 시스템은 각각의 부분에 대한 색상 수정 동작의 적용에 기초하여 복수의 GUI 요소의 대응하는 GUI 요소 내에서 제3 타일의 디스플레이를 갱신할 수 있다. 일부 구현에서, 시스템은 복수의 타일이 유도되는 생체의학 영상에 대한 출처를 식별할 수 있다. 일부 구현에서, 시스템은 복수의 색상 수정 동작으로부터 선택할 수 있다. 일부 구현에서, 색상 수정 동작은 생체의학 영상에 대해 식별된 출처에 기초할 수 있다.

이들 및 다른 양상 및 구현은 아래에서 상세히 논의된다. 전술한 정보 및 다음의 상세한 설명은 다양한 양상 및 구현의 예시적인 예를 포함하고, 청구된 양상 및 구현의 성질 및 특성을 이해하기 위한 개요 또는 프레임워크를 제공한다. 도면은 다양한 양상 및 구현에 대한 예시 및 추가 이해를 제공하고, 이 명세서에 통합되어 그 일부를 구성한다. 양상은 조합될 수 있고 발명의 한 양상의 맥락에서 설명된 특징은 다른 양상과 조합될 수 있음을 쉽게 이해할 것이다. 양상은 편리한 형태로 구현할 수 있다. 예를 들어, 유형의 캐리어 매체(예를 들어 디스크) 또는 무형의 캐리어 매체(예를 들어 통신 신호)일 수 있는, 적절한 캐리어 매체(컴퓨터 판독 가능 매체)에서 수행될 수 있는, 적절한 컴퓨터 프로그램에 의해. 양상은 또한 양상을 구현하도록 배열된 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능한 컴퓨터의 형태를 취할 수 있는, 적합한 장치를 사용하여 구현될 수 있다. 명세서 및 청구범위에 사용된 바에 따르면, 단수 형태('a', 'an' 및 'the')는 문맥이 명백하게 달리 지시하지 않는 한 복수의 지시 대상을 포함한다.

개시의 앞선 및 다른 목적, 양상, 특징 및 이점은 첨부 도면과 함께 이루어진 다음의 설명을 참조함으로써 더욱 명백해지고 더 잘 이해될 것이다.
도 1은 예시적인 실시예에 따른, 다양한 벤더와 인터페이스하는 범용 슬라이드 보기의 도면을 도시한다.
도 2는 예시적인 실시예에 따른, 픽셀 단위 라벨링으로 생검을 렌더링하는 범용 슬라이드 뷰어의 인터페이스의 스크린샷을 도시한다.
도 3은 예시적인 실시예에 따른, 생검의 분류를 렌더링하는 범용 슬라이드 뷰어의 인터페이스의 스크린샷이다.
도 4는 예시적인 실시예에 따른, 동시 디스플레이를 위한 생체의학 영상의 다중 보기(multiple views)를 제공하는 시스템을 도시한다.
도 5는 예시적인 실시예에 따른, 생체의학 영상의 다중 타일 및 그래픽 사용자 인터페이스에서의 각각의 디스플레이 영역의 블록도 표현을 도시한다.
도 6은 예시적인 실시예에 따른, 패닝 또는 줌 동작을 거치고 있는 생체의학 영상의 하나 이상의 타일에서의 변경의 블록도를 도시한다.
도 7은 예시적인 실시예에 따른, 색상 변경 동작을 거치고 있는 생체의학 영상의 하나 이상의 타일의 블록도를 도시한다.
도 8은 예시적인 실시예에 따른, 동시 디스플레이를 위한 생체의학 영상의 다중 보기를 제공하는 예시적인 방법의 흐름도를 도시한다.
도 9는 예시적인 실시예에 따른, 서버 시스템 및 클라이언트 컴퓨터 시스템의 블록도를 도시한다.

범용 슬라이드 보기를 사용하여 생체의학 영상의 다중 확대 보기를 제공하는 것을 포함하는 본 기술은 병리학자 또는 다른 의료 전문가가 향상된 도구를 사용하여 의료 영상을 보고 주석을 달 수 있게 한다. 개시된 개념이 임의의 특정 방식의 구현으로 제한되지 않기 때문에, 위에서 도입되고 아래에서 더 상세히 논의되는 다양한 개념은 임의의 다양한 방식으로 구현될 수 있음을 이해해야 한다. 특정 구현 및 애플리케이션의 예는 기본적으로 설명을 위해 제공된다.

섹션 A는 하나 이상의 예시적인 구현에 따른 범용 슬라이드 뷰어를 설명한다.

섹션 B는 하나 이상의 구현에 따른, 상이한 배율 수준에서 생체의학 영상의 다양한 보기를 제공하는 시스템 및 방법을 설명한다.

섹션 C는 본원에 설명된 다양한 실시예를 실행하는 데 유용할 수 있는 네트워크 환경 및 컴퓨팅 환경을 설명한다.

A. 범용 슬라이드 뷰어

병원은 생체의학 영상 기술을 위한 다수의 벤더, 스캐너 또는 파일 형식을 가질 수 있으며, 따라서 생체의학 영상을 렌더링하기 위한 다수의 애플리케이션 또는 서비스를 가질 수 있다. 특정 뷰어는 벡터 기반 그래픽 주석만을 지원할 수 있으며, 이는 정확하지 않고 불일치가 발생할 수 있다. 디지털 슬라이드의 수동 평가는 환자당 디지털 슬라이드가 점점 더 많아짐에 따라 점점 더 많은 시간이 소요될 수 있다.

적어도 위에서 제시한 문제를 해결하기 위해, 도 1을 참조하면, 범용 슬라이더는 상이한 해상도와 색상 구성(color scheme)에 대해 표준화된, 상이한 벤더에 대한 보기를 가능하게 할 수 있다. 다중 보기 및 회의 세션 지원. 도 2를 참조하면, 슬라이드 뷰어는 다양한 배율에서 슬라이드의 매끄럽고 빠른 픽셀-정밀도의(pixel-accurate) 주석을 지원한다. 래스터화된 BMP 영상은 주석을 저장한다. 도 3을 참조하면, 뷰어는 단계 1 및 2의 슬라이드 및 주석에 기초하여 자동화된 기계 학습 모델의 훈련 및 테스트를 지원한다. 분류 결과는 정량적으로(결과 테이블) 및 정성적으로(예측 지도, 열 지도, 신뢰 지도 등의 오버레이) 시각화된다. 따라서 정보에 입각한 결정 지원이 계산 병리학의 다양한 애플리케이션에 제공될 수 있다.

1(a). 각 배율에 대한 해상도 표준화

상이한 벤더/스캐너는 동일한 배율에 대해서도 픽셀당 상이한 해상도로 스캔한다. 따라서, "20x"는 스캐너마다 상이하게 크게 보일 수 있다. 반면, 병리학자는 "20x"가 모든 슬라이드에 대해 동일한 크기라고 인식한다. 따라서, 슬라이드 뷰어는 (SlideObjectivePower * SlideMPP / 20) / 0.45 식을 사용하여 20x가 항상 0.45μm/px의 동일한 해상도를 갖도록 줌 수준에 대한 표준화 요소를 포함하며, 여기에서 SlideObjectivePower는 현재 슬라이드의 대물 배율(objective power)이고 SlideMPP는 현재 슬라이드의 해상도이다. 다른 확대 수준도 유사하게 표준화된다.

1(b). 페이딩(fading) 및 색상 이동(color shift)을 보상하기 위한 각 유형의 염색에 대한 색상 구성 표준화

상이한 스캐너는 영상을 스캔할 때 상이한 색상표를 갖는다(디지털 카메라가 동일한 장면을 약간 다른 색상으로 나타내는 것과 유사함). 또한 색상 구성은 시간이 지남에 따라 변경될 수 있으며, 구형 스캐너는 새 것에 비해 색이 바래거나 편향되어 표시된다. 반면, 병리학자는 스캐너의 벤더나 연식에 관계없이 슬라이드가 유사하게 보이는 것으로 이해한다. 슬라이드 뷰어는 H&E 염색 슬라이드가 색상에 대해 서로 유사하게 보이도록 타일 색상을 표준화하여 색상 편향을 보상한다(페이딩 및 색상 이동에 대한 보상).

2(a). 상이한 배율의 여러 작은 창을 갖는 기본 슬라이드 창

뷰어는 향상된 슬라이드 조사를 위해 다중 보기를 지원한다(대형 화면에서 가장 적합함). 이것은 다음을 포함한다:

로그아웃 보기(signout view): 슬라이드를 보는 하나의 기본 창. 그 옆에는 점점 더 높은 배율 수준으로 동일한 슬라이드가 있는 2 내지 3개의 작은 창이 있다. 장점: 병리학자는 레버(현미경)를 전환하거나 버튼을 클릭(다른 뷰어)하지 않고도 다양한 배율로 슬라이드를 즉시 조사할 수 있다.

2(b). 여러 슬라이드가 동시에 디스플레이되고 슬라이드 표시 영역, 줌 등의 측면에서 서로 동기화됨

다중 보기: 탐색과 동기화하여, 2개 또는 4개(또는 그 이상)의 슬라이드가 나란히 디스플레이된다. 슬라이드가 동기적으로 패닝 및 줌되도록, 상이한 슬라이드 치수 및 줌이 보상된다. 장점: 병리학자는 동일한 조직의 상이한 염색(예를 들어 H&E, IHC, MIB-1, CD3 등)을 즉시 볼 수 있다. 이것은 조직의 평가를 용이하게 한다.

3. 추가 소프트웨어 구성요소 없이 뷰어 내 화면 공유

뷰어는 회의 세션을 지원한다: 누구나 쉽게 특정 시간에 대한 회의와 이 회의에 대한 슬라이드 모음을 만들 수 있다. 주어진 시간에 회의에 참여하는 사람들은 "선도자(lead)"가 보고 탐색하는 내용을 화면에서 볼 수 있다. 이것은 공유 데스크탑 화면과 매우 유사하지만, 추가 화면 공유 소프트웨어가 필요하지 않고, 뷰어에서 완전히 구현된다. 장점: 교육 목적(교사, 학생) 및 원격 세션(회의/협정 세션, 현장에 병리학자가 없는 종양 위원회)에 유용하다.

4. 타일 별(tile-by-tile) 즉석(on-the-fly) 거짓 색상(false color) 표현

아웃 뷰어는 사전 계산 없이 슬라이드의 즉석 거짓 색상 표현을 지원한다. 이는 사용자에게 현재 표시되는 타일만을 편집하여 수행된다. 예로는 색상 디콘볼루션(deconvolution) 표준화 색상(RGB -> R/(R+G+B), G/(R+G+B), B/(R+G+B)), 광학 밀도(RGB -> -log10( R/255), -log10(G/255), -log10(B/255))가 있다.

5. 주석 검토를 위한 감독 모드(supervision mode)

뷰어는 (상급) 병리학자가 다른 (하급) 병리학자의 주석을 검토할 수 있는 감독 모드를 지원한다. 이는 예를 들어 연구원이 많은 슬라이드에 주석을 달고 상급 병리학자가 검토하는 대규모 주석의 경우 유익하다. 이는 슬라이드 뷰어를 사용하여 개별 사용자의 상이한 접근 수준을 구현하여 해결된다.

6. 오픈슬라이드(openslide) 사용

타일 서버는 openslide 라이브러리를 사용하여, 현재 배율로, 소유하고 있는 파일 형식으로부터 현재 보고 있는 타일을 추출한다. 이는 슬라이드의 관련 부분에만 접근하여, 서버로부터 클라이언트로 최적의 데이터 스트리밍을 가능하게 한다.

7. 부하 분산(load balancing)

여러 사용자가 동시에 여러 파일에 접근하기 때문에, 4개의 타일 서버로부터 스트리밍되는 타일에 부하 분산이 구현된다. 이러한 타일 서버는 물리적 서버 또는 클라우드의 가상 서버일 수 있다.

8. 캐시된 영상 타일의 직접 전달

클라이언트로의 타일 전달 속도를 증가시키기 위해, 생성된 타일(openslide 라이브러리에 의해 원래 스캔 파일로부터 생성됨)은 jpg 또는 png로 서버에 캐시된다. openslide를 사용하여 새 타일을 생성하고 결과 영상 타일을 전달하는 것은 캐시된 영상 타일을 직접 전달하는 것보다 훨씬 느리다. 따라서 캐시 절차는 보기 속도를 크게 증가시킨다.

9. 슬라이드 뷰어의 라벨 지정

슬라이드 뷰어는 컴퓨터 마우스, 펜, 손가락 또는 다른 입력 디바이스(컴퓨터 디바이스에 따라 다름)를 사용한 영상에 대한 그리기(painting)를 지원한다.

주석은 오버레이로 시각화되고 4bpp 비트맵으로 저장된다. 이러한 픽셀당 4비트 비트맵은 다음을 허용한다:

* 큰 치수(100k x 80k 픽셀)에 대해서도 작은 파일 크기. 4bpp 비트맵은 압축률이 높다.

* 파일당 16개의 상이한 주석.

* 영상에 대한 빠르고 쉬운 그리기, 정확한 픽셀 라벨 및 예를 들어 벡터 기반 주석으로 쉽게 가능하지 않은 도넛 모양의 주석.

여전히, 압축되지 않은 경우 파일 크기가 매우 크다는 단점이 있다(~1Gb). 따라서, 라벨 파일을 RAM에 로드하는 것은 문제가 될 수 있다. 이 문제는 메모리 매핑된 파일을 사용하여 해결된다. 메모리 매핑된 파일을 사용하면 다음이 가능하다:

* 상이한 프로세스(예를 들어 분류 및 보기 프로세스)에서도 하나의 라벨 파일에 동시 접근.

* 해당 파일의 빠른 읽기 및 쓰기.

스크립트 및 루틴은 이러한 파일에 접근(읽기/쓰기)하도록 구성되었다. 이러한 스크립트는 조직 영상에 대한 피라미드 아키텍처에 맞게 피라미드 수준 접근을 구성한다. 이는 뷰어에서 현재 보고 있는 라벨 파일의 일부만이 현재 배율로 클라이언트로 스트리밍되도록 보장한다. 이는 스트리밍된 데이터를 크게 줄이고 주석 보기 프로세스를 빠르게 한다.

로컬 클라이언트 디바이스에서 오버레이(및 기본 슬라이드 영상)는 OpenSeadragon 라이브러리를 사용하여 시각화된다. 이 라이브러리는 원활한 줌 및 패닝을 가능하게 한다. 클라이언트 디바이스 상에서 그리기 자체는 fabric.js용 OpenSeadragon 플러그인을 사용하여 구현된다.

10. 실험 설정 인터페이스

뷰어는 실험 설정 인터페이스를 갖는다:

* 사용자는 새로운 실험을 생성하고, 훈련 및 테스트 세트로 포함되어야 하는 영상을 선택한다.

* 사용자는 훈련 및 테스트 영상의 다른 클래스에 대한 주석(예를 들어 자체 주석 또는 다른 주석으로부터)을 제공한다.

* 사용자는 데이터 세트에서 훈련 및 테스트할 알고리즘을 선택한다. 알고리즘은 모듈식이며 플러그인할 수 있다. 일반적으로, 적절한 알고리즘은 계산 병리학 연구 그룹에서 개발한다.

* 뷰어는 서버에서 로컬로 또는 HPC 클러스터에 접근하여 기계 학습 알고리즘을 훈련하고 테스트한다.

* 결과는 저장되고 사용자에게 시각화된다. 열 지도의 오버레이 영상과 같은 정성적 결과뿐만 아니라 정량화된 오류 측정값(예를 들어 정확도, 정밀도, 재현율 등)이 보고된다. 이러한 열 지도는 유사한 4bbp 비트맵이며 라벨 파일과 유사하게 처리된다.

* 사전 훈련된 분류기의 적용은 다음과 같다.

* 사용자는 분류할 슬라이드 또는 슬라이드 세트(예를 들어 전립선암 슬라이드)를 선택한다.

* 사용자는 사용 가능한 분류기 목록에서 사전 훈련된 분류기를 선택한다. 이러한 분류기는 (예를 들어 연구 그룹에 의해) 상이한 데이터 세트에서 미리 개발 및 검증되었다(예를 들어 전립선암 글리슨(Gleason) 점수 예측기).

* 뷰어는 서버 기계에서 로컬로 또는 HPC 클러스터를 사용하여, 선택한 슬라이드에 분류기를 적용한다.

* 결과는 저장되고 사용자에게 시각화된다. 열 지도의 오버레이 영상과 같은 정성적 결과뿐만 아니라 정량화된 오류 측정값(예를 들어 정확도, 정밀도, 재현율 등)이 보고된다. 이러한 열 지도는 유사한 4bbp 비트맵이며 라벨 파일과 유사하게 처리된다.

B. 상이한 배율 수준에서 생체의학 영상을 렌더링하는 시스템 및 방법

병리학자 및 다른 의료 전문가는 종종 예를 들어 현미경 또는 다른 영상 기술을 사용하여 다양한 배율 수준으로 슬라이드를 본다. 기존 현미경의 한 가지 제한 사항은 보기 기능이다. 주어진 시간에 하나의 단일 배율 보기만이 시청자에게 디스플레이될 수 있다. 특정 작업에 다른 보기가 필요한 경우, 현미경의 배율 수준을 변경해야 한다. 컴퓨터 영상 기술의 발전으로, 조직 샘플에서 매우 높은 해상도의 영상을 얻을 수 있다. 초고해상도 영상은 종종 크기가 매우 크며 렌더링에 상당한 계산 자원을 필요로 한다. 또한, 생체의학 영상 뷰어는 주어진 시간에 단일 배율 수준만을 렌더링할 수 있다는, 기존 현미경과 유사한 문제를 겪고 있다.

생체의학 영상에서 또는 현미경 하에서 조직 샘플을 분석할 때, 병리학자는 종종 생체의학 영상을 다양한 배율 수준으로 분석하여 조직 샘플의 특정 품질을 다양한 척도에서 평가한다. 그러나, 계속해서 보기를 전환하는 것은 번거로울 수 있다. 따라서, 시스템이 상이한 배율에서 생체의학 영상을 렌더링할 수 있는 추가 보기 화면을 제공하는 것이 유리할 것이다. 본 개시의 시스템 및 방법은 그러한 해결책을 제공한다.

본원에 설명된 시스템 및 방법은 상이한 배율 수준에서 동시에 생체의학 영상의 다중 보기를 렌더링할 수 있는 범용 슬라이드 뷰어를 제공한다. 다중 보기의 각각은 생체의학 영상에서 관심 좌표에 동기화될 수 있어, 기본 디스플레이 창의 위치나 배율을 변경하지 않고도 동일한 좌표를 상이한 배율 수준에서 볼 수 있다. 추가 보기는 사용자가 필요에 따라 인스턴스화하거나 해제할 수 있으며, 각각은 실시간으로 배율 수준 전반에 걸쳐 픽셀 수준의 세분화된 주석을 제공하는 데 사용할 수 있다. 생체의학 영상은 종종 매우 크기 때문에, 렌더링 서버는 사용자가 요청한 생체의학 영상의 부분만을 선택하여 렌더링할 수 있다. 사용자는 범용 슬라이드 뷰어에서 제공하는 인터페이스를 통해 실시간으로 의료 영상의 다른 부분을 요청할 수 있다. 따라서, 본원에 설명된 시스템 및 방법은 가시적인 생체의학 영상의 부분만을 렌더링함으로써 생체의학 영상 렌더링 플랫폼에 대한 기술적 개선을 제공한다. 이 기술적 해결책의 이러한 및 다른 양상은 아래에 더 자세히 설명되어 있다.

이제 도 4를 참조하면, 생체의학 영상을 렌더링하기 위한 하나 이상의 보기 영역을 제시하는 예시적인 시스템(400)의 블록도가 도시되어 있다. 시스템(400)은 적어도 하나의 컴퓨팅 시스템(405), 적어도 하나의 클라이언트 디바이스(420A-N)(때때로 일반적으로 "클라이언트 디바이스(들)(420)"로 지칭됨), 적어도 하나의 네트워크(410) 및 적어도 하나의 데이터 저장소(415)를 포함할 수 있다. 일부 구현에서, 컴퓨팅 시스템(405)은 데이터 저장소(415)를 포함할 수 있고, 일부 구현에서 데이터 저장소(415)는 컴퓨팅 시스템(405)의 외부에 있을 수 있다. 예를 들어, 데이터 저장소(415)가 컴퓨팅 시스템(405)의 외부에 있을 때, 컴퓨팅 시스템(405)(또는 그 구성요소)은 네트워크(410)를 통해 데이터 저장소(415)와 통신할 수 있다. 컴퓨팅 시스템(405)은 적어도 하나의 타일 식별기(425), 적어도 하나의 디스플레이 제공기(430), 적어도 하나의 상호작용 검출기(435) 및 적어도 하나의 타일 수정기(440)를 포함할 수 있다. 데이터 저장소(415)는 적어도 하나의 생체의학 영상(들)(450) 및 적어도 하나의 주석 데이터(455)를 포함할 수 있다.

시스템(400)의 각 구성요소(예를 들어, 컴퓨팅 시스템(405), 클라이언트 디바이스(420), 네트워크(410), 타일 식별기(425), 디스플레이 제공기(430), 상호작용 검출기(435), 타일 수정기(440), 데이터 저장소(415) 등)는, 예를 들어, 도 9와 함께 본원에서 아래에서 설명되는 서버 시스템(900) 또는 클라이언트 컴퓨터 시스템(914)을 포함하여, 본원에 설명된 다양한 컴퓨팅 디바이스 중 임의의 것을 사용하여 구현될 수 있다. 컴퓨팅 시스템(405)은 섹션 A에서 위에서 본원에 설명된 임의의 특징 또는 기능을 수행할 수 있다.

더 상세하게는, 컴퓨팅 시스템(405)은 적어도 하나의 프로세서 및 메모리, 예를 들어, 처리 회로를 포함할 수 있다. 메모리는, 프로세서에 의해 실행될 때, 프로세서가 본원에 설명된 하나 이상의 동작을 수행하게 하는 프로세서 실행 가능 명령을 저장할 수 있다. 프로세서는 마이크로프로세서, 주문형 집적 회로(ASIC), 현장 프로그램 가능 게이트 어레이(FPGA) 등, 또는 이들의 조합을 포함할 수 있다. 메모리는 전자, 광학, 자기, 또는 프로세서에 프로그램 명령을 제공할 수 있는 임의의 다른 저장 또는 전송 디바이스를 포함할 수 있지만 이에 제한되지 않는다. 메모리는 플로피 디스크, CD-ROM, DVD, 자기 디스크, 메모리 칩, ASIC, FPGA, 읽기 전용 메모리(ROM), 임의 접근 메모리(RAM), 전기적으로 소거 가능한 프로그램 가능한 ROM(EEPROM), 소거 가능한 프로그램 가능한 ROM(EPROM), 플래시 메모리, 광학 매체 또는 프로세서가 명령을 읽을 수 있는 다른 적절한 메모리를 더 포함할 수 있다. 명령은 임의의 적절한 컴퓨터 프로그래밍 언어의 코드를 포함할 수 있다. 컴퓨팅 시스템(405)은 본원에 설명된 다양한 기능을 수행할 수 있는 하나 이상의 컴퓨팅 디바이스 또는 서버를 포함할 수 있다. 컴퓨팅 시스템(405)은 도 9와 관련하여 본원에 설명된 서버 시스템(900) 또는 클라이언트 컴퓨팅 시스템(914)의 구성요소 중 일부 또는 전부를 포함할 수 있고 기능 중 일부 또는 전부를 수행할 수 있다.

네트워크(410)는 인터넷, 로컬, 광역, 메트로 또는 다른 영역 네트워크, 인트라넷, 위성 네트워크, 음성 또는 데이터 이동 전화 통신 네트워크와 같은 다른 컴퓨터 네트워크, 및 이들의 조합과 같은 컴퓨터 네트워크를 포함할 수 있다. 일부 구현에서, 네트워크(410)는 도 9와 관련하여 아래에서 본원에 설명되는 네트워크(929)의 하나 이상의 양상이거나, 그 일부이거나, 이를 포함할 수 있다. 시스템(1)의 컴퓨팅 시스템(405)은 네트워크(410)를 통해, 예를 들어 적어도 하나의 클라이언트 디바이스(420A)와 통신할 수 있다. 네트워크(410)는 다른 것들 중에서도 클라이언트 디바이스(420A), 컴퓨팅 시스템(405), 및 웹 서버와 같은 하나 이상의 콘텐츠 출처 사이에서 정보를 중계할 수 있는 임의의 형태의 컴퓨터 네트워크일 수 있다. 일부 구현에서, 네트워크(410)는 인터넷 및/또는 근거리 통신망(LAN), 광역 통신망(WAN), 셀룰러 네트워크, 위성 네트워크, 또는 다른 유형의 데이터 네트워크와 같은 다른 유형의 데이터 네트워크를 포함할 수 있다. 네트워크(410)는 또한 네트워크(410) 내에서 데이터를 수신 및/또는 전송하도록 구성된 임의의 수의 컴퓨팅 디바이스(예를 들어, 컴퓨터, 서버, 라우터, 네트워크 스위치 등)를 포함할 수 있다. 네트워크(410)는 또한 임의의 수의 유선 및/또는 무선 연결을 포함할 수 있다. 본원에 설명된 컴퓨팅 디바이스(예를 들어, 컴퓨팅 시스템(405), 서버 시스템(900), 클라이언트 컴퓨팅 시스템(914) 등) 중 임의의 것 또는 모두는 네트워크(410)의 다른 컴퓨팅 디바이스에 (예를 들어, 광섬유 케이블, CAT5 케이블 등을 통해) 유선 연결된(hardwired) 된 송수신기와 무선으로(예를 들어, WiFi, 셀룰러, 라디오 등을 통해) 통신할 수 있다. 본원에 설명된 컴퓨팅 디바이스(예를 들어, 컴퓨팅 시스템(405), 서버 시스템(900), 클라이언트 컴퓨팅 시스템(914) 등) 중 임의의 것 또는 모두는 또한 프록시 디바이스(예를 들어, 라우터, 네트워크 스위치, 또는 게이트웨이)를 통해 네트워크(410)의 컴퓨팅 디바이스와 무선으로 통신할 수 있다.

데이터 저장소(415)는 본원에 설명된 정보 중 임의의 것을 저장 및/또는 유지하도록 구성된 데이터베이스일 수 있다. 데이터 저장소(415)는 하나 이상의 데이터 구조를 유지할 수 있으며, 이는 본원에 설명된 값, 복수, 세트, 변수, 벡터 또는 임계값 각각을 포함하거나, 색인하거나, 그렇지 않으면 저장할 수 있다. 데이터 저장소(415)는 하나 이상의 메모리 주소, 색인 값, 또는 데이터 저장소(415)에 유지되는 임의의 항목, 구조 또는 영역의 식별자를 사용하여 접근할 수 있다. 데이터 저장소(415)는 컴퓨팅 시스템(405)의 구성요소 또는 본원에 설명된 임의의 다른 컴퓨팅 디바이스에 의해 네트워크(410)를 통해 접근될 수 있다. 일부 구현에서, 데이터 저장소(415)는 컴퓨팅 시스템(405)의 내부에 있을 수 있다. 일부 구현에서, 데이터 저장소(415)는 컴퓨팅 시스템(405)의 외부에 존재할 수 있고, 네트워크(410)를 통해 접근될 수 있다. 데이터 저장소(415)는 많은 상이한 컴퓨터 시스템 또는 저장 요소에 걸쳐 분산될 수 있고, 네트워크(410) 또는 적절한 컴퓨터 버스 인터페이스를 통해 접근될 수 있다. 컴퓨팅 시스템(405)은, 컴퓨팅 시스템(405)의 메모리의 하나 이상의 영역 또는 데이터 저장소(415) 내에, 임의의 또는 모든 계산, 결정, 선택, 식별, 생성, 구성 또는 계산의 결과를 적절한 값으로 색인되거나 식별되는 하나 이상의 데이터 구조 내에 저장할 수 있다. 데이터 저장소(415)에 저장된 임의의 또는 모든 값은 컴퓨팅 시스템(405)과 같은 본원에 설명된 임의의 컴퓨팅 디바이스에 의해 접근되어, 본원에 설명된 기능 또는 함수 중 임의의 것을 수행할 수 있다.

클라이언트 디바이스(420)는 적어도 하나의 프로세서 및 메모리, 예를 들어, 처리 회로를 포함할 수 있다. 메모리는, 프로세서에 의해 실행될 때, 프로세서가 본원에 설명된 하나 이상의 동작을 수행하게 하는 프로세서 실행 가능 명령을 저장할 수 있다. 프로세서는 마이크로프로세서, 주문형 집적 회로(ASIC), 현장 프로그램 가능 게이트 어레이(FPGA) 등, 또는 이들의 조합을 포함할 수 있다. 메모리는 전자, 광학, 자기, 또는 프로세서에 프로그램 명령을 제공할 수 있는 임의의 다른 저장 또는 전송 디바이스를 포함할 수 있지만 이에 제한되지 않는다. 메모리는 플로피 디스크, CD-ROM, DVD, 자기 디스크, 메모리 칩, ASIC, FPGA, 읽기 전용 메모리(ROM), 임의 접근 메모리(RAM), 전기적으로 소거 가능한 프로그램 가능한 ROM(EEPROM), 소거 가능한 프로그램 가능한 ROM(EPROM), 플래시 메모리, 광학 매체 또는 프로세서가 명령을 읽을 수 있는 다른 적절한 메모리를 더 포함할 수 있다. 명령은 임의의 적절한 컴퓨터 프로그래밍 언어의 코드를 포함할 수 있다. 클라이언트 디바이스(420)는 본원에 설명된 다양한 기능을 수행할 수 있는 하나 이상의 컴퓨팅 디바이스 또는 서버를 포함할 수 있다. 클라이언트 디바이스(420)는 도 9와 관련하여 아래에서 본원에 설명된 서버 시스템(900) 또는 클라이언트 컴퓨팅 시스템(914)의 구성요소 중 일부 또는 전부를 포함할 수 있고 기능 중 일부 또는 전부를 수행할 수 있다.

클라이언트 디바이스(420)는 하나 이상의 그래픽 사용자 인터페이스(GUI)에 임의의 정보를 디스플레이하도록 구성될 수 있다. GUI는 웹 브라우저, 기본(native) 애플리케이션, 또는 다른 종류의 생체의학 영상(450) 보기 애플리케이션과 같은, 클라이언트 디바이스(420) 상에서 실행되는 하나 이상의 애플리케이션의 일부이거나 그 내부에서 렌더링될 수 있다. GUI에서 정보를 디스플레이하기 위해, 클라이언트 디바이스(420)는 예를 들어 클라이언트 디바이스(420)의 디스플레이 상에 렌더링될 픽셀에 대응하는 내부 메모리로부터 디스플레이 정보에 접근할 수 있다. 디스플레이 정보는 상이한 디스플레이 형태, 영상, 또는 다른 실행 가능한 입력 객체 중에서 영상 타일, 버튼, 스크롤 막대, 텍스트 입력 상자, 라디오 상자, 체크박스와 같은 하나 이상의 다루기 힘든 개체를 포함할 수 있는 그래픽 사용자 인터페이스의 다른 양상을 생성하기 위한 명령을 포함할 수 있다. 일부 구현에서, 클라이언트 디바이스(420)는 컴퓨팅 시스템(405)과 같은 외부 출처로부터 디스플레이 정보의 적어도 일부를 수신할 수 있다. 예를 들어, 클라이언트 디바이스(420)는 네트워크(410)를 통해 컴퓨팅 시스템(405)으로부터 디스플레이 정보를 포함하는 하나 이상의 패킷을 수신할 수 있다.

클라이언트 디바이스(420)는 배율, 좌표, 또는 다른 영상 매개변수에 대응하는 영상 데이터와 같은 디스플레이 정보에 대한 하나 이상의 요청을 컴퓨팅 디바이스에 보낼 수 있다. 클라이언트 디바이스(420)에 의해 전송된 디스플레이 정보에 대한 요청은 상호작용 정보를 포함할 수 있다. 예를 들어, 상호작용(예를 들어, 탭, 클릭, 드래그, 더블 클릭, 더블 탭 등)을 수신하면, 클라이언트 디바이스(420)는 상호작용 정보를 포함하는 요청을 전송할 수 있다. 일부 구현에서, 클라이언트 디바이스(420)는 상호작용을 처리하여 상호작용의 유형을 사전에 번역 또는 디코딩하고, 디코딩된 상호작용 정보를 디스플레이 정보에 대한 요청에 포함할 수 있다. 예를 들어, 클라이언트 디바이스(420)는 스크롤 바와의 상호작용을 현재 디스플레이되지 않은(예를 들어, 프레임 외 등) 디스플레이 정보에 대한 요청으로서, 또는 현재 디스플레이 정보를 클라이언트 디바이스(420)의 GUI 내의 다른 위치로 패닝 또는 이동하라는 요청으로서 번역할 수 있다. 디스플레이 정보에 대한 하나 이상의 요청을 전송한 후, 클라이언트 디바이스(420)는 요청된 디스플레이 정보(예를 들어, 생체의학 영상(450)의 하나 이상의 타일, 생체의학 영상(450)의 하나 이상의 부분, 생체의학 영상(450)에 대해 수행된 하나 이상의 동작 등)을 포함하는 하나 이상의 응답을 컴퓨팅 시스템(405)으로부터 수신할 수 있다. 일부 구현에서, 클라이언트 디바이스(420)는 검출된 상호작용을 처리하고 로컬 저장된 디스플레이 정보에 대해 대응하는 원하는 동작을 수행할 수 있다.

데이터 저장소(415)는 하나 이상의 생체의학 영상(450)을 유지할 수 있다. 생체의학 영상(450)은 영상 데이터를 생체의학 영상(450) 형식으로 번역하도록 구성된 디바이스와 같은 하나 이상의 조직병리학적 영상 준비기로부터 수신될 수 있다. 생체의학 영상(450)은 하나 이상의 픽셀에서 조직 샘플의 하나 이상의 부분을 묘사할 수 있다. 각 생체의학 영상(450)의 픽셀은 픽셀의 좌표에서 대응하는 색상 값의 강도를 정의하는 하나 이상의 색상 채널을 포함할 수 있다. 일부 구현에서, 생체의학 영상(450)의 각 픽셀의 색상 채널은 적색, 녹색 및 청색(RGB) 색상 채널일 수 있다. 일부 구현에서, 생체의학 영상(450)의 각 픽셀의 색상 채널은 시안(cyan), 옐로우(yellow), 마젠타(magenta) 및 키(CYMK)일 수 있다. 생체의학 영상(450)이 회색조 영상인 구현에서, 각 픽셀은 흑색 강도 또는 백색 강도 중 하나에 대응하는 단일 색상 채널을 가질 수 있다.

일부 실시예에서, 생체의학 영상(450)은 다른 것들 중에서도 광학 현미경, 공초점 현미경, 형광 현미경, 인광 현미경, 전자 현미경과 같은 현미경 기술 또는 조직병리학적 영상 준비기에 따라 생성되거나 획득될 수 있다. 생체의학 영상(450)은 다른 것들 중에서도, 예를 들어, 헤마톡실린 및 에오신(H&E) 염색, 혈철소 염색, 수단 염색, 쉬프 염색, 콩고 레드 염색, 그람 염색, 지엘-닐슨 염색, 오라민-로다민 염색, 트리크롬 염색, 실버 염색 및 라이트 염색 등일 수 있다. 생체의학 영상(450)은 조직병리학적 조사를 수행하기 위한 피험자(예를 들어, 인간, 동물, 또는 식물)의 조직 조각으로부터 유래할 수 있다. 조직 샘플은 인간 또는 동물 피험자의 경우 근육 조직, 결합 조직, 상피 조직, 또는 신경 조직과 같은 피험자의 임의의 부분에서 유래할 수 있다.

생체의학 영상(450)은 PNG, JPEG, GIG, TIFF, PDF, RAW, SVS와 같은 임의의 영상 형식, 또는 OpenSlide 영상과 같은 다른 형식으로 저장될 수 있다. 생체의학 영상(450)은 데이터 저장소(415)의 하나 이상의 색인된 데이터 구조에 저장될 수 있고, 타일 위치(예를 들어, 보고 있는 부분 또는 이력 타일 좌표 및 크기 데이터 등), 부분 위치(예를 들어 생체의학 영상(450)의 특징의 다양한 부분의 위치 및 크기 등), 색상 번역 정보(예를 들어 적용된 색상 동작, 색상 번역 명령 등), 영상 출처 정보(예를 들어, 어떤 디바이스로부터 생체의학 영상(450)이 수신되었는지 등), 주석 정보(예를 들어, 주석 데이터(455) 등)와 같은 다양한 값, 매개변수 또는 다른 정보와 연관되어 저장될 수 있다. 각 생체의학 영상(450)(및 임의의 대응하거나 연관된 정보)은, 예를 들어, 컴퓨팅 시스템(405)의 구성요소 중 임의의 것, 또는 시스템(400)의 임의의 다른 컴퓨팅 디바이스에 의해, 예를 들어 네트워크(410)를 통해 또는 다른 적절한 통신 버스를 통해 접근될 수 있다.

주석 데이터(455)는 예를 들어 생체의학 영상(450)과 연관되어 데이터 저장소(415)에 저장될 수 있다. 이하에서 본원에 설명되는 바와 같이, 컴퓨팅 시스템(405)의 구성요소는 생체의학 영상(450)에 대한 주석 데이터(455)를 생성할 수 있다. 주석 데이터(455)는 대응하는 생체의학 영상(450)의 식별자인 비트맵(BMP) 정보를 포함할 수 있다. 주석 데이터(455)의 비트맵 정보는 비트맵의 각 픽셀이 생체의학 영상(450)의 픽셀에 대응하도록 구성될 수 있다. 따라서, 비트맵 정보는 대응하는 생체의학 영상(450)에 대한 정확한 픽셀 주석을 제공할 수 있다. 비트맵 정보의 픽셀은 고정된 비트 폭(예를 들어 1비트, 2비트, 4비트, 8비트, 16비트, 32비트 등)을 가질 수 있다. 비트맵 정보의 비트 폭은 비트맵 정보가 컴퓨터 저장 자원을 과도하게 활용하지 않고 원하는 양의 주석 데이터(455)를 나타낼 수 있도록 선택될 수 있다. 예를 들어, 일부 생체의학 영상(450)의 경우, 비트 폭은 4비트 폭일 수 있으므로, 따라서 주석 정보를 사용하여 16개의 구분되는 색상을 나타낼 수 있다. 비트맵의 픽셀에 의해 표현되는 각 색상은 색상표(예를 들어 픽셀의 색상 정보(예를 들어 0b0001)를 렌더링 정보(예를 들어 빨간색으로 디스플레이 등)와 연관시키는 표)의 각 정보 또는 다른 주석 관련 정보에 정의되거나 이와 연관될 수 있다. 색상표는 주석 데이터(455)와 연관되거나 그 일부로 저장될 수 있다.

타일 식별기(425)는 생체의학 영상(450)의 부분으로부터 하나 이상의 타일을 식별할 수 있다. 생체의학 영상(450)의 부분으로부터 타일을 식별하기 위하여, 타일 식별기(425)는 데이터 저장소(415)에 접근하여 생체의학 영상(450)을 검색할 수 있다. 일부 구현에서, 타일 식별기(425)는 통신 버스를 통해 또는 네트워크(410)를 통해 다른 컴퓨팅 디바이스로부터 생체의학 영상(450)을 수신할 수 있다. 생체의학 영상(450)으로부터, 타일 식별기(425)는, 예를 들어 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420) 상에서 실행하는 애플리케이션에 의해, 보거나 분석되거나 보기를 요청하는 영상의 부분을 식별할 수 있다. 생체의학 영상(450)의 부분은 부분의 중심(예를 들어, 생체의학 영상(450)에서 관심 위치의 중심 등)의 픽셀 좌표에 기초하여 식별될 수 있다. 관심 부분 또는 위치의 중심의 좌표는, 예를 들어, 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420) 상에서 실행되는 애플리케이션으로부터 수신될 수 있다. 일부 구현에서, 좌표는 기본 좌표일 수 있다(예를 들어, 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420)로부터 좌표가 수신되지 않으면, 생체의학 영상(450)의 중심 픽셀 좌표를 사용 등).

생체의학 영상(450)에서 관심 부분 또는 위치의 중심이 식별된 후, 타일 식별기(425)는 식별된 부분에 대한 폭 및 높이 정보를 결정할 수 있다. 예를 들어, 부분의 폭과 높이는 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420) 상에서 실행되는 애플리케이션에 디스플레이되고 있거나 디스플레이될 보기 창에 대응할 수 있다. 부분의 폭과 높이는 또한 생체의학 영상(450) 부분의 (예를 들어, 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420) 상에서 실행되는 애플리케이션에 의해) 요청된, 또는 기준(예를 들어, 1x 등) 배율 수준에 대응할 수 있다. 생체의학 영상(450)의 부분의 배율 수준은 생체의학 영상(450)의 부분에 적용되는 줌 동작의 양에 대응할 수 있다. 따라서, 1x 배율에서, 생체의학 영상(450)의 부분은 생체의학 영상(450)의 부분의 식별된 좌표가 적용되는 스케일링 동작이 적용되지 않고 애플리케이션의 보기 창에 디스플레이되었다면 볼 수 있는 것에 대응할 수 있다. 타일 식별기(425)는 생체의학 영상(450)의 식별된 부분의 일부로서 결정되는 생체의학 영상(450)의 픽셀을 추출(예를 들어, 컴퓨터 메모리의 다른 영역으로 복사 등)할 수 있다.

생체의학 영상(450)의 부분으로부터, 타일 식별기(425)는 상이한 배율 수준에서 생체의학 영상(450)의 서브세트를 식별하는 하나 이상의 타일을 식별하고 추출할 수 있다. 따라서, 타일은 생체의학 영상(450)의 상이한 해상도 또는 배율에 대응하는 좌표 및 폭을 각각 갖는 생체의학 영상(450)의 식별된 부분 내의 하나 이상의 픽셀일 수 있다. 타일 식별기(425)에 의해 식별된 타일의 수는, 예를 들어, 클라이언트 디바이스(420) 또는 컴퓨팅 시스템(405) 상에서 실행되는 애플리케이션으로부터 수신될 수 있다. 타일 식별기(425)에 의해 식별된 타일의 수는 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420) 중 하나에서 실행 중인 애플리케이션으로부터 수신된 요청된 보기의 수와 동일할 수 있다. 예를 들어, 타일 식별기(425)는 생체의학 영상(450)의 식별된 부분의 6개의 상이한 보기에 대한 요청을 수신할 수 있고, 그런 다음 생체의학 영상(450)의 식별된 부분의 각각 요청된 배율 수준을 갖는6개의 대응하는 타일을 식별할 수 있다. 일부 구현에서, 타일 식별기(425)에 의해 식별된 타일은 생체의학 영상(450)의 식별된 부분과 동기화될 수 있다. 예를 들어, 각 타일은 생체의학 영상(450)의 동일한 위치를 상이한 요청된 배율 수준에서 묘사할 수 있다.

각 배율 수준(예를 들어, 0.5x, 1.0x, 1.1x, 1.5x, 2.5x, 5x, 10x, 15x, 20x, 30x, 40x, 기타 배율 등)은 생체의학 영상(450)의 렌더링의 각 척도에 대응할 수 있다. 예를 들어, 2x 배율로 렌더링되는 생체의학 영상(450)(또는 이의 임의의 부분 또는 타일 등)은 2배 척도(예를 들어, 생체의학 영상(450)의 이중 해상도 버전과 일치하도록 복제된 픽셀 등)로 렌더링된 생체의학 영상(450)의 정보를 포함할 수 있다. 더 큰 척도의 생체의학 영상(450)은 많은 양의 저장 공간을 불필요하게 점유할 수 있기 때문에(예를 들어, 확대된 영상의 작은 부분만이 주어진 시간에 보여짐 등), 타일 식별기(425)는 원하는 좌표 주변의 생체의학 영상(450)에 대한 확대된 보기 영역에 대응하는 타일 또는 영역을 식별할 수 있다. 예를 들어, 요청하는 애플리케이션의 보기 창(또는 다른 GUI 요소 등)은 특정 치수를 갖는 것으로 정의될 수 있다. 이러한 시나리오에서, 타일 식별기(425)는 원하는 좌표에서 요청된 배율 계수 및 보기 창의 디스플레이 치수 둘 다에 대응하는 픽셀 수를 갖는 타일을 식별 및 추출할 수 있다.

예를 들어, 생체의학 영상(450)의 관찰된 부분의 좌표와 동기화되는 요청된 배율 타일이 증가된 배율 수준에서 요청될 수 있다. 특정 병리학적 분석은 다양한 배율 수준에서 동일한 생체의학 영상(450)의 다중 보기를 가짐으로써 개선될 수 있다. 따라서, 타일 식별기(425)는 추출된 타일이 삽입될 보기 창의 치수(예를 들어, 버퍼 영역 등과 같은 보기 창 너머로 확장되는 영역)를 결정할 수 있다. 임의의 크기의 보기 창이 가능하다는 것을 이해하여야 하지만, 비제한적인 예로서, 보기 창의 크기가 200픽셀 x 200픽셀인 것으로 간주한다. 좌표에서 확대된 타일에 대한 요청이 2배 배율이면, 타일 식별기(425)는 100 x 100 픽셀인 비확대 생체의학 영상(450) 영역을 추출해야 함을 식별할 수 있다. 타일 식별기(425)는 그런 다음 타일의 중심에 보기 좌표를 갖는 생체의학 영상(450)의 100 픽셀 x 100 픽셀 영역을 추출할 수 있다. 식별되고 추출된 픽셀은 이후 추가 처리를 위해 디스플레이 제공기(430)에 제공될 수 있다.

2x 배율의 예시적인 경우가 위에서 본원에 설명되었지만, 타일 식별기(425)는 임의의 주어진 배율에 대해 추출할 픽셀의 수 또는 영역을 결정할 수 있다. 예를 들어, 요청된 보기 크기의 각 치수(예를 들어, GUI 요소 크기 또는 버퍼 크기 등)는 각 차원의 픽셀 수(예를 들어 x-차원의 픽셀 수 및 y 차원의 픽셀 수 등)에 도달하기 위해 배율 계수로 나누어질 수 있다. 일부 구현에서, 배율 계수는 1x보다 작을 수 있다(예를 들어, 0.5x). 또한, 요청된 좌표는 타일의 중심을 식별할 필요가 없으며, 대신 왼쪽 상단 모서리, 오른쪽 상단 모서리, 오른쪽 하단 모서리 또는 왼쪽 하단 모서리 등과 같은 타일의 다른 위치를 식별할 수 있음을 이해하여야 한다. 요청된 좌표(예를 들어, 생체의학 영상(450) 내 등)가 타일 내에서 대응하는 위치는 요청에 표시될 수 있다.

디스플레이 제공기(430)는 타일 식별기(425)에 의해 식별 또는 추출된 하나 이상의 타일을 대응하는 GUI 요소(예를 들어, 창, 프레임, 보기 평면, 또는 하나 이상의 영상을 디스플레이할 수 있는 사용자 인터페이스의 다른 영역 등)를 통한 동시 디스플레이를 위해 제공할 수 있다. 위에서 언급한 바와 같이, 병리학적 분석은 예를 들어 다양한 GUI 요소에서 동시에 다른 배율로 생체의학 영상(450) 영역을 관찰함으로써 개선될 수 있다. 예를 들어, 하나의 GUI 요소는 기준 GUI 요소 또는 루트 GUI 요소로 선택될 수 있으며, 이는 예를 들어 컴퓨팅 시스템(405) 또는 클라이언트 디바이스(420)에 의해 생체의학 영상(450)이 디스플레이될 때 생체의학 영상(450)을 보는 제1 GUI 요소에 대응할 수 있다. 기준 GUI 요소 또는 GUI 요소를 제공하는 애플리케이션은 특정 배율 계수 및 특정 좌표(예를 들어, 생체의학 영상(450)의 부분을 디스플레이하는 기준 GUI 요소의 좌표와 동기화된, 다른 좌표 등)에서 생체의학 영상(450)의 타일 또는 부분에 대한 요청을 포함할 수 있는 추가 GUI 요소에 대한 요청을 개시할 수 있는 하나 이상의 실행 가능한 객체를 포함할 수 있다. 이 요청은 위에서 설명된 바와 같이, 생체의학 영상(450)의 하나 이상의 타일을 식별하기 위해 애플리케이션(예를 들어, 클라이언트 디바이스(420) 또는 컴퓨팅 시스템(405) 등 중 하나에서 실행)에 의해 타일 식별기(425)로 제공될 수 있다. 디스플레이 제공기(430)는 타일 식별기(425)로부터 타일을 수신하고, 타일의 해상도가 요청된 GUI 요소의 것과 일치하도록 증가시키기 위해 타일에 스케일링 동작(예를 들어, 2x 배율을 위해 영상의 크기를 두 배로 늘리는 등)을 수행할 수 있다. 디스플레이 제공기(430)는 그런 다음 GUI 요소에 디스플레이하기 위하여 스케일링된 타일을 애플리케이션으로 전송하거나 달리 제공할 수 있다. 일부 구현에서, 디스플레이 제공기(430)는 애플리케이션에서 GUI 요소를 인스턴스화하고 GUI 요소 내에서 대응하는 타일을 렌더링하도록 애플리케이션에 요청하는 명령을 생성할 수 있다. 예를 들어, GUI 요소가 새 창이면, 대응하는 타일은 GUI 요소의 창 내부에 디스플레이될 수 있다. 일부 구현에서, 디스플레이 제공기(430)는 대응하는 GUI 요소에 디스플레이를 위해 타일을 제공하기 전에 타일의 형식을 변경할 수 있다.

상호작용 검출기(435)는 하나 이상의 디스플레이된 GUI 요소로부터 GUI 요소와의 상호작용을 검출할 수 있다. 상호작용은 GUI 요소가 디스플레이되는 클라이언트 디바이스(420)에서 발생할 수 있다. 상호작용은 다른 것들 중에서도 탭, 클릭, 드래그, 더블 클릭, 스크롤 동작 또는 더블 탭을 포함할 수 있다. 특정 상호작용은 패닝 작업 또는 줌 작업과 같은 요청된 작업을 포함할 수 있다. 상호작용을 검출하기 위하여, 상호작용 검출기(435)는 하나 이상의 이벤트 또는 상호작용 수신기를 구현할 수 있다. 이벤트 또는 상호작용 수신기는 디스플레이된 GUI 요소와의 상호작용 메시지를 모니터링할 수 있으며, 상호작용에 대한 정보(예를 들어, 좌표, 지속 시간, 유형 등)가 발생할 때 반환할 수 있다. 상호작용 검출기(435)는 생체의학 영상(450)의 타일을 지정된 배율 및 좌표로 디스플레이하는 새로운 GUI 요소를 인스턴스화하는 동작에 대응하는 실행 가능한 객체와의 상호작용을 검출할 수 있다.

이제 간단히 도 5를 참조하면, 예시적인 실시예에 따른, 그래픽 사용자 인터페이스에서 생체의학 영상(450)의 다중 타일 및 각각의 디스플레이 영역의 블록도 표현이 도시되어 있다. 도 5에 디스플레이된 바와 같이, 생체의학 영상(450)은 대응하는 식별된 부분(505)과 함께 도시된다. 부분은 예를 들어 애플리케이션 창(515) 내의 디스플레이된 타일 중 하나에 대응할 수 있다. 식별된 부분은 대응하는 좌표(예를 들어, 생체의학 영상(450) 내의 x 및 y 좌표 등) 및 대응하는 폭 및 높이를 가질 수 있다. 종합하면, 부분(505)의 좌표 및 폭 및 높이는 생체의학 영상(450) 내의 픽셀의 연속 영역을 나타낼 수 있다. 추가로 설명하면, 타일(510A-N)(때때로 일반적으로 타일(들)(510)으로 지칭됨)이 부분(505)으로부터 식별된다는 것이 도시되어 있다. 타일(510)의 척도(예를 들어, 다른 타일(510)에 대한 크기)에 의해 표시된 바와 같이, 각 타일은 생체의학 영상(450)에서 상이한 수의 픽셀을 나타낼 수 있다. 일반적으로, 타일 픽셀이 많을수록 더 큰 영역을 차지하며, 각 타일이 유사한 치수의 GUI 요소 내에 디스플레이되는 경우 픽셀이 적은 타일보다 더 낮은 배율 수준을 나타낼 수 있다. 도 5에는 3개의 타일(510)만이 도시되어 있지만, 생체의학 영상(450)으로부터 임의의 수의 타일이 식별될 수 있음을 이해해야 한다.

도 5의 우측에 도시된 바와 같이, 애플리케이션 창(515)은 하나 이상의 GUI 요소(520A-N)(때때로 일반적으로 GUI 요소(들)(520)로 지칭됨)를 포함할 수 있다. 애플리케이션 창(515)은 생체의학 영상(450)의 적어도 부분(505)에 접근하는 클라이언트 디바이스(420)에 디스플레이를 위해 제공될 수 있다. 애플리케이션 창(515)은 하나 이상의 상호작용을 수신할 수 있고, 타일(510)에 대해 수행할 동작 유형을 나타내는 하나 이상의 실행 가능한 객체를 포함할 수 있다. 각 GUI 요소(520)는 각각의 타일(510)에 대응할 수 있다(예를 들어, GUI 요소(520A)는 타일(510A)에 대응할 수 있고, GUI 요소(520B)는 타일(510B)에 대응할 수 있는 등). 각 GUI 요소는 치수(예를 들어, 폭 및 높이 등)와 GUI 요소의 위치 또는 치수를 제어하거나 GUI 요소를 해제(예를 들어, GUI 요소의 디스플레이를 중지)하기 위한 하나 이상의 실행 가능한 객체를 가질 수 있다. 일부 구현에서, GUI 요소는 상호작용할 때 대응하는 GUI 요소의 디스플레이를 숨기는 최소화 동작에 대응하는 실행 가능한 객체를 가질 수 있다. 각 GUI 요소는 GUI 요소가 대응하는 타일을 디스플레이하는 보기 부분을 포함할 수 있다. 일부 구현에서, 하나의 GUI 요소가 기준 GUI 요소로 선택될 수 있고, 거기에 디스플레이된 타일이 기준 타일로 선택될 수 있다. 기준 GUI 요소는 GUI 요소와의 하나 이상의 상호작용에 의해, 또는 각각의 GUI 요소에 대응하는 애플리케이션 창(515) 내의 하나 이상의 실행 가능한 객체와의 상호작용에 의해 선택될 수 있다.

이제 다시 도 4를 참조하면, 상호작용 검출기(435)는 패닝 동작과 같이 현재 렌더링된 GUI 요소에 대해 수행하기 위한 하나 이상의 동작을 더 검출할 수 있다. 패닝 동작은 생체의학 영상(450)의 다른 부분을 다른 좌표에서 그러나 동일한 배율로 보기 위한 요청을 나타낼 수 있다. 예를 들어, 클릭 및 드래그 동작, 탭 및 드래그 동작, 또는 스크롤바와 같은 하나 이상의 실행 가능한 객체와의 상호작용에 대한 응답으로 패닝 동작이 제공될 수 있다. 상호작용 검출기(435)는 본원에 설명된 임의의 다른 유형의 상호작용 중에서, 줌 동작 또는 대응하는 GUI 요소에서 렌더링된 타일의 배율을 변경하기 위한 동작을 검출할 수 있다. 줌 동작은 본원에 설명된 임의의 다른 유형의 상호작용 중에서, 줌 동작에 대응하는 실행 가능한 객체와의 상호작용에 응답하여, 또는 GUI 요소와의 클릭 및 드래그 동작에 의해 검출될 수 있다. 상호작용 검출기(435)는 타일의 좌표 또는 타일의 배율 수준을 변경하지 않고 타일의 크기(예를 들어, 대응하는 타일 좌표에 대해 렌더링된 픽셀의 수 등)를 변경할 수 있는 크기 조정(resize) 동작을 추가로 검출할 수 있다. 크기 조정 동작은 예를 들어 GUI 요소의 모서리를 사용한 클릭 및 드래그 동작으로 검출될 수 있다(예를 들어, GUI 요소의 크기를 조정하면 대응하는 동작 요청이 그 안에 디스플레이된 타일의 크기를 조정하게 할 수 있는 등). 일부 구현에서, 상호작용 검출기(435)는 클라이언트 디바이스(420)로부터 하나 이상의 상호작용 메시지 내의 상호작용에 대한 정보를 수신할 수 있다. GUI 요소를 해제하는 동작은 해당 GUI 요소에 대응하는 해제 동작과 연관된 하나 이상의 실행 가능한 객체와의 상호작용을 검출함으로써 검출될 수 있다.

GUI 요소와의 패닝 또는 이동 동작을 나타내는 상호작용에 응답하여, 상호작용 검출기(435)는 GUI 요소에 디스플레이된 타일에 적용할 좌표의 변경을 식별할 수 있다. 이동 또는 패닝 동작은 생체의학 영상(450)의 다른 영역이 대응하는 GUI 요소에서 특정 배율 수준으로 디스플레이되도록 요청되었음을 나타낼 수 있다. 예를 들어, 패닝 또는 이동 상호작용은 생체의학 영상(450)을 나타내는 디스플레이된 타일의 좌표를 (예를 들어, x축, y축 또는 둘 다를 따라) 이동하기 위한 픽셀의 수를 나타낼 수 있다. 현재 타일 좌표 및 타일 좌표의 변화량에 따라, 상호작용 검출기(435)는 타일을 식별하기 위한 새로운 좌표를 결정할 수 있다. 일부 구현에서, 패닝 또는 이동 상호작용은 타일을 식별하거나 추출할 생체의학 영상(450)의 새로운 좌표를 나타낼 수 있다.

GUI 요소와의 줌 동작인 상호작용 표시에 응답하여, 상호작용 검출기(435)는 GUI 요소에 디스플레이된 타일을 식별하거나 추출할 영역의 좌표 변화를 식별할 수 있다. 줌 동작 이전에, 타일은 제1 배율 수준에서 생체의학 영상(450)의 픽셀 수를 나타낼 수 있다. 이 배율 수준이 (예를 들어, 줌 상호작용 등에 대한 응답으로) 변경되도록 요청되면, 상호작용 검출기(435)는 요청된 배율 수준에서 타일을 구성해야 하는 타일의 좌표에 대한 픽셀의 수를 식별할 수 있다. 비제한적인 예로서, 현재 배율 수준이 2x이고 타일이 생체의학 영상(450)의 100픽셀 x 100픽셀 영역을 나타내며, 검출된 줌 동작이 타일을 4x로 디스플레이하도록 요청하는 경우, 상호작용 검출기(435)는 타일이 요청된 줌 수준에서 생체의학 영상(450)의 50픽셀 x 50픽셀 영역을 포함해야 한다고 결정할 수 있다. 상호작용 검출기(435)는, 예를 들어, 요청된 보기 크기(예를 들어, GUI 요소 크기 또는 버퍼 크기 등)의 각 차원을 요청된 배율 계수로 나누어 타일의 각 차원의 픽셀 수(예를 들어, x-차원의 픽셀 수 및 y-차원의 픽셀 수 등)가 되도록 하여 배율의 임의의 변경에 대해 추출할 픽셀의 수 또는 영역을 결정할 수 있음을 이해하여야 한다.

하나 이상의 다른 타일이 패닝 또는 이동 상호작용에 의해 식별된 타일에 동기화되면, 타일 수정기(440)는 배율이나 좌표가 변경되는 타일에 대해 식별된 변경에 기초하여 동기화된 타일 각각을 정의하는 좌표에 적용할 대응하는 변경을 결정할 수 있다. 제1 타일의 좌표가 변경되는 경우, 타일 수정기(440)는 제1 타일에 동기화된 다른 디스플레이된 타일 각각의 좌표를 상호작용 검출기(435)에 의해 제1 타일에 대해 식별된 새로운 좌표로 결정할 수 있다. 일부 구현에서, 모든 타일은 그들이 모두 상이한 배율에서 생체의학 영상(450)의 동일한 좌표를 디스플레이하도록 동기화된다. 일부 구현에서 각 타일은 고유한 독립적인 좌표 및 배율 수준을 가질 수 있다. 일부 구현에서, 오직 하나의 타일(예를 들어, 기준 타일)만이 패닝, 줌 또는 다른 동작을 수신할 수 있고, 다른 타일은 기준 타일에 동기화된다. 일부 다른 구현에서, 임의의 타일이 이동 또는 줌 동작을 수신할 수 있고, 대응하는 GUI 요소에 디스플레이된 임의의 수의 다른 타일과 동기화될 수 있다. 줌 동작의 경우, 타일 수정기(440)는 다른 타일들 각각에 줌 동기화된 다른 타일의 배율의 대응하는 변경을 결정할 수 있다. 2개의 동기화된 GUI 요소에 2개의 타일이 있는 예를 고려한다. 하나는 2x 배율이고 다른 하나는 4x 배율이다. 2x 타일이 4x로 배율을 두 배로 늘리라는 요청을 받으면, 4x 배율에서 동기화된 타일도 또한 동시에 8x로 증가할 수 있다(예를 들어 배율을 두 배로 늘림).

각 동기화된 타일에 대해 결정된 새로운 배율 수준을 사용하여, 타일 수정기(440)는 각 동기화된 타일에 대한 픽셀을 식별하고 추출할 생체의학 영상(450)의 새로운 영역을 결정할 수 있다. 타일 수정기(440)는 타일 좌표(예를 들어, 확대 동작에서 변경되지 않음)에 대해 직사각형에 디스플레이할 픽셀의 수를 식별함으로써 각 타일이 나타내는 영역을 결정할 수 있다. 타일 수정기(440)는 요청된 보기 크기(예를 들어 GUI 요소 크기 또는 버퍼 크기 등)의 각 차원을 요청된 배율 계수로 나누어 타일의 각 차원의 픽셀 수(예를 들어, x-차원의 픽셀 수 및 y-차원의 픽셀 수 등)가 되도록 하여 배율의 임의의 변경에 대해 추출할 픽셀의 수 또는 영역을 결정할 수 있다. 위치를 위해 다른 타일에 동기화된(예를 들어, 생체의학 영상(450)에서 동일한 좌표로 동기화된) 타일이 반드시 동일한 배율 수준으로 동기화되는 것은 아니며 그 반대의 경우도 마찬가지임을 이해해야 한다. 타일 사이의 동기화는, 예를 들어, GUI 요소를 제시하는 애플리케이션의 하나 이상의 실행 가능한 객체를 통해 또는 하나 이상의 기본 구성을 통해 표시되거나 할당될 수 있다.

디스플레이 제공기(430)는 대응하는 GUI 요소에서 타일의 디스플레이를 갱신하기 위해 각 타일에 대해 식별된 새로운 좌표 및 영역을 사용할 수 있다. 디스플레이 제공기(430)는 생체의학 영상(450)으로부터 갱신될(예를 들어, 동작의 대상이 되거나 동작의 대상이 되는 타일에 동기화되는) 타일의 요청된 영역의 픽셀(예를 들어, 새로 식별된 좌표 및 픽셀)을 추출할 수 있다. 생체의학 영상(450)으로부터 각 타일에 대한 새로운 픽셀을 추출한 후, 디스플레이 제공기(430)는 타일의 해상도를 대응하는 GUI 요소의 것과 일치하도록 높이기 위하여 각 타일에 대해 스케일링 동작(예를 들어, 2x 배율을 위해 영상의 크기를 두 배로 늘리는 등)을 수행할 수 있다. 디스플레이 제공기(430)는 그런 다음 GUI 요소에 디스플레이하기 위하여 스케일링된 타일을 애플리케이션으로 전송하거나 달리 제공할 수 있다. 일부 구현에서, 디스플레이 제공기(430)는 각 GUI 요소에 디스플레이된 타일을 새로 추출되고 스케일링된 타일로 갱신하고, GUI 요소에서 대응하는 갱신된 타일을 렌더링하도록 요청하는 애플리케이션에 대한 명령을 생성할 수 있다.

이제 도 6을 간략히 참조하면, 예시적인 실시예에 따른, 패닝 또는 줌 동작을 거치고 있는 생체의학 영상(450)의 하나 이상의 타일의 변화의 블록도가 도시되어 있다. 도시된 바와 같이, 타일(510) 중 적어도 하나는 패닝 동작(605)의 대상이 된다. 도 6에 도시된 패닝 동작은 생체의학 영상(450)에서 부분(505)을 구성하는 타일에 대한 x축을 따라 증가하는 좌표 변화를 나타낸다. 각 타일(510)은 서로 동기화되기 때문에, 각 타일로부터의 픽셀 데이터는 생체의학 영상(450) 부분의 새로운 위치에서 검색되지만, 배율은 동일하다. 따라서, 생체의학 영상(450)의 부분은 좌표의 변화를 가지며 생체의학 영상(450)의 상이한 부분(505')을 차지한다. 모든 타일이 새로운 위치에 동기화됨에 따라, 타일(510) 각각은 변경되어 부분(505) 대신에 상이한 부분(505')의 픽셀을 포함하며, 따라서 갱신된 타일(510')이 되도록 갱신된다. 갱신된 타일(510') 각각은 대응하는 GUI 요소에서 디스플레이를 위해 제공될 수 있다.

이제 다시 도 4를 참조하면, 일부 구현에서, 대응하는 GUI 요소에 디스플레이하기 위하여 타일을 제공하기 전에, 타일 수정기(440)는 각 타일에 대응하는 생체의학 영상(450)의 부분에 색상 수정 동작(본원에서 때때로 가색 표현 또는 색상 보정이라고 함)을 적용할 수 있으며, 생체의학 영상(450)의 나머지 부분은 색상 수정 없이 그대로 유지한다. 생체의학 영상(450)은 다양한 상이한 캡처 디바이스로부터 캡처될 수 있다. 그러나, 상이한 캡처 디바이스는 다른 캡처 디바이스와 상이한 색상 매개변수 또는 값을 가질 수 있다. 분석의 용이성을 위해, 제1 캡처 디바이스를 사용하여 캡처한 조직 샘플의 영상이 제2 캡처 디바이스를 사용하여 캡처한 조직 샘플의 영상과 일치하는 색상을 갖도록, 단일 색상 공간에서 생체의학 영상(450)을 표현하고 디스플레이하는 것이 유리하다. 임의의 유형의 색상 불일치를 보정하기 위해, 타일 수정기(440)는 생체의학 영상(450)의 타일에 대한 색상 수정 옵션을 선택할 수 있다. 색상 수정 옵션은 영상의 색상을 변경하기 위해 생체의학 영상(450)의 픽셀에 적용될 수 있는 하나 이상의 색상 보상 인자(예를 들어, 각 픽셀의 색상 채널 강도 값에 더해지거나 곱해질 수 있는 값)를 포함할 수 있다.

일부 구현에서, 색상 수정 옵션의 선택은 생체의학 영상(450)의 출처(예를 들어, 생체의학 영상(450)을 캡처하는 데 사용되는 캡처 디바이스)에 대응할 수 있다. 예를 들어, 생체의학 영상(450)은 생체의학 영상(450)을 생성하는 데 사용된 캡처 디바이스의 식별자와 연관되어 데이터 저장소(415)에 저장될 수 있다. 생체의학 영상(450)의 출처를 식별하기 위하여, 타일 수정기(440)는 데이터 저장소(415)에 접근하여 생체의학 영상(450)과 연관되어 저장된 캡처 디바이스의 식별자를 검색할 수 있다. 식별자를 사용하여, 타일 수정기(440)는 데이터 저장소(415)로부터 식별자에 대응하는 색상 수정 옵션을 검색 및 선택할 수 있다. 일부 구현에서, 색상 옵션은 하나 이상의 실행 가능한 객체로부터 수신한 입력을 통해 수동으로 선택하거나 적용할 수 있다.

타일 수정기(440)는 컴퓨팅 시스템(405)의 구성요소에 의해 식별된 하나 이상의 타일에 대응하는 생체의학 영상(450)의 부분에 선택된 색상 옵션을 적용할 수 있다. 예를 들어, 타일 수정기(440)는 타일을 구성하는 데 사용되는 생체의학 영상(450)의 영역에 대응하는 생체의학 영상(450)의 픽셀에 접근할 수 있다. 타일 수정기(440)는 선택된 색상 수정의 색상 보상 인자를 사용하여 식별된 영역의 각 픽셀에 대한 하나 이상의 색상 채널 강도 값을 변경할 수 있다. 일부 구현에서, 타일 수정기(440)는 각 픽셀의 색상 채널 강도 값에 하나 이상의 색상 보상 값(예를 들어, 픽셀의 각 색상 강도 값에 대해 하나씩)을 곱할 수 있다. 일부 구현에서, 타일 수정기(440)는 각 픽셀에서 대응하는 하나 이상의 색상 채널 강도 값에 색상 보상 값을 더할 수 있다. 따라서, 타일 수정기(440)는 보정된 색상을 갖는 생체의학 영상(450)의 하나 이상의 부분을 생성할 수 있다. 그런 다음, 생체의학 영상(450)의 색상 보정된 부분은 위에서 본원에 설명된 바와 같이 색상 보정된 타일을 생성하기 위해 하나 이상의 타일을 구성하는 데 사용될 수 있다. 색상 보정된 타일이 구성되면, 디스플레이 제공기(430)는 색상 보정된 타일을 디스플레이하기 위해 대응하는 GUI 요소를 갱신(예를 들어, GUI 요소에서 타일의 디스플레이 교체 등)할 수 있다.

이제 도 7을 간략히 참조하면, 예시적인 실시예에 따른, 색상 변경 동작을 거치고 있는 생체의학 영상(450)의 하나 이상의 타일의 블록도가 도시되어 있다. 도 7에 도시된 바와 같이, 타일(510) 각각은 색상 보정 절차 이전의 제1 색상에서의 형상을 도시한다. 또한, 도시된 바와 같이, 타일(510) 각각은 상이한 배율 수준에서 생체의학 영상(450)의 동일한 부분에 대응한다(예를 들어, 동기화된다). 동작(715)은 타일(510)에 대응하는 생체의학 영상(450) 부분에 존재하는 색상 값에 대해 하나 이상의 변환(예를 들어, 곱셈, 덧셈 등)을 수행하는 것을 포함할 수 있는 색상 변경 동작을 나타낸다. 따라서, 도 7에 도시된 바와 같이, 각 타일(510)은 색상 보정 동작(715)에 의해 갱신되어 갱신된 타일(510*)이 되며, 생체의학 영상(450)의 색상 보정된 부분을 상이한 배율로 디스플레이한다. 타일(510) 각각이 동기화되기 때문에, 그들은 생체의학 영상(450)의 실질적으로 유사한 부분을 상이한 배율로 묘사한다. 따라서, 하나의 타일(510A*)에 디스플레이되는 색상 보정된 픽셀은 또한 적어도 다른 동기화된 색상 보정된 타일(510N*)에 디스플레이된다.

이제 다시 도 4를 참조하면, 상호작용 검출기(435)는 GUI 요소로부터 주석을 식별할 수 있다. 주석은 주석이 추가될 대응하는 GUI 요소에 디스플레이된 타일의 하나 이상의 픽셀 좌표를 식별할 수 있다. 예를 들어, GUI 요소와의 특정 상호작용은 생체의학 영상(450)의 특정 좌표에서의 주석을 나타낼 수 있다. 주석은 생체의학 영상(450)에 표현된 조직 샘플 상의 영역에서 관심 조건의 존재를 나타내는 데 사용될 수 있으므로, 주석은 병리학적 분석에 유용하다. 관심 조건을 나타낼 수 있는 특징이 작을 수 있기 때문에, 시스템이 생체의학 영상(450)에 픽셀 단위로 주석을 추가하는 것이 유리하다. 따라서, 상호작용 검출기(435)는 주석이 추가될 GUI 요소에 디스플레이된 타일 내의 픽셀의 픽셀 위치(예를 들어, x-좌표 및 y-좌표 등)를 검출할 수 있다. 그런 다음 수신된 주석의 좌표는 상호작용 검출기(435)에 의해 생체의학 영상(450) 내의 픽셀의 대응하는 위치에 매핑될 수 있다. 예를 들어, 200픽셀 x 200픽셀인 생체의학 영상(450)과 생체의학 영상(450)의 x축의 좌표 100에서 149까지의 픽셀 및 y축의 좌표 100에서 149까지의 픽셀을 나타내는 타일을 고려한다. 이 예에서, 타일은 50픽셀 x 50픽셀 크기이다. 주석이 타일의 x축에서 좌표 3, 타일의 y축에서 좌표 5에서 검출되면, 상호작용 식별자는 주석을 생체의학 영상(450) 내에서 x축의 픽셀 좌표 103 및 y축의 픽셀 좌표 105에 매핑할 수 있다.

주석의 위치를 매핑하면, 타일 수정기(440)는 주석 데이터(455)의 매핑된 픽셀 좌표에 색상 데이터를 저장할 수 있다. 주석 데이터(455)는 생체의학 영상(450)과 동일한 치수를 가질 수 있고, 대응하는 생체의학 영상(450)의 식별자와 함께 저장될 수 있다. 따라서, 생체의학 영상(450)에 대응하는 주석 데이터(455)는 대응하는 생체의학 영상(450)과 일대일 픽셀 매핑을 가질 수 있다. 주석 데이터(455)는 주석 데이터(455)의 각 픽셀에 대해 고정된 비트 폭을 가질 수 있다. 상호작용 검출기(435)가 주석을 식별할 때, 주석은 대응하는 색상 또는 픽셀 값(예를 들어, 고정 폭의 비트열 값 등)과 연관될 수 있다. 색상 값은 수동으로 선택하거나, 기본 구성에 기초하여 자동으로 선택될 수 있다. 각각의 선택 가능한 색상 값은 데이터 저장소(415)의 주석 데이터(455)와 연관되어 저장될 수 있는 색상 맵에서 식별된 색상에 대응할 수 있다.

색상 맵은 주석 데이터(455)에 의해 표현될 수 있는 색상 값(예를 들어, 고정 폭의 비트열 값 등)을 디스플레이 색상(예를 들어, 전체 RGB 색상 채널 픽셀 값 등)과 연관시킬 수 있다. 따라서, 주석 데이터(455)에 대한 색상 맵은 각각의 가능한 주석 값에 대응하는 픽셀 색상 값에 대한 조회 테이블의 역할을 할 수 있다. 예를 들어, 주석 데이터(455)의 각 픽셀이 4비트 폭의 비트열로 표현되는 경우, 색상 맵은 4비트 픽셀의 가능한 값 중 하나에 각각 대응하는 15개의 상이한 색상과 주석의 부재에 대응하는 하나의 색상(예를 들어, 0b0000 등)을 가질 수 있다. 주석 데이터(455)에 대한 색상 맵은 기본 구성에 기초하여 자동으로 생성될 수 있거나, 하나 이상의 GUI 요소 또는 실행 가능한 객체를 통해 수동으로 지정될 수 있다. 일부 실시예에서, 색상 값은 색인된 색상 값을 사용하여 표현될 수 있다. 색인된 색상 값은 주석에 대한 각각의 색상에 대응하는 값(예를 들어, 비트 또는 숫자)을 포함할 수 있다. 예를 들어, 주석에 대한 색상 값은 4비트로 표현될 수 있으며, 비트 워드 "0000"은 빨간색을 나타내고, "1100"은 녹색을 나타내고, "0100"은 주석에 대한 노란색을 나타낸다.

색상 맵 및 주석 데이터(455)를 사용하여, 디스플레이 제공기(430)는 주석을 나타내기 위해 하나 이상의 GUI 요소에 디스플레이된 타일을 갱신할 수 있다. 일부 구현에서, 주석은 생체의학 영상(450) 위에 별도의 레이어로 디스플레이될 수 있다. 주석 레이어의 가시성은 예를 들어 각 GUI 요소에서 하나 이상의 실행 가능한 객체에 의해 토글(toggle)될 수 있다. 예를 들어, 각 GUI 요소는 "주석 보기" 버튼, "주석 숨기기" 버튼 또는 "주석 토글" 버튼과 연관될 수 있다. 실행 가능한 객체의 라벨과 유형은 예시일 뿐이며 제한으로 해석되어서는 안 된다는 것을 유의한다. 디스플레이 제공기(430)가 주석 정보를 디스플레이하라는 지시를 수신할 때, 디스플레이 제공기(430)는 주석 데이터(455) 및 대응하는 색상 맵에 접근하여 주석을 추가할 색상을 식별할 수 있다. 따라서, 디스플레이 정보의 특정 부분에 대한 타일을 형성하기 위해 픽셀을 선택할 때, 디스플레이 제공기(430)는 타일 내의 각 대응하는 픽셀 위치에 주석이 존재하는지 결정할 수 있다. 주석 데이터(455)가 픽셀의 좌표에 존재하면, 디스플레이 제공기(430)는 타일의 대응하는 픽셀이 해당 픽셀의 주석 데이터(455)에 대한 색상 맵의 색상 채널 값과 동일한 색상 채널 값을 갖도록 수정할 수 있다. 유사하게, 주석 데이터(455)가 상호작용 검출기(435)에 의해 갱신됨에 따라, 디스플레이 제공기(430)는 최신 주석 정보를 실시간으로 디스플레이하도록 동기화된 타일의 대응하는 픽셀을 갱신할 수 있다. 그런 다음, 디스플레이 제공기(430)는 위에서 본원에 설명된 바와 같이 하나 이상의 GUI 요소에서의 디스플레이를 위해 갱신된 타일을 제공할 수 있다.

이제 도 8을 참조하면, 예시적인 실시예에 따른, 동시 디스플레이를 위한 생체의학 영상의 다중 보기를 제공하는 방법(800)의 예시적인 흐름도가 도시되어 있다. 방법(800)은, 예를 들어, 다른 것들 중에서도 컴퓨팅 시스템(405), 서버 시스템(900) 또는 클라이언트 컴퓨터 시스템(914)을 포함하여, 본원에 설명된 임의의 컴퓨팅 시스템에 의해 수행될 수 있다. 간략한 개요에서, 컴퓨팅 시스템(예를 들어, 컴퓨팅 시스템(405) 등)은 생체의학 영상의 부분으로부터 타일을 식별하고(단계 805), 색상 수정 동작을 적용하고(단계 810), 동시 디스플레이를 위해 타일을 제공하고(단계 815), GUI 요소와의 상호작용을 검출하고(단계 820), 제1 타일에 대한 좌표 변경을 식별하고(단계 825), 다른 타일에 대한 좌표 변경을 결정하고(단계 830), GUI에서 타일의 디스플레이를 갱신하고 (단계 835), 하나 이상의 주석을 식별하고 추가한다(단계 840).

더 상세하게는, 컴퓨팅 시스템(예를 들어, 컴퓨팅 시스템(405))은 생체의학 영상(예를 들어, 생체의학 영상(450) 등)의 부분으로부터 타일을 식별할 수 있다(단계 805). 생체의학 영상(450)의 타일을 식별하기 위해, 컴퓨팅 시스템은 데이터 저장소(예를 들어, 데이터 저장소(415) 등)에 접근하여 생체의학 영상을 검색할 수 있다. 일부 구현에서, 컴퓨팅 시스템은 통신 버스를 통해 또는 네트워크(예를 들어, 네트워크(410) 등)를 통해 다른 컴퓨팅 시스템으로부터 생체의학 영상을 수신할 수 있다. 생체의학 영상으로부터, 컴퓨팅 시스템은, 예를 들어, 컴퓨팅 시스템 또는 컴퓨팅 시스템과 통신하는 클라이언트 디바이스(예를 들어, 클라이언트 디바이스(420) 등)에서 실행되는 애플리케이션에 의해, 보여지거나 분석되거나 또는 보여지도록 요청된 영상의 부분을 식별할 수 있다. 부분은 부분의 중심(예를 들어, 관심 위치의 중심 등)에서 픽셀 좌표를 사용하여 식별될 수 있다. 좌표는, 예를 들어, 컴퓨팅 시스템에서 실행되는 애플리케이션으로부터 수신될 수 있다. 일부 구현에서, 좌표는 기본 좌표일 수 있다(예를 들어, 애플리케이션으로부터 좌표가 수신되지 않으면, 생체의학 영상의 중심 픽셀의 좌표를 사용하는 등).

관심 부분 또는 위치의 중심(예를 들어, 또는 다른 식별 좌표 등)이 식별된 후, 타일 식별기(425)는 식별된 부분에 대한 폭 및 높이 정보를 결정할 수 있다. 부분의 폭과 높이는 컴퓨팅 시스템에서 실행되는 애플리케이션에 디스플레이되고 있거나 디스플레이될 보기 창에 대응할 수 있다. 부분의 폭 및 높이는 또한 생체의학 영상(450) 부분의 요청된(예를 들어, 컴퓨팅 시스템에서 실행하는 애플리케이션에 의해) 또는 기본(예를 들어, 1x 등) 배율 수준에 대응할 수 있다. 생체의학 영상(450) 부분의 배율 수준은 생체의학 영상(450)에 적용되는 줌 동작의 양에 대응할 수 있다. 따라서, 1x 배율에서, 생체의학 영상의 부분은 생체의학 영상의 식별된 좌표가 임의의 스케일링 동작이 적용된 애플리케이션의 보기 창에 디스플레이되면 볼 수 있는 것에 대응할 수 있다. 컴퓨팅 시스템은 생체의학 영상의 식별된 부분의 일부로 결정되는 생체의학 영상의 픽셀을 추출(예를 들어, 컴퓨터 메모리의 다른 영역으로 복사 등)할 수 있다.

생체의학 영상의 부분으로부터, 컴퓨팅 시스템은 상이한 배율 수준에서 생체의학 영상의 서브세트를 식별하는 하나 이상의 타일을 식별하고 추출할 수 있다. 타일은 각각이 생체의학 영상의 상이한 해상도 또는 배율에 대응하는 좌표 및 폭을 갖는 생체의학 영상의 식별된 부분 내의 하나 이상의 픽셀일 수 있다. 컴퓨팅 시스템에 의해 식별된 타일의 수는, 예를 들어, 컴퓨팅 시스템에서 실행되는 애플리케이션 또는 클라이언트 디바이스로부터 수신될 수 있다. 컴퓨팅 시스템에 의해 식별된 타일의 수는 애플리케이션에서 수신된 요청된 보기의 수와 동일할 수 있다. 예를 들어, 컴퓨팅 시스템은 생체의학 영상의 식별된 부분의 6개의 상이한 보기에 대한 요청을 수신할 수 있고, 그런 다음 각각 요청된 배율 수준을 갖는 생체의학 영상의 식별된 부분의 6개의 대응하는 타일을 식별할 수 있다. 일부 구현에서, 타일은 생체의학 영상의 식별된 부분과 동기화될 수 있다. 예를 들어, 각 타일은 생체의학 영상의 동일한 위치를 상이한 요청된 배율 수준에서 묘사할 수 있다. 컴퓨팅 시스템은 원하는 좌표에서 요청된 배율 계수 및 보기 창의 디스플레이 치수 모두에 대응하는 픽셀 수를 갖는 타일을 식별하고 추출할 수 있다.

컴퓨팅 시스템은 색상 수정 동작(810)을 적용할 수 있다(단계 810). 컴퓨팅 시스템은 생체의학 영상의 타일에 대한 색상 수정 옵션을 선택할 수 있다. 색상 수정 옵션은 그 픽셀 색상을 변경하기 위하여 생체의학 영상의 픽셀에 적용할 수 있는 하나 이상의 색상 보상 인자(예를 들어 각 픽셀의 색상 채널 강도 값에 더하거나 곱할 수 있는 값)를 포함할 수 있다. 일부 구현에서, 색상 수정 옵션의 선택은 생체의학 영상의 출처(예를 들어, 생체의학 영상을 캡처하는 데 사용되는 캡처 디바이스)에 대응할 수 있다. S 생체의학 영상은 생체의학 영상을 생성하는 데 사용되는 캡처 디바이스의 식별자와 연관되어 데이터 저장소에 저장될 수 있다. 생체의학 영상의 출처를 식별하기 위해, 컴퓨팅 시스템은 데이터 저장소에 접근하여 생체의학 영상과 연관되어 저장된 캡처 디바이스의 식별자를 검색할 수 있다. 식별자를 사용하여, 컴퓨팅 시스템은 데이터 저장소에서 식별자에 대응하는 색상 수정 옵션을 검색하고 선택할 수 있다. 일부 구현에서, 색상 옵션은 하나 이상의 실행 가능한 객체로부터 수신된 입력을 통해 수동으로 선택되거나 적용될 수 있다.

그런 다음, 컴퓨팅 시스템은 컴퓨팅 시스템에 의해 식별된 하나 이상의 타일에 대응하는 생체의학 영상의 부분에 선택된 색상 옵션을 적용할 수 있다. 예를 들어, 컴퓨팅 시스템은 타일을 구성하는 데 사용되는 생체의학 영상의 영역에 대응하는 생체의학 영상의 픽셀에 접근할 수 있다. 컴퓨팅 시스템은 선택된 색상 수정에서 색상 보상 인자를 사용하여 식별된 영역의 각 픽셀에 대한 하나 이상의 색상 채널 강도 값을 변경할 수 있다. 일부 구현에서, 컴퓨팅 시스템은 각 픽셀의 색상 채널 강도 값을 하나 이상의 색상 보상 값(예를 들어, 픽셀의 각 컬러 강도 값에 대하여 하나씩)과 곱할 수 있다. 일부 구현에서, 컴퓨팅 시스템은 각 픽셀에서 대응하는 하나 이상의 색상 채널 강도 값에 색상 보상 값을 더할 수 있다. 따라서, 컴퓨팅 시스템은 보정된 색상을 갖는 생체의학 영상의 하나 이상의 부분을 생성할 수 있다. 그런 다음, 생체의학 영상의 색상 보정된 부분은 색상 보정된 타일을 생성하기 위해 위에서 본원에 설명된 바와 같이 하나 이상의 타일을 구성하는 데 사용될 수 있다.

컴퓨팅 시스템은 하나 이상의 GUI 요소에서 동시 디스플레이를 위한 타일을 제공할 수 있다(단계 815). 예를 들어, 생체의학 영상이 디스플레이될 때 생체의학 영상을 보는 제1 GUI 요소에 대응할 수 있는 기준 GUI 요소 또는 루트 GUI 요소로 하나의 GUI 요소가 선택될 수 있다. 기준 GUI 요소, 또는 GUI 요소를 제공하는 애플리케이션은 지정된 배율 계수 및 특정 좌표에서 생체의학 영상의 타일 또는 부분에 대한 요청을 포함할 수 있는 추가 GUI 요소에 대한 요청을 개시할 수 있는 하나 이상의 실행 가능한 객체를 포함할 수 있다. 이 요청은 위에서 본원에 설명된 바와 같이, 생체의학 영상의 하나 이상의 타일(예를 들어, 색상 보정된 타일 등)을 식별하기 위해 애플리케이션에 의해 컴퓨팅 시스템으로 제공될 수 있다. 컴퓨팅 시스템은 컴퓨팅 시스템으로부터 타일을 수신하고, 타일의 해상도가 요청된 GUI 요소의 것과 일치하도록 증가시키기 위해 타일에 스케일링 동작(예를 들어, 2x 배율을 위해 영상의 크기를 두 배로 늘리는 등)을 수행할 수 있다. 컴퓨팅 시스템은 그런 다음 GUI 요소에 디스플레이하기 위하여 스케일링된 타일을 애플리케이션으로 전송하거나 달리 제공할 수 있다. 일부 구현에서, 컴퓨팅 시스템은 애플리케이션에서 GUI 요소를 인스턴스화하고 GUI 요소 내에서 대응하는 타일을 렌더링하도록 애플리케이션에 요청하는 명령을 생성할 수 있다.

컴퓨팅 시스템은 GUI 요소와의 상호작용을 검출할 수 있다(단계 820). 상호작용은 다른 것들 중에서도 탭, 클릭, 드래그, 더블 클릭, 스크롤 동작 또는 더블 탭을 포함할 수 있다. 특정 상호작용은 패닝 작업 또는 줌 작업과 같은 요청된 작업을 포함할 수 있다. 상호작용을 검출하기 위하여, 컴퓨팅 시스템은 하나 이상의 이벤트 또는 상호작용 수신기를 구현할 수 있다. 이벤트 또는 상호작용 수신기는 디스플레이된 GUI 요소와의 상호작용 메시지를 모니터링할 수 있으며, 상호작용에 대한 정보(예를 들어, 좌표, 지속 시간, 유형 등)가 발생할 때 반환할 수 있다. 컴퓨팅 시스템은 생체의학 영상의 타일을 지정된 배율 및 좌표로 디스플레이하는 새로운 GUI 요소를 인스턴스화하는 동작에 대응하는 실행 가능한 객체와의 상호작용을 검출할 수 있다.

컴퓨팅 시스템은 패닝 동작과 같이 현재 렌더링된 GUI 요소에 대해 수행하기 위한 하나 이상의 동작을 더 검출할 수 있다. 패닝 동작은 생체의학 영상의 다른 부분을 다른 좌표에서 그러나 동일한 배율로 보기 위한 요청을 나타낼 수 있다. 예를 들어, 클릭 및 드래그 동작, 탭 및 드래그 동작, 또는 스크롤바와 같은 하나 이상의 실행 가능한 객체와의 상호작용에 대한 응답으로 패닝 동작이 제공될 수 있다. 컴퓨팅 시스템은 본원에 설명된 임의의 다른 유형의 상호작용 중에서, 줌 동작 또는 대응하는 GUI 요소에서 렌더링된 타일의 배율을 변경하기 위한 동작을 검출할 수 있다. 줌 동작은 본원에 설명된 임의의 다른 유형의 상호작용 중에서, 줌 동작에 대응하는 실행 가능한 객체와의 상호작용에 응답하여, 또는 GUI 요소와의 클릭 및 드래그 동작에 의해 검출될 수 있다. 줌 동작은 본 명세서에 설명된 임의의 다른 유형의 상호작용 중에서 줌 동작에 대응하는 실행 가능한 객체와의 상호작용에 응답하여, 또는 GUI 요소와의 클릭 및 드래그 동작에 의해 검출될 수 있다. 컴퓨팅 시스템은 타일의 좌표 또는 타일의 배율 수준을 변경하지 않고 타일의 크기(예를 들어, 대응하는 타일 좌표에 대해 렌더링된 픽셀의 수 등)를 변경할 수 있는 크기 조정 동작을 추가로 검출할 수 있다. 크기 조정 동작은 예를 들어 GUI 요소의 모서리를 사용한 클릭 및 드래그 동작으로 검출될 수 있다(예를 들어, GUI 요소의 크기를 조정하면 대응하는 동작 요청이 그 안에 디스플레이된 타일의 크기를 조정하게 할 수 있는 등). 일부 구현에서, 컴퓨팅 시스템은 (예를 들어, GUI 요소를 제시하는 애플리케이션 등으로부터) 하나 이상의 상호작용 메시지 내의 상호작용에 대한 정보를 수신할 수 있다.

컴퓨팅 시스템은 제1 타일에 대한 좌표의 변경을 식별할 수 있다(단계 825). 이동 또는 패닝 동작은 생체의학 영상의 상이한 영역이 대응하는 GUI 요소에서 특정 배율 수준으로 디스플레이되도록 요청됨을 나타낼 수 있다. 예를 들어, 패닝 또는 이동 상호작용은 생체의학 영상을 나타내는 디스플레이된 타일의 좌표를 이동하기 위하여, (예를 들어, x축, y축 또는 둘 다를 따른) 픽셀의 수를 나타낼 수 있다. 현재 타일 좌표와 타일 좌표의 변화량으로부터, 컴퓨팅 시스템은 타일을 식별하기 위한 새로운 좌표를 결정할 수 있다. 일부 구현에서, 패닝 또는 이동 상호작용은 타일을 식별하거나 추출할 생체의학 영상의 새로운 좌표를 나타낼 수 있다.

컴퓨팅 시스템은 다른 타일에 대한 좌표의 변경을 결정할 수 있다(단계 830). 하나 이상의 다른 타일이 패닝 또는 이동 상호작용에 의해 식별된 타일에 동기화되면, 컴퓨팅 시스템은 배율이나 좌표가 변경되는 타일에 대해 식별된 변경에 기초하여 동기화된 타일 각각을 정의하는 좌표에 적용할 대응하는 변경을 결정할 수 있다. 제1 타일의 좌표가 변경되는 경우, 컴퓨팅 시스템은 제1 타일에 동기화된 다른 디스플레이된 타일 각각의 좌표를 상호작용 검출기(435)에 의해 제1 타일에 대해 식별된 새로운 좌표로 결정할 수 있다. 일부 구현에서, 모든 타일은 그들이 모두 상이한 배율에서 생체의학 영상의 동일한 좌표를 디스플레이하도록 동기화된다. 일부 구현에서, 각 타일은 고유한 독립적인 좌표 및 배율 수준을 가질 수 있다. 일부 구현에서, 오직 하나의 타일(예를 들어, 기준 타일)만이 패닝, 줌 또는 다른 동작을 수신할 수 있고, 다른 타일은 기준 타일에 동기화된다. 일부 다른 구현에서, 임의의 타일이 이동 또는 줌 동작을 수신할 수 있고, 대응하는 GUI 요소에 디스플레이된 임의의 수의 다른 타일과 동기화될 수 있다.

컴퓨팅 시스템은 GUI에서 타일의 디스플레이를 갱신할 수 있다(단계 835). 컴퓨팅 시스템은 생체의학 영상으로부터 갱신될(예를 들어, 동작의 대상이 되거나 동작의 대상이 되는 타일에 동기화되는) 타일의 요청된 영역의 픽셀(예를 들어, 새로 식별된 좌표 및 픽셀)을 추출할 수 있다. 생체의학 영상에서 각 타일에 대한 새로운 픽셀을 추출한 후, 컴퓨팅 시스템은 타일의 해상도를 대응하는 GUI 요소의 것과 일치하도록 높이기 위하여 각 타일에 대해 스케일링 동작(예를 들어, 2x 배율을 위해 영상의 크기를 두 배로 늘리는 등)을 수행할 수 있다. 컴퓨팅 시스템은 그런 다음 GUI 요소에 디스플레이하기 위하여 스케일링된 타일을 애플리케이션으로 전송하거나 달리 제공할 수 있다. 일부 구현에서, 컴퓨팅 시스템은 각 GUI 요소에 디스플레이된 타일을 새로 추출되고 스케일링된 타일로 갱신하고, GUI 요소에서 대응하는 갱신된 타일을 렌더링하도록 요청하는 애플리케이션에 대한 명령을 생성할 수 있다.

컴퓨팅 시스템은 하나 이상의 주석을 식별하고 추가할 수 있다(단계 840). 컴퓨팅 시스템은 (예를 들어, 검출된 상호작용 등을 통해) 주석이 추가될 GUI 요소에 디스플레이된 타일 내의 픽셀의 픽셀 위치(예를 들어, x-좌표 및 y-좌표 등)를 검출할 수 있다. 그런 다음 수신된 주석의 좌표는 상호작용 검출기(435)에 의해 생체의학 영상 내의 픽셀의 대응하는 위치에 매핑될 수 있다. 예를 들어, 200픽셀 x 200픽셀인 생체의학 영상과 생체의학 영상의 x축의 좌표 100에서 149까지의 픽셀 및 y축의 좌표 100에서 149까지의 픽셀을 나타내는 타일을 고려한다. 이 예에서, 타일은 50픽셀 x 50픽셀 크기이다. 주석이 타일의 x축에서 좌표 3, 타일의 y축에서 좌표 5에서 검출되면, 컴퓨팅 시스템은 주석을 생체의학 영상 내에서 x축의 픽셀 좌표 103 및 y축의 픽셀 좌표 105에 매핑할 수 있다.

주석의 위치를 매핑하면, 컴퓨팅 시스템은 주석 데이터(예를 들어, 주석 데이터(455))의 매핑된 픽셀 좌표에 색상 데이터를 저장할 수 있다. 주석 데이터는 일대일 픽셀 매핑으로 생체의학 영상에 대응할 수 있다. 주석 데이터는 주석 데이터의 각 픽셀에 대해 고정된 비트 폭을 가질 수 있다. 컴퓨팅 시스템이 주석을 식별할 때, 주석은 대응하는 색상 또는 픽셀 값(예를 들어, 고정 폭의 비트열 값 등)과 연관될 수 있다. 색상 값은 수동으로 선택하거나, 기본 구성에 기초하여 자동으로 선택될 수 있다. 각각의 선택 가능한 색상 값은 주석 데이터와 연관되어 저장될 수 있는 색상 맵에서 식별된 색상에 대응할 수 있다. 색상 맵은 주석 데이터에 의해 표현될 수 있는 색상 값(예를 들어, 고정 폭의 비트열 값 등)을 디스플레이 색상(예를 들어, 전체 RGB 색상 채널 픽셀 값 등)와 연관시킬 수 있다. 따라서 주석 데이터에 대한 색상 맵은 각각의 가능한 주석 값에 대응하는 픽셀 색상 값에 대한 조회 테이블의 역할을 할 수 있다. 예를 들어, 주석 데이터의 각 픽셀이 4비트 폭의 비트열로 표현되는 경우, 색상 맵은 4비트 픽셀의 가능한 값 중 하나에 각각 대응하는 15개의 상이한 색상과 주석의 부재에 대응하는 하나의 색상(예를 들어, 0b0000 등)을 가질 수 있다. 주석 데이터에 대한 색상 맵은 기본 구성에 기초하여 자동으로 생성될 수 있거나, 하나 이상의 GUI 요소 또는 실행 가능한 객체를 통해 수동으로 지정될 수 있다.

색상 맵 및 주석 데이터를 사용하여, 컴퓨팅 시스템은 주석을 나타내기 위해 하나 이상의 GUI 요소에 디스플레이된 타일을 갱신할 수 있다. 일부 구현에서 주석은 생체의학 영상 위에 별도의 레이어로 표시될 수 있다. 주석 레이어의 가시성은 예를 들어 각 GUI 요소에서 하나 이상의 실행 가능한 객체에 의해 토글될 수 있다. 컴퓨팅 시스템이 주석 정보를 디스플레이하라는 지시를 수신할 때, 컴퓨팅 시스템은 주석 데이터 및 대응하는 색상 맵에 접근하여 주석을 추가할 색상을 식별할 수 있다. 따라서, 디스플레이 정보의 특정 부분에 대한 타일을 형성하기 위해 픽셀을 선택할 때, 컴퓨팅 시스템은 타일 내의 각 대응하는 픽셀 위치에 주석이 존재하는지 결정할 수 있다. 주석 데이터가 픽셀의 좌표에 존재하는 경우, 컴퓨팅 시스템은 타일의 대응하는 픽셀이 해당 픽셀의 주석 데이터에 대한 색상 맵의 색상 채널 값과 동일한 색상 채널 값을 갖도록 수정할 수 있다. 마찬가지로, 주석 데이터가 컴퓨팅 시스템에 의해 갱신됨에 따라, 컴퓨팅 시스템은 최신 주석 정보를 실시간으로 디스플레이하도록 동기화된 타일의 대응하는 픽셀을 갱신할 수 있다. 그런 다음, 컴퓨팅 시스템은 위에서 본원에 설명된 바와 같이 하나 이상의 GUI 요소에서의 디스플레이를 위해 갱신된 타일을 제공할 수 있다.

C. 컴퓨팅 및 네트워크 환경

본원에 설명된 다양한 동작은 컴퓨터 시스템 상에서 구현될 수 있다. 도 9는 본 개시의 특정 실시예를 구현하는 데 사용 가능한 대표적인 서버 시스템(900), 클라이언트 컴퓨터 시스템(914) 및 네트워크(929)의 간략화된 블록도를 도시한다. 다양한 실시예에서, 서버 시스템(900) 또는 유사한 시스템은 본원에 설명된 서비스 또는 서버 또는 그 일부를 구현할 수 있다. 클라이언트 컴퓨터 시스템(914) 또는 유사한 시스템은 본원에 설명된 클라이언트를 구현할 수 있다. 본원에 설명된 시스템(400)은 서버 시스템(900)과 유사할 수 있다. 서버 시스템(900)은 다수의 모듈(902)(예를 들어, 블레이드 서버 실시예의 블레이드)을 통합하는 모듈식 설계를 가질 수 있고, 두 개의 모듈(902)이 표시되지만 임의의 수가 제공될 수 있다. 각 모듈(902)은 처리 유닛(들)(904) 및 로컬 저장소(906)를 포함할 수 있다.

처리 유닛(들)(904)은 하나 이상의 코어를 가질 수 있는 단일 프로세서 또는 다중 프로세서를 포함할 수 있다. 일부 실시예에서, 처리 유닛(들)(904)은 범용 주 프로세서와 함께 그래픽 프로세서, 디지털 신호 프로세서 등과 같은 하나 이상의 특수 목적 코프로세서를 포함할 수 있다. 일부 실시예에서, 일부 또는 모든 처리 유닛(904)은 주문형 집적 회로(ASIC) 또는 현장 프로그램 가능 게이트 어레이(FPGA)와 같은 맞춤형 회로를 사용하여 구현될 수 있다. 일부 실시예에서, 그러한 집적 회로는 회로 자체에 저장된 명령을 실행한다. 다른 실시예에서, 처리 유닛(들)(904)은 로컬 저장소(906)에 저장된 명령을 실행할 수 있다. 임의의 조합으로 임의의 유형의 프로세서가 처리 유닛(들)(904)에 포함될 수 있다.

로컬 저장소(906)는 휘발성 저장 매체(예를 들어, DRAM, SRAM, SDRAM 등) 및/또는 비휘발성 저장 매체(예를 들어, 자기 또는 광 디스크, 플래시 메모리 등)를 포함할 수 있다. 로컬 저장소(906)에 통합된 저장 매체는 원하는 대로 고정, 제거 또는 업그레이드할 수 있다. 로컬 저장소(906)는 시스템 메모리, 읽기 전용 메모리(ROM) 및 영구 저장 디바이스와 같은 다양한 서브유닛으로 물리적 또는 논리적으로 분할될 수 있다. 시스템 메모리는 읽기 및 쓰기 메모리 디바이스 또는 동적 임의 접근 메모리와 같은 휘발성 읽기 및 쓰기 메모리일 수 있다. 시스템 메모리는 처리 유닛(들)(904)이 런타임에 필요로 하는 명령 및 데이터의 일부 또는 전부를 저장할 수 있다. ROM은 처리 유닛(들)(904)에 의해 필요한 정적 데이터 및 명령을 저장할 수 있다. 영구 저장 디바이스는 모듈(902)의 전원이 꺼진 경우에도 명령 및 데이터를 저장할 수 있는 비휘발성 읽기 및 쓰기 메모리 디바이스일 수 있다. 본원에서 사용된 "저장 매체"라는 용어는 데이터가 무기한으로(덮어쓰기, 전기 장애, 전력 손실 등의 대상임) 저장될 수 있는 모든 매체를 포함하며 무선 또는 유선 연결을 통해 전파되는 반송파 및 일시적인 전자 신호를 포함하지 않는다.

일부 실시예에서, 로컬 저장소(906)는 도 4의 시스템(400) 또는 본원에 설명된 임의의 다른 시스템, 또는 시스템(400) 또는 본원에 설명된 임의의 다른 시스템과 연관된 임의의 다른 서버의 기능과 같은 다양한 서버 기능을 구현하는 운영 체제 및/또는 프로그램과 같은 처리 유닛(들)(904)에 의해 실행될 하나 이상의 소프트웨어 프로그램을 저장할 수 있다.

"소프트웨어"는 일반적으로, 처리 장치(들)(904)에 의해 실행될 때, 서버 시스템(900)(또는 그 일부)이 다양한 작업을 수행하도록 하여, 소프트웨어 프로그램의 작업을 실행 및 수행하는 하나 이상의 특정 기계 실시예를 정의하는 명령 시퀀스를 지칭한다. 명령은 읽기 전용 메모리에 상주하는 펌웨어 및/또는 처리 유닛(들)(904)에 의한 실행을 위해 휘발성 작업 메모리로 읽을 수 있는 비휘발성 저장 매체에 저장된 프로그램 코드로 저장될 수 있다. 소프트웨어는 단일 프로그램 또는 원하는 대로 상호 작용하는 개별 프로그램 또는 프로그램 모듈의 집합이다. 로컬 저장소(906)(또는 후술되는 비-로컬 저장소)로부터, 처리 유닛(들)(904)은 위에서 설명된 다양한 동작을 실행하기 위해 실행할 프로그램 명령 및 처리할 데이터를 검색할 수 있다.

일부 서버 시스템(900)에서, 다중 모듈(902)은 버스 또는 다른 상호접속(908)을 통해 상호접속될 수 있고, 모듈(902)과 서버 시스템(900)의 다른 구성요소 사이의 통신을 지원하는 근거리 통신망을 형성한다. 상호접속(908)은 서버 랙, 허브, 라우터 등을 포함하는 다양한 기술을 사용하여 구현될 수 있다.

광역 통신망(WAN) 인터페이스(910)는 근거리 통신망(상호접속(908))과 인터넷과 같은 네트워크(929) 사이에 데이터 통신 능력을 제공할 수 있다. 유선(예를 들어, 이더넷, IEEE 802.3 표준) 및/또는 무선(예를 들어, Wi-Fi, IEEE 802.11 표준) 기술을 포함하는 기술이 사용될 수 있다.

일부 실시예에서, 로컬 저장소(906)는 처리 유닛(들)(904)을 위한 작업 메모리를 제공하도록 의도되어, 상호접속(908) 상의 트래픽을 감소시키면서 처리될 프로그램 및/또는 데이터에 대한 빠른 접근을 제공한다. 더 많은 양의 데이터를 위한 저장소는 상호접속(908)에 연결될 수 있는 하나 이상의 대용량 저장 서브시스템(912)에 의해 근거리 통신망 상에 제공될 수 있다. 대용량 저장 서브시스템(912)은 자기, 광학, 반도체 또는 다른 데이터 저장 매체에 기초할 수 있다. 직접 연결 저장장치(DAS), 저장장치 전용 네트워크(SAN), 네트워크 연결 저장장치 등이 사용될 수 있다. 서비스 또는 서버에 의해 생성, 소비 또는 유지되는 것으로 본원에 설명된 임의의 데이터 저장소 또는 데이터의 다른 컬렉션은 대용량 저장 서브시스템(912)에 저장될 수 있다. 일부 실시예에서, 추가 데이터 저장 자원은 WAN 인터페이스(910)를 통해 접근 가능하다(잠재적으로 지연 시간 증가).

서버 시스템(900)은 WAN 인터페이스(910)를 통해 수신된 요청에 응답하여 작동할 수 있다. 예를 들어, 모듈(902) 중 하나는 감독 기능을 구현하고 수신된 요청에 응답하여 다른 모듈(902)에 개별 작업을 할당할 수 있다. 작업 할당 기술이 사용될 수 있다. 요청이 처리됨에 따라, 결과는 WAN 인터페이스(910)를 통해 요청자에게 반환될 수 있다. 이러한 작업은 일반적으로 자동화될 수 있다. 또한, 일부 실시예에서, WAN 인터페이스(910)는 다수의 서버 시스템(900)을 서로 연결할 수 있어, 많은 양의 활동을 관리할 수 있는 확장 가능한 시스템을 제공한다. 동적 자원 할당 및 재할당을 포함하여 서버 시스템 및 서버 팜(server farm)(협력하는 서버 시스템 모음)을 관리하기 위한 다른 기술을 사용할 수 있다.

서버 시스템(900)은 인터넷과 같은 광역 네트워크를 통해 다양한 사용자 소유 또는 사용자 조작 디바이스와 상호작용할 수 있다. 사용자 조작 디바이스의 예가 클라이언트 컴퓨팅 시스템(914)으로 도 9에 도시되어 있다. 클라이언트 컴퓨팅 시스템(914)은, 예를 들어, 스마트폰, 기타 휴대 전화, 태블릿 컴퓨터, 웨어러블 컴퓨팅 디바이스(예를 들어, 스마트 시계, 안경), 데스크톱 컴퓨터, 랩톱 컴퓨터 등과 같은 소비자 디바이스로 구현될 수 있다.

예를 들어, 클라이언트 컴퓨팅 시스템(914)은 WAN 인터페이스(910)를 통해 통신할 수 있다. 클라이언트 컴퓨팅 시스템(914)은 처리 유닛(들)(916), 저장 디바이스(918), 네트워크 인터페이스(920), 사용자 입력 디바이스(922) 및 사용자 출력 디바이스(924)와 같은 컴퓨터 구성요소를 포함할 수 있다. 클라이언트 컴퓨팅 시스템(914)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 기타 모바일 컴퓨팅 디바이스, 웨어러블 컴퓨팅 디바이스 등과 같은 다양한 폼 팩터로 구현된 컴퓨팅 디바이스일 수 있다.

프로세서(916) 및 저장 디바이스(918)는 위에서 설명된 처리 유닛(들)(904) 및 로컬 저장소(906)와 유사할 수 있다. 클라이언트 컴퓨팅 시스템(914)에 배치할 요구에 기초하여 적절한 디바이스를 선택할 수 있다. 예를 들어, 클라이언트 컴퓨팅 시스템(914)은 처리 능력이 제한된 "씬(thin)" 클라이언트로서 또는 고성능 컴퓨팅 디바이스로서 구현될 수 있다. 클라이언트 컴퓨팅 시스템(914)은 서버 시스템(900)과의 다양한 상호작용을 가능하게 하기 위해 처리 유닛(들)(916)에 의해 실행 가능한 프로그램 코드로 프로비저닝될 수 있다.

네트워크 인터페이스(920)는 서버 시스템(900)의 WAN 인터페이스(910)가 또한 연결되는 광역 통신망(예를 들어, 인터넷)과 같은 네트워크(929)에 대한 연결을 제공할 수 있다. 다양한 실시예에서, 네트워크 인터페이스(920)는 유선 인터페이스(예를 들어, 이더넷) 및/또는 Wi-Fi, 블루투스 또는 셀룰러 데이터 네트워크 표준(예를 들어, 3G, 4G, LTE 등)과 같은 다양한 RF 데이터 통신 표준을 구현하는 무선 인터페이스를 포함할 수 있다.

사용자 입력 디바이스(922)는 사용자가 이를 통해 클라이언트 컴퓨팅 시스템(914)에 신호를 제공할 수 있는 임의의 디바이스(또는 디바이스들)를 포함할 수 있다. 클라이언트 컴퓨팅 시스템(914)은 신호를 특정 사용자 요청 또는 정보를 나타내는 것으로 해석할 수 있다. 다양한 실시예에서, 사용자 입력 디바이스(922)는 키보드, 터치 패드, 터치 스크린, 마우스 또는 다른 포인팅 디바이스, 스크롤 휠, 클릭 휠, 다이얼, 버튼, 스위치, 키패드, 마이크 등 중 임의의 것 또는 모두를 포함할 수 있다.

사용자 출력 디바이스(924)는 클라이언트 컴퓨팅 시스템(914)이 사용자에게 정보를 제공할 수 있는 임의의 디바이스를 포함할 수 있다. 예를 들어, 사용자 출력 디바이스(924)는 클라이언트 컴퓨팅 시스템(914)에 의해 생성되거나 이에 전달된 영상을 디스플레이하는 디스플레이를 포함할 수 있다. 디스플레이는 다양한 영상 생성 기술, 예를 들어 액정 디스플레이(LCD), 유기 발광 다이오드(OLED)를 포함하는 발광 다이오드(LED), 프로젝션 시스템, 음극선관(CRT) 등을 지원하는 전자장치(예를 들어, 디지털-아날로그 또는 아날로그-디지털 변환기, 신호 프로세서 등)와 함께 포함할 수 있다. 일부 실시예는 입력 및 출력 디바이스 모두로 기능하는 터치스크린과 같은 디바이스를 포함할 수 있다. 일부 실시예에서, 다른 사용자 출력 디바이스(924)가 디스플레이에 추가로 또는 디스플레이 대신에 제공될 수 있다. 예로는 표시등, 스피커, 촉각 "디스플레이" 디바이스, 프린터 등을 포함한다.

일부 실시예는 컴퓨터 판독 가능 저장 매체에 컴퓨터 프로그램 명령을 저장하는 마이크로프로세서, 저장장치 및 메모리와 같은 전자 부품을 포함한다. 이 명세서에 기술된 많은 기능은 컴퓨터 판독 가능 저장 매체에 인코딩된 프로그램 명령 세트로 지정된 프로세스로 구현될 수 있다. 이러한 프로그램 명령이 하나 이상의 처리 유닛에 의해 실행될 때, 처리 유닛(들)이 프로그램 명령에 표시된 다양한 작업을 수행하도록 한다. 프로그램 명령 또는 컴퓨터 코드의 예로는 컴파일러에 의해 생성된 것과 같은 기계어 코드, 인터프리터를 사용하여 컴퓨터, 전자 부품 또는 마이크로 프로세서에 의해 실행되는 상위 수준 코드를 포함하는 파일을 포함한다. 적절한 프로그래밍을 통해, 처리 유닛(들)(904 및 916)은 서버 또는 클라이언트에 의해 수행되는 것으로 본원에 설명된 임의의 기능, 또는 다른 기능을 포함하여, 서버 시스템(900) 및 클라이언트 컴퓨팅 시스템(914)을 위한 다양한 기능을 제공할 수 있다.

서버 시스템(900) 및 클라이언트 컴퓨팅 시스템(914)은 예시적이며 변형 및 수정이 가능하다는 것을 이해할 것이다. 본 개시의 실시예와 관련하여 사용되는 컴퓨터 시스템은 여기에 구체적으로 설명되지 않은 다른 능력을 가질 수 있다. 또한, 서버 시스템(900) 및 클라이언트 컴퓨팅 시스템(914)이 특정 블록을 참조하여 설명되지만, 이러한 블록은 설명의 편의를 위해 정의되고 구성요소 부품의 특정 물리적 배열을 의미하도록 의도되지 않음을 이해해야 한다. 예를 들어, 상이한 블록이 동일한 시설, 동일한 서버 랙 또는 동일한 마더보드에 있을 수 있지만 그럴 필요는 없다. 또한, 블록은 물리적으로 구별되는 구성요소에 대응할 필요가 없다. 블록은 예를 들어 프로세서를 프로그래밍하거나 적절한 제어 회로를 제공함으로써 다양한 작업을 수행하도록 구성될 수 있으며, 다양한 블록은 초기 구성을 획득하는 방법에 따라 재구성할 수도 있고 그렇지 않을 수도 있다. 본 개시의 실시예는 회로 및 소프트웨어의 임의의 조합을 사용하여 구현되는 전자 디바이스를 포함하는 다양한 장치에서 실현될 수 있다.

개시가 특정 실시예와 관련하여 설명되었지만, 당업자는 수많은 수정이 가능하다는 것을 인식할 것이다. 개시의 실시예는 본원에 설명된 특정 예를 포함하지만 이에 제한되지 않는 다양한 컴퓨터 시스템 및 통신 기술을 사용하여 실현될 수 있다. 본 개시의 실시예는 전용 구성요소 및/또는 프로그램 가능 프로세서 및/또는 다른 프로그램 가능 디바이스의 임의의 조합을 사용하여 실현될 수 있다. 본원에 설명된 다양한 프로세스는 동일한 프로세서 또는 임의의 조합으로 상이한 프로세서에서 구현될 수 있다. 구성요소가 특정 작업을 수행하도록 구성되는 것으로 설명되는 경우, 이러한 구성은 예를 들어 작업을 수행하도록 전자 회로를 설계하거나, 작업을 수행하도록 프로그램 가능한 전자 회로(예를 들어 마이크로프로세서)를 프로그래밍하거나, 이들의 임의의 조합에 의해 달성될 수 있다. 또한, 위에서 설명된 실시예가 특정 하드웨어 및 소프트웨어 구성요소를 참조할 수 있지만, 당업자는 하드웨어 및/또는 소프트웨어 구성요소의 상이한 조합이 또한 사용될 수 있고 하드웨어에서 구현되는 것으로 설명된 특정 동작이 또한 소프트웨어로 구현되거나 그 반대의 경우도 마찬가지임을 이해할 것이다.

본 개시의 다양한 특징을 포함하는 컴퓨터 프로그램은 인코딩되어 다양한 컴퓨터 판독가능 저장 매체에 저장될 수 있고, 적합한 매체는 자기 디스크 또는 테이프, 컴팩트 디스크(CD) 또는 DVD(디지털 다목적 디스크)와 같은 광학 저장 매체, 플래시 메모리 및 기타 비일시적 매체를 포함한다. 프로그램 코드로 인코딩된 컴퓨터 판독 가능 매체는 호환 가능한 전자 디바이스와 함께 패키징되거나, 프로그램 코드가 전자 디바이스와 별도로 제공될 수 있다(예를 들어 인터넷 다운로드 또는 별도로 패키징된 컴퓨터 판독 가능 저장 매체).

따라서, 개시가 특정 실시예와 관련하여 설명되었지만, 개시는 다음 청구범위의 범위 내에서 모든 수정 및 균등물을 포함하도록 의도된다는 것이 이해될 것이다.

Claims (20)

1. 프리앰블(preamble)을 생성하기 위한 방법에 있어서:
   컴퓨팅 시스템에 의해, 조직병리학적 영상 준비기를 통해 조직 샘플로부터 유도된 생체의학 영상의 제1 부분으로부터 복수의 타일을 식별하는 것 - 상기 복수의 타일 중 각 타일은 복수의 배율 계수 중 하나에서 획득되고 상기 생물학적 영상 내의 대응하는 좌표 세트에 의해 정의되며, 상기 복수의 타일 중 적어도 하나는 상기 제1 부분의 적어도 서브세트에 대응함 -;
   상기 컴퓨팅 시스템에 의해, 대응하는 복수의 그래픽 사용자 인터페이스(GUI) 요소를 통한 동시 디스플레이를 위해 상기 복수의 타일을 제공하는 것;
   상기 컴퓨팅 시스템에 의해, 상기 복수의 타일 중의 타일의 표현을 수정하기 위해 상기 복수의 GUI 요소로부터 GUI 요소와의 상호작용을 검출하는 것;
   상기 컴퓨팅 시스템에 의해, 상기 GUI 요소와의 상기 상호작용에 응답하여 상기 타일을 정의하는 제1 좌표 세트에 대한 제1 변경을 식별하는 것;
   상기 컴퓨팅 시스템에 의해, 상기 제1 좌표 세트에 대한 상기 제1 변경에 기초하여 상기 복수의 타일 중 나머지의 각 타일을 정의하는 제2 좌표 세트에 적용할 제2 변경을 결정하는 것; 및
   상기 컴퓨팅 시스템에 의해, 상기 상호작용이 검출된 상기 타일에 대해 상기 제1 좌표 세트에 상기 제1 변경을 적용하고 상기 복수의 타일 중 상기 나머지의 각 타일에 대해 상기 제2 좌표 세트에 상기 제2 변경을 적용하여 상기 대응하는 복수의 GUI 요소 내의 상기 복수의 타일의 디스플레이를 갱신하는 것을 포함하는 방법.
2. 제1항에 있어서,
   상기 컴퓨팅 시스템에 의해, 상기 타일을 정의하는 상기 제1 좌표 세트에 적용될 상기 제1 변경에 기초하여 상기 생체의학 영상의 제2 부분을 식별하는 것; 및
   상기 제1 부분 및 상기 제2 부분의 비교에 기초하여 상기 제2 좌표 세트에 적용할 상기 제2 변경을 결정하는 것을 더 포함하는 방법.
3. 제1항에 있어서, 상기 복수의 GUI 요소는 상기 복수의 타일 중 기준 타일을 디스플레이하기 위한 제1 GUI 요소 및 상기 복수의 타일 중 대응하는 하나 이상의 다른 타일을 디스플레이하기 위한 하나 이상의 제2 GUI 요소를 포함하는 방법.
4. 제1항에 있어서, 상기 상호작용을 검출하는 것은 상기 타일 내에서 줌(zoom) 동작 또는 상기 타일로부터 이동하기 위한 패닝(panning) 동작 중 적어도 하나를 수행하기 위한 상기 상호작용을 검출하는 것을 더 포함하는 방법.
5. 제1항에 있어서, 상기 복수의 타일을 식별하는 것은, 클라이언트 디바이스로, 상기 대응하는 복수의 GUI 요소를 통해 상기 클라이언트 디바이스 상에 디스플레이하기 위해 상기 생체의학 영상의 상기 제1 부분에 대응하는 상기 복수의 타일을 스트리밍하는 것을 더 포함하는 방법.
6. 제1항에 있어서,
   상기 컴퓨팅 시스템에 의해, 상기 복수의 GUI 요소 중 제2 GUI 요소를 통해 주석(annotation)을 식별하는 것 - 상기 주석은 상기 제2 GUI 요소를 통해 디스플레이되는 상기 복수의 타일 중 제2 타일 상의 하나 이상의 픽셀 좌표를 식별하고, 상기 주석은 상기 제2 타일 상의 상기 하나 이상의 픽셀 좌표에 대응하는 상기 조직 샘플 상의 영역에서 하나 이상의 조건의 존재를 표시함 -; 및
   상기 컴퓨팅 시스템에 의해, 하나 이상의 데이터 구조에, 상기 주석과 상기 생체의학 영상 사이의 연관을 저장하는 것을 더 포함하는 방법.
7. 제5항에 있어서, 상기 컴퓨팅 시스템에 의해, 상기 주석에 의해 식별된 상기 하나 이상의 픽셀 좌표에 대응하는 복수의 색인된 색상 값을 생성하는 것을 더 포함하고,
   상기 연관을 저장하는 것은 상기 복수의 색인된 색상 값을 상기 주석에 대한 맵으로 저장하는 것을 더 포함하는 방법.
8. 제5항에 있어서, 상기 컴퓨팅 시스템에 의해, 상기 제2 GUI 요소를 통해 디스플레이된 상기 제2 타일 내에서 식별된 상기 주석에 기초하여 상기 대응하는 복수의 GUI 요소 내에서 상기 복수의 타일의 디스플레이를 갱신하는 것을 더 포함하는 방법.
9. 제1항에 있어서,
   상기 컴퓨팅 시스템에 의해, 상기 복수의 타일 중 제3 타일에 대해, 상기 생체의학 영상의 각각의 부분을 식별하는 것;
   상기 컴퓨팅 시스템에 의해, 상기 생체의학 영상의 나머지 부분을 유지하면서, 적어도 하나의 타일에 대한 상기 각각의 부분에 색상 수정 동작을 적용하는 것; 및
   상기 컴퓨팅 시스템에 의해, 상기 각각의 부분에 대한 상기 색상 수정 동작의 적용에 기초하여 상기 복수의 GUI 요소의 대응하는 GUI 요소 내에서 상기 제3 타일의 디스플레이를 갱신하는 것을 더 포함하는 방법.
10. 제9항에 있어서,
    상기 컴퓨팅 시스템에 의해, 상기 복수의 타일이 유도되는 상기 생체의학 영상에 대한 출처를 식별하는 것; 및
    상기 컴퓨팅 시스템에 의해, 복수의 색상 수정 동작으로부터, 상기 생체의학 영상에 대해 식별된 상기 출처에 기초하여 상기 색상 수정 동작을 선택하는 것을 더 포함하는 방법.
11. 시스템에 있어서,
    메모리에 결합된 하나 이상의 프로세서를 가지는 컴퓨팅 시스템을 포함하고, 상기 컴퓨팅 시스템은:
    조직병리학적 영상 준비기를 통해 조직 샘플로부터 유도된 생체의학 영상의 제1 부분으로부터 복수의 타일을 식별하고 - 상기 복수의 타일 중 각 타일은 복수의 배율 계수 중 하나에서 획득되고 상기 생물학적 영상 내의 대응하는 좌표 세트에 의해 정의되며, 상기 복수의 타일 중 적어도 하나는 상기 제1 부분의 적어도 서브세트에 대응함 -;
    대응하는 복수의 그래픽 사용자 인터페이스(GUI) 요소를 통한 동시 디스플레이를 위해 상기 복수의 타일을 제공하고;
    상기 복수의 타일 중의 타일의 표현을 수정하기 위해 상기 복수의 GUI 요소로부터 GUI 요소와의 상호작용을 검출하고;
    상기 GUI 요소와의 상기 상호작용에 응답하여 상기 타일을 정의하는 제1 좌표 세트에 대한 제1 변경을 식별하고;
    상기 제1 좌표 세트에 대한 상기 제1 변경에 기초하여 상기 복수의 타일 중 나머지의 각 타일을 정의하는 제2 좌표 세트에 적용할 제2 변경을 결정하고; 및
    상기 상호작용이 검출된 상기 타일에 대해 상기 제1 좌표 세트에 상기 제1 변경을 적용하고 상기 복수의 타일 중 상기 나머지의 각 타일에 대해 상기 제2 좌표 세트에 상기 제2 변경을 적용하여 상기 대응하는 복수의 GUI 요소 내의 상기 복수의 타일의 디스플레이를 갱신하도록 구성되는 시스템.
12. 제11항에 있어서, 상기 컴퓨팅 시스템은:
    상기 타일을 정의하는 상기 제1 좌표 세트에 적용될 상기 제1 변경에 기초하여 상기 생체의학 영상의 제2 부분을 식별하고; 및
    상기 제1 부분 및 상기 제2 부분의 비교에 기초하여 상기 제2 좌표 세트에 적용할 상기 제2 변경을 결정하도록 더 구성되는 시스템.
13. 제11항에 있어서, 상기 복수의 GUI 요소는 상기 복수의 타일 중 기준 타일을 디스플레이하기 위한 제1 GUI 요소 및 상기 복수의 타일 중 대응하는 하나 이상의 다른 타일을 디스플레이하기 위한 하나 이상의 제2 GUI 요소를 포함하는 시스템.
14. 제11항에 있어서, 상기 컴퓨팅 시스템은 상기 타일 내에서 줌 동작 또는 상기 타일로부터 이동하기 위한 패닝 동작 중 적어도 하나를 수행하기 위한 상기 상호작용을 검출하도록 더 구성되는 시스템.
15. 제11항에 있어서, 상기 컴퓨팅 시스템은, 클라이언트 디바이스로, 상기 대응하는 복수의 GUI 요소를 통해 상기 클라이언트 디바이스 상에 디스플레이하기 위해 상기 생체의학 영상의 상기 제1 부분에 대응하는 상기 복수의 타일을 스트리밍하도록 더 구성되는 시스템.
16. 제11항에 있어서, 상기 컴퓨팅 시스템은:
    상기 복수의 GUI 요소 중 제2 GUI 요소를 통해 주석을 식별하고 - 상기 주석은 상기 제2 GUI 요소를 통해 디스플레이되는 상기 복수의 타일 중 제2 타일 상의 하나 이상의 픽셀 좌표를 식별하고, 상기 주석은 상기 제2 타일 상의 상기 하나 이상의 픽셀 좌표에 대응하는 상기 조직 샘플 상의 영역에서 하나 이상의 조건의 존재를 표시함 -; 및
    하나 이상의 데이터 구조에, 상기 주석과 상기 생체의학 영상 사이의 연관을 저장하도록 더 구성되는 시스템.
17. 제15항에 있어서,
    상기 주석에 의해 식별된 하나 이상의 픽셀 좌표에 대응하는 복수의 색인된 색상 값을 생성하고; 및
    상기 복수의 색인된 색상 값을 상기 주석에 대한 맵으로 저장하는 것을 더 포함하는 시스템.
18. 제15항에 있어서, 상기 컴퓨팅 시스템은 상기 제2 GUI 요소를 통해 디스플레이된 상기 제2 타일 내에서 식별된 상기 주석에 기초하여 상기 대응하는 복수의 GUI 요소 내에서 상기 복수의 타일의 디스플레이를 갱신하도록 더 구성되는 시스템.
19. 제11항에 있어서, 상기 컴퓨팅 시스템은:
    상기 복수의 타일 중 제3 타일에 대해, 상기 생체의학 영상의 각각의 부분을 식별하고;
    상기 생체의학 영상의 나머지 부분을 유지하면서, 적어도 하나의 타일에 대한 상기 각각의 부분에 색상 수정 동작을 적용하고; 및
    상기 각각의 부분에 대한 상기 색상 수정 동작의 적용에 기초하여 상기 복수의 GUI 요소의 대응하는 GUI 요소 내에서 상기 제3 타일의 디스플레이를 갱신하도록 더 구성되는 시스템.
20. 제19항에 있어서, 상기 컴퓨팅 시스템은:
    상기 복수의 타일이 유도되는 상기 생체의학 영상에 대한 출처를 식별하고; 및
    복수의 색상 수정 동작으로부터, 상기 생체의학 영상에 대해 식별된 상기 출처에 기초하여 상기 색상 수정 동작을 선택하도록 더 구성되는 시스템.

Images