KR20150095646A - 바이오마커 발현의 선택 및 디스플레이 - Google Patents

Abstract

실시예들은, 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야를 디스플레이하기 위한 이미지 패널과, 관찰시야 내의 소정 영역의 상이한 양태들을 동시에 관찰하기 위한 썸네일 이미지들을 디스플레이하기 위한 바이오마커 패널을 포함하는 사용자 인터페이스를 제공한다. 관찰시야의 선택된 영역의 선택 또는 업데이트시에, 썸네일 이미지는 그에 따라 새로운 선택된 영역을 디스플레이하도록 자동으로 업데이트될 수 있다. 이미지 패널은 관찰시야 내의 소정 영역을 윤곽지정하기 위한 관심 영역 선택 컴포넌트를 포함할 수 있다. 관심 영역 선택 컴포넌트는 이미지 패널에 디스플레이된 관찰시야의 일부 위에 오버레이될 수 있고, 바이오마커 패널에 디스플레이된 관찰시야 내의 영역을 선택 또는 업데이트하기 위해 사용자에 의해 이용될 수 있다. 관심대상 이미지는 전자적 레코드에 보관될 수 있다.

Description

바이오마커 발현의 선택 및 디스플레이{SELECTION AND DISPLAY OF BIOMARKER EXPRESSIONS}

본 출원은, 참조에 의해 그 전체 내용이 본 명세서에 명시적으로 포함되는, 2013년 10월 11일에 출원된 미국 가출원번호 제61/889,820호, 2013년 5월 30일에 출원된 제61/828,890호, 및 2012년 12월 6일에 출원된 제61/734,032호에 대한 35 U.S. 119(e)하의 우선권 혜택을 주장한다.

바이오마커(biomarker)의 발현을 드러내도록 처리된 조직 시편(tissue specimen)의 검사는 생물학적 조사와 임상 연구를 위한 공지된 툴이다. 하나의 이러한 처리는, 관심대상의 바이오마커에 고유한 항체 단편(antibody fragment), 흔히 단백질 등의, 항체(antibody) 또는 항체 대용물(antibody surrogate)의 이용을 수반한다. 이러한 항체 또는 항체 대용물은 적절한 조건하에서 신호를 생성할 수 있는 모이어티(moiety)로 직접 또는 간접 라벨링될 수 있다. 예를 들어, 형광 모이어티가 항체에 부착되어 처리된 조직으로부터 형광에 대해 정보를 얻을 수 있다. 얻어진 신호는 흔히 바이오마커의 존재와 존재하는 바이오마커의 양 모두를 나타낸다.

하나의 실시예에 따르면, 생물학적 시편의 관찰시야 내의 하나 이상의 바이오마커의 발현 수준(expression level)을 디스플레이하기 위한 컴퓨터-구현된 방법이 제공된다. 이 방법은 시각적 디스플레이 장치 상에 그래픽 사용자 인터페이스를 렌더링하는 단계를 포함한다. 그래픽 사용자 인터페이스는 주 이미지 패널(main image panel)과 바이오마커 패널(biomarker panel)을 포함한다. 이 방법은, 선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하는 단계와, 생물학적 시편에 대응하는 선택된 관찰시야의 제1 이미지를 주 이미지 패널 상에 렌더링하는 단계를 포함한다. 이 방법은, 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트(interest region selection component)를 주 이미지 패널 내의 제1 이미지 상에 오버레이시켜 렌더링하는 단계를 포함한다. 이 방법은 또한, 바이오마커 패널 상에, 제1 이미지 내의 제1 영역에 대응하는 제1 세트의 썸네일 이미지(thumbnail image)를 렌더링하는 단계를 포함하고, 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타낸다. 이 방법은 또한, 주 이미지 패널 상에서 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하는 단계, 및 제1 이미지 내의 제2 영역을 선택하는 사용자 입력에 기초하여, 제1 세트의 썸네일 이미지를 제1 이미지 내의 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 바이오마커 패널을 업데이트하는 단계를 더 포함한다.

또 다른 실시예에 따르면, 생물학적 시편의 관찰시야 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 컴퓨터 시스템이 제공된다. 컴퓨터 시스템은, 그래픽 사용자 인터페이스를 디스플레이하기 위한 시각적 디스플레이 장치, 및 시각적 디스플레이 장치에 결합된 컴퓨터 프로세서를 포함한다. 컴퓨터 프로세서는 주 이미지 패널 및 바이오마커 패널을 포함하는 그래픽 사용자 인터페이스를 시각적 디스플레이 장치 상에 렌더링하도록 프로그램 또는 구성된다. 컴퓨터 프로세서는, 선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하고, 생물학적 시편에 대응하는 선택된 관찰시야의 제1 이미지를 주 이미지 패널 상에 렌더링하도록 프로그램 또는 구성된다. 컴퓨터 프로세서는, 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트를 주 이미지 패널 내의 제1 이미지 상에 오버레이시켜 렌더링하도록 프로그램 또는 구성된다. 컴퓨터 프로세서는 또한, 바이오마커 패널 상에, 제1 이미지 내의 제1 영역에 대응하는 제1 세트의 썸네일 이미지를 렌더링하도록 프로그램 또는 구성되고, 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타낸다. 이 방법은 또한, 주 이미지 패널 상에서 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하고, 제1 이미지 내의 제2 영역을 선택하는 사용자 입력에 기초하여, 제1 세트의 썸네일 이미지를 제1 이미지 내의 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 바이오마커 패널을 업데이트하도록 프로그램 또는 구성된다.

또 다른 실시예에 따르면, 하나 이상의 비일시적 컴퓨터-판독가능한 매체가 제공된다. 비일시적 컴퓨터-판독가능한 매체는, 컴퓨터 장치 상에서 실행될 때, 생물학적 시편의 관찰시야 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 방법을 수행하는 인코딩된 하나 이상의 컴퓨터-실행가능한 명령어를 가진다. 이 방법은 시각적 디스플레이 장치 상에 그래픽 사용자 인터페이스를 렌더링하는 단계를 포함한다. 그래픽 사용자 인터페이스는 주 이미지 패널과 바이오마커 패널을 포함한다. 이 방법은, 선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하는 단계와, 생물학적 시편에 대응하는 선택된 관찰시야의 제1 이미지를 주 이미지 패널 상에 렌더링하는 단계를 포함한다. 이 방법은, 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트를 주 이미지 패널 내의 제1 이미지 상에 오버레이시켜 렌더링하는 단계를 포함한다. 이 방법은 또한, 바이오마커 패널 상에, 제1 이미지 내의 제1 영역에 대응하는 제1 세트의 썸네일 이미지를 렌더링하는 단계를 포함하고, 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타낸다. 이 방법은 또한, 주 이미지 패널 상에서 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하는 단계, 및 제1 이미지 내의 제2 영역을 선택하는 사용자 입력에 기초하여, 제1 세트의 썸네일 이미지를 제1 이미지 내의 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 바이오마커 패널을 업데이트하는 단계를 더 포함한다.

또 다른 실시예에 따르면, 디스플레이되는 이미지는 포착되어 회수가능한 레코드로 업로드될 수 있다.

실시예의 상기 및 다른 목적, 양태, 피쳐, 및 이점들은, 첨부된 도면과 연계하여 취해지는 이하의 설명을 참조함으로써 더욱 명백해질 것이고 더 양호하게 이해될 수 있을 것이다.
도 1a 내지 도 1c는 바이오마커 발현 데이터를 저장하기 위한 예시적 데이터 구조를 나타낸다.
도 2는 생물학적 시편의 하나 이상의 관찰시야를 디스플레이하기 위한 예시적 사용자 인터페이스를 나타낸다.
도 3은 관찰시야 내의 바이오마커의 발현 수준을 주 이미지 패널에 디스플레이하고 있는 도 2의 사용자 인터페이스를 나타낸다.
도 4는 서로에 관해 수평으로 배치된 2개의 이미지 서브패널로 분할된 주 이미지 패널을 디스플레이하고 있는 도 3의 사용자 인터페이스를 나타낸다.
도 5는 서로에 관해 수직으로 배치된 2개의 이미지 서브패널로 분할된 주 이미지 패널을 디스플레이하고 있는 도 3의 사용자 인터페이스를 나타낸다.
도 6은, 좌측 서브패널은 관찰시야의 좌측 부분의 바이오마커의 발현 수준을 보여주고 우측 서브패널은 관찰시야의 우측 부분의 형태학적 피쳐(morphological feature)를 보여주고 있는 이미지를 디스플레이하고 있는 도 4의 사용자 인터페이스를 나타낸다.
도 7은 2개 이상의 이미지 서브패널의 크기를 조정하는데 이용될 수 있는 슬라이더 컴포넌트를 디스플레이하고 있는 도 6의 사용자 인터페이스를 나타낸다.
도 8은 생물학적 시편의 관찰시야의 분할 스크린 디스플레이(split screen display)를 제공하기 위한 예시적인 컴퓨터-구현된 방법의 플로차트이다.
도 9a 및 도 9b는 도 4의 이미지 서브패널들을 디스플레이하는데 요구되는 이미지 데이터를 저장하기 위한 예시적 데이터 구조를 나타낸다.
도 10은, 주 이미지 패널과, 바이오마커 발현 데이터의 하나 이상의 썸네일 이미지를 포함하는 바이오마커 패널을 디스플레이하기 위한 사용자 인터페이스를 나타낸다.
도 11은 상이한 줌 레벨들에서의 상이한 관찰시야를 주 이미지 패널에서 디스플레이하고 있는 도 10의 사용자 인터페이스를 나타낸다.
도 12는, 관심대상 형태학적 피쳐가 주 이미지 패널 내의 관심 영역 선택 컴포넌트의 경계선 외부에 있는, 도 10의 사용자 인터페이스를 나타낸다.
도 13은, 관심 형태학적 피쳐가 주 이미지 패널 내의 관심 영역 선택 컴포넌트의 경계선 내부에 있는, 도 12의 사용자 인터페이스를 나타낸다.
도 14는, 주 이미지 패널과, 바이오마커 발현 데이터의 하나 이상의 썸네일 이미지를 포함하는 바이오마커 패널을 디스플레이하기 위한 사용자 인터페이스를 나타낸다.
도 15는 생물학적 시편의 관찰시야의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 예시적인 컴퓨터-구현된 방법의 플로차트이다.
도 16은 관찰시야의 한 영역에 대응하는 바이오마커 발현 데이터의 하나 이상의 썸네일 이미지를 포함하는 바이오마커 패널과 생물학적 시편의 관찰시야의 분할된 스크린 뷰를 디스플레이하기 위한 사용자 인터페이스를 나타낸다.
도 17은 실시예에서 이용가능한 예시적 네트워크 환경의 블록도이다.
도 18은 여기서 설명된 임의의 사용자 인터페이스를 실행하도록 프로그램된 클라이언트 컴퓨팅 장치와 타일링 이미지 데이터 서버(tiling image data server) 사이의 상호작용을 나타내는 예시적 플로차트를 도시한다.
도 19는 클라이언트 컴퓨팅 장치에 의해 생성될 수 있는 이미지 메트릭(image metric) 요청의 예를 도시한다.
도 20은 도 19의 이미지 메트릭 요청에 대한 XML-기반의 응답의 예를 도시한다.
도 21은 클라이언트 컴퓨팅 장치에 의해 생성될 수 있는 타일 이미지(tile image) 요청의 예를 도시한다.
도 22는 여기서 설명된 임의의 사용자 인터페이스를 실행하도록 프로그램된 클라이언트 컴퓨팅 장치와 타일링 이미지 데이터 서버 사이의 상호작용을 나타내는 플로차트이다.
도 23은 실시예에서 이용가능한 예시적 컴퓨팅 장치의 블록도이다.
도 24는 본 발명의 대안적 뷰어(viewer)를 도시한다.
도 25는 도 24의 뷰어의 부분적 이미지에 관한 10x 배율로 취득된 슬라이드 상의 샘플의 분자 H&E 이미지를 도시한다.
도 26은 도 24의 뷰어 상의 CD30의 mDAB 이미지의 10x 디스플레이를 도시한다.
도 27은 관찰 패널에 썸네일 이미지를 프리젠팅하는 이러한 기능을 도시한다.
도 28은 40x 해상도로 취해진 복수의 단색 이미지의 색상 혼합(color blending)을 도시한다.
도 29는 또한, 도 28의 관찰 패널의 부분적 뷰 상에서 본 발명에 의해 제공되는 혼합 인터페이스를 도시한다.
도 30은 본 발명의 디지털 프리즘(Digital Prism)의 대안적 실시예를 도시한다.
도 31은 도 28의 관찰 패널(viewing panel)의 부분적 뷰 상에서의, 하나의 패널 상의 mDAB CD30 이미지와, 인접한 패널 내의 mDAB Pax5 이미지의 선택을 도시한다.
도 32는 도 31의 2개의 이미지의 선택가능한 배향을 도시한다.
도 33은 도 28의 관찰 패널의 부분적 뷰 상에서의 관찰을 위해 선택된 2개의 이미지를 구분하는 바(bar)에 대한 하나의 선택가능한 위치를 도시한다.
도 34는 주 디스플레이 상의 2개의 박스로 윤곽지정된 바와 같이, 본 발명의 스냅샷 포착 피쳐를 이용하여 포착된 2개의 상이한 관심 영역을 도시한다.
도 35는 본 발명의 스냅샷 피쳐를 이용하여 썸네일 이미지들 모두가 포착되는 것을 허용하는 본 발명을 도시한다.
도 36은 본 발명의 스냅샷 피쳐를 이용하여 전체의 필드가 포착되는 것을 허용하는 본 발명을 도시한다.
도 37은 본 발명의 주석 탭(annotations tab)을 이용한 포착된 썸네일 이미지의 디스플레이를 도시한다.
도 38은 포착된 이미지들의 목록 포멧의 디스플레이를 도시한다.
도 39는 병리학자가 포착된 이미지들 모두를 케이스 보고(case report) 내에 업로드하는 기능을 도시한다.

여기서 개시된 실시예는, 생물학적 시편과 생물학적 시편에 대응하는 조직 및 데이터, 예를 들어, 하나 이상의 바이오마커의 발현 수준, 하나 이상의 형태학적 피쳐, 하나 이상의 이미지 분석 방법의 결과 등을 선택적으로 시각화하기 위한 방법, 시스템, 및 장치를 포함한다. 실시예는, 생물학적 조사 응용을 용이하게 하고, 병리학자가 객관적이고 반복가능한 진단과 질병 또는 상태 모델에 도달하는 것을 허용하는, 구조화되고, 신속하며, 융통성이 있고, 사용자-친화적인 생물학적 시편의 디스플레이를 가능케 한다.

소정의 실시예는 생물학적 시편의 선택된 관찰시야의 상이한 부분들을 동시에 관찰하기 위한 분할 스크린 디스플레이를 제공한다. 디스플레이된 관찰시야의 해상도에 따라, 본 발명은 관찰시야가 생물학적 시편의 이미지의 전부 또는 일부를 보여주는 것을 고려한다. 본 발명의 대부분의 응용에서, 생물학적 시편 이미지의 일부의 이미지 패널에서의 더 높은 배율의 디스플레이를 허용하도록 생물학적 시편 이미지의 단지 일부이거나 작은 관심 영역인 관찰시야를 선택하는 것이 바람직할 것이라고 생각된다. 따라서, 관찰시야가 "생물학적 시편에 대응한다"라고 말할 때, 본 발명은, 그 관찰시야는 생물학적 시편의 이미지, 또는 이미지의 일부를 나타낸다는 것을 의도한다. 분할 스크린 디스플레이 내의 이미지 패널은 관찰시야의 2개의 연속된 부분을 디스플레이하기 위한 2개 이상의 비중첩 이미지 서브패널을 포함하거나, 이들로 분할되어, 서브패널이 관찰시야의 단일 부분을 디스플레이하고 2개 이상의 이미지 서브패널들의 집합이 협력적으로 전체의 관찰시야를 디스플레이하게 할 수 있다. 관찰시야의 부분들은 서브패널들의 경계에서 정확하고 매끄럽게(precisely and seamlessly) 정렬된다. 관찰시야의 부분들을 서브패널들에서 디스플레이하기 위해 상이한 디스플레이 타입들이 이용될 수 있다. 상이한 디스플레이 타입들로는, 하나 이상의 바이오마커의 발현, 하나 이상의 형태학적 피쳐의 디스플레이, 하나 이상의 분석 결과의 디스플레이, 및 하나 이상의 시각화 타입으로서의 디스플레이가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.

소정의 실시예는 생물학적 시편의 관찰시야를 디스플레이하기 위한 이미지 패널과 관찰시야 내의 소정 영역의 상이한 양태들(예를 들어, 영역 내의 상이한 바이오마커들의 발현 수준들)을 동시에 관찰하기 위한 썸네일 이미지를 디스플레이하기 위한 바이오마커 패널을 포함하는 사용자 인터페이스를 제공한다. 관찰시야의 선택된 영역의 선택 또는 업데이트시에, 썸네일 이미지는 그에 따라 새로운 선택된 영역을 디스플레이하도록 자동으로 업데이트될 수 있다. 이미지 패널은 관찰시야 내의 소정 영역을 윤곽지정(delineate)하기 위한 관심 영역 선택 컴포넌트를 포함할 수 있다. 관심 영역 선택 컴포넌트는 주 이미지 패널에 디스플레이된 관찰시야의 일부 위에 오버레이될 수 있고, 바이오마커 패널에 디스플레이된 관찰시야 내의 영역을 선택 또는 업데이트하기 위해 사용자에 의해 이용될 수 있다.

예시적 조직 촬상 기술

여기서 교시되는 실시예들은, 염색-표백-재염색(staining-bleaching-restaining) 등의 공지된 기술을 통해 생성될 수 있는 멀티플렉싱된 바이오마커 이미지(multiplexed biomarker image)에 대응하는 생물학적 이미지 데이터를 이용한다. 일반적으로, 이 기술은, 형광 라벨링된 프로브(fluorophore labeled probe)로 생물학적 시편을 염색하여 하나 이상의 프로브 결합된 바이오마커를 위한 신호를 생성하고, 이들 신호를 화학적으로 표백하고, 시편을 재염색하여 일부 추가의 바이오마커를 위한 신호를 생성하는 단계를 포함한다. 서로 용이하게 구분될 수 있는 제한된 개수의 신호만이 있어서 특정한 단계에서 제한된 개수의 바이오마커만이 검사될 수 있기 때문에 화학적 표백 단계가 편리하다. 표백에 의해, 조직 샘플은 복수의 단계들에 대해 재프로브될 수 있소 재평가될 수 있다. 이러한 사이클링 방법은 포르말린 고정 파라핀 매립 조직(FFPE; formalin fixed paraffin embedded tissue) 샘플 및 세포에서 이용될 수 있다. 시편의 디지털 이미지는 각각의 염색 단계 이후에 수집된다. 시편의 연속적 이미지들은, 그 신호가 화학적 표백 방법에 의해 수정되지 않는, DAPI 염색된 세포핵 등의 형태학적 피쳐를 이용하여 레지스트리(registry)에 편리하게 유지될 수 있다. 앞서 언급된 내용은 멀티플렉싱 기술의 한 예이고, 샘플을 염색, 표백, 및 촬상하는데 이용되는 시스템은 멀티플렉싱 플랫폼의 예이다.

또 다른 접근법은, 동결된(frozen) 생물학적 시편을 반복적으로 염색하고 다음 세트의 염색을 인가하기 전에 이전의 염색 단계로부터의 라벨을 광 표백(photo bleaching)함으로써 동결된 생물학적 시편들을 검사하는 단계를 포함한다. 그 다음, 평가된 각각의 바이오마커와 연관된 형광 신호의 세기가 적절한 이미지로부터 추출된다.

생성된 이미지들은 세포의 더 큰 조직 샘플 내의 개개의 세포에 의한 하나 이상의 바이오마커의 발현을 나타낼 수 있다. 조직 샘플은, 세포 배양물로부터의 한 그룹의 세포 또는 기관, 종양, 또는 병변의 샘플일 수 있다. 이 조직 샘플은, 코호트(cohort)라 알려진, 상이한 피험체로부터의 유사한 조직의 시편들의 그룹의 일부일 수도 있다. 이들 조직 샘플들의 그룹들은, 하나 이상의 질병이나 상태 모델, 질병이나 상태 모델 내의 상이한 스테이지, 또는 질병이나 상태의 치료에 대한 하나 이상의 반응을 나타낼 수도 있다.

세포핵, 세포질 또는 세포막 등의, 특정한 세포 또는 심지어 그 주어진 세포의 구획 내의 주어진 바이오마커의 발현 수준이 정량적으로 결정될 수 있도록, 조직 처리 및 검사의 기술들은 개선되었다. 전체로서 이들 구획 또는 세포의 경계는 공지된 조직학적 염색(histological stain)을 이용하여 위치파악된다. 흔히, 처리된 조직은 디지털 촬상에 의해 검사되고 상이한 바이오마커들로부터 나오는 상이한 신호들의 레벨은 결과적으로 용이하게 정량화될 수 있다.

생물학적 시편의 각각의 염색된 관찰시야의 이미지들은, 적절한 현미경에 결합된 디지털 카메라와 적절한 품질 제어 루틴에 의한 등의, 공지된 기술을 이용하여 생성된다. 개개의 윤곽지정된 세포, 세포의 집합, 또는 핵, 세포질 및 세포막 등의 심지어 세포이하 구획들에 대한 바이오마커 발현 수준을 정량화하기 위해 자동화된 이미지 정합(registration) 및 분석도 역시 이용될 수 있다. 세포 또는 세포이하 요소들의 멀티플렉싱과 이미지 분석으로 나오는 데이터 값들은 단독으로 또는 추가의 분석, 예를 들어, 분할 분석의 결과와 연계하여 저장될 수 있다. 데이터베이스는 소스 시편의 식별과 그 시편의 출처가 되는 조직 내의 위치의 식별을 포함하는 바이오마커의 발현 수준을 (예를 들어, 상이한 데이터 채널로서) 유지할 수 있다. 식별된 위치는 특정한 측정이 유도된 출처가 되는 특정한 세포 및/또는 조직을 나타낼 수 있고, 그 측정과 연관된 구획, 핵, 세포질 또는 세포막의 식별을 역시 포함할 수 있다. 이와 연관된 데이터 값들은, 스토리지 장치 또는 네트워킹된 서버에서 유지될 수 있는 데이터베이스에 저장될 수 있다.

도면들을 참조하여 이하에서 실시예들이 설명된다. 통상의 기술자라면, 실시예들은 예시의 구현으로 제한되지 않으며, 예시의 시스템, 장치 및 방법의 컴포넌트들은 이하에서 기술되는 예시적 실시형태로 제한되지 않는다는 것을 이해할 것이다.

생물학적 이미지 데이터를 저장하기 위한 예시적 데이터 구조

실시예는, 그래픽 사용자 인터페이스 상에서의 디스플레이를 위한 상이한 해상도의 이미지의 생성을 허용하는 방식으로 생물학적 시편에 관한 이미지 데이터를 저장할 수 있다. 생물학적 시편의 멀티플렉싱된 이미지는 컴퓨팅 장치에 의해 처리되어 멀티플렉싱된 이미지를 형성하는데 이용된 상이한 마커들에 대응하는 상이한 데이터 채널들을 분리할 수 있다. 이들 마커들은 형태학적 피쳐(예를 들어, 핵, 세포막, 세포질)를 나타내는 바이오마커 및/또는 염색일 수 있다.

실시예에서, 멀티플렉싱된 이미지 내의 각각의 채널에 대응하는 화소-레벨의 이미지 데이터는 데이터를 스트리밍하는데 적합한 타일링된 다중 해상도(tiled multi-resolution) 또는 타일링된 피라미드형 데이터 구조(tiled pyramidal data structure)로 저장될 수 있다. 이러한 데이터 구조에서, 동일한 이미지 데이터 채널의 상이한 해상도에 대응하는 복수의 이미지들이 증가하는 또는 감소하는 해상도 순서로 피라미드 포멧으로 저장된다. 각각의 해상도 레벨에서, 이미지의 화소-레벨 데이터는 복수의 블록이나 타일로 분할된다. 타일링된 다중 해상도 포멧은 데이터 액세스 및 전송의 속도와 효율을 최대화한다. 개개의 이미지 타일은 최소한의 서버 오버헤드를 수반하여 임의의 해상도에서 신속하게 액세스 및 스트리밍될 수 있고, 이것은 고해상도 이미지 데이터에 액세스하는데 있어서 특히 중요하다. 즉, 하나 이상의 타일의 시퀀스에 대응하는 데이터는 데이터 스토리지로부터 전송될 수 있고 데이터 요청 엔티티에 의해 수신될 수 있다. 데이터는 상이한 해상도들에서 이용가능하므로, 이미지 데이터를 요청된 해상도 레벨에 순응시키기 위한 이미지 처리는 필요하지 않다.

타일링된 다중 해상도 데이터 구조를 생성하는데 있어서, 단일의 데이터 채널(예를 들어, 단일의 바이오마커)에 대응하는 이미지는 컴퓨팅 장치에 의해 처리되어 동일한 이미지의 상이한 해상도의 2개의 이상의 버전을 생성할 수 있다. 더 낮은 해상도 버전의 이미지를 생성하기 위한 임의의 종래 기술이 이용될 수 있다. 그 다음, 단일의 데이터 채널에 대응하는 이미지들이 증가하는 또는 감소하는 해상도 순서로 피라미드형 포멧으로 저장될 수 있다. 도 1a는 생물학적 시편 내의 제1 바이오마커의 발현 데이터를 저장하기 위한 타일링된 피라미드형 데이터 구조(102)를 나타낸다; 도 1b는 생물학적 시편 내의 제2 바이오마커의 발현 데이터를 저장하기 위한 타일링된 피라미드형 데이터 구조(104)를 나타낸다; 도 1c는 생물학적 시편 내의 제3 바이오마커의 발현 데이터를 저장하기 위한 타일링된 피라미드형 데이터 구조(106)를 나타낸다. 도 1a의 예시의 데이터 구조(102)는, 4개의 상이한 해상도 레벨에서 증가하는 해상도 순서로 정렬된 동일한 생물학적 시편 내의 동일한 마커 발현 또는 형태에 관한 데이터에 대응하는 4개의 이미지(108, 110, 112, 114)를 포함한다.

일단 단일의 데이터 채널에 대한 피라미드형 데이터 구조가 생성되고 나면, 상이한 해상도 층들에서의 각 이미지에 관한 화소-레벨 데이터는 블록 또는 타일들로 분할된다. 이미지는 임의의 적절한 개수의 타일들로 분할될 수 있다. 예를 들어, 이미지는, 폭이 512 화소이고 높이가 512 화소인 타일들로 분할될 수 있다. 타일링된 다중 해상도 데이터 구조를 저장하는 스토리지 장치는 각각의 데이터 구조와 데이터 구조 내의 각 타일을 요청에 기초한 신속한 액세스를 위해 고유하게 식별할 수 있다. 예를 들어, 데이터 구조 내의 각 타일은 피라미드 내의 각 레벨에서 인덱싱될 수 있고, 및/또는 2차원 좌표가 피라미드 내의 각 레벨의 각 타일과 연관된다.

실시예들이 타일링된 다중 해상도 데이터 저장 구조와 연계하여 설명되지만, 통상의 기술자라면, 다른 적절한 저장 구조들이 마찬가지로 또는 대안으로서 이용될 수 있다는 것을 이해할 것이다.

한 실시예에서, 여기서 설명된 임의의 사용자 인터페이스를 제공하는 컴퓨팅 장치는 생물학적 시편에 관한 이미지 데이터를 타일링된 다중 해상도 데이터 구조로 저장하기 위한 스토리지 장치를 포함할 수 있다.

또 다른 실시예에서, 여기서 설명된 임의의 사용자 인터페이스를 제공하는 컴퓨팅 장치는 타일링된 다중 해상도 데이터 구조를 저장하고 있는 원격 서버로부터의 이미지 데이터를 액세스할 수 있다. 이 경우, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는 그 목적을 위해 선택적으로 요구되는 데이터의 타일들을 결정할 수 있고, 서버에게 선택적 타일들만을 요청할 수 있다. 즉, 전체의 생물학적 시편에 관한 이미지 데이터는 일부 실시예에서는 요청될 수 없거나 사용자 인터페이스 내에 프리로딩될 수 없다; 그러나, 오히려, 주어진 시간에 요구되는 이미지 데이터 세트들만이 서버에게 요청될 수 있다. 이것은 요청을 서빙하는데 있어서 서버 오버헤드를 최소화시키고 사용자 인터페이스를 위해 컴퓨팅 장치에 전송될 필요가 있는 이미지 데이터의 양을 감소시킴으로써, 사용자 인터페이스를 신속하고 효율적으로 만들며 사용자 입력과 요청에 대해 고도로 즉각적인 반응을 하게 한다. 데이터 요청에 응답하여, 서버는 데이터의 요청된 타일들에 액세스할 수 있고, 일부 경우에는 데이터의 분석이나 유효성확인을 수행할 수 있다. 그 다음, 서버는 스트리밍 방식으로 컴퓨팅 장치에 데이터의 타일들을 전송할 수 있다. 즉, 하나 이상의 타일의 시퀀스에 대응하는 데이터는 서버에 의해 전송되어 그 데이터를 요청한 컴퓨팅 장치에 의해 수신될 수 있다.

예시적 생물학적 시편의 분할 스크린 디스플레이

일부 실시예에서, 생물학적 시편의 선택된 관찰시야의 2개 이상의 부분 또는 영역들의 상이한 양태들을 동시에 관찰하기 위한 분할 스크린 디스플레이가 인에이블된다. 더 구체적으로는, 생물학적 시편의 선택된 관찰시야를 디스플레이하기 위한 이미지 패널이 제공된다. 분할 스크린 디스플레이 내의 이미지 패널은 관찰시야의 2개 이상의 부분을 디스플레이하기 위한 2개 이상의 비중첩 이미지 서브패널을 포함하거나, 이들로 분할되어, 서브패널이 관찰시야의 단일 부분을 디스플레이하고 2개 이상의 이미지 서브패널들의 집합이 협력적으로 전체의 관찰시야를 디스플레이하게 할 수 있다. 관찰시야의 부분들은 연속적일 수 있다. 관찰시야의 부분들은 서브패널들의 경계에서 정확하고 매끄럽게 정렬된다. 실시예에서, 생물학적 시편의 명시된 관찰시야 내에서, 이미지 서브패널들은, 동일한 크기와 해상도 레벨을 갖는 정합된 세트일 수 있다. 이미지 서브패널들은, 관찰시야가 분할 스크린 뷰에 디스플레이될 때 조직 피쳐들이 서브패널들에 걸쳐 적절히 정렬되도록 적절하게 정합(register)될 수 있다.

2개의 이미지 서브패널들이 제공되는 한 예에서, 제1 서브패널은 관찰시야의 2개의 부분들 중 제1의 것을 디스플레이하고 제2 서브패널은 관찰시야의 2개의 부분들 중 제2의 것을 디스플레이할 수 있다. 서브패널들로 분할된 후에도, 이미지 패널은 전체의 관찰시야를 매끄러운 방식으로 계속 디스플레이할 수 있다. 모든 실시예에 대해, 본 발명에서는, 용어 "매끄러운" 및 "연속적인"이 서브패널들간을 윤곽지정하는 경계선을 갖는 이미지 패널 디스플레이에도 적용되어, 경계선이 서브패널들의 인접한 엣지들 중 하나 또는 양쪽 모두를 커버하거나, 서브패널들의 인접하는 엣지들이 제공된 경계선의 폭을 가로질러 분리될 수 있는 것도 고려하고 있다.

실시예에서, 관찰시야의 부분들을 상이한 이미지 서브패널들에서 디스플레이하기 위해 상이한 디스플레이 타입들이 이용될 수 있다. 실시예에서 이용되는 상이한 디스플레이 타입들로는, 하나 이상의 바이오마커의 발현, 하나 이상의 형태학적 피쳐의 디스플레이, 하나 이상의 분석 결과의 디스플레이, 하나 이상의 시각적 타입에 따른 디스플레이(예를 들어, 2진 열-지도, 이산 열-지도, 연속 열-지도, 그레이 또는 컬러 화소들의 그레이스케일 값의 강도, 2개 이상의 바이오마커 발현의 색상 혼합), 이들 타입의 임의의 조합 등이 포함되지만, 이것으로 제한되는 것은 아니다.

2개의 이미지 서브패널들이 제공되는 한 예에서, 제1 서브패널은 관찰시야의 제1 부분의 제1 바이오마커의 발현 수준을 디스플레이하고 제2 서브패널은 관찰시야의 제2 부분의 제2 바이오마커의 발현 수준을 디스플레이할 수 있다. 2개의 이미지 서브패널들이 제공되는 또 다른 예에서, 제1 서브패널은 관찰시야의 제1 부분의 바이오마커의 발현 수준을 디스플레이하고, 제2 서브패널은 관찰시야의 제2 부분의 하나 이상의 형태학적 피쳐를 디스플레이할 수 있다. 2개의 이미지 서브패널들이 제공되는 또 다른 예에서, 제1 서브패널은 관찰시야의 제1 부분의 하나 이상의 형태학적 피쳐를 디스플레이하고, 제2 서브패널은 관찰시야의 제2 부분의 하나 이상의 형태학적 피쳐를 디스플레이할 수 있다.

실시예에 의해 제공되는 분할 스크린 디스플레이 능력은 생물학적 시편의 상이한 양태들이 시야의 상이한 부분들에 걸쳐 어떻게 변경 또는 변동하는지를 비교하는데 유용하다. 예를 들어, 분할 스크린 디스플레이는 의료 전문가 또는 연구원이 상이한 관심 위치들(예를 들어, 하나 이상의 촬상된 바이오마커를 발현하는 세포 또는 세포군)에 걸쳐 상이한 바이오마커들 또는 바이오마커들의 조합을 분석할 수 있게 할 수 있다.

분할 스크린 디스플레이의 유익한 특징은, 이것이 주 이미지 패널에 디스플레이된 생물학적 시편의 이미지 또는 관찰시야의 이미지가 이미지 서브패널의 생성 이전에 컴퓨터 메모리에 완전히 로딩될 것을 요구하지 않는다는 것이다. 대신에, 사용자는 서브패널에서의 디스플레이를 위한 관찰시야의 원하는 부분을 선택할 수 있고, 이것은 사용자 선택에 관련된 이미지 데이터만이 분할 스크린 디스플레이를 위해 컴퓨터 메모리에 선택적으로 로딩되게 한다.

통상의 기술자라면, 상이한 디스플레이 타입들의 임의의 적절한 조합이 관찰시야를 분할 이미지 패널에 디스플레이하는데 이용될 수 있다는 것을 이해할 것이다. 예를 들어, 이미지 패널의 상이한 이미지 서브패널들이, 제로 또는 하나 이상의 상이한 바이오마커 발현; 제로 또는 하나 이상의 형태학적 피쳐; 제로 또는 하나 이상의 분석 결과; 제로 또는 하나 이상의 상이한 시각화 타입; 또는 이들의 임의 조합을 디스플레이하도록 선택될 수 있다.

예시적 이미지 패널은, 사용자 기호, 디스플레이 크기, 디스플레이 해상도 등을 포함한 그러나 이것으로 제한되지 않는 하나 이상의 요인에 기초하여, 임의의 적절한 개수의 서브패널들로 분할되거나 이들을 제공받을 수 있다. 이미지 패널에 형성된 또는 제공된 서브패널들의 예시적 개수는, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15 등을 포함할 수 있지만, 이것으로 제한되지 않는다.

이미지 패널은, 이미지 패널에 동시에 디스플레이되는 2개 이상의 서브패널들로 사전분할되어 로딩될 수 있다. 대안으로서, 이미지 패널은, 사용자 입력의 수신시 또는 디스플레이 설정에 기초하여 로딩된 후에 분할될 수도 있다.

2개 이상의 예시적 이미지 서브패널들이 이미지 패널 내에서 서로에 관하여 임의의 적절한 방식으로, 예를 들어, 수평으로, 수직으로, 격자 구성으로 구성될 수 있다. 이미지 서브패널의 공간적 구성은, 관찰시야의 부분들이 서브패널들의 경계에서 정확하고 매끄럽게 정렬되도록, 관찰시야의 디스플레이된 공간적 구성에 대응할 수 있다. 이미지 서브패널들은, 관찰시야가 분할 스크린 뷰에 디스플레이될 때 조직 피쳐들이 서브패널들에 걸쳐 적절히 정렬되도록 적절하게 정합될 수 있다. 예를 들어, 수평으로 구성된 좌측 및 우측 서브패널들은 관찰시야의 좌측 및 우측 부분을 매끄럽게 디스플레이하는 반면, 수직으로 구성된 상부 및 하부 서브패널들은 관찰시야의 상부 및 하부를 매끄럽게 디스플레이할 수 있다.

도 2 내지 도 7은, 다른 적절한 사용자 인터페이스가 이용될 수도 있지만, 분할 스크린 디스플레이를 구현하는데 이용될 수 있는, 여기서는 '뷰어'(200)라고도 하는, 예시적 그래픽 사용자 인터페이스(GUI)를 나타낸다. 도 2는 생물학적 시편의 관찰시야를 디스플레이하기 위한 주 이미지 패널(202)을 포함한 GUI(200)를 나타낸다. 사용자는 주 이미지 패널(202)에서 디스플레이하기 위한 원하는 생물학적 시편(예를 들어, 슬라이드/스폿)을 선택할 수 있다. 생물학적 시편은, GUI(200), 명령 패널, 또는 기타 임의의 적절한 수단을 이용하여 선택될 수 있다.

선택된 생물학적 시편은 GUI(200)에 디스플레이될 수 있는 대응하는 저장된 이미지 데이터를 가질 수 있다. 디스플레이 타입 선택 컴포넌트(204)가 주 이미지 패널(202)에서의 디스플레이에 이용가능한 하나 이상의 디스플레이 타입을 선택하기 위해 사용자에 의해 이용될 수 있다. 실시예에서 이용되는 예시적 디스플레이 타입은, 하나 이상의 바이오마커의 발현, 하나 이상의 형태학적 피쳐의 디스플레이, 하나 이상의 분석 결과의 디스플레이, 하나 이상의 시각적 타입에 따른 디스플레이(예를 들어, 2진 열-지도, 이산 열-지도, 연속 열-지도, 그레이 또는 컬러 화소들의 그레이스케일 값의 강도, 2개 이상의 바이오마커 발현의 색상 혼합), 이들 타입의 임의의 조합 등을 포함하지만, 이것으로 제한되는 것은 아니다. 예를 들어, 도 2 내지 도 7의 디스플레이 타입 선택 컴포넌트(204)는, 선택된 생물학적 시편에 대해, VDAB 시각화 타입이 CD30 바이오마커에 이용가능하고, 그레이스케일 시각화 타입이 CD30 바이오마커에 이용가능하며, VHE 이미지가 이용가능하다는 것을 나타낸다.

(예를 들어, 선택을 클릭하거나 및/또는 선택을 주 이미지 패널(202) 상으로 드래그함으로써) 선택된 생물학적 시편에 대한 디스플레이 타입의 사용자 선택의 수신시에, 주 이미지 패널(202)은 선택된 디스플레이 타입에 따라 디스플레이된 관찰시야를 렌더링할 수 있다. 도 3은 CD30 바이오마커에 대한 VDAB 시각화 타입을 나타내는, 주 이미지 패널(202)에서의 생물학적 시편의 관찰시야의 디스플레이를 나타낸다.

주 이미지 패널(202)에서의 관찰시야의 디스플레이시에, GUI(200)는, 전체 생물학적 시편의 이미지 ―주 이미지 패널(202)에 디스플레이된 관찰시야는 이 이미지의 일부임― 를 디스플레이하는 (도 3 내지 도 7에 나타낸) 이미지 네비게이션 컴포넌트(206)를 포함하도록 업데이트될 수 있다. 이미지 네비게이션 컴포넌트(206)는, 사용자에 의해 선택된 디스플레이 타입, 예를 들어, 도 3의 CD30 바이오마커에 대한 VDAB 시각화 타입에 따라 생물학적 시편을 디스플레이한다.

이미지 네비게이션 컴포넌트(206)는, 생물학적 시편의 전체 디스플레이 내에서 관찰시야를 윤곽지정하기 위한, 도 3 내지 도 7에 나타낸, 관찰시야 선택 컴포넌트(208)(예를 들어, 십자선(reticle) 또는 기타 임의의 적절한 컴포넌트)를 포함할 수 있다. 이것은 사용자가 (주 이미지 패널(202)에 디스플레이된) 관찰시야가 (이미지 네비게이션 컴포넌트(206)에서 디스플레이된) 전체의 생물학적 시편 내에서 어디에서 발견될 수 있는지를 대체적으로 위치파악하는 것을 허용한다. 관찰시야 선택 컴포넌트(208)는, 이미지 네비게이션 컴포넌트(206)에 디스플레이된 생물학적 시편 내의 임의의 관찰시야를 사용자가 선택할 수 있게 하여 주 이미지 패널(202)이 선택된 관찰시야를 디스플레이하도록 업데이트되게 할 수 있는 상호작용 컴포넌트일 수 있다. 유사하게, 사용자는 관찰시야 선택 컴포넌트(208)를 이용하여 계속적이고 부드러운 방식으로 상이한 관찰시야들을 브라우징할 수 있다. 사용자는 (예를 들어, 마우스 커서로 클릭함으로써) 관찰시야 선택 컴포넌트(208)를 선택하고, 관찰시야 선택 컴포넌트(208)를 새로운 상이한 관찰시야 상으로 드래그 앤 드랍(drag and drop)할 수 있다. 실시예에서, 커서를 릴리스함으로써 관찰시야 선택 컴포넌트(208)를 드랍하면, 주 이미지 패널(202)은 새로운 관찰시야를 디스플레이하도록 자동으로 업데이트될 수 있다. 실시예에서, 주 이미지 패널(202)은 또한 관찰시야 선택 컴포넌트(208)가 사용자에 의해 드래그되는 동안 자동으로 업데이트될 수도 있다. 일부 실시예에서, 이 업데이트는 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수행되거나, 대안으로서, 사용자가 관찰시야에 대한 새로운 장소를 선택한 후 시간 지연 후에 수행될 수도 있다.

일부 실시예에서, 이미지 네비게이션 컴포넌트(206)는 주 이미지 패널(202)보다 작으며, 생물학적 시편의 더 낮은 해상도 디스플레이를 제공한다. 다른 실시예에서, 이미지 네비게이션 컴포넌트(206)는 주 이미지 패널(202)과 동일한 크기이거나 더 클 수도 있다.

도 3에 나타낸 바와 같이, 주 이미지 패널(202)은 사용자가 (예를 들어, 줌 슬라이더 및/또는 줌 버턴을 이용하여) 특정한 줌 레벨 또는 상대적 줌 레벨을 입력하는 것을 허용하기 위한 줌 입력 도구(210)를 포함할 수 있다. 현재의 상대적 줌 레벨은 이미지 패널 상에서 줌 표시자(212)에서 표시될 수 있다. 일부 경우에, 줌 레벨은 사용자에 의해 또는 시스템에 의해 자동으로 디폴트 레벨로 리셋될 수 있다. 일부 실시예에서, 사용자 인터페이스는, 예를 들어, 마우스 우측 버턴을 클릭함으로써, 포인팅 장치를 이용하여 주 이미지 패널(202) 상의 이미지에 관해 직접 줌인 또는 줌아웃을 허용할 수 있다. 일부 실시예에서, 사용자 인터페이스는 키보드 단축키를 이용한, 예를 들어, 줌인하기 위한 "Ctrl"키와 "+"키의 조합 및 줌아웃하기 위한 "Ctrl"키와 "-"키의 조합을 이용한 줌인 및 줌아웃을 허용할 수 있다. 주 이미지 패널(202)이 새로운 줌 레벨에 따라 업데이트되면, 이미지 네비게이션 컴포넌트(206) 내의 관찰시야 선택 컴포넌트(208)는 주 이미지 패널(202)에 도시된 업데이트된 관찰시야를 정확하게 윤곽지정하도록 자동으로 업데이트될 수 있다. 실시예에서, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는, 새로운 줌 레벨이 타일링된 다중 해상도 데이터 구조 내의 상이한 해상도 레벨로부터의 이미지 데이터를 요구한다고 결정할 수 있고, 그 해상도 레벨로부터 이미지 데이터의 하나 이상의 타일을 회수할 수 있다.

도 3에 나타낸 바와 같이, 주 이미지 패널(202)은 생물학적 시편 내의 새로운 관찰시야로 팬닝(panning)하기 위한 팬 입력 도구(pan input tool, 214)를 포함할 수 있다. 팬 입력 도구(214)는 사용자가 주 이미지 패널(202)에 디스플레이된 관찰시야를 조절하기 위하여 슬라이더를 이용해 생물학적 시편에서의 특정한 팬닝 레벨 또는 상대적 팬닝 레벨을 입력하는 것을 허용할 수 있다. 일부 경우에 팬 설정은 주 이미지 패널(202) 내의 초기에 디스플레이된 관찰시야를 디스플레이하기 위해 리셋될 수 있다. 일부 실시예에서, 사용자 인터페이스는, 예를 들어, 이미지 위에서 마우스 상의 좌측 버턴을 클릭하고, 이미지를 가로질러 커서를 드래그하여 버턴을 릴리스해 새로운 관찰시야를 디스플레이함으로써, 주 이미지 패널(202) 상에서 직접 포인팅 장치를 이용한 팬닝을 허용할 수 있다. 일부 실시예에서, 사용자 인터페이스는 키보드 단축키를 이용한 팬닝을 허용할 수 있다.

한 실시예에서, 주 이미지 패널(202)은 커서의 릴리스시에 새로운 관찰시야를 디스플레이하도록 업데이트될 수 있다. 또 다른 실시예에서, 주 이미지 패널(202)은 사용자가 이미지를 가로질러 커서를 드래그할 때 실시간 방식으로 업데이트되거나, 대안으로서, 사용자가 선택된 관찰시야를 이동시킨 후 시간 지연 후에 수행될 수도 있다. 실시예에서, 사용자 인터페이스를 실행하는 컴퓨팅 장치는, 새로운 관찰시야를 나타내기 위해 상이한 세트의 이미지 데이터의 타일들이 요구된다고 결정하고, 타일링된 다중 해상도 데이터 구조로부터 타일 세트를 회수할 수 있다.

일부 실시예에서, 팬 입력 도구(214)는 사용자가 주 이미지 패널(202)에 디스플레이된 관찰시야를 회전(rotate)시킬 수 있게 할 수 있다.

주 이미지 패널(202)이 새로운 관찰 시야를 디스플레이하도록 업데이트되면, 이미지 네비게이션 컴포넌트(206) 내의 관찰시야 선택 컴포넌트(208)는 시편 내의 새로운 관찰 시야의 위치를 정확하게 표시하도록 자동으로 업데이트될 수 있다.

도 4에 나타낸 바와 같이, 주 이미지 패널(202)은, 사용자가 주 이미지 패널(202)이 2개 이상의 이미지 서브패널로 분할되거나 동시적 표시를 위해 2개 이상의 이미지 서브패널, 예로서, 서브패널(218, 220)을 제공받아야 한다는 것을 나타내는 것을 허용하는 하나 이상의 분할기 컴포넌트(216)를 포함할 수 있다. 실시예에서, 사용자는 얼마나 많은 서브패널이 동시 디스플레이를 위해 생성되어야 하는지를 선택할 수 있다. 대안으로서, 시스템은 저장된 디폴트 설정에 표시된 다수의 서브패널들을 생성할 수 있다. 실시예에서, 사용자는 얼마나 많은 서브패널이 이미지 패널(202)에서 구성되어야 하는지를 선택할 수 있다. 대안으로서, 시스템은 저장된 디폴트 설정에 따라 서브패널들을 구성할 수 있다. 실시예에서, 사용자는 주 이미지 패널(202)로부터 이미지 서브패널들을 제거하는 것이 허용될 수 있다.

디스플레이 타입 선택 컴포넌트(204)가 서브패널들(218, 220)에 디스플레이하기 위한 디스플레이 타입을 나타내기 위해 사용자에 의해 이용될 수 있다. (예를 들어, 선택을 클릭하여 서브패널들 상으로 드래그함으로써) 서브패널들에 대한 디스플레이 타입의 사용자 선택의 수신시에, 실시예는 상이한 서브패널들(218, 220)에 (이미지 네비게이션 컴포넌트(206)에서 선택된) 관찰시야의 연속 부분들을 디스플레이하여, 서브패널들의 집합이 전체의 관찰시야를 보여주게 할 수 있다. 각각의 서브패널은 (예를 들어, 바이오마커의 발현 수준, 분석 결과, 시각화 타입을 렌더링함으로써) 관찰시야의 대응하는 부분에 대한 상이한 디스플레이 타입을 렌더링할 수 있다.

도 4는 주 이미지 패널(202) 내의 2개의 예시의 이미지 서브패널(218, 220)의 디스플레이를 나타내고, 여기서, 서브패널들은 관찰시야의 좌측 및 우측 부분들을 디스플레이하기 위하여 서로에 관해 수평으로 구성된다. 이미지 서브패널들을 정렬하기 위한 임의의 적절한 패턴, 예를 들어, (상부 및 하부 서브패널(218', 220')이 관찰시야의 상부 및 하부를 디스플레이하는) 도 5에 도시된 수직 구성, 격자형 등이 가능하다. 도 4에서, 제1 서브패널(218)은 제1 디스플레이 타입(CD30 바이오마커에 대한 VDAB 시각화 타입)에 따라 관찰시야의 좌측 부분을 디스플레이하고, 제2 서브패널(220)은 제2 디스플레이 타입(VHE 이미지)에 따라 관찰시야의 우측 부분을 디스플레이한다.

각각의 서브패널은 배율 레벨을 증가 또는 감소시키기 위한 대응하는 줌 입력 도구(210', 210")와, 상이한 관찰시야로 팬닝하기 위한 팬 입력 도구(214', 214")를 가질 수 있다. 줌인 또는 줌아웃시에, 새로운 줌인된 관찰시야가 이미지 패널(202) 상에 디스플레이되어, 관찰시야의 연속적 부분들이 서브패널들에서 매끄럽게 표시된다. 예를 들어, 도 6은 (도 4의 줌 레벨에 비교한) 이미지 서브패널들(218, 220)에서 줌인된 디스플레이를 보여주고 있고, 여기서, 서브패널들은 새로운 줌인된 관찰시야의 연속 부분들을 보여주도록 구성된다. 도 6은, 좌측 서브패널은 관찰시야의 좌측 부분의 바이오마커의 발현 수준을 보여주고 우측 서브패널은 관찰시야의 우측 부분의 형태학적 피쳐를 보여주고 있는, 이미지를 디스플레이하는 예시적 사용자 인터페이스를 나타낸다. 일부 실시예에서, 하나의 이미지 서브패널의 해상도를 업데이트하기 위한 줌인 또는 줌아웃은 모든 서브패널들을 자동으로 업데이트하여 동일한 스케일 또는 해상도로 디스플레이하게 할 수 있다. 실시예에서, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는, 새로운 줌 레벨이 타일링된 다중 해상도 데이터 구조 내의 상이한 줌 레벨로부터의 이미지 데이터를 요구한다고 결정할 수 있고, 그 해상도 레벨로부터 이미지 데이터의 하나 이상의 타일을 회수할 수 있다.

실시예에서, 서브패널들은 동일한 이미지 스케일에서 유지될 수 있다. 다른 실시예에서, 서브패널들은 상이한 스케일에서 구성될 수 있다.

각각의 서브패널(218, 220)은 팬 입력 도구(212', 212")를 포함할 수 있다. 또한, 사용자는 이미지 네비게이션 컴포넌트(206) 내의 관찰시야 선택 컴포넌트(208)를 이용하여 상이한 관찰시야로 팬닝할 수 있다. 새로운 관찰시야로의 팬닝시에, 새로운 관찰시야가 이미지 패널(202) 상에 디스플레이되어, 관찰시야의 연속적 부분들이 서브패널들에서 매끄럽게 표시된다. 예를 들어, 도 6은 (도 4에 도시된 관찰시야에 비교한) 이미지 서브패널들(218, 220)에서 디스플레이된 상이한 관찰시야를 보여주고 있고, 여기서, 서브패널들은 새로운 관찰시야의 연속 부분들을 보여주도록 구성된다. 일부 실시예에서, 한 이미지 서브패널에서의 팬닝시에, 모든 서브패널들은 그에 따라 팬닝되도록 자동으로 업데이트될 수 있다. 실시예에서, 사용자 인터페이스를 실행하는 컴퓨팅 장치는, 새로운 관찰시야를 나타내기 위해 상이한 세트의 이미지 데이터의 타일들이 요구된다고 결정하고, 타일링된 다중 해상도 데이터 구조로부터 타일 세트를 회수할 수 있다.

실시예에서, 도 4 내지 도 7에 나타낸 바와 같이, 주 이미지 패널(202)은 2개 이상의 이미지 서브패널들(218, 220) 사이의 경계에 배치된 하나 이상의 대화식 슬라이더 컴포넌트(222)를 포함할 수 있다. 슬라이더 컴포넌트(222)는 상이한 서브패널들(218, 220)에 의해 점유된 이미지 패널(202)의 상대적 부분들을 재구성하는데 이용될 수 있다. 예를 들어, 슬라이더 컴포넌트(222)는 이미지 패널(202)을 가로질러 드래그되어 디스플레이된 하나 이상의 서브패널의 크기를 감소시키고 하나 이상의 다른 서브패널의 크기를 증가시킬 수 있다. 이것은 하나의 이미지 서브패널을 또 다른 이미지 서브패널 위로 드래그하는 윈도우 음영과 같은 시각적 효과를 생성할 수 있다. 도 7은, 슬라이더 컴포넌트(222)가 우측으로 드래그되어 우측 서브패널(220)의 크기를 감소시키고 좌측 서브패널(218)의 크기를 증가시키는 예를 나타낸다. 서브패널들(218, 220)의 집합에 의해 동일한 관찰시야가 디스플레이되어, 서브패널들은 관찰시야의 연속 부분들을 디스플레이한다. 이 예에서, 좌측 서브패널(218)은 업데이트되어 (좌측 서브패널과 연관된 디스플레이 타입에 따른) 동일한 관찰시야의 더 큰 부분을 보여주고 우측 서브패널(220)은 업데이트되어 (우측 서브패널과 연관된 디스플레이 타입에 따라) 동일한 관찰시야의 더 작은 부분을 보여준다.

일부 실시예에서, 사용자 인터페이스(200)는 사용자가 임의의 이미지 서브패널에서의 디스플레이를 위한 하나 이상의 형태학적 피쳐를 선택할 수 있게 하기 위한 형태 선택 컴포넌트를 포함할 수 있다. 하나 이상의 형태학적 피쳐를 선택하는 사용자 입력의 수신시에, 이들 피쳐들은 관련 이미지 서브패널들에서 예를 들어 이미지 오버레이로서 표시될 수 있다. 예시적 형태학적 피쳐는, 세포, 세포군, 세포이하 요소(예를 들어, 세포핵, 세포질, 세포막) 등을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

일부 실시예에서, 사용자 인터페이스는 사용자가 임의의 이미지 서브패널 상에 이미지 분석 결과(예를 들어, 분할 분석의 결과)를 오버레이할 수 있게 한다.

도 8은 생물학적 시편의 관찰시야의 분할 스크린 디스플레이를 제공하기 위한 예시적인 컴퓨터-구현된 방법의 플로차트이다. 단계(802)에서, 그래픽 사용자 인터페이스가 시각적 디스플레이 장치 상에 렌더링될 수 있다. 단계(804)에서, 이미지 패널이 생물학적 시편의 관찰시야를 디스플레이하기 위해 사용자 인터페이스 상에 렌더링될 수 있다. 단계(806)에서, 분할기 컴포넌트가 사용자 인터페이스 상에 렌더링되어 사용자가 이미지 패널을 2개 이상의 이미지 서브패널로 분할할 수 있게 한다.

단계(808)에서, 이미지 패널을 2개 이상의 이미지 패널로 분할하기 위한 분할기 컴포넌트 상에서 사용자 입력이 수신될 수 있고, 각각의 서브패널은 관찰시야의 상이한 부분을 디스플레이하도록 구성된다. 사용자 입력은 그래픽 사용자 인터페이스에서 또는 상이한 사용자 인터페이스나 명령 프롬프트에서 수신될 수 있다. 일부 실시예에서, 사용자 입력은 사용자 인터페이스 상에서의 이미지 서브패널들의 구성을 명시할 수 있다. 대안으로서, 실시예는 저장된 설정에 기초하여 이미지 패널의 분할 여부 또는 분할 방법을 결정할 수 있다.

단계(810)에서, 생물학적 시편의 이미지로부터 관찰시야를 선택하는 사용자 입력이 수신될 수 있다. 단계(812)에서, 관찰시야의 부분들을 상이한 이미지 서브패널들에서 렌더링하기 위한 2개 이상의 디스플레이 타입을 선택하는 사용자 입력이 수신될 수 있다.

한 예에서, 사용자 입력은, 제1 이미지 서브패널은 관찰시야의 제1 부분의 제1 바이오마커의 발현 수준을 디스플레이하고 제2 이미지 서브패널은 관찰시야의 제2 부분의 제2 바이오마커의 발현 수준을 디스플레이해야 한다고 명시할 수 있다. 또 다른 예에서, 사용자 입력은, 제1 이미지 서브패널은 관찰시야의 제1 부분의 바이오마커의 발현 수준을 디스플레이하고 제2 이미지 서브패널은 관찰시야의 제2 부분의 하나 이상의 형태학적 피쳐를 디스플레이해야 한다고 명시할 수 있다. 또 다른 예에서, 사용자 입력은, 제1 이미지 서브패널은 관찰시야의 제1 부분의 제1 세트의 하나 이상의 형태학적 피쳐를 디스플레이하고 제2 이미지 서브패널은 관찰시야의 제2 부분의 하나 이상의 형태학적 피쳐를 디스플레이해야 한다고 명시할 수 있다.

단계(814)에서, 각각의 서브패널에 대해, 실시예는 서브패널에서 디스플레이될 관찰시야의 부분에 대한 선택된 디스플레이 타입의 이미지 데이터에 선택적으로 대응하는 데이터 세트를 결정할 수 있다.

실시예에서, 단계(814)에서, 사용자 인터페이스를 제공하는 컴퓨팅 장치는 타일링된 다중 해상도 데이터 구조의 생물학적 시편에 관한 이미지 데이터를 저장하고 있는 원격 서버로부터의 이미지 데이터를 액세스할 수 있다. 이 경우, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는 그 목적을 위해 선택적으로 요구되는 데이터의 타일들을 결정할 수 있고, 서버에게 이들 선택적 타일들만을 요청할 수 있다. 즉, 전체의 생물학적 시편에 관한 이미지 데이터는 일부 실시예에서 요청될 수 없거나 사용자 인터페이스 내에 프리로딩될 수 없다; 그러나, 오히려, 주어진 시간에 요구되는 이미지 데이터 세트들만이 서버에게 요청될 수 있다. 한 예로서, GUI(200)에 디스플레이된 이미지의 줌 레벨이 조절될 때, 컴퓨팅 장치는 적절한 피라미드 레벨로부터의 타일 이미지를 요청하도록 프로그램될 수 있다. 또 다른 예로서, GUI(200)에 디스플레이된 이미지에 대한 팬 동작을 수행할 때, 컴퓨팅 장치는 주 패널 및/또는 서브패널(들) 내에 디스플레이될 이미지의 새로운 부분에 대한 타일 이미지를 요청하도록 프로그램될 수 있다. 이러한 접근법을 이용하는 것은 요청을 서빙하는데 있어서 서버 오버헤드를 최소화시키고 사용자 인터페이스를 위해 컴퓨팅 장치에 전송될 필요가 있는 이미지 데이터의 양을 감소시킴으로써, 사용자 상호작용과 요청에 대한 응답에 있어서, 사용자 인터페이스를 신속하고 효율적으로 만든다. 데이터 요청에 응답하여, 서버는 데이터의 요청된 타일들에 액세스할 수 있고, 일부 경우에는 데이터의 분석이나 유효성확인을 수행할 수 있다. 그 다음, 서버는 스트리밍 방식으로 컴퓨팅 장치에 데이터의 타일들을 전송할 수 있다.

별개 세트들의 화소 데이터가 상이한 이미지 서브패널들을 위해 원격 서버로부터 회수된다. 각각의 이미지 서브패널에 대해, 사용자 인터페이스를 제공하는 컴퓨팅 장치는 서브패널에 디스플레이될 생물학적 시편의 식별과 하나 이상의 바이오마커 및/또는 형태학적 피쳐의 식별을 결정할 수 있다. 식별에 기초하여, 컴퓨팅 장치는 액세스할 적절한 데이터 구조를 결정하도록 프로그램될 수 있다. 예를 들어, 제1 이미지 서브패널이 제1 바이오마커의 발현 수준을 포함하는 특정한 슬라이드-스폿으로부터의 생물학적 시편을 디스플레이한다면, 컴퓨팅 장치는 제1 바이오마커와 그 특정한 슬라이드-스폿 양쪽 모두에 고유한 도 9a에 나타낸 제1 데이터 구조(902)를 식별할 수 있을 것이다. 유사하게, 제2 이미지 서브패널이 제2 바이오마커의 발현 수준을 포함하는 슬라이드-스폿으로부터의 생물학적 시편을 디스플레이한다면, 컴퓨팅 장치는 제2 바이오마커와 그 슬라이드-스폿 양쪽 모두에 고유한 도 9b에 나타낸 제2 데이터 구조(904)를 식별할 수 있을 것이다.

각각의 이미지 서브패널에 대해, 컴퓨팅 장치는 타일링된 다중 해상도 데이터 구조 내의 어느 해상도 층이 이미지 데이터를 위해 액세스되어야 하는지를 결정하도록 프로그램될 수 있다. 이 목적을 위해, 컴퓨팅 장치는, (예를 들어, 줌 설정 및/또는 패널 크기를 검토함으로써) 이미지 서브패널들이 관찰시야를 디스플레이해야 하거나 관찰시야를 디스플레이할 것을 요청받은 해상도를 결정할 수 있다. 이 결정에 기초하여, 컴퓨팅 장치는 적절한 해상도 층에 있는 데이터 구조 내의 이미지에 액세스할 수 있다. 예를 들어, 도 6에 나타낸 바와 같이, 이미지 서브패널들이 관찰시야의 줌인된 버전을 보여준다면, 컴퓨팅 장치는 데이터 구조의 최고 해상도 층의 이미지가 액세스되어야 한다고 결정할 수 있다.

각각의 이미지 서브패널에 대해, 컴퓨팅 장치는 이미지 내의 이미지 데이터의 어느 타일이 액세스되어야 하는지를 결정하도록 프로그램될 수 있다. 이 목적을 위해, 컴퓨팅 장치는, 주 이미지 패널에서 디스플레이될 생물학적 조직의 관찰시야, 및 이미지 서브패널에서 디스플레이될 관찰시야의 부분을 분석할 수 있다. 분석에 기초하여, 컴퓨팅 장치는 액세스될 이미지 데이터의 부분 또는 타일을 결정할 수 있다. 이로써 이미지 데이터의 관련 타일들은, 이미지 서브패널들의 집합이 정확히 정렬된 경계를 가져 이들 서브패널들이 집합적으로 주 이미지 패널 내의 매끄럽고 연속적인 관찰시야를 디스플레이하도록, 이미지 서브패널을 디스플레이하는데 필요한 화소 데이터에 대응할 수 있다.

도 9a 및 도 9b는 2개의 이미지 서브패널들에 대응하는 데이터 구조(902, 904)의 표현을 나타낸다. 이 예에서, 제1 서브패널은 제1 데이터 구조(902)에 포함된 데이터를 이용하여 생성되고 제2 서브패널은 제2 데이터 구조(904)에 포함된 데이터를 이용하여 생성된다. 컴퓨팅 장치는, 제1 서브패널이 제1 데이터 구조(902)의 화소 이미지 데이터를 포함하는 제1 세트의 타일(906)에 대응하고 제2 서브패널이 제2 데이터 구조(904)의 화소 이미지 데이터를 포함하는 제2 세트의 타일(908)에 대응한다고 결정하도록 프로그램될 수 있다. 컴퓨팅 장치는 제1 데이터 구조(902)로부터 제1 세트의 타일(906)을 및 제2 데이터 구조(904)로부터 제2 세트의 타일(908)을 선택적으로 회수하기 위한 요청을 생성하도록 프로그램될 수 있다. 요청은 데이터 구조를 저장하고 있는 원격 서버에 전송될 수 있다. 응답하여, 서버는 요청된 타일들에 용이하고 신속하게 액세스하여 이들을 컴퓨팅 장치에 전송할 수 있다. 다른 실시예에서, 사용자 인터페이스를 제공하는 컴퓨팅 장치와는 상이한 컴퓨팅 장치가 결정 단계(814)를 수행할 수도 있다.

단계(816)에서, 실시예는 단계(814)에서 이미지 데이터를 저장하고 있는 서버에게 상이한 이미지 서브패널들을 위해 결정된 선택적 데이터 세트를 요청할 수 있다. 단계(818)에서, 실시예는 요청에 기초하여 요청된 데이터 세트를 서버로부터 스트리밍 방식으로 수신할 수 있다. 실시예에서, 데이터 세트는, 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수신되거나, 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수신될 수도 있다.

단계(820)에서, 실시예들은 단계(812)로부터의 사용자 입력에 기초하여 이미지 패널을 복수의 이미지 서브패널들로 분할할 수 있다. 대안으로서, 이미지 패널은 이미지 서브패널들로 프리로딩될 수 있다.

단계(822)에서, 실시예들은 서버로부터 수신된 데이터에 기초하여 선택된 관찰시야의 상이한 부분들을 상이한 이미지 서브패널들에서 디스플레이하여, 서브패널들의 집합이 전체의 관찰시야를 디스플레이하도록 할 수 있다. 실시예들은 서브패널들의 경계를 정렬 또는 정합하여 분할 스크린 디스플레이를 형성할 수 있다.

실시예는, 사용자 인터페이스에서 서브패널 구성을 유지하면서 사용자가 생물학적 시편의 상이한 관찰시야들을 부드럽게 브라우징하는 것을 허용한다. 사용자가 관찰시야를 변경할 때, 새로운 관찰시야가 이미지 패널에서 디스플레이되어, 새로운 관찰시야의 연속 부분들이 대응하는 이미지 패널들에서 자동으로 디스플레이된다. 단계(824)에서, 사용자 입력이 수신되어 이미지 패널에 디스플레이된 생물학적 시편의 관찰시야를 변경할 수 있다. 결과로서 단계들(810-822)이 반복될 수 있다.

통상의 기술자라면, 도 8의 예시적 방법은 예시적 플로차트에 예시된 것보다 더 많거나 더 적은 단계들을 포함할 수 있고, 예시적 플로차트 내의 단계들은 도시된 것과는 상이한 순서로 수행될 수 있다는 것을 이해할 것이다.

생물학적 시편 내의 바이오마커 발현의 예시적 선택 및 디스플레이

일부 실시예에서, 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야를 디스플레이하기 위한 주 이미지 패널이 제공될 수 있고, 관찰시야의 소정 영역의 썸네일 이미지를 그 영역의 상이한 양태들(예를 들어, 영역 내의 상이한 바이오마커들의 발현 수준)을 동시에 관찰하기 위해 디스플레이하기 위한 바이오마커 패널이 제공될 수 있다. 본 발명의 이 특징은, 썸네일들이 주 디스플레이 내의 이미지의 구성요소 피쳐들을 바람직하게 묘사할 수 있기 때문에, 통칭적으로 '디지털 프리즘'이라 부를 수 있다. 관찰시야의 선택된 영역의 선택 또는 업데이트시에, 썸네일 이미지는 그에 따라 새로운 선택된 영역을 디스플레이하도록 자동으로 업데이트될 수 있다. 주 이미지 패널은 바람직하게는 생물학적 시편의 이미지를 포함할 수 있고 주 이미지 패널에 디스플레이된 관찰시야 내의 영역을 윤곽지정하기 위한 관심 영역 선택 컴포넌트(예를 들어, 십자선 또는 기타 임의의 적절한 컴포넌트)를 포함할 수 있다. 실시예에서, 관심 영역 선택 컴포넌트는 주 이미지 패널에 디스플레이된 관찰시야의 일부 위에 오버레이될 수 있고, 바이오마커 패널에 디스플레이된 관찰시야 내의 영역을 선택 또는 업데이트하기 위해 사용자에 의해 이용될 수 있다.

바이오마커 패널은 관심 영역 선택 컴포넌트 내에서 윤곽지정된 관찰시야의 영역의 하나 이상의 썸네일 이미지 세트를 포함하도록 구성될 수 있다. 썸네일 이미지들은 동일한 영역의 상이한 양태들 또는 디스플레이 타입들, 예를 들어, 상이한 바이오마커들의 발현, 형태학적 유닛들의 발현, 분석 결과, 상기 디스플레이 타입들의 조합 등을 나타낼 수 있다. 예를 들어, 각 썸네일 이미지는 관찰시야의 각 영역 내의 상이한 바이오마커의 또는 바이오마커들의 조합의 발현 수준들을 디스플레이할 수 있다. 실시예에서, 주 이미지 패널이 하나 이상의 바이오마커의 발현 수준을 디스플레이한다면, 바이오마커 패널은 어느 썸네일 이미지가 주 이미지 패널에 디스플레이된 바이오마커에 대응하는지의 표시를 제공할 수 있다. 주 이미지 패널을 업데이트하여 주 이미지 패널이 선택된 썸네일 이미지의 바이오마커를 디스플레이하도록 하기 위해 썸네일 이미지가 사용자에 의해 선택될 수 있다.

썸네일 이미지는, 바이오마커 패널에서 간단하고 조직화된 방식으로 관찰시야의 소정 영역의 상이한 양태들의 관찰을 가능케 한다. 일부 실시예에서, 썸네일 이미지는 주 이미지 패널보다 크기와 스케일이 작을 수 있으므로, 사용자 친화적이지 않고 복잡한 인터페이스를 초래하지 않는다. 또한, 썸네일 이미지로의 디스플레이는, 일부 실시예에서는 작을 수 있지만, 전체의 관찰시야보다 작은 영역에 기초하므로, 여전히 썸네일 이미지의 용이한 관찰과 해석을 위해 충분히 높은 해상도에서 디스플레이될 수 있다.

관심 영역 선택 컴포넌트는 또한, 주 이미지 패널에서 렌더링된 관찰 시야 내의 임의의 관심 영역을 선택적으로 디스플레이하기 위해 썸네일 이미지의 자동 업데이팅을 가능케 한다. 사용자는 주 이미지 패널 내의 관심 영역, 예를 들어, 관심대상의 하나 이상의 형태학적 피쳐들(예를 들어, 세포, 세포군, 세포이하 요소)을 포함하는 영역에 용이하고 신속하게 포커싱할 수 있다. 이러한 능력은, 썸네일을, 단순한 네비게이션 보조물로부터 바이오마커 발현 패턴에 대한 정보를 신속하게 얻는데 이용될 수 있는 도구로 변환시킨다.

예시적 사용자 인터페이스를 이용한 소정의 임상 응용은 하나보다 많은 바이오마커의 신속한 방식의 평가를 요구한다. 이러한 평가는, 전체 시각화의 썸네일 이미지들에 기초한 바이오마커들간의 신속하고 직관적인 네비게이션을 제공하는 바이오마커 패널에 의해 가속화된다. 평가는 또한, 목표된 정보를 썸네일 이미지로 디스플레이함으로써 가속화된다. 예를 들어, 썸네일 이미지들은, 생물학적 시편의 관찰시야 내의 정확한 관심 영역을 나타내도록 업데이트될 수 있을 때 더욱 유익하게 된다. 호지킨의 림프종 ―여기서는, 리드 스턴버그(Reed Sternberg) 세포의 바이오마커 발현만이 진단학적으로 중요하다― 의 평가는 실시예의 능력이 특히 유용한 예시적 응용이다.

예시적 바이오마커 패널은 임의의 적절한 개수의 썸네일 이미지를 포함하도록 구성될 수 있다. 바이오마커 패널에 제공되는 썸네일 이미지의 예시적 개수는, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15 등을 포함할 수 있지만, 이것으로 제한되지 않는다.

바이오마커 패널은 바이오마커 패널에 디스플레이될 하나 이상의 바이오마커에 관한 저장된 디폴트 설정에 기초하여 한 세트의 썸네일 이미지를 포함하도록 로딩될 수 있다. 대안으로서, 바이오마커 패널은 바이오마커 패널에 디스플레이될 하나 이상의 바이오마커에 관한 사용자 입력의 수신시에 한 세트의 썸네일 이미지를 제공받을 수 있다.

2개 이상의 예시적 썸네일 이미지는 바이오마커 패널에서 서로에 관해 임의의 적절한 패턴이나 방식으로, 예를 들어, 서로에 관해 수평으로, 서로에 관해 수직으로, 또는 격자 조직으로 구성될 수 있다. 썸네일 이미지들은 저장된 디폴트 설정이나 사용자 기호에 명시된 구성으로 바이오마커 패널 내에 로딩될 수 있다. 대안으로서, 사용자는 바이오마커 패널에서 얼마나 많은 썸네일 이미지가 구성되어야 하는지를 명시할 수 있다. 또한, 사용자는, 예를 들어, 바이오마커의 임상 관련성에 기초하여, (예를 들어, 마우스 커서를 이용하여 드래그 앤 드랍함으로써) 바이오마커 패널 내의 썸네일 이미지들을 재구성할 수도 있다. 생물학적 시편 내의 임상 상태를 진단하는데 있어서 매우 관련성 있는 바이오마커의 썸네일 이미지는, 예를 들어, 썸네일 이미지 순서에서 첫 번째에 배치될 수 있다. 썸네일 이미지들의 정렬 또는 재정렬은 설정으로서 보관되어, 썸네일 이미지들이 생물학적 시편에 대해 리로딩될 때, 썸네일 이미지들이 보관된 설정에 명시된 대로 구성될 수 있다.

도 10 내지 도 14는, 기타의 적절한 사용자 인터페이스가 이용될 수도 있지만, 생물학적 시편 내의 바이오마커 발현의 선택과 디스플레이를 가능케하는데 이용될 수 있는 예시적 그래픽 사용자 인터페이스(GUI)(1000)를 나타낸다. 도 10은, 생물학적 시편의 관찰시야를 디스플레이하기 위한 주 이미지 패널(1002), 및 생물학적 시편의 관찰시야의 소정 영역과 연관된 바이오마커 발현의 썸네일 이미지를 디스플레이하기 위한 바이오마커 패널(1004)을 포함하는 GUI(1000)를 나타낸다. 본 발명은 주 이미지 패널(1002)에 표시된 관찰시야가 통상적으로 생물학적 시편의 전체 이미지의 일부에 대응하는 것을 고려하고 있다.

사용자는 주 이미지 패널(1002)에서 디스플레이하기 위한 원하는 생물학적 시편(예를 들어, 슬라이드/스폿)을 선택할 수 있다. 생물학적 시편은, GUI(1000), 명령 패널, 또는 기타 임의의 적절한 수단을 이용하여 선택될 수 있다. 선택된 생물학적 시편은 GUI(1000)에 디스플레이될 수 있는 대응하는 저장된 이미지 데이터를 가질 수 있다. 예시적 이미지 데이터는, 하나 이상의 바이오마커에 관한 발현 데이터, 하나 이상의 형태학적 피쳐에 관한 디스플레이 데이터, 하나 이상의 이미지 분석 기술의 결과 등을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 디스플레이 타입 선택 컴포넌트(1006)가 주 이미지 패널(1002)에서의 디스플레이에 이용가능한 하나 이상의 디스플레이 타입을 표시하기 위해 사용자에 의해 이용될 수 있다. 실시예에서 이용되는 예시적 디스플레이 타입은, 하나 이상의 바이오마커의 발현, 하나 이상의 형태학적 피쳐의 디스플레이, 하나 이상의 분석 결과의 디스플레이, 하나 이상의 시각적 타입에 따른 디스플레이(예를 들어, 2진 열-지도, 이산 열-지도, 연속 열-지도, 그레이 또는 컬러 화소들의 강도, 또는 2개 이상의 바이오마커 발현의 색상 혼합), 이들 타입의 임의의 조합 등을 포함하지만, 이것으로 제한되는 것은 아니다.

(예를 들어, 선택을 클릭하여 선택을 주 이미지 패널(1002) 상으로 드래그함으로써) 선택된 생물학적 시편에 대한 디스플레이 타입의 사용자 선택의 수신시에, 주 이미지 패널은 선택된 디스플레이 타입에 따라 디스플레이된 관찰시야를 렌더링할 수 있다. 도 11은 CD30 바이오마커에 대한 VDAB 시각화 타입을 나타내는, 주 이미지 패널(1002)에서의 생물학적 시편의 관찰시야의 디스플레이를 나타낸다.

일부 실시예에서, 사용자 인터페이스(1000)는 사용자가 주 이미지 패널(1002)에서의 디스플레이를 위한 하나 이상의 형태학적 피쳐를 선택할 수 있도록 하기 위한 형태 선택 컴포넌트를 포함할 수 있다. 하나 이상의 형태학적 피쳐를 선택하는 사용자 입력의 수신시에, 이들 피쳐들은 주 이미지 패널(1002)에서, 예를 들어 이미지 오버레이로서 표시될 수 있다. 예시적 형태학적 피쳐는, 세포, 세포군, 세포이하 요소(예를 들어, 세포핵, 세포질, 세포막) 등을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

일부 실시예에서, 사용자 인터페이스는 사용자가 주 이미지 패널(1002) 상에 이미지 분석 결과(예를 들어, 분할 분석의 결과)를 오버레이할 수 있게 한다.

주 이미지 패널(1002)에서의 관찰시야의 디스플레이시에, GUI(1000)는, 전체 생물학적 시편 ―주 이미지 패널(1002)에 디스플레이된 관찰시야는 이 전체 생물학적 시편의 일부임― 을 디스플레이하는 이미지 네비게이션 컴포넌트(1008)를 포함하도록 업데이트될 수 있다. 이미지 네비게이션 컴포넌트(1008)는 사용자에 의해 선택된 디스플레이 타입에 따라 생물학적 시편을 디스플레이한다.

이미지 네비게이션 컴포넌트(1008)는, 생물학적 시편의 전체 디스플레이 내에서 관찰시야를 윤곽지정하기 위한 관찰시야 선택 컴포넌트(1010)(예를 들어, 십자선 또는 기타 임의의 적절한 컴포넌트)를 포함할 수 있다. 이것은 사용자가 (주 이미지 패널(1002)에 디스플레이된) 관찰시야가 (이미지 네비게이션 컴포넌트(1008)에서 디스플레이된) 전체의 생물학적 시편 내에서 어디에서 발견될 수 있는지를 대체적으로 위치파악하는 것을 허용한다. 관찰시야 선택 컴포넌트(1010)는, 이미지 네비게이션 컴포넌트(1008)에 디스플레이된 생물학적 시편 내의 임의의 관찰시야를 사용자가 선택하여 주 이미지 패널(1002)이 선택된 관찰시야를 디스플레이하도록 업데이트시킬 수 있는 상호작용 컴포넌트일 수 있다. 유사하게, 사용자는 관찰시야 선택 컴포넌트(1010)를 이용하여 계속적이고 부드러운 방식으로 상이한 관찰시야들을 브라우징할 수 있다. 사용자는 (예를 들어, 마우스 커서로 클릭함으로써) 관찰시야 선택 컴포넌트(1010)를 선택하고, 관찰시야 선택 컴포넌트(1010)를 새로운 상이한 관찰시야 상으로 드래그 앤 드랍(drag and drop)할 수 있다. 실시예에서, 커서를 릴리스함으로써 관찰시야 선택 컴포넌트(1010)를 드랍하면, 주 이미지 패널(1002)은 새로운 관찰시야를 디스플레이하도록 자동으로 업데이트될 수 있다. 실시예에서, 주 이미지 패널(1002)은 또한 관찰시야 선택 컴포넌트(1010)가 사용자에 의해 드래그되는 동안 자동으로 업데이트될 수도 있다. 일부 실시예에서, 이 업데이트는 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수행되거나, 대안으로서, 사용자가 관찰시야에 대한 새로운 장소를 선택한 후 시간 지연 후에 수행될 수도 있다.

일부 실시예에서, 이미지 네비게이션 컴포넌트(1008)는 주 이미지 패널(1002)보다 작으며, 생물학적 시편의 더 낮은 해상도 디스플레이를 제공한다. 다른 실시예에서, 이미지 네비게이션 컴포넌트(1008)는 주 이미지 패널(1002)과 동일한 크기이거나 더 클 수도 있다.

도 11에 나타낸 실시예에서, 주 이미지 패널(1002)은 사용자가 (예를 들어, 줌 슬라이더 및/또는 줌 버턴을 이용하여) 특정한 줌 레벨 또는 상대적 줌 레벨을 입력하는 것을 허용하기 위한 줌 입력 도구(1012)를 포함할 수 있다. 현재의 상대적 줌 레벨은 이미지 패널 상에서 줌 표시자(1014)에서 표시될 수 있다. 일부 경우에, 줌 레벨은 사용자에 의해 또는 시스템에 의해 자동으로 디폴트 레벨로 리셋될 수 있다. 일부 실시예에서, 사용자 인터페이스는, 예를 들어, 마우스 우측 버턴을 클릭함으로써, 포인팅 장치를 이용하여 주 이미지 패널(1002) 상의 이미지에 관해 직접 줌인 또는 줌아웃을 허용할 수 있다. 일부 실시예에서, 사용자 인터페이스는 키보드 단축키를 이용한, 예를 들어, 줌인하기 위한 "Ctrl"키와 "+"키의 조합 및 줌아웃하기 위한 "Ctrl"키와 "-"키의 조합을 이용한 줌인 및 줌아웃을 허용할 수 있다. 주 이미지 패널(1002)이 새로운 줌 레벨에 따라 업데이트되면, 이미지 네비게이션 컴포넌트(1008) 내의 관찰시야 선택 컴포넌트(1010)는 주 이미지 패널(1002)에 도시된 대응하는 업데이트된 관찰시야를 정확하게 윤곽지정하도록 자동으로 업데이트될 수 있다. 실시예에서, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는, 새로운 줌 레벨이 타일링된 다중 해상도 데이터 구조 내의 상이한 줌 레벨로부터의 이미지 데이터를 요구한다고 결정할 수 있고, 그 해상도 레벨로부터 이미지 데이터의 하나 이상의 타일을 회수할 수 있다.

실시예에서, 주 이미지 패널(1002)은 생물학적 시편에서 새로운 관찰시야로 팬닝(panning)하기 위한 팬 입력 도구(1016)를 포함할 수 있다. 팬 입력 도구(1016)는 사용자가 슬라이더를 이용해 생물학적 시편에서의 특정한 팬닝 레벨 또는 상대적 팬닝 레벨을 입력하는 것을 허용할 수 있다. 일부 경우에 팬 설정은 주 이미지 패널(1002) 내의 초기에 디스플레이된 관찰시야를 디스플레이하기 위해 리셋될 수 있다. 일부 실시예에서, 사용자 인터페이스는, 예를 들어, 이미지 위에서 마우스 상의 좌측 버턴을 클릭하고, 이미지를 가로질러 커서를 드래그하여 릴리스해 새로운 관찰시야를 디스플레이함으로써, 주 이미지 패널(1002) 상에서 직접 포인팅 장치를 이용한 팬닝을 허용할 수 있다. 한 실시예에서, 주 이미지 패널(1002)은 커서의 릴리스시에 새로운 관찰시야를 디스플레이하도록 업데이트될 수 있다. 실시예에서, 주 이미지 패널(1002)은 또한 사용자가 이미지를 가로질러 커서를 드래그할 때 실시간 방식으로 업데이트될 수도 있고, 또는 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수행될 수도 있다. 일부 실시예에서, 사용자 인터페이스는 키보드 단축키를 이용한 팬닝을 허용할 수 있다. 주 이미지 패널(1002)이 새로운 관찰 시야를 디스플레이하도록 업데이트되면, 이미지 네비게이션 컴포넌트(1008) 내의 관찰시야 선택 컴포넌트(1010)는 주 이미지 패널(1002)에 도시된 시편 내의 새로운 관찰시야의 위치를 정확하게 표시하도록 자동으로 업데이트될 수 있다.

주 이미지 패널(1002)은 주 이미지 패널(1002)에 디스플레이된 관찰시야 내의 영역을 윤곽지정하기 위한 관심 영역 선택 컴포넌트(1018)(예를 들어, 십자선 또는 기타 임의의 적절한 컴포넌트)를 포함할 수 있다. 실시예에서, 관심 영역 선택 컴포넌트(1018)는 주 이미지 패널(1002)에서 디스플레이된 관찰시야의 일부 위에 중첩될 수 있다. 바이오마커 패널(1004)은 관심 영역 선택 컴포넌트(1018) 내에서 윤곽지정된 관찰시야의 일부의 하나 이상의 썸네일 이미지 세트를 포함하도록 구성될 수 있다. 썸네일 이미지들은 동일한 영역의 상이한 양태들 또는 디스플레이 타입들, 예를 들어, 상이한 바이오마커들의 발현, 형태학적 유닛들의 발현, 분석 결과, 상기 디스플레이 타입들의 조합 등을 나타낼 수 있다. 예를 들어, 각 썸네일 이미지는 관찰시야의 영역 내의 상이한 바이오마커의 또는 바이오마커들의 조합의 발현 수준들을 디스플레이할 수 있다. 바이오마커 발현 수준은 임의의 적절한 시각화 타입(예를 들어, 2진 열-지도, 이산 열-지도, 연속 열-지도, 그레이 또는 컬러 화소들의 그레이스케일 값의 강도, 2개 이상의 바이오마커 발현의 색상 혼합)으로 디스플레이될 수 있다.

실시예에서, 주 이미지 패널(1002)이 하나 이상의 바이오마커의 발현 수준을 디스플레이한다면, 바이오마커 패널(1004)은 어느 썸네일 이미지가 주 이미지 패널에 디스플레이된 바이오마커에 대응하는지의 표시를 제공할 수 있다.

일부 실시예에서, 특정한 바이오마커에 대응하는 썸네일 이미지를 선택하는 사용자 입력이 수신될 수 있다. 응답하여, 실시예는, 생물학적 시편의 관찰시야 내의 특정한 바이오마커의 발현 수준을 디스플레이하도록 주 이미지 패널(1002)을 업데이트할 수 있다.

썸네일 이미지는, 바이오마커 패널(1004)에서 간단하고 조직화된 방식으로 관찰시야의 소정 영역의 상이한 양태들의 관찰을 가능케 한다. 일부 실시예에서, 썸네일 이미지는 주 이미지 패널(1002)에서의 디스플레이보다 크기 및/또는 스케일이 작을 수 있으므로, 복잡한 인터페이스를 초래하지 않는다. 다른 실시예에서, 썸네일 이미지는 주 이미지 패널(1002)에서의 디스플레이보다 크기 및/또는 스케일이 같거나 더 클 수 있다. 썸네일 이미지로의 디스플레이는, 일부 실시예에서는 작을 수 있지만, 전체의 관찰시야보다 작은 영역에 기초하므로, 썸네일 이미지는 여전히 썸네일 이미지의 용이한 관찰과 해석을 위해 충분히 높은 해상도에서 디스플레이될 수 있다.

바이오마커 패널(1004)의 크기 및/또는 공간적 치수는 디스플레이되는 썸네일 이미지의 개수 및/또는 크기에 기초하여 자동으로 설정 및/또는 스케일될 수 있다. 일부 경우에, 디스플레이되는 썸네일 이미지의 개수는, 결국, 얼마나 많은 바이오마커들이 관찰되는지에 기초할 수 있다. 일부 실시예에서, 사용자는 바이오마커 패널(1004)의 크기 및/또는 치수를 수동으로 설정 또는 리셋할 수 있다.

바이오마커 패널(1004) 내의 썸네일 이미지의 크기 및/또는 공간적 치수는 디스플레이되는 썸네일 이미지의 개수 및/또는 바이오마커 패널(1004)의 크기에 기초하여 자동으로 설정 및/또는 스케일될 수 있다. 일부 실시예에서, 사용자는 썸네일 이미지의 크기 및/또는 치수를 수동으로 설정 또는 리셋할 수 있다.

도 14에 나타낸 바와 같이, 각각의 썸네일 이미지는 썸네일 이미지에 디스플레이된 바이오마커 발현에 대한 시각화 타입의 사용자 선택을 수신하기 위한 연관된 도구(1020)를 가질 수 있다. 예를 들어, 사용자는, 2진 열-지도, 이산 열-지도, 연속 열-지도, 그레이 또는 컬러 화소들의 그레이스케일 값의 강도, 시뮬레이팅된 명시야(bright-field) 이미지 등을 포함한 그룹으로부터 시각화 타입을 선택할 수 있다.

도 14에 나타낸 바와 같이, 각각의 썸네일 이미지는 바이오마커 패널(1004)로부터 썸네일 이미지를 제거하는 사용자 입력을 수신하기 위한 연관된 도구(1022)(예를 들어, 크로스 아이콘)를 가질 수 있다. 썸네일 이미지를 제거하기 위한 사용자 입력의 수신시, 바이오마커 패널(1004)은 선택된 썸네일 이미지를 제거하도록 자동으로 업데이트될 수 있다. 유사하게, 바이오마커 패널(1004)은, 사용자가 바이오마커 패널(1004)에 새로운 썸네일 이미지를 추가할 수 있게 하는 도구를 포함할 수 있다. 새로운 썸네일 이미지를 추가하기 위한 사용자 입력의 수신시, 바이오마커 패널(1004)은 선택된 썸네일 이미지를 추가하도록 자동으로 업데이트될 수 있다.

사용자 입력은 바이오마커 패널(1004) 상에서 수신되어 바이오마커 패널 내의 제1 썸네일 이미지의 스케일 또는 해상도를 변경할 수 있다. 사용자 입력은, 예를 들어, 제1 썸네일 이미지의 크기를 변경시키기 위해 경계선을 드래그함으로써 제공될 수 있다. 사용자 입력에 응답하여, 실시예는 제1 썸네일 이미지의 스케일 또는 해상도를 변경하도록 바이오마커 패널을 업데이트할 수 있다. 실시예에서, 바이오마커 패널(1004)은 또한, 모든 썸네일 이미지가 균일한 해상도를 갖도록 나머지 썸네일 이미지들의 스케일 또는 해상도를 제1 썸네일 이미지의 경우로 설정하도록 업데이트될 수 있다.

사용자 입력은 관심 영역 선택 컴포넌트(1018) 상에서 수신되어 바이오마커 패널(1004) 내의 제1 썸네일 이미지에서 디스플레이된 관찰시야의 일부를 변경할 수 있다. 사용자 입력은, 예를 들어, 관심 영역 선택 컴포넌트(1018)의 크기를 변경시키도록 경계선을 드래그함으로써 제공될 수 있다. 사용자 입력에 응답하여, 실시예는 제1 썸네일 이미지에 디스플레이된 관찰시야의 일부를 변경하도록 바이오마커 패널(1004)을 업데이트할 수 있다. 실시예에서, 바이오마커 패널(1004)은 또한, 모든 썸네일 이미지가 관찰시야의 동일한 영역을 디스플레이하도록 업데이트될 수 있다.

관심 영역 선택 컴포넌트(1018)는 또한, 주 이미지 패널(1002)에서 렌더링된 관찰 시야 내의 임의의 관심 영역을 선택적으로 디스플레이하도록 썸네일 이미지의 자동 업데이팅을 가능케 한다. 사용자는 주 이미지 패널(1002) 내의 관심 영역, 예를 들어, 관심대상의 하나 이상의 형태학적 피쳐들(예를 들어, 세포, 세포군, 세포이하 요소)을 포함하는 영역에 용이하고 신속하게 포커싱할 수 있다. 이러한 능력은, 썸네일을, 단순한 네비게이션 보조물로부터 바이오마커 발현 패턴에 대한 정보를 신속하게 얻는데 이용될 수 있는 도구로 변환시킨다. 이 능력을 구현하기 위해, 관심 영역 선택 컴포넌트(1018)는, 사용자가 주 이미지 패널(1002)에 디스플레이된 관찰시야의 임의의 영역을 선택할 수 있게 하는 상호작용 컴포넌트로서 구성될 수 있다. 사용자는 관심 영역 선택 컴포넌트(1018)를 이용하여 관찰시야 내의 상이한 영역들을 계속적이고 매끄러운 방식으로 브라우징할 수 있다. 사용자는 (예를 들어, 마우스 커서로 클릭함으로써) 관심 영역 선택 컴포넌트(1018)를 선택하고, 관심 영역 선택 컴포넌트(1018)를 관찰시야의 새로운 영역 상으로 드래그 앤 드랍할 수 있다. 실시예에서, 커서를 릴리스함으로써 관심 영역 선택 컴포넌트(1018)를 드랍하면, 바이오마커 패널(1004) 내의 썸네일 이미지들은 관찰시야 내의 새로운 영역을 디스플레이하도록 자동으로 업데이트될 수 있다. 실시예에서, 썸네일 이미지들은 관심 영역 선택 컴포넌트(1018)가 사용자에 의해 드래그되는 동안 자동으로 업데이트될 수도 있다. 일부 실시예에서, 이 업데이트는, 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수행되거나, 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수행될 수도 있다.

대안으로서, 관찰시야 내의 상이한 영역들을 브라우징하기 위하여, 사용자는 (예를 들어, 마우스 커서로 이미지를 클릭함으로써) 주 이미지 패널(1002)에 디스플레이된 이미지를 선택하고, 그 이미지를 관심 영역 선택 컴포넌트(1018)에 관해 드래그 앤 드랍하여 이미지 내의 상이한 영역이 관심 영역 선택 컴포넌트(1018)의 경계선 내에 놓이게 할 수 있다. 실시예에서, 커서를 릴리스함으로써 이미지를 드랍하면, 바이오마커 패널(1004) 내의 썸네일 이미지들은 관심 영역 선택 컴포넌트(1018)에 의해 윤곽지정된 관찰시야 내의 새로운 영역을 디스플레이하도록 자동으로 업데이트될 수 있다. 실시예에서, 썸네일 이미지들은 이미지가 사용자에 의해 드래그되는 동안 자동으로 업데이트될 수도 있다. 일부 실시예에서, 이 업데이트는, 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수행되거나, 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수행될 수도 있다.

실시예는 사용자가 주 이미지 패널(1002)에 디스플레이된 이미지에 관해 고정된 위치에서 관심 영역 선택 컴포넌트(1018)를 잠그도록 할 수 있게 한다. 사용자는 또한, 관심 영역 선택 컴포넌트(1018)가 주 이미지 패널(1002) 상에 디스플레이된 이미지에 관해 이동가능하거나 드래그가능하도록 관심 영역 선택 컴포넌트(1018)를 잠금해제할 수도 있다.

도 12 및 도 13은 관심대상의 형태학적 피쳐(1018)(예를 들어, 관심대상 세포)에 포커싱하기 위해 바이오마커 패널(1004)을 업데이트하는 예시적 이용을 나타낸다. 도 12는 형태학적 피쳐(1200)가 관심 영역 선택 컴포넌트(1018)의 경계선 바깥에 드는 주 이미지 패널(1002)을 나타낸다. 따라서, 바이오마커 패널(1004)은 관심대상 형태학적 피쳐(1200)를 포함하지 않는 주 이미지 패널(1002) 내의 관찰시야의 영역을 나타낸다. 도 13은 (주 이미지 패널(1002)에 디스플레이된 이미지에 관해 관심 영역 선택 컴포넌트(1018)의 위치를 조절함으로써 또는 관심 영역 선택 컴포넌트(1018)에 관해 주 이미지 패널(1002)에 디스플레이된 이미지의 위치를 조절함으로써) 관심대상 형태학적 피쳐(1200)가 관심 영역 선택 컴포넌트(1018)의 경계선 내로 가져와진 주 이미지 패널(1002)을 나타낸다. 이 경우에, 바이오마커 패널(1004) 내의 썸네일 이미지들이 자동으로 업데이트되어, 이제는 관심 영역 선택 컴포넌트(1018)에 의해 윤곽지정된 형태학적 피쳐(1200)를 포함하는 관찰시야의 부분을 디스플레이한다.

도 15는 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 예시적인 컴퓨터-구현된 방법의 플로차트이다. 단계(1502)에서, 그래픽 사용자 인터페이스가 시각적 디스플레이 장치 상에 렌더링될 수 있다. 단계(1504)에서, 주 이미지 패널과 바이오마커 패널이 사용자 인터페이스 상에서 렌더링될 수 있다.

단계(1506)에서, 생물학적 시편의 관찰시야를 선택하는 사용자 입력이 수신될 수 있다. 단계(1508)에서, 선택된 관찰시야의 제1 이미지가 주 이미지 패널 상에서 렌더링될 수 있다.

단계(1510)에서, 관심 영역 선택 컴포넌트가 주 이미지 패널 내의 제1 이미지 상에 오버레이될 수 있다. 관심 영역 선택 컴포넌트는 제1 이미지 내의 제1 영역을 윤곽지정할 수 있다. 단계(1512)에서, 제1 세트의 썸네일 이미지는 관심 영역 선택 컴포넌트에서 윤곽지정된 제1 영역에 대응하는 바이오마커 패널에서 렌더링될 수 있다. 실시예에서, 제1 세트의 썸네일 이미지 내의 상이한 썸네일 이미지들은 상이한 디스플레이 타입들의 제1 이미지의 동일한 제1 영역을 디스플레이할 수 있다. 예를 들어, 상이한 썸네일 이미지들은 관심 영역 선택 컴포넌트에서 윤곽지정된 영역 내의 상이한 바이오마커들의 발현 수준을 디스플레이할 수 있다.

단계(1514)에서, 사용자 입력이 수신되어 썸네일 이미지들을 업데이트하기 위한 제1 이미지 내의 상이한 영역을 선택할 수 있다. 실시예에서, 수신된 사용자 입력은, 사용자가 (예를 들어, 마우스 커서를 이용하여 경계선을 클릭함으로써) 관심 영역 선택 컴포넌트를 선택하는 것, (예를 들어, 커서를 드래그함으로써) 관심 영역 선택 컴포넌트를 제1 이미지 상의 상이한 위치로 드래그하는 것, 및 (예를 들어, 커서를 릴리스함으로써) 관심 영역 선택 컴포넌트를 제1 이미지 상의 새로운 위치에 릴리스하는 것을 포함할 수 있다. 대안으로서, 수신된 사용자 입력은, 사용자가 (예를 들어, 마우스 커서를 이용하여 제1 이미지를 클릭함으로써) 주 이미지 패널 상의 제1 이미지를 선택하는 것, (예를 들어, 커서를 드래그함으로써) 관심 영역 선택 컴포넌트에 관해 제1 이미지를 드래그하는 것, 및 (예를 들어, 커서를 릴리스함으로써) 제1 이미지를 릴리스하여 제1 이미지의 새로운 영역이 관심 영역 선택 컴포넌트 아래에 배치되게 하는 것을 포함할 수 있다.

실시예는, 관심 영역 선택 컴포넌트에서 윤곽지정된 관찰시야의 새로운 영역 내의 바이오마커 발현에 선택적으로 대응하는 하나 이상의 데이터 세트를 결정할 수 있다. 실시예는 바이오마커 발현 데이터를 저장하고 있는 서버에게 관찰시야의 새로운 영역에 대해 결정된 선택적 데이터 세트를 요청할 수 있다. 실시예는 요청에 기초하여 요청된 데이터 세트를 서버로부터 스트리밍 방식으로 수신할 수 있다. 실시예에서, 데이터 세트는, 사용자가 사용자 인터페이스와 상호작용할 때 실시간으로 수신되거나, 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수신될 수도 있다.

실시예에서, 사용자 인터페이스를 제공하는 컴퓨팅 장치는 타일링된 다중 해상도 데이터 구조의 생물학적 시편에 관한 바이오마커 데이터를 저장하고 있는 원격 서버로부터의 이미지 데이터를 액세스할 수 있다. 이 경우, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는 그 목적을 위해 선택적으로 요구되는 데이터의 타일들을 결정할 수 있고, 서버에게 선택적 타일들을 요청할 수 있다. 즉, 전체의 생물학적 시편에 관한 이미지 데이터는 일부 실시예에서 요청될 수 없거나 사용자 인터페이스 내에 프리로딩될 수 없다; 그러나, 오히려, 주어진 시간에 요구되는 이미지 데이터 세트들만이, 예를 들어, 썸네일 이미지만이 서버에게 요청될 수 있다. 한 예로서, GUI(200)에 디스플레이된 이미지의 줌 레벨이 조절될 때, 컴퓨팅 장치는 적절한 피라미드 레벨로부터의 타일 이미지를 요청하도록 프로그램될 수 있다. 또 다른 예로서, GUI(200)에 디스플레이된 이미지에 대한 팬 동작을 수행할 때, 컴퓨팅 장치는 주 패널 및/또는 부패널(들) 내에 디스플레이될 이미지의 새로운 부분에 대한 타일 이미지를 요청하도록 프로그램될 수 있다. 이러한 접근법을 이용하는 것은 요청을 서빙하는데 있어서 서버 오버헤드를 최소화시키고 사용자 인터페이스를 위해 컴퓨팅 장치에 전송될 필요가 있는 이미지 데이터의 양을 감소시킴으로써, 사용자 상호작용과 요청에 대한 응답에 있어서, 사용자 인터페이스를 신속하고 효율적으로 만든다. 데이터 요청에 응답하여, 서버는 데이터의 요청된 타일들에 액세스할 수 있고, 일부 경우에는 데이터의 분석이나 유효성확인을 수행할 수 있다. 그 다음, 서버는 스트리밍 방식으로 컴퓨팅 장치에 데이터의 타일들을 전송할 수 있다.

각각의 이미지 썸네일 이미지에 대해, 사용자 인터페이스를 제공하는 컴퓨팅 장치는 사용자 인터페이스에 디스플레이될 생물학적 시편의 식별과 하나 이상의 바이오마커 및/또는 형태학적 피쳐의 식별을 결정할 수 있다. 식별에 기초하여, 컴퓨팅 장치는 액세스할 적절한 데이터 구조를 결정할 수 있다. 예를 들어, 제1 썸네일 이미지가 제1 바이오마커의 발현 수준을 포함하는 특정한 슬라이드-스폿으로부터의 생물학적 시편을 디스플레이한다면, 컴퓨팅 장치는 제1 바이오마커와 그 특정한 슬라이드-스폿 양쪽 모두에 고유한 제1 데이터 구조를 식별할 수 있을 것이다. 유사하게, 제2 썸네일 이미지가 제2 바이오마커의 발현 수준을 포함하는 슬라이드-스폿으로부터의 생물학적 시편을 디스플레이한다면, 컴퓨팅 장치는 제2 바이오마커와 그 슬라이드-스폿 양쪽 모두에 고유한 제2 데이터 구조를 식별할 수 있을 것이다.

각각의 썸네일 이미지에 대해, 컴퓨팅 장치는 타일링된 다중 해상도 데이터 구조 내의 어느 해상도 층이 이미지 데이터를 위해 액세스되어야 하는지를 결정할 수 있다. 이 목적을 위해, 컴퓨팅 장치는, (예를 들어, 썸네일 이미지의 줌 레벨 및/또는 썸네일 이미지 및 바이오마커 패널의 크기를 검토함으로써) 썸네일 이미지들이 관찰시야를 디스플레이하거나 관찰시야를 디스플레이할 것을 요청받은 해상도를 결정할 수 있다. 이 결정에 기초하여, 컴퓨팅 장치는 적절한 해상도 층에 있는 데이터 구조 내의 이미지에 액세스할 수 있다. 예를 들어, 썸네일 이미지들이 영역 내의 줌인된 버전을 디스플레이한다면, 컴퓨팅 장치는 데이터 구조의 최고 해상도 층의 이미지가 액세스되어야 한다고 결정할 수 있다.

각각의 썸네일 이미지에 대해, 컴퓨팅 장치는 선택된 데이터 구조 내의 어느 이미지 데이터의 타일들이 액세스되어야 하는지를 결정할 수 있다. 이 목적을 위해, 컴퓨팅 장치는, 주 이미지 패널에서 디스플레이되는 생물학적 조직의 관찰시야, 및 썸네일 이미지로 디스플레이될 관찰시야의 영역을 분석할 수 있다. 분석에 기초하여, 컴퓨팅 장치는 액세스될 이미지 데이터의 부분 또는 타일을 결정할 수 있다. 이미지 데이터의 관련 타일들이 이로써 썸네일 이미지를 디스플레이하는데 필요한 화소 데이터에 대응한다.

단계(1516)에서, 사용자 입력 및 수신된 바이오마커 데이터에 응답하여, 바이오마커 패널이 업데이트되어 제1 세트의 썸네일 이미지를 관심 영역 선택 컴포넌트에서 윤곽지정된 제1 이미지의 새로운 영역을 디스플레이하는 제2 세트의 썸네일 이미지로 교체할 수 있다.

실시예에서, 주 이미지 패널 상의 제1 이미지는, 예를 들어, 제1 이미지 내의 새로운 영역을 윤곽지정하도록 관심 영역 선택 컴포넌트를 렌더링함으로써, 단계(1514)에서 선택된 새로운 영역을 표시하거나 윤곽지정하도록 업데이트될 수 있다.

통상의 기술자라면, 도 15의 예시적 방법은 예시적 플로차트에 예시된 것보다 더 많거나 더 적은 단계들을 포함할 수 있고, 예시적 플로차트 내의 단계들은 도시된 것과는 상이한 순서로 수행될 수 있다는 것을 이해할 것이다.

생물학적 시편에 대한 예시적 분할 스크린 디스플레이 및 바이오마커 디스플레이

일부 실시예에서, (생물학적 시편의 관찰시야의 분할 스크린 디스플레이의 관찰을 가능케하는) 도 2 내지 도 7에 나타낸 인터페이스와 (생물학적 시편의 관찰시야의 영역 내의 상이한 바이오마커들의 발현 수준의 관찰을 가능케하는) 도 10 내지 도 14에 나타낸 인터페이스의 피쳐들을 결합하는 그래픽 사용자 인터페이스가 제공될 수 있다. 도 16은 양쪽 능력을 구현하는 예시적 그래픽 사용자 인터페이스(1600)이다. 그래픽 사용자 인터페이스(1600)는, 예를 들어, 생물학적 시편의 이미지 또는 이미지의 일부를 디스플레이하기 위한 이미지 네비게이션 컴포넌트(1602), 생물학적 시편의 이미지 내의 관찰시야를 디스플레이하기 위한 주 이미지 패널(1604), 및 주 이미지 패널(1604)에 디스플레이된 관찰시야의 영역 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 바이오마커 패널(1606)을 포함한다. 주 이미지 패널(1604)은, 경계선에 의해, 관찰시야의 2개의 연속 부분을 디스플레이하기 위한 2개의 예시적 이미지 서브패널들(1608, 1610)로 분할되거나 이들 서브패널들을 제공받을 수 있다. 도 16에 나타낸 예시적 피쳐들과 그들의 동작들이 도 2 내지 도 15와 연계하여 더 상세히 설명된다.

데이터 액세스를 위한 예시적 네트워크 아키텍쳐

도 17은 실시예의 구현에 적합한 예시적 네트워크 환경(1710)을 도시한다. 네트워크 환경(1710)은 통신 네트워크(1710)를 통해 하나 이상의 클라이언트(1706 및 1708)에 결합된 하나 이상의 서버(1702 및 1704)를 포함할 수 있다. 특히, 하나 이상의 서버(1702 및 1704)와 하나 이상의 클라이언트(1706 및 1708) 각각은 도 23에 관하여 설명된 컴퓨팅 장치(2300)로서 구현될 수 있다. 따라서, 하나 이상의 서버(1702 및 1704)와 하나 이상의 클라이언트(1706 및 1708) 각각은 네트워크 인터페이스(2312)와 네트워크 장치(2322)를 포함하여 서버들(1702 및 1704)이 통신 네트워크(1710)를 통해 클라이언트들(1706 및 1708)과 통신할 수 있게 할 수 있다. 통신 네트워크(1710)는, 인터넷, 인트라넷, LAN(Local Area Network), WAN(Wide Area Network), MAN(Metropolitan Area Network), 무선 네트워크, 광 네트워크 등을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 통신 네트워크(1710)에 의해 제공된 통신 설비는 여기서 개시된 협력적 분석과 연구 노력을 지원할 수 있다.

실시예에서, 하나 이상의 서버(1702, 1704)는 유익하게도, 예를 들어, 도 1a 내지 도 1c를 참조하여 설명된 데이터 저장 시스템에 따라, 클라우드 환경과 여기서 개시된 방법에 관련된 데이터를 저장하기 위한 능력을 제공할 수 있다. 소정의 예시적 서버들은 이미지 데이터를 상이한 해상도 층들의 이산적인 데이터의 타일들로서 저장하는 타일링 서버(tiling server)일 수 있다. 서버들(1702, 1704)은 필요하다면 스트리밍 방식으로 요청측 클라이언트에게 이미지 데이터를 전송할 수 있다. 일부 실시예에서, 하나 이상의 서버(1702, 1704)는 또한, 여기서 설명된 방법에 관련된 데이터를 분석하기 위한 능력과 환경을 제공할 수 있다.

하나 이상의 클라이언트(1706, 1708)는, 클라이언트 컴퓨팅 장치의 사용자에 의한 이용을 위한 여기서 설명된 그래픽 사용자 인터페이스들 중 하나 이상을 호스팅 또는 구현할 수 있다. 클라이언트(1706, 1708)는 그래픽 사용자 인터페이스를 렌더링 및/또는 업데이트하는데 필요한 데이터의 부분들(예를 들어, 데이터의 하나 이상의 타일들)을 요청하기 위해 하나 이상의 서버(1702, 1704)에 원격으로 액세스할 수 있다. 응답하여, 서버는 이들 요청된 데이터 부분들만을 회수하고 그 데이터를 요청측 클라이언트에게 스트리밍 방식으로 전송할 수 있다. 일부 실시예에서, 데이터는 클라이언트에 의해 요청되고 사용자가 클라이언트 상에 렌더링된 그래픽 사용자 인터페이스와 상호작용할 때 서버에 의해 클라이언트에 실시간 방식으로 전송되거나, 대안으로서, 사용자가 사용자 인터페이스와 상호작용한 후 시간 지연 후에 수행될 수도 있다.

실시예에서, 클라이언트로부터 서버로의 요청의 전송 및/또는 서버로부터 클라이언트로의 데이터의 전송은, 라이센스 협의 등의 특정한 조건에 예속될 수 있다.

실시예에서, 타일링 서버로서 구현된 서버는, GUI(100, 1000, 및/또는 1600)의 실시예를 실행하도록 프로그램된 하나 이상의 클라이언트로부터 수신된 요청에 응답하여 개개의 타일들을 회수, 처리, 및 서빙하도록 동작할 수 있다. 클라이언트와 타일링 서버간의 통신은, 예를 들어, 하이퍼텍스트 전송 프로토콜(Hypertext Transport Protocol) 등의 통신 프로토콜을 통해 가능해질 수 있다. 타일링 서버는 표준 웹-기반의 HTTP 인터페이스 등의, 핸들러 인터페이스를 이용하여 클라이언트에 의해 액세스될 수 있다. 핸들러 인터페이스는, 예를 들어, 타일링 서버의 기능을 내포하는 암호화된 JSON(JavaScript Object Notation) 기반의 이미지 데이터 질의를 이용하는 융통성 있는 데이터 요청 구조를 제공할 수 있다.

도 18은, GUI(100, 1000, 및/또는 1600)의 실시예를 실행하도록 프로그램된 클라이언트 컴퓨팅 장치와 타일링 서버 사이의, 타일링 서버에 제출될 수 있는 타일 이미지 요청에 기초한 상호작용을 나타내는 예시적 플로차트를 도시한다. 타일을 요청하기 위해, 단계(1800)에서 클라이언트는 이미지 메트릭을 제출하도록 프로그램될 수 있다. 이미지 메트릭 요청은 타일링 서버에게 타일들에 대해 질의하는데 이용될 수 있는 정보를 취득하기 위해 클라이언트에 의해 이용될 수 있다. 예를 들어, 프로세스 요청은, 타일링 서버에 의해 클라이언트에 반환될 수 있는, 이미지 높이, 이미지 폭, 타일 높이, 타일 폭, 이미지 디렉토리의 수, 최소 피라미드 레벨(예를 들어, 최소 해상도 레벨), 및 최대 피라미드 레벨(예를 들어, 최대 해상도 레벨) 등의 이미지 메트릭을 요청할 수 있다. 단계(1802)에서 타일링 서버는 요청된 이미지 메트릭을 클라이언트에게 반환할 수 있다.

일단 클라이언트가 요청된 이미지 메트릭을 수신하고 나면, 단계(1804)에서 클라이언트는 이미지 메트릭을 이용하여 특정한 타일 이미지를 요청할 수 있다. 실시예에서, 타일들은 클라이언트에 의해 차례로 요청될 수 있다. 클라이언트에 의해 생성된 타일 요청은 어떤 타일 이미지가 요구되는지를 명시하는 정보를 포함할 수 있다. 타일 요청에 응답하여, 단계(1806)에서, 타일링 서버는 요청을 처리하고, 타일 이미지를 식별한다. 단계(1808)에서, 타일링 서버는 요청된 타일 이미지를 클라이언트에게 스트리밍하고, 단계(1810)에서 타일링 서버는 클라이언트로부터의 다음 타일 요청을 기다린다. 클라이언트가 또 다른 타일 이미지를 요청하면, 프로세스는 단계(1804)로부터 반복된다. 그렇지 않으면, 프로세스는 단계(1812)에서 종료한다. 실시예에서, 타일링 서버는 케이스 관리자 및/또는 파일 시스템에 대한 중복적이고 시간 소모적인 호출을 감소시키기 위해 캐싱을 이용할 수 있어서, 클라이언트 요청에 대한 응답성을 가속한다.

클라이언트가 타일을 요청할 때, 그 요청은 요청된 특정한 타일을 식별하는 정보를 포함할 수 있다. 한 실시예에서, 타일은 각각의 타일에 대한 별개의 HTTP 요청에 기초하여 타일링 서버로부터 회수될 수 있다. 실시예에서, 클라이언트에 의해 개시된 요청은, 슬라이드 이미지의 썸네일에 대한 요청, 하나 이상의 채널로부터 구성되는 타일들에 대한 요청, 이미지 크기, 타일 크기, 가용 피라미드 레벨을 포함하는 이미지 메트릭에 대한 요청을 포함할 수 있거나, 및/또는 기타 임의의 적절한 정보에 대한 요청을 포함할 수 있다.

실시예에서, 클라이언트에 의해 개시된 요청은, 정보 파라미터, 인덱스 파라미터, 레벨 파라미터, 이미지 높이 파라미터, 이미지 폭 파라미터, 타일 높이 파라미터, 타일 폭 파라미터, 및/또는 회수될 특정한 타일을 명시하기 위한 기타 임의의 적절한 정보 등의 파라미터들(예를 들어, 이미지 메트릭)을 포함하는 URL 질의를 생성하기 위해 URL(universal resource locator) 프로토콜을 이용할 수 있다. 여기서 설명된 바와 같이, 클라이언트는 파라미터에 대한 이미지 메트릭 요청을 제출하도록 프로그램될 수 있고 서버는 파라미터들과 그들의 연관된 값들을 제공함으로써 그 요청에 응답할 수 있다. 정보 파라미터는, URL 질의에 의해 요청되고 있는 정보의 타입(예를 들어, 이미지 메트릭 또는 타일 이미지)을 나타내는 부울(Boolean) 값일 수 있다. 예를 들어, 정보 파라미터가 "참"으로 설정되면, URL 질의는 이미지 메트릭을 요청하도록 구성되고, 정보 파라미터가 '거짓'으로 설정되거나 명시되지 않으면, URL 질의는 타일 이미지를 요청하도록 구성된다. 인덱스 파라미터는 요청된 타일에 대한 x축 및 y축 타일 위치를 나타내는 정수 값을 포함할 수 있다. 레벨 파라미터는 반환되어야 하는 이미지 피라미드로부터의 레벨(예를 들어, 스케일 및/또는 해상도)을 나타내는 정수값을 포함할 수 있다. 실시예에서, 레벨 파라미터는 이미지 피라미드로부터의 최저 레벨을 나타내는 최소 레벨 파라미터와 이미지 피라미드로부터의 최고 레벨을 나타내는 최대 레벨 파라미터를 포함할 수 있다. 이미지 높이 파라미터는 전체의 이미지의 높이에 대응하고 이미지 폭 파라미터는 전체의 이미지의 폭에 대응한다. 타일 높이 파라미터는 전체 이미지에 대한 타일의 높이에 대응하고 타일 폭 파라미터는 전체 이미지에 대한 타일의 폭에 대응한다.

도 19는 클라이언트에 의해 생성될 수 있는 이미지 메트릭 요청(1900)의 예를 도시하고, 여기서, 정보 파라미터(1902)는 "참"으로 설정되며, 도 20은, 예를 들어, 이미지 높이 파라미터(2002), 이미지 폭 파라미터(2004), 타일 높이 파라미터(2006), 타일 폭 파라미터(2008), 및 최소 피라미드 레벨 파라미터(2010), 최대 피라미드 레벨 파라미터(2012)에 대한 값들을 포함한, 타일링 서버에 의해 제공된 이미지 메트릭 요청에 대한 XML-기반의 응답(20)의 예를 도시한다. 도 21은 클라이언트에 의해 생성될 수 있는 타일 이미지 요청(2100)의 예를 도시한다. 타일 이미지 요청(2100)은 요청(2100) 내의 특정한 타일 이미지를 명시하기 위해 이미지 메트릭(2104)에 대한 값(2102)을 포함할 수 있다.

도 22는, GUI(100, 1000, 및/또는 1600)의 실시예를 실행하도록 프로그램된 클라이언트와 타일링 서버 사이의, 타일링 서버에 제출될 수 있는 썸네일 이미지 요청에 기초한 상호작용을 나타내는 플로차트이다. 썸네일들이 GUI(100, 1000, 및/또는 1600)의 실시예를 실행하는 클라이언트에 의해 디스플레이될 수 있는 실시예의 경우, 클라이언트는 이미지 메트릭 요청을 제출할 수 있고 도 18 내지 도 20에 관하여 위에서 설명된 바와 같이 타일링 서버로부터 이미지 메트릭을 수신할 수 있다. 일단 클라이언트가 요청된 이미지 메트릭을 수신하고 나면, 단계(2200)에서 클라이언트는 이미지 메트릭을 이용하여 특정한 썸네일 이미지를 요청할 수 있다. 클라이언트에 의해 생성된 썸네일에 대한 요청은 전체의 이미지의 어느 부분이 썸네일에 포함되어야 하는지를 명시하는 정보를 포함할 수 있다. 썸네일에 대한 요청에 응답하여, 타일링 서버는 요청을 처리하고, 단계(2202)에서 썸네일 이미지에 포함될 전체 이미지의 부분에 대응하는 타일들을 식별한다. 타일링 서버에 의해 식별된 타일들은 요청에서 명시된 썸네일 이미지의 줌 레벨과 가장 근접하게 정합하는 가장 큰 피라미드 레벨로부터 회수될 수 있다. 단계(2204)에서, 타일링 서버는 썸네일 이미지에 대해 회수된 타일들을 단일의 이미지로 결합할 수 있고, 단계(2206)에서, 타일링 서버는 이미지를 원하는 크기로 축소한다. 단계(2208)에서, 이미지는 요청된 썸네일 이미지의 크기와 정합하도록 절단(crop)되고 단계(2210)에서, 이미지는 GUI(100, 1000, 및/또는 1600) 중 하나 이상에서 썸네일 이미지로서의 디스플레이를 위해 클라이언트에 전송된다.

예시적 컴퓨팅 장치

여기서 개시된 시스템 및 방법은, 하나 이상의 컴퓨터 판독가능한 매체, RAM, ROM, 하드 드라이브, 및/또는 하드웨어 상에 유지된 실행가능한 연관된 실행가능한 명령어를 갖는 하나 이상의 프로그램가능한 처리 유닛을 포함할 수 있다. 실시예에서, 하드웨어, 펌웨어, 및/또는 실행가능한 코드가, 예를 들어, 기존의 인프라스트럭쳐(예를 들어, 기존의 장치/처리 유닛)와 연계하여 이용하기 위한 업그레이드 모듈(들)로서 제공될 수 있다. 하드웨어는, 예를 들어, 여기서 컴퓨팅 프로세스로서 교시된 실시예를 실행하기 위한 컴포넌트 및/또는 로직 회로를 포함할 수 있다.

용어 "컴퓨터-판독가능한 매체"란, 여기서 사용될 때, 컴퓨터-실행가능한 명령어 또는 소프트웨어 프로그램을 인코딩해 두기 위해, 제어기, 마이크로제어기, 계산 시스템 또는 계산 시스템의 모듈에 의해 액세스될 수 있는 비일시적 저장 하드웨어, 비일시적 스토리지 장치 또는 비일시적 컴퓨터 시스템 메모리를 말한다. "컴퓨터-판독가능한 매체"는, 매체 상에 인코딩되어 있는 컴퓨터-실행가능한 명령어 또는 소프트웨어 프로그램을 회수 및/또는 실행하기 위해 계산 시스템 또는 계산 시스템의 모듈에 의해 액세스될 수 있다. 비일시적 컴퓨터-판독가능한 매체는, 하나 이상의 타입의 하드웨어 메모리, 비일시적 유형의 매체(예를 들어, 하나 이상의 자기 저장 디스크, 하나 이상의 광 디스크, 하나 이상의 USB 플래시 드라이브), (DRAM, SRAM, EDO, RAM 등의) 컴퓨터 시스템 메모리 또는 랜덤 액세스 메모리를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

예를 들어, 본 개시에 따라, 그래픽 사용자 인터페이스를 렌더링하기 위한, 디스플레이 및/또는 기타의 피드백 수단도 역시 포함될 수 있다. 디스플레이 및/또는 기타의 피드백 수단은 단독형 장비이거나 처리 유닛(들)의 하나 이상의 컴포넌트/모듈로서 포함될 수 있다. 실시예에서, 디스플레이 및/또는 기타의 피드백 수단은, 생물학적 조직 샘플의 이미지 또는 이미지의 일부에 대응하는 관찰시야의 형태학적 및 통계적 표현을 동시에 기술하는데 이용될 수 있다.

본 개시의 일부를 구현하는데 이용될 수 있는 실제의 소프트웨어 코드 또는 제어 하드웨어는 이러한 실시예의 범위를 제한하고자 함이 아니다. 예를 들어, 여기서 설명된 실시예의 소정 양태는, 예를 들어, 종래의 또는 객체-지향형 프로그래밍 기술을 이용하여, 예를 들어, 어셈블리 코드, C, C#, 또는 C++ 등의 임의의 적절한 프로그래밍 언어 타입을 이용한 코드로 구현될 수 있다. 이러한 코드는, 예를 들어, 자기 또는 광학 저장 매체 등의 임의의 타입의 적절한 비일시적 컴퓨터-판독가능한 매체 또는 매체들에 저장 또는 유지된다.

여기서 사용될 때, "프로세서", "처리 유닛", "컴퓨터", 또는 "컴퓨터 시스템"은, 예를 들어, 무선 또는 유선의 다양한, 마이크로컴퓨터, 미니컴퓨터, 서버, 메인프레임, 랩탑, PDA, 전자메일 장치(예를 들어, "BlackBerry", "Android" 또는 "Apple", 상표 등록된 장치들), 셀룰러 전화, 페이저, 프로세서, 팩스기, 스캐너, 또는 네트워크를 통해 데이터를 송수신하도록 구성된 기타 임의의 프로그램가능한 장치일 수 있다. 여기서 개시된 컴퓨터 시스템은, 데이터를 얻고, 처리하고 전달하는데 이용되는 소정의 소프트웨어 애플리케이션을 저장하기 위한 메모리를 포함할 수 있다. 이러한 메모리는 개시된 실시예 내부 또는 외부일 수 있다는 것을 이해할 수 있을 것이다. 메모리는 또한, 하드 디스크, 광 디스크, 플로피 디스크, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), PROM(프로그램가능한 ROM), EEPROM(전기적으로 소거가능한 PROM), 플래시 메모리 스토리지 장치 등을 포함한, 소프트웨어를 저장하기 위한 비일시적 저장 매체를 포함할 수 있다.

도 23은, 여기서 개시된 시스템 및 방법을 구현하는데 이용될 수 있는 예시적 컴퓨팅 장치(2300)를 나타내는 블록도를 도시한다. 컴퓨팅 장치(2300)는, 워크스테이션, 데스크탑 컴퓨터, 서버, 랩탑, 핸드헬드 컴퓨터, 태블릿 컴퓨터(예를 들어, iPadTM 태블릿 컴퓨터), 모바일 컴퓨팅 장치 또는 통신 장치(예를 들어, iPhoneTM 모바일 통신 장치, Android 모바일 통신 장치 등), 또는 여기서 설명된 동작을 수행하기에 충분한 프로세서 능력과 메모리 용량을 가지며 통신이 가능한 기타 형태의 컴퓨팅 또는 통신 장치 등의 임의의 컴퓨터 시스템일 수 있다. 실시예에서, 분산형 계산 시스템은 복수의 이러한 컴퓨팅 장치를 포함할 수 있다.

컴퓨팅 장치(2300)는 여기서 설명된 예시의 방법을 구현하기 위한 인코딩된 하나 이상의 컴퓨터-실행가능한 명령어 또는 소프트웨어를 갖는 하나 이상의 비일시적 컴퓨터-판독가능한 매체를 포함한다. 비일시적 컴퓨터-판독가능한 매체는, 하나 이상의 타입의 하드웨어 메모리 또는 기타의 유형의 매체(예를 들어, 하나 이상의 자기 저장 디스크, 하나 이상의 광 디스크, 하나 이상의 USB 플래시 드라이브) 등을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치(2300)에 포함된 메모리(2306)는 여기서 설명된 그래픽 사용자 인터페이스를 구현하기 위한 컴퓨터-판독가능한 및 컴퓨터-실행가능한 명령어 또는 소프트웨어를 저장할 수 있다. 컴퓨팅 장치(2300)는 또한, 메모리(2302)에 저장된 컴퓨터-판독가능한 및 컴퓨터-실행가능한 명령어 또는 소프트웨어와 시스템 하드웨어를 제어하기 위한 기타의 프로그램을 실행하기 위한, 프로세서(2302) 및 연관된 코어(2304)를 포함하고, 일부 실시예에서는, (예를 들어, 복수의 프로세서/코어를 갖는 컴퓨터 시스템의 경우) 하나 이상의 추가 프로세서(들)(2302') 및 연관된 코어(들)(2304')를 포함한다. 프로세서(2302) 및 프로세서(들)(2302') 각각은 단일 코어 프로세서 또는 복수 코어(2304 및 2304') 프로세서일 수 있다.

컴퓨팅 장치(2300)에 가상화가 채용되어 컴퓨팅 장치 내의 인프라스트럭쳐 및 자원이 동적으로 공유될 수 있다. 가상 머신(2314)이 제공되어 복수의 프로세서들 상에서 실행 중인 프로세스가 복수의 컴퓨팅 자원이 아니라 단 하나의 컴퓨팅 자원만을 이용하는 것처럼 보이도록 프로세스를 처리한다. 복수의 가상 머신은 또한 하나의 프로세서와 함께 이용될 수도 있다.

메모리(2306)는, DRAM, SRAM, EDO RAM 등의 컴퓨터 시스템 메모리 또는 랜덤 액세스 메모리를 포함할 수 있다. 메모리(2306)는 또한, 다른 타입들의 메모리, 또는 이들의 조합을 포함할 수도 있다.

사용자는, 여기서 설명된 실시예에 따라 제공된 하나 이상의 그래픽 사용자 인터페이스(2320)를 디스플레이하는, 스크린 또는 모니터 등의 시각적 디스플레이 장치(2318)를 통해 컴퓨팅 장치(2300)와 상호작용할 수 있다. 시각적 디스플레이 장치(2318)는 실시예와 연관된 기타의 양태, 요소 및/또는 정보 또는 데이터를 디스플레이할 수 있다.

컴퓨팅 장치(2300)는, 사용자로부터 입력을 수신하기 위한 기타의 I/O 장치, 예를 들어, 키보드 또는 임의의 적절한 멀티-포인트 터치 인터페이스(2308), 포인팅 장치(2310)(예를 들어, 마우스, 디스플레이 장치와 직접 인터페이싱하는 사용자의 손가락)를 포함할 수 있다. 여기서 사용될 때, "포인팅 장치"는, 사용자가 컴퓨팅 시스템 또는 장치에 공간적 데이터를 입력하는 것을 허용하는 임의의 적절한 입력 인터페이스, 구체적으로는 인간 인터페이스 장치이다. 실시예에서, 포인팅 장치는, 사용자가, 물리적 제스쳐, 예를 들어, 포인팅, 클릭킹, 드래깅, 드롭핑 등을 이용하여 컴퓨터에 입력을 제공하는 것을 허용할 수 있다. 예시의 포인팅 장치는, 마우스, 터치패드, 디스플레이 장치와 직접 인터페이싱하는 사용자의 손가락을 포함하지만, 이것으로 제한되는 것은 아니다.

키보드(2308) 및 포인팅 장치(2310)는 시각적 디스플레이 장치(2318)에 결합될 수도 있다. 컴퓨팅 장치(2300)는 기타의 적절한 종래의 I/O 주변장치를 포함할 수 있다. I/O 장치는, 하나 이상의 그래픽 사용자 인터페이스(2320)의 구현, 예를 들어, 여기서 설명된 그래픽 사용자 인터페이스들 중 하나 이상의 구현을 가능케 할 수 있다.

컴퓨팅 장치(2300)는, 여기서 교시된 실시예를 구현하는 데이터 및 컴퓨터-판독가능한 명령어 및/또는 소프트웨어를 저장하기 위한, (임의의 적절한 광학적 또는 자기적 영구 스토리지 장치, 예를 들어, RAM, ROM, Flash, USB 드라이브, 또는 기타의 반도체-기반의 저장 매체를 포함할 수 있는) 영구 디스크 스토리지, 하드 드라이브, CD-ROM, 또는 기타의 컴퓨터 판독가능한 매체 등의, 하나 이상의 스토리지 장치(2324)를 포함할 수 있다. 실시예에서, 하나 이상의 스토리지 장치(2324)는 본 개시의 시스템 및 방법에 의해 생성될 수 있는 데이터의 저장을 제공할 수 있다. 예를 들어, 스토리지 장치(2324)는, (예를 들어, 타일링된 다중 해상도 데이터 구조 형태의) 생물학적 시편에 대응하는 이미지 데이터(2326)에 대한 스토리지, 여기서 설명된 바이오마커 패널 및 연관된 썸네일 이미지를 구현하도록 프로그램되고 구성된 바이오마커 패널 디스플레이 모듈(2328), 및 여기서 설명된 분할 스크린 디스플레이를 구현하도록 프로그램되고 구성된 분할 스크린 디스플레이 모듈(2330)을 제공할 수 있다. 하나 이상의 스토리지 장치(2324)는 여기서 설명된 하나 이상의 방법에 관한 컴퓨터 판독가능한 명령어에 대한 스토리지를 더 제공할 수 있다. 하나 이상의 스토리지 장치(2324)는 컴퓨팅 장치(2300) 상에 되거나 및/또는 컴퓨팅 장치(2300)와는 별개로 또는 원격으로 제공될 수 있다.

컴퓨팅 장치(2300)는, 표준 전화선, LAN(Local Area Network) 또는 WAN(Wide Area Network) 링크(예를 들어, 802.11, T1, T3, 56kb, X.25), 광대역 접속(예를 들어, ISDN, Frame Relay, ATM), 무선 접속, CAN(controller area network), 또는 이들 중 임의의 것 또는 모두의 일부 조합을 포함한 그러나 이것으로 제한되지 않는 다양한 접속을 이용해, 하나 이상의 네트워크, 예를 들어, LAN, WAN 또는 인터넷과 하나 이상의 네트워크 장치(2322)를 통해 인터페이싱하도록 구성된 네트워크 인터페이스(2312)를 포함할 수 있다. 네트워크 인터페이스(2312)는, 내장된 네트워크 어댑터, 네트워크 인터페이스 카드, PCMCIA 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB 네트워크 어댑터, 모뎀 또는 컴퓨팅 장치(2300)를 통신과 여기서 설명된 동작을 수행할 수 있는 임의 타입의 네트워크에 인터페이싱하기에 적합한 기타 임의의 장치를 포함할 수 있다. 네트워크 장치(2322)는, 하나 이상의 수신기, 하나 이상의 전송기, 하나 이상의 트랜시버, 하나 이상의 안테나 등을 포함한 그러나 이것으로 제한되지 않는, 네트워크를 통한 통신을 송수신하기 위한 하나 이상의 적절한 장치를 포함할 수 있다.

컴퓨팅 장치(2300)는, 임의의 버전의 Microsoft® Windows® 운영 체제, 상이한 릴리스들의 Unix 및 Linux 운영 체제, 임의의 버전의 MacOS® Macintosh 컴퓨터, 임의의 임베딩형 운영 체제, 임의의 실시간 운영 체제, 임의의 오픈 소스 운영 체제, 임의의 전용 운영 체제, 모바일 컴퓨팅 장치를 위한 임의의 운영 체제, 또는 컴퓨팅 장치 상에서 실행될 수 있고 여기서 설명된 동작을 수행할 수 있는 기타 임의의 운영 체제 등의, 임의의 운영 체제(2316)를 실행할 수 있다. 실시예에서, 운영 체제(2316)는 네이티브 모드(native mode) 또는 에뮬레이팅된 모드(emulated mode)에서 실행될 수 있다. 실시예에서, 운영 체제(2316)는 하나 이상의 클라우드 머신 인스턴스들 상에서 운영될 수 있다.

통상의 기술자라면, 예시적 계산 시스템(2300)은 도 23에 도시된 것보다 더 많거나 더 적은 모듈을 포함할 수 있다는 것을 이해할 것이다.

이제 도 24 내지 도 39를 참조하면, 본 발명은 본 발명의 분할 스크린 및 디지털 프리즘 피쳐 양쪽 모두 뿐만 아니라 주어진 경우에 사용자 병리학적 연구결과를 지원을 상세히 설명하는 보고서를 위해 보관 및 제공 또는 포멧될 수 있는 전자 레코드로 선택된 이미지를 업로드하기 위한 스냅샷 포착 피쳐를 제공하는 GUI(2500)를 제공한다. 예를 들어, 스냅샷 포착 피쳐, 또는 '스냅샷 피쳐' 또는 간단히 '스냅샷'은, 썸네일 이미지 또는 분할 스크린 이미지들 모두가 레코드 내에 보관되는 것을 허용할 수 있고, 그 다음, 레코드는 국지적 저장 매체 상에 또는 하드와이어된 네트워크 내의 서버 상에 또는 심지어 클라우드 서버 상에 보관된다. 레코드는, 바람직하게는 다른 환자 정보와 함께, 국지적 및/또는 원격 검토자에게 이용가능할 수 있다. 용어 '스냅샷'이란 스냅샷 포착 피쳐에 의해 기록된 이미지를 말한다. 본 발명은 본 발명의 스냅샷 피쳐가 본 발명의 분할 스크린 피쳐 및 디지털 프리즘 피쳐 중 어느 하나 또는 양쪽 모두를 제공하는 GUI에 채용될 수 있다는 것을 고려하고 있다.

본 발명의 스냅샷 포착 피쳐(및 이 피쳐에 의해 취해진 이미지들의 스냅샷)은 사용자에게 복수의 혜택을 제공한다. 예를 들어, 스냅샷은 필요하다면 수정될 수 있고 재-크기조정될 수 있다. 포착된 영역은, 스냅샷이 삭제될 때까지 슬라이드의 이미지와 함께 머무는, 가시적 박스 내에서, 바람직하게는 별개의 라인 색상으로 표시될 수 있다. 바람직하게는, 스냅샷들은, 스냅샷들을 특정한 슬라이드 및 특정한 포착 영역에 결속할 수 있는 정보와 함께 디폴트로 명명되고, 이 명칭은 바람직하게는 필요할 때 편집될 수 있다. 본 발명은 스냅샷들이 목록 모드 또는 갤러리 모드에서 검토될 수 있는 것을 고려하고 있다. 바람직하게는, 갤러리 모드에서, 스냅샷 프리뷰의 크기는 사용자의 요구나 취향에 맞게 증가 또는 감소될 수 있다. 본 발명은 뷰어 인터페이스 상에 "보고서 데이터 업데이트" 버턴을 제공하여 "보고서 데이터 업데이트" 버턴을 클릭함으로써 스냅샷이 케이스 보고에 업로드될 수 있게 한다. 케이스 보고의 경우, 본 발명은 병리학자에게 검토된 이미지들의 전부, 일부를 포함하거나 아무것도 포함하지 않는 옵션을 제공한다. 본 발명은 또한, 보관된 이미지들이 취득된 영역별로 보관된 이미지들을 분류하는 것을 고려하고 있다. 본 발명은 스냅샷들이 프리젠테이션 또는 추가의 연구에 이용하기 위해 재소환되도록 국지적 디스크 또는 기타의 원격 저장 매체에 보관되는 것을 허용한다. 전체 해상도 이미지도 역시 보관될 수 있다. 본 발명은 스냅샷들이 사용자에 의해 자유-양식 텍스트와 연관되는 것을 고려한다. 본 발명은 또한, 스냅샷들이 보고서-작성 도구에 입력을 제공하는 서버에 보관되어, 각각의 보관된 스냅샷이 동반된 주석과 함께 진단 보고서 또는 연구 보고서에 포함되는데 이용가능하게 하는 것을 고려한다.

본 발명의 디지털 프리즘 스냅샷은 또한, 단일의 바이오마커 혼합(biomarker blend)이 제공되는 선택된 영역의 이미지의 포착을 제공하고, 또한 동일한 장소의 나머지 바이오마커들의 각 이미지를 포착할 수 있다. 추가로, 디지털 프리즘 스냅샷은 사용자가 환자 샘플의 이미지 상의 한 장소에서 제1 바이오마커를 관찰한 다음 그 바이오마커의 발현의 이미지 뿐만 아니라 제1 바이오마커를 이용하여 선택된 동일한 장소 또는 영역에서 발현된 다른 바이오마커에 대한 이미지를 포착하는 것을 허용한다.

도 24는, 사용자가 멀티플렉싱 플랫폼 상에서 취득된 임의의 데이터를 직관적으로 브라우징하는 것을 허용하는 GUI(2500)를 제공하는 본 발명의 실시예를 도시한다. 이것은, 예를 들어, 호지킨 림프종 LDT(lab developed test)로부터의 결과를 평가하기 위해 병리학자에 의해 이용될 수 있다.

GUI(2500)는 본 발명의 GUI(1000)의 변형으로 볼 수 있고, 유사한 피쳐들은 GUI(1000)에 대한 예로서 설명된 것들을 포함한, 유사한 능력과 기능을 제공하는 것으로 생각된다. GUI(2500)는, 생물학적 시편의 관찰시야를 디스플레이하기 위한 주 이미지 패널(2502), 및 사용자가 포착 영역에 관련된 정보를 디스플레이하는 포착 영역 탭(2507) 또는 보고서에서 이용하기 위해 포착된 스냅샷들에 관한 정보를 디스플레이하는 보고서 스냅샷 탭(2509)을 선택할 수 있는 영역 관리자 패널(2504)을 포함한다. 도 24에 도시된 바와 같이, 사용자가 포착 영역 탭(2507)을 선택하면, 패널(2504)은, 주 이미지 패널(2502) 내의 샘플 이미지로부터 선택된 포착 영역들 각각에 대한 선택가능한 탭(2503)의 목록을 디스플레이한다. 도 27에 도시된 바와 같이, 사용자가 특정한 탭(2503)을 선택하면, 패널(2504)은 선택된 탭(2503) 아래에 다수의 썸네일 이미지(2505)를 디스플레이할 것이고, 그 각각은 포착 영역에 대한 생물학적 시편의 관찰시야 내의 소정 영역과 연관된 바이오마커 발현을 도시한다. 주 이미지 패널(2502)에 표시된 관찰시야는 통상적으로 생물학적 시편의 전체 이미지의 일부에 대응하지만, 바람직하게는 패널(2504)에서 선택된 포착 영역 주변의 영역을 도시할 수 있다.

특히 도 24를 참조하면, GUI(2500)는 슬라이드의 각 영역을 폴더(2506a)로서 및 그 영역 내의 각 이미지를 폴더 요소로서 열거하고, 주 이미지 패널(2502)에서의 디스플레이에 이용가능한 하나 이상의 디스플레이 타입을 표시하기 위해 사용자에 의해 이용될 수 있는 디스플레이 타입 선택 컴포넌트(2506)를 포함한다. 예를 들어, 디스플레이 타입(2506a-1, 2506a-2, 및 2506a-3)은, 각각이 전체의 조직 영역에 대한 폴더(2506a) 아래의 폴더 요소로서 제공되는, 각각, CD30 mDAB, mHE, CD30 Low Mag (모노크롬) 일 수 있다. 주 이미지 패널(2502)에서의 관찰시야의 디스플레이시에, GUI(2500)는, 전체 생물학적 시편 ―주 이미지 패널(2502)에 디스플레이된 관찰시야는 이 전체 생물학적 시편의 일부임― 을 디스플레이하는 이미지 네비게이션 컴포넌트(2508)를 포함하도록 업데이트될 수 있다. 이미지 네비게이션 컴포넌트(2508)는 사용자에 의해 선택된 디스플레이 타입에 따라 생물학적 시편을 디스플레이한다.

이미지 네비게이션 컴포넌트(2508)는, 바람직하게는, 생물학적 시편의 전체 디스플레이 내에서 관찰시야를 윤곽지정하기 위한 관찰시야 선택 컴포넌트(2510)(예를 들어, 십자선 또는 기타 임의의 적절한 컴포넌트)을 포함할 수 있다. 뷰 선택 컴포넌트(2510)는 사용자가 (주 이미지 패널(2502)에 디스플레이된) 관찰시야가 (이미지 네비게이션 컴포넌트(2508)에서 디스플레이된) 전체의 생물학적 시편 내에서 어디에서 발견될 수 있는지를 대체적으로 위치파악하는 것을 허용한다. 일부 실시예에서, 이미지 네비게이션 컴포넌트(2508)는 주 이미지 패널(2502)보다 작고 생물학적 시편의 더 낮은 해상도 디스플레이를 제공한다. 다른 실시예에서, 이미지 네비게이션 컴포넌트(2508)는 주 이미지 패널(2502)과 동일한 크기이거나 더 클 수도 있다. 주 이미지 패널(2502)은 사용자가 (예를 들어, 줌 슬라이더 및/또는 줌 버턴을 이용하여) 특정한 줌 레벨 또는 상대적 줌 레벨을 입력하는 것을 허용하기 위한 줌 입력 도구(2512)를 포함할 수 있다. 현재의 상대적 줌 레벨은 이미지 패널 상에서 줌 표시자(2514)에서 표시될 수 있다. 주 이미지 패널(2502)이 새로운 줌 레벨에 따라 업데이트되면, 이미지 네비게이션 컴포넌트(2508) 내의 관찰시야 선택 컴포넌트(2510)는 주 이미지 패널(2502)에 도시된 대응하는 업데이트된 관찰시야를 정확하게 윤곽지정하도록 자동으로 업데이트될 수 있다. 실시예에서, 사용자 인터페이스를 실행하고 있는 컴퓨팅 장치는, 새로운 줌 레벨이 타일링된 다중 해상도 데이터 구조 내의 상이한 해상도 레벨로부터의 이미지 데이터를 요구한다고 결정할 수 있고, 그 해상도 레벨로부터 이미지 데이터의 하나 이상의 타일을 회수할 수 있다.

주 이미지 패널(2502)은 생물학적 시편에서 새로운 관찰시야로 팬닝하기 위한 팬 입력 도구(2516)를 포함한다. 팬닝은, 주 이미지 패널(2502) 내의 이미지에 클릭을 유지한채 패널을 가로질러 커서를 드래그하고 이와 함께 기저 이미지를 이동시킴으로써 수행될 수도 있다. 주 이미지 패널(2502)은 또한, 주 이미지 패널(2502)에 디스플레이된 관찰시야 내의 각각의 포착 영역의 장소를 윤곽지정하기 위한 포착 영역 표시자 컴포넌트(2540)(예를 들어, 십자선 또는 기타 임의의 적절한 컴포넌트)를 포함한다. 일단 선택된 포착 영역으로부터의 추가의 고해상도 이미지가 취득되고 GUI(2500) 내에 로딩되고 나면, 영역 관리자 패널(2504)은, 예를 들어, 도 27에 도시된 바와 같이, 새로이 취득된 포착 영역 이미지를 나타내는 하나 이상의 썸네일 이미지(2505) 세트를 포함하도록 구성된다. 그러면, 이들 이미지들은 썸네일을 클릭함으로써 주 이미지 패널(2502) 내에 로딩될 수 있고, 그 후 영역 관리자 패널(2504)은 어느 썸네일 이미지가 주 이미지 패널에 디스플레이된 이미지에 대응하는지의 표시를 제공할 수 있다.

GUI(1000)에 대해 설명된 바와 같이, 바이오마커 패널(2503) 내의 썸네일 이미지(2505)의 크기 및/또는 공간적 치수는 디스플레이되는 썸네일 이미지의 개수 및/또는 영역 관리자 패널(2504)의 크기에 기초하여 자동으로 설정 및/또는 스케일될 수 있다. 일부 실시예에서, 사용자는 썸네일 이미지의 크기 및/또는 치수를 수동으로 설정 또는 리셋할 수 있다.

탭(2507)이 선택되면, 패널(2504)은 디스플레이된 썸네일(2505)의 스냅샷을 포착하기 위한 제1 스냅샷 포착 버턴(2590)과 주 이미지 패널(2502)로부터 이미지를 포착하기 위한 제2 스냅샷 포착 버턴(2592)을 제공한다. 버턴(2590 및 2592)은 바람직하게는 사용자가 나중에 회수될 수 있는 주 서버에 스냅샷 이미지의 위치를 보관하는 것을 허용한다. GUI(2500)는 또한, 사용자가 선택된 스냅샷들로부터의 이미지들을 회수가능한 전자 레코드에 보관하는 것을 허용하는 보고서 데이터 업데이트 버턴(2595)을 포함한다. 보고서 데이터 업데이트 버턴(2595)는 바람직하게는 보관된 이미지가 사용자를 위한 보고 도구에 대한 입력으로서 이용될 수 있는 디렉토리에 엑스포트되게 한다.

바람직하게는, 병리학자들은 인터넷 브라우저를 통해 원격으로 GUI(2500)에 액세스하여 작동시킬 수 있다. 일단 GUI(2500) 상에 있게 되면, 이들은 케이스 목록을 브라우징하고 검토하기를 원하는 케이스를 선택할 수 있다. 대안으로서, 병리학자들은 특정한 케이스가 검토 준비되어 있다는 것을 통보받을 수 있고 그 케이스로의 직접적 링크를 제공받을 것이다.

일단 케이스가 전자적 레코드를 위해 서버 또는 기타의 적절한 스토리지 장치로부터 액세스되고 나면, 병리학자는, 도 25에 도시된 바와 같이, 분자 H&E(mH&E) 이미지 등의, 10x 배율로 취득된 슬라이드의 개요를 관찰하기 위해 이미지 선택 컴포넌트(2506)으로부터 선택할 수 있다. mH&E는, 그레이스케일 면역형광(immunofluorescent) 이미지를 병리학자에게 더 친숙하고 시각적 정보를 추출하기에 더 용이한 이미지로 변환하는 알고리즘을 이용하여 생성된다. mH&E는 병리학자가 샘플의 전체 형태를 평가하는 것을 허용한다.

도 24 내지 도 27은 십자선(2510)에 의해 도시된 바와 같이 상이한 줌 레벨에서 취득된 저해상도 이미지들의 상이한 뷰를 도시한다. 시스템은 도 28 내지 도 34에 도시된 바와 같이 사용자가 추가의 고해상도 촬상을 위한 영역을 지정하는 것을 허용한다. 일단 여기서는 각각 10x 및 40x로 도시된 저해상도 및 고해상도 이미지들이 각각 샘플과 관심영역으로부터 취해지고 나면, 이들은 GUI(2500)를 통해 함께 링크되어 저해상도 이미지와 고해상도 이미지간의 네비게이션을 허용한다.

도 26은 CD30의 mDAB 이미지의 10x 디스플레이를 도시한다. 주 이미지 패널(2502)의 좌측 상에서 이미지의 줌인 및 줌아웃에 이용될 수 있는 줌 표시자(2514)를 볼 수 있다. 이전에 선택된 포착 영역들은 여기서 보이는 박스(2540)로 강조되어 있다. 병리학자는, GUI(2500)의 좌측편 상의 이미지 선택 컴포넌트 내의 이미지 목록으로부터 주 이미지 패널(2502) 내로 원하는 이미지를 간단히 드래그 앤 드랍함으로써 또는 바이오마커 탭(2503)을 통해 취득된 포착 영역들로부터 썸네일(2505)을 선택함으로써 다른 이미지들에 액세스할 수 있다. 도 26에 도시된 바와 같이, 병리학자는 CD30 염색의 분자 DAB 이미지를 관찰하고 있다. mH&E와 유사하게, mDAB는 바이오마커 염색의 그레이스케일 이미지들을 이용하고 이들을 명시야 DAB 염색된 이미지들의 경우와 유사한 이미지로 변환한다. 예를 들어, 호지킨 림프종 LDT에서, CD30은 향후의 촬상 라운드(imaging round)에 의해 정보가 얻어질 잠재적 리드-스턴버그(RS) 세포를 식별하는 중요한 염색이다. 습식 랩 프로토콜(wet lab protocol)의 초기에, 병리학자는 이 10x CD30 mDAB 이미지를 검토하고 후속 촬상 라운드에서 촬상될 ROI(또는 포착 영역)를 선택할 것이다. 이미 선택된 ROI들 중 일부는 CD30 mDAB 이미지의 상부의 박스(2540)로 윤곽지정된다.

이미지를 이리저리 네비게이팅하는 것은 용이하고 직관적이다. 팬닝은, 원한다면, 이미지를 클릭하여 주 이미지 패널(2502) 주변으로 드래그함으로써 또는 팬닝 툴(2516)을 이용함으로써 수행된다. 줌인 및 줌아웃은, 마우스 휠을 스크롤하거나, 줌 입력 도구(2512)의 슬라이드 바를 드래그하거나, 원하는 확대 레벨을 선택함으로써 이루어질 수 있다. 병리학자들은 그들이 조사하고자 하는 미리-선택된 ROI를 발견할 때까지 10x 이미지를 네비게이트할 수 있다. 이들이 원하는 ROI를 더블클릭하면 그 ROI가 우측 영역 관리자 패널(2504) 상에서 강조된다. 그 다음, 이들은 원하는 ROI를 확장하여 검토에 이용할 수 있는 상이한 시각화 타입 및 바이오마커들 모두를 볼 수 있다. 이미지들 중 하나에 대한 썸네일(2505)을 간단히 클릭하면 그 이미지가 주 이미지 패널(2502) 상에서 오픈될 것이다. 도 27은 이러한 기능을 도시하고, 여기서 ROI는 활성이 되도록 더블클릭되었다. 박스(2540)에 의해 도시된 ROI는 상이한 색상의 박스(2550)로 윤곽지정되고 그 대응하는 탭(2503)이 패널(2504) 상에서 강조된다.

일단 병리학자가 10x 이미지를 네비게이팅하여 관심 영역을 식별하고 나면, 그 영역에 대한 고해상도(40x)에서 취득된 이용가능한 이미지와 색상 혼합을 볼 수 있다. 이들은 또한 2개 이상의 단색 이미지를 결합하여 색상 혼합을 생성할 수도 있다. 도 28은, 이 피쳐가 각각의 상이한 색상의 5개의 상이한 바이오마커들을 디스플레이하고 있는 것을 도시하고 있다.

도 29에 도시된 바와 같이, 전통적인 면역형광 이미지에 더욱 익숙한 병리학자들의 경우, 이미지 혼합 피쳐는 매우 유용한 것으로 입증될 수 있다. 이미지 선택 컴포넌트(2506)로부터 주 이미지 패널(2502) 내로 복수의 그레이스케일 이미지(2521)를 클릭하여 드래그함으로써, 이들은 5개까지의 이미지를 각 바이오마커에 대응하는 상이한 색상들로 혼합할 수 있다. 혼합 인터페이스(2555)를 오픈함으로써, 병리학자는 상이한 바이오마커들에 대해 선호하는 색상 조합 뿐만 아니라 각 바이오마커의 상대적 강도의 선택을 허용하는 선택가능한 제어를 제공받는다.

도 30을 참조하면, 병리학자는, 디지털 프리즘 피쳐를 이용하여, 이용가능한 바이오마커들 모두, 이 경우에는 9개의 상이한 바이오마커들을 한꺼번에 볼 수 있다. 활성 썸네일 이미지(즉, 주 디스플레이 패널(2502)에 도시된 이미지에 대응하는 특정한 썸네일 이미지(2505)) 상에 위치한, 여기서는 기어(gear) 아이콘으로서 도시된 버턴(2560)을 클릭함으로써, 병리학자는 "디지털 프리즘"이라 부를 수 있는 박스(2565)를 제공받는다. 이 박스를 특정한 세포 또는 관심 영역으로 이동시키면, 우측편 상의 썸네일(2505)이 업데이트되어 9개의 바이오마커들 각각에 대한 디지털 프리즘(2565) 내에 있는 것을 반영할 것이다. 도 30은 디지털 프리즘을 도시하며, 여기서, 주 디스플레이 내의 박스(2565)에 의해 선택된 영역이 있고 오측편 상의 개개의 바이오마커의 썸네일 이미지(2505)가 업데이트되어 박스(2565) 내에 있는 세포들을 포함하고 있다. 예를 들어, 호지킨 림프종 LDT의 경우, 가장 중요한 정보는 CD30 양성 세포의 표현형이 패널의 다른 8개 바이오마커의 정황 내에 있다는 것이다. 이들 8개 바이오마커는 : CD15, CD20, Bob1, Oct2, Pax5, CD45, CD3, 및 CD79a이다. 멀티플렉싱은 병리학자가 단일 세포 내의 9개 모두의 바이오마커의 발현을 명확히 기술하는 것을 허용한다. 과거에는, 병리학자는 각각의 바이오마커에 대한 별개의 직렬 선택에 의존하므로, 동일한 세포들이 평가되지 못할 것이다.

호지킨 림프종 바이오마커 패널은 9개의 바이오마커로 구성된다. 병리학자는 본 발명의 분할 스크린 디스플레이를 이용하여 하나씩 비교를 계속할 수 있거나, 본 발명의 디지털 프리즘 피쳐를 이용하여 한꺼번에 9개 바이오마커 모두를 볼 수 있다. 썸네일 이미지들 상에 위치한 버턴을 클릭함으로써, 병리학자는 전술된 디지털 프리즘 피쳐 또는 청색 박스를 제공받는다. 이 박스를 특정한 세포 또는 관심 영역으로 이동시키면, 우측편 상의 썸네일이 업데이트되어 9개의 바이오마커들 각각에 대한 디지털 프리즘 내에 있는 것을 반영할 것이다. 다시 도 30을 참조하면, 일단 병리학자가 포커싱하고 있는 이 단일 세포가 CD30 양성, Pax5 음성 뿐만 아니라 각각의 썸네일 이미지 내의 다른 바이오마커들의 상대적 존재 또는 부재라는 것을 명확히 알 수 있다.

도 31에서, 병리학자는 제1 서브패널(2570) 상의 mDAB CD30 이미지, 및 인접한 제2 서브패널(2572) 내의 mDAB Pax5 이미지를 선택했다. 원한다면, 도 32에 도시된 바와 같이, 2개의 이미지의 배향을 수직 또는 수평이 되도록 변경할 수 있다. 어느 배향이든, 바(2575)를 이미지를 가로질러 드래그하여, 도 33에서는 바가 상이한 위치에 도시되어 있지만, CD30과 Pax5 이미지 사이에서 계속 스위칭할 수 있다. 이렇게 함으로써, 조직 내의 동일 영역에 걸쳐 바이오마커 발현에서의 차이를 명확히 알 수 있다. 이러한 멀티플렉싱은 사용자가 하나의 바이오마커에 대해 양성인 세포가 또 다른 바이오마커에 대해서도 양성인지를, 이 예에서는, CD30 양성 세포가 CD15에 대해서도 양성인지의 여부를 판정하는 것을 허용한다.

병리학자가 케이스 보고에 포함될 필요가 있는 관심 영역을 결정한 후에, 병리학자는 본 발명의 스냅샷 피쳐를 갖는 GUI(2500)에 디스플레이된 이미지를 포착할 수 있다. 도 34는, 주 이미지 패널(2502) 상의 박스들(2580 및 2582)로 윤곽지정된 바와 같이, 포착된 2개의 상이한 스냅샷을 도시한다. 이것은 또한 패널(2504) 상에서 취득된 스냅샷들의 목록을 도시한다. 탭(2509)을 선택하면, 병리학자는 2가지 방식 중 하나로 스냅샷을 이용하여 이미지를 포착할 수 있다. 제1 방식은 디지털 프리즘의 결과 썸네일 이미지(2505)를 포착하는 것이다. 이렇게 하기 위해, 디지털 프리즘 박스(2565)를 관심 세포로 이동시키고, 프리즘을 재크기조정하여 이미지를 적절히 프레임화하고, 썸네일 위치를 보관한다. 그 다음, 도 35에 도시된 GUI(2500)의 영역 관리자 패널(2504) 부분에 도시된 바와 같이, 제1 스냅샷 포착 버턴(2590)을 클릭하여 9개 모두의 바이오마커에 대해 동일한 영역이 포착될 수 있다. 병리학자가 이미지를 포착할 수 있는 제2 방법은 전체 시야의 하나의 염색을 한 번에 포착하는 것이다. 이것은 단 하나 또는 2개의 세포가 아니라 전체 영역을 보는 것이 필요할 때 유용하다. 전체 시야를 포착하기 위해, 도 36의 주 이미지 패널(2502)의 부분에 도시된 바와 같이, 간단히, 주 이미지 패널(2502) 상의 제2 스냅샷 포착 버턴(2592)을 클릭한다. 포착되는 모든 이미지들은 스냅샷 탭(2509)을 클릭함으로써 검토될 수 있다. 이미지들은 도 37에 도시된 바와 같이 썸네일 이미지 포멧으로 볼 수 있다. 대안으로서, 이미지들은 도 38에 도시된 바와 같이 설명 목록으로서 볼 수도 있다. 스냅샷 보고 탭(2509)의 갤러리 서브패널(2546)은, 사용자가 (도 37에 도시된 바와 같은) 썸네일 이미지의 디스플레이와 (도 38에 도시된 바와 같은) 이미지들의 설명적 목록 사이에서 선택하는 것을 허용하는 갤러리 토글(2548)을 포함한다. 도 38에 도시된 목록으로부터, 병리학자는 연관된 휴지통 아이콘(2596)을 클릭함으로써 임의의 포착된 이미지를 삭제할 수 있다. 또한, 사용자는 목록상의 이미지를 강조하고 편집 토글(2598)을 클릭한 다음 주 이미지 디스플레이(2502) 상의 대응하는 박스의 위치를 조절함으로써 원하는 임의의 이미지를 변경할 수 있다. 추가로, 탭(2509)은 또한, 사용자가 이미지를 국지적 매체에 보관하는 것을 허용하는 빠른 보관 버턴(2597)을 제공한다. 일단 병리학자가 포착된 모든 이미지에 만족하면, 도 39에 도시된 바와 같이, 보고서 데이터 업데이트 버턴(2595)을 한번 클릭하여 이미지를 케이스 보고에 업로드할 수 있다.

실시예들을 설명하는데 있어서, 특정한 용어는 명료성을 위해 사용된 것이다. 설명을 위해, 각각의 특정한 용어는, 적어도, 유사한 목적을 달성하기 위해 유사한 방식으로 동작하는 모든 기술적 및 기능적 균등물을 포함하는 것으로 의도된다. 추가로, 특정한 실시예가 복수의 시스템 요소 또는 방법 단계를 포함하는 일부 경우에, 이들 요소 또는 단계들은 단일의 요소 또는 단계로 대체될 수 있다. 마찬가지로, 단일의 요소 또는 단계는 동일한 목적에 이용되는 복수의 요소 또는 단계들로 대체될 수 있다. 또한, 다양한 속성을 위한 파라미터들이 여기서 실시예에 대해 명시되고 있지만, 이들 파라미터들은, 달리 명시되지 않는 한, 1/20, 1/10, 1/5, 1/3, 1/2 등으로, 또는 반올림 근사화에 의해 상향 또는 하향 조절될 수 있다. 게다가, 실시예들이 특정한 구현을 참조하여 도시되고 설명되었지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않고 형태 또는 세부사항에 있어서 다양한 대체 또는 변경이 이루어질 수 있다는 것을 이해할 것이다. 역시, 다른 양태, 기능, 및 이점들도 본 발명의 범위 내에 있다.

예시적 플로차트는 여기서 설명적 목적을 위해 제공된 것이며 방법들의 비제한적 예이다. 통상의 기술자라면, 예시적 방법들은 예시적 플로차트에 나타낸 것보다 더 많거나 더 적은 단계들을 포함할 수 있고, 예시적 플로차트 내의 단계들은 도시된 것과는 상이한 순서로 수행될 수 있다는 것을 이해할 것이다.

Claims (44)

1. 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 컴퓨터-구현된 방법으로서,
   주 이미지 패널 및 바이오마커 패널을 포함하는 그래픽 사용자 인터페이스를 시각적 디스플레이 장치 상에 렌더링하는 단계;
   선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하는 단계;
   상기 주 이미지 패널 상에서, 상기 생물학적 시편에 대응하는 상기 선택된 관찰시야의 제1 이미지를 렌더링하는 단계;
   상기 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트를 상기 주 이미지 패널 내의 상기 제1 이미지 상에 오버레이시켜 렌더링하는 단계;
   상기 바이오마커 패널 상에, 상기 제1 이미지 내의 상기 제1 영역에 대응하는 제1 세트의 썸네일 이미지 ―상기 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타냄― 를 렌더링하는 단계;
   상기 주 이미지 패널 상에서, 상기 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하는 단계; 및
   상기 제1 이미지 내의 상기 제2 영역을 선택하는 상기 사용자 입력에 기초하여, 상기 제1 세트의 썸네일 이미지를 상기 제1 이미지 내의 상기 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 상기 바이오마커 패널을 업데이트하는 단계
   를 포함하는 방법.
2. 제1항에 있어서, 상기 관심 영역 선택 컴포넌트는 상기 제1 이미지 내의 더 작은 영역을 윤곽지정하는, 방법.
3. 제1항에 있어서, 상기 제2 영역을 선택하는 상기 사용자 입력은,
   상기 관심 영역 선택 컴포넌트를 선택하는 사용자 입력; 및
   상기 제1 이미지에 오버레이된 상기 관심 영역 선택 컴포넌트를 상기 제1 영역으로부터 상기 제1 이미지 내의 상기 제2 영역으로 드래그(drag)하는 사용자 입력을 포함하는, 방법.
4. 제1항에 있어서, 상기 제2 영역을 선택하는 상기 사용자 입력은,
   상기 제1 이미지를 선택하는 사용자 입력; 및
   상기 관심 영역 선택 컴포넌트 아래에 놓인 상기 제1 이미지를 드래그하되, 상기 제1 이미지 내의 상기 제2 영역이 상기 관심 영역 선택 컴포넌트 아래에 놓이도록 드래그하는 사용자 입력
   을 포함하는, 방법.
5. 제1항에 있어서,
   상기 제1 이미지 상에서, 상기 생물학적 시편의 상기 선택된 관찰시야 내의 하나 이상의 형태학적 피쳐(morphological feature)의 표현을 오버레이하는 단계를 더 포함하는 방법.
6. 제5항에 있어서, 상기 제2 영역은 상기 제1 이미지 상에 표현된 형태학적 피쳐를 포함하도록 선택되는, 방법.
7. 제6항에 있어서, 상기 형태학적 피쳐는 세포인, 방법.
8. 제6항에 있어서, 상기 형태학적 피쳐는 세포군인, 방법.
9. 제6항에 있어서, 상기 형태학적 피쳐는 세포이하 요소(sub-cellular component), 방법.
10. 제9항에 있어서, 상기 세포이하 요소는 세포핵, 세포질 또는 세포막인, 방법.
11. 제1항에 있어서, 상기 제1 및 제2 세트의 썸네일 이미지들은 상기 바이오마커 패널에서 정의된 패턴으로 배열되는, 방법.
12. 제11항에 있어서, 상기 정의된 패턴은 격자형 패턴인, 방법.
13. 제1항에 있어서, 상기 제1 및 제2 세트의 썸네일 이미지들은 상기 바이오마커 패널에서 상기 썸네일 이미지들이 표시되어야 하는 순서를 나타내는 저장된 설정에 기초하여 구성되는, 방법.
14. 제13항에 있어서, 상기 순서는 임상 결과를 평가하는데 있어서의 상기 바이오마커들 중 적어도 하나의 관련성에 기초하는, 방법.
15. 제1항에 있어서,
    상기 바이오마커 패널 상에서 직접, 상기 제2 세트의 썸네일 이미지 내의 하나 이상의 썸네일 이미지를 재정렬하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 바이오마커 패널에서 상기 제2 세트의 썸네일 이미지들을 재정렬하는 단계
    를 더 포함하는 방법.
16. 제1항에 있어서,
    상기 바이오마커 패널 상에서 직접, 제1 썸네일 이미지를 제거하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 선택된 제1 썸네일 이미지를 제거하도록 상기 바이오마커 패널을 업데이트하는 단계
    를 더 포함하는 방법.
17. 제1항에 있어서,
    상기 바이오마커 패널에 대한 시각화 타입을 선택하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 제2 세트의 썸네일 이미지를 상기 선택된 시각화 타입으로 나타내도록 상기 바이오마커 패널을 업데이트하는 단계
    를 더 포함하는 방법.
18. 제17항에 있어서, 상기 선택된 시각화 타입은 2개 이상의 바이오마커의 발현 수준을 혼합된 색상 이미지로서 동시에 디스플레이하는, 방법.
19. 제17항에 있어서, 상기 선택된 시각화 타입은 바이오마커의 발현 수준을 색상의 레벨로서 디스플레이하는, 방법.
20. 제17항에 있어서, 상기 선택된 시각화 타입은 바이오마커의 발현 수준을 열-지도(heatmap)로서 디스플레이하는, 방법.
21. 제20항에 있어서, 상기 열-지도는 이산적, 연속적 또는 2진 맵인, 방법.
22. 제17항에 있어서, 상기 선택된 시각화 타입은 상기 관찰시야의 시뮬레이트된 명시야 이미지(simulated bright-field image)를 디스플레이하는, 방법.
23. 제1항에 있어서,
    상기 제2 세트의 썸네일 이미지 내의 썸네일 이미지 수에 기초하여 상기 바이오마커 패널의 크기를 업데이트하는 단계를 더 포함하는 방법.
24. 제1항에 있어서,
    상기 제1 이미지 내의 상기 제2 영역에 고정적으로 오버레이되도록 아래에 놓인 상기 제1 이미지에 관해 상기 관심 영역 선택 컴포넌트를 잠그는(lock) 단계를 더 포함하는 방법.
25. 제1항에 있어서,
    상기 바이오마커 패널 상에서 직접, 상기 제2 세트의 썸네일 이미지 내의 제1 썸네일 이미지의 스케일을 변경하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 선택된 제1 썸네일 이미지의 스케일을 변경하도록 상기 바이오마커 패널을 업데이트하는 단계
    를 더 포함하는 방법.
26. 제25항에 있어서,
    상기 사용자 입력에 응답하여, 상기 제2 세트의 썸네일 이미지 내의 나머지 썸네일 이미지들을 상기 재스케일링된 제1 썸네일 이미지와 동일한 스케일로 재스케일링하기 위해 상기 제2 세트의 썸네일 이미지 내의 나머지 썸네일 이미지들의 스케일을 변경하도록 상기 바이오마커 패널을 업데이트하는 단계를 더 포함하는 방법.
27. 제1항에 있어서,
    상기 관심 영역 선택 컴포넌트 상에서, 상기 제2 세트의 썸네일 이미지 내의 제1 썸네일 이미지에서 디스플레이된 상기 제1 이미지의 부분을 변경하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 선택된 제1 썸네일 이미지에서 디스플레이된 상기 제1 이미지의 부분을 변경하도록 상기 바이오마커 패널을 업데이트하는 단계
    를 더 포함하는 방법.
28. 제27항에 있어서,
    상기 사용자 입력에 응답하여, 상기 제2 세트의 썸네일 이미지 내의 나머지 썸네일 이미지들이 상기 업데이트된 제1 썸네일 이미지에 디스플레이된 상기 제1 이미지의 동일한 부분을 디스플레이하도록 상기 바이오마커 패널을 업데이트하는 단계를 더 포함하는 방법.
29. 제1항에 있어서, 상기 제1 및 제2 세트의 썸네일 이미지는 상기 제1 이미지와 동일한 스케일로 디스플레이되는, 방법.
30. 제1항에 있어서, 상기 제1 및 제2 세트의 썸네일 이미지는 상기 제1 이미지와 상이한 스케일로 디스플레이되는, 방법.
31. 제1항에 있어서,
    상기 그래픽 사용자 인터페이스 상에, 상기 생물학적 시편의 표현을 디스플레이하는 이미지 네비게이션 컴포넌트를 렌더링하는 단계; 및
    상기 이미지 네비게이션 컴포넌트 상에서 직접, 상기 주 이미지 패널 상에서의 디스플레이를 위한 상기 생물학적 시편의 상기 관찰시야를 선택하는 사용자 입력을 수신하는 단계
    를 더 포함하는 방법.
32. 제31항에 있어서, 상기 이미지 네비게이션 컴포넌트는 상기 생물학적 시편 내의 상기 선택된 관찰시야의 위치를 나타내는, 방법.
33. 제1항에 있어서, 상기 바이오마커의 발현 수준은 화소 레벨로 표현되는, 방법.
34. 제1항에 있어서, 상기 그래픽 사용자 인터페이스는 컴퓨팅 장치 상에서 렌더링되고, 상기 방법은,
    상기 바이오마커의 발현 수준에 관한 데이터를 상기 컴퓨팅 장치로부터 상기 데이터를 저장하고 있는 원격 서버에게 요청하는 단계; 및
    상기 컴퓨팅 장치에서, 상기 서버로부터의 발현 수준에 관한 데이터를 수신하는 단계
    를 더 포함하는, 방법.
35. 제34항에 있어서, 상기 요청된 데이터는 상기 제1 바이오마커의 발현 수준을 나타내고 상기 주 이미지 패널에서의 디스플레이를 위한 상기 생물학적 시편의 상기 선택된 관찰시야에 대응하며, 상기 요청된 데이터는 상기 선택된 관찰시야 외부의 상기 생물학적 시편의 영역에 대응하는 데이터를 배제하는, 방법.
36. 제34항에 있어서, 상기 요청된 데이터는 상기 바이오마커 세트의 상기 발현 수준을 나타내고 상기 바이오마커 패널에서의 디스플레이를 위한 상기 선택된 제2 영역에 대응하는, 방법.
37. 제34항에 있어서, 상기 요청된 데이터는 스트리밍 데이터로서 수신되는, 방법.
38. 제34항에 있어서, 상기 서버는 타일 서버(tile server)이고, 상기 바이오마커의 발현 수준에 관한 데이터의 일부는 상기 서버 상에서 이미지 데이터의 타일로서 저장되는, 방법.
39. 제1항에 있어서, 상기 제1 이미지는 상기 바이오마커 세트로부터 선택된 디폴트 바이오마커의 발현 수준을 나타내는, 방법.
40. 제1항에 있어서, 상기 제1 이미지는 사용자-선택된 바이오마커의 발현 수준을 나타내는, 방법.
41. 제1항에 있어서,
    상기 바이오마커 패널 상에서 직접, 제2 바이오마커의 발현 수준을 나타내는 제1 썸네일 이미지를 선택하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여, 상기 선택된 관찰시야의 제2 이미지 ―상기 제2 이미지는 상기 사용자 입력에 의해 선택된 상기 제2 바이오마커의 발현 수준을 나타냄― 를 디스플레이하도록 상기 주 이미지 패널을 업데이트하는 단계
    를 더 포함하는 방법.
42. 제1항에 있어서,
    상기 제1 이미지의 분할 분석(segmentation analysis)의 결과를 상기 제1 이미지 상에 오버레이하는 단계를 더 포함하는 방법.
43. 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 컴퓨터 시스템으로서,
    시각적 디스플레이 장치; 및
    상기 시각적 디스플레이 장치에 결합되어,
    주 이미지 패널 및 바이오마커 패널을 포함하는 그래픽 사용자 인터페이스를 상기 시각적 디스플레이 장치 상에 렌더링하고;
    선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하며;
    상기 주 이미지 패널 상에서, 상기 생물학적 시편에 대응하는 상기 선택된 관찰시야의 제1 이미지를 렌더링하고;
    상기 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트를 상기 주 이미지 패널 내의 상기 제1 이미지 상에 오버레이시켜 렌더링하고;
    상기 바이오마커 패널 상에, 상기 제1 이미지 내의 상기 제1 영역에 대응하는 제1 세트의 썸네일 이미지 ―상기 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타냄― 를 렌더링하며;
    상기 주 이미지 패널 상에서, 상기 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하고;
    상기 제1 이미지 내의 상기 제2 영역을 선택하는 상기 사용자 입력에 기초하여, 상기 제1 세트의 썸네일 이미지를 상기 제1 이미지 내의 상기 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 상기 바이오마커 패널을 업데이트하도록
    프로그램된 컴퓨터 프로세서
    를 포함하는 시스템.
44. 컴퓨터 장치 상에서 실행될 때, 생물학적 시편의 이미지 또는 이미지의 일부에 대응하는 관찰시야 내의 하나 이상의 바이오마커의 발현 수준을 디스플레이하기 위한 방법을 수행하는 인코딩된 하나 이상의 컴퓨터-실행가능한 명령어를 갖는 하나 이상의 비일시적 컴퓨터-판독가능한 매체로서, 상기 방법은,
    주 이미지 패널 및 바이오마커 패널을 포함하는 그래픽 사용자 인터페이스를 시각적 디스플레이 장치 상에 렌더링하는 단계;
    선택된 생물학적 시편에 대응하는 관찰시야를 선택하는 사용자 입력을 수신하는 단계;
    상기 주 이미지 패널 상에서, 상기 생물학적 시편에 대응하는 상기 선택된 관찰시야의 제1 이미지를 렌더링하는 단계;
    상기 제1 이미지 내의 제1 영역을 사용자가 선택할 수 있게 하는 관심 영역 선택 컴포넌트를 상기 주 이미지 패널 내의 상기 제1 이미지 상에 오버레이시켜 렌더링하는 단계;
    상기 바이오마커 패널 상에, 상기 제1 이미지 내의 상기 제1 영역에 대응하는 제1 세트의 썸네일 이미지 ―상기 제1 세트의 썸네일 이미지는 한 세트의 바이오마커의 발현 수준을 나타냄― 를 렌더링하는 단계;
    상기 주 이미지 패널 상에서, 상기 제1 이미지 내의 제2 영역을 선택하는 사용자 입력을 수신하는 단계; 및
    상기 제1 이미지 내의 상기 제2 영역을 선택하는 상기 사용자 입력에 기초하여, 상기 제1 세트의 썸네일 이미지를 상기 제1 이미지 내의 상기 제2 영역에 대응하고 바이오마커 세트의 발현 수준을 나타내는 제2 세트의 썸네일 이미지로 교체하기 위해 상기 바이오마커 패널을 업데이트하는 단계
    를 포함하는 비일시적 컴퓨터-판독가능한 매체.

Images