KR20190007445A - 이미지 캡처 및 표시를 위한 시스템, 방법 및 장치 - Google Patents

이미지 캡처 및 표시를 위한 시스템, 방법 및 장치 Download PDF

Info

Publication number
KR20190007445A
KR20190007445A KR1020187035544A KR20187035544A KR20190007445A KR 20190007445 A KR20190007445 A KR 20190007445A KR 1020187035544 A KR1020187035544 A KR 1020187035544A KR 20187035544 A KR20187035544 A KR 20187035544A KR 20190007445 A KR20190007445 A KR 20190007445A
Authority
KR
South Korea
Prior art keywords
image
level
sample
level image
magnification
Prior art date
Application number
KR1020187035544A
Other languages
English (en)
Inventor
김 이폴리토
조나단 파울린
리차드 솔리즈베리
로럴 스톤
이든 멜리어스
오드라 지겐퍼스
에릭 펄스마크
Original Assignee
라이프 테크놀로지스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이프 테크놀로지스 코포레이션 filed Critical 라이프 테크놀로지스 코포레이션
Publication of KR20190007445A publication Critical patent/KR20190007445A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

사용자가 저배율 및 고배율로 이미지를 캡처하고 이어서 이미지의 검토가 용이하도록 고배율 이미지를 저배율 이미지 위에 중첩시킬 수 있게 하는 시스템 및 방법이 제공된다. 고배율 이미지는 적어도 부분적으로 해당 고배율 이미지가 만들어진 저배율 이미지의 해당 부분에 기초하여 그 저배율 이미지 위에 중첩될 수 있다.

Description

이미지 캡처 및 표시를 위한 시스템, 방법 및 장치
관련 출원
본 출원은 미국 특허 출원 번호 제62/335,422호 "Systems, Methods, And Apparatuses For Image Capture And Display"(2016년 5월 12일 출원)에 대한 우선권과 특권을 주장하며, 그 출원의 전체 내용은 그것의 전체로서 모든 목적을 위해 여기에 참고로 인용된다.
기술분야
본 개시내용은 이미지 캡처 및 이미지 중첩 분야에 관한 것이다.
다양한 분야(특히 세포 분석)에서 연구자들이 자주 겪는 문제는 상대적으로 낮은 배율로 샘플 이미지를 검토하여 배경 이미지를 생성하고, 그 이미지에서 관심 영역을 식별한 후, 그 관심 영역을 더 높은 배율에서 검사하면서 그 확대된 관심 영역이 보다 큰 배경 이미지의 어느 부분에서 만들어진 것인지를 추적하려고 시도하는 프로세스이다. 그러나, 이 프로세스는 종종 별도의 컴퓨터 파일에서 저배율 및 고배율 이미지를 비교하는 것을 포함하며, 지루하고 시간이 오래 걸리며 오류가 발생하기 쉽다. 따라서 당업계에서는 이미지 캡처 및 표시 방법과 시스템의 개선에 대한 오랜 필요성이 존재한다.
기술된 과제를 해결하기 위해, 본 개시내용은 먼저 이미지 분석 방법을 제공하되, 그 방법은 첫 번째 배율 수준에서 샘플의 적어도 한 개의 제1 레벨 이미지를 수집하는 단계; 대응하는 제1 레벨 이미지의 한 영역을 포함하는 첫 번째 제2 레벨 이미지를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 및 첫 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키는 단계를 포함한다.
본 개시내용은 또한 (a) 첫 번째 배율 수준에서 첫 번째 샘플 이미지를 수집하고, (b) 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 두 번째 샘플 이미지(두 번째 샘플 이미지는 대응하는 첫 번째 이미지 안에 최소한 부분적으로 배치된 영역을 포함함)를 수집하도록 구성된 영상 장치 및 두 번째 이미지를 첫 번째 이미지 위에 중첩시키도록 구성된 프로세서로 이루어진 샘플 분석 시스템도 제공한다.
또한 첫 번째 배율 수준에서 적어도 한 개의 첫 번째 샘플 이미지를 수집하는 단계; 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 적어도 한 개의 두 번째 샘플 이미지를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 두 번째 이미지의 특징을 첫 번째 이미지의 대응하는 특징과 정렬시키는 단계로 이루어진 이미지 분석 방법도 제공된다.
또한 첫 번째 배율 수준에서 복수의 첫 번째 샘플 이미지를 수집하는 단계; 복수의 첫 번째 샘플 이미지의 적어도 일부로 이루어진 세트의 각 구성원에 대해서, 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 하나 이상의 두 번째 샘플 이미지를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 첫 번째 샘플 이미지들의 세트의 적어도 일부(또는 각각의) 구성원들에 대해서, 하나 이상의 두 번째 샘플 이미지의 각 특징을 대응하는 첫 번째 샘플 이미지의 대응하는 특징과 정렬시키는 단계; 및 하나 이상의 두 번째 샘플 이미지를 대응하는 첫 번째 샘플 이미지 위에 중첩시키는 단계로 이루어진 이미지 분석 방법도 제공된다.
또한 (a) 첫 번째 배율 수준에서 첫 번째 샘플 이미지를 수집하고, (b) 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 두 번째 샘플 이미지를 수집하도록 구성된 영상 장치(두 번째 샘플 이미지는 대응하는 첫 번째 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함함); 및 (a) 적어도 한 개의 수집된 두 번째 이미지의 특징을 두 번째 샘플 이미지에 대응하는 첫 번째 샘플 이미지의 대응하는 특징과 정렬시키고, (b) 두 번째 이미지를 첫 번째 이미지 위에 중첩시키도록 구성된 프로세서로 이루어진 샘플 분석 시스템도 제공된다.
이하의 상세한 설명과 더불어 이 요약은 첨부된 도면과 함께 읽으면 더 잘 이해될 것이다. 개시된 주제를 예시하기 위한 목적으로 개시된 주제의 예시적인 실시예가 도면에 도시되어 있다. 그러나 개시된 주제는 개시된 구체적인 방법, 조성물 및 장치에 한정되지 않는다. 또한 도면이 반드시 일정한 비율로 확대/축소하여 그려진 것은 아니다. 도면에서:
도 1은 본 개시내용에 적합한 예시적인 2개 카메라 장치의 구성 요소 보기를 제공하는 도면;
도 2a는 스테이지가 없는 도 1의 예시적인 장치의 구성 요소 보기를 제공하는 도면이고, 도 2b는 도 2a의 또 다른 구성 요소 보기를 제공하며, 도 2c는 도 1의 장치의 측면도를 제공하는 도면;
도 3a는 도 1의 예시적인 장치의 구성 요소 보기를 제공하며, 스테이지를 도시한 도면, 도 3b는 도 3a의 장치의 또 다른 구성 요소 보기를 제공하는 도면, 도 3c는 도 1의 장치의 측면도를 제공하는 도면;
도 4는 본 개시내용에 적합한 예시적인 단일 카메라 장치의 구성 요소 보기를 제공하는 도면;
도 5a는 도 4의 예시적인 장치의 구성 요소 보기를 제공하며, 스테이지를 도시한 도면, 도 5b는 도 5a의 장치의 또 다른 구성 요소 보기를 제공하는 도면, 도 5c는 도 4의 장치의 측면도를 제공하는 도면;
도 6a는 도 4의 장치의 보기를 제공하며, 스테이지를 도시한 도면, 도 6b는 장치의 내부 구성 요소의 보기를 제공하는 도면, 도 6c는 장치 구성 요소의 측면도를 제공하는 도면;
도 7은 기존의 수동적인 방법에 대한 예시적인 정보 흐름도를 제공하는 도면;
도 8은 기존의 자동화된 방법에 대한 예시적인 정보 흐름도를 제공하는 도면;
도 9는 개시된 방법의 수동적인 실시예에 대한 예시적인 정보 흐름도를 제공하는 도면;
도 10은 개시된 방법들의 자동적인 실시예에 대한 예시적인 정보 흐름도를 제공하는 도면;
도 11은 개시된 기술의 예시적인 실시예에 대한 스크린 뷰를 제공하는 도면;
도 12는 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 제1 레벨 (비교적 낮은 배율) 샘플 보기를 도시한 도면;
도 13은 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 획정된 제2 레벨 이미지와 함께 제1 레벨 (비교적 낮은 배율) 샘플 보기를 도시한 도면;
도 14는 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 획정된 제2 레벨 이미지와 함께 제1 레벨 (비교적 낮은 배율) 샘플 보기를 도시한 도면;
도 15는 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 제1 레벨 이미지를 도시한 도면;
도 16은 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 예시적인 프로세스 제어 메뉴를 도시한 도면;
도 17은 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 예시적인 프로세스 제어 메뉴를 도시한 도면;
도 18은 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 예시적인 프로세스 제어 메뉴를 도시한 도면;
도 19는 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 예시적인 프로세스 제어 메뉴를 도시한 도면;
도 20은 개시된 기술의 예시적인 실시예의 스크린 뷰를 제공하며, 예시적인 프로세스 제어 메뉴를 도시한 도면;
도 21a는 제1 레벨 이미지에서 제2 레벨의 배율 영역을 획정하는 것에 대한 개략도를 제공하는 도면, 도 21b는 두 번째 배율 수준에서 제1 레벨 이미지의 첫 번째 "스냅샷"을 실시간으로 선택하는 것을 도시한 도면으로, 이 첫 번째 "스냅샷"은 제1 레벨 이미지에 중첩된 채로 유지되고, 도 21c는 두 번째 배율 수준에서 제1 레벨 이미지의 두 번째 "스냅샷"을 선택하는 (예를 들어, 실시간으로) 것을 도시한 도면으로, 이 두 번째 "스냅샷"은 제1 레벨 이미지에 중첩된 채로 유지됨; 도 21d는 사용자가 도 21a에 도시된 관심 대상의 전체를 포함하는 제2 레벨 이미지를 생성한 또 다른 보기를 제공하는 도면;
도 22는 저배율 이미지 위에 사용자가 그린 자유형 영역(굵은 선 테두리)에 대한 예시적인 묘사를 제공하는 도면으로, 이 저배율 이미지에서 시스템은 전체 자유형 영역이 높은 배율(가는 선 테두리의 상자로 표시됨)로 캡처되게 하기 위해 적절한 수의 고배율 이미지가 획득되도록 스캔 영역을 설정할 수 있음;
도 23은 본 개시내용에 따른 예시적인 시스템에 대한 묘사를 제공하는 도면;
도 24는 본 개시내용에 따른 예시적인 방법에 대한 묘사를 제공하는 도면;
도 25는 본 개시내용에 따른 또 다른 예시적인 방법에 대한 묘사를 제공하는 도면; 및
도 26은 본 개시내용에 따른 추가적인 다른 방법에 대한 묘사를 제공하는 도면.
본 개시내용은 본 개시내용의 일부를 형성하는 첨부 도면 및 예시와 관련하여 선택된 다음의 상세한 설명을 참고하면 보다 쉽게 이해할 수 있다. 본 개시내용은 여기에 기술 및/또는 도시된 구체적인 장치, 방법, 출원, 조건 또는 파라미터에 한정되지 않으며, 여기에서 사용된 용어는 예시로서 특정한 실시예를 설명하기 위한 것으로, 청구된 주제의 제한을 의도하지 않는다. 또한 첨부된 청구 범위를 포함한 명세서에서 사용된 바와 같이 단수 형태는 복수를 포함하며, 문맥상 명확하게 달리 지시하지 않는 한, 특정 수치에 대한 언급은 최소한 특정한 값을 포함한다. 여기에서 사용되는 "복수"라는 용어는 둘 이상을 의미한다. 값의 범위가 표현될 때, 또 다른 실시예에는 하나의 특정한 값부터 다른 특정한 값까지를 포함한다. 마찬가지로, 값이 근사치로 표현될 때, 앞에 "약"이라는 표현이 사용되면 특정한 값이 또 다른 실시예를 형성한다는 것으로 이해해야 한다. 모든 범위는 포괄적이며 조합 가능하다.
명료성을 위해, 별도의 실시예와 관련하여 여기에 기술되는 개시된 주제의 일부 특징은 단일한 실시예로 조합되어 제공될 수 있다는 점을 이해해야 한다. 반면에, 간략히 하기 위하여 단일한 실시예의 맥락에서 기술되는 개시된 주제의 다양한 특징들도 개별적으로 또는 임의의 하위 조합으로 제공될 수 있다. 또한 범위로 표현된 값들에 대한 언급은 그 범위 내의 각각의 모든 값을 포함한다. 여기에 인용된 모든 문서는 모든 목적상 그것의 전체가 여기에 참조로써 포함된다.
일 양상에서, 본 개시내용은 이미지 분석 방법을 제공한다. 이 방법은 첫 번째 배율 수준에서 샘플의 적어도 하나의 제1 레벨 이미지를 수집하는 단계, 대응하는 제1 레벨 이미지의 영역을 포함하는 첫 번째 제2 레벨 이미지(예컨대, 두 번째 배율로 수집됨)를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계 및 첫 번째 제2 레벨 이미지를 제1 레벨 이미지에 중첩시키는 단계로 이루어진다.
도 26은 이 방법의 예시를 제공한다. 도시된 바와 같이 이 방법은 첫 번째 수집 상태에서 제1 레벨 샘플 이미지를 수집하는 단계 2600을 포함할 수 있다. 단계 2602는 첫 번째 수집 상태와는 다른 두 번째 수집 상태에서 제2 레벨 이미지를 수집하는 것을 포함하며; 제2 레벨 이미지는 제1 레벨 이미지의 적어도 일부를 포함할 수 있다. (다른 곳에 기술된 바와 같이 수집 상태는 이미지가 수집되는 조건, 예컨대, 배율, 조명, 조사 등 중 하나 이상을 나타낸다.) 단계 2604에서 제2 레벨 이미지는 대응하는 제1 레벨 이미지 위에 중첩된다.
첫 번째 배율수준은 기본적으로 사용자의 필요에 따라 어떤 레벨이든,. 예컨대, 1x, 2x, 5x, 10x, 20x, 30x, 40x, 50x, 100x, 200x, 500x, 1000x 또는 그 이상(또는 임의의 중간값)이 될 수 있다. 두 번째 배율 수준은 약 1.01배(즉, 두 번째 배율수준이 첫 번째 배율 수준의 1.01배)부터 약 10,000배(예컨대, 약 5배부터 약 5,000배, 약 10배부터 약 1,000배, 약 20배부터 약 500배, 약 50배부터 약 100배 그리고 모든 중간값)까지의 비율로 첫 번째 배율 수준보다 적절히 더 크다. 첫 번째 레벨의 조명은 전형적인 백색광일 수 있지만 유색광 또는 하나 이상의 형광 분자를 여기시키기 위해 선택된 광일 수도 있다. 인광 분자의 검출능 및/또는 활성(예컨대, 검출 가능한 활성)을 발생시키도록 조명 또는 다른 조건을 선택할 수도 있다.
예시적인 일례로서, 첫 번째 배율 수준은 약 2배일 수 있고, 두 번째 배율 수준은 약 20배일 수 있다. 상이한 배율 수준이, 예를 들어, 대물 렌즈의 전환에 의해 달성될 수 있다.
첫 번째 제2 레벨(즉, 보다 고배율)의 이미지는 제1 레벨(즉, 보다 저배율) 이미지에 중첩될 수 있다. 이것은 첫 번째 제2 레벨 이미지가 해당 첫 번째 제2 레벨 이미지에 포함된 제1 레벨 이미지의 영역에 따라(예컨대, 위에) 위치되도록예컨대, 수행될 수 있다. 중첩은 좌표계 또는 다른 공간 관계 체계에 따라 수행될 수 있다. 그러나 제2 레벨 이미지의 위치가 해당 제2 레벨 이미지가 만들어진 제1 레벨 이미지의 영역을 반영하도록 제2 레벨 이미지가 정확하게 제1 레벨 이미지에 중첩되어야 하는 것은 아니다. 어떤 경우에는 제2 레벨 이미지에서 볼 수 있는 영역이 제2 레벨 이미지가 취해진 제1 레벨 이미지의 영역 위에 (정확히 또는 거의 그렇게) 놓이도록 제2 레벨 이미지를 제1 레벨 이미지 위에 정렬/위치시키는 것이 선호될 수 있다.
하나의 비제한적인 예시로서, 사용자는 제1 레벨 이미지를 수집할 수 있다. 이 이미지에는 세포가 들어 있으며, 그 세포는 사용자의 동영상 화면에서 폭이 5cm이다. 그 다음, 사용자는 제2 레벨 이미지를 수집하는데, 이 제2 레벨 이미지는 제1 레벨 이미지의 관심 세포를 포함한다.
그 다음, 제2 레벨 이미지는 해당 제2 레벨 이미지가 취해진 제1 레벨 이미지의 영역 위에 놓이도록 제1 레벨 이미지 위에 중첩된다. 이때, 제2 레벨 이미지의 길이 척도가 제1 레벨 이미지의 길이 척도와 일치되게 함으로써 제1 레벨 이미지에 중첩되었을 때 제2 레벨 이미지에서 보이는 세포의 폭이 (제1 레벨 이미지에서와 마찬가지로) 5cm가 되지만 그 세포를 (더 높은 두 번째 배율 수준에서 수집된 덕분에) 이제 더 높은 해상도에서 볼 수 있도록 제2 레벨 이미지의 크기를 결정할 수 있다.
개시된 기술은 또한 이 문서의 다른 곳에서 설명하는 바와 같이 제1 또는 제2 이미지를 확대 또는 확장할 수도 있다. 개시된 기술은, 예를 들어, 제2 레벨 이미지의 특징이 대응하는 제1 레벨 이미지의 특징 위에 놓이도록 제2 레벨 이미지를 대응하는 제1 레벨 이미지 위에 위치시킴으로써 제2 레벨 이미지를 제1 레벨 이미지 위에 추가적으로 정렬시킬 수 있다.
하나의 예시적인 실시예에서, 사용자는 제1 레벨 이미지의 10 x 10 좌표계 상의 위치 (3, 4)에 있는 이미지를 제2 레벨 이미지로서 선택할 수 있다. 그 다음, 제2 레벨 이미지가 제1 레벨 이미지의 10 x 10 좌표계 상의 위치 (3, 4)를 중심으로 하여 (또는 그와 가깝게) 위치하도록 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시킬 수 있다. 대안적으로, 제2 레벨 이미지가 위치 (3, 4)에 일치하도록 중첩시킬 수 있지만 위치 (3, 4)가 반드시 중심이 되도록 제2 레벨 이미지를 위치시킬 필요는 없다. 이 문서의 다른 곳에서 설명하는 바와 같이, 제2 레벨 이미지는, 사용자가 제2 레벨 이미지를 선택하거나 그 위에 커서(cursor) 또는 기타 포인터를 위치시킬 때 제2 레벨 이미지가 확장되도록 중첩될 수 있다.
또 다른 예로서, 사용자는 배경의 제1 레벨 이미지 안에도 배치되어 있는 일부 특징(예컨대, 액포)을 포함하는 이미지를 제2 레벨 이미지로서 선택할 수 있다. 제2 레벨 이미지는 그 제2 레벨 이미지 안의 액포가 제1 레벨 이미지의 액포를 중심으로 하여 (또는 다르게는 그 근처에) 놓이도록 제1 레벨 이미지 위에 중첩될 수 있다. 이것은 수동으로(예를 들어, 사용자가 제2 레벨 이미지를 제1 레벨 이미지 위에서 원하는 위치로 끌어감으로써) 또는 자동화된 방식으로(예를 들어, 이미지 정렬 알고리즘에 의해) 달성될 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이, 정렬은 다양한 방식으로(예를 들어, 제1 이미지의 어느 영역을 두 번째 제2 레벨 이미지의 영역과 중첩시킴으로써) 달성될 수 있다. 정렬은 또한 첫 번째 및 두 번째 제2 레벨 이미지의 하나 이상의 특징을 서로 중첩시켜서 (또는 거의 중첩시켜서) 달성할 수도 있다.
제2 레벨 이미지는 제1 레벨 이미지 내에 이미 완전히 포함된 샘플의 어느 영역을 포함할 수 있음을 이해해야 한다. 그러나 제2 레벨 이미지는 제1 레벨 이미지 내에 포함된 영역 및 그 제1 레벨 이미지 내에 포함되지 않는 영역을 포함할 수 있기 때문에 이것은 필수 요구 사항은 아니다. 일례로서, 제2 레벨 이미지는 제1 레벨 이미지 내에 있는 물질 및 제1 레벨 이미지 내에 있지 않은 물질을 포함하도록 제1 레벨 이미지의 가장자리를 중심으로 하여 배치될 수 있다.
한 실시예에서는 그 결과로 보다 고배율의 제2 레벨 이미지가 위에 중첩된 제1 레벨 이미지가 얻어진다. 제2 레벨 이미지는 해당 제2 레벨 이미지가 취해진 제1 이미지의 부분을 정확히 덮도록 배치될 수 있다. 임의의 특정 이론에 구애됨이 없이, 제2 레벨 이미지는 사용자가 제1 레벨의 창에서 관심 영역을 볼 수 있는 동시에 여전히 제1 레벨 이미지에서의 원래의 위치 관점에서 관심 대상을 보여주는 비교적 높은 해상도의 창 또는 렌즈라고 생각할 수 있다. 이러한 하나의 예가 도 21에 도시되어 있다. 이 도면은 이 문서의 다른 곳에서 설명한다.
그러나 제2 레벨 이미지는 해당 제2 레벨 이미지에 의해 반영되는 첫 번째 이미지의 영역 위에 정확히 중첩될 필요는 없다는 것을 이해해야 한다. 예를 들어, 제1 레벨 이미지가 10 x 10 좌표계에서 위치 (3,4)을 중심으로 하여 배치되면 위치 (3,4)를 중심으로 하는 제1 레벨 이미지의 영역을 포함하는 제2 레벨 이미지는 제1 이미지 위에 놓일 때 (3,4)를 중심으로 할 수도 있지만 (3.1, 4.2)를 중심으로 하여 배치될 수도 있다.
개시된 방법들은 또한 대응하는 제1 레벨 이미지의 영역을 포함하는 두 번째 제2 레벨 이미지를 수집하는 단계도 포함한다. 두 번째 제2 레벨 이미지는 첫 번째 제2 레벨 이미지와 동일하거나 다른 배율 및/또는 조명으로 수집될 수 있다. 개시된 방법 및 시스템은 2배, 3배 또는 그 이상의 배율 및/또는 조명에서 이미지 수집을 고려한다는 점을 이해해야 한다. 두 번째 제2 레벨 이미지는 첫 번째 제2 레벨 이미지의 한 영역을 포함할 수 있지만, 이것이 요구 사항은 아니다.
이 방법은 또한 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 대응하는 제1 레벨 이미지의 영역의 연속적 이미지를 형성하도록(예를 들어, 정렬된 제2 레벨 이미지들이 제1 레벨 이미지의 한 영역 위에 놓이도록) 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 정렬시키는 단계를 포함할 수 있다.
정렬은 다양한 방식으로, 예를 들어, 첫 번째 제2 레벨 이미지의 영역을 두 번째 제2 레벨 이미지의 영역과 중첩시킴으로써 달성될 수 있다. 정렬은 또한 첫 번째 및 두 번째 제2 레벨 이미지의 하나 이상의 특징(예컨대, 가장자리)을 서로 중첩(또는 거의 중첩)시킴으로써 달성될 수도 있다. 일부 실시예에서 시스템은 이 시스템의 이동 스테이지에서의 오류보다 큰 중첩을 강제하도록 작동할 수 있다.
다양한 정렬/등록 알고리즘이 사용될 수 있다. 몇몇 적용에서, 개시된 기술은 제1 레벨 이미지로부터 제1 레벨 이미지의 내용의 약 5% 내지 100%를 커버하는 타일식 제2 레벨 이미지 세트를 형성하도록 사용될 수 있다.
경우에 따라 관심 대상 특징(예컨대, 세포)이 너무 커서 하나의 제2 레벨(고배율) 이미지 안에 들어가지 않을 수 있다. 이런 경우 시스템은 전체 특징을 커버하는데 필요한 제2 레벨 이미지의 수를 계산한 후, 그 관심 대상 특징의 완전한 화상을 형성하도록 필요에 따라 그 제2 레벨 이미지들을 정렬시킬 수 있다.
개시된 방법은 또한 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키는 단계를 포함할 수 있다. 이러한 하나의 예가 도 11에 도시되어 있으며, 이 도면은 배경의 제1 레벨 이미지 위에 여러 개의 제2 레벨 배율 이미지들이 중첩된 것을 보여준다.
첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지는 이들 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지에 포함된 제1 레벨 이미지의 영역에 따라 적절히 위치하도록 제1 레벨 이미지 위에 중첩될 수 있다. 이 문서의 다른 곳에서 설명하는 예시적인 10 Х 10 좌표계를 참조하면, 위치 (3, 4)에서 취해진(이 위치를 중심으로 하는) 첫 번째 제2 레벨 이미지는 제1 레벨 이미지에서 그 위치에 중심이 오도록 중첩될 수 있고, 위치 (7, 9)에서 취해된 두 번째 제2 레벨 이미지는 다른 위치에 중심이 오도록 제1 레벨 이미지에 중첩될 수 있다.
이 문서의 다른 곳에서 설명하는 바와 같이, 제1 레벨 이미지 및 제2 레벨 이미지는 각각 상이한 조명 조건 하에서 수집된다. 예를 들어, 제1 레벨 이미지는 표준 "백색광" 하에서 수집될 수 있고, 제2 레벨 이미지는 특별한 형광 염료를 시각화하기 위해 최적화된 조명 조건 하에서 수집될 수 있다. 또한 이 문서의 다른 곳에서 설명하는 바와 같이, 상이한 제2 레벨 이미지들을 서로 상이한 배율 및/또는 조명 조건에서 수집할 수 있다. 이미지 그 자체가 하나, 둘 또는 그 이상의 형광색을 포함할 수 있음을 이해해야 한다. 예를 들어, 사용자는 첫 번째 저배율 이미지에 대해서 백색 (투과) 광을 사용한 후 동일한 위치에서 동일한 고배율 및 상이한 조명 조건으로 여러 이미지를 취할 수 있다. 각 이미지에는 동일한 세포의 여러 면(이미지 1의 핵, 이미지 2의 세포질, 이미지 3의 신경 돌기)이 포함되며, 이 이미지들이 조합되어 핵, 세포질 및 신경 돌기의 컬러 이미지를 포함하는 "병합"(또는 "합성") 이미지를 표시한다. 따라서 이 기술은 배경에 세포의 회색조 저해상도 투과 이미지와 함께 세포의 고해상도 병합 컬러 이미지를 생성할 수 있다. 조명 조건을 변경하는 것 외에 감지 방법을 변경할 수도 있다. 사용하는 카메라(예컨대, 컬러 및 단색 카메라를 통해), 감지 모드(예컨대, 광시야 또는 공초점) 또는 이들의 조합을 다양하게 변경할 수 있다.
제1 레벨 이미지의 위치는 자동화된 방식으로 선택할 수 있다. 또는 제1 레벨 이미지의 위치를 수동으로 선택할 수 있다. 예를 들어, 웰 플레이트를 스캐닝하는 사용자는 제1 레벨 이미지를 수집하기 위해 웰의 좌측 가장자리를 수동으로 선택할 수 있다. 대안적으로, 제1 레벨 이미지의 위치를 자동으로 선택할 수도 있는데, 예를 들어, 웰 플레이트의 각 웰의 중심을 자동 선택하는 것이다. 마찬가지로, 제2 레벨 이미지의 위치 선택도 수동으로 또는 자동화된 방식으로 수행될 수 있다.
첫 번째 제2 레벨 이미지의 위치는 첫 번째 제2 레벨 이미지가 제1 레벨 이미지의 관심 특징을 포함하도록 선택될 수 있다. 예를 들어, 제2 레벨 이미지의 위치(및/또는 형상)는 제2 레벨 이미지 안에 제1 레벨 이미지에서 볼 수 있는 하나 이상의 세포가 포함되도록 선택할 수 있다.
사용자는 첫 번째 이미지의 뷰에서 두 번째 이미지를 선택하여 표시할 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이, 이것은 사용자가 제2 레벨 이미지가 중첩된 제1 레벨 이미지를 볼 때 제2 레벨 이미지를 클릭하거나 커서 또는 기타 포인터를 그 위에 위치시키면 제2 레벨 이미지가 확대되는 방식으로 실행될 수 있다(제2 레벨 이미지가 확대되거나 새로운 보기 창이 열림).
사용자는 자동 또는 수동 방식으로 제1 또는 제2 레벨 이미지의 형상(정사각형, 직사각형, 다각형 또는 사용자 지정)을 설정할 수 있다. 이것은 이미지 형상 선택을 위한 메뉴(예컨대, 드롭다운 메뉴 또는 다른 선택 도구)를 통해 수행될 수 있다. 제1 또는 제2 레벨 이미지의 형태는 또한 자동화된 방식으로, 예를 들어 특정한 특징이 적어도 부분적으로 이미지 안에 있도록 설정할 수도 있다.
시스템은 관심 영역을 획정하는 하나 이상의 직사각형, 타원, 원 또는 자유형 도구를 제공할 수 있다. 일부 실시예에서, 이런 도구는 이미지의 형태를 획정하는 대신 이미지를 수집할 위치를 획정한다. 예를 들어, 저배율 이미지는 고려 하의 전체 샘플을 표시할 수 있으며, 사용자는 자유 형태 도구를 사용하여 관심 있는 세포가 웰 안에 놓이는 위치를 획정할 수 있다. 하나의 예시적인 실시예에서, 사용자가 고배율(예컨대, 40배)로 두 번째 이미지 세트를 획득하고자 한다면 소프트웨어는 사용자가 선택한 전체 형상을 커버할 수 있도록 그 획정된 형상 안의 여러 개의 인접한 이미지들을 자동으로 스캔할 수 있다. 예시적인 도 22에 도시된 바와 같이, 사용자는 검은색으로 자유로운 형상을 그릴 수 있으며, 시스템은 고배율 이미지의 적절한 수(예컨대, 22개의 이미지)가 획득되도록 스캔 영역을 (예를 들어, 자동화된 방식으로) 설정하여 전체 자유 형태 영역이 보다 고배율(회색 테두리의 상자로 표현됨)로 캡처되게 할 수 있다.
도 23은 본 개시내용에 따른 시스템(2300)의 예시적인 뷰를 제공한다. 도시된 바와 같이 시스템(2300)은 화상 촬영기(2314)를 포함할 수 있으며, 여기서 화상 촬영기는예컨대, 현미경, 고효율 스크리닝 장치 등일 수 있다. 화상 촬영기(2314)는 인터페이스(2318)를 통해 다른 구성 요소와 전자적으로 통신할 수 있다. 다양한 구성 요소 중 하나 이상이 링크(2312)를 통해 서로 통신할 수 있다. 시스템(2300)은 또한 이미지 수집, 이미지 분석, 이미지 저장 등을 제어하는데 사용할 수 있는 구성 요소인 키보드(2312) 및 포인팅 장치(2310)도 포함할 수 있다. 화상 촬영기(2314)에 의해 수집된 이미지는 디스플레이(2306)로 전달될 수 있으며, 이 디스플레이는 그래픽 어댑터(2320)를 통해 다른 구성 요소에 연결될 수 있다.
그래픽 어댑터(2320)는 메모리(2304)와 통신할 수 있으며, 이 메모리는 또한 프로세서(2302)와 통신할 수 있다. 프로세서는 저배율 이미지 위에 고배율 이미지를 중첩시키거나 제2 레벨 이미지를 제1 레벨 이미지 위에 정렬시키는 등 개시된 단계들 중 하나 이상을 수행하도록 구성될 수 있다. 하드 드라이브(2308)은 하나 이상의 다른 구성 요소와 적절하게 통신하며, 처리되었거나 처리되지 않은 하나 이상의 이미지를 받아서 보유하도록 구성될 수 있다. 시스템(2300)은 또한 네트워크 어댑터(2320)를 포함할 수 있는데, 이 어댑터는 무선으로 또는 케이블이나 유선 연결을 통해 정보(2316)를 송신 또는 수신할 수 있다.
일부 실시예에서, 사용자는 먼저 제1 레벨 이미지를 수집할 수 있다. 그러면 사용자는 제2 확대 영역을 획정할 수 있으며(예를 들어, 제2 확대 영역의 테두리의 형상을 획정함으로써), 제2 확대 영역은 예를 들면, 제1 레벨 이미지에 중첩되어 표시되는 직사각형 창으로 제시될 수 있다. 그러면 사용자는 제1 레벨 이미지의 영역을 실시간으로 고배율/해상도로 볼 수 있도록 제2 확대 영역을 제1 레벨 이미지 위에서 (예컨대, 클릭, 끌어다 놓기 또는 그 밖의 이동을 통해) 이동시킬 수 있다. 시스템은 제2 레벨 이미지의 길이 척도가 제1 레벨 이미지의 길이 척도와 일치하게 제2 레벨(고배율) 이미지의 크기가 설정되도록 구성될 수 있다. 이와 같은 방식으로, 사용자는 제2 레벨 이미지 창이 제1 레벨 이미지 주위에 병진 이동할 때 제1 레벨 이미지의 고해상도 필드를 실시간으로 볼 수 있다. 또한 이런 방식으로 사용자는 제1 레벨 이미지의 영역의 고해상도 "창"을 보는 동시에 그 창을 상대 위치 관점에서 유지할 수도 있다.
사용자는 제1 레벨 이미지에서 특정한 관심 영역을 식별한 후 그 관심 영역의 제2 레벨 확대 "스냅샷"을 찍을 수 있으며, 그 스냅샷은 제1 레벨 이미지 위에 중첩된 채로 유지된다. 이런 방식으로, 사용자는 제1 레벨 이미지의 일부 또는 전체를 검토하면서 관심 있는 제2 레벨 이미지를 실시간으로 수집할 수 있다.
이런 방식으로, 사용자가 제1 레벨 이미지에서 제2 레벨 이미지가 생성된 위치를 쉽게 결정할 수 있는 뷰가 사용자에게 제공될 수 있다. 이렇게 함으로써 사용자는 제2 레벨 이미지의 상대적 위치를 결정할 수 있고, 제1 레벨 이미지의 어느 영역이 고배율 검토를 거쳤는지 신속하게 결정할 수 있다.
하나의 예시적인 실시예를 도 21에서 볼 수 있다. 도 21a에 도시된 바와 같이, 사용자는 제1 레벨 이미지 위에 제2 레벨의 확대 영역(점선 상자로 표시됨)을 획정할 수 있다. 이 예에서 제1 레벨 이미지는 웰 안에 관심 대상이 있는 웰의 원형 이미지이다. 도 21a에 도시된 바와 같이, 제1 레벨 이미지의 상대적으로 낮은 배율로 인해 대상의 가장자리의 정확한 윤곽과 같은 관심 대상의 특정한 세부 사항을 식별하는 것이 어렵다.
도 21b에 도시된 바와 같이, 사용자는 획정된 제2 레벨 확대 영역을 제1 레벨 이미지 주위에서 이동시킨 후 관심 영역을 "스냅샷"으로 선택할 수 있다. 이 스냅샷은 (도 21b 및 도 21c에 도시된 바와 같이) 제1 레벨 이미지 위에 중첩된 상태로 유지된다. 또한 도 21b 및 도 21c에 도시된 바와 같이 사용자는 첫 번째 "스냅샷"(이 스냅샷은 제1 레벨 배경 이미지 위에 중첩된 채로 유지됨)을 생성한 후, 다른 관심 영역들이 식별됨에 따라 추가로 제2 레벨 확대 스냅샷을 생성할 수 있다.
도 21b에 도시된 바와 같이, 제2 레벨 "스냅샷"은 제1 레벨 이미지 위에 중첩된다. 그러나 도 21b에서 볼 수 있는 것처럼 "스냅샷"은 상대적으로 높은 배율로 촬영되었기 때문에 사용자에게 관심 대상의 선택된 영역에 대한 고해상도 뷰를 제공한다. 실제로 도 21b에 도시된 바와 같이, 제2 레벨 "스냅샷" 이미지는 관심 대상의 가장자리에 대한 보다 양호하고 상세한 뷰를 사용자에게 제공하여 사용자는 가장자리를 보다 자세하게 볼 수 있다.
도 21c는 두 번째 제2 레벨 이미지가 도면의 우측 상부 영역에 추가된 도 21B의 이미지를 보여준다. 상기 도면에 묘사된 바와 같이, 두 번째 제2 레벨 이미지는 사용자에게 대상의 관련 영역에 대한 상대적으로 더 상세한 뷰를 제공한다.
도 21d는 사용자가 만든 제2 레벨 이미지(도 21a에 도시된 관심 대상의 전체를 포함함)의 또 다른 뷰를 제공한다. 도 21d에 도시된 바와 같이 제2 레벨 이미지는 제1 레벨 이미지의 대응하는 영역 위에 배치되었으므로 사용자에게 관심 대상의 전체에 대한 보다 양호하고 매우 상세한 뷰를 제공하면서도 여전히 제1 레벨 이미지에서의 원래 위치 관점에서 관심 대상을 보여준다. 따라서 도 21에 도시된 바와 같이, 이 방법은 (1) 첫 번째 배율 수준에서 샘플의 적어도 하나의 제1 레벨 이미지를 수집하는 단계; (2) 대응하는 제1 레벨 이미지의 영역을 포함하는 첫 번째 제2 레벨 이미지를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 및 (3) 첫 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키는 단계를 포함한다.
이 문서의 다른 곳에서 설명하는 바와 같이, 개시된 기술은 제2 레벨 이미지의 시야가 제1 레벨 이미지의 동일한 시야 위에 정확히(또는 거의 정확히, 예컨대, 제2 레벨 이미지의 폭의 약 5% 미만, 약 1% 미만 또는 심지어 약 0.01% 미만으로) 놓이도록 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시킬 수 있다. 이것은 좌표계를 통해 제1 레벨 및 제2 레벨 이미지의 특징들을 중첩/정렬시킴으로써 또는 당업자들에게 알려진 다른 방법으로 달성될 수 있다. 이미지 수집은 대물 렌즈의 변경으로 달성할 수 있음을 이해해야 한다. 예를 들어, 제1 레벨 이미지를 수집하는 것과 제2 레벨 이미지를 수집하는 것은 대물 렌즈를 변경함으로써 달성될 수 있다. 이미지 수집은 또한 조명원을 변경하거나, 필터를 변경(또는 도입)하거나, 초점면을 변경하거나, 관찰 변수를 변경하여 달성할 수도 있다.
다른 측면에서, 본 개시내용은 또한 샘플 분석 시스템을 제공한다. 시스템은 (a) 제1 레벨 샘플 이미지를 첫 번째 배율 수준에서 수집하고, (b) 제2 레벨 샘플 이미지(제2 레벨 샘플 이미지는 대응하는 제1 레벨 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함함)를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하도록 구성된 영상 장치 및 제2 레벨 샘플 이미지를 제1 레벨 샘플 이미지 위에 중첩시키도록 구성된 프로세서로 구성될 수 있다.
프로세서는 적어도 한 개의 수집된 제2 레벨 이미지의 특징을 제2 레벨 이미지에 대응하는 제1 레벨 이미지의 대응 특징과 정렬시키도록(예를 들어, 부분적으로 또는 완전히 중첩시키도록) 구성될 수 있다. 적절한 정렬 기술은 이 문서의 다른 곳에서 설명한다.
일부 실시예에서, 프로세서는 첫 번째 제2 레벨 이미지가 해당 첫 번째 제2 레벨 이미지에 포함된 제1 레벨 이미지의 영역에 따라 위치하도록 첫 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키도록 구성될 수 있다. 이것은 다양한 방법으로(예컨대, 위에서 설명한 좌표계를 통해, 위에서 설명한 정렬 알고리즘을 통해 또는 당업자들에게 알려진 다른 방법으로) 달성될 수 있다.
프로세서는 대응하는 제1 레벨 이미지의 영역을 포함하는 두 번째 제2 레벨 이미지를 수집하도록 구성될 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이, 제2 레벨 이미지들은 그것들이 수집된 조명 및/또는 배율의 면에서 서로 다를 수 있다.
프로세서는 정렬된 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 대응하는 제1 레벨 이미지의 해당 영역의 연속적 이미지를 형성하게끔 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 정렬시키도록 구성될 수 있다. 정렬은 첫 번째 제2 레벨 이미지의 영역을 두 번째 제2 레벨 이미지의 영역과 중첩시킴으로써 적어도 부분적으로 달성될 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이 정렬은 다양한 방식으로, 예를 들어, 첫 번째 제2 레벨 이미지의 영역을 두 번째 제2 레벨 이미지의 영역과 중첩시킴으로써 달성할 수 있다. 정렬은 또한 첫 번째 및 두 번째 제2 레벨 이미지의 하나 이상의 특징을 서로 중첩시켜서(또는 거의 중첩시켜서) 달성할 수도 있다.
프로세서는 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키도록 구성될 수 있다. 프로세서는 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 이들 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지에 포함된 제1 레벨 이미지의 영역에 따라 배치되게끔 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키도록 구성될 수 있다.
시스템은 상이한 조명 조건에서 제1 레벨 이미지와 제2 레벨 이미지를 수집하도록 구성될 수 있다. 일례로서, 제1 레벨 이미지는 표준 또는 소위 "백색광" 조명 하에서 수집되고, 그 제1 레벨 이미지의 영역의 제2 레벨 이미지는 하나 이상의 염료의 존재를 시각화하도록 최적화된 조명 하에서 수집될 수 있다. 본 개시내용에 따른 시스템은 1가지, 2가지, 3가지 또는 그 이상의 다른 종류의 조명을 제공할 수 있는 조명 트레인을 포함할 수 있다.
본 개시내용에 따른 시스템은 제1 레벨 이미지의 위치를 자동화된 방식으로 선택하도록 구성될 수 있다. 예를 들어, 시스템은 플레이트를 따라 규칙적인 간격으로 이미지를 수집함으로써 웰 플레이트 안의 웰들의 제1 레벨 이미지(이 이미지들은 플레이트 상에서의 웰의 위치와 일치함)를 수집하도록 구성될 수 있다.
시스템은 또한 첫 번째 제2 레벨 이미지의 위치를 자동화된 방식으로 선택하도록 구성될 수 있다. 이것은 제1 레벨 이미지에서 세포, 세포벽, 염료 분자 등과 같은 하나 이상의 관심 특징을 분석함으로써 달성될 수 있다. 시스템은 또한 첫 번째 제2 레벨 이미지가 제1 레벨 이미지의 관심 특징을 포함하도록 첫 번째 제2 레벨 이미지의 위치를 선택하도록 구성될 수도 있다.
시스템은 사용자가 첫 번째 이미지의 뷰로부터 두 번째 이미지를 선택하여 표시할 수 있도록 구성될 수 있다. 예시적인 도 11을 참고하면, 사용자는 보다 큰 직사각형의 제1 레벨 이미지 안에 보다 작은 직사각형 테두리의 이미지로 표시된 제2 레벨 이미지들 중 하나를 선택할 수 있다.
시스템은 제1 레벨 샘플 이미지를 수집하도록 구성된 첫 번째 대물 렌즈 및 제2 레벨 샘플 이미지를 수집하도록 구성된 두 번째 대물 렌즈를 포함할 수 있음을 이해해야 한다. 시스템은 사용자가 첫 번째 대물 렌즈와 두 번째 대물 렌즈를 변경할 수 있도록 구성될 수 있다. 시스템은 또한 이 문서의 다른 곳에서 설명한 바와 같이 사용자가 조명원, 광필터, 초점면 및 다른 변수를 변경하는 것에 더하여 2개(또는 그 이상)의 대물 렌즈를 변경하도록 구성될 수 있다.
본 개시내용은 추가적인 방법을 추가로 제공하되, 그 추가적인 방법은 첫 번째 배율 수준에서 적어도 하나의 첫 번째 샘플 이미지(제1 레벨 이미지라고도 함)를 수집하는 단계; 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 적어도 한 개의 두 번째 샘플 이미지(제2 레벨 이미지라고도 함)를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 두 번째 이미지의 특징을 첫 번째 이미지의 대응하는 특징과 정렬시키는 단계; 및 두 번째 이미지를 첫 번째 이미지 위에 중첩시키는 단계를 포함한다.
한 가지 실시예가 도 24에 도시되어 있다. 이 도면에 도시된 바와 같이 이 방법은 첫 번째 수집 상태(예컨대, 첫 번째 배율, 첫 번째 조명 레벨 등)에서 제1 레벨 샘플 이미지를 수집하는 단계 2400을 포함한다. 그런 다음, 이 방법은 첫 번째 수집 상태와는 다른 두 번째 수집 상태에서 제2 레벨 이미지를 수집하는 단계 2402를 포함할 수 있다. 일례로서, 제1 레벨 이미지는 첫 번째 배율 수준에서 수집되고, 제2 레벨 이미지는 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집된다.
그런 다음, 이 방법은 제2 레벨 이미지의 특징을 대응하는 제2 레벨 이미지의 특징과 정렬시키는 단계 2404를 포함할 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이 이것은 예를 들어, 제2 레벨 이미지의 세포벽 섹션을 제1 레벨 이미지의 동일한 세포벽 섹션과 정렬시키는 것을 포함할 수 있다. 이것은 또한 제2 레벨 이미지의 가장자리 또는 영역을 제1 레벨 이미지의 대응하는 가장자리 또는 영역과 정렬시키는 것을 포함할 수 있다.
단계 2406은 제2 레벨 이미지를 제1 레벨 이미지 위에 중첩시키는 것을 포함한다. 중첩은 제2 레벨의 이미지가 그것이 수집된 첫 번째 이미지의 영역 위에 직접 놓이도록 수행될 수 있다. 이것은 위에서 기술한 바와 같이 제2 레벨 이미지를 제1 레벨 이미지 위에 정렬된 상태로 유지함으로써 달성될 수 있다.
개시된 방법은 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 세 번째 샘플 이미지(예컨대, 두 번째 제2 레벨 이미지)를 수집하는 단계를 포함할 수 있다. 두 번째 이미지의 수집, 세 번째 이미지의 수집 또는 두 가지 모두는 자동화된 방식으로 수행될 수도 있고 수동으로 수행될 수도 있다.
이 방법은 또한 세 번째 이미지를 첫 번째 이미지 위에 중첩시키는 단계 및 세 번째 이미지의 특징을 첫 번째 이미지의 대응하는 특징과 정렬시키는 단계를 포함할 수 있다.
일부 실시예에서, 이 방법은 세 번째 이미지를 두 번째 이미지 위에 중첩시키는 단계 및 세 번째 이미지의 특징을 두 번째 이미지의 대응하는 특징과 정렬시키는 단계를 포함할 수 있다. 이 방법은 또한 세 번째 이미지를 첫 번째 이미지와 비교하여 중첩(또는 정렬)시키는 단계를 포함할 수 있다.
이 방법은 또한 첫 번째 이미지, 두 번째 이미지 또는 두 이미지 모두의 테두리를 획정하는 단계를 포함할 수 있다. 테두리는 사전 설정된 것을 선택하여(예컨대, 드롭다운 메뉴에서) 획정될 수 있다. 테두리는 정사각형, 직사각형, 원형, 계란형, 다각형 또는 사용자 지정 형상이 될 수 있다.
일부 실시예에서, (a) 적어도 하나 이상의 첫 번째 이미지는 둘 이상의 초점면에서 얻은 정보에 기초하거나, (b) 적어도 하나 이상의 두 번째 이미지는 둘 이상의 초점면에서 얻은 정보에 기초하거나, 또는 (a)와 (b) 모두에 기초한다. 일례로서, 첫 번째 (및/또는 두 번째) 이미지는 둘 이상의 상이한 초점면에서 얻은 샘플의 이미지들의 합성으로 만들어질 수 있다. 또는 첫 번째 (및/또는 두 번째) 이미지는 둘 이상의 상이한 조명 하에서 얻은 샘플의 이미지들의 합성으로 만들어질 수 있다.
이미지 정렬 및 이미지 중첩은 수동 또는 자동 방식으로 달성될 수 있다. 이 문서의 다른 곳에서 설명하는 바와 같이 또한 이 방법으로 사용자는 첫 번째 이미지의 뷰로부터 두 번째 이미지를 선택하여 표시할 수 있다. 이미지 수집은 대물 렌즈를 변경함으로써 달성될 수 있음을 이해해야 한다. 예를 들어, 제1 레벨 이미지를 수집하는 것과 제2 레벨 이미지를 수집하는 것이 대물 렌즈를 변경함으로써 달성될 수 있다. 이미지 수집은 또한 조명원을 변경하거나, 필터를 변경(또는 도입)하거나, 초점면을 변경하거나, 다른 관찰 변수를 변경하여 달성할 수도 있다.
이미지 분석 방법도 제공된다. 이 방법은 첫 번째 배율 수준에서 복수의 첫 번째 샘플 이미지를 수집하는 단계; 복수의 첫 번째 이미지들의 적어도 일부 세트에 속하는 각 구성원에 대해서, 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 하나 이상의 두 번째 샘플 이미지를 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하는 단계; 첫 번째 이미지 세트의 구성원들의 적어도 일부(또는 심지어 각각)에 대해서, 하나 이상의 두 번째 이미지의 각 특징을 대응하는 첫 번째 이미지의 대응하는 특징과 정렬시키는 단계; 및 하나 이상의 두 번째 이미지를 대응하는 첫 번째 이미지 위에 중첩시키는 단계를 포함한다.
일부 실시예에서, 둘 이상의 첫 번째 이미지 안에서 획득되는 하나 이상의 두 번째 샘플 이미지는 각각의 첫 번째 이미지 안의 동일한 상대적 위치에서 획득된다. 일례로서, 웰 플레이트의 웰들의 중심이 첫 번째 이미지의 역할을 하는 프로세스에서 두 번째 이미지는 각 웰의 첫 번째 이미지의 최상부 가장자리의 중심에서 획득된다.
복수의 첫 번째 이미지의 수집, 두 번째 이미지의 수집 또는 둘 모두는, 자동화된 방식으로 수행될 수 있다. 사용자는 좌표계 또는 다른 참조 기준을 사용하여 이미지 사이의 간격을 균일하게 지정하여 이미지 수집 위치를 설정할 수 있습니다.
일부 실시예에서 (a) 적어도 하나 이상의 첫 번째 이미지는 둘 이상의 초점면에서 얻은 정보에 기초하거나, (b) 적어도 하나 이상의 두 번째 이미지는 둘 이상의 초점면에서 얻은 정보에 기초하거나, 또는 (a) 및 (b) 모두에 기초한다. 일례로서, 첫 번째 (및/또는 두 번째) 이미지는 둘 이상의 상이한 초점면에서 획득한 샘플의 이미지들의 합성으로 만들어질 수 있다. 또는 첫 번째 (및/또는 두 번째) 이미지는 둘 이상의 상이한 조명 하에서 획득된 샘플의 이미지들의 합성으로 만들어질 수 있다.
도 25는 여기에 설명된 예시적인 방법을 제공한다. 도시된 바와 같이, 이 방법은 첫 번째 수집 상태에서 복수의 제1 레벨 샘플 이미지를 수집하는 단계 2500를 포함할 수 있다. 일례로서, 이것은 샘플 플레이트의 96개 웰 중에서 적어도 일부(또는 심지어 각각)에서는 웰의 중심의 이미지를 수집하는 단계를 포함할 수 있으며, 그 이미지들의 각각은 첫 번째 배율 수준에서 수집된다.
단계 2502에서 이 방법은 첫 번째 수집 상태와는 다른 두 번째 수집 상태에서 복수의 제2 레벨 이미지를 수집하는 단계를 포함할 수 있다. 예를 들어, 제2 레벨 이미지는 대응하는 제1 레벨 이미지보다 높은 배율로 수집되거나, 대응하는 제1 레벨 이미지와는 다른 조명 조건 하에서 수집될 수 있다. 제2 레벨 이미지는 제1 레벨 이미지의 적어도 일부, 예를 들어, 대응하는 제1 레벨 이미지의 가장 중앙 부분의 고배율 뷰를 포함할 수 있다.
단계 2504에서 이 방법은 제2 레벨 이미지의 적어도 일부 특징을 대응하는 제1 이미지의 대응하는 특징과 정렬시키는 단계를 포함할 수 있다. 위에 제시된 96 웰 플레이트 예에서 이것은 제2 레벨 이미지의 중심을 제2 레벨 이미지에 대응하는 제1 레벨 이미지의 중심 위에 맞추는 것을 포함할 수 있다. 일례로서, 96 웰 플레이트의 모든 웰에서 제1 레벨 이미지가 각 웰의 중심에서 수집되고, 제2 레벨 이미지는 그 동일한 웰의 중심에서 더 높은 배율로 수집된다면 제2 레벨 이미지의 중심은 제1 레벨 이미지의 중심과 정렬될 수 있으며, 이것은 사용자에게 웰의 중심에 대한 보다 상세한 뷰를 제공하여 사용자는 웰의 중심을 더 자세하게 볼 수 있게 된다. 이미지 수집은 대물 렌즈를 변경함으로써 달성될 수 있음을 이해해야 한다. 예를 들어, 제1 레벨 이미지를 수집하는 것과 제2 레벨 이미지를 수집하는 것은 대물 렌즈를 변경함으로써 달성될 수 있다. 이미지 수집은 또한 조명원을 변경하거나, 필터를 변경(또는 도입)하거나, 초점면을 변경하거나, 다른 관찰 변수를 변경하여 달성할 수도 있다.
본 개시내용은 또한 (a) 첫 번째 배율 수준에서 첫 번째 샘플 이미지를 수집하고, (b) 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 두 번째 샘플 이미지(두 번째 샘플 이미지는 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함함)를 수집하도록 구성된 영상 장치; 및 (a) 수집된 적어도 한 개의 두 번째 이미지의 특징을 해당 두 번째 이미지에 대응하는 첫 번째 이미지의 특징과 정렬시키고, (b) 두 번째 이미지를 첫 번째 이미지 위에 중첩시키도록 구성된 프로세서로 이루어진 샘플 분석 시스템도 제공한다.
시스템은 자동화된 방식으로 하나 이상의 첫 번째 이미지를 수집하거나, 두 번째 이미지를 수집하거나, 둘 모두를 수집하도록 구성될 수 있다. 시스템은 또한 둘 이상의 초점면에서 얻어진 정보를 조합함으로써 하나 이상의 첫 번째 이미지를 만들도록 구성될 수 있으며, 여기에서 시스템은 둘 이상의 초점면 또는 둘 모두에서 얻어진 정보를 조합함으로써 하나 이상의 첫 번째 이미지를 만들도록 구성된다.
일부 실시예에서, 시스템은 둘 이상의 첫 번째 이미지 안에서 얻어지는 하나 이상의 두 번째 이미지를 해당 첫 번째 이미지 안의 동일한 상대적 위치에서 획득하도록 구성된다.
다양한 영상 장치가 개시된 방법 및 시스템에 적합한 것으로 간주된다. 이런 장치에는 현미경, 플레이트 판독기, 어레이 스캐너 및 고효율 스크리닝(HCS) 장치가 포함된다. 몇 가지 실례로는 Thermo Fisher CX5™, CX7™ 및 EVOS™ 시스템이 있다.
이 문서의 다른 곳에서 설명하는 바와 같이, 시스템은 사용자가 첫 번째 이미지의 뷰로부터 두 번째 이미지를 선택하고 표시할 수 있도록 구성될 수 있다.
시스템은 제1 레벨 샘플 이미지를 수집하도록 구성된 첫 번째 대물 렌즈와 제2 레벨 샘플 이미지를 수집하도록 구성된 두 번째 대물 렌즈로 이루어질 수 있음을 이해해야 한다. 시스템은 사용자가 첫 번째 대물 렌즈와 두 번째 대물 렌즈 간에 변경할 수 있도록 구성될 수 있다. 시스템은 또한 여기에서 설명하는 바와 같이 사용자가 조명원, 광필터, 초점면 및 다른 변수를 변경하고, 2개(또는 그 이상)의 대물 렌즈를 변경할 수 있도록 구성될 수도 있다.
예시적인 실시형태
도 1은 본 개시내용에 따른 예시 장치(108)(예컨대, Thermo Fisher의 EVOS™ 장치 라인)의 구성 요소 보기를 제공한다. 상기 도면에 도시된 바와 같이 이 장치는 투과광 집광기(100)를 포함할 수 있다. 집광기는 여러 개의 위상 고리가 있는 자동화된 터렛을 포함할 수 있다. 이 장치는 또한 단색 카메라(102) 및 컬러 카메라(108)를 포함할 수 있다. 광 큐브(예컨대, Thermo Fisher EVOS™ 광 큐브)와 같은 조명원(104)은 트랜스레이팅 캐리지 위에 설치될 수 있으며, 캐리지의 위치는 샘플(110)의 조명을 제공하도록 자동화될 수 있다. 다양한 대물 렌즈가 터렛(106)에 배치될 수 있으며, 터렛은 자동화되거나 수동일 수 있고, 대물 렌즈는 원하는 배율에 따라 사용자가 선택할 수 있다.
도 2a는 도 1의 장치의 또 다른 보기를 제공한다. 도 2에 도시된 바와 같이 모터 및 광 제어기(200)는 스테이지(도면에 표시되지 않음)를 제어하도록 구성된다. 장치는 또한 위상 터렛 홀 효과 장치(202)를 포함할 수 있다. 도 2b는 두 번째 모터 및 광 제어기(204)와 함께 광 큐브 전력 및 신호(206)와 전력 및 신호 허브(208)도 보여준다. 이 장치는 또한 광 큐브 인터페이스 보드(210)를 포함할 수 있다. 상태 LED(212)는 도 2c에 도시되어 있으며, 대물 렌즈 터렛 홀 효과(214)도 도 2c에서 볼 수 있다.
도 3은 도 1의 장치의 스테이지에 대한 뷰를 제공한다. 도 3a에 도시된 바와 같이 이 스테이지는 x축 모터(300)(내부 스테이지) 및 y축 모터(302)(내부 스테이지)를 포함할 수 있다. Z축 모터(1304)는 도 3b에 도시되어 있으며, z축 모터(2306)도 이 도면에서 볼 수 있다. 카메라 축 모터(308)를 이 도면에서 볼 수 있고, epi 축 모터(310)도 볼 수 있다. 도 3c는 위상 터렛 모터(312)가 도시된 측면도를 제공한다.
도 4는 본 개시내용에 따른 단일 카메라 장치의 뷰를 제공한다. 이 도면에서 볼 수 있는 바와 같이 이 장치는 투과광 집광기(400) 및 단색 카메라(402)를 포함할 수 있으며, 이 카메라는 제자리에 고정될 수 있다. 광 큐브(404)는 샘플 조명을 제공하며, 이 장치는 샘플(408)을 위한 여러 개의 대물 렌즈(406)를 포함할 수 있다.
도 5는 도 4의 장치의 구성 요소 보기를 제공한다. 도 5a에 도시된 바와 같이 이 장치는 모터 및 광 제어기(1500) 및 위상 터렛 홀 효과(502)를 적절하게 포함할 수 있다. 도 5b는 모터 및 광 제어기(2504), 전력 및 신호 허브(506), 큐브 전력 및 인터페이스 어댑터(508)를 묘사한다. 또한 큐브 인터페이스 보드가 존재할 수도 있다. 이 장치는 상태 LED(510) 및 대물 렌즈 터렛 홀 효과(512)를 포함할 수 있다.
도 6a는 도 4의 장치의 스테이지 배열에 대한 세부 정보를 제공한다. 도 6a에 도시된 바와 같이 스테이지는 x축 모터(600)(내부 스테이지) 및 y축 모터(602)(내부 스테이지)를 포함할 수 있다. 도 6b는 z축 모터(604)와 대물 렌즈 축 터렛 모터(606) 및 epi 축 모터(608)를 도시한다. 도 6c는 위상 터렛 모터(610)가 있는 측면 구성 요소 보기를 제공한다.
도 7은 표준 현미경으로 관심 영역을 수동으로 검사하는 전통적인 방법에 대한 전형적인 정보 흐름을 나타낸다. 당업자들에게 익숙한 바와 같이 사용자는 저전력 대물 렌즈로 수동으로 이미지를 포착하여 수동 또는 자동 스테이지를 사용하여 샘플을 움직일 수 있다. 사용자는 추가 조사가 필요한 이미지의 일부 특징을 식별하면 그 이미지를 디스크나 다른 매체에 저장할 수 있다. 그런 다음, 사용자는 관심 영역의 고배율 이미지를 다른 대물 렌즈를 사용하여 찍은 후 저배율 및 고배율 이미지를 비교할 수 있다. 이 프로세스는 이 분야에서 잘 알려져 있으며, 사용자 입장에서 상당한 양의 관여 및 기록 유지가 필요하기 때문에 지루하고 시간이 많이 걸린다. 또한 사용자는 저배율 이미지에서 고배율 이미지가 취해진 곳을 정확하게 알 수 없으므로 기존의 프로세스를 사용해서는 이미지 수집 방식을 다시 만드는 것이 어렵다.
도 8은 자동화된 방식으로 관심 영역을 검사하는 전통적인 방법에 대한 전형적인 정보 흐름을 제공한다. 이 도면에 도시된 바와 같이 사용자는 관심 샘플 영역을 식별한 후 소프트웨어 프로그램을 사용하여 그 관심 영역을 스캔한다. 사용자는 관심 영역을 식별하면 더 높은 배율의 대물 렌즈로 전환하고 그 새로운 관심 영역의 스캔과 낮은 배율에서 스캔된 원래의 영역 사이의 겹침을 추정한 후 두 번째 자동 스캔을 시작한다. 두 번째 스캔이 완료되면 사용자는 수집된 두 세트의 이미지를 별도의 창에서 비교한다. 이 프로세스도 시간이 오래 걸리고 지루하다. 또한 사용자는 저배율 이미지에서 고배율 이미지가 취해진 곳을 정확하게 알 수 없다.
도 9는 관심 영역을 수동으로 검사하는 개시된 방법에 대한 전형적인 정보 흐름을 제공한다. 이 도면에 도시된 바와 같이 사용자는 샘플을 움직여서 저배율 검토를 수행한다. 그 저배율 이미지 안에서 관심 영역을 식별한 후 사용자는 더 높은 배율의 대물 렌즈로 변경하여 관심 영역의 고배율 이미지를 캡처할 수 있다. 새로운 보다 상세한 이 이미지는 예시적인 도 11에 도시된 바와 같이 저배율 배경 이미지와 동일한 창에서 볼 수 있다. 이런 접근 방식을 통해 사용자는 공간적 맥락에서 고배율 이미지를 볼 수 있으며; 즉 고배율 이미지가 그것이 수집된 배경 이미지의 영역 위에 배치되도록 고배율 이미지를 저배율 배경 이미지 위에 중첩시킬 수 있다.
또한 사용자가 추가적인 배율을 위해 그 이미지를 선택할 수 있도록(예를 들어, 클릭하거나 커서 또는 기타 포인터를 위치시킴으로써) 고배율 이미지를 표시할 수도 있다. 이렇게 함으로써 사용자는 복수의 고배율 이미지를 신속하게 검토하면서 각 고배율 이미지가 배경 이미지의 어느 곳에서 취해졌는지도 볼 수 있다.
도 10은 관심 영역을 자동화된 방식으로 검토하는 개시된 방법에 대한 전형적인 정보 흐름을 제공한다. 도면에서와 같이 사용자는 자동 스테이지 또는 기타 자동화된 작동을 통해 샘플을 움직여서 그것의 저배율 검토를 수행한다. 사용자가 저배율 배경 이미지 안의 관심 영역을 식별한 후 더 높은 배율의 대물 렌즈를 선택하여 그 고배율로 관심 영역의 이미지를 캡처할 수 있다. 그러면 그 새롭고 보다 상세한 이미지는 도 11에 도시된 바와 같이 저배율 배경 이미지와 동일한 창에 도시될 수 있다. 이런 접근 방식을 통해 사용자는 공간적 맥락에서 고배율 이미지를 볼 수 있으며; 즉 고배율 이미지가 수집된 배경 이미지의 영역 위에 해당 고배율 이미지가 배치되도록 고배율 이미지를 저배율 배경 이미지 위에 중첩시킬 수 있다. 또한 사용자가 추가적인 배율을 위해 그 이미지를 선택할 수 있도록 고배율 이미지를 표시할 수도 있다. 이렇게 함으로써 사용자는 복수의 고배율 이미지를 신속하게 검토하면서 각 고배율 이미지가 배경 이미지의 어느 곳에서 취해졌는지도 볼 수 있다.
도 11은 개시된 기술의 예시적인 실시예로부터 획득된 이미지를 제공한다. 이 문서의 다른 곳에서 설명하는 바와 같이 사용자는 자동화된 스테이지를 사용하여 수동으로 또는 자동적으로 샘플을 움직일 수 있다. 사용자는 저배율 대물 렌즈로 이미지를 캡처할 수 있다. 도 11에서 가장 큰 직사각형 이미지는 2x 대물 렌즈로 촬영되었지만 다른 대물 렌즈도 물론 사용될 수 있다. 관심 영역이 식별되면 대물 렌즈를 변경하여 그 이미지를 더 높은 배율로 다시 캡처할 수 있다. 그 새로운 상세한 이미지(도 11에서 더 큰 직사각형 이미지 안에 삽입된 작은 직사각형으로 표시됨)는 저배율 배경 이미지와 동일한 창에 표시될 수 있다. 이런 방식으로 사용자는 (하나의 창 안에서) 저배율 배경 이미지 안에서의 상대적 위치를 보여주는 위치에서 이미지들을 보다 상세하게 볼 수 있다.
도 11의 우측에 도시된 바와 같이 사용자 인터페이스는 또한 관찰 중인 샘플의 개략도를 포함할 수 있다. 도 11에서 관찰 중인 샘플은 멀티 웰 플레이트이고, 관찰되는 특정한 웰은 이미지의 우측 상부에 표시된 위치 설정 격자에서 좌표 (4, C)에 위치한 웰이다. 또한 이 인터페이스에서 사용자는 사용 중인 대물 렌즈, 조명, 자동 초점 및 다양한 자동화 특징들을 제어/선택할 수 있다.
도 12 및 도 13은 개시된 기술의 다른 실시예로부터의 뷰를 보여준다. 도 12에 도시된 바와 같이 사용자는 자동 스테이지를 사용하여 샘플을 움직이면서 하나 이상의 이미지(즉, 제1 레벨 이미지)를 저배율 대물 렌즈로 캡처할 수 있다. (이 예에는 명시야에서 2x 대물 렌즈로 찍은 이미지 모음이 있다.) 도 13에서 직사각형으로 강조된 영역으로 표시된 바와 같이 이전에 획득한 이미지를 보면서 보다 높은 배율(예컨대, 20배, 제2 레벨 이미지)에서 검토하기 위해 관심 영역이 선택된다.
이 선택 및 배율 증가의 결과가 도 14에 도시되어 있다. 이 도면에서 볼 수 있듯이 나머지 샘플 슬라이드의 이미지를 정렬시키지 않고도 선택된 영역에서만 고품질 이미지를 획득한다. 또한 도 14에 도시된 바와 같이 제2 레벨 이미지는 제1 레벨 이미지와 다른 조명 하에서 수집될 수 있다. 제2 (및 제1) 레벨 이미지는 또한 사용자가 원하는 추가적인 이미지 처리(콘트라스트 조정, 거짓 컬러 추가 등)를 거칠 수도 있다.
도 15는 예시적인 사용자 인터페이스의 또 다른 뷰를 제공한다. 이 도면에 표시된 것처럼, 인터페이스의 오른쪽 상단 영역에는 Capture(캡처), Automate(자동화) 및 Review(검토) 등 3개의 탭이 있다. 캡처 탭은 사용자가 샘플을 움직이고 그 샘플의 이미지를 캡처하고자 할 때 선택한다. 도면에서와 같이 인터페이스는 이미지 캡처 및 샘플의 이동을 위한 화살표 및 다른 버튼을 포함하고 있다.
도 15의 우측 상부에는 분석되는 샘플 용기, 이 경우에는 멀티 웰 플레이트의 개략도가 있다. 사용자는 사전 설정된 용기 목록으로부터, 예를 들어, "Vessel"(용기) 버튼을 클릭하여 용기 메뉴에서 원하는 용기를 선택할 수 있다. 또는 사용자는 웰 크기, 웰 간격 등 용기의 특성을 특정하는 자기만의 용기 프로파일을 생성할 수 있다.
또한 도 15에서와 같이 "Objective"(대물 렌즈) 버튼이 있다. 이 버튼으로 사용자는 원하는 대물 렌즈를 선택할 수 있고, 대물 렌즈 터렛을 영상 장치에서 회전시킬 수 있다.
또한 "Light Source"(광원) 버튼도 볼 수 있다. 이 버튼은 사용자가 원하는 조명, 예를 들어, 조명 색상 및/또는 강도를 선택하는 데 사용된다.
다른 제어 장치로는 "Light"(광원)(조명을 추가로 제어할 수 있음), "Autofocus"(자동 초점)(z 드라이브를 제어할 수 있음), "Capture"(캡처)(이미지 캡처를 제어할 수 있음) 등이 있다.
도 15의 상부에는 2개의 버튼이 있다. 하나는 한 묶음으로 묶인 4개의 작은 사각형으로 표시되고, 다른 하나는 단일한 사각형으로 표시된다. 이 버튼을 사용하여 사용자는 비교적 낮은 배율로 촬영한 제1 레벨 이미지와 높은 배율로 촬영한 제2 레벨 이미지의 뷰 간에 전환할 수 있다. 도시된 바와 같이 도 15는 낮은 배율에서 촬영된 제1 레벨 이미지이다. 보다 높은 배율로 촬영된 제2 레벨 이미지는 도 11에 도시되어 있다.
상기 도면에서 알 수 있는 바와 같이, 96-웰 플레이트의 단일 웰을 볼 수 있다(웰 C-4). 상기 도면은 고배율 이미지가 저배율 이미지에 중첩된 뷰를 제공한다. 도 11에는 도시되지 않았지만 고배율 이미지는 타일링되거나 다른 방법으로 결합되어 연속적 합성 이미지를 형성하도록 정렬될 수 있다.
도 16은 사용자가 인터페이스에서 "Automate"(자동화) 탭을 선택한 후의 사용자 뷰를 제공한다. 도시된 바와 같이 사용자는 주어진 실행을 위한 다양한 파라미터(하드웨어, 스캔 영역, 자동 초점 및 Z-스택, 소요 시간, 인큐베이터, 이미지 저장 설정 등)를 선택할 수 있다.
도 17은 도 16의 "Hardware"(하드웨어) 기능에 대한 "Edit"(편집) 버튼의 사용 후 뷰를 제공한다. 도 17에 도시된 바와 같이, 사용자는 다양한 하드웨어 파라미터를 조정할 기회를 가질 수 있다.
도 18은 스캔 영역 선택 탭에 대한 사용자 옵션의 뷰를 제공한다. 도시된 바와 같이 사용자는 스캔 영역을 편집/조정할 수 있으며, 제2 레벨 이미지의 크기 및 형태도 설정할 수 있다. 사용자는 또한 제1 레벨 이미지당 제2 레벨 이미지의 수와 위치를 설정할 수 있다. 이 경우, 사용자는 웰의 제1 레벨 이미지당 2개의 직사각형 제2 레벨 이미지를 수집하도록 시스템을 설정했다.
도 19는 Autofocus(자동 초점) 탭을 위한 사용자 옵션의 뷰를 제공한다. 도시된 바와 같이 사용자는 다양한 관련 파라미터를 설정할 수 있다. 공초점 현미경을 사용하도록 시스템을 구성할 수 있다. 또한 여러 개의 이미지(예컨대, 단일 이미지의 슬라이스)의 이른바 "smashdown"(분해)을 수행하고, 이어서 각 슬라이스로부터 가장 밝은 픽셀, 가장 초점이 맞는 픽셀 등으로 합성 이미지를 만들도록 시스템을 구성할 수도 있다.
도 20은 Image Save(이미지 저장) 탭의 사용자 옵션에 대한 뷰를 제공한다. 도시된 바와 같이 사용자는 다양한 형식으로 이미지를 저장할 수 있다. 사용자는 일련의 이미지들을 개별 파일로 저장할 수 있지만 모든 이미지가 타일식 관계에 있는 하나의 파일로 저장할 수도 있다.

Claims (50)

  1. 이미지 분석 방법으로서,
    첫 번째 배율 수준에서 샘플의 적어도 한 개의 제1 레벨 이미지를 수집하는 단계;
    상기 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서, 대응하는 제1 레벨 이미지의 영역을 포함하는 첫 번째 제2 레벨 이미지를 수집하는 단계; 및
    상기 첫 번째 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키는 단계를 포함하는, 이미지 분석 방법.
  2. 청구항 1에 있어서, 상기 첫 번째 제2 레벨 이미지가 상기 첫 번째 제2 레벨 이미지에 포함된 상기 제1 레벨 이미지의 영역에 따라 배치되도록 상기 첫 번째 제2 레벨 이미지가 상기 제1 레벨 이미지 위에 중첩되는, 이미지 분석 방법.
  3. 청구항 1 또는 2에 있어서, 대응하는 제1 레벨 이미지의 영역을 포함하는 두 번째 제2 레벨 이미지를 수집하는 단계를 더 포함하는, 이미지 분석 방법.
  4. 청구항 3에 있어서, 정렬된 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 대응하는 제1 레벨 이미지의 영역의 연속적 이미지를 형성하도록 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지를 정렬시키는 단계를 더 포함하는, 이미지 분석 방법.
  5. 청구항 4 에 있어서, 상기 정렬은 상기 첫 번째 제2 레벨 이미지의 영역을 상기 두 번째 제2 레벨 이미지의 영역과 중첩시킴으로써 적어도 부분적으로 달성되는, 이미지 분석 방법.
  6. 청구항 3 내지 5 중 어느 한 항에 있어서, 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키는 단계를 더 포함하는, 이미지 분석 방법.
  7. 청구항 6 에 있어서, 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지가 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지에 포함된 상기 제1 레벨 이미지의 영역에 따라 서로에 대하여 배치되도록 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지가 상기 제1 레벨 이미지 위에 중첩되는, 이미지 분석 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서, 제1 레벨 이미지와 제2 레벨 이미지가 상이한 조명 조건 하에서 수집되는, 이미지 분석 방법.
  9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 제1 레벨 이미지의 위치가 자동화된 방식으로 선택되는, 이미지 분석 방법.
  10. 청구항 1 내지 9 중 어느 한 항에 있어서, 상기 첫 번째 제2 레벨 이미지의 위치가 자동화된 방식으로 선택되는, 이미지 분석 방법.
  11. 청구항 1 내지 10 중 어느 한 항에 있어서, 상기 첫 번째 제2 레벨 이미지가 상기 제1 레벨 이미지의 관심 특징을 포함하도록 상기 첫 번째 제2 레벨 이미지의 위치가 선택되는, 이미지 분석 방법.
  12. 청구항 1 내지 11 중 어느 한 항에 있어서, 사용자가 첫 번째 이미지의 뷰로부터 두 번째 이미지를 선택하여 표시할 수 있게 하는 단계를 더 포함하는, 이미지 분석 방법.
  13. 청구항 1 내지 12 중 어느 한 항에 있어서, 제1 레벨 이미지를 수집하는 것과 제2 레벨 이미지를 수집하는 것이 대물 렌즈를 변경함으로써 달성되는, 이미지 분석 방법.
  14. 샘플 분석 시스템으로서,
    (a) 첫 번째 배율 수준에서 제1 레벨 샘플 이미지를 수집하고, (b) 상기 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 제2 레벨 샘플 이미지를 수집하도록 구성된 영상 장치로서, 상기 제2 레벨 샘플 이미지는 대응하는 첫 번째 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는, 상기 영상 장치; 및
    상기 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키도록 구성된 프로세서를 포함하는, 샘플 분석 시스템.
  15. 청구항 14 에 있어서, 상기 프로세서는 수집된 적어도 한 개의 제2 레벨 이미지의 특징을 그 두 번째 이미지에 대응하는 상기 제1 레벨 이미지의 대응하는 특징과 정렬시키도록 구성되는, 샘플 분석 시스템.
  16. 청구항 14 또는 15에 있어서, 상기 프로세서는 첫 번째 제2 레벨 이미지가 상기 첫 번째 제2 레벨 이미지에 포함된 상기 제1 레벨 이미지의 영역에 따라 위치되게끔 상기 첫 번째 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키도록 구성되는, 샘플 분석 시스템.
  17. 청구항 14 내지 16 중 어느 한 항에 있어서, 상기 프로세서는 대응하는 제1 레벨 이미지의 영역을 포함하는 두 번째 제2 레벨 이미지를 수집하도록 구성되는, 샘플 분석 시스템.
  18. 청구항 17에 있어서, 상기 프로세서는 정렬된 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 대응하는 제1 레벨 이미지의 영역의 연속적 이미지를 형성하게끔 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지를 정렬시키도록 구성되는, 샘플 분석 시스템.
  19. 청구항 18 에 있어서, 상기 첫 번째 제2 레벨 이미지의 영역과 상기 두 번째 제2 레벨 이미지의 영역을 중첩시킴으로써 상기 정렬이 적어도 부분적으로 달성되는, 샘플 분석 시스템.
  20. 청구항 14 내지 19 중 어느 한 항에 있어서, 상기 프로세서는 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키도록 구성되는, 샘플 분석 시스템.
  21. 청구항 20에 있어서, 상기 프로세서는 첫 번째 제2 레벨 이미지와 두 번째 제2 레벨 이미지가 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지에 포함된 상기 제1 레벨 이미지의 영역에 따라 서로에 대하여 위치되게끔 상기 첫 번째 제2 레벨 이미지와 상기 두 번째 제2 레벨 이미지를 상기 제1 레벨 이미지 위에 중첩시키도록 구성되는, 샘플 분석 시스템.
  22. 청구항 14 내지 21 중 어느 한 항에 있어서, 상기 시스템은 상이한 조명 조건 하에서 제1 레벨 이미지와 제2 레벨 이미지를 수집하도록 구성되는, 샘플 분석 시스템.
  23. 청구항 14 내지 22 중 어느 한 항에 있어서, 상기 시스템은 상기 제1 레벨 이미지의 위치를 자동화된 방식으로 선택하도록 구성되는, 샘플 분석 시스템.
  24. 청구항 14 내지 23중 어느 한 항에 있어서, 상기 시스템은 상기 첫 번째 제2 레벨 이미지의 위치를 자동화된 방식으로 선택하도록 구성되는, 샘플 분석 시스템.
  25. 청구항 14 내지 24 중 어느 한 항에 있어서, 상기 시스템은 첫 번째 제2 레벨 이미지가 상기 제1 레벨 이미지의 관심 대상 특징을 포함하게끔 상기 첫 번째 제2 레벨 이미지의 위치를 선택하도록 구성되는, 샘플 분석 시스템.
  26. 청구항 14 내지 25 중 어느 한 항에 있어서, 상기 시스템은 사용자가 첫 번째 이미지의 뷰에서 두 번째 이미지를 선택하여 표시할 수 있도록 구성되는, 샘플 분석 시스템.
  27. 청구항 14 내지 26 중 어느 한 항에 있어서, 상기 시스템은 제1 레벨 샘플 이미지를 수집하도록 구성된 첫 번째 대물 렌즈와 제2 레벨 샘플 이미지를 수집하도록 구성된 두 번째 대물 렌즈를 포함하며, 상기 시스템은 사용자가 상기 첫 번째 대물 렌즈와 상기 두 번째 대물 렌즈 간에 변경할 수 있도록 구성되는, 샘플 분석 시스템.
  28. 이미지 분석 방법으로서,
    첫 번째 배율 수준에서 샘플의 적어도 한 개의 제1 레벨 샘플 이미지를 수집하는 단계;
    상기 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서, 대응하는 제1 레벨 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 적어도 한 개의 제2 레벨 이미지를 수집하는 단계;
    상기 제2 레벨 샘플 이미지의 특징을 상기 제1 레벨 샘플 이미지의 대응하는 특징과 정렬시키는 단계; 및
    상기 제2 레벨 샘플 이미지를 상기 제1 레벨 샘플 이미지 위에 중첩시키는 단계를 포함하는, 이미지 분석 방법.
  29. 청구항 28에 있어서, 상기 제1 레벨 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 세 번째 샘플 이미지를 수집하는 단계를 더 포함하는, 이미지 분석 방법.
  30. 청구항 28 또는 29에 있어서, 상기 제2 레벨 샘플 이미지의 수집, 상기 세 번째 샘플 이미지의 수집 또는 두 가지 모두가 자동화된 방식으로 수행되는, 이미지 분석 방법.
  31. 청구항 29 또는 30에 있어서, 상기 세 번째 샘플 이미지를 상기 제1 레벨 이미지 위에 중첩시키고, 상기 세 번째 샘플 이미지의 특징을 상기 제1 레벨 이미지의 대응하는 특징과 정렬시키는 단계를 더 포함하는, 이미지 분석 방법.
  32. 청구항 31에 있어서, 상기 세 번째 샘플 이미지를 상기 제2 레벨 이미지 위에 중첩시키고, 상기 세 번째 샘플 이미지의 특징을 상기 제2 레벨 이미지의 대응하는 특징과 정렬시키는 단계를 더 포함하는, 이미지 분석 방법.
  33. 청구항 28 내지 32 중 어느 한 항에 있어서, 상기 제2 레벨 샘플 이미지의 테두리를 획정하는 단계를 더 포함하는, 이미지 분석 방법.
  34. 청구항 28 내지 33 중 어느 한 항에 있어서, (a) 적어도 하나 이상의 제1 레벨 샘플 이미지는 둘 이상의 초점면에서 얻어진 정보에 기초하거나, (b) 적어도 하나 이상의 제2 레벨 이미지는 둘 이상의 초점면에서 얻어진 정보에 기초하거나, 또는 (a) 및 (b) 모두에 기초하는, 이미지 분석 방법.
  35. 청구항 28 내지 34 중 어느 한 항에 있어서, 상기 정렬은 자동화된 방식으로 수행되는, 이미지 분석 방법.
  36. 청구항 28 내지 35 중 어느 한 항에 있어서, 상기 중첩은 자동화된 방식으로 수행되는, 이미지 분석 방법.
  37. 청구항 28 내지 36 중 어느 한 항에 있어서, 사용자가 상기 제1 레벨 샘플 이미지의 뷰로부터 상기 제2 레벨 샘플 이미지를 선택하여 표시할 수 있게 하는 단계를 더 포함하는, 이미지 분석 방법.
  38. 청구항 28 내지 37 중 어느 한 항에 있어서, 상기 제1 레벨 샘플 이미지의 수집과 상기 제2 레벨 샘플 이미지의 수집이 대물 렌즈를 변경함으로써 달성되는, 이미지 분석 방법.
  39. 이미지 분석 방법으로서,
    첫 번째 배율 수준에서 복수의 제1 레벨 샘플 이미지를 수집하는 단계.
    상기 복수의 제1 레벨 샘플 이미지의 적어도 일부로 이루어진 세트의 각 구성원에 대해서, 상기 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서, 대응하는 제1 레벨 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는 하나 이상의 제2 레벨 샘플 이미지를 수집하는 단계;
    제1 레벨 샘플 이미지들로 이루어진 세트의 적어도 일부의 구성원에 대해서, 하나 이상의 두 번째 이미지의 각각의 특징을 대응하는 제1 레벨 샘플 이미지의 특징과 정렬시키는 단계; 및
    상기 하나 이상의 제2 레벨 샘플 이미지를 상기 대응하는 제1 레벨 샘플 이미지 위에 중첩시키는 단계를 포함하는, 이미지 분석 방법.
  40. 청구항 39에 있어서, 둘 이상의 제1 레벨 샘플 이미지 내로부터의 하나 이상의 제2 레벨 샘플 이미지가 해당 제1 레벨 샘플 이미지 안의 동일한 상대적 위치에서 취해지는, 이미지 분석 방법.
  41. 청구항 39 또는 40에 있어서, 상기 복수의 제1 레벨 샘플 이미지의 수집, 상기 제2 레벨 샘플 이미지의 수집 또는 두 가지 모두가 자동화된 방식으로 수행되는, 이미지 분석 방법.
  42. 청구항 39 내지 41 중 어느 한 항에 있어서, (a) 적어도 하나 이상의 제1 레벨 샘플 이미지가 둘 이상의 초점면에서 얻어진 정보에 기초하거나, (b) 적어도 하나 이상의 제2 레벨 이미지가 둘 이상의 초점면에서 얻어진 정보에 기초하거나, 또는 (a)와 (b) 모두에 기초하는, 이미지 분석 방법.
  43. 청구항 39 내지 42 중 어느 한 항에 있어서, 제1 레벨 샘플 이미지의 수집과 제2 레벨 샘플 이미지의 수집이 대물 렌즈를 변경함으로써 달성되는, 이미지 분석 방법.
  44. 샘플 분석 시스템으로서,
    (a) 제1 레벨 샘플 이미지를 첫 번째 배율 수준에서 수집하고, (b) 제2 레벨 샘플 이미지를 상기 첫 번째 배율 수준보다 높은 두 번째 배율 수준에서 수집하도록 구성된 영상 장치로서, 상기 제2 레벨 샘플 이미지는 대응하는 제1 레벨 샘플 이미지 안에 적어도 부분적으로 배치된 영역을 포함하는, 상기 영상 장치; 및
    (a) 수집된 적어도 한 개의 제2 레벨 샘플 이미지의 특징을 상기 제2 레벨 샘플 이미지에 대응하는 제1 레벨 샘플 이미지의 대응하는 특징과 정렬시키고, (b) 상기 제2 레벨 샘플 이미지를 상기 제1 레벨 샘플 이미지 위에 중첩시키도록 구성된 프로세서를 포함하는, 샘플 분석 시스템.
  45. 청구항 44에 있어서, 상기 시스템은 자동화된 방식으로 하나 이상의 제1 레벨 샘플 이미지를 수집하거나, 상기 제2 레벨 샘플 이미지를 수집하거나, 또는 둘 모두를 수행하도록 구성되는, 샘플 분석 시스템.
  46. 청구항 44 또는 45에 있어서, 상기 시스템은 둘 이상의 초점면에서 얻어진 정보를 조합함으로써 하나 이상의 제1 레벨 샘플 이미지를 만들도록 구성되거나, 또는 상기 시스템은 둘 이상의 초점면에서 얻어진 정보를 조합함으로써 하나 이상의 제2 레벨 샘플 이미지를 만들도록 구성되거나, 또는 두 가지 모두로 구성되는, 샘플 분석 시스템.
  47. 청구항 44 내지 46 중 어느 한 항에 있어서, 상기 시스템은 둘 이상의 제1 레벨 샘플 이미지 내로부터의 하나 이상의 제2 레벨 샘플 이미지가 각각의 제1 레벨 샘플 이미지 안의 동일한 상대적 위치에서 취해지도록 구성되는, 샘플 분석 시스템.
  48. 청구항 44 내지 47 중 어느 한 항에 있어서, 상기 영상 장치는 현미경, 플레이트 판독기, 어레이 스캐너 또는 이들의 조합인 것을 특징으로 하는, 샘플 분석 시스템.
  49. 청구항 44 내지 48 중 어느 한 항에 있어서, 상기 시스템은 사용자가 상기 제1 레벨 샘플 이미지의 뷰에서 두 번째 이미지를 선택하여 표시할 수 있도록 더 구성되는, 샘플 분석 시스템.
  50. 청구항 44 내지 49 중 어느 한 항에 있어서, 상기 시스템은 상기 제1 레벨 샘플 이미지를 수집하도록 구성된 첫 번째 대물 렌즈와 상기 제2 레벨 샘플 이미지를 수집하도록 구성된 두 번째 대물 렌즈를 포함하며, 상기 시스템은 사용자가 상기 첫 번째 대물 렌즈와 상기 두 번째 대물 렌즈 간에 변경할 수 있도록 구성되는, 샘플 분석 시스템.
KR1020187035544A 2016-05-12 2017-05-12 이미지 캡처 및 표시를 위한 시스템, 방법 및 장치 KR20190007445A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662335422P 2016-05-12 2016-05-12
US62/335,422 2016-05-12
PCT/US2017/032324 WO2017197217A1 (en) 2016-05-12 2017-05-12 Systems, methods, and apparatuses for image capture and display

Publications (1)

Publication Number Publication Date
KR20190007445A true KR20190007445A (ko) 2019-01-22

Family

ID=59034857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035544A KR20190007445A (ko) 2016-05-12 2017-05-12 이미지 캡처 및 표시를 위한 시스템, 방법 및 장치

Country Status (6)

Country Link
US (2) US11416997B2 (ko)
EP (1) EP3455664A1 (ko)
JP (1) JP7300834B2 (ko)
KR (1) KR20190007445A (ko)
CN (1) CN109416465B (ko)
WO (1) WO2017197217A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983767B (zh) * 2016-11-24 2021-12-07 株式会社尼康 图像处理装置、显微镜系统、图像处理方法及计算机程序
US11551357B2 (en) * 2019-09-09 2023-01-10 PAIGE.AI, Inc. Systems and methods for processing images of slides for digital pathology
USD960222S1 (en) * 2019-10-21 2022-08-09 Osman ESKI Forensic camera with multispectral imaging system
KR102583103B1 (ko) * 2020-01-28 2023-09-27 페이지.에이아이, 인크. 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
FR3107604B1 (fr) * 2020-02-24 2024-01-12 Inscoper Procédé de gestion de blocs de commandes destinés à un système d’imagerie en microscopie, programme d’ordinateur, moyen de stockage et dispositif correspondants
JP2021183993A (ja) 2020-05-20 2021-12-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム
JP2021183994A (ja) * 2020-05-20 2021-12-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD487275S1 (en) 2000-01-04 2004-03-02 Apple Computer, Inc. User interface for computer display
JP2003131142A (ja) 2001-10-25 2003-05-08 Olympus Optical Co Ltd 顕微鏡
WO2004036283A1 (ja) * 2002-09-06 2004-04-29 Celestar Lexico-Sciences, Inc. 顕微鏡画像処理システム、顕微鏡画像処理方法、プログラム、および、記録媒体
USD502184S1 (en) * 2002-09-10 2005-02-22 Meso Scale Technologies, Llc. Computer generated image for a display panel or screen
JP2007531514A (ja) * 2004-02-12 2007-11-08 インスティチュート・パスツール 非侵襲的でリアルタイムでインビボでの生きた生物における局所Ｃａ２＋動態の生物発光による画像化
DE102004016736A1 (de) 2004-04-05 2005-11-10 Carl Zeiss Bildaufnahmesystem, Bildwiedergabesystem und Bildaufnahme/-wiedergabesystem
US20050231512A1 (en) 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20060155576A1 (en) 2004-06-14 2006-07-13 Ryan Marshall Deluz Configurable particle system representation for biofeedback applications
US8130237B2 (en) 2004-06-24 2012-03-06 Apple Inc. Resolution independent user interface design
DE102004047519B4 (de) 2004-09-28 2021-08-12 Leica Microsystems Cms Gmbh Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8031206B2 (en) * 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
JP5006062B2 (ja) * 2007-02-05 2012-08-22 オリンパス株式会社 バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
USD574396S1 (en) 2007-04-01 2008-08-05 Nec Display Solutions, Ltd. Projector screen with an image
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのｖｓ画像生成方法、プログラム
USD642184S1 (en) 2008-09-10 2011-07-26 Trimble Navigation Limited Global navigation satellite system apparatus display screen with user interface for a target display
US9341835B2 (en) * 2009-07-16 2016-05-17 The Research Foundation Of State University Of New York Virtual telemicroscope
JP5466976B2 (ja) 2010-03-19 2014-04-09 オリンパス株式会社 顕微鏡システム、観察画像の表示方法、プログラム
USD671550S1 (en) 2010-09-01 2012-11-27 Apple Inc. Display screen or portion thereof with graphical user interface
EP2450936B1 (en) * 2010-11-03 2013-03-13 Carl Zeiss NTS Ltd. Microscope system, method for operating a charged-particle microscope
USD670717S1 (en) * 2011-03-11 2012-11-13 Omron Corporation Portion of a screen display with a graphic user interface
US9176662B2 (en) 2011-08-26 2015-11-03 Adobe Systems Incorporated Systems and methods for simulating the effects of liquids on a camera lens
WO2013109802A1 (en) * 2012-01-19 2013-07-25 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
USD705242S1 (en) 2012-05-11 2014-05-20 Unitedhealth Group Incorporated Display screen or portions thereof with graphical user interface
CN103544688B (zh) * 2012-07-11 2018-06-29 东芝医疗系统株式会社 医用图像融合装置和方法
JP6035931B2 (ja) * 2012-07-13 2016-11-30 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9514157B2 (en) 2012-08-22 2016-12-06 Adobe Systems Incorporated Multi-dimensional browsing of content
WO2014063106A1 (en) * 2012-10-18 2014-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-resolution foveated endoscope/laparoscope
DE102012021726A1 (de) * 2012-11-06 2014-05-08 Celltool Gmbh Mikroskopsystem und Verfahren zur Datenerfassung
JP6099477B2 (ja) * 2012-11-16 2017-03-22 オリンパス株式会社 撮像装置、顕微鏡システム及び撮像方法
EP2929453B1 (en) * 2012-12-06 2020-04-08 Global Life Sciences Solutions USA LLC Selection and display of biomarker expressions
US10036877B2 (en) * 2013-02-05 2018-07-31 Vanderbilt University Microlens array for enhanced imaging of multiregion targets
USD763860S1 (en) * 2013-03-04 2016-08-16 Tixtrack, Inc. Display panel or portion thereof with graphical user interface
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
USD737833S1 (en) 2013-06-09 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD732560S1 (en) 2013-06-09 2015-06-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD758445S1 (en) 2013-09-03 2016-06-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6270388B2 (ja) * 2013-09-13 2018-01-31 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
USD752631S1 (en) 2014-01-03 2016-03-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP1531221S (ko) * 2014-09-30 2015-08-17
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
USD760248S1 (en) 2015-01-13 2016-06-28 Victor Alfonso Suarez Display screen with graphical user interface
US10510143B1 (en) * 2015-09-21 2019-12-17 Ares Trading S.A. Systems and methods for generating a mask for automated assessment of embryo quality

Also Published As

Publication number Publication date
CN109416465A (zh) 2019-03-01
WO2017197217A1 (en) 2017-11-16
USD951283S1 (en) 2022-05-10
JP2019523897A (ja) 2019-08-29
US11416997B2 (en) 2022-08-16
US20170330327A1 (en) 2017-11-16
EP3455664A1 (en) 2019-03-20
JP7300834B2 (ja) 2023-06-30
CN109416465B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US11416997B2 (en) Systems, methods, and apparatuses for image capture and display
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
EP3586181B1 (en) Augmented reality microscope for pathology
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP5655557B2 (ja) 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
KR101274088B1 (ko) 현미경 이미지 장치를 이용한 슬라이드상의 시료 내의 물체를 재배치하기 위한 시스템 및 방법
US20190137743A1 (en) Method for digitally collecting a sample by a microscope
US20100040266A1 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
KR20150095646A (ko) 바이오마커 발현의 선택 및 디스플레이
KR20150094618A (ko) 생물학적 시편의 분할 스크린 디스플레이와 그 레코드를 포착하기 위한 시스템 및 방법
US9335534B2 (en) Specimen slide having reference points
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
EP2444479A1 (en) State determination method for cell cluster, image processing program and imaging processing device using said method, and method for producing cell cluster
JP4801025B2 (ja) 細胞画像解析装置及び細胞画像解析ソフトウェア
US20160078276A1 (en) Graphical user interface for analysis of red blood cells
WO2013002719A1 (en) Microscopy system and method for biological imaging
US9214019B2 (en) Method and system to digitize pathology specimens in a stepwise fashion for review
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
KR102602005B1 (ko) 하전 입자선 장치
JP2006105695A (ja) 細胞画像表示方法、細胞画像表示システム、細胞画像表示装置、及びコンピュータプログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
EP4020408A1 (en) Fluorescence image display method and fluorescence image analyzer
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN116074646A (zh) 参数调整辅助装置以及参数调整辅助方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination