KR20120066654A - 조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링 - Google Patents

조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링 Download PDF

Info

Publication number
KR20120066654A
KR20120066654A KR1020127009424A KR20127009424A KR20120066654A KR 20120066654 A KR20120066654 A KR 20120066654A KR 1020127009424 A KR1020127009424 A KR 1020127009424A KR 20127009424 A KR20127009424 A KR 20127009424A KR 20120066654 A KR20120066654 A KR 20120066654A
Authority
KR
South Korea
Prior art keywords
image
images
color
contrast
combined
Prior art date
Application number
KR1020127009424A
Other languages
English (en)
Other versions
KR101388291B1 (ko
Inventor
칼 가르샤
개리 페스타노
마이클 오터
알렉산드라 디 네이지
레이 비 네이글
필립 밀러
얀 프뢸리히
윌리엄 데이
Original Assignee
벤타나 메디컬 시스템즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 벤타나 메디컬 시스템즈, 인코포레이티드 filed Critical 벤타나 메디컬 시스템즈, 인코포레이티드
Publication of KR20120066654A publication Critical patent/KR20120066654A/ko
Application granted granted Critical
Publication of KR101388291B1 publication Critical patent/KR101388291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

다중 기법의 콘트라스트가 투과된 백색광 조명하에서 뷰잉된 파장 흡수 염색으로 발생된 것과 유사한 이미지들을 발생시키기 위해 조합 및 렌더링될 수 있는 이미지들을 생성하기 위해 사용될 수 있다. 다른 상보적 콘트라스트 기법들로 획득된 이미지들은 해부학적 구조 및 병리화학을 나타내기 위해 사용된 전형적인 콘트라스트 방법에 기초하여 엔지니어링된 컬러 방식들을 사용하여 제공될 수 있어서, 의료적 트레이닝 및 경험에 대한 관련성을 제공한다. 굴절률 및 형광 DAPI 대비염색 이미지들로부터 도출된 암시야 콘트라스트 이미지들이 조합되어 병리학적 해석을 위해 종래의 H&E 염색으로 획득된 것과 유사한 이미지들을 발생시킨다. 이러한 다중 기법 이미지 데이터는 병리학적 샘플들의 라이브 네비게이션을 위해 스트림될 수 있고, 유전 DNA 프로브들의 분자 국소화 (FISH), mRNA 표현의 사이트 (mRNA-ISH), 및 동일한 조직 부위들상에 국소화된 면역조직화학 (IHC) 프로브들과 조합될 수 있고, 중량 분광을 이미징하기 위해 준비된 조직 부위들을 평가하고 매핑하기 위해 사용될 수 있다.

Description

조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링{MULTI-MODALITY CONTRAST AND BRIGHTFIELD CONTEXT RENDERING FOR ENHANCED PATHOLOGY DETERMINATION AND MULTI-ANALYTE DETECTION IN TISSUE}
관련 출원들의 상호 참조
본 출원은, 그 출원들이 전체적으로 참조로 여기에 포함되는 2009년 10월 12일 출원된 미국 가출원 제 61,250,809 호 및 2009년 10월 13일 출원된 미국 가출원 제 61/278,936 호의 이익을 청구한다.
본 개시물은 병리학적 결정을 위해 조직 부위들 (tissue sections) 에서 콘트라스트를 제공하는 방법들에 관한 것이다.
종래의 조직학적 염색 조직 부위들의 거시적 임상 검사는 진단 중요성의 조직 구조들 및 형태적 패턴들을 평가하기 위해 사용될 수 있다. 전문의는 진단을 위해, 그리고 처치를 계획하고 평가하기 위해 이러한 조직학적 염색 조직 부위들을 볼 수 있다. 전형적 염색들을 사용하여 이러한 이미지들에 의해 제공된 구조들의 콘트라스트가 잘 알려져 있고, 염색 절차가 의사의 의학적 트레이닝 및 경험과 관련되는 특징들을 어떻게 나타내는지의 해석을 시도하지 않고 의사가 해부학적 및 형태학적 조직 부위 특징들 및 기형들을 이해하는데 그의 노력을 전념하게 한다.
중요한 생검 (biopsy) 물질 및 보관된 조직 검체들에 대해 의사에 의해 획득가능한 상관 진단 정보의 강화를 약속하는 추가의 조직 이미징 기법들이 개발되고 있다. 예를 들어, 형광 현미경 검사법이 특수 분자 마커 (marker) 들의 검출을 위해 사용될 수 있지만, 형광 기반 이미지들은 통상적으로 H&E (hematoxylin and eosin) 으로 염색된 조직에서 발견되고 명시야 현미경을 사용하여 보이는 친숙한 구조적 및 해부학적 컨텍스트 정보가 부족하다.
형광 기반 이미지가 질병 상태를 확인하고 특징화하는 유용한 분자 정보를 제공하지만, 종래의 조직학적 염색 부위들은 조직에 대한 병리학적 결정에 대한 필요성을 남긴다. 통상적으로, 검체를 통한 연속 조직 부위들이 준비되고 평가되어야 한다. 일반적으로, 연속 부위들은 종래의 H&E 염색 부위 및 특히, 진단 분자 마커들에 대한 염색 부위(들)를 포함한다. 평가를 위해 필요한 비용과 시간을 단지 증가시키지 않고 연속 부위들을 비교하면, 하나의 부위에서 발견된 특징들을 다른 부위에서 발견된 특징들과 상관시키는 것은 어려울 수도 있거나 불가능할 수도 있다. 연속 부위들은 염색 처리 파이프라인에서 또한 분실되거나 파괴될 수도 있다.
여기에 설명된 기술은 병리학적 분석을 위해 의사 트레이닝 및 경험에 관련된 방식에서 분할되고 디스플레이된 상보적 콘트라스트 성분들을 생성하기 위해 다중 기법 콘트라스트를 사용하는 방법들 및 장치들을 제공한다. 이러한 상보적 콘트라스트 모드들은 조직 구조의 네비게이션, 포커싱, 및 배율의 변화들을 허용하도록 디스플레이하기 위해 스트림될 수도 있다. 조직 부위들은 관심의 특정한 분자들 또는 화학물들을 목표로 하는 하나 이상의 프로브들을 포함할 수 있다. 헤마톡실린 및 에오신 염색 (이하, "H&E") 과 같은 종래의 컬러 흡수 조직학적 염색으로 생성된 콘트라스트에 필적할 수 있는 조직 구조의 컬러 콘트라스트가 제공된다. 개시된 방법들 중 하나 이상에 의해 생성된 이미지들은 추가의 마커들 및 광학적 또는 화학적 콘트라스트 모드들을 사용하여 나타난 특징들을 또한 포함할 수 있다. 통상적으로, 상이한 조직 부위들 사이에서 상이하게 라벨링된 특징들의 상관은 불필요하게 된다. 이미지들은 동일한 구조적 특징을 나타내기 위해 염색된 종래의 조직학적 슬라이드들에서 생성된 것과 필적하는 이미지 외관을 제공하기 위해 디지털적으로 렌더링된 컬러 명시야 컨텍스트에 제공된다.
다중 기법 콘트라스트의 몇몇 개시된 예들에서, 콘트라스트는 특정 분자들의 마커들에 대해 특수하게 준비된 조직의 굴절률 특성 및 형광 라벨링으로부터 도출된다. 이들 예들은 핵 대비염색의 동시 입사광 형광 이미징, 및 멀티플렉싱된 분자 프로브들의 질문 (interrogation) 으로, 투광 암시야 굴절 콘트라스트 이미징의 상보적 조합을 설명한다. 대응하는 상보적 이미지들은 동시에 (병렬로) 또는 순차적으로 (직렬로) 획득된다. 몇몇 예들에서, 염색되지 않거나 염색된 조직상에 콘트라스트를 생성하기 위해 사용된 조명 파장들 및 검출 파장들은 모호하지 않은 분할을 촉진하고 멀티플렉싱된 프로브들과의 간섭을 방지하기 위해 타이트하게 제어될 수도 있다. 단백질 항원, mRNA 표현, 또는 DNA 에서의 유전자 재배열을 위한 분자-특정 프로브 국소화가 검체 구조상에 오버레이될 수 있다. 이러한 콘트라스트는 특정한 조직학적 처리의 사용을 통해 보관되고 분해될 때의 조직 구조로 인한 굴절률에서의 변화들과 관련된다. 통상의 예들에서, 개시된 방법들은 분자-특정 멀티플렉싱된 프로브들에 대한 컬러 병리학적 컨텍스트를 제공하기 위해 형광 대비염색과 조합하여 조직 모이어티 (moiety) 들에서의 굴절률 변동들에 기초하여 이미지 콘트라스트를 제공한다. 예들은 포르말린 고정 파라핀 포매 (formalin-fixed, paraffin embeded) 조직들 및 냉동 조직을 포함한다. 굴절률 콘트라스트는 조직 및 프로브 모이어티들의 굴절 또는 산란 특성들, 또는 위상-시프트의 진폭, 또는 위상 시프트 기울기의 변화율로부터 직접적으로 도출될 수 있다.
몇몇 개시된 방법들은 형광 염색에 의해 형광성을 생성하기 위해 선택된 자극 빔에 형광적으로 염색된 검체를 노출시키는 단계, 및 대응하는 형광 이미지를 생성하는 단계를 포함한다. 동일한 검체가 높은 NA 주변 암시야 조명에 또한 노출되고, 굴절률 및 광 산란 모이어티들에서의 변화를 나타내는 대응하는 암시야 이미지가 생성된다. 몇몇 예들에서, 형광 자극 빔 노출 및 암시야 굴절 조명 시야 노출은 동시에 적용되고, 상보적 이미지들이 병렬로 획득된다. 다른 예들에서, 형광 이미지 및 암시야 굴절 콘트라스트 이미지는 직렬로 기록된다. 예들에 따른 이미징 장치는 투과된 암시야 조명 시야를 생성하도록 구성된 다중 기법 광학계 및 입사 조명 형광 여기 광학계를 포함한다. 이들 서브-시스템들은 상관 분석 : 준비된 조직의 특성들에 기초한 굴절 콘트라스트 이미지, 핵 대비염색의 형광 이미지, 및 방출 파장에 의해 분할될 수 있는 다양한 분자 마커들을 나타내는 복수의 형광 이미지들에 대해 조합될 수 있는 다중의 상보적 이미지들을 생성하도록 구성된다. 적어도 하나의 이미지 캡처 디바이스가 암시야 및 형광 이미지들을 수신하도록 커플링되고, 이미지 프로세서가 암시야 이미지 및 형광 이미지들을 기록하고 처리하며, 조합된 이미지를 생성하도록 구성된다.
컴퓨터 판독가능한 저장 매체가, 병리학적 검사를 위해 준비된 검체 부위의 공통부분들과 관련된 콘트라스트의 다중 모드들과 관련된 이미지들을 수신하며, 콘트라스트의 다중 모드들을 오버레이하여 조합된 이미지를 생성하는 컴퓨터 실행가능한 명령을 포함한다.
몇몇 예들에서, 이미지 프로세서는 기록된 굴절 콘트라스트 암시야 이미지 및 형광 이미지에 기초하여 조합된 이미지의 의사-컬러 명시야 렌더링을 생성하도록 구성된다. 형광 이미지 및 암시야 굴절 이미지는 개별적으로 착색되고, 조합되며 인버팅되어 종래의 염색에 관련된 콘트라스트를 갖는 명백한 명시야 컨텍스트에서 조합된 컬러 이미지를 생성한다. 수월한 의사 해석을 용이하게 하기 위한 특정한 컬러 매핑이 굴절 콘트라스트 이미지, 형광 핵 대비염색, 및 특정 형광 프로브들에 적용된다. 이어서, 이들 이미지들이 조합되어 명시야 렌더링에서 조합된 컬러 기록 이미지를 생성한다. 몇몇 예들에서, 컬러 매핑은 에오신 염색과 같은 적어도 하나의 컬러 흡수 조직학적 염색과 관련된 병리학적 결정을 위해 바람직한 컬러의 인간 인지의 정량적 측정치들에 기초한다. 또 다른 예들에서, 컬러 룩업 테이블이 형광 이미지에 적용되고, 여기서 컬러 매핑은 헤마톡실린 염색과 같은 적어도 하나의 콘트라스팅 컬러 흡수 조직학적 염색과 관련된다. 몇몇 예들에서, 컬러 룩업 테이블들은 이상적인 헤마톡실린 및 에오신 염색에서 인카운터된 것과 비교하여 상보적 컬러 색도와 관련된 인버팅된 콘트라스트, 인버팅된 값 및 인버팅된 채도를 갖는 이미지를 생성하기 위해 암시야 굴절 이미지 및 형광 대비염색 이미지에 적용된다. 다른 예들에서, 광학적으로 이미징된 검체는 분자 매핑을 제공하기 위해 질량 분광법을 사용하여 다른 이미징을 위해 준비된다.
개시된 기술의 이들 및 다른 특징들 및 양태들이 첨부한 도면을 참조하여 아래에 설명된다.
도 1 은 굴절 콘트라스트 암시야 및 형광 기반 이미지들 양자를 제공하는 대표적인 이미징 시스템의 개략도이다.
도 2 는 기록된 암시야 및 형광 염색 기반 이미지들을 처리하고 조합하는 방법의 개략 블록도이다.
도 3 은 헤마톡실린 및 에오신 (H&E) 염색을 이용한 병리학적 결정에서 사용된 것과 대응하는 콘트라스트를 갖는 다중 콘트라스트 모드들로부터 검체 이미지를 생성하는 대표적인 방법의 개략 블록도이다.
도 4a 는 인간 전립선 부위의 대표적인 종래의 H&E 염색 이미지이다.
도 4b 는 명시야 컨텍스트에서 렌더링된 형광 대비염색 이미지 및 암시야 굴절 이미지의 조합에 기초한 인간 전립선 부분의 다중 모드 콘트라스트 이미지이다.
도 5a 및 도 5b 는 블루 DAPI 형광 파장들 (도 5a) 또는 더 긴 파장의 투과된 암시야 파장들 (도 5b) 을 선택하기 위해 간섭 필터들을 사용하여 촬영된 순차적 노출들을 갖는 단색 CCD 로 기록된 듀얼 조명 다중 모드 콘트라스트 (굴절 콘트라스트 및 형광) 이미지들이다.
도 5c 는 도 5a 및 도 5b 의 이미지들에 의사 컬러용의 인버팅된 컬러 룩업 테이블들의 적용에 의해 획득되고 인버팅된 컬러 이미지들을 가산한 의사 컬러 이미지이다.
도 5d 는 매핑 컬러 공간의 반전 이후의 도 5c 의 이미지에 대응하는 이미지의 의사 컬러 명시야 렌더링이다.
도 6 은 굴절 콘트라스트에 대해 또한 이미징된 DAPI 대비 염색 포르말린 고정, 파라핀 포매 (formalin-fixed, paraffin embedded) 샘플로부터 565 nm 및 655 nm 의 피크 방출 파장들을 갖는 양자 도트 형광 프로브들의 국소화의 오버레이에 의한 명시야 컨텍스트 렌더링 이미지이다.
도 7 은 명시야 컨텍스트 디스플레이를 위한 다중모드 이미지의 다른 예시적인 이미지들을 포함한다. DAPI 대비염색된 편도선 부위들의 암시야 굴절 콘트라스트 이미지들 및 DAPI 형광 이미지들이 도 7 (1a - 3a) 에 도시된 바와 같은 컬러 명시야 이미지들로서 획득되고, 오버레이되며 렌더링된다. (CD20 항원에 대해 565 nm 및 Ki67 항원에 대해 655 nm 에서 피크 방출을 갖는 양자 도트들을 사용하여 형광에서 국소화된) 단백질 특정 면역 프로브들이 대응하는 면역 프로브 형광 기반 이미지들을 생성하기 위해 DAPI 대비염색된 편도선 부위에 적용된다. 프로브 이미지들은 도 7 (1b-3b) 에 도시된 바와 같이 콘트라스팅 의사 컬러들 (레드 및 그린) 에서 오버레이된다. 도 7 (1c-3c) 은 조합된 이후의 도 7 (1a-3a) 및 도 7 (1b-3b) 의 이미지들을 도시한다.
도 8a 및 도 8b 는 시뮬레이팅된 명시야 조직학적 이미지들이 획득되는 추가의 대표적인 이미지들, 및 대안의 방법들을 사용하여 조합된 형광 프로브 이미지들이다. 도 8a 는 DAPI 대비염색된 포르말린 고정 파라핀 포매 검체로부터 565 nm 및 655 nm 방출 파장들을 갖는 QDot 프로브들을 사용하는 다중 모드 의사 명시야 이미지에 대한 가색형 오버레이이다. 도 8b 는 의사 컬러 프로브 이미지들이 복제 H&E 렌더링된 이미지로부터 감산되는 감색형 오버레이이다.
도 9 는 병리학적 결정을 위해 명시야에서 렌더링하기 위해 굴절 콘트라스트 및 DAPI 형광에 H&E 에 대한 우선적 컬러 특징들을 매핑하기 위해 사용된 CIEL*a*b* 컬러 공간의 일례를 예시한다.
도 10a 및 도 10b 는 그레이스케일 굴절률 콘트라스트 및 DAPI 형광 콘트라스트 이미지들 각각이다. 도 10c 및 도 10d 는 도 10a 및 도 10b 각각의 이미지들에 기초한 CIEL*a*b* 의사 컬러 에오신 컨버팅되고 헤마톡실린 컨버팅된 이미지들이다. 도 10e 는 도 10c 및 도 10d 의 컨버팅된 이미지들을 조합함으로써 획득된 병합 이미지이다.
도 11 은 단일 CCD 카메라를 사용하여 나란한 굴절 암시야 이미지들 및 형광 기반 이미지들을 동시에 생성하는 광학 시스템의 개략도이다.
도 12 는 동시에 획득되고 디스플레이된 동일한 조직 부위의 나란한 굴절률(암시야) 이미지 (A) 및 DAPI 이미지 (B) 를 포함한다.
도 13 은 도 12 의 나란한 이미지들에 기초한 (의사 컬러 및 이미지 반전을 갖는) 2개의 컬러 명시야 렌더링 오버레이 이미지를 포함한다. 이러한 이미지가 도 12 의 이미지에 관하여 회전된다는 것에 유의한다.
도 14a 및 도 14b 는 질량 분광 이미징 태그들의 침전을 위해 준비된 크리오섹션된 (cryosectioned) 쥐 신장 조직 검체들의 이미지들이다. 콘트라스트는 조직 에지들 및 조직 자가형광 (블루) 에서의 굴절에 의해 생성된다.
도 15a 및 도 15b 는 이온화 기질의 침전에 의해 질량 분광 이미징을 위해 준비된 쥐 신장 조직 검체들의 이미지들이다. 자가형광은 블루를 나타내고, 이온화 기질 결정들과 관련된 굴절률 콘트라스트가 명백하다.
도 16 은 여기에 설명된 장치 및 방법들에 대한 컴퓨팅 환경을 예시하는 개략도이다.
도 17 은 2개의 프로브들 (즉, 하나는 리보솜 RNA (시안 컬러, 점선 블랙 화살표) 에 대한 것이고, 다른 하나는 HER2 mRNA 표현 (블랙 컬러, 실선의 블랙 화살표들) 에 대한 것) 의 mRNA 제자리 교합법을 위해 프로브된 Calu-3 이종이식 (xenograft) 에 대한 명시야 렌더링에서 세포 및 핵 컨텍스트를 제공하는 다중 모드 이미지이다.
도 18 은 병리학적 결정을 위해 20× 배율에서 명시야 컨텍스트에서 제공되고 듀얼 모드 콘트라스트를 사용하여 이미징된 전립선 암의 대표적인 이미지이다. 전립선 암의 두드러진 핵소체 (nucleoli) 및 이상 성장 패턴 특징이 명백하다.
도 19 는 명시야 컨텍스트에서 형광 핵 대비염색 및 렌더링과 굴절 콘트라스트를 조합하는 동일한 동시 듀얼 모드 방법을 사용한 40× 배율에서 이미징된 동일한 영역의 일부이다.
본 출원 및 청구항들에서 사용되는 바와 같이, 단수 형태들 "a", "an", 및 "the"는 문맥이 명백하게 다르게 나타내지 않으면 복수의 형태들을 포함한다. 추가로, 용어 "포함한다" 는 "구비한다" 를 의미한다.
여기에 설명된 시스템들, 장치, 및 방법들은 어떠한 방식으로 한정하는 것으로서 해석되어서는 안된다. 대신에, 본 개시물은 단독으로 및 다양한 조합 및 서로와의 서브-조합에서, 다양한 개시된 실시형태들의 모든 신규하고 자명하지 않은 특징들 및 양태들에 관한 것이다. 개시된 시스템들, 방법들, 및 장치는 임의의 특정한 양태 또는 특징 또는 이들의 조합에 한정되지 않고, 개시된 시스템들, 방법들, 및 장치는 임의의 하나 이상의 특정한 이점들이 제공되거나 문제점들이 해결되는 것을 요구하지 않는다.
개시된 방법들 중 몇몇의 동작이 편의상의 표현을 위해 특정한 순차적 순서로 설명되지만, 이러한 설명의 방식이 특정한 순서는 아래에 설명되는 특정 언어에 의해 요구되지 않으면 재배열을 포함한다는 것이 이해되어야 한다. 예를 들어, 순차적으로 설명된 동작들은 몇몇 경우들에서 동시에 재배열되거나 수행될 수도 있다. 또한, 간략화를 위해, 첨부한 도면들은 개시된 시스템들, 방법들, 및 장치가 다른 시스템들, 방법들, 및 장치와 함께 사용될 수 있는 다양한 방식들을 도시하지 않을 수도 있다. 추가로, 설명은 때때로, 개시된 방법들을 설명하기 위해 "생성한다" 또는 "제공한다" 와 같은 용어들을 사용한다. 이들 용어들은 수행되는 실제 동작들의 하이 레벨 요약들이다. 이들 용어들에 대응하는 실제 동작들은 특정한 구현에 의존하여 변화할 것이며, 당업자에 의해 용이하게 인식가능하다.
본 개시물의 장치 또는 방법들에 관하여 여기에 제공된 동작의 이론들, 과학적 원리들, 또는 다른 이론적 설명들은 더 양호한 이해를 위해 제공되고 범위를 한정하려는 의도는 아니다. 첨부한 청구범위에서의 장치 및 방법들은 동작의 이러한 이론들에 의해 설명된 방식으로 기능하는 장치 및 방법들에 한정되지 않는다.
도입
조직에서 상보적 콘트라스트 생성의 다중 모드들은 조직 화학물질에서의 변동들 또는 특정 분자들에 대한 프로브들의 국소화에 따라, 트레이닝된 의사에게 친숙한 명시야 컨텍스트에서 제공된 해부학적 및 형태학적 조직 컨텍스트의 시각화를 허용할 수 있다. 다중기법 콘트라스트는 제공된 정보가 상보적인 한은 복수의 경량 조직 및 프로브 검출 상호작용들에 영향을 미칠 수도 있다. 병리학적 검사를 위해 준비된 조직은 구조적인 광학 활성을 갖고, 특정한 프로토콜에 의해 생성된 광학 품질은 적합한 이미징 기구와 조합될 때 유용한 콘트라스트 품질을 생성하도록 최적화될 수 있다.
비형광 구조들에 대한 이미지 콘트라스트는 포르말린 고정 파라핀 포매 뿐만 아니라 냉동 조직에 대해 자동 염색 프로토콜들에서 사용되는 바와 같이 특정한 조직 준비 방식으로 유전자 조작되거나 그 조직 준비 방식에 보존된 광학 활성의 컴포넌트들을 통해 제공될 수 있다. 이러한 강화된 광학 활성은 세포외 기질, 핵소체 및 세포막과 같은 구조들을 시각화하고 하이라이트하기 위해 인공 명시야 콘트라스트에서 디지털적으로 기록되고 렌더링될 수도 있다. 이러한 시각화 능력들은 조직에서 병리학적 조건들의 이상 성장 패턴들 및 형태학적 특징을 진단하기 위해 사용된다. 준비된 조직에서의 광학적 또는 활성 또는 화학적 특성의 다중 모드들은 직렬 또는 병렬로 기록될 수 있고, 시각화를 위해 명시야 이미지 콘트라스트로 디지털적으로 컨버팅될 수 있고, "의사 명시야" 로서 칭한다.
대표적인 이미징된 구조들이 병리학적 유의성이고, 조직 선별검사 및 전암 (pre-cancer) 및 암 질병 상태의 진단 뿐만 아니라 다른 진단 목적을 위해, 처치 효율성의 평가에서 의사들에 의해 사용될 수 있다. 염색되지 않거나 특수하게 염색된 조직 부위에서, 이러한 형태학적 구조들 및 해부학적 컨텍스트는 종래의 투광 명시야 또는 형광 검출과 같은 단일 모드 콘트라스트 방법들하에서는 실제로 비가시적일 수 있다. 상보적 다중 기법 이미징 방법들은 의료적으로 관련된 구조 정보를 생성할 수 있고 종래의 광 흡수 염색을 사용하지 않고 쉽게 해석가능한 포맷에서 이러한 정보를 제공할 수 있다. 정량적 값들이 하나 이상의 컴퓨터 판독가능한 저장 매체에 의해 제공된 컴퓨터 실행가능한 명령들의 하나 이상의 세트들의 사용에 기초하여 측정 및 기록될 수 있다. 형태학적 메트릭들이 동일한 조직에 포함된 분자 정보에 이러한 형태학적 특징들을 상관시키도록 레버리지될 수 있고, 이러한 접근방식은 질병 상태 및 예후를 계층화할 뿐만 아니라 처치 효능을 모니터링하기 위한 지속적인 노력을 도울 수도 있다. 조직 부위들의 디지털 다중 기법 이미지들은 상보적 특징 컴포넌트들에 대해 구별이 되는 컬러들을 사용하여 동시에 캡처될 수 있고 렌더링될 수 있고, 병리학자 또는 다른 임상의에 의한 검사를 위해 거의 실시간으로 스트림되거나 그렇지 않으면 저장되거나 전달될 수 있다. 이러한 방법들은 매우 복잡한 조직 기반 진단 개발을 용이하게 하고, 종래의 조직학적 염색들로 의사의 의료적 트레이닝 및 경험의 레버리징을 허용한다. 면역 조직 화학, DNA 교합법, mRNA 교합법 프로브들, 렉틴, 및 질량 분광법 및 다른 분석법으로부터의 것을 포함하는 분자 데이터가 개별 조직 부위들에 대해 통합될 수 있고, 실제 병리학자에게 친숙하고 그에 관련되는 포맷으로 신속하게 보고된다.
여기에 제공된 예들은 의료적 진단 및 평가를 위해 단백질 구조의 상보적 콘트라스트, 및 DNA 구조 뿐만 아니라 분자 특정 마커들을 이미지들에 제공하는 듀얼 조명 경로들을 활용하는 다중 기법 이미징 계획을 레버리지한다. 예시적인 접근방식은 명시야 굴절과 형광 콘트라스트의 조합을 포함하고, 이들 상보적 콘트라스트 모드들은 전형적인 조직학적 염색 품질들의 의사의 선호도로부터 유도된 특수화된 컬러 테이블들을 사용하여 디지털적으로 렌더링된다. 이러한 조합으로, 헤마톡실린 및 에오신 (H&E) 염색과 같은 전형적인 조직학적 방법들을 사용하여 염색된 샘플들에서 획득된 것과 유사한 조직 샘플에서의 다중 컬러 콘트라스트가 제공될 수 있다. 이러한 이미지들은 단백질, 지질 또는 탄수화물 항원들, mRNA 또는 DNA 에 대한 발광성, 형광성, 산란 또는 흡수 프로브들, 전하 특성들 또는 이미징 질량 분광 (IMS) 을 위해 프로브들을 사용하여 다른 분자 분석을 위해 관심 영역들을 발현하기 위해 사용된다. 여기에 예시된 다중기법 콘트라스트 조명 콘트라스트 방식은 종래의 조직학적 방법들에서 사용된 공통 염색/대비염색 조합들과 일관된 방식으로 조직 부위들의 구문 정보를 제공할 수 있다. 편의상, 이미지를 획득하기 위해 검체를 향하는 광 방사 빔들을 자극 빔들이라 칭한다. 몇몇 예들에서, 자극 빔들은 검체의 하나 이상의 부분들에서 형광을 생성하도록 선택되고, 가시 파장들에 있을 수도 있거나 있지 않을 수도 있다. 다른 자극 빔들은 직접적인 뷰잉을 위해 가시 파장들에 있는 조명 빔들을 포함한다. 자극 빔들은 또한, 다른 파장 범위들 및 대전 입자 빔들 또는 음향 빔들을 포함하는 다른 타입의 방사에 또한 기초할 수 있다.
몇몇 예들에서, 이러한 방법들 및 장치는 포르말린 고정 파라핀 포매 조직에서 제자리 교합법 (FISH), 면역 조직 교합법 (IHC), 및 mRNA 제자리 교합법 (mRNA-ISH) 애플리케이션에서 형광에 적용되었다. 구체적으로는, 양자 도트 (QDot) 라벨링된 FISH 프로브들, QDot 라벨링된 IHC 프로브들 및 QDot 라벨링된 mRNA-ISH 프로브들이 조직 해부학적 구조 컨텍스트내의 프로브 국소화의 시각화를 위해 다중기법 콘트라스트 및 디지털 의사 명시야 렌더링을 사용하여 조직상에서 검출되었다. 통상의 예에서, 암시야 굴절 콘트라스트 이미지, 형광 핵 염색으로 획득된 대비 염색 이미지, 및 형광 QDot 검출을 사용하여 이미징된 하나 이상의 프로브들이 조합된다. 이들 및 다른 예들이 후술된다.
대표적인 이미징 시스템들
적합한 이미징 시스템 (100) 의 대표적인 예가 도 1 에 예시되어 있다. 형광 자극 광원 (102) 이 축 (105) 을 따라 파장 의존형 빔스플리터 (다이크로익) (104) 로 자극 빔 (103) 을 전달하도록 위치된다. 광원 (102) 은 통상적으로, 발광 다이오드 (LED), 금속 할라이드 또는 다른 아크 램프이지만, 비간섭성 광원 또는 레이저와 같은 간섭성 광원이 사용될 수 있다. 도 1 에 도시되어 있는 바와 같이, 다이크로익 (104) 은 자극 빔 (103) 을 대물 렌즈 (106) 로 반사하고, 이 대물 렌즈는 자극 빔 (103) 을 검체 (108) 로 향하게 한다. 통상의 예들에서, 검체 (108) 는 자극 빔 (103) 에 반응하여 형광을 생성하는 하나 이상의 형광단 (fluorophore) 으로 선택적으로 라벨링된다. 형광의 일부가 대물 렌즈 (106) 에 의해 수집되고 축 (113) 을 따라 다이크로익 (104) 을 통해 옵션의 빔 스플리터 (110) 로 향한다. 빔 스플리터 (110) 는 형광의 일부를 카메라 (112) 로 향하게 하여 검체 이미지가 컴퓨터 시스템 (130) 에서 기록되고, 뷰잉되거나, 분석될 수 있다. 형광의 다른 부분은 형광에 기초하여 검체 (108) 의 직접 뷰잉을 위해 접안렌즈 (114) 로 향한다. 또한, 자극 빔 (103) 이 검체 (108) 에 도달하는 것을 실질적으로 방지하기 위한 셔터 (132) 또는 다른 빔 변조기가 제공될 수 있거나, 자극 빔이 생성되지 않도록 형광 소스가 (컴퓨터 시스템 (130) 을 통해 또는 수동으로) 제어될 수 있다. 자극 빔에 대해 사용된 광의 파장들은 편리하게 선택될 수 있다. 통상적으로, 자극 빔은 검체에 적용된 임의의 선택 마커들과 관련된 형광 염료들 또는 형광단들에서 형광을 생성하는데 적합한 파장들에서 또는 파장 범위에서의 광 방사를 주로 포함한다. 자극 빔에 대한 통상의 파장 범위들은 약 300 내지 550 nm 사이이지만, 더 짧거나 더 긴 파장이 사용될 수 있다.
형광 이미징 시스템에 부가하여, 주위 경사 암시야 조명을 사용하는 굴절 콘트라스트 이미징 시스템이 제공된다. 도 1 의 예에서, 주변 경사 암시야 조명 (117) 은, 검체에서의 굴절률 차이 또는 산란 모이어티들의 부재시에, 광속이 CCD 카메라 (112) 또는 접안렌즈 (114) 에 도달하지 않고, 굴절률 천이만이 나타나도록 선택된다. 동일한 개구수 (수광각) 을 갖는 상이한 배율의 대물 렌즈를 사용하거나 2차 배율 렌즈를 사용함으로써, 굴절 이미징에 대한 동일한 조명 최적화가 다중의 광 배율들에서 사용될 수 있다. 조명 시야의 굴절 또는 산란에 기초하여 콘트라스트를 생성하기 위한 다중의 전략이 있다. 이러한 굴절률 콘트라스트 이미지들을 "암시야" 이미지들로서 여기에서 칭한다. 서브스테이지 콘덴서 시스템 (116) 이 자극 빔 (103) 에 의해 조명된 위치와 실질적으로 동일한 위치에서 검체 (108) 에 경사 시야 조명 (117) 을 전달하기 위해 위치된다. 서브스테이지 콘덴서 시스템 (116) 은 적합한 빔을 생성할 수 있는 LED, 텅스텐 할로겐 램프, 아크 램프, 또는 다른 광원 및 하나 이상의 렌즈들, 미러들, 필터들, 편광 소자들, 위상판들, 프리즘들, 고리들 또는 조리개들과 같은 적합한 광원으로 향할 수 있다. 도 1 의 예에서, 경사 시야 조명 (117) 은 주의 깊게 사이징된 고리에 의해 생성되지만, 다른 예들에서, 시야 조명 또는 점 스캐닝, 선 스캐닝, 에지 조명, 또는 굴절 콘트라스트를 생성하도록 설계된 다른 전략들에 대한 상이한 접근방식들이 제공될 수 있다. 도 1 의 예에서, 검체 (108) 에 의해 산란되거나 리다이렉팅되는 시야 조명의 일부분만이 대물 렌즈의 개구수에 의해 수집되고 카메라 (112) 또는 접안렌즈 (114) 에 도달하는 소위 "암시야" 조명이 제공된다. 카메라 (112) 및 접안렌즈 (114) 는 투과된 광의 리다이렉팅된 부분들에 기초하여 검체 (108) 의 이미지를 형성하도록 위치된다. 통상적으로, 투과된 조명 시스템 (117) 은 원하는 경우에 셔터되거나 그 광원이 비활성화될 수 있어서, 형광 기반 이미지들이 투과된 조명에 독립적으로 획득되거나 뷰잉될 수 있다. 따라서, 도 1 의 예시적인 현미경 시스템 (130) 은 형광, 암시야 굴절 콘트라스트, 또는 양자에 기초하여, 동시에 또는 순차적으로 검체 이미지들의 기록 및 검체의 뷰잉을 허용한다.
도 1 에 예시된 바와 같은 투과된 주변 경사 조명을 사용하여, 콘트라스트가 상이한 굴절률들을 갖는 검체 부분들 사이의 계면들 및 전이들에 기초하여 생성될 수 있다. 통상적으로, 콘덴서 시스템 (116) 은 투광 광원이 장착된 복합 현미경의 투광 경로에서 (종래의 콘덴서에 추가될 수 있는) 적절한 사이즈의 고리 (118) 를 포함한다. 이러한 방식으로, 광을 굴절하고 산란하는 구조들은 광 흡수 컬러 염색을 사용하지 않고 이미지들에서 인식가능한 콘트라스트를 갖는다. 투과된 조명 파장은 예를 들어, 근접 IR 필터 또는 다른 필터들 또는 필터들의 조합으로 스펙트럼 필터링될 수 있어서, 형광 프로브들의 스펙트럼 이미지들이 동시에 활성인 조명 소스들 양자를 이용한 동일한 데이터 획득에서의 더 긴 파장에서 수집된 투과 콘트라스트로 획득될 수 있다. 굴절 시야 조명은 일반적으로, 기록을 위해 적합한 시각 이미지를 제공하기 위해 선택되고, 약 400 nm 와 900 nm 사이의 파장 범위에 있지만, 원하는 경우에, 이러한 범위내의 상이한 스펙트럼 영역들이 사용될 수 있다. 다른 예들에서, 경사 조명 및 대물 렌즈가 검체의 동일한 측상에 위치되는 반사된 암시야 조명이 사용된다.
검체 암시야 이미지는 자극 빔을 셔터링하거나 일시적으로 변조하거나 그렇지 않으면 차단하는 하나 이상의 필터들을 이용한 형광의 분할을 통해 자체적으로 획득될 수 있다. 몇몇 예들에서, 형광 기반 이미지는 형광 파장에 동조된 적합한 필터 및 상이한 파장 범위로 필터링된 굴절 콘트라스트로 획득될 수 있고, 이들 상이한 파장 범위들은 상이한 센서들로 분리되고, 동일한 센서의 상이한 부분들로 향하거나 순차적으로 기록될 수 있다. 형광 이미지 또는 이미지들에 대한 암시야 조명의 원치않는 기여 (또는 그 역도 마찬가지) 는 스펙트럼 필터링함으로써 감소될 수 있지만, 암시야 조명 시야 또는 형광 경로를 셔터링하는 것이 가능하다. 또한, 암시야 및 형광 이미지들은 개별적으로 또는 동시에 뷰잉될 수 있다.
카메라 (112) 는 통상적으로, 전자 증배 전하 결합 소자 (EMCCD) 및 강화 CCD (ICCD) 센서들과 같은 다른 이미지 센서들이 사용될 수 있지만, 단색 전하 결합 소자 (CCD) 또는 상보적 금속 산화물 반도체 (CMOS) 카메라이다. 파장 필터들, 분산 소자들, 위상판들, 프리즘들, 편광 소자들, 동조가능 광 결정들 및 다른 광학 및 전자 광학 방법들이 선택된 파장 범위들에서 하나 이상의 대응하는 단색 이미지들을 생성하기 위해 CCD 및/또는 접안렌즈에 도달하는 광 방사를 변경하도록 사용될 수 있다. 몇몇 경우들에서, 카메라 (112) 에 도달하는 형광은 복수의 파장 빈들, 및 분석을 위해 획득된 대응하는 복수의 형광 이미지들에서 스펙트럼 분해될 수 있다. 스펙트럼 분석은 형광의 경로에 삽입되는 복수의 흡수 또는 반사 필터들, 프리즘, 또는 회절 격자로 수행될 수 있다. 일반적으로, 스펙트럼 분해는 컴퓨터 시스템 (130) 의 제어하에서 또는 수동으로 삽입된 간섭측정, 분산, 또는 흡수 광학 시스템들을 사용하여 달성될 수 있다. 이미지들이 (조명을 콘스트라팅하는 형광 또는 다른 모드로부터의) 수광 광속 강도와 관련된 값들을 갖는 화상 엘리먼트의 1, 2, 또는 3차원 어레이들로서 기록될 수 있지만, 이미지들은 원하는 경우에 다른 포맷들 및 복합 데이터 구조들로 기록될 수 있다. 이러한 설명에서의 편의를 위해, 이미지는 현미경 또는 다른 뷰잉 장치를 통해 임상의에 의해 뷰잉될 때 구조화된 어레이에서의 데이터의 2-D 매핑을 칭하고, 기록된 이미지는 CCD 또는 다른 이미지 센서에 의해 수신된 이미지에 기초하여 저장되고, 처리되고/되거나 디스플레이된 데이터 값들을 칭한다.
상기 언급한 바와 같이, 복수의 스펙트럼 이미지들은 형광 및 투과된 조명 또는 양자에 기초하여 획득될 수 있다. 이미지의 각 픽셀에서의 분광 정보가 수집될 수 있고, 결과적인 데이터가 스펙트럼 이미지 처리 소프트웨어로 분석될 수 있다. 전자적으로 및 연속적으로 선택가능하고 그 후 이러한 데이터를 처리하기 위해 설계된 분석 프로그램으로 평가되는 상이한 파장들에서의 강도들을 나타내는 일련의 이미지들이 유도될 수 있다. 몇몇 예들에서, 다중의 형광 신호들 및/또는 광학 콘트라스트 기법들로부터의 정량적 정보가 동시에 평가될 수 있다.
이미지 센서 (112) 는 키보드 (152), 프로세싱 유닛 (154), 및 디스플레이 (156) 를 포함하는 컴퓨터 시스템 (130) 에 커플링된다. 몇몇 예들에서, 조이스틱들, 마우스들, 또는 디지털화 태블릿들과 같은 하나 이상의 추가의 사용자 입력 디바이스들, 및 프린터들 또는 디스플레이들과 같은 하나 이상의 추가의 출력 디바이스들이 제공된다. 프로세싱 유닛 (154) 은 통상적으로, 마이크로프로세서 및 이미지들 또는 이미지 데이터의 기록, 송신, 분석, 및 프로세싱을 위한 컴퓨터 실행가능한 명령들 및 이미지 데이터의 저장을 위한 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 하드 디스크, 플로피 디스크, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 하나 이상의 컴퓨터 판독가능한 저장 매체들을 포함한다. 통상의 예들에서, 컴퓨터 시스템 (100) 은 유선 또는 무선 네트워크 접속을 통해 하나 이상의 다른 컴퓨터 시스템들에 커플링되고, 몇몇 예들에서는 인터넷에 커플링된다. 이미지 프로세싱 동작들이 단일 컴퓨터 시스템에서 실시될 수 있지만, 몇몇 예들에서는, 이미지 데이터 또는 이미지들은 네트워크상의 공통 위치에 위치되거나 네트워크상에 분산될 수 있는 복수의 컴퓨팅 시스템에서 프로세싱된다. 랩탑 컴퓨터들이 편리하지만, 데스크탑 컴퓨터들, 워크스테이션들, 핸드헬드 컴퓨터들, 노트북 컴퓨터들, 또는 다른 디바이스들과 같은 다른 컴퓨팅 디바이스들이 이미지 캡처 및 프로세싱을 위해 사용될 수 있다. 몇몇 예들에서, 이미지 데이터가 프로세싱될 수 있고, 검체 평가들이 디스플레이 없이 제공될 수 있고, 평가들은 (예를 들어, 이메일에 의해) 네트워크 접속을 통해 통신되고, 프린터로 전송되거나, 셀 폰 네트워크를 사용하여 텍스트 또는 멀티미디어 메시지로서 전달된다.
이미징 시스템 (100) 은 적합한 이미징 시스템의 일례이다. 다른 예들에서, 반사 또는 반사굴절 대물렌즈가 대물 렌즈 (106) 대신에 사용될 수 있고, 쇼트 패스 (short pass) 필터가 형광 자극 소스 (102) 및 카메라 (112) 및 접안렌즈 (114) 의 재배열에 의해 롱 패스 (long pass) 필터 (104) 대신에 사용될 수 있다. 몇몇 예들에서, 카메라 또는 접안렌즈만이 이미지 기록 또는 이미지 뷰잉을 위해 제공된다. 추가의 미러들 또는 프리즘들이 편리할 수도 있기 때문에 광학축들을 접기 위해 사용될 수 있다. 위상 마스크들, 위상 콘트라스트, 로터만 (Rotterman) 콘트라스트, 경사 조명 콘트라스트, 라인베르그 (Rheinberg) 콘트라스트, 간섭 콘트라스트 방식들, 적응형 옵틱, 레이저 스캐닝, 시간 또는 주파수 도메인 수명 이미징, 구조화된 조명, 광스위칭가능한 프로브들, 편광 및 이방성, 2차 고조파 이미징, 2-광자 여기 및 다른 전략들을 사용하는 다중기법 콘트라스트에 대한 상이한 전략들이 이용될 수도 있다. 검체 포지셔닝 하드웨어가 예시의 편의상 도시되지 않고, 다수의 예들에서, 듀얼 접안렌즈를 이용한 쌍안 뷰잉이 제공될 수 있고, 적합한 필터들 및 빔스플리터들이 제공될 수 있어서, 상이한 이미지 출력들은 다중의 콘트라스트 기법들, 편광 상태들 또는 파장 대역폭들 중 오직 하나와 관련된 이미지 광속을 수신한다. 추가의 필터들 (반사형 또는 흡수형) 이 통상적으로, 카메라 (112) 또는 접안렌즈 (114) 에 도달하는 임의의 자극 광의 광도를 감소시키거나 뷰잉 또는 기록을 위해 상대적 광 강도 또는 스펙트럼 콘텐츠를 제어하기 위해 제공될 수 있다.
다른 대표적인 이미징 시스템이 도 11 에 예시되어 있다. 도 11 에 도시되어 있는 바와 같이, 암시야 및 DAPI 이미지들에 대응하는 굴절 변조 플럭스 (1102A) 및 DAPI 형광 변조 플럭스 (1102B) 를 포함하는 결합된 이미지 광속 (1102) 은 축 (1103) 을 따라 조리개 (1104) 를 통해 조준 렌즈 (1105) 로 향한다. 조준된 결합 광속은 변조된 광속 (도 11 의 예에서 DAPI 변조 플럭스 (1102A)) 의 일부를 DAPI 형광을 우선적으로 투과하는 필터 (1107A) 및 미러들 (1108A) 로 반사하는 다이크로익 미러 (1106) 로 입사된다. 렌즈 (1110) 는 DAPI 변조 플럭스를 수신하여, CCD 또는 다른 이미지 센서 (1112) 의 제 1 부분 (1112A) 상에 검체 이미지를 형성한다. 다이크로익 미러 (1106) 는 더 긴 파장의 굴절 변조 빔 (1102B) 을 DAPI 형광 및 관련된 DAPI 자극 빔을 거부하기 위해 선택된 필터 (1107B) 로 투과한다. 미러 (1108B) 는 CCD (1112) 의 일부 (1112B) 상에 암시야 이미지를 형성하는 렌즈 (1110) 로 변조 플럭스 (1102B) 를 향하게 한다. CCD (1112) 는 CCD (1112) 로부터의 이미지 데이터를 메모리에 저장할 수 있고 이미지 데이터를 모니터 (1118) 또는 다른 디스플레이에 제공할 수 있는 컴퓨터 또는 다른 프로세싱 디바이스에 커플링된다. 이러한 이미징 시스템으로, 암시야 및 형광 이미지들이 동시에 획득될 수 있고, 미가공 이미지로서 나란히 디스플레이되거나 2개의 이미지들로 빠르게 스플릿되고, 컬러 매핑되고, 모니터(1118) 상에 거의 실시간으로 오버레이될 수 있다. 도 11 의 구성은 단지 예시적이고, 검체 변조 굴절 및 형광 플럭스들은 분리될 수 있고, 다른 배열들에서 그리고 더 많거나, 더 적거나, 상이한 컴포넌트들을 사용하여 이미지 형성에서 사용될 수 있다. 이미지들은 CCD (1112) 상에서 나란할 수 있거나 컴퓨터 (1114) 에 의해 프로세싱될 수 있어서, 명시야 렌더링된 컨텍스트에서의 2-컬러 오버레이가 모니터 (1118) 상에 디스플레이될 수 있다. 도 11 에 도시된 바와 같이, 다중 플럭스들 (암시야 및 DAPI) 이 초기 광학축으로부터 방향전환되지만, 다른 예들에서, 하나의 플럭스가 초기 축을 따라 투과될 수 있고, CCD (1112) 는 그에 따라 위치된다. 명시야 및 DAPI 이미지들은 공통 배율 또는 상이한 배율들을 생성하기 위해 배열될 수 있는 상이한 렌즈들로 생성될 수 있다. 분자 검출 라벨 및 다른 조직 콘트라스트 이미지 광속들이 하나 이상의 CCD들 또는 단일 CCD (1112A, 1112B) 의 부분들에 제공되거나 그곳에 이미징되도록 추가의 필터들, 광원들, 및 다른 컴포넌트들이 제공될 수 있다.
컬러 룩업 테이블들 및 이미지 전환
도 1 의 시스템은 형광 또는 암시야 조명, 또는 동시에 양자에 기초하여 이미지들의 다중기법 뷰잉 및 획득을 허용한다. 획득된 이미지들은 도 2 에 예시된 대표적인 방법을 사용하여 공통 컨텍스트에서 검체 특징들을 제공하도록 조작될 수 있다. 단계 202 에서, 암시야 굴절 이미지가 통상적으로 단색 이미지로서 기록되고, 단계 204 에서, 하나 이상의 형광 기반 이미지들이 기록된다. 이러한 형광 기반 이미지들의 수는 검체에 적용되는 형광 마커들 또는 염료들의 수 및 타입들에 의존할 수 있다. 이들 이미지들은 형광 마커들의 방출 파장들에 대응하는 상이한 파장 대역들을 사용할 수 있다. 몇몇 예들에서, 상이한 파장 대역들은 오버래핑, 또는 비오버래핑, 또는 이들의 조합일 수 있다.
단계 204 에서, 하나 이상의 형광 기반 이미지들은 대응하는 형광단들로부터의 형광에 대응하여 획득될 수 있다. 형광의 적절한 스펙트럼 분할이 통상적으로 형광 검출 마커와 관련된 특정한 프로브에 의존하는 상이한 검체 특징들을 나타낼 수 있는 다중의 형광 기반 이미지들을 획득하기 위해 사용될 수 있다.
이미지들의 획득시에 (각각이 획득될 때 또는 모두 또는 일부가 획득된 이후), 하나 이상의 컬러 맵 룩업 테이블 (LUT) 들이 의사 컬러 렌더링된 이미지들을 생성하기 위해 단계 206 에서 단색 이미지들의 강도 값들에 적용될 수 있고, 이들 렌더링된 이미지들은 단계 208 에서 오버레이될 수 있다. 획득되어 오버레이된 이미지의 색도, 강도 또는 채도 중 하나 이상 또는 모두가 단계 210 에서 인버팅되어 명시야상에 컬러화된 구조의 외관을 갖는 이미지를 생성한다. 의사 컬러 LUT 의 통상의 애플리케이션에서, 단색 이미지들의 픽셀들에는 그레이 스케일 픽셀 강도 값들에 기초하여 RGB 컬러 강도 값들이 할당되고, 그 역도 마찬가지이다. 이러한 전환들은 컬러 좌표들을 또한 인버팅하여 상보적 컬러 매핑을 생성할 수도 있다. 일반적으로, 이미지 전환은 큰 픽셀 강도 값들을 더 작은 픽셀 강도 값들에 매핑한다. 예를 들어, 픽셀 강도들이 8개의 강도 값들 (3-비트 깊이) 로 표현되는 이미지에서, 강도 값들은 테이블 1 에 나타낸 바와 같이 재매핑될 수 있다.
Figure pct00001
테이블 1. 3 비트 값들을 이용한 이미지 반전
이러한 매핑 방식은 다른 비트 깊이들 (예를 들어, 8 비트, 10 비트, 12 비트, 16 비트 및 그 외) 로 확장될 수 있고, 소정의 컬러 공간의 상이한 컴포넌트들 (예를 들어, 색도, 채도, 값) 에 적용될 수 있다.
단계 210 에서, 어둠을 나타내는 이미지 값들은 밝음을 나타내도록 인버팅되고, 밝음을 나타내는 이미지 값들은 어둠을 나타내도록 인버팅된다. 단계 210 을 의사 명시야 이미지의 생성으로서 칭할 수 있다.
이미지 반전 및 의사 컬러 LUT 의 순서는 필요에 따라 변화될 수 있다. 특정한 컬러 LUT들이, 예를 들어, 암시야 이미지가 조직학적 염색과 유사한 컬러 콘트라스트에 나타나도록 선택될 수 있다. 이러한 전략에서, 이미지 모드들은 종래의 H&E 염색과 같은 종래의 염색 절차로 생성된 이미지에 동일한 구조를 나타내도록 주의 깊게 선택된다. 이미지들은 콘트라스트 컴포넌트들에 대한 컬러 매핑 또는 명시야 외관으로의 반전을 사용하거나 사용하지 않고 단계 208 에서 오버레이될 수 있다. 상이한 구조들을 콘트라스팅하는 추가의 컬러 매핑된 이미지들이 단계 212 에서 조합된 이미지에 적용될 수 있다 (통상적으로 조합된 이미지와 오버레이된다). 조합되고 프로세싱된 이미지는 단계 214 에서 저장 및/또는 디스플레이될 수 있다. 이들 단계들 중 하나 이상은 생략될 수 있고, 중복될 수 있거나, 더욱 편리하면 다른 순서로 수행될 수 있다.
다수의 실제 예들에서, 다중모드 콘트라스트 이미지들에서 종래의 조직학적 염색으로 생성된 특정 조직 구조들의 컬러링을 시뮬레이션하는 것이 바람직할 수 있다. 이러한 시뮬레이션은 추가의 정보를 나타내기 위해 추가의 특정 마커들과의 상관을 여전히 허용하면서 의사에 대해 정통한 분석 및 진단 세팅을 제공한다. 이러한 시뮬레이션은 또한, 광 흡수 염색의 제거를 허용하여, 염색은 다른 마커들의 애플리케이션 또는 이들 마커들에 의해 나타난 이미지 특징들의 평가와 간섭하지 않는다. 예를 들어, 굴절 콘트라스트가 DAPI 와 같은 핵 특정 형광 염료가 핵 염색질 분포의 디테일을 나타내도록 사용될 수 있는 동안 세포외 및 막 단백질들을 나타내도록 사용될 수 있다. 따라서, 에오신 (호산성, 또는 단백질 특정) 및 헤마톡실린 (핵산 또는 DNA 특정) 으로 달성된 것과 유사한 방식으로 검체 특징들을 나타내도록 적절한 이미징 프로세싱과 사용될 수 있다. 이들 이미지들이 동일한 검체에 대해 획득되기 때문에, 특징들 각각은 공간적으로 등록될 수 있고, 편리한 분석을 위해 디스플레이된 이미지에 포함될 수 있다. 임상의에 의해 선호되는 것으로서 디스플레이된 이미지들이 의료적 트레이닝 및 경험의 컨텍스트에서 관심의 특징들을 가장 잘 나타내는 것을 허용하는 최적화된 컬러 매핑들이 활용될 수 있다. 이러한 컬러 매핑들은 CIE 1976 L*a*b* 컬러 공간, Hunter 1948 L, a, b 컬러 공간, CIE 1931 XYZ 컬러 공간, CIE 1976 L*u*v*, HSV, HSI, HSV, HSB 컬러, 또는 RGB 컬러와 같은 다른 컬러 공간들 또는 CMYK 컬러 값들을 참조하여 편의상 설명될 수 있거나, PANTONE 또는 MUNSELL 컬러 스케일들이 또한 사용될 수 있다.
도 3 은 굴절률 콘트라스트 및 DAPI 형광에 기초하여 검체 특징들의 질문을 허용하는 검체 이미징의 대표적인 방법 (300) 을 예시한다. 단계 302 에서, 검체에서 굴절 콘트라스트의 그레이 스케일 강도 맵 이미지가 통상적으로 단색 CCD 카메라를 사용하여 기록된다. 단계 304 에서, 검체의 DAPI 형광 기반 그레이 스케일 강도 맵 이미지가 기록된다. 컬러 필터들이 이들 이미지 양자를 획득하는데 사용되지만, 이미지들은 단색 CCD 상에 그레이 스케일 이미지들로서 화소들의 어레이에 대한 강도 값으로서 기록된다. 단계 306 에서, 굴절률 콘트라스트 이미지가 프로세싱되고 백색광 투과 조명하에서 에오신 컬러 흡수로 생성된 것과 유사한 외관을 갖도록 컬러에 매핑된다. 통상적으로, 에오신 염색은 세포외 기질 및 막들에서의 단백질 모이어티들에서 이미지 콘트라스트를 생성한다. 몇몇 예들에서, 단계 306 은 프로세싱된 이미지가 CIE L*a*b* 컬러 공간으로 정량화되고 이동될 때 에오신 염색을 위한 임상의 주관 선호도에 기초하는 외관을 갖도록 구성될 수 있다. 이들 선호된 컬러 맵들은 임상의들의 그룹 또는 개인 임상의에 기초할 수 있다. 편의상, 단계 306 에서 발생하는 이미지를 컨버팅된 이미지라 칭한다. 에오신 염색에 기초한 프로세싱을 위해, 이러한 이미지들을 에오신 컨버팅된 이미지들이라 칭할 수 있다. 이러한 컨버팅된 이미지들은 디스플레이된 이미지들, 기록된 이미지들, 또는 양자일 수 있다.
단계 308 에서, DAPI 기록 이미지는 백색광 투과 조명하에서 헤마톡실린 흡수와 유사한 외관과 관련된 이미지를 생성하도록 프로세싱된다. 상기 언급한 바와 같이, 이러한 이미지는 개인 또는 그룹 주관적 선호도에 기초하여 생성될 수 있거나, 정량적 스펙트럼 컬러 측정 및 디지털 컬러 공간에 대한 매핑을 사용하여 매칭될 수 있다. 단계 308 의 결과적인 이미지를 컨버팅된 이미지 또는 헤마톡실린 컨버팅된 이미지로 칭할 수 있다.
컨버팅된 이미지는 통상적으로, 하나 이상의 컬러 맵들 또는 특수화된 룩업 테이블 (LUT) 들을 사용하여 생성된다. 일반적으로, 컨버팅된 이미지가 인버팅된 채도, 색도 및/또는 값을 갖는 상보적 컬러 이미지이도록 이미지들이 의사-컬러화되고 인버팅된다. 조합된 이미지가 예를 들어, 가산에 의해 단계 312 에서 상보적 이미지들을 병합함으로써 생성되고, 단계 314 에서 디스플레이되거나 그렇지 않으면 분석된다.
도 3 의 방법은 도 10a 내지 도 10e 에 도시된 인간 전립선 검체 이미지들로 예시되어 있다. 도 10a 및 도 10b 는 각각, 그레이스케일 굴절 콘트라스트 및 DAPI 형광 콘트라스트 이미지들이다. 도 10c 및 도 10d 는 도 10a 및 도 10b 각각의 이미지들에 기초하는 에오신 컨버팅되고 헤마톡실린 컨버팅된 이미지들이다. 도 10e 는 도 10c 및 도 10d 의 컨버팅된 이미지들을 조합함으로써 획득된 병합 이미지이다. 도 10c 의 에오신 컨버팅된 이미지 및 도 10d 의 헤마톡실린 컨버팅된 이미지는 컬러 LUT 및 이미지 전환의 적용에 의해 생성된다.
헤마톡실린 및 에오신 염색 조직들에 대한 의사 선호 컬러 공간들은 굴절 이미지 및 DAPI 대비염색의 의사 컬러 매핑에 더욱 근접하게 매칭하여 선호 이미지 외관을 생성하도록 획득된다. 이러한 컬러 매핑이 도 9 에 예시되어 있다. 도 9 를 참조하면, CIE L*a*b* 컬러 공간 (900) 은 a*- 축 (902), b*- 축 (904), 및 L*- 축 (906) 을 포함한다. CIE L*a*b* 좌표들은 컬러 구 (910) 상의 위치들로서 표현된다. 통상적으로, 컬러 아크들 (912, 914) 은 굴절률 콘트라스트 (에오신-유사) 및 DAPI 형광 콘트라스트 (헤마톡실린-유사) 각각에 할당된다. 조직에서 헤마톡실린 및 에오신 각각에 의해 백색광의 흡수에 유사한 콘트라스트를 생성하도록 컬러 아크들 (912, 914) 을 선택하는 것이 알맞다. 컬러 매핑은 측정된 강도들 (L*-값들)에 기초하여 a*, b* 좌표들을 할당함으로써 제공될 수 있다. 컬러 아크 (912) 는 -b-축으로부터 약 30도의 각도에 있는 컬러 구 (910) 상의 세로 아크에 대응한다. 컬러 아크 (914) 는 -b-축으로부터 약 60도의 각도에 있는 컬러 구 (910) 상의 세로 아크에 대응한다. 다른 아크들이 또한 사용될 수 있다. 선택된 조직 타입들에 대해 H&E 염색형 콘트라스트를 생성하는 대표적인 좌표 범위들이 아래의 테이블 2 에 요약되어 있다.
Figure pct00002
테이블 2. 선택된 조직들에 대한 CIE L*a*b* 선호 좌표 범위들
컴퓨팅 환경
도 16 및 아래의 논의는 여기에 설명된 방법을 수행하도록 구성된 소프트웨어 (예를 들어, 컴퓨터 프로그램들) 에 대한 적합한 컴퓨팅 환경의 간략하고 일반적으로 설명을 제공한다. 이들 방법들은 프로그램 모듈들에서 구성된 컴퓨터 실행가능한 명령들에서 구현될 수 있다. 프로그램 모듈들은 작업들을 수행하고 상술한 기법들을 구현하는 데이터 타입을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 및 데이터 구조들을 포함한다.
도 16 이 데스크탑 컴퓨터의 통상의 구성을 도시하지만, 본 발명은 멀티프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램가능한 소비자 전자기기들, 미니컴퓨터들, 메인프레임 컴퓨터들 등을 포함하는 다른 컴퓨터 시스템에서 구현될 수도 있다. 본 발명은 또한, 작업들이 성능을 강화시키기 위해 디바이스들을 프로세싱함으로써 병렬로 수행되는 분산 컴퓨팅 환경들에서 사용될 수도 있다. 예를 들어, 후보 이상 (candidate anomalies) 의 특징의 측정에 관한 작업들이 다중의 컴퓨터들, 단일 컴퓨터에서의 다중 프로세서들, 또는 양자상에서 동시에 수행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 디바이스들 양자에 위치될 수도 있다.
도 16 에 도시된 컴퓨터 시스템은 여기에 설명된 기술들을 구현하는데 적합하고, 프로세싱 유닛 (1621), 시스템 메모리 (1622), 및 시스템 메모리 (1622) 를 포함하는 다양한 시스템 컴포넌트들을 프로세싱 유닛 (1621) 에 상호접속하는 시스템 버스 (1623) 를 갖는 컴퓨터 (1620) 를 포함한다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 및 버스 아키텍처를 사용하는 로컬 버스를 포함하는 임의의 여러 타입의 버스 구조들을 포함할 수도 있다. 시스템 메모리는 판독 전용 메모리 (ROM) (1624) 및 랜덤 액세스 메모리 (RAM) (1625) 를 포함한다. 비휘발성 시스템 (1626) (예를 들어, BIOS) 이 ROM (1624) 에 수납될 수 있고, 스타트업 동안과 같은 개인 컴퓨터 (1620) 내의 엘리먼트들 사이에서 정보를 전달하는 기본 루틴들을 포함한다. 개인 컴퓨터 (1620) 는 예를 들어, 착탈식 디스크로부터 판독하고 그에 기록하기 위한 하드 디스크 드라이브, 착탈식 메모리 (썸 드라이브), 자기 디스크 드라이브, 및 예를 들어, 다른 광학 매체로부터 판독하고 그에 기록하기 위한 CD-ROM 디스크를 판독하는 광학 디스크 드라이브와 같은 하나 이상의 다른 컴퓨터 판독가능한 저장 디바이스들 (1630) 을 더 포함한다. 하드 디스크 드라이브, 자기 디스크 드라이브, 및 광학 디스크 드라이브는 하드 디스크 드라이 인터페이스, 자기 디스크 드라이브 인터페이스, 및 광학 드라이브 인터페이스 각각에 의해 시스템 버스 (1623) 에 접속될 수 있거나 몇몇 다른 방식으로 접속될 수 있다. 드라이브들 및 그들의 관련 컴퓨터 판독가능한 매체는 개인 컴퓨터 (1620) 에 대한 데이터의 비활성 저장부, 데이터 구조들, (동적 링크 라이브러리들 및 실행가능한 파일들과 같은 프로그램 코드를 포함하는) 컴퓨터 실행가능한 명령들 등을 제공한다. 상기 컴퓨터 판독가능한 매체의 설명이 하드 디스크, 착탈식 자기 디스크, 및 CD 를 칭하지만, 자기 카세트들, 플래시 메모리 카드들, 디지털 비디오 디스크들 등과 같은 컴퓨터에 의해 판독가능한 다른 타입의 매체를 또한 포함할 수 있다.
다수의 프로그램 모듈들이 운영 시스템, 하나 이상의 애플리케이션 프로그램들, 다른 프로그램 모듈들 및 프로그램 데이터를 포함하는 드라이브들 및 RAM (1625) 에 저장될 수도 있다. 사용자는 키보드와 같은 하나 이상의 입력 디바이스들 (1640) 또는 마우스와 같은 포인팅 디바이스를 통해 개인 컴퓨터 (1620) 에 커맨드들 및 정보를 입력할 수도 있다. 다른 입력 디바이스들은 마이크로폰, 조이스틱, 게임 패드, 위성 방송 수신 안테나, 스캐너 등을 포함할 수도 있다. 이들 및 다른 입력 디바이스들은 종종, 시스템 버스에 커플링되는 직렬 포트 인터페이스를 통해 프로세싱 유닛 (1621) 에 종종 접속되지만, 병렬 포트, 게임 포트, 이더넷, IEEE 1394, 기가비트 이더넷, 카메라 링크 또는 범용 직렬 버스 (USB) 와 같은 다른 인터페이스들에 의해 접속될 수도 있다. 모니터 또는 다른 타입의 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들 (1645) 은 또한, 디스플레이 제어기 또는 비디오 어댑터와 같은 인터페이스를 통해 시스템 버스 (1623) 에 접속된다. 모니터에 부가하여, 개인 컴퓨터들은 통상적으로 스피커 및 프린터들과 같은 다른 주변 출력 디바이스들 (미도시) 을 포함한다.
무선 접속들, 유선 접속들 (예를 들어, 이더넷 접속들) 과 같은 하나 이상의 통신 접속들 (1650) 이 통상적으로 제공되어서, 그 개인 컴퓨터 (1620) 는 통신 네트워크를 통해 통신할 수 있다. 또한, 개인 컴퓨터 (1620) 가 다양한 입력 디바이스들, 출력 디바이스들, 메모리 및 저장부를 포함하지만, 몇몇 예들에서, 이들 컴포넌트들 중 일부는 네트워크를 통한 액세스를 위해 원격으로 위치된다. 예를 들어, 상기 논의한 바와 같이 획득된 프로세싱된 이미지 데이터가 임상의에 의한 디스플레이, 평가, 및 다른 프로세싱을 위해 이러한 네트워크를 통해 원격 단말기 또는 프로세싱 시스템으로 포워딩될 수 있다. 데이터 저장부가 또한 원격일 수 있다. 개인 컴퓨터 (1620) 는 메모리에 데이터를 기록하고, 여기에 개시된 방법들에 따라 데이터를 프로세싱하며, 프로세싱된 데이터를 로컬 모니터상에 디스플레이하도록 구성될 수 있다. 그러나, 이들 기능들은 편리할 수도 있기 때문에 상이한 위치들에서 상이한 프로세싱 유닛들에 의해 수행될 수도 있다.
상기 컴퓨터 시스템은 단지 예로서 제공된다. 기술들은 매우 다양한 다른 구성들에서 구현될 수 있다. 또한, 이미지 데이터의 프로세싱에 관한 데이터를 수집하고 분석하는 매우 다양한 접근방식들이 가능하다. 예를 들어, 데이터는 적절하게 상이한 컴퓨터 시스템들상에 저장 및 디스플레이를 위해 명시야 컨텍스트 이미지들을 제공하기 위해 수집되고, 특징이 측정되고, 컬러화되며 프로세싱될 수 있다. 또한, 다양한 소프트웨어 양태들이 하드웨어에서 구현될 수 있고, 그 역도 마찬가지이다.
조직 분석 및 조직 처리 최적화
조직학적 프로토콜은 조직 구조를 보존하고 미시적 검사를 위해 관심 구조들 사이의 콘트라스트를 강화시키도록 의도된다. 이것을 달성하기 위해, 다수의 접근방식들이 사용중이고 역사적으로 사용되었다. 조직 고정은 다양한 화학물질들을 수반할 수 있고, 그 예들은 포르말린, 보우인의 고정액, 에탄올, 글루타르알데히드, 냉동보존, 마이크로파들, 가열, 아세톤, 산, 알칼리 용액들, 세정제들, 중금속들 및 다수의 다른 가교 결합제들 또는 보존제의 사용을 포함하지만 이에 한정되지 않는다. 이들 상이한 화학물질들은 디테일들을 드러내고, 세포 및 조직 구조들을 보존하고, 라벨링 및 항원 재생 및 조직학에 대한 단일 모드 이미징에서 콘트라스트를 강화시키기 위한 다른 이러한 노력들을 보조하기 위해 사용되었다. 조직에 스며들고 포매하며 현미경 절편제작법 및 초박절편법에 대한 구조들에 지지를 제공하기 위해 사용된 재료들이 광학 특징들에 또한 기여한다. 후속 처리, 염색 및 표본제작 전략들 모드가 다중 기법 이미징에 대한 광학적 및 화학적 특징들에 기여한다. 이것을 고려하여, 다중 기법 이미징 파라미터들을 최적화하고, 조직병리학에 대해 일반적으로 사용된 특정한 고정, 포매, 라벨링 및 표본제작 조건들에 대해 특정된 적절한 이미징 기법들을 선택하기 위한 연구들이 진행중이다. 이것은 상이한 종래의 수단을 통해 준비된 보관 조직을 사용하고 이미지 품질을 강화하기 위해 이미징 파라미터들을 조정함으로써 행해질 수 있다.
이미징 기법들에 대한 조직 준비 프로토콜을 최적화하는 반대의 접근방식이 또한 추구되고 있다. 이미지 품질은 조직 준비, 라벨링제, 및 이미징 기구 사이의 시너지이고, 다중 기법 이미징 전략이 이것을 고려한다. 따라서, 보존 및 준비를 위한 방법들 뿐만 아니라 조직은 광학적 또는 화학적 이미징 시스템의 일부인 것으로 고려된다. 다수의 중요한 물리적 및 화학적 단계들이 조직병리학에 대한 조직 처리에서 수반된다. 자동 조직 처리의 주요 단계들은 이미지 품질에 영향을 미치는 처리 파이프라인에서 다수의 파라미터들을 나타낸다. 상보적 정보를 생성하는 특정한 이미징 기법들을 최상으로 레버리지하기 위해, 조직 처리, 라벨링 및 표본제작의 광학적 및 화학적 품질들은 주의 깊게 제어되어야 한다. 시약들 및 화학물질들의 특수화된 염색 및 일관성을 위한 자동 장비 및 최적화된 프로토콜들의 사용은 상보적 이미징 기법들 사이의 구조적/화학적 해상도 및 콘트라스트의 품질에서 상당한 진보를 허용하도록 사용된다. 여기에 개요된 예들의 컨텍스트에서, 포르말린 고정에 의한 단백질 가교 결합, 파라핀에 포매, 디파라핀 단계들, 핵염색질의 보존, 대비염색, 특정 분자 프로브들, 표본제작제 및 조직 준비를 위해 사용된 유리와 같은 조직 준비의 방법들은 모두 이미징의 다중 모드들에 기여하도록 취해진다. 예들에서 사용된 이미징의 다중의 모드들은 굴절 콘트라스트 품질들 및 형광 신호 및/또는 분자 질량 분해를 수반한다.
대표적인 프로브들
다중 기법 콘트라스트에 기초한 의사 컬러 명시야 렌더링된 이미지들은 다양한 신호 생성 방법들을 사용하는 추가의 검출 방식들과 조합될 수 있다. 몇몇 대표적인 프로브들이 설명되었지만, 개시된 기술은 이들 예들에 한정되지 않는다. 관심의 하나 이상의 타겟들에 명확하게 결합하도록 구성되는 몇몇 프로브들은 광 흡수, 발광, 형광 수명, 화학발광, 전자 특징들, 화학적 특징들, 광스위칭가능성, 간헐적 블링킹, 방사능, 복굴절 또는 라벨 질량과 같은 다수의 광학적 및 화학-물리적 특성들에 기초하여 정보를 얻을 수 있는 라벨에 커플링될 수 있다.
특정 결합 모이어티들 및 신호 생성 모이어티들의 접합체 (conjugate) 들과 같은 신호 생성 모이어티들을 포함하는 접합체들이 생물학적 샘플에서 특정 타겟 분자들을 검출하기 위해 사용될 수 있다. 신호 생성부는 타겟의 존재 및/또는 위치를 나타내는 검출가능한 신호를 제공하기 위해 활용된다. 신호 생성 모이어티들의 예들은 한정이 아닌 예로서, 당근과산화효소, 알칼리성 인산분해효소, 산성 인산효소, 포도당 산화효소, β-갈락토시다제, β-글루쿠론산분해효소 또는 β-락탐아제와 같은 효소들을 포함한다.
신호 생성 모이어티가 효소를 포함할 때, 크로마제닉 (chromagenic) 화합물, 플루오로제닉 (fluorogenic) 화합물, 또는 루미노제닉 (luminogenic) 화합물이 검출가능한 신호를 생성하기 위해 사용될 수 있다. 크로마제닉 화합물들의 특정한 예들은, 디-아미노벤지딘 (DAB), 4-니트로펜닐포스페이트 (pNPP), 적색소, 브로모클로인돌 (bromochloroindolyl) 포스페이트 (BCIP), 니트로 블루 테트라졸리움 (NBT), BCIP/NBT, 적색소, AP 오렌지, AP 블루, 테트라메틸벤지딘 (TMB), 2,2'-아지노-디-[3-에틸벤조티아졸린 술포네이트] (ABTS), o-디아니시딘, 4-클로로나프톨 (4-CN), 니트로페닐-β-디-갈락토피라노시드 (ONPG), o-페닐렌디아민 (OPD), 5-브로모-4-클로로-3-인돌-β-갈락토피라노시드 (X-Gal), 메틸움벨리페릴-β-디-갈락토피라노시드 (MU-Gal), 피-니트로페닐-α-디-갈락토피라노시드 (PNP), 5-브로모-4-클로로-3-인돌-β-디-글루쿠로니드 (X-Gluc), 3-아미노-9-에틸 카바졸 (AEC), 푹신, 아이오도니트로테트라졸리움 (INT), 테트라졸리움 블루 및 테트라졸리움 바이올렛을 포함한다.
하나의 타입의 검출가능한 접합체가 항체 및 형광단의 공유 접합체이다. 형광단에 의해 흡수된 파장으로 이루어진 광자들을 접합체로 향하게 하는 것은, 항체를 특성화하고, 정량화하고/하거나 위치확인하기 위해 검출되고 사용될 수 있는 형광을 자극한다. 여기에 설명된 몇몇 예들은 반도체 나노결정들 (양자 도트들 또는 QDots 로서 또한 칭함) 에 기초한다. 양자 도트 바이오접합체는 이용가능한 가장 밝은 종래의 염료들에 필적하는 양자 산출을 특징으로 한다. 추가로, 이러한 양자 도트 기반 형광단들은 종래의 염료들 보다 10 내지 1000 배 많은 광을 흡수한다. 양자 도트들은 통상적으로, 형광단들에 적합하고, 종종 광표백에 내성이 있으며, 광범위한 여기, 파장 길이 및 좁은 발광 스펙트럼을 갖는다. 특정한 파장에서의 발광과 같은 특정한 발광 특징을 갖는 양자 도트들은 복수의 상이한 발광 특징들을 갖는 복수의 상이한 양자 도트들이 복수의 상이한 타겟들을 식별하기 위해 사용될 수 있도록 선택될 수 있다. 양자 도트들로부터의 발광은 좁고 대칭이며, 이것은 다른 컬러와의 오버랩이 최소화되어, 다수의 더 많은 컬러들이 동시에 사용될 수 있다는 사실에도 불구하고 인접한 검출 채널들로 통하는 최소 출혈 및 감쇠 크로스토크를 발생시키는 것을 의미한다. 대칭 및 동조가능한 발광 스펙트럼은 실질적인 스펙트럼 오버랩없이 상이한 양자 도트들의 플렉시블하고 인접한 스페이싱을 허용하는 입자들의 사이즈 및 재료 조성에 따라 변화될 수 있다. 또한, 그들의 흡수 스펙트럼은 넓고, 이것은 단일 여기 파장을 사용하여 모든 양자 도트 컬러 변형들을 동시에 여기할 수 있게 하여서, 샘플 자가형광을 최소화시킨다. 양자 도트는 양자 구속으로 인해 사이즈 의존형 전자적 및 광학적 특성들을 나타내는 나노스케일 입자이다. 양자 도트들은 예를 들어, 반도체 재료들 (예를 들어, 카드뮴 셀렌화물 및 황화납) 및 (분자 빔 에피택셜을 통해 성장된) 결정 등으로부터 구성된다.
다양한 표면 화학물질 및 형광 특징들을 갖는 다양한 양자 도트들이 Invitrogen Corporation, Eugene, OR (예를 들어, 그 각각의 특허가 여기에 참조로 통합되는 미국 특허 제 6,815,064 호 및 제 6,682,596 호 및 제 6,649,138 호를 참조) 로부터 상업적으로 입수가능하다. 양자 도트는 관심의 타겟에 대해 선택된 결합 모이어티에 커플링될 수 있다. 타겟에 바인딩된 이후에, 양자 도트는 예를 들어, 그것의 형광 특징들, 흡수 특징들, 여기 특징들 또는 형광 수명에 기초하여 검출될 수 있다.
상술한 바와 같이 양자 도트들에 기초하는 태그들을 포함하는, 멀티플렉싱된 프로브들을 갖는 다중 기법 콘트라스트 이미징에 기여하는 콘트라스트 촉진제의 다수의 예들이 사용될 수 있지만, 이미징 질량 분광을 위해 구성된 태그들이 또한 매우 유용하다. 이들 소위 "질량-태그" 는 관심의 하나 이상의 화학물질 또는 분자에 대한 특정한 결합을 위해 구성될 수 있고, 이어서, 기질 보조 레이저 탈착 이온화 (MALDI) 질량 분광 또는 다른 질량 분광 기법을 사용하여 검출될 수 있다. 하나 이상의 질량 태그들은 상술한 바와 같은 굴절률 콘트라스트 및/또는 형광을 사용하여 평가될 또는 평가된 조직 부위와 같은 검체에 적용될 수 있다. 일례에서, 리간드들 또는 항체들이 타겟 분자에 대한 결합을 위해 선택되고, 금 나노입자들 또는 다른 나노입자들에 결합된다. 나노입자상에 존재하는 리간드들 또는 항체들은 타겟 단백질에 결합한다. 타겟에 결합한 이후에, 이어서, 나노입자상의 작은 분자들이 LDI-TOF MS (laser desorption ionization time-of-flight mass spectrometry) 에 의해 분석될 수 있다. 미국 특허 7,202,472 호는 타겟에 대한 특정한 결합을 위해 커플링된 항체들을 갖는 대표적인 나노입자들을 개시한다. 각각의 나노입자들에 결합되는 대응하는 특정한 항체들 또는 리간드들을 제공함으로써 다중의 분석물들이 이러한 방식으로 검출될 수 있다. 몇몇 예들에서, 미국 특허 출원 공개 번호 2009/0088332 에 설명된 바와 같은 광분리성 질량 태그-라벨링된 항체들이 사용될 수 있다. 다른 예들에서, 미국 2002/0150927에 개시된 바와 같이, 프로브가 질량 조절제에 커플링되고, 질량 조절제는 효소를 사용하여 분리되며, 방출된 질량 조절제가 검출된다. 참조로 여기에 통합되는 WO 00/68434 에 개시된 바와 같은 다른 예들에서, MALDI 에 의해 분리가능한 특정 구별 질량들을 각각 갖는 특정 결합 올리고들을 캡슐화하는 리포솜이 제공된다.
대표적인 예들
몇몇 추가의 예들에서, Ventana Medical Systems (Tucso, AZ) 프로토콜들에 따라 준비된 포르말린 고정 파라핀 포매 조직학적 조직 부위들의 이미지들이 획득된다. 도 4, 도 5, 도 6, 도 10, 도 12, 도 13, 도 20, 및 도 21 의 예들에서, 조직 부위들은 전립선 절제로부터 렌더링되고, 반도체 나노스케일 양자 도트 (QDot) 로 형광 제자리 교합 (FISH) 을 위해 처리되고, 형광 염색 4',6-디아미디노-2-페닐인돌 (DAPI) 로 대비염색된다. QDot 검출 및 DAPI 형광은 370 +/- 20nm 의 파장 범위에서 자외선 자극 빔으로 생성될 수 있다. 이러한 자극 빔은 멀티플렉싱된 QDot 프로브들 뿐만 아니라 DAPI 와 같은 UV-흡수 핵 대비염색의 동시 멀티플렉스 여기에 대해 매우 적합하다. 예시적인 콘트라스트 방식에서의 굴절률 인덱스 콘트라스트는 암시야에 대해 밝고, 광흡수 염색에 의존하지 않으며, 따라서, 형광 콘트라스트의 동시 뷰잉 및 기록을 허용한다.
도 1 의 현미경 시스템과 같은 현미경 시스템을 사용하는 이러한 검체들을 직접 뷰잉하는 것은, 현미경 접안렌즈에 직접 설치된 롱 패스 (410 nm) 필터들을 사용하는 직접 시각화에 대해 유용한 것으로 발견되었다. 결과적으로 뷰잉된 이미지들은 금/은 조직학적 구조 중에서 블루를 나타내는 핵들을 포함한다. 직접 뷰잉을 위한 추가의 컬러 (예를 들어, 옐로우 또는 레드) 가 투과된 광 경로에서 하나 이상의 파장 필터들을 사용하여 유도될 수 있다. 조명 (형광 또는 투과된 암시야) 에 의해 제공된 콘트라스트는 다른 것에 독립적으로 단일 콘트라스트 방법으로 이미징을 가능하게 하도록 편의상 셔터될 수도 있다. 광원 강도들 (자극 빔, 암시야 조명 시야) 은, 직접 2-컬러 시각화를 밸런싱하도록 또는 표준화된 통합 시간으로 단일 센서상에 기록하도록 제어될 수 있다. 대표적인 조합된 암시야 (즉, 굴절)/형광 콘트라스트 이미지가 종래의 H&E 염색 (도 4a) 으로 생성된 동일한 검체의 직렬 부위의 이미지에 따라 2-컬러 오버레이 및 명시야 렌더링으로 도 4b 에 도시되어 있다. 도 4b 의 이미지는 컬러 LUT 및 이미지 전환 양자에 기초한다. 미염색 조직 부위 (도 4b) 에서 가시적인 데이터의 타입은 종래의 H&E 염색 이미지 (도 4a) 의 방식과 유사한 방식으로 전립선 암에 존재하는 전립선 상피내종양 (PIN) 및 이상 성장 패턴들 (도 2O, 도 21) 의 진단에서 사용될 수 있지만, 분자 프로브 국소화를 위해 또한 질문될 수 있다. 또한, 두드러진 핵소체와 같은 추가의 특징들은 DAPI 형광 단독으로는 명백하지 않다. 따라서, 이러한 조합된 이미지들 및 이들의 처리가 진단 및 처치에 유용할 수 있고, 종래의 염색 기반 이미지들과 동일한 정보를 공급할 뿐만 아니라 추가의 정보를 산출할 수 있다.
이들 예들에서, 듀얼-콘트라스트 (굴절-암시야 및 형광 각각) 이미지들이 블루 DAPI 형광 파장들 또는 더 긴 파장의 굴절 콘트라스트 광속을 선택하기 위해 간섭 필터들을 사용하여 취해진 순차적 노출들을 갖는 단색 CCD 로 기록된다. 도 5a 는 DAPI 형광을 사용한 단색 이미지이고, 도 5b 는 암시야 조명과 함께 굴절 콘트라스트로 획득된 단색 이미지이다. 도 5a 및 도 5b 의 이미지들의 조합들에 기초하는 추가의 이미지들이 도 5c 및 도 5d 에 도시되어 있다. 도 5c 는 도 5a 및 도 5b 의 단색 이미지들을 오버레이하고, 콘트라스팅 컬러 룩업 테이블 (LUT) 들에 기초하여 의사-컬러 매핑을 적용함으로써 획득된 의사-컬러 이미지이다. 도 5d 는 도 5c 의 이미지의 반전 및 컬러링 이후의 도 5c 의 이미지에 대응하는 이미지이다. 도 5d 의 이미지를 도 5c 의 이미지의 "명시야 렌더링" 으로 칭할 수 있다.
도 2 를 참조하여 상기 논의한 바와 같이, 다중의 형광 이미지들이 획득되고 조합될 수 있다. 의사 명시야 방법을 사용하여 DNA 시퀀스 특정 프로브들을 국소화하고 렌더링하는 능력이 도 18 에 개요된 단계들에 따라 준비된 DAPI 대비염색 전립선 조직에 대해 ERG 유전자 브레이크-어파트 (break-apart) FISH 측정의 컨텍스트에서 3'5' ERG 브레이크-어파트 프로브를 사용하여 테스트되었다. 프로브 강도 레벨들에 의사-컬러 룩업 테이블들을 적용하고 전환 이전에 가색 방식으로 오버레이하는 능력은 의사-명시야에서 렌더링된 굴절 콘트라스트 및 DAPI 대비염색 이미지와 동시에 적어도 2개의 형광 프로브들을 식별하기 위해 충분한 콘트라스트를 생성하는 것으로 발견되었다. 565 nm 및 655 nm 에서의 QDot 프로브 국소화의 순차적 획득이 DAPI 염색 샘플로부터 획득되었고 DAPI 대비염색의 굴절 콘트라스트 및 형광에 따라 도 6 에 도시된 이미지를 생성하도록 처리된다. 도 6 에 대한 삽입부에 도시되어 있는 바와 같이, 이러한 획득은 듀얼 프로브 FISH 국소화의 명시야 렌더링 및 디스플레이를 허용한다 (565 nm 및 655 nm 각각에서의 프로브 국소화에 대응하는 그린 및 레드 영역들로 향하는 화살표를 참조). 이러한 경우에서, 프로브 강도들은 의사-컬러, 의사-명시야 굴절률/DAPI 콘트라스트 이미지상에 오버레이된다. 따라서, 종래의 H&E 염색으로 획득된 것들과 유사한 이미지 특징들이 QDot 프로브들에 의해 나타난 추가의 분자 단색 재배열들에 따라 뷰잉될 수 있다. 전체 외관은 H&E 염색 이미지들에 익숙한 이미지들과 친숙하고, 임상의가 이들 이미지들에 기초하여 검체들을 수월하게 평가하기 위해 리트레이닝이 거의 또는 전혀 필요하지 않다.
다른 예에서, 단백질 특정 면역 프로브들 (CD20 항원에 대한 QD565 및 Ki67 항원에 대한 QD655) 이 도 7 에 도시된 바와 같이 이미지들을 생성하기 위해 DAPI 대비염색 편도선 조직 부위들에 적용된다. 조직 처리 및 콘트라스트 최적화를 위해 사용된 일반화된 처리 단계들이 도 18 에 개요되어 있다. 암시야 굴절 이미지들 및 DAPI 형광 기반 이미지들이 도 7 (1a-3a) 에 도시된 바와 같이 의사-컬러 의사-명시야 이미지들로서 획득되고, 오버레이되고, 렌더링된다. 면역-프로브 형광 기반 이미지들이 각각의 프로브 검출에 대해 획득되고, 도 7 (1b-3b) 에 도시된 바와 같이 콘트라스팅 컬러들에서 형광 이미지로서 함께 오버레이된다. 도 7 (1b-3b) 에 도시된 바와 같이, QD565 및 QD655 프로브들에 대한 프로브 국소화 이미지들이 그린 및 레드 각각으로 의사-컬러화된다. 도 7 (1a-3a) 및 도 7 (1b-3b) 의 이미지들은 최종 이미지들을 생성하기 위해 조합되어, 조직 구조 컨텍스트상의 프로브 국소화를 나타낸다 (도 7 (1c-3c)).
다른 예들은 명시야 컨텍스트상에 프로브 국소화를 오버레이하는 2개의 방법들을 예시한다. 도 8a 는 도 7 의 이미지들을 획득하는데 사용된 DAPI 대비염색 검체에 대해 QD565 및 QD655 프로브들을 사용한 형광 프로브 이미지들을 갖는 의사-명시야 이미지의 가색형 오버레이이다. 도 8b 는 프로브 이미지 컬러 맵들이 의사 H&E 이미지로부터 감산되는 감색형 오버레이이다. 감산 오버레이는 광 흡수 염색으로 획득된 이미지들을 더 밀접하게 근사할 수도 있고, 콘트라스트 생성 및 멀티플렉싱된 이미지 오버레이에서 바람직하다.
다른 예에서, mRNA-특정 ISH 프로브들 (18s 리보솜 RNA에 대해 QD605 및 HER2 mRNA 에 대해 QD625) 이 도 19 에 도시된 바와 같은 이미지들을 생성하기 위해 DAPI 대비염색 Calu-3 이종이식 조직 부위들에 적용된다. 조직 처리 및 콘트라스트 최적화를 위해 사용된 일반화된 처리 단계들이 도 18 에 개요되어 있다. 암시야 굴절 이미지들 및 DAPI 형광 기반 이미지들이 도시된 바와 같이 의사-컬러 의사-명시야 이미지들로서 획득되고, 오버레이되며, 렌더링되고, 형광 기반 이미지들은 각 프로브 검출을 위해 획득되고 명시야 컨텍스트 렌더링과 함께 조합된다. 도 19 에 도시된 바와 같이, QD605 및 QD625 프로브들에 대한 프로브 국소화 이미지들은 시안 (블랙 화살표) 및 블랙 (그린 화살표) 각각으로 의사-컬러화된다. 이에 의해, 도 19 의 최종 이미지는 조직 구조 컨텍스트상의 프로브 국소화를 나타낸다.
비디오 레이트 이미징을 설명하기 위해, 2-컬러 이미징 방법이 단일의 단색 CCD 상에서 나란한 뷰의 정확히 동일한 시야의 2개의 파장 성분들을 투영하고 더 긴 파장 굴절 콘트라스트로부터 DAPI 발광 파장들을 분리하기 위해 도 11 에 개요된 바와 유사한 이미징 빔스플리터를 사용하여 테스트된다. 2차 빔스플리터를 사용하는 것은 2개의 컬러 채널들의 동시 이미지 획득을 허용하고, 컴퓨터 디스플레이로의 스트리밍 뿐만 아니라 고속 시간의 기록의 스트리밍은 카메라의 요구된 통합 시간 및 판독 시간에 의해서만 제한된 시퀀스들을 랩스 (lapse) 한다. 도 12 는 동시에 획득된 동일한 조직 부위의 나란한 굴절률 (암시야) 이미지 (A) 및 DAPI 이미지 (B) 를 포함한다.
상보적 다중 모드 이미지들을 생성하기 위해 사용된 개별 파장 대역들의 단색 강도 캡처의 사용은, DAPI 대비염색에 대한 개별 그레이-스케일 강도 이미지들, 투과된 암시야 이미지, 및 하나 이상의 프로브 국소화에 대한 특수화된 룩업 테이블들의 편리한 적용을 허용한다. 최저의 픽셀 강도들을 RGB 공간에서 화이트에 그리고 가장 밝은 픽셀들을 소정의 색도의 풀 채도에 매핑하는 방법이 스트리밍 이미지들의 획득의 컨텍스트에서 테스트되었다. 투과된 암시야 이미지의 이러한 대안의 렌더링은 다양한 배율들에서 실시간으로 네비게이션될 수 있고, 스냅샷 이미지들이 원하는 대로 기록될 수도 있다. 도 13 은 도 12 의 나란한 이미지들에 기초한 2 컬러 오버레이 (의사-컬러 및 이미지 반전) 를 포함한다. (이러한 이미지가 도 12 이미지에 관하여 회전된다는 것에 유의한다) 이러한 이미지들은 고속으로 생성되고 오버레이될 수 있고, 이것은 조직 구조 및 대비염색의 '라이브' 컬러 명시야 뷰잉의 인지를 허용한다. 이러한 접근방식은 단일 센서 또는 하나 이상의 센서들상에 투영된 다중의 파장들을 갖는 다중의 센서들의 조합의 상이한 영역들상의 투영을 위해 광을 다중의 파장 대역들로 분할함으로써, 또는 다중의 센서들을 사용하여 라이브 프로브 오버레이로 확장될 수 있다. 다르게는, 암시야 굴절 및 형광 이미지들은 양자가 참조로 여기에 통합되는 1996년 Malik 등 및 2002년 Hoyt 등에 의해 설명된 바와 같은 스펙트럼 이미징 디바이스를 사용하거나, 단일 쇼트 베이어-마스크 컬러 카메라를 사용함으로써 순차적 검출, 순차적 조명을 사용하여 기록될 수도 있다.
굴절률, 형광, 또는 다른 방법들 (도 22) 를 사용하는 광학 기반 콘트라스트가 도 1 및 도 11 의 현미경 시스템들에서 사용될 수 있지만, 이러한 방식으로 평가된 검체들은 또한, 질량 분광에서 질량 태그들을 사용하여 추가의 분석을 위해 준비될 수 있다. 대표적인 예에서, 코팅되지 않고 기질 코팅된 쥐 신장 조직들이 표준 질량 분광 이미징 프로토콜을 사용하여 준비된다. 핵 대비염색은 사용되지 않지만, 조직 에지들에서의 굴절률 차이들에 기초하고 형광 검출 광학 서브시스템을 사용하여 자가형광을 검출함으로써 총 부위 형태 및 조직 존재를 이미징하는 것이 가능하였다. 대표적인 부위들이 도 14 에 예시되어 있다. 노출 조직 에지들에서의 굴절은 에지들로 하여금 밝게 나타나게 하고, 블루 자가형광은 조직 자체와 관련된다. 도 15 는 질량 분광을 위한 이온화 기질의 침전 이후의 쥐 신장 조직들의 조합된 암시야/자가형광 이미지들을 예시하는 이미지들을 포함한다. 기질 결정들은 옐로우를 나타내고, 자가형광은 블루를 나타낸다. 이들 이미지들은, 이온화 기질의 적용 이후에도, 암시야 및 형광 이미지들이 획득될 수 있다는 것을 나타낸다.
추가의 논의
암시야 굴절률 콘트라스트 및 형광은 형광 핵 대비염색으로 염색된 조직 샘플들에서 다중의 기법 콘트라스트를 갖는 이미지들을 생성하기 위해 몇몇 개시된 예들에서 동시에 사용되었다. 이러한 접근방식은 병리학적 조건의 결정을 위해, 동일한 조직 부위에 대해 QDot 검출로 IHC, FISH, 및 mRNA-ISH 에 대한 멀티플렉싱된 분자 특정 프로브들의 사용에 유용하고, 또한 질량 분광을 이미징하기 위해 준비된 조직들을 이미징하기 위해 사용될 수도 있다. 이러한 다중 기법 콘트라스트 방식은 H&E 와 같은 루틴 조직학적 명시야 염색/대비염색 조합들과 유사한 방식으로 상보적인 구조적 컨텍스트 정보를 제공하는 것으로 설명되었다. 굴절률 컨텍스트를 통해 가시적인 구조들은 단백질 모이어티들을 포함하고, 이러한 이미지들은 핵소체, 세포외 기질, 및 세포 및 핵 막들과 같은 구조들을 포함하는 알려진 병리학적 중요성의 구조적 이상 및 성장 패턴들의 시각화를 허용한다. 형광 조명하에서, 이러한 구조들만이 명백하지 않다. 굴절률/형광 콘트라스트를 사용하여 시각화된 특정한 구조들은, 동일한 조직 부위상에서 분자 프로브 신호들의 관찰을 위한 컨텍스트를 제공하고, 전암 및 암 질병 상태들의 진단 및 조직들의 검사에서 의사를 돕는다. 암시야 굴절률 콘트라스트는, 이 접근방식이 암시야에 대해 밝은 특징을 제공하고 광 흡수 염색을 사용하지 않는다는 점에서 특히 유용하다. 따라서, 굴절 콘트라스트는 특수화된 조직 고정, 포매 및 염색 프로토콜들을 사용하여 준비된 투명 조직 부위들에 대한 암 마커들의 국소화를 위해 사용된 멀티플렉싱된 형광 발광 프로브들과의 직접 조합에 필적한다. 이러한 방법은 QDot 프로브들의 정량적 스펙트럼 이미징과 조합될 때 프로브 화학물질 또는 정량을 방해하지 않는다. 굴절-콘트라스트에 대한 조명 파장을 프로브 발광으로부터 레드-시프트되는 파장으로 제약함으로써, 조명 방법들은 멀티플렉싱된 프로브들의 스펙트럼 이미지 데이터 획득의 컨텍스트에서 동시에 사용될 수 있다. 형광과 조합된 굴절-콘트라스트는 또한, 질량 분광을 이미징하기 위해 의도된 투명 조직들에 대한 조직 컨텍스트 및 병리학적 상태의 이미징을 허용한다.
조합된 콘트라스트 방법들 (굴절 콘트라스트 및 형광) 은 콘트라스팅 컬러에서 접안렌즈를 통해 동시에 직접적으로 시각화될 수도 있다. 또한, 2-컬러 이미지 데이터가 관심 필드들의 편리한 스냅샷 기록 및 실시간 출력을 위해 스트리밍 방식으로 직접적으로 기록 및/또는 디스플레이될 수 있다. 단색 카메라에 대한 동시 멀티-파장 획득의 사용은 암시야 굴절 이미지 및 형광 핵 대비염색 이미지에 대한 스트리밍 그레이-스케일 강도 이미지들에 특수화된 컬러 룩업 테이블들을 적용하기 위한 편리한 수단을 제공한다. 특정한 조직 타입들의 컨텍스트에서 의사들에 의해 선호되는 알려진 컬러 값들에 대응하는 CIEL*a*b* 룩업 테이블들의 적용은 개업 의사에 대한 조직 구조의 프리젠테이션을 더 정교하게 한다. 함께 고려하여, 주의 깊은 조직 처리, 다중 기법 콘트라스트 획득 및 이미징 데이터 처리는 종래의 헤마톡실린 및 에오신 (H&E) 염색조직 부위들로부터 도출될 수 있는 것과 유사한 정보를 제공할 수 있다. 이러한 이미지들은 또한, 핵내 세포질 및 세포외 유전자, mRNA 표현 및 단백질 항원 마커들 및 다르게는 염색되지 않은 인간 조직에 대한 다른 특정한 프로브들과 관련된 프로브 기반 이미지 데이터와 조합될 수 있다. 적절한 컬러 매핑들 및 이미지 반전들을 사용함으로써, 이미지 데이터는 친숙한 방식으로 트레이닝된 임상의에게 제공 및 디스플레이될 수도 있고, 질량 스펙트럼 데이터와 같은 동일한 시야로부터의 광학적으로 활성이거나 화학적으로 분석가능한 데이터가 이러한 친숙한 컨텍스트상에 오버레이될 수도 있다.
결론
상술한 바와 같이, 다중 기법 콘트라스트가 세포들 및 조직에서 보관되고, 강화되며 나타날 수 있다. 이들 콘트라스트 엘리먼트들은 투과된 백색광 조명하에서 뷰잉된 파장 흡수 염색으로 생성된 것들과 유사한 이미지들을 생성하기 위해 조합되고 렌더링될 수 있다. 다중 기법 콘트라스트 이미지들은 특수화된 처리를 통해 조직으로 통합된 다양한 광학적 및 화학적 특징들을 사용한다. 콘트라스팅된 컴포넌트들은 동일한 해부학적 구조들 및 조직화학을 나타내기 위해 역사적으로 사용된 전형적인 콘트라스트 방법들에 기초한 엔지니어링된 컬러 방식들을 사용하여 효율적으로 분할되어 디지털적으로 제공될 수 있어서, 의료적 트레이닝 및 경험에 대한 관련성을 제공한다. 결과적인 구조적 컨텍스트가 병리학적 결정을 위해 그리고 멀티플렉싱된 분자 및 화학적 마커들에 대한 컨텍스트를 또한 제공하기 위해 사용될 수 있다. 이러한 접근방식은 획득하는 것이 어려울 수도 있거나 불가능할 수도 있는 중요한 상관 정보를 제공한다. 몇몇 예들에서, 굴절률 및 형광 DAPI 대비염색 이미지들로부터 도출된 암시야 콘트라스트가 조합되어 종래의 H&E 염색으로 획득된 이미지들과 유사한 이미지들을 생성한다. 이들 다중 기법 데이터 이미지들은 조직 부위들의 병리학적 해석에서 유용한 것으로 나타났다. 또한, 이러한 다중 기법 이미지 데이터는 병리학적 샘플들의 라이브 네비게이션을 허용하도록 모니터로 스트림될 수 있다. 다른 예들에서, 이러한 구조적 컨텍스트는 그 후에, 유전 DNA 프로브들의 분자 국소화 (FISH), mRNA 표현의 사이트 (mRNA-ISH), 및 동일한 조직 부위들상에 국소화된 면역조직화학 (IHC) 프로브들과 조합된다. 다중 기법 콘트라스트는 질량 분광을 위해 준비된 조직 부위들을 평가 및 매핑하기 위해 또한 사용될 수도 있다.
굴절 콘트라스트가 편리한 예이지만, 다른 방법들이 또한 적합하다. 아래의 테이블 3 은 병리학적 결정을 위해 분자 정보와 조합된 유용한 조직 구조적 컨텍스트를 제공하기 위해 조합될 수 있는 상보적 정보를 생성하기 위해 사용될 수도 있는 콘트라스트 기법들을 리스트한다. 테이블 4 는 조직에 대한 면역세포화학, DNA 및 mRNA 의 분자 라벨링을 위해 사용된 자동 조직 준비의 주요 단계들을 리스트한다. 이들 표준화된 단계들의 상세들은 병리학적 결정을 위한 다중의 모드 이미징들 허용하는 광학적 및 화학적 품질들에 영향을 미친다.
Figure pct00003
Figure pct00004
Figure pct00005
Figure pct00006
이러한 콘트라스트 기법들을 사용하여, 진단 방법들은 조직에서 의료적 진단 관련성의 특징들에 콘트라스트의 2개 이상의 기법들을 제공하는 단계를 포함하고, 콘트라스트의 2개 이상의 기법들은 상보적 상관 정보를 제공하고, 2개 이상의 기법들은 조직-레벨 구조, 해부학 또는 형태학에 속하는 구문 정보를 제공한다. 통상적으로, 구문 컨텍스트의 2개 이상의 기법들과 관련된 이미지들은 의료적 트레이닝에 따르고 의료적 전문가에게 친숙한 방식 (예를 들어, 의사-H&E) 으로 렌더링된다. (렌더링 이전, 동안, 또는 이후의) 이러한 이미지들은 동시에 또는 순차적으로 기록될 수 있고, 네비게이션을 위해 조직의 라이브 시각화를 허용하도록 디스플레이상에 렌더링하기 위해 스트림될 수 있다. 몇몇 예들에서, 2개 이상의 독립형 조명 경로들이 사용된다. 다른 예들에서, 투과된 암시야 굴절 콘트라스트 이미지들은 입사광 형광 콘트라스트로 동시에 획득되거나 처리된다. 몇몇 애플리케이션들에서, 암시야 굴절 콘트라스트는 사용된 광의 파장을 제한함으로써 분할된다. 다른 예들에서, 입사광 형광 콘트라스트는 투과된 암시야 콘트라스트와 동시에 사용된다.
몇몇 예들에서, 상보적 콘트라스트 이미지들이 접안렌즈를 통해 2개 이상의 컬러화된 컴포넌트들에서의 직접적인 뷰잉을 위해 제공되거나 디스플레이로 향한다. 몇몇 경우들에서, 단일 획득에서 2개 이상의 상보적 콘트라스트 컴포넌트들을 획득하고 단일 스펙트럼 획득에서 다중의 조명 경로들의 상보적 컴포넌트들을 동시에 기록하는 것이 편리하다. 몇몇 예들에서, 상보적 컴포넌트들은 광학 경로를 동시에 파장 분할하고 스플릿함으로써 기록된다.
다른 예들에서, 상보적 콘트라스트 컴포넌트들은 통상적으로, 광 흡수 염색 슬라이드들의 의사의 선호도로부터 생성된 컬러 맵들에 기초하여 병리학적 염색 명시야 콘트라스트를 제공하도록 렌더링된다. 몇몇 예들에서, 에오신형 컬러 맵들이 호산성 단백질 모이어티들의 굴절 이미징을 위해 사용된다. 통상적으로, 에오신 컬러 맵들이 적용된 후 이미지 반전이 후속한다. 추가로, 핵산 모이어티들의 형광 DAPI 이미징을 위해 헤마톡실린형 컬러 맵이 사용될 수 있고, 그 후 이미지 반전이 후속한다. 이들 및 다른 상보적 콘트라스트 컴포넌트들은 컬러화될 수 있고 스트림될 수 있다. 인버팅된 에오신 컬러 맵들 및 인버팅된 헤마톡실린 컬러 맵들이 제공될 수 있고, 명시야 컨텍스트에서 디스플레이된 조합된 이미지들일 수 있다.
공간적으로 등록된 프로브 국소화 및 화학적 맵들이 구조적 명시야 컨텍스트상에 오버레이될 수 있고, 프로브 국소화는 구조적 명시야 컨텍스트상에서 프로브 국소화 및 화학적 맵들을 뷰잉하기 위한 할당될 컬러들이다. 이미징 기법들, 컬러 룩업 테이블들, 반전들, 및 검체 준비는 병리학적 선호도에 기초하여 선택된 이미지 외관을 제공하도록 구성될 수 있다. 물리적, 광학적 및 화학적 조직 부위 준비 프로토콜들은 다중 모드의 이미징 전략에 따라 구성될 수 있다. 다중의 광학적 배율들이 동일한 암시야 굴절 조명 세팅들과 사용될 수 있고, 다중기법 이미지 콘트라스트가 후속 MALDI-TOF 질량 분광 이미징에 대한 구조적 컨텍스트를 제공하기 위해 사용될 수 있다.
상기 개시물 및 그 안에 포함된 예들은 편의상 설명을 위한 것이며, 기술의 범위를 제한하는 것으로 취해지지 않는다. 첨부한 청구범위에 의해 포함되는 모든 것을 청구한다.

Claims (37)

  1. 검체 (specimen) 의 적어도 하나의 제 1 이미지 및 적어도 하나의 제 2 이미지를 생성하는 단계로서, 상기 생성된 제 1 이미지 및 제 2 이미지는 상보적 콘트라스팅 이미지 파라미터들을 포함하는, 상기 이미지들을 생성하는 단계; 및
    관찰을 위해 콘트라스팅 이미지들을 발생시키는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 검체가 제 1 자극 빔 및 제 2 자극 빔 각각의 대상이 됨으로써 상기 적어도 하나의 제 1 이미지 및 상기 적어도 하나의 제 2 이미지를 획득하는 단계를 더 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 제 1 이미지와 상기 제 2 이미지는 조합되어 조합된 이미지를 발생시키는, 방법.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 제 1 자극 빔 및 상기 제 2 자극 빔은 상기 검체에 동시에 적용되고, 연관된 콘트라스팅 상보적 이미지들이 동시에 획득되는, 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 나란히 디스플레이하는 단계를 더 포함하는, 방법.
  6. 제 2 항에 있어서,
    상기 조합된 이미지를 디스플레이하는 단계를 더 포함하는, 방법.
  7. 제 2 항에 있어서,
    제 1 콘트라스팅 이미지 및 제 2 콘트라스팅 이미지를 대응하는 기록된 이미지들로서 기록하는 단계를 더 포함하는, 방법.
  8. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 검체는 형광 염색되고, 상기 제 1 자극 빔은 상기 제 1 이미지가 상기 검체의 형광 이미지이도록 형광 염색에 의해 형광을 발생시키도록 선택되고, 또한, 상기 제 2 자극 빔은 상기 제 2 이미지가 굴절 암시야 이미지이도록 상기 검체에 적용되는, 방법.
  9. 제 8 항에 있어서,
    상기 형광 이미지 및 상기 굴절 암시야 이미지를 대응하는 기록된 이미지들로서 기록하는 단계를 더 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 기록된 암시야 이미지에 컬러 매핑을 적용하여 의사-컬러 암시야 이미지를 발생시키는 단계; 및
    상기 의사-컬러 암시야 기록된 이미지와 상기 기록된 형광 이미지를 조합하여 조합된 기록 이미지를 발생시키는 단계를 더 포함하는, 방법.
  11. 제 10 항에 있어서,
    상기 컬러 매핑은 적어도 하나의 흡수 염색과 연관된 컬러 룩업 테이블에 기초하는, 방법.
  12. 제 11 항에 있어서,
    상기 염색은 에오신 (eosin) 염색인, 방법.
  13. 제 10 항에 있어서,
    상기 형광 이미지에 컬러 룩업 테이블을 적용하는 단계를 더 포함하고, 상기 컬러 룩업 테이블은 적어도 하나의 흡수 염색과 연관되는, 방법.
  14. 제 13 항에 있어서,
    상기 형광은 DAPI 형광이고, 상기 형광 이미지와 연관된 상기 컬러 룩업 테이블은 헤마톡실린 (hematoxylin) 염색에 기초하는, 방법.
  15. 제 10 항에 있어서,
    상기 조합된 기록 이미지에 기초하여 의사-명시야 기록 이미지를 발생시키는 단계를 더 포함하는, 방법.
  16. 제 15 항에 있어서,
    헤마톡실린 및 에오신 염색과 연관된 이미지 콘트라스트를 갖는 이미지를 발생시키기 위해 상기 굴절 암시야 이미지 및 형광 이미지에 컬러 룩업 테이블을 적용하는 단계를 더 포함하는, 방법.
  17. 제 2 항에 있어서,
    상기 검체의 질량 분광 이미지를 생성하는 단계를 더 포함하는, 방법.
  18. 검체의 제 1 이미지를 발생시키도록 구성된 제 1 이미징 시스템; 및
    상기 검체의 제 2 이미지를 발생시키도록 구성된 제 2 이미징 시스템을 포함하고,
    상기 제 1 이미지 및 상기 제 2 이미지는 상보적 이미지들인, 이미징 장치.
  19. 제 18 항에 있어서,
    상기 제 1 이미징 시스템은 상기 제 1 이미지를 굴절 암시야 이미지로서 발생시키도록 구성된 굴절 암시야 광학 시스템이고, 상기 제 2 이미징 시스템은 상기 제 2 이미지를 형광 이미지로서 발생시키도록 구성된 형광 광학 시스템인, 이미징 장치.
  20. 제 18 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지를 수신하도록 커플링된 적어도 하나의 이미지 캡처 디바이스, 및 상기 제 1 이미지 및 상기 제 2 이미지를 기록하도록 구성된 이미지 프로세서를 더 포함하는, 이미징 장치.
  21. 제 20 항에 있어서,
    상기 이미지 프로세서는 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 조합된 이미지를 발생시키도록 구성되는, 이미징 장치.
  22. 제 21 항에 있어서,
    상기 이미지 프로세서는 상기 제 1 기록된 이미지 및 상기 제 2 기록된 이미지 중 적어도 하나의 의사-컬러화된 렌더링에 기초하여 상기 조합된 이미지를 발생시키기 위해 상기 제 1 기록된 이미지 및 상기 제 2 기록된 이미지 중 적어도 하나에 컬러 룩업 테이블을 적용하도록 구성되는, 이미징 장치.
  23. 제 22 항에 있어서,
    상기 조합된 이미지를 의사-명시야 이미지로서 렌더링하는 것을 더 포함하는, 이미징 장치.
  24. 제 23 항에 있어서,
    상기 이미지 프로세서는 에오신 염색과 연관된 컬러 룩업 테이블에 기초하여 상기 제 1 이미지를 처리하고, 헤마톡실린 염색과 연관된 컬러 룩업 테이블에 기초하여 상기 제 2 이미지를 처리하도록 구성되고, 상기 조합된 이미지는 상기 처리된 제 1 이미지 및 상기 처리된 제 2 이미지에 기초하는, 이미징 장치.
  25. 제 20 항에 있어서,
    상기 이미지 캡처 디바이스는 상기 제 1 이미지 및 상기 제 2 이미지를 나란한 이미지들로서 수신하도록 구성되는, 이미징 장치.
  26. 제 21 항에 있어서,
    상기 이미지 프로세서는 상기 제 1 이미지 및 상기 제 2 이미지를 오버레이하여 상기 조합된 이미지를 발생시키도록 구성되는, 이미징 장치.
  27. 제 26 항에 있어서,
    상기 조합된 이미지를 수신하여 디스플레이하도록 구성된 디스플레이를 더 포함하는, 이미징 장치.
  28. 검체 부위의 공통 부분과 연관된 제 1 이미지 및 상보적 제 2 이미지를 수신하며;
    상기 제 1 이미지와 상기 제 2 이미지를 조합하여 조합된 이미지를 발생시키는
    컴퓨터 실행가능한 명령들을 포함하는, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  29. 제 28 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 하나에 기초하여 의사-컬러 이미지를 발생시키는 컴퓨터 실행가능한 명령들을 더 포함하고, 상기 조합된 이미지는 적어도 하나의 의사-컬러 이미지에 기초하는, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  30. 제 29 항에 있어서,
    상기 조합된 이미지를 인버팅하여 명시야 렌더링된 이미지를 발생시키는 컴퓨터 실행가능한 명령들을 더 포함하는, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  31. 제 28 항에 있어서,
    상기 공통 검체 부위의 질량 분광 이미지를 수신하고, 상기 조합된 이미지에서 상기 질량 분광 이미지를 포함시키는 컴퓨터 실행가능한 명령들을 더 포함하는, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  32. 제 28 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지는 각각 암시야 굴절 콘트라스트 이미지 및 형광 이미지인, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  33. 제 32 항에 있어서,
    상기 제 1 이미지는 에오신 염색과 연관된 컬러 룩업 테이블에 기초하여 처리되고, 상기 제 2 이미지는 헤마톡실린 염색과 연관된 컬러 룩업 테이블에 기초하여 처리되며, 상기 조합된 이미지는 상기 처리된 제 1 이미지 및 상기 처리된 제 2 이미지에 기초하는, 적어도 하나의 컴퓨터 판독가능한 저장 매체.
  34. 적어도 제 1 이미지 및 상보적 제 2 이미지를 수신하도록 구성된 이미지 입력부들;
    적어도 하나의 컬러 룩업 테이블을 수신하도록 구성된 컬러 룩업 테이블 입력부; 및
    상기 적어도 하나의 컬러 룩업 테이블에 기초하여 상기 제 1 이미지 및 상기 상보적 제 2 이미지 중 적어도 하나를 처리하여 의사-컬러 이미지를 발생시키고, 상기 의사-컬러 이미지를 상기 제 1 이미지 및 상기 제 2 이미지 중 하나와 조합하도록 구성된 이미지 조합기를 포함하는, 이미지 프로세서.
  35. 제 34 항에 있어서,
    상기 이미지 조합기는 조합된 이미지에 기초하여 명시야 렌더링을 발생시키도록 구성되는, 이미지 프로세서.
  36. 제 35 항에 있어서,
    상기 컬러 룩업 테이블 입력부는 흡수 염색과 연관된 제 1 컬러 룩업 테이블 및 형광 염색과 연관된 제 2 컬러 룩업 테이블을 수신하도록 구성되고, 상기 이미지 조합기는 상기 제 1 컬러 룩업 테이블 및 상기 제 2 컬러 룩업 테이블 각각에 기초하여 상기 제 1 이미지 및 상기 제 2 이미지를 처리하도록 구성되고, 상기 조합된 이미지는 상기 처리된 제 1 이미지 및 상기 처리된 제 2 이미지에 기초하는, 이미지 프로세서.
  37. 제 36 항에 있어서,
    상기 흡수 염색은 에오신 염색이고, 상기 형광 염색은 헤마톡실린 염색인, 이미지 프로세서.
KR1020127009424A 2009-10-12 2010-10-07 조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링 KR101388291B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25080909P 2009-10-12 2009-10-12
US61/250,809 2009-10-12
US27893609P 2009-10-13 2009-10-13
US61/278,936 2009-10-13
PCT/US2010/051857 WO2011046807A2 (en) 2009-10-12 2010-10-07 Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue

Publications (2)

Publication Number Publication Date
KR20120066654A true KR20120066654A (ko) 2012-06-22
KR101388291B1 KR101388291B1 (ko) 2014-04-22

Family

ID=43876802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009424A KR101388291B1 (ko) 2009-10-12 2010-10-07 조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링

Country Status (10)

Country Link
US (1) US9310302B2 (ko)
EP (1) EP2488860A4 (ko)
JP (1) JP5540102B2 (ko)
KR (1) KR101388291B1 (ko)
CN (1) CN102667473B (ko)
AU (1) AU2010307140B2 (ko)
CA (1) CA2774422C (ko)
IL (1) IL218553B (ko)
IN (1) IN2012DN02337A (ko)
WO (1) WO2011046807A2 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013014562A2 (pt) * 2010-12-13 2017-07-04 Koninl Philips Electronics Nv método de análise de uma região de interesse em um objeto, dispositivo de análise de uma região de interesse em um objeto, produto de programa de computador e meio legível por computador
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
JP5826561B2 (ja) * 2011-08-24 2015-12-02 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
JP5784435B2 (ja) * 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
CN102426124B (zh) * 2011-11-08 2013-07-03 中国人民解放军第四军医大学 用于病理组织冰冻切片的捞片展片装置及方法
SG193046A1 (en) * 2012-02-23 2013-09-30 Histoindex Pte Ltd A digital imaging system for biopsy inspection
US9322777B2 (en) 2012-10-29 2016-04-26 Tokitae Llc Systems, devices, and methods employing angular-resolved scattering and spectrally resolved measurements for classification of objects
US9836865B2 (en) * 2012-12-06 2017-12-05 Ge Healthcare Biosciences Corp. Systems and methods for split screen display of biological specimen and for capturing records thereof
RU2012156158A (ru) * 2012-12-24 2014-07-10 ЭлЭсАй Корпорейшн Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений
JP6503335B2 (ja) 2013-03-12 2019-04-17 サイトヴィヴァ， インコーポレイテッド 生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための３次元画像処理
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
CN113349707A (zh) 2013-12-31 2021-09-07 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
TW201546486A (zh) * 2014-06-11 2015-12-16 Univ Nat Cheng Kung 利用數位微型反射鏡元件之多光子螢光激發顯微裝置
GB2528283B (en) * 2014-07-16 2020-08-05 Barco Nv Image colour calibration with multiple colour scales
JP6531403B2 (ja) * 2015-01-27 2019-06-19 株式会社ニコン 顕微鏡
AU2016228748B2 (en) * 2015-03-11 2021-08-19 The General Hospital Corporation Plasmonic nanoparticle immunoassay method
US10672505B2 (en) 2015-06-03 2020-06-02 General Electric Company Biological data annotation and visualization
US9953133B2 (en) 2015-06-03 2018-04-24 General Electric Company Biological data annotation and visualization
WO2016201186A1 (en) * 2015-06-11 2016-12-15 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images
EP3312606B1 (en) * 2015-06-16 2019-09-25 Konica Minolta, Inc. Pathological specimen, method for producing pathological specimen, and method for acquiring fluorescence image
KR20170007181A (ko) 2015-07-10 2017-01-18 3스캔 인크. 조직학적 염색제의 공간 다중화
JPWO2017060954A1 (ja) 2015-10-05 2018-07-19 オリンパス株式会社 撮像装置
JP6703824B2 (ja) 2015-11-30 2020-06-03 シスメックス株式会社 細胞選択方法、細胞検出方法、細胞選択装置、および細胞検出装置
JP6597316B2 (ja) * 2016-01-06 2019-10-30 コニカミノルタ株式会社 画像処理装置及びプログラム
JP6763407B2 (ja) * 2016-01-19 2020-09-30 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2017136676A1 (en) 2016-02-05 2017-08-10 Nanoview Diagnostics Inc. Detection of exosomes having surface markers
EP4273799A3 (en) 2016-02-08 2023-12-06 Imago Systems, Inc. System and method for the visualization and characterization of objects in images
CN109074645B (zh) * 2016-04-06 2021-12-14 豪夫迈·罗氏有限公司 用于ihc图像分析的空间索引创建
EP3469548B1 (en) * 2016-06-10 2020-05-13 H. Hoffnabb-La Roche Ag System for bright field image simulation
EP3264741A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
US10324041B2 (en) 2016-12-21 2019-06-18 Abbott Japan Co., Ltd. Optical imaging system using lateral illumination for digital assays
US11047854B2 (en) 2017-02-06 2021-06-29 Abbott Japan Llc Methods for reducing noise in signal-generating digital assays
US10580130B2 (en) * 2017-03-24 2020-03-03 Curadel, LLC Tissue identification by an imaging system using color information
TWI654443B (zh) * 2017-06-05 2019-03-21 銳準醫光股份有限公司 採用進階光學干涉顯微術之光學切層裝置
EP3654020B1 (en) * 2017-07-11 2023-06-21 Hamamatsu Photonics K.K. Sample observation device and sample observation method
US11169092B2 (en) 2017-07-11 2021-11-09 Hamamatsu Photonics K.K. Sample observation device and sample observation method
TWI659395B (zh) * 2017-07-19 2019-05-11 銳準醫光股份有限公司 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統
CN111194398B (zh) * 2017-10-09 2023-10-03 帕斯博特技术股份有限公司 用于检测表面上的污染的系统和方法
US10446113B2 (en) * 2018-01-30 2019-10-15 ForeFlight LLC Method and system for inversion of raster images
US11783603B2 (en) 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images
TWI683283B (zh) * 2018-04-03 2020-01-21 薩摩亞商銳準醫光股份有限公司 一種生物樣本之影像合成方法及採用該方法之光學系統
JP7007227B2 (ja) * 2018-04-09 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
JP7298993B2 (ja) 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
WO2019236655A1 (en) * 2018-06-06 2019-12-12 Trustees Of Boston University Systems and methods for imaging microwell plate samples
CN110648371B (zh) * 2018-06-27 2023-05-09 阿里巴巴集团控股有限公司 Rgb值与色号信息映射关系的确定方法及装置
EP3814741A4 (en) * 2018-06-28 2022-03-02 The Regents Of The University Of California PRODUCING A COMPOSITE IMAGE OF A COLORED TISSUE SAMPLE BY COMBINING IMAGE DATA
JP7116175B2 (ja) * 2018-08-22 2022-08-09 オリンパス株式会社 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
US12016690B2 (en) * 2019-02-12 2024-06-25 Purdue Research Foundation Characterization of injection-induced tissue swelling during subcutaneous injection of biologics
JP7227389B2 (ja) 2019-02-13 2023-02-21 ベンタナ メディカル システムズ， インコーポレイテッド マルチチャネル画像における自己蛍光の寄与を算出するシステムおよび方法
JP7470339B2 (ja) * 2019-03-06 2024-04-18 学校法人 埼玉医科大学 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム
JP2022551846A (ja) * 2019-10-03 2022-12-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 蛍光模倣明視野イメージング
EP3805838B1 (en) 2019-10-10 2023-12-06 Leica Instruments (Singapore) Pte. Ltd. Microscope and related apparatuses, methods and computer programs
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
AU2020395256A1 (en) 2019-12-05 2022-06-16 Tempus Ai, Inc. Large scale organoid analysis
FR3109159B1 (fr) * 2020-04-09 2023-06-23 Interscience Procédé de traitement d’images appliqué aux compteurs de colonies en microbiologie
US11561178B2 (en) * 2020-04-20 2023-01-24 Tempus Labs, Inc. Artificial fluorescent image systems and methods
EP3907497B1 (en) * 2020-05-08 2023-08-02 Leica Microsystems CMS GmbH Apparatus and method for displaying and/or printing images of a specimen including a fluorophore
US12031860B2 (en) 2020-08-03 2024-07-09 Konica Minolta, Inc. Photometer
JP7492881B2 (ja) * 2020-08-03 2024-05-30 株式会社日本マイクロニクス 測定システムおよび測定方法
US12014830B2 (en) * 2021-04-18 2024-06-18 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
CN115656120B (zh) * 2022-10-09 2024-07-23 中国科学院深圳先进技术研究院 一种暗场反射紫外光学显微成像方法和系统
DE102022130251A1 (de) 2022-11-16 2024-05-16 Carl Zeiss Microscopy Gmbh Mikroskopanordnung und Verfahren zur Untersuchung einer mit mehreren Farbstoffen gefärbten Probe
CN117706102B (zh) * 2024-02-05 2024-04-12 遂宁市中心医院 一种肿瘤康复用光学检测装置及检测方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288323A (en) 1979-02-05 1981-09-08 Brigante Miguel F Free flow non-corrosive water treatment device
US5162990A (en) 1990-06-15 1992-11-10 The United States Of America As Represented By The United States Navy System and method for quantifying macrophage phagocytosis by computer image analysis
US5249077A (en) 1991-12-12 1993-09-28 Microvideo Instruments, Inc. Darkfield illuminator for a microscope slide
US6007994A (en) * 1995-12-22 1999-12-28 Yale University Multiparametric fluorescence in situ hybridization
JP4348574B2 (ja) 1998-04-30 2009-10-21 株式会社ニコン 暗視野照明装置および暗視野照明方法
CA2243090A1 (en) 1998-07-10 2000-01-10 Timothy M. Richardson Inverted darkfield contrast microscope and method
US8131053B2 (en) 1999-01-25 2012-03-06 Amnis Corporation Detection of circulating tumor cells using imaging flow cytometry
US7450229B2 (en) * 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
US8406498B2 (en) * 1999-01-25 2013-03-26 Amnis Corporation Blood and cell analysis using an imaging flow cytometer
WO2000055882A1 (en) 1999-03-18 2000-09-21 Cambridge Research & Instrumentation Inc. High-efficiency multiple probe imaging system
US6649351B2 (en) 1999-04-30 2003-11-18 Aclara Biosciences, Inc. Methods for detecting a plurality of analytes by mass spectrometry
WO2000068434A2 (en) 1999-05-07 2000-11-16 Yale University Multiple tag analysis
US6195451B1 (en) * 1999-05-13 2001-02-27 Advanced Pathology Ststems, Inc. Transformation of digital images
AU6754900A (en) * 1999-08-03 2001-02-19 Biophysica, Llc Spectroscopic systems and methods for detecting tissue properties
US6649138B2 (en) 2000-10-13 2003-11-18 Quantum Dot Corporation Surface-modified semiconductive and metallic nanoparticles having enhanced dispersibility in aqueous media
US20020083888A1 (en) 2000-12-28 2002-07-04 Zehnder Donald A. Flow synthesis of quantum dot nanocrystals
EP1409240B1 (en) 2001-07-20 2012-05-09 Life Technologies Corporation Luminescent nanoparticles and methods for their preparation
DE10144250A1 (de) 2001-08-31 2003-04-03 Fraunhofer Ges Forschung Verbesserte massenspektrometrische Analyse unter Verwendung von Nanopartikeln
JP2006014868A (ja) * 2004-06-30 2006-01-19 Hamamatsu Photonics Kk リンパ節検出装置
WO2006054194A2 (en) * 2004-11-22 2006-05-26 Koninklijke Philips Electronics, N.V. Improved data representation for rtp
EP1681015A1 (en) 2005-01-17 2006-07-19 Imasys SA Temperature mapping on structural data
US7524631B2 (en) 2005-02-02 2009-04-28 Patterson Bruce K HPV E6, E7 mRNA assay and methods of use thereof
US8041409B2 (en) * 2005-09-08 2011-10-18 Carestream Health, Inc. Method and apparatus for multi-modal imaging
KR100708932B1 (ko) 2005-10-06 2007-04-17 삼성전기주식회사 영상 처리장치 및 그 방법
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CA2630544A1 (en) 2005-11-21 2007-05-31 The Trustees Of Columbia University In The City Of New York Multiplex digital immuno-sensing using a library of photocleavable mass tags
US8010184B2 (en) * 2005-11-30 2011-08-30 General Electric Company Method and apparatus for automatically characterizing a malignancy
WO2007064959A2 (en) 2005-12-01 2007-06-07 Auburn University High resolution optical microscope
US20100227316A1 (en) 2005-12-27 2010-09-09 Olympus Corporation Luminescense measuring apparatus and luminescense measuring method
CN101351735B (zh) * 2005-12-27 2010-12-08 奥林巴斯株式会社 获取生物源样本的图像的装置和方法
WO2007116509A1 (ja) * 2006-04-07 2007-10-18 Shimadzu Corporation 質量分析装置
US8126205B2 (en) 2006-09-25 2012-02-28 Cambridge Research & Instrumentation, Inc. Sample imaging and classification
US8244021B2 (en) 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
US7327859B1 (en) 2007-02-14 2008-02-05 Lam Ko Chau Methods and systems for automated fingerprint recognition
JP5013410B2 (ja) 2007-03-14 2012-08-29 独立行政法人産業技術総合研究所 微粒子測定方法及び装置
US7819489B2 (en) 2007-03-20 2010-10-26 Kellogg Company Concurrently printing an image on a food product and a corresponding image on packaging for the food product
US20090129650A1 (en) * 2007-11-19 2009-05-21 Carestream Health, Inc. System for presenting projection image information
CN101216601B (zh) * 2007-12-29 2010-12-15 中国科学院西安光学精密机械研究所 使用锥镜实现暗场显微及荧光显微的方法及装置
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
US8849006B2 (en) * 2009-03-25 2014-09-30 Quorum Technologies Inc. Darkfield imaging system and methods for automated screening of cells
US8948488B2 (en) * 2009-07-31 2015-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
JP5338573B2 (ja) * 2009-08-31 2013-11-13 ソニー株式会社 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
US9541504B2 (en) * 2010-08-05 2017-01-10 Cambridge Research & Instrumentation, Inc. Enhancing visual assessment of samples

Also Published As

Publication number Publication date
IL218553A0 (en) 2012-05-31
WO2011046807A3 (en) 2011-09-01
KR101388291B1 (ko) 2014-04-22
CN102667473A (zh) 2012-09-12
US9310302B2 (en) 2016-04-12
AU2010307140B2 (en) 2014-05-15
WO2011046807A2 (en) 2011-04-21
JP2013507612A (ja) 2013-03-04
AU2010307140A1 (en) 2012-04-05
IL218553B (en) 2018-01-31
CA2774422C (en) 2017-08-29
IN2012DN02337A (ko) 2015-08-21
EP2488860A2 (en) 2012-08-22
CN102667473B (zh) 2016-06-08
CA2774422A1 (en) 2011-04-21
JP5540102B2 (ja) 2014-07-02
EP2488860A4 (en) 2015-12-16
US20120200694A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
KR101388291B1 (ko) 조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링
AU2015318251B2 (en) System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents
US9964489B2 (en) System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents
EP2601513B1 (en) Enhancing visual assessment of samples
CN109313798B (zh) 用于生成模拟数字明场ihc或ish图像的方法和图像处理系统
Morrison et al. Brightfield multiplex immunohistochemistry with multispectral imaging
JP6074427B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JPH11500832A (ja) 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法
US20210199582A1 (en) Producing a composite image of a stained tissue sample by combining image data obtained through brightfield and fluorescence imaging modes
Levenson et al. Modern Trends in Imaging X: Spectral Imaging in Preclinical Research and Clinical Pathology
Levenson Spectral imaging and pathology: seeing more
US7316904B1 (en) Automated pap screening using optical detection of HPV with or without multispectral imaging
Levenson et al. Spectral imaging in preclinical research and clinical pathology
Levenson et al. Spectral imaging for brightfield microscopy
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2024171844A1 (ja) 情報処理装置、生体試料観察システム及び情報処理方法
Parker System of Systems Integration for Hyperspectral Imaging Microscopy
BR112012008484A2 (pt) método, aparelho de formação de imagens, pelo menos um meio de armazenagem legível por computador e processador de imagens

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6