KR20140120321A - 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 - Google Patents
조직 샘플들에 있어서의 유전자들을 검출하는 시스템 Download PDFInfo
- Publication number
- KR20140120321A KR20140120321A KR1020147021628A KR20147021628A KR20140120321A KR 20140120321 A KR20140120321 A KR 20140120321A KR 1020147021628 A KR1020147021628 A KR 1020147021628A KR 20147021628 A KR20147021628 A KR 20147021628A KR 20140120321 A KR20140120321 A KR 20140120321A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- genes
- tissue sample
- chromosomes
- situ hybridization
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6813—Hybridisation assays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Organic Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Immunology (AREA)
- Genetics & Genomics (AREA)
- General Engineering & Computer Science (AREA)
- Microbiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biochemistry (AREA)
- Biotechnology (AREA)
- Analytical Chemistry (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
컴퓨터 기반 시료 분석기 (10) 는, 세포에서 상이하게 착색된 유전자들 및 염색체들을 나타내는 도트들을 검출함으로써 세포 샘플에 있어서 유전자들의 발현 레벨을 검출하도록 구성된다. 착색된 유전자들 및 염색체들의 컬러는, 유전자들, 염색체들, 또는 비-유전물질인 이미지에서의 영역들을 정의하는 도트 마스크를 생성하기 위해 강화되고 필터링된다. 메트릭들은 도트들에 대응하는 영역들에서 세포의 이미지에 있어서 도트들 및/또는 픽셀들에 대하여 결정된다 메트릭들은 유전자들을 염색체들로부터 분리하는 분류기에 제공된다. 분류기의 결과들은 조직 샘플들에서 유전자들의 발현 레벨을 추정하도록 카운팅된다.
Description
본 명세서에서 개시된 기술은 컴퓨터 기반 시료 분석기들에 관한 것으로서, 더 상세하게, 조직 샘플들에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템들에 관한 것이다.
다수의 질병들은 세포들의 핵들에서 발생하는 변화들과 연관된다. 특히, 암의 일부 타입들은 세포들에서의 부가적인 유전물질의 존재와 연관된다. 예를 들어, 특정 타입의 유방암은 세포에서 발견된 인간 표피 성장 인자 2 ("HER2") 의 과잉 (예를 들어, 과도 발현) 대 염색체 17 의 수와 연관된다. 조직 샘플에 있어서 HER2 유전자들의 수 대 염색체 17 의 수를 검출함으로써, 이러한 특정 타입의 유방암이 용이하게 식별될 수 있고, 치료 옵션들이 평가될 수 있다.
종래의 조직 분석 시스템에 있어서, 병리학자는, 특정 유전자들, 염색체들, 또는 그 부분들에 부착하는 특별한 유전자 마커들을 포함하는 "칵테일" 혼합으로 착색된 조직 샘플을 관측하기 위해 현미경을 사용한다. 그 마커들은, 부착된 염색체들 또는 유전자들이, 착색된 슬라이드 상에서 상이하게 채색된 영역들로서 보이게 한다. 병리학자는 얼마나 많은 오브젝트들이 슬라이드에 있어서 마킹된 유전물질 대 이질적인 정크를 진실되게 나타내는지를 카운팅하거나 추정하고, 그 후, 유전자가 특정 조직 샘플에서 증대되는지 여부를 결정할 수 있다.
개시된 기술의 적어도 일부의 실시형태들은 조직 시료들을 자동으로 스코어링하는 이미징 시스템을 형성하는 것에 관한 것이다. 그 시스템은 정량적인 분석을 위해 후보 핵들을 선택한다. 그 시스템은 제 1 인시츄 하이브리드화 신호들 및 제 2 인시츄 하이브리드화 신호들을 자동으로 카운팅한다. 제 2 신호들에 대한 제 1 신호들의 카운트의 비율이 결정될 수 있다.
일부 실시형태들에 있어서, 그 시스템은 제 1 및 제 2 하이브리드화 신호들을 자동으로 카운팅하는 컴퓨팅 시스템을 포함한다. 특정 실시형태들에 있어서, 제 1 및 제 2 하이브리드화 신호들 중 하나 또는 그 양자는 비-형광 신호들이다. 비-형광 신호들은 은색 인시츄 하이브리드화 신호, 적색 인시츄 하이브리드화 신호 등일 수 있다. 일부 실시형태들에 있어서, 하나의 신호는 HER2 유전자를 표시하는 은색 인시츄 하이브리드화 신호 ("SISH") 이고, 다른 신호는 염색체 17 을 표시하는 적색 인시츄 하이브리드화 신호이다.
일부 실시형태들에 있어서, 시스템은 이미지의 피처가 카운팅되어야 하는지 여부를 평가한다. 그 시스템은 적어도 하나의 이미지 특성 메트릭 및 적어도 하나의 모폴로지 메트릭을 사용하여, 피처가 유전자, 단백질, 염색체, 또는 관심있는 다른 해부학적 구조에 대응하는지 여부를 결정할 수 있다. 이미지 특성 메트릭들은, 예를 들어, 컬러, 컬러 밸런스, 강도 등을 포함할 수 있다. 모폴로지 메트릭들은, 예를 들어, 피처 사이즈, 피처 컬러, 피처 배향, 피처 형상, 피처들 (예를 들어, 인접한 피처들) 간의 관계 또는 거리, 다른 해부학적 구조에 대한 피처의 관계 또는 거리 등을 포함할 수 있다. 이미지 특성 메트릭들, 모폴로지 메트릭들, 및 다른 메트릭들은 분류기를 트레이닝하는데 사용될 수 있다.
일부 실시형태들에 있어서, 컴퓨터 기반 시료 분석기는, 관심있는 착색된 피처들을 나타내는 이미지 피처들을 검출함으로써 이미지에 있어서 관심있는 피처들에 대한 발현 레벨을 검출하도록 구성된다. 착색된 피처들의 컬러는, 유전자들, 염색체들, 단백질들, 비-유전물질, 또는 다른 라벨링된 마커들인 이미지에서의 영역들을 정의하는 마스크를 생성하기 위해 강화되고 필터링된다. 메트릭들이, 관심있는 피처들에 대응하는 이미지 피처들 (예를 들어, 도트, 픽셀, 또는 이들 양자) 을 평가하기 위해 사용될 수 있다. 그 메트릭들은, 상이한 세포 구조들을 분리하는 분류기에 제공된다.
일부 실시형태들에 있어서, 유전자들의 발현 레벨을 검출하는 시스템은 메모리 및 프로세서를 포함한다. 메모리는 프로그램 명령들의 시퀀스를 저장할 수 있다. 프로세서는 조직 샘플의 컬러 이미지를 수신하고, 세포 핵들의 모폴로지에 기초하여 컬러 이미지에 있어서 상이하게 착색된 유전자들 및 염색체들을 식별하도록 프로그래밍될 수 있다. 프로세서는 식별된 유전자들 및 염색체들의 관계를 평가하여 유전자의 발현 레벨을 결정할 수 있다.
유전자들 또는 염색체는 시료의 이미지에서 도트들로서 보일 수도 있다. 일부 실시형태들에 있어서, 프로세서는 도트 치수, 도트 형상, 도트 배향, 복수의 도트들 간의 공간 관계, 및 적어도 하나의 도트와 다른 조직 구조 간의 공간 관계 중 적어도 하나를 평가함으로써 유전자들 및 염색체들을 식별하도록 프로그래밍된다. 특정 실시형태들에 있어서, 프로세서는 유전자들로서 식별된 복수의 도트들의 치수들 및 상대적인 포지션들을 측정하도록 프로그래밍된다. 프로세서는 또한, 염색체들로서 식별된 복수의 도트들의 치수들 및 상대적인 포지션들을 측정하도록 프로그래밍될 수 있다.
메모리는 세포 핵들의 모폴로지를 평가하기 위한 명령들을 저장할 수 있다. 저장된 명령들은 모폴로지 알고리즘일 수 있다. 모폴로지 알고리즘은, 예를 들어, 조직 또는 그 일부의 치수들, 포지션들, 형태, 및 구조를 평가하도록 실행될 수 있다. 일부 실시형태들에 있어서, 유전자 모폴로지 알고리즘은 유전자들에 대응하는 신호들을 평가하는데 사용되고, 염색체 모폴로지 알고리즘은 염색체들에 대응하는 신호들을 평가하는데 사용된다.
개시된 기술의 적어도 일부의 실시형태들은, 세포의 이미지를 RGB 컬러 스페이스로부터 L*a*b 컬러 스페이스로 변환함으로써 시료의 컬러 이미지에 있어서 피처들의 컬러를 강화하고 또한 각각의 픽셀에 대한 L, a 및 b 값들을 선형적으로 결합하는 그레이스케일 이미지를 산출하도록 구성된 컴퓨터 기반 시스템을 포함한다. 그 시스템은, 강화된 컬러 이미지를 다수의 가우시안 차이 필터들로 필터링함으로써 관심있는 가능성있는 피처들을 나타내는 도트 마스크를 생성할 수 있다. 필터 및 관련 파라미터들은 사이즈 및 형상에 있어서, 이미지 및 그 이미지 내 모든 다른 픽셀들에 대한 최소 응답에 있어서 관심있는 도트들로서 보이는 픽셀들에 대한 강한 응답을 제공하도록 선택될 수 있다. 컴퓨터 기반 시스템은 유전자들, 유전자 산물들, 염색체들, 라벨들, 마커들, 단백질들 등을 포함한 광범위한 관심있는 피처들의 컬러들을 강화하도록 구성될 수 있다.
일부 실시형태들에 있어서, 분석기는 프로그램 명령들의 시퀀스, 및 관심있는 상이한 피처들이 이미지에 있어서 상이하게 보이도록 착색된 조직 샘플의 이미지를 저장하는 메모리를 포함한다. 분석기는 관심있는 피처들의 외양을 강화하고, 강화된 이미지를 필터링하여 이미지에 있어서 관심있는 상이한 피처들을 가능성있게 나타내는 영역들을 검출하며, 관심있는 피처들을 나타내는 영역들에 대한 하나 이상의 메트릭들을 측정하도록 구성된다. 특정 실시형태들에 있어서, 메트릭들은 특성 메트릭들 또는 모폴로지 메트릭들, 또는 이들 양자를 포함한다. 그 메트릭들은, 그 영역들이 관심있는 피처들을 나타내는지 여부를 결정하는 분류기에 적용될 수 있다. 분석기는 이미지 또는 그 일부에 있어서 상이한 식별된 피처들의 수를 카운팅할 수 있다.
일부 실시형태들에 있어서, 컴퓨터 시스템은 관심있는 임의의 영역들을 자동으로 결정하도록 프로그래밍될 수 있다. 후보 피처들은, 샘플 모폴로지 (예를 들어, 세포 성분 모폴로지, 세포 모폴로지, 조직 모폴로지, 해부학적 구조 모폴로지 등), 조직 특성들 (예를 들어, 밀도, 조성 등), 공간 파라미터들 (예를 들어, 조직 구조들의 배열, 조직 구조들 간의 상대적인 포지션들 등), 이미지 특성 파라미터들 등에 기초한 기준들을 포함한 하나 이상의 선택 기준들에 기초하여 선택된다. 후보 피처들이 핵들이면, 선택 기준들은, 한정없이, 핵 모폴로지 (예를 들어, 형상, 치수들, 조성 등), 공간 파라미터들 (예를 들어, 세포 구조에 있어서의 핵들의 위치, 핵들 간의 상대적인 포지션 등), 이미지 특성들, 이들의 조합들 등을 포함할 수 있다. 후보 핵들을 선택한 이후, 알고리즘들이, HER2 유전자들/염색체 17 비율들을 평가하기 위한 정량적 분석을 수행하기 위해 자동으로 사용될 수 있다. 일부 실시형태들에 있어서, 사용자는, 원한다면, 이미지의 시각적 검사에 기초하여 관심있는 영역들을 수동으로 변경할 수 있다. 일군의 슬라이드들이, 원한다면, 인간 개입없이 분석될 수 있다. 관심있는 영역들이 스코어링될 수 있다. 일부 실시형태들에 있어서, 사용자는 관심있는 임의의 영역들을 슬라이드 단위로 삭제할 수 있다. 예를 들어, 사용자는, 자동으로 선택된 시야계가 스코어링에 부적절함을 시각적으로 결정할 수도 있다. 그 후, 사용자는 선택된 시야계를 추가 프로세싱으로부터 삭제할 수도 있다.
특허 또는 출원 파일은 컬러로 실행된 적어도 하나의 도면을 포함한다. 컬러 도면들을 갖는 이 특허 또는 특허 출원 공보의 사본들이 요청 시 및 필요한 요금의 지불 시에 특허청에 제공될 것이다. 동일한 참조부호들은, 달리 명시되지 않는다면, 다양한 도면들 전반에 걸쳐 동일한 부분들 또는 동작들을 지칭한다.
도 1 은 개시된 기술의 일 실시형태에 따라 시료들을 분석하는 컴퓨터 기반 시스템을 도시한 것이다.
도 2 는 개시된 기술의 일 실시형태에 따라, 사용자로 하여금 선택된 세포 핵들, 및 컴퓨터 시스템에 의해 수행된 세포 분석의 결과들을 관측하게 하는 사용자-인터페이스 ("UI") 스크린을 도시한 것이다.
도 3 은 개시된 기술의 일 실시형태에 따라, 검출된 HER2 유전자들 및 염색체 17 그리고 생성된 세포에 대해 산출된 통계치들과 함께 세포가 디스플레이되는 사용자 인터페이스 윈도우를 도시한 것이다.
도 4 는 개시된 기술의 일 실시형태에 따라 세포 핵 물질을 분석하는 컴퓨터 구현 방법의 워크플로우 다이어그램을 도시한 것이다.
도 5 는 개시된 기술의 일 실시형태에 따라, 다수의 선택된 세포들, 세포들로부터 생성된 도트 마스크 이미지들, 및 검출된 유전물질을 도시한 것이다.
도 6 은 개시된 기술의 일 실시형태에 따라 시료를 분석하는 방법의 플로우 다이어그램이다.
도 7 은 개시된 기술의 일 실시형태에 따라 시료들을 준비 및 분석하는 시스템을 도시한 것이다.
도 1 은 개시된 기술의 일 실시형태에 따라 시료들을 분석하는 컴퓨터 기반 시스템을 도시한 것이다.
도 2 는 개시된 기술의 일 실시형태에 따라, 사용자로 하여금 선택된 세포 핵들, 및 컴퓨터 시스템에 의해 수행된 세포 분석의 결과들을 관측하게 하는 사용자-인터페이스 ("UI") 스크린을 도시한 것이다.
도 3 은 개시된 기술의 일 실시형태에 따라, 검출된 HER2 유전자들 및 염색체 17 그리고 생성된 세포에 대해 산출된 통계치들과 함께 세포가 디스플레이되는 사용자 인터페이스 윈도우를 도시한 것이다.
도 4 는 개시된 기술의 일 실시형태에 따라 세포 핵 물질을 분석하는 컴퓨터 구현 방법의 워크플로우 다이어그램을 도시한 것이다.
도 5 는 개시된 기술의 일 실시형태에 따라, 다수의 선택된 세포들, 세포들로부터 생성된 도트 마스크 이미지들, 및 검출된 유전물질을 도시한 것이다.
도 6 은 개시된 기술의 일 실시형태에 따라 시료를 분석하는 방법의 플로우 다이어그램이다.
도 7 은 개시된 기술의 일 실시형태에 따라 시료들을 준비 및 분석하는 시스템을 도시한 것이다.
본 명세서에 개시된 기술의 적어도 일부의 실시형태들은 세포물질을 분석하는 컴퓨터 시스템들 및 방법들에 관한 것이고, 상세하게는, 세포들에 있어서의 과도 발현된 유전자들을 검출하는 시스템들에 관한 것이다. 비록 본 명세서에서 설명되는 예시적인 실시형태들이 HER2 유전자의 발현 레벨 (예를 들어, 과도 또는 과소 발현) 을 검출하지만, 그 기술은 관심있는 다른 피처들뿐 아니라 세포들에 있어서의 다른 유전자들 또는 그 일부들을 검출하는데 사용될 수 있음이 인식될 것이다.
시료들을 분석하는 컴퓨터 기반 시료 분석기가 도 1 에 도시된다. 분석 시스템 (10) 은 이미징 장치 (12) 및 컴퓨터 시스템 (14) 을 포함한다. 시료-베어링 현미경 슬라이드들이 이미징 장치 (12) 로 로딩될 수 있다. 이미징 장치 (12) 는 시료들의 이미지들을 생성한다. 이미지들은 직접 접속을 통해 또는 네트워크 (20) 를 통해 컴퓨터 시스템 (14) 로 전송된다. 컴퓨터 시스템 (14) 은 이미지들을 사용자에게 디스플레이한다. 사용자 (예를 들어, 병리학자, 세포 과학자, 실험 기술자 등) 는 평가를 위해 이미지의 하나 이상의 영역들을 선택할 수 있다. 컴퓨터 시스템 (14) 은 관심있는 피처들을 갖는 영역들을 스코어링함으로써 사용자를 보조할 수 있다.
이미징 장치 (12) 는, 한정없이, 하나 이상의 이미지 캡처 디바이스들을 포함할 수 있다. 이미지 캡처 디바이스들은, 한정없이, 카메라 (예를 들어, 아날로그 카메라, 디지털 카메라 등), 광학기기 (예를 들어, 하나 이상의 렌즈들, 센서 포커스 렌즈 그룹들, 현미경 대물렌즈 등), 이미징 센서들 (예를 들어, 전하 커플링 디바이스 (CCD), 상보형 금속 산화물 반도체 (CMOS) 이미지 센서 등), 사진 필름 등을 포함할 수 있다. 디지털 실시형태들에 있어서, 이미지 캡처 디바이스는, 온더플라이 (on-the-fly) 포커싱을 입증하기 위해 협력하는 복수의 렌즈들을 포함할 수 있다. CCD 센서는 시료의 디지털 이미지를 캡처할 수 있다. 디지털 이미지를 생성하는 일 방법은, 시료의 적어도 일부를 포함하는 현미경 슬라이드의 영역을 포함하는 스캔 영역을 결정하는 것을 포함한다. 스캔 영역은 복수의 스냅샷들로 분할될 수도 있다. 그 스냅샷들을 결합함으로써 이미지가 생성될 수 있다. 일부 실시형태들에 있어서, 이미징 장치 (12) 는 전체 시료의 고해상도 이미지를 생성한다.
컴퓨터 시스템 (14) 은 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 등을 포함할 수 있고, 디지털 전자 회로, 펌웨어, 하드웨어, 메모리, 컴퓨터 저장 매체, 컴퓨터 프로그램, 프로세서 (프로그래밍된 프로세서 포함) 등을 포함할 수 있다. 도 1 의 도시된 컴퓨팅 시스템 (14) 은 스크린 (16) 및 타워 (18) 를 갖는 데스크탑 컴퓨터이다. 타워 (18) 는 디지털 이미지들을 바이너리 형태로 저장할 수 있다. 이미지들은 또한, 픽셀들의 매트릭스로 분할될 수 있다. 픽셀들은 비트 심도에 의해 정의되는 하나 이상의 비트들의 디지털 값을 포함할 수 있다. 디지털 값은, 예를 들어, 에너지, 휘도, 컬러, 강도, 사운드, 고도, 또는 이미지 프로세싱을 통해 도출된 분류된 값을 나타낼 수도 있다. 비-한정의 예시적인 디지털 이미지 포맷들은 비트 매핑형, JPEG (joint pictures expert group), TIFF (tagged image file format), 및 GIF (graphics interchange format) 뿐 아니라 다른 디지털 데이터 포맷들을 포함하지만 이에 한정되지 않는다.
네트워크 (20) 또는 직접 접속체는 이미징 장치 (12) 및 컴퓨터 시스템 (14) 를 상호접속한다. 네트워크 (20) 는, 한정없이, 하나 이상의 게이트웨이들, 라우터들, 브리지들, 이들의 조합들 등을 포함할 수도 있다. 네트워크 (20) 는 사용자들에게 액세스가능한 하나 이상의 서버들 및 하나 이상의 웹사이트들을 포함할 수도 있으며, 컴퓨터 시스템 (14) 이 활용할 수 있는 정보를 전송 및 수신하는데 사용될 수 있다. 서버는, 한정없이, 정보 (예를 들어, 디지털 이미지들, 알고리즘들, 착색 프로토콜들 등) 를 저장하는 하나 이상의 관련 데이터베이스들을 포함할 수도 있다. 네트워크 (20) 는 송신 제어 프로토콜 (TCP), 사용자 데이터그램 프로토콜 (UDP), 인터넷 프로토콜 (IP) 및 다른 데이터 프로토콜들을 사용하는 데이터 네트워크들을 포함할 수 있지만 이에 한정되지 않는다.
시료는 인시츄 하이브리드화 ("ISH") 프로토콜에 따라 프로세싱된 유방 조직일 수 있다. ISH 프로토콜은 뉴클레오티드들 (예컨대, 프로브들) 의 상보적인 가닥들을 관심있는 서열에 하이브리드화함으로써 냉동 조직 섹션들, 고정된/파라핀 포매된 조직 섹션들, 또는 다른 세포 준비물들에 있어서 특정 핵산 서열들 (예를 들어, DNA, mRNA 등) 의 시각화를 제공할 수 있다. ISH 프로토콜은, 한정없이, 이중 SISH 및 적색 ISH 프로토콜, 단일 적색 ISH 프로토콜, 단일 SISH 프로토콜 등을 포함할 수 있다. HER2/염색체 17 비율을 결정하기 위해, 이미징 장치 (12) 는 은색 인시츄 하이브리드화 신호들, 적색 인시츄 하이브리드화 신호들 등을 포함하는 이미지들을 캡처한다. 조직은 HER2 유전자들 및 염색체 17 에 대응하는 신호들에 기초하여 스코어링되어 HER2/염색체 17 비율을 결정한다. 그 비율에 기초하여, 시료의 HER2 유전자가 증대되거나 또는 증대되지 않도록 결정된다. 유방 조직 샘플을 자동으로 스코어링하기 위해, 후보 핵들이 정량적 분석을 위해 선택될 수 있다. 컴퓨터 시스템 (14) 은 상이한 피처들 (예를 들어, HER2 유전자들, 염색체 17 등) 을 자동으로 카운팅하고 피처들의 수의 비율을 결정한다. 부가적인 핵들이 스코어링될 수 있다. 진단은 그 비율들에 적어도 부분적으로 기초하여 실시될 수 있다. 결과들은 스크린 (16) 상에 디스플레이될 수 있다. 조직 샘플 (예를 들어, 유방 조직) 이 암종인지 여부를 평가하기 위해, 컴퓨터 시스템 (14) 은, 예를 들어, 염색체 17 신호들의 수에 대한 HER2 유전자 신호들의 수의 비율을 평가하여 유전자들의 증대를 검출함으로써 선택된 영역에 관한 정보를 획득함에 있어서 사용자를 보조할 수 있다. 본 명세서에서 사용되는 바와 같은 용어 "검출하는 것" 은 정량적 검출 또는 정성적 검출, 또는 이들 양자를 포함한다. 특정 실시형태들에 있어서, 생물학적 샘플은 세포 또는 조직을 포함한다.
분석 시스템 (10) 은 도 2 내지 도 7 과 관련하여 논의되는 방법들 및 기술들을 수행할 수 있다. 분석 시스템 (10) 의 컴포넌트들 및 피처들은 도 2 내지 도 5 및 도 7 의 시스템들의 다른 컴포넌트들 및 피처들과 혼합되고 매칭될 수 있다.
도 2 는 개시된 기술에 따라, 사용자로 하여금 세포들을 분석하는 컴퓨터 기반 시료 분석기와 상호작용하도록 하는 사용자 인터페이스 (UI) 스크린의 일부를 도시한 것이다. 조직 샘플의 형태인 시료는, 칵테일 검정을 사용하여 착색하는 것, 착색된 조직을 슬라이드 상에 실장하는 것, 및 그 슬라이드를, 컴퓨터 시스템 (100) 과 연관될 수도 있거나 별도의 컴포넌트 또는 시스템일 수도 있는 고해상도 이미징 장치로 이미징하는 것에 의해 준비될 수 있다. 조직 샘플의 컬러 디지털 이미지는 로컬 또는 원격 컴퓨터 판독가능 저장 매체 (하드 디스크, 솔리드 스테이트 메모리 등) 에 저장되고 디스플레이 (110) 상에 디스플레이된다.
컴퓨터 시스템 (100) 에 의해 생성된 예시적인 사용자 인터페이스 (200) 가 디스플레이 (110) 상에 도시된다. UI (200) 는, 조직 샘플 또는 그 일부의 이미지를 도시하는 윈도우 (202) 를 포함한다. 사용자는 선택 툴 (마우스, 조이스틱, 라쏘 툴과 같은 아이콘 또는 하나 이상의 키 스트로크들, 또는 다른 메커니즘) 을 사용하여, 시야계 ("FOV") 로서 이미지에 디스플레이된 조직의 일부를 선택한다. 선택된 시야계 내의 조직의 확대도가 윈도우 (210) 에 도시된다. 그 후, 사용자는 분석을 위해 선택 툴로 개별 세포들/핵들을 선택할 수 있다. 도시된 사용자 선택형 경계들 (녹색으로 도시됨) 은 일반적으로 핵막들에 대응한다. 경계들 내의 이미지의 부분들이 분석될 수 있다. 대안적으로, 컴퓨터 시스템은 세포/핵 검출 알고리즘을 채용하여 다수의 세포들을 선택할 수 있다. 그 검출 알고리즘은, 예를 들어, 이미지 특성 파라미터들, 조직 모폴로지, 조직 특성들, 공간 파라미터들, 이들의 조합들 등에 기초하여 경계들을 결정할 수 있다. 당업자에 의해 인식될 바와 같이, 개시된 기술들에 의해 검출된 유전물질은 세포들의 핵들에 보인다. 따라서, 용어들 "세포" 및 "핵" 그리고 그 복수의 형태들은 본 개시의 목적들을 위해 동의어로 간주된다. 선택된 세포들은, 보일 수 있는 컬러로 세포의 윤곽을 그리거나 세포의 영역을 음영화하거나 또는 다른 수단에 의해 윈도우 (210) 에서 하이라이트된다.
분석을 위해 선택된 개별 세포들의 컬러 이미지들은 UI (200) 의 저부에서 세포 트레이 (214) 에서 디스플레이된다. 사용자가 세포들을 수동으로 식별하면, 각각의 그러한 식별된 세포의 이미지는 세포 트레이 (214) 에 배치될 수 있다. 컴퓨터 시스템 (100) 이 세포들을 자동으로 식별하면, 각각의 그러한 자동으로 식별된 세포의 이미지는 세포 트레이 (214) 에 포함될 수 있다. 대안적으로, 사용자는 세포 트레이 (214) 에 포함될 자동으로 식별된 세포들 중 하나 이상의 세포들의 선택을 수동으로 확인할 수 있다.
사용자 인터페이스 (200) 는 또한, 세포 트레이 (214) 에 포함되는 세포 핵들에 대해 산출된 분석의 결과들을 디스플레이하는 하나 이상의 윈도우들 (216) 을 포함한다. 일 실시형태에 있어서, 그 분석은 FOV 에서 식별된 각각의 그러한 세포에 대해 발견된 HER2 유전자들의 수 대 염색체 17 의 수의 비율을 결정한다. 상기에 나타낸 바와 같이, 그 비율은 암의 특정 타입들을 나타낼 수도 있다. 대체적으로 각각의 식별된 세포 및 슬라이드에 대해 결정된 HER2/염색체 17 비율의 결과들은 대응하는 슬라이드에 대한 레코드에 저장된다. 사용자는, 매우 시간 소모적이고 지루할 수 있고 따라서 에러를 일으키기 쉬운 HER2 유전자들 및 염색체 17 을 시각적으로 카운팅하지 않고도 HER2/염색체 17 비율을 편리하게 관측할 수 있다. 자동화된 스코어링 프로세스는 진단하는데 걸리는 시간을 감소시키고, 따라서, 실험실 스루풋을 증가시킬 수 있다. 부가적으로, 자동화된 프로세스는 일관성있고 신뢰성있는 스코어링을 제공하여 해석 정확도를 향상시킬 수 있다.
일 실시형태에 있어서, 각각의 슬라이드는, 예를 들어, 분석의 결과들을 특정 슬라이드에 매칭하기 위하여, 바 코드, 머신 판독가능 코드 (예를 들어, 1차원 또는 다차원 바 코드 또는 인포글리프 (infoglyph), RFID 태그, 브래그 회절 격자, 자기 스트립, 또는 나노 바코드), 또는 기타 다른 타입의 전자적으로 검출가능한 식별자로 마킹된다. 슬라이드가 컴퓨터 시스템의 이미징 장치 (슬라이드 뷰어 포함) 로 재삽입되면, 결정된 통계치들이 컴퓨터 판독가능 저장 매체로부터 재호출되고 사용자를 위해 디스플레이될 수 있다. 부가적으로 또는 대안적으로, 슬라이드에 있어서의 조직에 대해 수행된 분석의 레코드는 관측, 저장 또는 분석을 위해 원격 컴퓨터 시스템으로 컴퓨터 통신 링크 (예를 들어, 인터넷) 를 통해 송신될 수 있다. 그러한 레코드들은 의학 연구 등과 같은 다양한 목적들로 다른 조직 샘플들의 분석과 결합될 수 있다. 컴퓨터는 또한, 환자의 레코드들 내로의 포함을 위해 조직 분석에 관한 하나 이상의 보고들을 생성할 수도 있다. 일단 세포 트레이 (214) 에 포함된 세포들에 대해 분석이 수행되면, 사용자는 분석을 중단할 수도 있거나 조직 샘플의 이미지에 있어서의 다른 FOV 를 선택할 수도 있다.
도 3 은 세포 트레이 (214) 에서 개별 세포를 선택할 시 UI 에 의해 생성된 대표적인 윈도우 (300) 를 도시한 것이다. 윈도우 (300) 는, 세포에서 검출된 HER2 유전자들 및 염색체 17 의 수를 표시하는 디스플레이 (304) 와 함께, 선택된 세포의 이미지 (302) 를 포함한다. 사용자는, 원한다면, 자동으로 검출된 HER2 유전자들 또는 염색체 17 의 수를 오버라이드할 수 있다. 다수의 제어부들 (306) 은 사용자로 하여금 세포에 대한 결과들을 저장하거나 취소하게 한다. 제어부들 (308) 은 사용자로 하여금 세포 트레이 내의 세포들 각각에 걸쳐 스크롤하게 한다. 제어부들 (308) 은 세포 트레이 내의 제 1 세포로 리턴하기 위한 되감기 버튼, 사용자로 하여금 세포 트레이 내의 이전 세포로 리턴하게 하는 후진 버튼, 사용자로 하여금 세포 트레이 내의 다음 세포로 전진하게 하는 다음 세포 버튼, 및 사용자로 하여금 세포 트레이 내 마지막 세포로 전진하게 하는 빨리감기 버튼을 포함한다. 버튼 (310) 은 사용자로 하여금 세포 트레이로부터 도시된 세포를 삭제하게 한다. 버튼 (312) 은 사용자로 하여금 세포 경계 내에서 검출된 HER2 유전자들 및 염색체 17 의 위치를 각각 표시하는 흑색 및 적색 도트들의 이미지들 뿐 아니라 세포 경계의 윤곽을 토글링 온 및 오프하게 한다. 버튼 (314) 은 사용자로 하여금 슬라이드에 대한 보고에 있어서 세포에 대해 산출되었던 통계치들을 포함하게 한다. 마지막으로, 버튼 (316) 은 사용자로 하여금 임의의 특정 세포에 대한 컴퓨터 결정된 통계치들을 오버라이드하게 하고 또는 세포에 대한 HER2 유전자들 및 염색체 17 의 수의 그 자신의 추정치를 입력하게 한다.
도 4 는 개시된 기술에 따라 세포들을 분석하는 방법의 하나의 대표적인 워크플로우 다이어그램을 도시한 것이다. 비록 도시된 동작들이 설명의 용이를 위해 특정 순서로 수행되는 것으로서 설명되지만, 동작들의 순서는 변경될 수도 있거나 동작들이 생략될 수도 있거나 또는 설명된 기능을 여전히 획득하면서 부가적인 동작들이 수행될 수도 있음이 인식될 것이다.
일 실시형태에 있어서, 컴퓨터 시스템 (14, 100) 은, 비-일시적인 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 실행가능 명령들의 시리즈로 프로그래밍된 하나 이상의 프로세서들을 포함한다. 실행될 경우, 명령들은 컴퓨터 시스템의 하나 이상의 프로세서들로 하여금 사용자로부터 하나 이상의 FOV들의 표시를 수신하게 한다. 일 실시형태에 있어서, 그 후, 컴퓨터 시스템은, 하나 이상의 프로세서들로 하여금 선택된 FOV 에 포함된 세포 핵들의 경계들을 세그먼트화하거나 식별하게 하는 명령들을 실행한다. 일 실시형태에 있어서, 컴퓨터 시스템 (100) 은 세포 핵들의 경계들을 자동으로 식별하기 위한 명령들을 실행한다. 다른 실시형태에 있어서, 컴퓨터 시스템들은 선택 툴을 사용하여 사용자로부터 세포 핵들의 표시를 수신하기 위한 명령들을 실행한다. 일 실시형태에 있어서, 식별된 각각의 세포 핵들의 이미지는 사용자 인터페이스 (200) 내의 세포 트레이에 배치된다.
일단 원하는 수의 셀들이 세포 트레이에서 분석을 위해 선택되면, 컴퓨터 시스템은 각각의 식별된 세포 핵들 내에서 신호들 (예를 들어, 도트들) 을 검출하기 위한 명령들을 실행한다. 일 실시형태에 있어서, 도트들은, 먼저, 세포의 컬러 이미지를 단색 이미지로 변환함으로써 식별된다. 일 실시형태에 있어서, 단색 이미지는, 먼저, 세포의 컬러 이미지의 컬러 스페이스를 RGB 컬러 스페이스로부터 L*a*b 컬러 스페이스로 변환함으로써 생성된다. L*a*b 컬러 스페이스에 있어서, "L" 채널은 픽셀의 휘도를 나타내고, "a" 채널은 픽셀의 적색 및 녹색 컴포넌트들을 반영하며, "b" 채널은 픽셀의 청색 및 황색 컴포넌트들을 나타낸다. 그 후, 각각의 픽셀 위치에서 "L," "a" 및 "b" 값들을 선형적으로 결합함으로써 획득되는 이미지에 있어서 적색 및 흑색 컬러들을 강조하는 새로운 이미지가 생성된다.
도트들은, 다수의 필터들을 통해 강화된 이미지를 구동시킴으로써 적색 및 흑색 강화된 이미지에서 검출된다. 일 실시형태에 있어서, 필터들은, 각각의 필터 사이즈가 검출될 도트들의 클럼프들/도트들의 예상된 사이즈에 기초하여 선택되는 가우시안 차이 ("DOG") 필터들이다. 일 실시형태에 있어서, DOG 필터들의 사이즈는 약 0.05 미크론으로부터 약 5 미크론까지 이른다. DOG 필터들을 통한 각각의 패스로부터의 결과들은, 각각의 세포 내에서 착색된 핵물질 및 일부 "정크" 를 나타내기 위한 마스크로서 사용되는 필터링된 그레이 스케일 이미지를 생성하기 위해 결합된다.
그 후, 결합된 그레이 스케일 이미지는, 예를 들어, 도트 마스크 이미지를 생성하기 위한 Otsu 방법에 기반한 적응형 임계화 기술을 사용하여 바이너리화되며, 여기서, 도트 외부의 모든 것은 하나의 바이너리 값 (예를 들어, 로직 0) 을 갖고 도트 내의 모든 것은 반대의 바이너리 값 (예를 들어, 로직 1) 을 갖는다.
일단 도트 마스크 이미지가 생성되었으면, 정크와 연관된 임의의 도트들을 제거하고 또한 HER2 유전자들 및 염색체 17 을 나타내는 도트들을 남겨두기 위해 분류기로 사용된다. 일 실시형태에 있어서, 선형 바이너리 분류기가 사용되지만 다른 분류기들이 동일하게 적용가능하다. 분류기를 사용하는 제 1 스테이지에 있어서, 컴퓨터 시스템은, 분석된 세포들의 각각에 대해 결정된 응답들의 히스토그램에 기초하여 약한 DOG 응답들을 갖는 도트들을 삭제하기 위한 명령들을 실행한다.
제 2 스테이지에 있어서, 도트 마스크 이미지에 있어서의 도트들 각각 내의 영역에 대응하는 픽셀 위치들에서 조직의 RGB 이미지의 컬러를 분석함으로써, 뚜렷한 적색 도트들은 희미한 적색 도트들로부터 분리되고 흑색 도트들은 암청색 도트들로부터 분리된다. 그 결과는 오직 적색 및 흑색 도트들의 세트이다. 도트들의 나머지는 정크로 고려되고 제거된다. 그 후, 도트들 및 도트 블로브(blob)들이 연결된 컴포넌트 분석을 사용하여 추출된다.
도트가 HER2 유전자 또는 염색체 17 을 나타내는지 여부를 결정하기 위해, 도트들 (도트 블로브들 포함) 의 다중의 메트릭들이 측정되고 분석된다. 이들 메트릭들은 도트 사이즈, 컬러, 배향, 형상, 다중의 가우시안 차이 필터들의 응답, 인접한 도트들 간의 관계 또는 거리, 및 컴퓨터에 의해 측정될 수 있는 다수의 다른 팩터들을 포함한다. 그 후, 그 메트릭들은 분류기로 입력된다. 분류기는, 트레이닝된 병리학자, 세포 과학자, 또는 다른 개인 또는 머신 - 이들 핵 피처들의 컴퓨터 모델들 포함 - 에 의해 HER2 유전자 또는 염색체 17 을 나타내는 것으로서 긍정적으로 식별되었던 데이터의 트레이닝 세트에 대해 미리 트레이닝되었다.
일 실시형태에 있어서, 분류기는 도트 가변성의 범위를 포함하는 트레이닝 슬라이드들의 세트에 대해 트레이닝되었고, 선형 마진 바이너리 분류기 모델이 각각의 스테이지에 대해 교시되었다. 판별식 초평면에 의해 파라미터화된 결과적인 모델은 피처 스페이스를, HER2 유전자 또는 염색체 17 을 정의하는 2개의 라벨링된 영역들로 분할한다.
일단 분류기가 트레이닝되었으면, 이미지에 있어서의 미지의 도트들에 대해 측정된 메트릭들이 분류기에 적용된다. 그 후, 분류기는 무슨 타입의 도트 (예를 들어, HER2 유전자 또는 염색체 17) 가 표현되는지를 표시할 수 있다.
일단 도트들이 분류되었으면, 컴퓨터 시스템에 의해 카운팅된다. 도트의 사이즈가 공칭 단일 도트 사이즈의 스케일이라고 컴퓨터 시스템이 결정하면, 도트는 분류기에 의해 라벨링된 바와 같은 HER2 도트 또는 염색체 17 도트로서 카운팅된다. 도트가 공칭 단일 도트 사이즈보다 크면, 컴퓨터 시스템은 클러스터의 영역을 결정하고, 그 클러스터의 영역을 공칭 도트의 영역에 의해 분할하여 얼마나 많은 도트들이 도트 클러스터에 가능성있게 포함되는지를 결정한다. HER2 및 염색체 17 로서 분류된 도트들의 근접도가 카운팅 알고리즘에서 사용된다.
일단 도트들이 분류되었고 카운팅되었으면, 결과들이 세포 단위 기반으로 및 FOV 단위 기반으로 집계된다. 도트 타입들의 비율이 대체적으로 각각의 셀 및 슬라이드에 대해 계산되고 디스플레이된다. 그 비율에 기초하여, 발현 레벨이 과도 발현, 과소 발현 등으로 결정될 수 있다. 일 실시형태에 있어서, 조직 샘플은, 조직 샘플에 있어서 염색체 17 에 대한 HER2 유전자들의 비율이 예를 들어 2.2 를 초과하면 과도 발현되는 것으로서 식별된다. 그러한 과도 발현된 HER2 유전자들은 암종을 나타낼 수도 있다.
컴퓨터 시스템들 (14, 100) 은 모폴로지 알고리즘을 실행하여 이미지에 있어서 하나 이상의 피처들을 평가할 수 있다. 유전자 모폴로지 알고리즘은, 예를 들어, 도트 치수들 중 하나 이상의 도트 치수들을 측정하고, 도트 형상을 평가하고, 도트 배향을 평가하고, 복수의 도트들 간의 공간 관계를 평가하며, 적어도 하나의 도트와 조직 샘플의 다른 해부학적 구조 간의 공간 관계를 평가함으로써, 컬러 이미지에 있어서의 신호들을 평가할 수 있다. 출력은, 신호가 유전자를 나타내는지 여부를 결정하는 분류기로 전송될 수 있다. 다른 타입들의 모폴로지 알고리즘들이 조직의 다른 피처들을 식별하기 위해 사용될 수 있다. 출력들은 분류기로 전송될 수 있다.
본 명세서에서 설명된 주제 및 동작들의 실시형태들은, 본 명세서에서 개시된 구조들 및 그 구조적 등가물들을 포함하여, 디지털 전자 회로에서 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 이들의 하나 이상의 조합들에서 구현될 수 있다. 본 명세서에서 설명된 주제의 실시형태들은 하나 이상의 컴퓨터 프로그램들, 즉, 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체 상에서 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다.
컴퓨터 저장 매체는 컴퓨터-판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 시리얼 액세스 메모리 어레이 또는 디바이스, 또는 이들의 하나 이상의 조합이거나 이에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체가 전파된 신호는 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파된 신호에서 인코딩된 컴퓨터 프로그램 명령들의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한, 하나 이상의 별도의 물리 컴포넌트들 또는 매체 (예를 들어, 다중의 CD들, 디스크들, 또는 다른 저장 디바이스들) 이거나 이에 포함될 수 있다. 본 명세서에서 설명된 동작들은, 하나 이상의 컴퓨터 판독가능 저장 디바이스들 상에 저장되고 다른 소스들로부터 수신된 데이터에 대해 데이터 프로세싱 장치에 의해 수행된 동작으로서 구현될 수 있다.
용어 "프로그래밍된 프로세서" 는, 예로서, 프로그램가능 마이크로프로세서, 컴퓨터, 시스템 온 칩, 또는 상기의 다중의 장치들 또는 그 조합들을 포함하여, 데이터를 프로세싱하기 위한 모든 종류들의 장치, 디바이스들, 및 머신들을 포괄한다. 그 장치는 특수 목적 로직 회로, 예를 들어, FPGA (필드 프로그램가능 게이트 어레이) 또는 ASIC (주문형 집적회로) 을 포함할 수 있다. 그 장치는 또한, 하드웨어에 부가하여, 당해 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 오퍼레이팅 시스템, 크로스-플랫폼 런타임 환경, 가상 머신, 또는 이들의 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 그 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라구조들과 같은 다양한 상이한 컴퓨팅 모델 인프라구조들을 실현할 수 있다.
컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트, 또는 코드로서 또한 공지됨) 은, 컴파일형 또는 해석형 언어들, 선언형 또는 절차형 언어들을 포함하여, 임의의 형태의 프로그래밍 언어로 기입될 수 있고, 독립형 프로그램으로서 또는 컴퓨팅 환경에서의 사용에 적절한 모듈, 컴포넌트, 서브루틴, 오브젝트, 또는 다른 유닛으로서를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내 파일에 대응할 수도 있지만 반드시 그럴 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터를 유지하는 파일의 일부 (예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들) 로, 당해 프로그램에 전용된 단일 파일로, 또는 다중의 협력된 파일들 (예를 들어, 하나 이상의 모듈들, 서브프로그램들, 또는 코드의 부분들을 저장하는 파일들) 로 저장될 수 있다. 컴퓨터 프로그램은, 하나의 사이트에 위치되거나 다중의 사이트들에 걸쳐 분산된 하나의 컴퓨터 상에서 또는 다중의 컴퓨터들 상에서 실행되고 또한 통신 네트워크에 의해 상호접속되도록 배치될 수 있다.
본 명세서에서 설명된 프로세스들 및 로직 플로우들은, 입력 데이터에 대해 동작하고 출력을 생성함으로써 액션들을 수행하도록 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그램가능 프로세서들에 의해 수행될 수 있다. 프로세서들 및 로직 플로우들은 또한, 특수 목적 로직 회로, 예를 들어, FPGA (필드 프로그램가능 게이트 어레이) 또는 ASIC (주문형 집적회로) 에 의해 수행될 수 있고, 장치는 또한, 특수 목적 로직 회로로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적절한 프로세서들은, 예로서, 범용 및 특수 목적 양자의 마이크로프로세서들, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리, 또는 이들 양자로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 필수적인 엘리먼트들은, 명령들에 따라 액션들을 수행하는 프로세서, 그리고 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들, 예를 들어, 자기, 광자기 디스크들 또는 광학 디스크들을 포함하거나 그로부터 데이터를 수신하거나 데이터를 그에게 전송하도록 동작가능하게 커플링하거나 이들 양자를 실시할 것이다. 하지만, 컴퓨터는 그러한 디바이스들을 반드시 가질 필요는 없다. 더욱이, 컴퓨터는 다른 디바이스, 예를 들어, 몇몇만 나열하자면, 모바일 전화기, 개인용 디지털 보조기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템 (GPS) 수신기, 또는 휴대용 저장 디바이스 (예를 들어, 유니버셜 시리얼 버스 (USB) 플래시 드라이브) 에 내장될 수 있다. 컴퓨터 프로그램 명령들 및 데이터를 저장하는데 적절한 디바이스들은, 예로서, 반도체 메모리 디바이스들, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 착탈형 디스크들; 광자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하여, 모든 형태들의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 특수 목적 로직 회로에 통합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에서 설명된 주제의 실시형태들은, 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, LCD (액정 디스플레이), LED (발광 다이오드) 디스플레이, 또는 OLED (유기 발광 다이오드) 디스플레이, 및 사용자가 컴퓨터로의 입력을 제공할 수 있는 키보드 및 포인팅 디바이스, 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터 상에서 구현될 수 있다. 일부 구현들에 있어서, 터치 스크린이 정보를 디스플레이하고 사용자로부터 입력을 수신하기 위해 사용될 수 있다. 다른 종류들의 디바이스들이 물론 사용자와의 상호작용을 제공하기 위해 사용될 수 있으며; 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백, 예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있으며; 사용자로부터의 입력은 음향, 스피치, 또는 촉각 입력을 포함하여 임의의 형태로 수신될 수 있다. 부가적으로, 컴퓨터는 사용자에 의해 사용된 디바이스로 문서들을 전송하고 그 디바이스로부터 문서들을 수신함으로써, 예를 들어, 웹 브라우저로부터 수신된 요청들에 응답하여 사용자의 클라이언트 디바이스 상의 웹 브라우저로 웹 페이지들을 전송함으로써 사용자와 상호작용할 수 있다.
본 명세서에서 설명된 주제의 실시형태들은, 예를 들어 데이터 서버로서 백엔드 컴포넌트를 포함하거나 또는 미들웨어 컴포넌트 예를 들어 어플리케이션 서버를 포함하거나 또는 프론트 엔드 컴포넌트 예를 들어 사용자가 본 명세서에서 설명된 주제의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나 또는 하나 이상의 그러한 백엔드, 미들웨어 또는 프론트 엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어, 통신 네트워크에 의해 상호접속될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크 ("LAN") 및 광역 네트워크 ("WAN"), 인터-네트워크 (예를 들어, 인터넷), 및 피어-투-피어 네트워크들 (예를 들어, 애드혹 피어-투-피어 네트워크들) 을 포함한다. 예를 들어, 도 1 의 네트워크 (20) 는 하나 이상의 로컬 영역 네트워크들을 포함할 수 있다.
컴퓨팅 시스템은 임의의 수의 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 원격이고, 통상적으로, 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는, 개별 컴퓨터들 상에서 구동하고 서로 클라이언트-서버 관계를 갖는 컴퓨팅 프로그램들에 의해 발생한다. 일부 실시형태들에 있어서, 서버는 데이터 (예를 들어, HTML 페이지) 를 (예를 들어, 클라이언트 디바이스와 상호작용하는 사용자에게 데이터를 디스플레이하고 그 사용자로부터 사용자 입력을 수신할 목적으로) 클라이언트 디바이스로 송신한다. 클라이언트 디바이스에서 생성된 데이터 (예를 들어, 사용자 상호작용의 결과) 는 서버에서 클라이언트 디바이스로부터 수신될 수 있다.
도 6 은 시료를 분석하는 방법의 플로우 다이어그램 (400) 이다. 402 에서, 조직 시료의 이미지에 있어서의 후보 피처들이 선택된다. 후보 피처들은 컴퓨터 시스템 또는 사용자에 의해 선택될 수 있다.
410 에서, 신호들이 식별된다. HER2/염색체 17 비율 분석에 있어서, 제 1 인시츄 하이브리드화 신호 (예를 들어, 도트) 는 HER2 유전자를 표시하고, 제 2 인시츄 하이브리드화 신호 (예를 들어, 도트) 는 염색체 17 을 표시한다. 이들 상이한 하이브리드화 신호들은 카운팅될 수 있다.
412 에서, 신호들 간의 관계가 평가된다. 특정 실시형태들에 있어서, 카운팅된 신호들의 비율이 결정된다. 신호들 간의 관계들의 다른 타입들이 평가될 수 있다.
방법 (400) 은 임의의 원하는 관심있는 영역들을 평가하기 위해 임의의 횟수로 반복될 수 있다. 컴퓨터 시스템은 이미지 특성 메트릭들, 모폴로지 메트릭들, 이들의 조합들 등을 포함한 메트릭들에 기초하여 관심있는 영역을 결정할 수 있다. 관심있는 영역 또는 영역들에 대해, 총 스코어, 평균 스코어, 또는 다른 타입의 스코어가 결정될 수 있다. 스코어에 적어도 부분적으로 기초하여, 병리학자는 진단을 행할 수 있다.
도 7 은 스코어링을 통해 조직 준비를 수행할 수 있는 분석 시스템 (10) 을 도시한 것이다. 시료 프로세싱 장치 (210) 는 시료에 대한 하나 이상의 준비 프로세스들을 수행할 수 있다. 준비 프로세스는, 한정없이, 시료를 탈파라핀화하는 것, 시료를 컨디셔닝하는 것 (예를 들어, 세포 컨디셔닝), 시료를 착색하는 것, 항원 취출을 수행하는 것, 면역조직화학 착색 (라벨링 포함) 또는 다른 반응들을 수행하는 것, 및/또는 인시츄 하이브리드화 (예를 들어, SISH, FISH 등) 착색 (라벨링 포함) 또는 다른 반응들을 수행하는 것뿐 아니라 현미경 관찰법, 미량 분석법, 질량 분석법, 또는 다른 분석법들을 위해 시료들을 준비하는 다른 프로세스들을 수행하는 것을 포함할 수 있다.
시료는 조직 샘플을 포함할 수 있다. 조직의 샘플은, 타겟이 존재할 수 있는 임의의 액체, 반고체, 또는 고체 물질 (또는 재료) 일 수 있다. 특히, 조직 샘플은 생물학적 샘플, 또는 생물학적 조직으로부터 획득된 조직 샘플일 수 있다. 조직은, 유기체 내에서 유사한 기능을 수행하는 상호연결된 세포들의 집합일 수 있다. 일부 예들에 있어서, 생물학적 샘플은 인간 피험자와 같은 동물 피험자로부터 획득된다. 생물학적 샘플은, 다른 것들 중에서 박테리아, 효모, 원생동물들, 및 아메바와 같은 단일 세포 유기체들, (건강하거나 건강한 것으로 보이는 인간 피험자, 또는 암과 같은 진단 또는 조사될 조건 또는 질병에 걸린 인간 환자로부터의 샘플들을 포함한 식물들 또는 동물과 같은) 다세포 유기체들을 한정없이 포함하는 임의의 살아있는 유기체로부터 획득되고, 이에 의해 배설되거나 분비되는 임의의 고체 또는 유체 샘플일 수 있다. 예를 들어, 생물학적 샘플은 예를 들어 혈액, 혈장, 혈청, 소변, 담즙, 복수, 타액, 뇌척수액, 안방수 또는 유리액, 또는 임의의 신체 분비물, 여출액, 삼출액 (예를 들어, 농양, 또는 감염 또는 염증의 임의의 다른 부위에서 획득된 유체) 으로부터 획득된 생물학적 유체, 또는 관절 (예를 들어, 정상 관절 또는 질병에 걸린 관절) 로부터 획득된 유체일 수 있다. 생물학적 샘플은 또한 임의의 기관 또는 조직 (종양 생검과 같은 생검 또는 부검 시료 포함) 으로부터 획득된 샘플일 수 있거나 임의의 세포, 조직 또는 기관에 의해 컨디셔닝된 세포 (1 차 세포이든지 배양된 세포이든지) 또는 매체를 포함할 수 있다. 일부 예들에 있어서, 생물학적 샘플은 핵 추출물이다. 특정 예들에 있어서, 샘플은 개시된 세포 펠렛 섹션 샘플들 중 하나와 같은 품질 제어 샘플이다. 다른 예들에 있어서, 샘플은 테스트 샘플이다. 예를 들어, 테스트 샘플은 피험자로부터 획득된 생물학적 샘플로부터 준비된 세포, 조직 또는 세포 펠렛 섹션이다. 일 예에 있어서, 피험자는 특정 조건 또는 질병의 위험성이 있거나 걸린 피험자이다. 일부 실시형태들에 있어서, 시료는 유방 조직이다.
프로세싱 장치 (210) 는 시료에 고착액을 적용할 수 있다. 고정액은 (알데히드, 예를 들어 포름알데히드, 파라포름알데히드 및 글루타르알데히드 뿐 아니라 비-알데히드 가교제와 같은) 가교제, 산화제 (예를 들어, 오스뮴 테트록시드 및 크롬산과 같은 금속 이온 및 착물), 단백질 변성제 (예를 들어, 아세트산, 메탄올 및 에탄올), 미지의 메커니즘의 고정액 (예를 들어, 염화수은, 아세톤 및 피크르산), 조합 시약 (예를 들어, 카노이 고정액, 메타카른, 부앵액, B5 고정액, 로스만액 및 장드르액), 마이크로파 및 각종 고정액 (예를 들어, 배제 부피 고정 및 수증기 고정) 을 포함할 수 있다.
시료가 파라핀에 포매된 샘플이면, 그 샘플은 적절한 탈파라핀화 유체(들)를 사용하여 탈파라핀화될 수 있다. 폐기물 제거기가 탈파라핀화 유체(들)를 제거한 이후, 임의의 수의 물질들이 연속적으로 시료에 적용될 수 있다. 그 물질들은 전처리 (예를 들어, 단백질 가교, 노출 핵산 등), 변성, 하이브리드화, 세정 (예를 들어, 엄중 세정), 검출 (예를 들어, 시각적 또는 마커 분자를 프로브에 링크), 증대 (예를 들어, 단백질들, 유전자들 등을 증대), 대비 착색, 봉입 등을 위한 것일 수 있다.
시료 프로세싱 장치 (210) 는 광범위한 물질들을 시료에 적용할 수 있다. 그 물질들은, 한정없이, 착색제들, 프로브들, 시약들, 린스들, 및/또는 컨디셔너들을 포함한다. 그 물질들은 유체들 (예를 들어, 기체들, 액체들, 또는 기체/액체 혼합물들) 등일 수 있다. 유체들은 용매 (예를 들어, 극성 용매, 비-극성 용매 등), 용액 (예를 들어, 수용액 또는 다른 타입들의 용액) 등일 수 있다. 시약들은, 한정없이, 착색제들, 습윤제들, 항체들 (예를 들어, 단일 클론 항체들, 다중 클론 항체들), 항원 복원 유체들 (예를 들어, 수성 또는 비수성 기반 항원 취출 용액들, 항원 복원 버퍼들 등) 등을 포함할 수 있다.
프로브들은, 검출가능한 라벨 또는 수용체 분자에 부착되는 단리된 핵산 또는 단리된 합성 올리고뉴클레오티드일 수 있다. 라벨들은 방사성 동위원소, 효소 기질, 보조인자, 리간드, 화학발광 또는 형광제, 합텐 및 효소를 포함할 수 있다. 예를 들어, 프로브들은, 한정없이, 합텐 라벨링된 특정 결합 부위, DNA 프로브 (예를 들어, DNP 라벨링된 DNA 프로브), 니트로아릴 화합물, 디니트로페놀, 결전자 방향족 화합물, 프로브 하이드로화 용액, 또는 다른 타입의 ISH 프로브들을 포함할 수 있다. ISH 는 라벨링된 상보적 DNA 또는 RNA 가닥 (즉, 프로브) 을 수반하여, 조직의 일부 또는 섹션에 있어서 (인시츄로), 또는 조직이 충분히 작다면, 전체 조직 (전체 고정 ISH) 에 있어서 특정 DNA 또는 RNA 서열을 국부화할 수 있다.
일부 실시형태들에 있어서, 프로세싱 장치 (210) 에 적용된 칵테일 검정은 상이한 시약들을 포함한다. 예를 들어, 하나의 칵테일 검정은 ULTRAVIEW SISH 검출 키트 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-001), INFORM HER2 DNA 프로브 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-4332), 래빗 항DNP 항체 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-4335), 래빗 항HER2 (4B5) 항체 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 800-2996), ULTRAVIEW 만능 알칼리성 인산가수분해효소 적색 검출 키트 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 760-501), 은 세정 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-002), 및/또는 INFORM 염색체 17 프로브 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-4331) 를 포함한다. 다른 칵테일 검정은 INFORM HER2 이중 ISH DNA 프로브 칵테일 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 800-4422) 을 포함하는, (벤타나 메디컬 시스템즈, 인코포레이티드) 에 의해 판매되는 INFORM HER2 이중 ISH DNA 프로브, HybReady (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-4409), ultraView SISH DNP 검출 키트 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 800-098), ultraView 적색 ISH DIG 검출 키트 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 800-505), ultraView 은 세정 II (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 780-003), 및/또는 HER2 이중 ISH 3-in-1 이종이식 슬라이드들 (벤타나 메디컬 시스템즈, 인코포레이티드, p/n 783-4332) 이다. 다른 칵테일 검정들이 사용될 수 있다. 칵테일 검정들은 인간 유방암 및 위-식도 접합을 포함한 위암의 포르말린 고정된 파라핀 포매된 조직 시료들에 있어서 2 컬러 발색 ISH 를 통해 HER2 유전자의 증대를 정량적으로 검출하는데 사용될 수 있고, 허셉틴 (trastuzumab) 이 처방 옵션일 수도 있는 환자들의 평가에 있어서의 보조물일 수 있다. 또 다른 프로토콜들에 있어서, 칵테일 검정은 벤타나 메디컬 시스템즈, 인코포레이티드, p/n 800-4422 에 의해 판매되는 VENTANA HER2 DNA 프로브 검정이다. MULTICOLOR CHROMOGENIC DETECTION OF BIOMAKERS 의 명칭인 미국 특허출원 제11/809,024호 (미국 특허공개공보 제2008/299555호에 대응), 및 METHOD FOR CHROMOGENIC DETECTION OF TWO OR MORE TARGET MOLECULES IN A SINGLE SAMPLE 의 명칭인 미국 특허출원 제11/809,024호 (미국 특허공개공보 제2011/0136130호에 대응) 는 물질들, 프로토콜들, 및 시료 프로세싱 기술들을 개시하며 참조로 전부 통합된다.
시료 프로세싱 장치 (210) 는 벤타나 메디컬 시스템즈, 인코포레이티드에 의해 판매되는 BENCHMARK XT 기구 및 SYMPHONY 기구와 같은 자동화된 장치일 수 있다. 벤타나 메디컬 시스템즈, 인코포레이티드는 미국특허 제5,650,327호, 제5,654,200호, 제6,296,809호, 제6,352,861호, 제6,827,901호 및 제6,943,029호, 그리고 미국 특허출원 공개공보 제20030211630호 및 제20040052685호를 포함하여, 자동화된 분석들을 수행하는 시스템들 및 방법들을 개시하는 다수의 미국 특허들의 양수인이며, 이들 각각은 본 명세서에 참조로 전부 통합된다. 대안적으로, 시료들은 수동으로 프로세싱될 수 있다.
시료들이 프로세싱된 후, 사용자는 시료-베어링 슬라이드들을 이미징 장치 (12) 로 전송할 수 있다. 도어 (13) 가 장치 (12) 를 로딩하기 위해 개방될 수 있다. 입력 디바이스 (17; 제어 패널로서 도시됨) 가 장치 (12) 를 동작시키기 위해 사용된다. 이미징 장치 (12) 는 명시야 이미저 또는 다른 타입의 슬라이드 스캐너일 수 있다. 하나의 명시야 이미저는 벤타나 메디컬 시스템즈, 인코포레이티드에 의해 판매되는 iScan Coreo™ 이다. 자동화된 실시형태들에 있어서, 이미징 장치 (12) 는 IMAGING SYSTEM AND TECHNIQUES 의 명칭인 국제특허출원 PCT/US2010/002772 (특허 공개공보 WO/2011/049608) 에 개시되거나 IMAGING SYSTEMS, CASSETTES, AND METHODS OF USING THE SAME 의 명칭으로 2011년 9월 9일자로 출원된 미국 특허출원 제61/533,114호에 개시된 바와 같은 디지털 병리학 디바이스이다. 국제특허출원 PCT/US2010/002772 및 미국 특허출원 제61/533,114호는 참조로 전부 통합된다. 다른 실시형태들에 있어서, 이미징 장치 (12) 는 현미경에 커플링된 디지털 카메라를 포함한다.
사용자는 도 7 의 컴퓨팅 시스템 (14) 을 사용하여, 프로세싱 장치 (210) 를 제어하고 디지털화된 슬라이드 이미지들의 데이터베이스로부터 이미지를 선택할 수 있다. 사용자는 분석을 위해 관심있는 하나 이상의 영역들을 선택할 수 있다. 컴퓨터 시스템 (14) 은 각각의 관심있는 영역에 있어서의 신호들을 자동으로 카운팅하여, 충분한 수의 SISH 신호 및 적색 ISH 신호들이 HER2/염색체 17 비율의 충분히 정확한 추정을 제시하는지 여부를 결정한다. 그 결과들이 사용자에게 디스플레이된다. 사용자가 임의의 특정 관심있는 영역의 분석으로 진행하도록 결정하면, 사용자는 추정치에 포함될 핵들의 세트를 선택하는 것 또는 후보 핵들을 자동으로 식별하기 위한 알고리즘을 사용하는 것 중 어느 하나의 옵션을 갖는다. 사용자는 알고리즘을 사용하여 식별된 임의의 후보 핵들을 삭제할 수 있다. 일부 실시형태들에 있어서, 시료의 전체 이미지가 정성적 분석을 위해 분석된다. 전체 카운트가 시료에 대해 결정될 수 있다. 그 후, 사용자는 시료의 특정 영역들에 분석을 집중할지 여부를 결정할 수 있다.
선택된 핵들 각각은 SISH 및 적색 ISH 신호들에 대해 검사된다. 적색 ISH 에 대한 SISH 의 비율이 각각의 핵에 대해 추정된다. 선택된 핵들에서 발견된 SISH 및 적색 ISH 는 관심있는 전체 영역에 대해 HER2/염색체 17 비율을 형성하도록 결합된다. 사용자는 그 샘플에 대한 공식적인 주석으로서 결과를 수용할 수 있다. 대안적으로, 사용자는, 예를 들어, 핵들의 상이한 세트, 새로운 관심있는 영역 등에 기초하여 결과를 폐기하고 프로세스를 재시작할 수 있다. 프로세스 전반에 걸쳐, 수치들 또는 이미지들의 형태인 결과들이 사용자에게 디스플레이된다. 그 결과들에 기초하여, 사용자는 개입하거나 계속할 수 있다. 이러한 상호작용적 또는 사용자 보조적 접근법에 부가하여, 컴퓨터 시스템 (14) 은 어떠한 인간 개입도 없이 각각의 영역을 자동으로 분석할 수 있다. 사용자는 그 분석에 기초하여 시료 프로세싱 장치 (210) 의 동작을 제어하여 후속 시료 프로세싱을 개선시킬 수 있다.
본 명세서에서 참조되고/되거나 출원데이터 시트에 리스트된 미국 특허들, 미국 특허출원공개들, 미국특허출원들, 외국 특허들, 외국 특허출원들 및 비-특허 공개들은 본 명세서에 참조로 전부 통합된다. 더 추가적인 실시형태들을 제공하기 위해 다양한 특허들, 출원들 및 공개들의 개념들을 채용하기 위해 필요하다면, 실시형태들의 양태들은 변경될 수 있다.
전술한 바로 부터, 본 발명의 특정 실시형태들이 예시의 목적으로 본 명세서에서 설명되었지만, 다양한 변형들이 본 발명의 사상 및 범위로부터 일탈함없이 행해질 수 있음이 인식될 것이다. 이에 따라, 본 발명은, 첨부된 청구항들에 의한 것을 제외하고 한정되지 않는다.
Claims (19)
- 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템으로서,
프로그램 명령들의 시퀀스를 저장하는 메모리; 및
프로그램가능 프로세서를 포함하며,
상기 프로그램가능 프로세서는,
조직 샘플의 컬러 이미지를 수신하고,
세포 핵의 모폴로지에 기초하여 상기 컬러 이미지에 있어서 상이하게 착색된 (stained) 세포 핵의 유전자들 및 염색체들을 식별하며, 그리고
식별된 상기 유전자들 및 염색체들의 비율을 결정하여 상기 조직 샘플에 있어서의 유전자의 발현 레벨을 결정하기 위한,
상기 명령들을 실행하도록 구성되는, 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템. - 제 1 항에 있어서,
상기 컬러 이미지는 적어도 하나의 도트를 포함하고,
상기 프로그램가능 프로세서는, 도트 치수, 도트 형상, 도트 배향, 복수의 도트들 간의 공간 관계, 및 적어도 하나의 도트와 상기 조직 샘플의 다른 해부학적 구조 간의 공간 관계 중 적어도 하나를 평가함으로써, 상기 유전자들 및 상기 염색체들을 식별하도록 프로그래밍되는, 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템. - 제 1 항에 있어서,
상기 프로그램가능 프로세서는, 세포의 이미지를 RGB 컬러 스페이스로부터 L*a*b 컬러 스페이스로 변환함으로써 상기 조직 샘플의 컬러 이미지에 있어서 상기 유전자들 및 상기 염색체들의 컬러를 강화하고, 강화된 상기 컬러 이미지에서의 각각의 픽셀에 대하여 L, a, b 의 선형 결합을 산출하도록 프로그래밍되는, 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템. - 제 3 항에 있어서,
상기 프로그램가능 프로세서는, 상기 강화된 컬러 이미지를 다수의 가우시안 차이 필터들로 필터링함으로써 가능성있는 유전자들 및 염색체들을 나타내는 도트 마스크를 생성하도록 프로그래밍되는, 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템. - 제 4 항에 있어서,
상기 프로그램가능 프로세서는, 도트 및/또는 픽셀들의 메트릭들을 산출함으로써 도트의 영역 내의 세포의 컬러 이미지에서 픽셀들을 분석하고 상기 메트릭들을 하나 이상의 결정된 메트릭들에 기초하여 염색체들로부터 유전자들을 구분하도록 트레이닝된 분류기에 공급함으로써, 도트가 염색체 또는 유전자를 나타내는지 결정하도록 프로그래밍되는, 조직 샘플에 있어서의 유전자들의 발현 레벨을 검출하는 컴퓨터 기반 시스템. - 조직 샘플에 있어서의 유전자 발현들을 검출하는 컴퓨터 기반 시스템으로서,
상기 조직 샘플의 이미지를 저장하는 메모리; 및
상기 조직 샘플의 착색된 영역들에 대하여 다수의 메트릭들을 결정하고, 상기 메트릭들을 상기 착색된 영역들이 세포에서 유전자들 또는 염색체들을 나타내는지 식별하는 분류기에 공급하기 위해 상기 조직 샘플의 이미지를 분석하고; 상기 검출된 유전자들 및 염색체들의 개수를 카운트하고, 검출된 염색체들의 개수에 대한 검출된 유전자들 대 염색체들의 비율을 산출하여 유전자가 과도 발현되는지를 결정하기 위한 명령들의 시퀀스를 실행하도록 구성되는 프로세서를 포함하는, 조직 샘플에 있어서의 유전자 발현들을 검출하는 컴퓨터 기반 시스템. - 조직 시료의 자동화된 스코어링 방법으로서,
a) 상기 조직 시료의 디지털 이미지로부터 정량적인 분석을 위해 상기 조직 시료에서 후보 핵들을 선택하는 단계;
b) 컴퓨터의 도움으로, 상기 디지털 이미지로부터 제 1 인시츄 하이브리드화 신호 및 제 2 인시츄 하이브리드화 신호를 자동으로 카운팅하는 단계; 및
c) 상기 제 1 인시츄 하이브리드화 신호 및 제 2 인시츄 하이브리드화 신호의 카운트들의 비율을 추정하고 상기 비율을 보고하는 단계를 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 7 항에 있어서,
상기 제 1 인시츄 하이브리드화 신호는 은색 인시츄 하이브리드화 신호를 포함하고, 상기 제 2 인시츄 하이브리드화 신호는 적색 인시츄 하이브리드화 신호를 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 7 항에 있어서,
상기 핵들은 자동으로 선택되는, 조직 시료의 자동화된 스코어링 방법. - 제 7 항에 있어서,
상기 조직 시료는 유방암 시료를 포함하고,
상기 조직 시료의 자동화된 스코어링 방법은,
d) 상기 조직 시료에서 제시되는 HER2 유전자를 증대시키는 단계를 더 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 7 항에 있어서,
상기 단계 a) 내지 상기 단계 c) 는 상기 디지털 이미지에서 제 1 시야계에 대해 수행되고,
상기 조직 시료의 자동화된 스코어링 방법은,
상기 디지털 이미지의 제 2 시야계에 대하여 상기 단계 a) 내지 상기 단계 c) 를 반복하는 단계를 더 포함하는, 조직 시료의 자동화된 스코어링 방법. - 조직 시료의 자동화된 스코어링 방법으로서,
a) 제 1 인시츄 하이브리드화 프로브 및 제 2 인시츄 하이브리드화 프로브를 상기 조직 시료에 적용하는 단계;
b) 후속하여 상기 조직 시료의 디지털 이미지를 획득하는 단계;
c) 상기 디지털 이미지에서 시야계를 선택하는 단계;
d) 상기 시야계 내에서, 정량적 분석을 위해 후보 핵들을 선택하는 단계;
e) 상기 후보핵들에서 상기 제 1 인시츄 하이브리드화 프로브로부터의 제 1 신호 및 상기 제 2 인시츄 하이브리드화 프로브로부터의 제 2 신호를 자동으로 카운팅하는 단계; 및
f) 상기 제 1 신호 및 상기 제 2 신호의 카운트들의 비율을 추정하는 단계를 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 12 항에 있어서,
상기 디지털 이미지에서 제 2 시야계에 대하여 단계 d), 단계 e) 및 단계 f) 를 반복하는 단계를 더 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 12 항에 있어서,
상기 조직 시료는 유방암 시료를 포함하고,
상기 조직 시료의 자동화된 스코어링 방법은,
g) 상기 비율을 보고하는 단계를 더 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 12 항에 있어서,
상기 단계 c) 는 자동으로 수행되는, 조직 시료의 자동화된 스코어링 방법. - 제 15 항에 있어서,
상기 단계 d) 는 자동으로 수행되는, 조직 시료의 자동화된 스코어링 방법. - 제 12 항에 있어서,
g) 상기 시야계 및 상기 비율의 이미지를 디스플레이하는 단계를 더 포함하는, 조직 시료의 자동화된 스코어링 방법. - 제 12 항에 있어서,
상기 단계 c) 는 상기 제 1 인시츄 하이브리드화 프로브 및 상기 제 2 인시츄 하이브리드화 프로브로부터 신호들의 컬러 밸런스를 분석하고, 상기 컬러 밸런스가 미리결정된 기준들을 만족한다면 상기 시야계를 선택하는 단계를 포함하는, 조직 시료의 자동화된 스코어링 방법. - 세포 분석기로서,
프로그램 명령들의 시퀀스, 및 유전자들 및 염색체들이 이미지에 있어서 상이하게 보이도록 착색된 조직 샘플의 이미지를 저장하는 메모리; 및
상기 이미지에 있어서 착색된 상기 유전자들 및 염색체들의 외양을 강화하고, 강화된 이미지를 필터링하여 상기 이미지에 있어서 유전자들 및 염색체들을 가능성있게 나타내는 영역들을 검출하고, 상기 이미지에 있어서 유전자들 및 염색체들을 가능성있게 나타내는 영역들에 대한 다수의 메트릭들을 측정하며, 그리고 상기 메트릭들을 상기 영역들이 유전자들 또는 염색체들을 나타내는지 결정하는 분류기에 적용하기 위하여 상기 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함하며,
상기 하나 이상의 프로세서들은 추가로, 상기 조직 샘플에서 유전자 발현 레벨을 결정하기 위해 상기 이미지에 있어서 결정된 상기 유전자들 및 염색체들을 카운팅하도록 구성되는, 세포 분석기.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261593776P | 2012-02-01 | 2012-02-01 | |
US61/593,776 | 2012-02-01 | ||
PCT/EP2013/051705 WO2013113707A1 (en) | 2012-02-01 | 2013-01-29 | System for detecting genes in tissue samples |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177001321A Division KR20170010088A (ko) | 2012-02-01 | 2013-01-29 | 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140120321A true KR20140120321A (ko) | 2014-10-13 |
Family
ID=47683704
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147021628A KR20140120321A (ko) | 2012-02-01 | 2013-01-29 | 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 |
KR1020177001321A KR20170010088A (ko) | 2012-02-01 | 2013-01-29 | 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177001321A KR20170010088A (ko) | 2012-02-01 | 2013-01-29 | 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10521644B2 (ko) |
EP (1) | EP2810213B1 (ko) |
JP (3) | JP6140192B2 (ko) |
KR (2) | KR20140120321A (ko) |
CN (1) | CN104081412A (ko) |
AU (1) | AU2013214345B2 (ko) |
CA (1) | CA2859269C (ko) |
ES (1) | ES2779626T3 (ko) |
WO (1) | WO2013113707A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210024645A (ko) * | 2018-07-06 | 2021-03-05 | 엔지반트 테라퓨틱스 게엠베하 | 정량적 조직형태 분석을 통한 조직 효능 결정 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6070420B2 (ja) * | 2013-05-31 | 2017-02-01 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
EP3055835B1 (en) * | 2013-10-07 | 2019-12-18 | Ventana Medical Systems, Inc. | Systems and methods for comprehensive multi-assay tissue analysis |
CA2942081C (en) * | 2013-10-11 | 2021-09-07 | Ventana Medical Systems, Inc. | Multiplex her2 and estrogen receptor co-staining assays for detecting tumor heterogeneity |
US9298968B1 (en) * | 2014-09-12 | 2016-03-29 | Flagship Biosciences, Inc. | Digital image analysis of inflammatory cells and mediators of inflammation |
AU2015345199A1 (en) | 2014-11-10 | 2017-04-27 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
WO2016120440A1 (en) * | 2015-01-29 | 2016-08-04 | Ventana Medical Systems, Inc. | Dot detection, color classification of dots and counting of color classified dots |
WO2016120442A1 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Foreground segmentation and nucleus ranking for scoring dual ish images |
WO2016120463A1 (en) * | 2015-01-31 | 2016-08-04 | Ventana Medical Systems, Inc. | Systems and methods for area-of-interest detection using slide thumbnail images |
US9836839B2 (en) * | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
EP3440629B1 (en) * | 2016-04-06 | 2020-02-26 | H. Hoffnabb-La Roche Ag | Spatial index creation for ihc image analysis |
EP3523779A1 (en) | 2016-10-07 | 2019-08-14 | Ventana Medical Systems, Inc. | Digital pathology system and associated workflow for providing visualized whole-slide image analysis |
US10430943B2 (en) * | 2016-10-07 | 2019-10-01 | Sony Corporation | Automated nuclei area/number estimation for IHC image analysis |
US11501429B2 (en) | 2017-07-19 | 2022-11-15 | Altius Institute For Biomedical Sciences | Methods of analyzing microscopy images using machine learning |
CN111095358B (zh) * | 2017-08-04 | 2023-07-14 | 文塔纳医疗系统公司 | 辅助组织样本分析的载玻片图像颜色反卷积系统及方法 |
JP7038209B2 (ja) | 2017-11-13 | 2022-03-17 | エフ.ホフマン-ラ ロシュ アーゲー | エピタコ電気泳動を使用する試料分析のための装置 |
WO2019121555A1 (en) * | 2017-12-22 | 2019-06-27 | Ventana Medical Systems, Inc. | System and method for classifying cells in tissue images based on membrane features |
JP7080976B2 (ja) * | 2017-12-22 | 2022-06-06 | ベンタナ メディカル システムズ, インコーポレイテッド | 関心の細胞タイプに対する選択的染料セグメンテーション画像を生成するためのシステムおよび方法 |
CN112424825A (zh) | 2018-05-15 | 2021-02-26 | 文塔纳医疗系统公司 | 染色聚集体中信号的定量 |
JP2021531790A (ja) | 2018-07-27 | 2021-11-25 | ベンタナ メディカル システムズ, インコーポレイテッド | 自動化された原位置ハイブリッド形成分析のためのシステム |
WO2020024227A1 (zh) * | 2018-08-02 | 2020-02-06 | 深圳迈瑞生物医疗电子股份有限公司 | 一种细胞分析方法、细胞分析装置及存储介质 |
CN109300111B (zh) * | 2018-08-27 | 2020-05-12 | 杭州德适生物科技有限公司 | 一种基于深度学习的染色体识别方法 |
JP7212145B2 (ja) | 2018-08-31 | 2023-01-24 | ベンタナ メディカル システムズ, インコーポレイテッド | コンテキスト適応型デジタル病理インタフェース |
EP3864403A1 (en) | 2018-10-12 | 2021-08-18 | F. Hoffmann-La Roche AG | Detection methods for epitachophoresis workflow automation |
WO2020081343A1 (en) | 2018-10-15 | 2020-04-23 | Ventana Medical Systems, Inc. | Systems and methods for cell classification |
CN109187163B (zh) * | 2018-10-15 | 2024-08-06 | 南通市第二人民医院 | 一种内镜中心用病理标本蒸汽固定装置 |
CN114269916A (zh) | 2019-05-14 | 2022-04-01 | 豪夫迈·罗氏有限公司 | 用于样品分析的装置和方法 |
CN110633758A (zh) * | 2019-09-20 | 2019-12-31 | 四川长虹电器股份有限公司 | 针对小样本或样本不平衡的癌症区域检测定位的方法 |
KR102441907B1 (ko) * | 2021-07-08 | 2022-09-08 | 가톨릭대학교 산학협력단 | 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법 |
WO2024181592A1 (ko) * | 2023-02-27 | 2024-09-06 | 가톨릭대학교 산학협력단 | 유전자 변이를 식별하기 위한 복수의 이미지 분류 장치 및 그 분류 방법 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5595707A (en) | 1990-03-02 | 1997-01-21 | Ventana Medical Systems, Inc. | Automated biological reaction apparatus |
US20030211630A1 (en) | 1998-02-27 | 2003-11-13 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US6582962B1 (en) | 1998-02-27 | 2003-06-24 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
CA2321836C (en) | 1998-02-27 | 2004-09-28 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
WO2003033728A1 (en) * | 2001-10-15 | 2003-04-24 | Dsm Ip Assets B.V. | Apparatus and method for detecting undesired residues in a sample |
JP2004340738A (ja) | 2003-05-15 | 2004-12-02 | Sysmex Corp | 細胞分類装置とシステム及び細胞分類方法 |
WO2005076216A2 (en) | 2004-02-03 | 2005-08-18 | Bioimagene, Inc. | Method and system for automaticed digital image based flourescent in situ hybridization (fish) analysis |
US20060041385A1 (en) | 2004-08-18 | 2006-02-23 | Bauer Kenneth D | Method of quantitating proteins and genes in cells using a combination of immunohistochemistry and in situ hybridization |
EP1791979A4 (en) * | 2004-09-22 | 2009-07-29 | Ikonisys Inc | METHOD FOR DETECTING AND QUANTIFYING MULTIPLE SUBCELLULAR COMPONENTS |
DK2336350T3 (da) * | 2006-02-08 | 2014-01-27 | Dsm Ip Assets Bv | Kombination af en læser og inkubator |
WO2008031228A1 (en) * | 2006-09-15 | 2008-03-20 | The Governors Of The University Of Alberta | Automated fish analysis, circulating microfluidic chip, and method for immobilizing cells to a microfluidic chip |
JP4688954B2 (ja) | 2007-04-18 | 2011-05-25 | 国立大学法人 東京大学 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
JP2008292256A (ja) * | 2007-05-23 | 2008-12-04 | Fuji Xerox Co Ltd | 画質欠陥検出装置、画質欠陥検出方法およびプログラム |
US20080299555A1 (en) | 2007-05-30 | 2008-12-04 | Hiroaki Nitta | Multicolor chromogenic detection of biomarkers |
EP2334827B1 (en) | 2008-08-22 | 2015-03-11 | Ventana Medical Systems, Inc. | Method for chromogenic detection of two or more target molecules in a single sample |
IT1391619B1 (it) | 2008-11-04 | 2012-01-11 | Silicon Biosystems Spa | Metodo per l'individuazione, selezione e analisi di cellule tumorali |
CN102388305B (zh) * | 2009-02-02 | 2014-11-19 | 罗格斯新泽西州立大学 | 基于图像的风险分数-来自数字组织病理学的存活率和结果的预后预估 |
JP2011010621A (ja) * | 2009-07-03 | 2011-01-20 | Nikon Corp | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置 |
EP2430454B1 (en) | 2009-08-22 | 2013-01-23 | The Board Of Trustees Of The University Of the Leland Stanford Junior University | Imaging and evaluating embryos, oocytes, and stem cells |
JPWO2011043077A1 (ja) | 2009-10-09 | 2013-03-04 | 川崎重工業株式会社 | 未分化多能性幹細胞の識別方法及び装置並びに自動培養方法及び装置 |
EP2491452A4 (en) | 2009-10-19 | 2015-03-11 | Ventana Med Syst Inc | IMAGING SYSTEM AND TECHNIQUES |
JP5340126B2 (ja) * | 2009-12-04 | 2013-11-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム。 |
CA2903013C (en) | 2013-03-08 | 2021-05-11 | Siemens Healthcare Diagnostics Inc. | Tube characterization station |
-
2013
- 2013-01-29 JP JP2014555174A patent/JP6140192B2/ja active Active
- 2013-01-29 KR KR1020147021628A patent/KR20140120321A/ko active Application Filing
- 2013-01-29 CA CA2859269A patent/CA2859269C/en active Active
- 2013-01-29 WO PCT/EP2013/051705 patent/WO2013113707A1/en active Application Filing
- 2013-01-29 AU AU2013214345A patent/AU2013214345B2/en not_active Ceased
- 2013-01-29 EP EP13703547.3A patent/EP2810213B1/en active Active
- 2013-01-29 ES ES13703547T patent/ES2779626T3/es active Active
- 2013-01-29 US US14/372,673 patent/US10521644B2/en active Active
- 2013-01-29 CN CN201380007711.5A patent/CN104081412A/zh active Pending
- 2013-01-29 KR KR1020177001321A patent/KR20170010088A/ko not_active Application Discontinuation
-
2017
- 2017-04-27 JP JP2017088255A patent/JP6901311B2/ja active Active
-
2019
- 2019-09-17 JP JP2019168189A patent/JP6995095B2/ja active Active
- 2019-12-16 US US16/714,890 patent/US20200117883A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210024645A (ko) * | 2018-07-06 | 2021-03-05 | 엔지반트 테라퓨틱스 게엠베하 | 정량적 조직형태 분석을 통한 조직 효능 결정 |
Also Published As
Publication number | Publication date |
---|---|
US20140377753A1 (en) | 2014-12-25 |
JP6140192B2 (ja) | 2017-05-31 |
US20200117883A1 (en) | 2020-04-16 |
CN104081412A (zh) | 2014-10-01 |
CA2859269A1 (en) | 2013-08-08 |
AU2013214345B2 (en) | 2016-09-15 |
JP6995095B2 (ja) | 2022-02-04 |
US10521644B2 (en) | 2019-12-31 |
WO2013113707A1 (en) | 2013-08-08 |
EP2810213A1 (en) | 2014-12-10 |
JP2015508639A (ja) | 2015-03-23 |
JP6901311B2 (ja) | 2021-07-14 |
JP2020031636A (ja) | 2020-03-05 |
AU2013214345A1 (en) | 2014-06-26 |
KR20170010088A (ko) | 2017-01-25 |
EP2810213B1 (en) | 2020-01-22 |
CA2859269C (en) | 2016-12-13 |
ES2779626T3 (es) | 2020-08-18 |
JP2017163990A (ja) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995095B2 (ja) | 組織試料中で遺伝子を検出するための系 | |
US11836950B2 (en) | Quality metrics for automatic evaluation of dual ISH images | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
US20220375101A1 (en) | Foreground segmentation and nucleus ranking for scoring dual ish images | |
US11972859B2 (en) | Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies | |
CN118414640A (zh) | 数字病理学中深度学习模型的对抗鲁棒性 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
A107 | Divisional application of patent | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2017101000234; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170116 Effective date: 20181114 |