KR101369821B1 - 이미지 영역들의 자동 선택 - Google Patents

이미지 영역들의 자동 선택 Download PDF

Info

Publication number
KR101369821B1
KR101369821B1 KR1020087008458A KR20087008458A KR101369821B1 KR 101369821 B1 KR101369821 B1 KR 101369821B1 KR 1020087008458 A KR1020087008458 A KR 1020087008458A KR 20087008458 A KR20087008458 A KR 20087008458A KR 101369821 B1 KR101369821 B1 KR 101369821B1
Authority
KR
South Korea
Prior art keywords
image
tiles
calculated
tile
subset
Prior art date
Application number
KR1020087008458A
Other languages
English (en)
Other versions
KR20080055898A (ko
Inventor
폴 게라드 더크스버리
마르게레트 자이 바르가
Original Assignee
키네티큐 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 키네티큐 리미티드 filed Critical 키네티큐 리미티드
Publication of KR20080055898A publication Critical patent/KR20080055898A/ko
Application granted granted Critical
Publication of KR101369821B1 publication Critical patent/KR101369821B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

전체 이미지에서 이미지 영역들("타일들")의 자동 선택 방법은 그레이 레벨 동시 발생 매트릭스 및 전체 이미지의 녹색 평면의 엔트로피를 계산하는 단계, 상기 매트릭스에 밀접한 형태학을 적용하는 단계 및 이진 마스크들을 제공하기 위하여 매트릭스 및 엔트로피 이미지를 스레스홀딩하는 단계를 포함한다. 매트릭스 및 엔트로피 마스크들은 비네트 마스크와 결합되고, 상기 결합은 타일들이 임의로 선택된 허용 가능한 조직의 영역들을 가리킨다. 암 계조도를 위해; 이미지 데이터는 HSV(Hue, Saturation and Value)로 변환되고; 스테로이드/단백질 발현 분석은 청록색으로 변환되고 청록색의 조벨은 계산된다. 특징 측정치는 컬러 및 텍스처에 기초하여 각각의 타일에 대해 계산되고, 임의로 수행되지만 특징 측정에 의해 영향을 받는다. 최종적으로, 추가 선택으로부터, 타일들은 낮은 오버랩과 높은 특징 측정치를 결합하도록 선택된다.
그레이 레벨, 엔트로피, 암 계조도, 특징 측정, 스레스홀딩

Description

이미지 영역들의 자동 선택{Automated selection of image regions}
본 발명은 이미지 영역들의 자동 선택을 위한 것이며, 특히 조직병리학적 평가를 위한 표본 조직 샘플들의 영역의 자동 선택을 위한 (비록 배타적이 아니지만) 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
표본 조직 샘플들의 선택은 많은 형태의 암, 이상들 또는 환자의 반응의 조직병리학적(histopathological) 평가에 대한 필수적인 선구체(precursor)이다. 일단 조직 샘플들이 선택되었다면, 상기 샘플들은 에스트로겐 및 프로게스테론 수용체(ER 및 PR) 상태, C-erb-2 및 혈기 같은 파라미터들을 결정하기 위하여 병리학자에 의해 수동으로 평가될 수 있다. C-erb-2는 또한 Cerb-B2, her-2, her-2/neu 및 erb-2로서 공지되었다. 자동 조직병리학적 평가는 또한 공지되었다: 공개국제특허 출원들 WO 2004/017052, WO 2004/047004, WO 2004/046994, WO 2004/038633, WO 2004/057513, WO 2004/044845, WO 2004/055733 및 WO 2004/072900 참조.
특히 유방암은 조직 샘플들의 선택을 요구하는 여성 암의 일반적인 형태이다: 일단 유방암을 가리키는 병변이 검출되었다면, 유방 조직 샘플들은 취해지고, 관심 있는 특징들을 꺼내기 위하여 화학적으로 염색되고 진단, 예측 및 치료 계획을 설정하기 위하여 병리학자에 의해 평가된다. 그러나 평가를 위한 조직 샘플들의 선택은 시간 소비적인 수동 공정이다. 이것은 매우 주관적인 사람 눈에 의한 컬러 이미지들의 해석을 수반한다: 병리학자는 현미경 슬라이드상 핵심 조직 검사(core biopsy) 표본 조직 샘플을 연구하기 위하여 저배율로 현미경을 사용하고 관심 파라미터가 검출 가능한 것을 제공하는 특징들을 나타내는 측면의 부분들을 식별한다. 이 목적은 조직 파라미터의 결정에 잠재적으로 적당한 현미경 슬라이드 이미지의 영역들("타일들"이라 함)을 식별하는 것이다. 2.5x 배율(통상적인 선택을 위하여)에서 관찰된 슬라이드는 타일 오버랩이 없음을 가정하여 40x 배율(통상적인 평가를 위하여)에서 최대 256 타일들에 해당하고, 이들 많은 타일들은 적당하지 않을 수 있다. 평가 시간은 관심 파라미터가 실제로 신뢰성 있게 검출할 수 없는 것을 나타내도록 타일들이 선택되면 낭비이다. 선택 과정은 다른 관찰자들에 의해 선택된 타일들 사이에 상당한 편차를 특징으로 하고, 심지어 다른 시간들에서 동일한 관찰자에 의해 선택된 타일들 사이에 상당한 편차를 특징으로 한다. 게다가, 병리학 스태프가 부족하여, 타일 선택 과정을 자동화하는 것은 바람직하다.
본 발명의 목적은 표본 선택을 위한 자동화된 기술을 제공하는 것이다.
본 발명은 전체 이미지에서 이미지 영역들("타일들")의 자동 선택을 위한 방법을 제공하고, 상기 방법은:
a) 전체 이미지의 동시 발생 매트릭스 및 전체 이미지의 엔트로피 이미지 중 적어도 하나로부터 계산된 이미지를 생성하는 단계를 포함하고, 상기 계산된 이미지는 관심 특성을 나타낼 가능성이 비교적 높은지 또는 비교적 낮은지를 바탕으로 타일들 사이를 구별한다;
b) 관심 특성을 나타낼 가능성이 비교적 높은 타일들의 이전 서브세트를 선택하는 단계;
c) 이전 서브세트의 타일들에 대해 컬러 및 텍스처 중 적어도 하나와 연관된 특징 측정치를 유도하는 단계; 및
d) 타일 특징 측정치들을 바탕으로 적어도 부분적으로 타일들의 추가 서브세트를 이전 서브세트로부터 선택하는 단계를 포함한다.
본 발명은 조직 샘플의 이미지로부터 타일 형태를 선택하기 위한 객관적이고 재생 가능한 자동 기술을 형성하는 장점을 제공한다.
이전 서브세트로부터 타일들의 추가 서브세트를 선택하는 단계는 과도한 타일 오버랩의 회피와 관련될 수 있다. 계산된 이미지를 생성하는 단계는 동시 발생 매트릭스, 엔트로피 이미지 및 내부 영역들에 관련하여 낮은 조명도를 가진 전체 이미지의 외부 영역들을 계산된 이미지로부터 배제하기 위하여 구성된 비네트(vignette) 마스크의 결합을 사용한다.
계산된 이미지를 생성하는 단계는 이진화하기 위하여 동시 발생 매트릭스 및 엔트로피 이미지를 스레스홀딩(thresholding) 하는 단계를 통합할 수 있다. 전체 이미지는 적색, 녹색 및 청색(R,G,B) 이미지이고 계산된 이미지를 생성하는 단계는 전체 이미지 중 녹색 평면을 사용하여 실행될 수 있다.
계산된 이미지는 전체 이미지의 적어도 동시 발생 매트릭스를 사용하고 관심 있는 이미지 특징들을 포함하는 타일 영역(전경: foreground)들 및 상기 특징들이 부족한 타일 영역(배경: background)들 양측 모두의 공간 필터링을 위하여 계산된 이미지에 형태학적 클로징 연산들(morphological closing operations)을 적용하여 생성될 수 있다.
타일들의 이전 및 추가 서브세트들의 선택은 랜덤 과정들에 의해 실행될 수 있다.
본 발명의 방법은 암 계조도(grading)에 사용될 수 있다: 방법은 이미지 데이터에 색상/채도/명도(Hue/Saturation/Value; HSV) 변환을 적용하는 단계, '라이트(light) 핑크', '다크(dark) 핑크' 및 '백색' 조직 영역들을 얻기 위하여 색상 및 채도 성분들을 스레스홀딩(thresholding)하는 단계, 컬러 및 텍스처에 기초하여 각각의 타일에 대한 특징 측정치를 계산하는 단계를 포함할 수 있다.
본 발명의 방법은 스테로이드/단백질 발현 분석에 선택적으로 사용될 수 있다: 이것은 청록색 이미지 데이터를 제공하기 위하여 이미지를 변환하는 단계 및 청록색 이미지 데이터의 측정치 및 상기 데이터의 조벨(Sobel) 필터 등가치를 바탕으로 각각의 타일에 대한 특징 측정치를 계산하는 단계를 포함할 수 있다.
이전 서브세트로부터 타일들의 추가 서브세트의 선택은 선택되지 않은 등가물들 보다 큰 크기(부호 무시)의 타일 오버랩 및 특징 측정치들 사이의 차이를 나타내는 타일들을 선택함으로써 실행될 수 있다.
다른 측면에서, 본 발명은 전체 이미지에서 타일들의 자동 선택을 위한 장치를 제공하고, 상기 장치는:
a) 전체 이미지의 동시 발생 매트릭스 및 전체 이미지의 엔트로피 이미지 중 적어도 하나로부터 계산된 이미지를 생성하기 위한 수단을 포함하고, 상기 계산된 이미지는 관심 특성을 나타낼 가능성이 비교적 높은지 또는 비교적 낮은지를 바탕으로 타일들 사이를 구별하고;
b) 관심 특성을 나타낼 가능성이 비교적 높은 타일들의 이전 서브세트를 선택하기 위한 수단;
c) 이전 서브세트의 타일들에 대한 컬러 및 텍스처 중 적어도 하나와 연관된 특징 측정치를 유도하기 위한 수단; 및
d) 타일 특징 측정치들을 바탕으로 적어도 부분적으로 타일들의 추가 서브세트를 이전 서브세트로부터 선택하기 위한 수단을 포함한다.
이전 서브세트로부터 타일들의 추가 서브세트를 선택하기 위한 수단은 과도한 타일 오버랩을 피하기 위하여 구성될 수 있다. 계산된 이미지를 생성하기 위한 수단은 동시 발생 매트릭스, 엔트로피 이미지 및 내부 영역들에 비해 낮은 조명도를 가진 전체 이미지의 외부 영역들을 계산된 이미지로부터 배제하기 위하여 구성된 비네트 마스크를 사용한다.
계산된 이미지를 생성하기 위한 수단은 이진화를 위하여 동시 발생 매트릭스 및 엔트로피 이미지의 스레스홀딩을 사용할 수 있다. 전체 이미지는 적색, 녹색 및 청색(R,G,B) 이미지일 수 있고 계산된 이미지를 생성하기 위한 수단은 전체 이미지의 녹색 평면으로부터 계산된 이미지를 유도할 수 있다.
계산된 이미지는 전체 이미지의 동시 발생 매트릭스를 적어도 사용하고 관심 있는 이미지 특징들을 포함하는 타일 영역들(전경) 및 상기 특징들이 부족한 타일 영역(배경)들 양측 모두의 공간 필터링을 위하여 계산된 이미지에 형태학적 클로징 연산들을 적용하는 단계를 사용하여 생성될 수 있다.
타일들의 이전 및 추가 서브세트들의 선택은 랜덤 과정을 사용하여 실행될 수 있다.
본 발명의 장치는 암 계조도에 사용될 수 있다: 장치는 이미지 데이터에 색상/채도/명도 변환을 적용하고, '라이트 핑크', '다크 핑크' 및 백색' 조직의 영역들을 얻기 위하여 색상 및 채도 성분들을 스레스홀드하고, 컬러 및 텍스처에 기초하여 각각의 타일들에 대한 특징 측정치를 계산하기 위하여 구성될 수 있다.
본 발명의 장치는 선택적으로 스테로이드/단백질 발현 분석에 사용될 수 있다: 이것은 청록색 이미지 데이터를 제공하기 위하여 이미지 데이터를 변환하고 청록색 이미지 데이터의 컬러 및 텍스처의 측정치 및 상기 데이터의 조벨 필터 등가물을 바탕으로 각각의 타일에 대한 특징 측정치를 계산하기 위하여 구성될 수 있다.
이전 서브세트로부터 타일들의 추가 서브세트의 선택은 선택되지 않은 등가물들 보다 크기가 큰 타일 오버랩(부호 무시) 및 특징 측정치들 사이의 차이들을 나타내는 타일들을 선택함으로써 실행될 수 있다.
다른 측면에서, 본 발명은 전체 이미지의 타일들의 자동 선택에 사용하기 위한 컴퓨터 소프트웨어를 제공하고, 상기 소프트웨어는 하기 단계들을 수행하기 위하여 컴퓨터 장치를 제어하기 위한 명령들을 통합하고 있고; 하기 단계는,
a) 전체 이미지의 동시 발생 매트릭스 및 전체 이미지의 엔트로피 이미지 중 적어도 하나로부터 계산된 이미지를 생성하는 단계를 포함하고, 상기 계산된 이미지는 관심 특성을 나타낼 가능성이 비교적 높은지 또는 비교적 낮은지를 바탕으로 타일들 사이를 구별하고;
b) 관심 특성을 나타낼 가능성이 비교적 높은 타일들의 이전 서브세트를 선택하는 단계;
c) 이전 서브세트의 타일들에 대해, 컬러 및 텍스처 중 적어도 하나와 연관된 특징 측정치를 유도하는 단계; 및
d) 타일 특징 측정치들을 바탕으로 적어도 부분적으로 타일들의 추가 서브세트를 이전 서브세트로부터 선택하는 단계를 포함한다.
본 발명의 소프트웨어는 이진화를 위하여 동시 발생 매트릭스 및 엔트로피 이미지의 스레스홀딩에 의해 계산된 이미지를 생성하기 위한 명령들을 가질 수 있다. 전체 이미지는 적색, 녹색 및 청색(R,G,B) 이미지일 수 있고 소프트웨어는 전체 이미지의 녹색 평면으로부터 계산된 이미지를 생성하기 위한 명령들을 가질 수 있다.
소프트웨어는 전체 이미지의 적어도 동시 발생 매트릭스를 사용하는 계산된 이미지를 생성하고 관심 있는 이미지 특징들을 포함하는 타일 영역(전경)들 및 상기 특징들이 부족한 타일 영역(배경)들 양쪽의 공간 필터링을 위해 계산된 이미지에 형태학적 클로징 연산들을 적용하기 위한 명령들을 가질 수 있다.
타일들의 이전 및 추가 서브세트들의 선택은 랜덤 과정들에 의해 실행될 수 있다.
본 발명의 소프트웨어는 암 계조도와 관련하여 사용될 수 있다: 이것은 이미지 데이터에 색상/채도/명도 변환을 적용하고 '라이트 핑크', '다크 핑크' 및 '백색' 조직을 얻기 위하여 색상 및 채도 성분들을 스레스홀딩하고 컬러 및 텍스처에 기초하여 각각의 타일에 대한 특징 측정치를 계산하기 위한 명령들을 포함할 수 있다.
본 발명의 소프트웨어는 스테로이드/단백질 발현 분석에 선택적으로 사용될 수 있다: 이것은 청록색 이미지 데이터를 제공하기 위하여 이미지 데이터를 변환하고 청록색 이미지의 컬러 및 텍스처 측정치 및 상기 데이터의 조벨 필터 등가물을 바탕으로 각각의 타일에 대한 특징 측정치를 계산하기 위한 명령들을 포함할 수 있다.
이전 서브세트로부터 타일들의 추가 서브세트 선택은 선택되지 않은 등가물들 보다 큰 크기(부호 무시)의 타일 오버랩 및 특징 측정치들 사이의 차이를 나타내는 타일들의 선택을 실행하기 위하여 소프트웨어의 명령들에 의해 실행될 수 있다.
본 발명이 보다 잘 이해되도록 하기 위하여, 실시예들은 단지 예시적으로 첨부 도면들을 참조하여 기술된다.
도 1은 핵심 조직검사의 선택을 포함하고 추가 평가를 위하여 조직 영역의 선택을 가리키는 조직 샘플을 보유한 현미경 슬라이드의 저배율 이미지의 개략도.
도 2는 본 발명의 처리의 블록도.
도 3은 도 2의 단계를 실행하는 처리를 보다 상세히 도시하는 블록도.
도 4는 도 3의 컬러 이미지 전환 단계에서 얻어진 색상 히스토그램을 개략적으로 도시한 도면.
도 5는 도 3에 도시된 처리에 사용된 랜덤 선택 처리를 도시한 도면.
도 1을 참조하여, 일반적으로 2로 표시된 저배율을 가진 현미경 슬라이드 이미지는 핵심 조직검사 표본 조직(4)을 포함한다. 6과 같은 직사각형 이미지 영역들은 조직학 파라미터의 결정에 잠재적으로 적당한 것으로 식별된다. 영역들(6)은 조직 타일들 또는 타일들이라 하고, 추후 조직을 위하여 추가로 확대될 것이다. 선택 처리의 목적은 핵심 조직검사의 비교적 높게 텍스처 되고 염색된 섹션들의 이미지들이 비교적 적게 텍스처 되고 염색된 섹션들보다 관심있는 특징을 보다 잘 보여주는 타일들(6)을 선택하는 것이다.
타일들을 선택하기 위한 종래 기술 수동 과정에서, 임상의는 현미경 아래에 슬라이드(2)를 배치하고 낮은(예를 들어, 2.5x) 내지 높은(예를 들어, 40x) 배율의 결합으로 이를 검사한다. 그 다음 임상의는 이상한 컬러, 크기, 모양을 포함하는 조직 또는 타일들(6)의 영역들 및 경계 정의, 주관적 과정을 눈으로 식별하기 위하여 찾는다. 이런 방식으로 선택된 타일들(6)은 하나 또는 그 이상의 조직학 파라미터들의 결정을 유도하는 보다 상세한 분석에 사용된다. 이후 이 실시예에 기술된 타일들을 선택하기 위한 처리는 종래 기술 수동 과정을 자동 과정으로 대체한다.
도 2는 조직학 평가를 위하여 조직 타일들의 자동 선택을 위한 과정(10)의 아웃라인이다. 섹션들은 조직 샘플들(생체검사)로부터 얻어지고(잘려지고) 각각의 현미경 슬라이들상에 배치된다. 이들 슬라이드들은 조직학 파라미터가 관련된, 이 실시예에서 유방암 계조도 또는 단백질 발현 분석에 따라 선택된 염색제를 사용하여 염색된다. 특정 염색제들 및 이 용도들은 다음과 같다:
a) 조직 및 세포 구조를 묘사하기 위한 공통 염색제인 헤마톡실린 & 에오신(haematoxylin & eosin; H&E). H&E로 염색된 조직은 유사분열 활성(mitotic activity), 핵 다형성(nuclear pleomorphism) 및 세관 활성(tubule activity)을 포함하는 유방암 계조도를 평가하기 위하여 사용된다;
b) 기질(화학적 염색제) - 집합적으로 "Cerb-DAB" - 로서 디아미노벤지딘(diaminobenzidine; DAB)을 가진 C-erb-2에 대한 면역조직화학 염색 - 이것은 단백질 과잉 발현 및 C-erb-2 유전자 증폭 상태를 평가하기 위한 것이다;
c) 에스트로겐 수용체들의 발현(발현되거나 방출되는 양)을 평가하기 위하여 기질(집합적으로 "ER-DAB")으로서 DAB를 가진 에스트로겐 수용체(ER). 프로게스테론 수용체(PR) 상태는 ER과 동일한 컬러화를 제공하는 화학 처리를 사용하여 조사된다.
각각의 염색된 슬라이드는 3개의 컬러들, 적색, 녹색 및 청색(R,G & B)에서 디지털 이미지를 형성하는 자동 슬라이드 스캐너를 사용하여 12에서 스캔된다. 3개의 세기 값들은 R,G 및 B 이미지 평면들의 결합으로 구성된 이미지를 제공하기 위하여 화소 어레이에서 각각의 화소에 대해 얻어진다. 이런 디지털 이미지의 저해상도 버젼(예를 들어, 2.5배 선형 크기들 또는 2.5x로 확대)은 14에서 한 세트의 타일들을 선택하기 위하여 분석된다: 그 다음 선택된 타일들은 보다 높은 확대로 이미지화되고 16에서 추가 처리를 위하여 데이터베이스에 입력된다. 유사분열, 다형성, 에스트로겐 수용체(ER), 프로게스테론 수용체(PR) 및 C-erb-2의 평가를 위하여, 전체 해상도 또는 최대 현미경 배율은 현재 40x이고 세관에 대해 10x이다. 타일들의 선택된 세트를 형성하는 타일들의 수는 평가된 것 및 현재 의학 실무에 따른다; 유사분열에 대해 현미경 필드 직경에 따른다. 현재, 10개의 타일들은 유사분열을 위하여 선택되고, 2개의 타일들은 다형성을 위해, 2개의 타일들은 세관들을 위해 및 하나는 각각 ER, PR 및 C-erb-2를 위하여 선택된다. 그러나 타일들의 세트에서 타일들의 수들은 선택의 문제이고 본 발명에서 중요하지 않다.
도 3을 지금 참조하여, 도 2를 참조하여 기술된 과정(10)의 단계(14)는 보다 상세히 도시된다. 20에서, 입력 RGB 이미지의 녹색 평면(G)으로부터, 그레이 레벌 동시 발생 매트릭스가 생성된다. 이것은 녹색 평면을 사용하기 위하여 필수적인 것이 아니나 경험은 보다 우수한 결과들을 형성하는 것을 가리킨다. 그레이 레벨 동시 발생 매트릭스의 생성은 예를 들어, IEEE Trans, Syst., Man, Cybern., Vol SMC-3, pp 610-621, 1973(Texture Features for Image Classification, RM Haralick, K Shanmugan and I Dinstein)에 기술된 표준 이미지 처리 과정이다. 상기 매트릭스는 매트릭스 엘리먼트들을 가진 다중차원 히스토그램이고, 상기 동시 발생 매트릭스 엘리먼트들 각각은 미리 배열된 이미지 특성들이 동시에 발생하는 빈도이다. 입력 RGB 이미지는 첫 번째로 본래 선형 크기들(1/36차 영역)의 1/6로 서브샘플링된다: 이런 서브샘플링된 이미지의 화소 값들은 추후 계산을 감소시키기 위하여 256 그레이 레벨들에서 8로 양자화되고, 즉 0 내지 31의 화소 값들은 영으로 설정되고, 32 내지 63은 1로 설정되고 224 내지 255까지는 7로 설정된다. 그 다음 그레이 레벨 동시 발생 매트릭스는 계산된다: 이것은 양자화 없이 발생된 256×256 대신 8×8 매트릭스이다. 본 실시예에서, 동시 발생 매트릭스는 그레이 레벨들(i 및 j)이 하나 또는 그 이상의 미리 배열된 방향으로 특정 거리만큼 이격된 2개의 화소들에서 발생하는 것의 다수 배인 일반적인 또는 i,j번째 엘리먼트(로우 i, 컬럼 j)를 가진다. 여기서 상기 거리는 1 화소로 주어지고 방향들은 4개의 세트, 즉 고려되는 현재 화소의 상, 하, 좌측 및 우측이고: 이들은 가장 가까운 이웃들의 현재 화소의 로우 및 컬럼(그러나 대각선이 아님)이다.
22에서, 동시 발생 매트릭스 엘리먼트들은 평가되고, 그것의 로우 위치와 함께 최대 값의 엘리먼트가 결정된다: 로우 위치는 이 위치에서 양자화된 그레이 레벨을 가리키고, 0 내지 255의 본래 사전 양자화 레벨에서 그레이 레벨 값을 하나의 값으로 전환하기 위하여 32(즉, 256/8)로 곱셈된다. 그 다음 전환 값은 다음과 같은 이진 마스크(화소 값들 1 및 0만)의 형성을 위한 임계치를 정의하기 위하여 사용된다. 이진 마스크는 전환된 값의 스레스홀드 이상의 값들을 가진 입력 이미지 녹색 평면(G)내에서 화소들에 대한 등가 위치들에 배치된 화소들에 대하여 모두 0(배경, 조직없음)인 화소 값들을 가진다; 이진 마스크의 모든 다른 화소 값들은 1로 설정된다(전경, 조직).
22에서, 몰포로지컬 클로징(morphological closing)이 이진 마스크를 정화하기 위하여 적용된다. 몰포로지컬 클로징은 필수적이지 않고 원하지 않는 이미지 구조를 공간적으로 필터링함으로써 결과들을 개선한다. 이것은 모양 및 기하 구조를 바탕으로 하고 Umbaugh S.C., 'Colour Vision and Image Processing', Prentice Hall, 1998에 공개된 표준 이미지 처리 기술이다. 이것은 이미지 특징의 팽창(확장)(dilation(expansion)) 또는 수축(위축)(erosion(shrinkage))을 형성하고 오목 및 볼록들을 제거하기 위하여 이미지에 몇몇 크기 및 모양의 필터를 적용한다. 형태학적 클로징 연산은 팽창 다음의 수축으로서 정의된다. 형태학적 연산들은 한번에 하나의 화소 위치에서 이미지를 가로질러 필터 커널(kernel)을 이동시킴으로서 이미지에 적용된다. 본 실시예에서 3×3 필터 커널(9개의 엘리먼트들)dl 사용되어 하기 방정식(1)에 도시된 것과 같은 원으로의 근사화값이다.
Figure 112008025298312-pct00001
(1)
필터 커널은 개념적으로 한번에 9개의 이미지 화소들을 놓고, 편리하게 제1의 3개의 컬럼들 중 제1의 3개의 로우들의 화소들을 가진 이미지의 좌상부 모서리에서 시작한다. 팽창을 형성하기 위하여, 만약 영이 아닌 필터 커널 엘리먼트들에 의해 놓여진 4개의 이미지 화소들 중 임의의 하나 또는 그 이상이 값 1을 가지면, 필터 출력은 1로 설정된다: 이것은 OR 연산을 사용하여 수행된 합산에 대응한다. 그 다음 필터 커널은 하나의 화소가 우측으로 이동되고 처리는 반복된다. 이미지의 우측에 도달될 때, 필터 커널은 하나의 화소가 아래로 이동되고 처리는 전체 이미지가 이런 방식으로 처리될 때까지 반복된다. 수축은 팽창의 듀얼이다: 여기서 만약 영이 아닌 필터 커널 엘리먼트들에 의해 놓여진 4개의 이미지 화소들 중 임의의 하나 또는 그 이상이 값 0을 가지면, 필터 출력은 0으로 설정된다: 이것은 AND 연산을 사용하여 수행되는 합산에 해당한다. 수축은 팽창과 동일한 방식으로 전체 이미지에 대해 반복된다.
그 다음 몰포로지컬 클로징 연산으로부터 발생하는 처리된 이미지는 1로부터 각각의 엘리먼트들을 감산함으로써 반전된다; 따라서 배경 화소들은 1이 되고 전경 화소들은 0이 된다. 동일한 형태학적 클로징 연산은 반복되고 새로운 결과는 본래 형태로 되돌아가기 위하여 반전되고, 즉 배경 화소들은 0이 되고 전경 화소들은 1이 된다. 이들 2개의 스테이지들은 배경 및 전경 양쪽에 제공된 홀들을 감소시키는 효과를 가지며, 이들로부터 발생하는 이미지는 마스크 A라 불린다.
24에서, 본래 입력 RGB 이미지의 녹색 평면 G로부터, 엔트로피 이미지는 계산된다. 엔트로피는 임의성의 측정치이고, 보다 임의로 분산된 화소 값들 보다 크다. (조직을 갖지 않는 빈 유리 슬라이드의 영역들의 이미지들 같은) 동종의 이미지 영역들은 조직의 보다 조밀하게 텍스처된 영역들보다 낮은 엔트로피를 가진다. 이미지는 본래 선형 크기들(예를 들어, 246×193으로 서브샘플링된 1476×1160 화소들)의 1/6로 서브샘플링되고 엔트로피는 이미지의 7×7 화소들의 윈도우에 대해 계산(이하에 기술됨)된다. 이 윈도우는 한번에 하나의 화소 위치에서 이미지를 가로질러 스캔되고, 엔트로피는 각각의 위치에서 계산된다. 윈도우가 이미지를 가로질러 완전히 스캔되었을 때, 하나의 화소 위치 아래로 이동되고 다시 한번 이미지를 가로질러 스캔된다. 이런 과정은 전체 이미지가 이런 방식으로 스캔될 때까지 반복된다.
각각의 화소 위치에서 히스토그램은 얻어지고 화소 세기들의 빈도수를 나타낸다: 예를 들어, 8 비트 화소들을 가지는 이미지에 있어서, 히스토그램은 0부터 255까지의 256 세기 값들을 가진 횡축을 구비하고, 화소들의 수의 세로축은 각각의 세기 값을 가진다. 따라서 히스토그램은 256 엘리먼트들을 가진 벡터로서 처리되고, 이 벡터는 세기 i를 가진 화소들의 수인 일반적이거나 i 번째 비표준화 엘리먼트 ui(i=0 내지 255)를 가진다. 히스토그램은 히스토그램의 비표준화 엘리먼트들(ui)의 합, 즉
Figure 112012097572782-pct00002
에 의한 각각의 비표준화 엘리먼트(ui)의 분할에 의해 표준화된다: 이것은 각각의 ui를 각각의 표준화 엘리먼트(hi)로 전환시키고 엔트로피(E)는 방정식(2)으로부터 계산된다.
Figure 112011060560418-pct00003
(2)
일단 윈도우가 가로질러 아래로 이동되었다면 전체 이미지 및 완전한 세트의 엔트로피 측정치들은 엔트로피 마스크를 형성하기 위하여 스레스홀드된 엔트로피 이미지 결과들을 만든다. 만약 엔트로피 이미지 화소가 1.0 같은 스레스홀드 보다 크면, 마스크는 1의 전경 값으로 설정된다; 스레스홀드보다 크지 않은 엔트로피 이미지 화소들은 0의 배경 값으로 설정된다. 이런 처리 동안 엔트로피 이미지 및 엔트로피 마스크 둘다는 본래 전체 이미지 크기로 업샘플링되고, 즉 서브 샘플링 이전으로 된다. 엔트로피 마스크는 마스크 B라 불린다.
슬라이드들의 이미지들을 얻기 위하여 사용된 현미경은 외부 이미지 영역들보다 큰 휘도를 가진 중심 이미지 영역으로 보여질 수 있는 이미지 조명도를 제공한다; 실험으로부터 이런 변형이 극단적으로 35%-50%인 것이 관찰되고, 조명도는 슬라이드의 4개의 모서리들 쪽으로 상당히 감소한다. 이 문제는 미리 배열된 영역들로 이미지 처리를 제한하기 위하여 비네트로서 작동하는 타원형 이미지 마스크(V)를 생성함으로써 스테이지(26)에서 개선된다. 비네트 마스크(V)의 화소들은 방정식(3)을 사용하여 Vxy 값들로부터 계산된다.
Figure 112008025298312-pct00004
(3)
여기서 x 및 y는 이미지의 중심 원점(0,0)에 관련하여 데카르트 화소 좌표이고 r1 및 r2는 타원형 마스크(V)의 반장축 및 장원단축이다: 이들 축들은 편의상 비네팅 이전 대응하는 직사각형 이미지 높이 및 폭 크기들의 42.5%로 설정되고, 이것은 각각의 이미지 선형 크기의 적어도 최외부 15%가 처리로부터 생략되는 것을 의미한다. 방정식(3)이 우측 모든 파라미터들은 화소들의 수로 표현된다. 만약 방정식(3) 1보다 작거나 같은 Vxy 값을 형성하면, 위치(x,y)에서 타원형 마스크(V) 화소는 전경을 가리키는 1로 설정된다; 만약 방정식(3)이 1보다 큰 Vxy 값을 형성하면, 위치(x,y)에서 타원형 마스크 V 화소는 배경을 가리키는 0으로 설정된다: 이 마스크는 마스크 C라 한다.
28에서 그레이 레벨 동시 발생, 엔트로피 및 타원형 비네트 마스크들(A,B 및 C)은 각각 방정식(4)에서 설정된 바와 같은 논리 연산들을 사용하여 단일 마스크(D)로 결합된다.
Figure 112008025298312-pct00005
(4)
여기서
Figure 112012097572782-pct00006
는 논리 AND 함수를 의미하고
Figure 112012097572782-pct00007
는 논리 OR 함수를 의미한다. 실제로 마스크들(A,B 및 C)의 이런 결합을 사용하는 것은 필수적이지 않다: C는 생략될 수 있고 A 또는 B는 D 대신 단독으로 사용될 수 있다. 그러나, 경험상 만약 마스크들(A,B 및 C)이 생성되고 타일 선택에 사용하기 위하여 결합되면 결과들이 개선되는 것을 나타낸다.
마스크(D)는 병리조직학적(histopathological) 분석을 위한 슬라이드의 영역들을 가리키기 위하여 사용된다: 이것은 병리학을 위하여 허용되는 조직을 포함하는 슬라이드의 영역들을 정의한다. 방정식(4)에 도시된 바와 같이, 논리 OR는 마스크들(A 및 B) 사이에 적용된다: 이것은 그레이 레벨 동시 발생 및 엔트로피 기술들이 고려되어야 하는 잠재적인 관심 슬라이드 영역들을 독립적으로 가리킨다는 사실을 반영한다. 결과적으로, 만약 A 또는 B의 화소가 1이면, 결과적인 화소는 1이어야 한다. A OR B의 결과는 논리적으로 마스크 C와의 AND이다: 이것은 마스크 C에 의해 표현된 타원형 비네트 내 영역들로 제한되도록 하는 생각을 제공한다.
30에서, 타일들의 선택을 위한 과정은 적용되고 본래 RGB 이미지의 비네트된 영역(C)내에서 임의로 선택된 한 세트의 타일들을 생성한다. 랜덤 과정은 필수적이지 않고, 미리 배열된 위치들로부터의 선택과 비교할 때 또는 규칙적인 간격을 바탕으로 보다 인공물에 대해 보다 거시적일 경험으로부터 발견되었다. 랜덤 과정은 보다 작은 세트가 후에 기술된 기준을 바탕으로 추후에 선택되는 매우 큰 타일들의 세트를 생성한다. 처음에 선택된 타일들의 수는 중요하지 않다: 실험에 의해, 적당한 수의 타일들은 유사분열에 대해 175이고, 세관에 대해 70이고 각각의 C-erb-2, ER 및 PR에 대해 125인 것으로 발견되었다. 다형성에 대한 타일들은 이후에 기술되는 유사분열을 위하여 선택된 최종 타일들의 세트로부터 선택된다.
랜덤 선택 과정은 0 내지 1의 범위에서 각각 랜덤 수들의 한 세트의 쌍들(x,y)을 생성하고, 그 다음 관련 이미지 크기들에 따라 스케일되고, 즉, 이미지를 가로지르거나(x) 또는 아래(y)의 화소들의 수에 의해 곱셈된다. 각각의 쌍(x,y)은 이미지의 위치(x,y)에서 타일 중심으로서 고려된다. 랜덤 선택 과정은 미리 배열된 쌍들의 수가 선택될 때까지 반복한다. 이런 처리는 선택된 쌍들이 특정 기준에 충실한 것을 보장한다: 상기 쌍들은 합리적인 분산을 나타내야하고 비록 타일들 사이에서 제한된 오버랩(20%)이 처음에 허용되지만, 이미지의 에지에 너무 밀접하거나 서로 너무 많이 오버랩되지 않아야 한다. 종래 수동 선택은 60%까지 타일 오버랩이 발생할 수 있다. 이전에 생성된 것과 비교할 때 기준 세트에 부합하지 않는 랜덤 쌍(x,y)은 적당하지 않은 것으로 거절된다; 기준은 다음과 같이 방정식(5)에서 설정된다:
Figure 112008025298312-pct00008
(5)
방정식들(5)에서, x 및 y는 임의로 생성된 수들의 쌍이고,
Figure 112012097572782-pct00009
및
Figure 112012097572782-pct00010
는 현재 허용된 랜덤 수들의 세트의 i번째 쌍이고, w는 타일의 요구된 폭이고, h는 타일의 요구된 높이이고, W는 입력 이미지의 폭이고, H는 입력 이미지의 높이이고, r1 및 r2는 타원형 비네트 마스크(C)의 반장축 및 장원반축이다. 이런 처리의 끝에서의 출력은 조직학적(histological) 평가에 있어 잠재적으로 적당한 것으로 선택된 타일들의 중심들을 표시하는 한 세트의 좌표(x,y) 쌍들일 것이다.
32에서 처리(14)는 유방암 계조도 또는 단백질 발현 분석이 시작되는지에 따라 나뉘어진다: 다른 특정 조직병리학적 분석 처리는 관련 특징 측정치들의 다른 세트들을 계산하여 처리(14)가 다른 애플리케이션들을 커버할 수 있도록 하기 위하여 추후 단계들(34 내지 42)과 병렬로 도입될 수 있다.
유방암 계조도에 대해, 34에서 본래 RGB 이미지는 적색/녹색/청색에서 상이한 이미지 간격 HSV로 변환된다. 현재 선택된 타일들의 이미지 데이터에 이런 변환을 제한할 수 있다: 그러나, 다수의 타일들이 선택되고 그 몇몇은 오버랩핑되어 적어도 부분적으로 동일한 데이터의 변환을 요구한다. 결과적으로 변환을 타일들로 제한하는 것은 필수적으로 바람직하지 않고, 이 실시예에서 본래 RGB 이미지 전체가 변환된다.
RGB에서 HSV로의 변환은 필수적이지 않고, 변환 또는 다른 변환이 사용되지 않을 수 있으나, RGB에서 HSV로의 변환은 보다 중요한 이미지 특징들에 대해 보다 강조를 제공함으로써 결과들을 개선시킨다. 이것은 K. Jack in 'Video Demystified', 2번째, HighText Publications, San Diego, 1996에 기술된다. 실제로 값(V)(또는 조명도)은 염색 및 슬라이드를 가로지르는 두께의 변형들뿐 아니라, 이미지들을 생성하기 위하여 사용된 카메라 렌즈들에 의한 가능한 비네팅에 의해 영향을 받을 수 있다. 결과적으로 이 실시예에서 V 성분은 무시된다: 이것은 계산되지 않고, 강조는 색상(또는 컬러) 및 채도 값들(H 및 S) 상에 배치된다. H 및 S는 다음과 같은 2개의 RGB 이미지들의 각각의 화소에 대해 계산된다:
M=(R,G,B)의 최대치, 및 (6)
m=(R,G,B)의 최소치 (7)라 하면,
newr = (M-R)/(M-m) (8)
newg = (M-G)/(M-m), 및 (9)
newb = (M-B)/(M-m) (10)이다.
방정식들 (8) 내지 (10)은 화소의 각각의 컬러를 크기 사이의 차 및 화소의 3개의 컬러 크기들의 최대치의 차로 전환하고, 이런 차는 (R,G,B)의 최대 및 최소치 사이의 차에 의해 나뉘어진다.
채도(S)가 다음과 같이 설정된다:
만약 M이 영이면, S=0 (11)
만약 M이 영이 아니면, S=(M-m)/M (12)
색상(H)에 대한 계산은 다음과 같다: 방정식(6)으로부터, M은 R,G 및 B중 적어도 하나와 동일하여야 한다:
만약 M이 영이면, H=180 (13)
만약 M이 R이면, H=60(newb-newg) (14)
만약 M이 G이면, H=60(2+nwer=newb) (15)
만약 M이 B이면, H=60(4+newg-newr) (16)
만약 H가 360보다 크거나 같으면, H=H-360 (17)
만약 H가 0보다 작으면, H=H+360 (18)
상기된 바와 같이, 값(V)은 이 실시예에서 사용되지 않고, (R,G,B)의 최대치로 설정되도록 사용되었다.
히스토그램은 색상(H)을 위하여 생성되고(이전에 기술된 바와 같이), 히스토그램은 도 4에 개략적으로 도시된 360 값들(0 내지 359)을 가진 벡터이다. 히스토그램은 2개의 최대치를 가지며, 이들은 히스토그램의 낮은 색상(0-179) 영역(72)에서 라이트 피크 또는 최대치(70) 및 높은 색상(180-359) 영역(76)에서 다크 피크 또는 최대치(74)이다. 라이트 피크(70) 및 다크 피크(74)가 발생하는 위치들 또는 색상 값들은 이 실시예에서 미리 배열된 색상 위치(실험에 의해 선택된 250)로부터 외부를 검색하여 배치된다: 이들은 '라이트 피크 위치' 및 '다크 피크 위치'로서 기록된다. 이 외에 다크 피크의 시작 및 끝 위치들의 위치들(78 및 80)은 기록된다. 이들은 본래 RGB 이미지가 색상 범위의 모든 360도들을 차지할 수 없기 때문에 얻어진다. 만약 상부의 다크 피크 최종 위치 마이너스 다크 피크 위치의 절대 값이 12 미만이면, 색상 히스토그램은 360도 쪽으로 휘어지는 것으로 생각되고, 하기 방정식들(19) 및 (20)에서 정의된 양들(rmin 및 rmax)은 계산된다.
rmin = 0.8(다크 피크 위치) (19)
rmax = rmin + 0.9(다크 피크 위치 - rmin)
즉, rmax = 0.98(다크 피크 위치) (20)
만약 상부의 다크 피크 최종 위치 마이너스 다크 피크 위치의 절대 값이 12 미만이면, rmin 및 rmax는 하기 방정식들(21) 및 (22)에서 정의되고 계산된다:
rmin = 다크 피크 시작 위치 (21)
rmax = rmin + (다크 피크 최종 위치 - 다크 피크 위치) + 0.75(다크 피크 최종 위치 - 다크 피크 위치) (22)
방정식들(19) 내지 (22)에서, rmin은 최소 범위이고 rmax는 최대 범위이다. 이런 범위 정보 및 색상 및 채도 값들을 함께 사용하여 3개의 새로운 마스크들이 생성되고 대략적으로 본래 입력(RGB) 이미지의 '라이트 핑크', '다크 핑크' 및 '백색' 부분들에 대응한다. 이들 새로운 마스크들은 하기 방정식들(23)의 각각의 조건들을 사용하여 생성된다:
Figure 112011060560418-pct00011
(23)
여기서 h는 색상 이미지이고, s는 채도 이미지이고, lp는 라이트 핑크이고, dp는 다크 핑크이고 wt는 백색이다: 만약 lp, dp 또는 wt에 대한 각각의 조건이 만족되면, 적당할 때 lp, dp 또는 wt는 1로 설정되거나, 만약 만족되지 않으면 0으로 설정된다. 이런 연산은 이미지들(h 및 s)의 유사하게 배치된(i 번째) 화소들의 쌍들을 사용하여 이미지들을 가로질러 화소 단위로 수행된다.
36에서 유방암에 관련된 이미지 특징의 측정치(fm)는 단계(30)에서 선택된 각각의 타일들에 대해 계산된다; 이 계산은 하기 방정식들(24)을 사용한다.
Figure 112011060560418-pct00012
(24)
여기서 E는 방정식(2)을 사용하여 계산된 엔트로피이고 현재 타일내 모든 데이터 지점들상에서 평균화된다;
Figure 112008025298312-pct00013
는 각각 라이트 핑크, 다크 핑크 및 백색 이미지들내 화소들 상 합산들이고, 각각의 이미지는 화소들의 수로서 표현된 영역(A)을 가진다: 결과적으로 x,y 및 z는 평가되는 현재 타일내에 제공된 성분들(lp, wt 및 dp)의 각각의 퍼센트들을 나타낸다.
방정식들(24)의 다른 파라미터들은 다음과 같다: μ1, μ2, 및 μ3는 0으로 설정되고, σ1=0.25, σ2=0.2, σ3=0.1, w1=0.7, 및 w2=0.3; α, β 및 δ는 각각의 가우스 함수들(C1, C2 및 C3) 상 스케일링 인자들이고 각각의 경우 최대 함수값이 1.0인 것을 보장하기 위하여, 즉 α=1.595, β=1.994 및 δ=3.989인 것을 보장하기 위하여 선택된다. 만약 현재 타일에 대해 25% 보다 큰 퍼센트가 도 3의 단계(28)에서 형성된 결합된 마스크(D)의 대응 섹션으로부터 배경 지점들을 위해 결정되면, 특징 측정치(fm)는 영으로 설정되는데, 그 이유는 예를 들어, 타일이 충분히 조직을 나타내지 못하는 것으로 생각되기 때문이다, 즉 조직 부분의 에지상으로 연장할 수 있다고 생각되기 때문이다.
스테로이드 또는 단백질 분석에 관한 도 3의 다른 브랜치(38 내지 42)를 참조하여, 38에서 본래 RGB 이미지는 청색 및 녹색 이미지 평면들로부터 유도된 청록색 이미지를 계산하기 위하여 사용된다: 즉, 각각의 화소에 대해 청록색 세기(C)는 C=(2×B+G)/3으로부터 계산되고, 각각의 화소의 녹색(G) 세기는 청색(B) 세기를 두배로 하기 위하여 부가되고 결과적인 합은 3에 의해 나뉘어진다. 모든 화소들에 대해 반복될 때, 이것은 청록색 이미지 또는 이미지 평면을 형성한다. 청록색은 그것이 표본의 통상적인 화학 염색에 의해 형성된 셀 경계 색인 갈색에 대한 보색이기 때문에 사용된다. 청색 이미지 평면이 대신 사용될 수 있지만 일반적으로 청록색 이미지와 같이 우수한 결과들을 형성하지 못한다. 만약 다른 컬러 염색이 사용되면, 연관된 보색 이미지가 바람직하게 선택된다. 조벨 에지 필터는 청록색 이미지 평면에 적용된다: 이것은 Klette R., & Zamperoni P., 'Handbook of image processing operators', John Wiley & Sons, 1995에 공개된 표준 이미지 처리 기술이다.
암 계조도에 관련하여 기술된 상황과 유사하게, 청록색 변환들의 상기 청록색/조벨을 현재 선택된 타일들의 이미지 데이터로 제한할 수 있다: 그러나, 이것은 수행하기에 필수적으로 바람직하지 않고, 이 실시예에서 본래 RGB 이미지 전체가 변환된다.
조벨 에지 필터는 40에서 적용된다; 이것은 수들(SP 및 SQ)의 2개의 3×3 어레이들로 구성되고, 그 각각은 이미지의 화소들의 연속적인 3×3 어레이들로 감겨진다. 여기서
Figure 112008025298312-pct00014
(25)
단계(40)는 처음에 청록색 이미지의 좌상부 모서리의 화소들의 제 1 청록색 3×3 어레이를 선택한다: Cij로서 지정, 로우 i 및 컬럼 j의 일반적인 청록색 화소, 이미지의 좌상부 모서리는 화소들(C11 내지 C13, C21 내지 C23 및 C31 내지 C33)로 구성된다. Cij는 Cij가 3×3 청록색 화소 어레이 내에 있을 때 SP 어레이에 배치된 SP의 각각의 숫자에 의해 곱셈된다: 즉, C11 내지 C13은 1,2 및 1에 의해 각각 곱셈되고, C21 내지 C23은 영으로 곱셈되고 C31 내지 C33은 -1, -2 및 -1에 의해 각각 곱셈된다. 이렇게 형성된 곱셈들은 대수적으로 가산되고 값(p)을 제공한다.
p의 값은 C22의 행의 어느 한쪽 제 1 및 제 3 로우들 사이에서 느리게 변화하는 화소 값들에 대해 비교적 작을 것이고 이들 행들 사이에서 빠르게 변화하는 화소 값들에 대해 비교적 높을 것이다: 결과적으로 p는 로우들을 가로질러 이미지 에지 명료성의 표시를 제공한다. 이런 과정은 동일한 화소 어레이를 사용하여 반복되지만 SQ는 SP를 대체하고, 값(q)은 얻어진다: q는 C22의 열의 어느 한쪽 제 1 및 제 3 열들 사이에서 느리게 변화하는 화소 값들에 대해 비교적 작고, 이들 컬러들 사이에서 빠르게 변화하는 화소 값들에 대해 비교적 높다: 그러므로 q는 컬럼들을 가로질러 이미지 에지 명료성의 표시를 제공한다. p 및 q의 제곱 합의 제곱근은 계산되고, 즉
Figure 112012097572782-pct00015
, 이것은 '에지 크기'로서 정의되고 변환된 청록색 이미지에서 T22(3×3 어레이의 중심에서 화소 C22를 대체)가 된다. 또한 본 실시예에서 요구되지 않은 tan-1p/q로서 에지 "위상 각"을 유도하는 것은 가능하다.
변환된 이미지에서 일반적인 화소(Tij)(즉, 로우 i, 컬럼 j에서)는 청록색 이미지의 Ci-1,j-1 내지 Ci-1,j+1, Ci,j-1 내지 Ci,j+1 및 Ci+1,j-1 내지 Ci+1,j+1로부터 유도된다. 방정식(25)의 조벨 필터들의 중심 로우 및 컬럼이 각각 영이고, 다른 계수들이 1s 및 2s이기 때문에, Tij에 대한 p 및 q는 다음과 같이 계산될 수 있다:
Figure 112011060560418-pct00016
(26)
Figure 112011060560418-pct00017
(27)
i=j=2에서 시작하여, p 및 q는 1 만큼 j를 증가시키고 각각의 로우에 도달될 때까지 각각의 상기 어레이에 대한 방정식들(26) 및 (27)을 평가함으로써 연속적인 3×3 화소 어레이들에 대해 계산되고; 그 다음 j는 1 만큼 증가되고 상기 과정은 전체 이미지가 변환될 때까지 제 2 로우 및 등등에 대해 반복된다. 이런 변환된 이미지는 "청록색 조벨" 이미지 또는 이미지 평면으로서 하기에 참조된다.
조벨 필터는 그 측면들의 한쪽 또는 다른쪽상 인접하지 않은 화소들을 가지는 이미지 에지들에서ㅇ,; 화소들에 대한 값들을 계산할 수 없다: 즉, N 로우들 및 M 컬럼들을 가진 화소 어레이에서, 에지 화소들은 상부 및 바닥 로우들 및 제 1 및 최종 컬럼들이거나, 변환된 이미지 화소들(T11 내지 T1M, TN1 내지 TNM, T11 내지 T1N, 및 T1M 내지 TNM)이다. 통상적인 조벨 필터링에 의해 이들 에지 화소들은 영으로 설정된다.
42에서 스테로이드 또는 단백질 분석을 위한 각각의 특징 측정치(fm)는 하기 방정식들(28)에 따라 도 3의 단계(30)에서 선택된 각각의 타일들에 대해 계산된다.
Figure 112008025298312-pct00018
(28)
여기서 E는 방정식(2)을 사용하여 계산되고 평가되는 현재 타일내의 모든 화소들상에서 평균화된 엔트로피이고, A는 타일 영역(현재 타일의 화소들의 수)이고, c 및 ce는 일반적인 또는 j번째 화소들(cj 및 cej)을 가진 청록색 이미지들의 조벨 및 청록색이고, μc 및 μce는 각각 청록색 이미지들의 조벨 및 청록색의 평균이고, σc 및 σce는 각각 이들 이미지들의 표준 편차들이다. Cpe에 대한 표현은 차례로 각각의 화소에 대해, 즉 각각의 경우 현재 파일에 대해, 타일의 청록색 이미지들(c 및 ce)의 조벨 및 청록색에서 모든 관련 유사한 배치 또는 j 번째 화소들(cj 및 cej)은 각각의 스레스홀드들(T1 및 T2)과 비교된다: T1 보다 작은 각각의 cj는 T2 보다 큰 각각의 cej와 논리적으로 AND되고 여기서 이용 가능하고, 결과적인 각각의 타일에 대한 AND 연산들은 합산된다. 합산 연산의 결과는 Cpe를 제공하기 위하여 타일 영역(A)에 의해 나뉘어지고, 현재 파일에 대한 특징 측정치 쪽으로 기여한다. 이것은 현재 선택된 모든 타일들에 대해 반복된다.
상기 평균 및 표준 편차들은 다음과 같이 계산된다. 편리함을 위하여 명명법의 변화는 실행된다: 단일 화소 인덱스(k)는 i 및 j로 대체된다, 즉 i,j=1에 대해 k=1, N,M에 대한 1이다: 여기서 N 및 M은 본래 이미지 크기들이다; 이것은 이미지의 연속적인 로우들로 구성된 단일 구성 라인으로서 2차원 이미지를 처리한다. 하기 방정식들(29a) 내지 (30b)은 평균(μc 및 μce) 및 청록색 이미지들의 조벨 및 청록색에서 화소들(xk 및 xke)의 표준 편차들(σc 및 σce)을 계산하기 위하여 사용된다.
Figure 112011060560418-pct00019
(29a)
Figure 112011060560418-pct00020
(29b)
Figure 112011060560418-pct00021
(30a)
Figure 112011060560418-pct00022
(30b)
이 지점에서 루프들(34-36 또는 38-42) 중 어느 것이 실행되었는가에 따라 36에서 유도된 한 세트의 암 계조도 특징 측정치들이나 42에서 유도된 한 세트의 스테로이드/단백질 발현 분석 특징 측정치들을 가진다. 평가된 각각의 타일에 대한 각각의 특징 측정치가 있다. 어느 경우에서나, 유도된 특징 측정치들의 세트는 엔트리들(벡터 엘리먼트들)을 가진 벡터로서 처리되고 상기 엔트리들 각각은 각각의 타일에 대한 특징 측정치이다. 44에서 이들 벡터 엘리먼트들은 "퀵소트(Quicksort)"(비록 랜덤 저장 기술이 사용될 수 있지만)이라 불리는 것을 사용하여 분류된다. 퀵소트는 Klette R., Zamperoniu P., 'Handbook of Image Processing Operators', John Wiley & Sons, 1996에 의해 공개된 공지의 기술로, 기술되지 않을 것이다. 분류된 벡터 엘리먼트 특징 측정치들은 최대 값이 첫 번째에 발생하도록 크기의 내림차순으로 랭크된다. 분류 및 순위는 필수적인 것이 아니고 편리하다.
46에서 누적 분배 함수 벡터(c)는 각각 분류되고 순위가 매겨진 특징 측정치들인 벡터 엘리먼트들을 가지고 유도된다. 누적 분배 함수 벡터(c)는 단조롭게 증가하는 벡터 엘리먼트들을 가지는 벡터이다: 그러나, 특징 측정치들이 분류되고 순위가 매겨짐으로써, 이 벡터는 엘리먼트들이 가장 큰 값을 가진 가장 낮은 번호의 엘리먼트(c1)로 단조롭게 감소하도록 계산된다. 따라서 역방향으로 평가된다: 누적 분배 함수 벡터(c)의 최종 벡터 엔트리 또는 벡터 엘리먼트(cn)는 특징 측정치들로 분류 되고 순위가 매겨진 벡터의 최종 엘리먼트(fmn)와 동일하게 설정된다. 누적 분배 함수 벡터(c)의 각각의 연속적인 엘리먼트(ci)(i=n-1 내지 1)는 방정식(32)에 도시된 바와 같이 이전 엘리먼트(ci+1)의 및 벡터(f)의 분류되고 순위가 매겨진 특징 측정치의 현재 엘리먼트(fi)의 합과 동일하게 설정된다.
Figure 112011060560418-pct00023
(32)
여기서 n은 벡터들의 엘리먼트들의 수이고 i=n-1,n-2,....,1.
48에서 유전 알고리듬들, Goldberg D.E., 'genetic Algorithms in Search, Optimisation and Machine Learning', Addison Wesley 1989에서 랜덤 선택을 위하여 개발된 공지된 기술인 확률적인 샘플링은 적용된다. 이 기술은 도 5의 우상부에서 100으로 도시된 바와 같은 룰렛 휠 선택이라 불린다: 상기 휠의 102 같은 개념적으로 개별 슬롯들은 특징 측정치들에 따라 가중되고, 따라서 보다 큰 슬롯의 결과는 선택 처리 동안 보다 큰 선택 가능성을 가진다. 예시적인 샘플을 가지고 이것을 도시하기 위하여, 만약 각각 0.2, 0.3 및 0.5의 가중치들을 가진 단지 3개의 특징 값들이 있다면, 이들은 0 내지 0.2, 0.21 내지 0.5 및 0.51 내지 1의 간격들이 할당되고, 0.2 및 0.21 또는 0.5 및 0.51 사이의 랜덤 값은 반올림된다. 따라서 간격 길이는 가중치에 비례한다. 랜덤 수 발생기는 0 및 1 사이의 수를 선택한다; 제 1, 제 2 또는 제 3 값은 랜덤 수가 제 1, 제 2 또는 제 3 간격에서 발생하는지에 따라 선택된다. 따라서 선택은 임의적이지만, 보다 높은 가중치의 특징 측정치가 보다 큰 선택 가능성을 가진다.
현재 평가되는 타일들의 세트의 서브세트는 임의로 선택되고, 상기 서브세트는 상기 세트의 다른 타일들과 비교하여 조직 병리학적 측정에 적당하다. 이 스테이지에서 선택된 타일들의 수는 중요하지 않다. 여기서 다시 랜덤 선택은 필수적이지 않고 결과들을 개선하기 위하여 나타난다.
실험으로부터 타일들의 다음 수들은 선택된다: 유사분열에 대해 20, 세관들에 대해 7, C-erb-2에 대해 5, 각각의 ER 및 PR에 대해 5; 다형성 타일들은 추후 기술되는 유사분열 타일들의 최종 세트로부터 선택된다. 한 세트의 유일한 의사 랜덤 수들은 표준 라이브러리 함수를 사용하여 생성된다: Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P., 'Numerical Recipies in C : the art of scientific computing', Cambridge University Press, 1992 and Knuth D.E., 'The Art of Computer Programming', vol. 2, Addison Wesley 1981 참조. 상기 수들의 생성은 공지된 기술들이고 추가로 기술되지 않을 것이다. 의사 랜덤 수들은 2개의 수들이 동일하지 않고 생성이 생성 처리가 종료하는 것을 보장하기 위하여 제한되지 않는 방식으로 생성된다: 실험에 의해 이 제한은 50 시도들로 설정된다.
도 5를 다시 참조하여, 누적 분배 함수 벡터(c)는 벡터 엘리먼트 크기의 내 림차 순서로 이전에 배치된 각각 타일 수 인덱스들(x)과 연관된 엘리먼트들을 가진 곡선(120)으로서 도시된다. 누적 분배 함수 벡터(c)의 각각의 엘리먼트가 각각의 특징 측정치들이고, 이들 엘리먼트들이 인덱스 수(x)에 관련하여 내림차 순서로 분류되기 때문에, 곡선(120)은 단조롭게 감소한다. 상기된 바와 같이 선택된 각각의 의사 랜덤 수는 y 축 위치로서 처리된다: 화살표들(122 및 124)에 의해 표시된 바와 같이, 이것은 누적 분배 곡선(12)상 지점을 인덱스하기 위하여 사용되고 y 축 위치를 곡선상 지점에 대한 x 축 값 또는 수 인덱스에 의해 표시된 타일은 식별된다. 생성 처리의 종료시 한 세트의 타일 수 인덱스들은 얻어지고 이것은 선택된 타일들의 세트를 가리킨다.
50에서 타일들의 선택된 서브세트는 스테이지(44)에 기술된 바와 같이 특징 측정치들(fm)에 따라 분류되고 그 다음 최대 fm 값이 첫 번째로 발생하도록 fm의 내림차 순서로 순위가 매겨지고 제공된 수치 인덱스들이다. 분류 및 순위 매김은 필수적이지 않고 편리하다. 52에서, 선택된 서브세트 타일들의 각각에 대해, 방정식(33)을 사용한 평가는 선택된 서브세트의 모든 다른 타일들(j)과 비교할 때 인덱스 번호 i를 가진 현재 타일의 오버랩(ovi)의 양으로 이루어진다.
Figure 112011060560418-pct00024
(33)
여기서
Figure 112011060560418-pct00025
는 x(높이) 방향으로 타일(i)의 중심 좌표이고,
Figure 112011060560418-pct00026
는 상기 방향으로 타일(j)의 중심 좌표이고,
Figure 112011060560418-pct00027
는 y(폭) 제 2 방향으로 타일(i)의 중심 좌표이고,
Figure 112011060560418-pct00028
는 제 2 방향으로 타일(j)의 중심 좌표이고, h는 타일의 높이이고, w는 타일의 폭이고 N은 선택된 서브세트에서 타일들의 수이다.
54에서 새로운 측정치(Fi)는 각각의 타일의 특징 측정치(단계 36 또는 42로부터) 및 방정식(34)을 사용한 오버랩 측정치(단계 52로부터)를 바탕으로 얻어진다.
Figure 112011060560418-pct00029
(34)
여기서 fmi 및 ovi는 i 번째 타일의 특징 측정치 및 오버랩 측정치이다. 측정치(Fi)는 단계(48)(예를 들어, 유사분열에 대해 20, 세관들에 대해 7, 및 각각의 C-erb-w, ER 및 PR에 대해 5)로부터 선택된 타일들의 각각에 대해 계산된다. 특징 측정치를 최대화하고 오버랩의 양을 최소화하는 것이 바람직하다; 타일들 사이의 오버랩이 허용될 수 있을 때 오버랩을 최소화하는 것은 필수적이지 않지만, 조직학적 파라미터들의 추후 측정치들의 리던던시를 감소시킨다. 특징 측정치를 최대화하고 오버랩을 최소화하기 위하여, 최소치는 방정식(34)의 우측상 양의 오버랩(+OVi)과 음의 특징 측정치(-fmi)의 결합 동안 유도된다. 실제로 한 세트의 최소치가 배치되고, 유사분열에 대한 현재 실시예에서 20개 중 10개가 선택되고, 세관에 대해 7개 중 2개, 및 각각의 C-erb-2, ER 및 PR에 대해 5개 중 2개가 선택된다: 다형성을 위하여 2개는 20개의 유사분열 타일들로부터 선택된다. 병리학자 또는 자동 기술에 의해 추후 조직학적 분석을 위하여 본 발명에 따른 타일들의 자동 선택은 완료된다. 그러나 이들 최소치가 실험으로부터 발생하고, 본 발명의 기술이 다른 타일들의 수에 대해 똑같이 유효한 것이 강조된다. 예를 들어, 유사분열을 위하여 선택된 타일들의 수는 타일들을 얻기 위하여 사용된 현미경의 시야에 관련된다. 10 이상의 유사분열 타일들은 'Pathology Reporting of Breast Disease', NHSBSP Publication no 58. Jan 2005에 언급된 바와 같이 선택될 수 있다.
상기 실시예에서, 본 발명의 자동 과정에 의해 평가된 타일들의 수는 유사분열에 대해 175, 세관들에 대해 70 및 각각의 C-erb-2, ER 및 PR에 대해 125이다. 조직학적 평가를 위하여 최종적으로 선택된 타일들의 수들은 유사분열들에 대해 10 및 각각의 세관들에 대해 2, C-erb-2, ER, PR 및 다형성 각각에 대해 2이다. 선택된 타일들의 이들 수들은 본래 전체 슬라이드 이미지로부터 얻을 수 있는 256 비오버랩핑 타일들보다 매우 작다. 본 발명의 실시예는 이용 가능한 타일들의 우수한 샘플이 조사되는 것을 보장하는 동시에 조직학적 평가를 크게 경감하는 평가될 것의 6% 미만, 평균 2.9%로 타일들의 수를 감소를 달성하였다.
본 발명의 애플리케이션들은:
a) 종양들;
b) 세포질 또는 핵 또는 스트로마, 괴사, 섬유아세포, 선, 도관, 진피, 림프구, 섬유, 루멘, 탄성 조직 같은 세포의 다른 부분들의 기형들; 및
c) 약제: 약 발견에 사용, 즉 추가 분석을 위하여 조직의 섹션들을 식별; 단백질, 스테로이드 또는 다른 형태의 수용체에 대한 바이오 마커
를 포함한다.
상기 기술에서 나타난 처리는 캐리어 매체에 구현되고 통상적인 컴퓨터 시스템상에서 운용하는 적당한 컴퓨터 소프트웨어에 의해 명확하게 평가될 수 있다. 상기 소프트웨어는 전체 이미지의 타일들의 자동 선택을 실행하기 위하여 컴퓨터 장치의 동작을 제어하기 위한 명령들을 판독하는 컴퓨터를 포함하는 컴퓨터 판독 가능 매체를 구비한 제품의 형태일 수 있고, 상기 컴퓨터 판독 가능 명령들은 이전에 기술된 처리 단계들을 수행하기 위하여 컴퓨터 장치를 제어하기 위한 수단을 제공한다. 이런 성질의 소프트웨어는 기술된 처리가 공지된 수학적 과정들이기 때문에, 전문 프로그래머가 본 발명을 요구하지 않고 실행하기에 간단하다. 그러므로 상기 소프트웨어 및 컴퓨터 장치 또는 컴퓨터 시스템은 추가로 기술되지 않을 것이다.

Claims (33)

  1. 전체 이미지에서 이미지 영역들("타일들")의 자동 선택을 위한 방법에 있어서:
    a) 상기 전체 이미지의 동시 발생 매트릭스(20) 및 상기 전체 이미지의 엔트로피 이미지(24) 중 적어도 하나로부터 계산된 이미지를 생성하는 단계(28)로서, 상기 계산된 이미지는 관심있는 특성(property of interest)을 나타낼 가능성을 기준으로 타일들 사이를 구별하는, 상기 계산된 이미지 생성 단계(28);
    b) 상기 관심있는 특성을 나타낼 가능성이 있는 상기 타일들의 이전 서브세트(prior subset)를 선택하는 단계(30);
    c) 상기 이전 서브세트의 타일들에 대해 특징 측정치를 계산하는 단계(36, 42)로서, 상기 특징 측정치는 컬러 및 텍스처 중 적어도 하나에 기초하는, 상기 계산 단계(36, 42); 및
    d) 타일 특징 측정치들을 이용하여 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하는 단계(48 내지 54)를 포함하고,
    상기 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하는 단계(48 내지 54)에서, 상기 타일들 사이의 오버랩(52)이 미리 정해진 기준 이하로 제한되는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 계산된 이미지를 생성하는 단계(28)는 상기 동시 발생 매트릭스(20), 상기 엔트로피 이미지(24) 및 상기 전체 이미지 중 내부 영역들에 비해 낮은 조명도를 가진 외부 영역들을 상기 계산된 이미지로부터 배제하기 위하여 구성된 비네트 마스크(vignette mask; 26)의 결합을 사용하는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  4. 제 3 항에 있어서,
    상기 계산된 이미지를 생성하는 단계(28)는 이진화하기 위하여 상기 동시 발생 매트릭스 및 상기 엔트로피 이미지를 스레스홀딩(thresholding)하는 단계를 포함하는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  5. 제 1 항에 있어서,
    상기 전체 이미지는 적색, 녹색 및 청색(R,G,B) 이미지이고, 상기 계산된 이미지를 생성하는 단계(28)는 상기 전체 이미지의 녹색 평면을 사용하여 실행되는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  6. 제 1 항에 있어서,
    상기 계산된 이미지를 생성하는 단계(28)는 적어도 상기 전체 이미지의 상기 동시 발생 매트릭스를 이용하여, 관심 있는 이미지 특징들을 포함하는 타일 영역들(전경) 및 상기 특징들이 없는 타일 영역들(배경) 양측 모두의 공간 필터링을 위하여 몰포로지컬 클로징 연산들(morphological closing operations)을 적용하는 단계를 포함하는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  7. 제 1 항에 있어서,
    상기 이전 서브세트 및 타일들의 추가 서브세트를 선택하는 단계들(30, 48 내지 54) 중 적어도 하나는 랜덤 과정에 의해 실행되는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 특징 측정치를 계산하는 단계는 암 계조도(cancer grading)를 위하여, 이미지 데이터에 색상/채도/명도(Hue/Saturation/Value; HSV) 변환을 적용하는 단계(34) 및 '라이트 핑크', '다크 핑크' 및 '백색' 조직의 영역들을 얻기 위하여 색상 및 채도 성분들을 스레스홀딩하는 단계를 포함하는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  10. 제 1 항에 있어서,
    상기 특징 측정치를 계산하는 단계는 스테로이드/단백질 발현 분석을 위하여, 청록색 이미지 데이터를 제공하기 위해 이미지 데이터를 변환하는 단계(38), 및 상기 청록색 이미지 데이터와 상기 청록색 이미지 데이터의 조벨 필터링된 등가물(Sobel filtered equivalent; 40)의 컬러 및 텍스처의 측정치에 기초하여 각각의 타일에 대한 특징 측정치를 계산하는 단계(42)를 포함하는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  11. 제 1 항에 있어서,
    상기 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하는 단계(48 내지 54)는 상기 이전 서브세트의 선택되지 않은 타일들보다 크기가 큰 타일 오버랩(부호 무시)과 특징 측정치들 사이의 차들을 나타내는 타일들을 선택함으로써 실행되는 것을 특징으로 하는, 이미지 영역들의 자동 선택 방법.
  12. 전체 이미지에서 타일들의 자동 선택을 위한 장치에 있어서:
    a) 상기 전체 이미지의 동시 발생 매트릭스(20) 및 상기 전체 이미지의 엔트로피 이미지(24) 중 적어도 하나로부터 계산된 이미지를 생성하기 위한 수단(28)으로서, 상기 계산된 이미지는 관심있는 특성을 나타낼 가능성을 기준으로 타일들 사이를 구별하는, 상기 계산된 이미지 생성 수단(28);
    b) 상기 관심있는 특성을 나타낼 가능성이 있는 상기 타일들의 이전 서브세트를 선택하기 위한 수단(30);
    c) 상기 이전 서브세트의 타일들에 대해 컬러 및 텍스처 중 적어도 하나에 기초하여 특징 측정치를 계산하기 위한 수단(36, 42); 및
    d) 타일 특징 측정치들을 이용하여 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하기 위한 수단(48 내지 54)을 포함하고,
    상기 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하기 위한 수단(48 내지 54)에서, 상기 타일들 사이의 오버랩(52)이 미리 정해진 기준 이하로 제한되는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 계산된 이미지를 생성하기 위한 수단(28)은 상기 동시 발생 매트릭스(20), 상기 엔트로피 이미지(24) 및 상기 전체 이미지 중 내부 영역들에 비해 낮은 조명도를 가진 외부 영역들을 상기 계산된 이미지로부터 배제하기 위하여 구성된 비네트 마스크(26)의 결합을 사용하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  15. 제 14 항에 있어서,
    상기 계산된 이미지를 생성하기 위한 수단(28)은 이진화하기 위하여 상기 동시 발생 매트릭스 및 상기 엔트로피 이미지의 스레스홀딩을 포함하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  16. 제 12 항에 있어서,
    상기 전체 이미지는 적색, 녹색 및 청색(R,G,B) 이미지이고 상기 계산된 이미지를 생성하기 위한 수단(28)은 상기 전체 이미지의 녹색 평면을 사용하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  17. 제 12 항에 있어서,
    상기 계산된 이미지를 생성하기 위한 수단(28)은 적어도 상기 전체 이미지의 상기 동시 발생 매트릭스를 이용하고, 관심 있는 이미지 특징들을 포함하는 타일 영역들(전경) 및 상기 특징들이 없는 타일 영역들(배경) 양측 모두의 공간 필터링을 위하여 몰포로지컬 클로징 연산들(morphological closing operations)을 적용하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  18. 제 12 항에 있어서,
    상기 이전 서브세트를 선택하는 수단(30) 및 추가 서브세트를 선택하는 수단(48 내지 54) 중 적어도 하나는 랜덤 선택 과정을 사용하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  19. 삭제
  20. 제 12 항에 있어서,
    상기 특징 측정치를 계산하기 위한 수단은 암 계조도를 위하여, 이미지 데이터에 색상/채도/명도(HSV) 변환을 적용하기 위한 수단(34) 및 '라이트 핑크', '다크 핑크' 및 '백색' 조직의 영역들을 얻기 위하여 색상 및 채도 성분들을 스레스홀딩하기 위한 수단을 포함하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  21. 제 12 항에 있어서,
    상기 특징 측정치를 계산하기 위한 수단은 스테로이드/단백질 발현 분석을 위하여, 청록색 이미지 데이터를 제공하기 위해 이미지 데이터를 변환하기 위한 수단(38), 및 상기 청록색 이미지 데이터와 상기 청록색 이미지 데이터의 조벨 필터링된 등가물(40)의 컬러 및 텍스처의 측정치에 기초하여 각각의 타일에 대해 특징 측정치를 계산하기 위한 수단(42)을 포함하는 것을 특징으로 하는, 타일들의 자동 선택 장치.
  22. 삭제
  23. 전체 이미지에서 타일들의 자동 선택을 실행하도록 컴퓨터 장치의 동작을 제어하는 컴퓨터 판독가능 명령들을 포함하는 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 컴퓨터 판독가능 명령들은:
    a) 상기 전체 이미지의 동시 발생 매트릭스(20) 및 상기 전체 이미지의 엔트로피 이미지(24) 중 적어도 하나로부터 계산된 이미지를 생성하는 단계(28)로서, 상기 계산된 이미지는 관심있는 특성을 나타낼 가능성을 기준으로 타일들 사이를 구별하는, 상기 계산된 이미지 생성 단계(28);
    b) 상기 관심있는 특성을 나타낼 가능성이 있는 상기 타일들의 이전 서브세트를 선택하는 단계(30);
    c) 상기 이전 서브세트의 타일들에 대해, 컬러 및 텍스처 중 적어도 하나에 기초하여 특징 측정치를 계산하는 단계(36, 42); 및
    d) 타일 특징 측정치들을 이용하여 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하는 단계(48 내지 54)
    를 수행하기 위하여 상기 컴퓨터 장치를 제어하기 위한 수단을 제공하고,
    상기 타일들의 추가 서브세트를 상기 이전 서브세트로부터 선택하는 단계(48 내지 54)에서, 상기 타일들 사이의 오버랩(52)이 미리 정해진 기준 이하로 제한되는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
  24. 삭제
  25. 제 23 항에 있어서,
    상기 동시 발생 매트릭스(20), 상기 엔트로피 이미지(24) 및 상기 전체 이미지 중 내부 영역들에 비해 낮은 조명도를 가진 외부 영역들을 상기 계산된 이미지로부터 배제하기 위하여 구성된 비네트 마스크(26)의 결합을 사용하여 계산된 이미지를 생성하는 단계(28)를 실행하기 위한 명령들을 갖는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
  26. 삭제
  27. 삭제
  28. 제 23 항에 있어서,
    적어도 상기 전체 이미지의 상기 동시 발생 매트릭스를 이용하여 계산된 이미지를 생성하는 단계(28), 및 관심 있는 이미지 특징들을 포함하는 타일 영역들(전경) 및 상기 특징들이 없는 타일 영역들(배경) 양측 모두의 공간 필터링을 위하여 몰포로지컬 클로징 연산들을 적용하는 단계를 실행하기 위한 명령들을 갖는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020087008458A 2005-09-09 2006-09-04 이미지 영역들의 자동 선택 KR101369821B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0518367.8 2005-09-09
GB0518367A GB2430026A (en) 2005-09-09 2005-09-09 Automated selection of image regions
PCT/GB2006/003247 WO2007028963A1 (en) 2005-09-09 2006-09-04 Automated selection of image regions

Publications (2)

Publication Number Publication Date
KR20080055898A KR20080055898A (ko) 2008-06-19
KR101369821B1 true KR101369821B1 (ko) 2014-03-06

Family

ID=35221152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008458A KR101369821B1 (ko) 2005-09-09 2006-09-04 이미지 영역들의 자동 선택

Country Status (9)

Country Link
US (1) US8265370B2 (ko)
EP (1) EP1932115A1 (ko)
JP (1) JP5156631B2 (ko)
KR (1) KR101369821B1 (ko)
AU (1) AU2006288980A1 (ko)
CA (1) CA2622141A1 (ko)
GB (1) GB2430026A (ko)
TW (1) TWI412949B (ko)
WO (1) WO2007028963A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2156370B1 (en) 2007-05-14 2011-10-12 Historx, Inc. Compartment segregation by pixel characterization using image data clustering
EP2162728B1 (en) 2007-06-15 2016-07-27 Novartis AG Microscope system and method for obtaining standardized sample data
US20090041322A1 (en) * 2007-07-10 2009-02-12 Seimens Medical Solutions Usa, Inc. Computer Assisted Detection of Polyps Within Lumen Using Enhancement of Concave Area
CA2604317C (en) 2007-08-06 2017-02-28 Historx, Inc. Methods and system for validating sample images for quantitative immunoassays
CA2596204C (en) 2007-08-07 2019-02-26 Historx, Inc. Method and system for determining an optimal dilution of a reagent
WO2009029810A1 (en) 2007-08-31 2009-03-05 Historx, Inc. Automatic exposure time selection for imaging tissue
JP4875649B2 (ja) * 2008-03-19 2012-02-15 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
WO2010033508A1 (en) 2008-09-16 2010-03-25 Historx, Inc. Reproducible quantification of biomarker expression
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8761520B2 (en) * 2009-12-11 2014-06-24 Microsoft Corporation Accelerating bitmap remoting by identifying and extracting 2D patterns from source bitmaps
CN101859384B (zh) * 2010-06-12 2012-05-23 北京航空航天大学 目标图像序列度量方法
US8532383B1 (en) 2010-09-16 2013-09-10 Pixia Corp. Method of processing a viewport within large format imagery
US8773463B2 (en) * 2012-01-20 2014-07-08 Nephosity, Inc. Systems and methods for image data management
WO2013161155A1 (ja) * 2012-04-23 2013-10-31 日本電気株式会社 画像計測装置、画像計測方法、および、画像計測用プログラム
US11307399B2 (en) * 2012-05-28 2022-04-19 Sony Corporation Information processing device, information processing method, program, and microscope system
CN103488971B (zh) * 2013-09-06 2017-02-08 电子科技大学 生物礁储层的几何形态识别方法
WO2015040990A1 (ja) 2013-09-19 2015-03-26 学校法人慶應義塾 疾患分析装置、制御方法、及びプログラム
CL2014001150A1 (es) * 2014-04-30 2014-11-07 Lab4U Spa Sistema y metodo donde el sistema particularmente es un dispositivo movil, para la determinacion de la concentracion de solutos en una muestra liquida coloreada, el cual se basa en la obtencion de imagenes de la muestra y de patrones de concentracion conocidos del soluto, y la determinacion de la concentracion de la muestra sobre la base del procesamiento de esas imagenes y los valores de color que las mismas proporcionan
KR102281180B1 (ko) 2014-11-21 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
CN104850854A (zh) * 2015-05-08 2015-08-19 广西师范大学 一种滑石矿品分选处理方法及滑石矿品分选系统
CN106920237A (zh) * 2017-03-07 2017-07-04 北京理工大学 基于经验模态分解的无参考全色图像质量评价方法
US10937159B2 (en) * 2019-01-29 2021-03-02 Case Western Reserve University Predicting outcome in invasive breast cancer from collagen fiber orientation disorder features in tumor associated stroma
WO2020206357A1 (en) * 2019-04-05 2020-10-08 Project Giants, Llc Real-time video dynamic range analysis
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications
WO2021154849A1 (en) * 2020-01-28 2021-08-05 PAIGE.AI, Inc. Systems and methods for processing electronic images for computational detection methods
CN111693261B (zh) * 2020-05-28 2022-03-15 国网河北省电力有限公司电力科学研究院 一种高压并联电抗器铁心松动故障诊断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511621A (ja) 1998-04-15 2002-04-16 メイヨ フオンデーシヨン フオー メデイカル エジユケーシヨン アンド リサーチ 動きアーティファクトのためのｍｒイメージの自動修正
JP2002539870A (ja) 1999-03-19 2002-11-26 イシス イノベイション リミテッド 画像処理の方法と装置
WO2003060653A2 (en) * 2002-01-15 2003-07-24 Vysis, Inc. Method and/or system for analyzing biological samples using a computer system
US6858007B1 (en) * 1998-11-25 2005-02-22 Ramot University Authority For Applied Research And Industrial Development Ltd. Method and system for automatic classification and quantitative evaluation of adnexal masses based on a cross-sectional or projectional images of the adnex

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544650A (en) * 1988-04-08 1996-08-13 Neuromedical Systems, Inc. Automated specimen classification system and method
US5204625A (en) * 1990-12-20 1993-04-20 General Electric Company Segmentation of stationary and vascular surfaces in magnetic resonance imaging
US5481620A (en) * 1991-09-27 1996-01-02 E. I. Du Pont De Nemours And Company Adaptive vision system
US5978497A (en) * 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
EP0796475B1 (en) * 1994-12-05 1999-07-28 E.I. Du Pont De Nemours And Company Adaptive vision system using dual thresholding
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US6021220A (en) * 1997-02-11 2000-02-01 Silicon Biology, Inc. System and method for pattern recognition
JP3431883B2 (ja) * 2000-04-27 2003-07-28 科学技術振興事業団 細胞系譜抽出方法
US6804381B2 (en) * 2000-04-18 2004-10-12 The University Of Hong Kong Method of and device for inspecting images to detect defects
US7546210B2 (en) * 2000-06-08 2009-06-09 The Regents Of The University Of California Visual-servoing optical microscopy
JP2002216133A (ja) * 2001-01-22 2002-08-02 Fuji Xerox Co Ltd 画像処理システム、及び感覚情報処理システム
GB0109892D0 (en) * 2001-04-20 2001-06-13 Secr Defence Method and apparatus for reducing the effects of motion in an image
US7397953B2 (en) * 2001-07-24 2008-07-08 Hewlett-Packard Development Company, L.P. Image block classification based on entropy of differences
US20030165263A1 (en) 2002-02-19 2003-09-04 Hamer Michael J. Histological assessment
EP1387315B1 (en) * 2002-06-07 2007-09-12 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
JP2004054676A (ja) * 2002-07-22 2004-02-19 Mitsubishi Electric Corp 移動体領域抽出方法および移動体領域抽出装置
GB2394263B (en) * 2002-10-15 2005-08-24 Charles Robert Massie Wheel nut locking assembly
GB0224626D0 (en) 2002-10-23 2002-12-04 Qinetiq Ltd Tubule grading
GB2395263A (en) 2002-11-12 2004-05-19 Qinetiq Ltd Image analysis
GB0226787D0 (en) 2002-11-18 2002-12-24 Qinetiq Ltd Measurement of mitotic activity
GB0227160D0 (en) 2002-11-21 2002-12-24 Qinetiq Ltd Histological assessment of pleomorphism
GB2396406A (en) 2002-12-17 2004-06-23 Qinetiq Ltd Image analysis
GB0229734D0 (en) 2002-12-23 2003-01-29 Qinetiq Ltd Grading oestrogen and progesterone receptors expression
GB2398379A (en) 2003-02-11 2004-08-18 Qinetiq Ltd Automated digital image analysis
JP3921182B2 (ja) * 2003-05-27 2007-05-30 独立行政法人科学技術振興機構 核領域認識における結合核領域の切断方法
US8321136B2 (en) * 2003-06-12 2012-11-27 Cytyc Corporation Method and system for classifying slides using scatter plot distribution
US20060280364A1 (en) * 2003-08-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
JP4409897B2 (ja) * 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US20120134582A1 (en) * 2007-01-16 2012-05-31 Chemimage Corporation System and Method for Multimodal Detection of Unknown Substances Including Explosives
US8774479B2 (en) * 2008-02-19 2014-07-08 The Trustees Of The University Of Pennsylvania System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors
US8577115B2 (en) * 2008-03-04 2013-11-05 Tomotherapy Incorporated Method and system for improved image segmentation
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US20120075440A1 (en) * 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511621A (ja) 1998-04-15 2002-04-16 メイヨ フオンデーシヨン フオー メデイカル エジユケーシヨン アンド リサーチ 動きアーティファクトのためのｍｒイメージの自動修正
US6858007B1 (en) * 1998-11-25 2005-02-22 Ramot University Authority For Applied Research And Industrial Development Ltd. Method and system for automatic classification and quantitative evaluation of adnexal masses based on a cross-sectional or projectional images of the adnex
JP2002539870A (ja) 1999-03-19 2002-11-26 イシス イノベイション リミテッド 画像処理の方法と装置
WO2003060653A2 (en) * 2002-01-15 2003-07-24 Vysis, Inc. Method and/or system for analyzing biological samples using a computer system

Also Published As

Publication number Publication date
GB2430026A (en) 2007-03-14
CA2622141A1 (en) 2007-03-15
TW200715161A (en) 2007-04-16
TWI412949B (zh) 2013-10-21
US20080273787A1 (en) 2008-11-06
EP1932115A1 (en) 2008-06-18
WO2007028963A1 (en) 2007-03-15
JP2009508200A (ja) 2009-02-26
JP5156631B2 (ja) 2013-03-06
AU2006288980A1 (en) 2007-03-15
GB0518367D0 (en) 2005-10-19
AU2006288980A8 (en) 2008-06-05
KR20080055898A (ko) 2008-06-19
US8265370B2 (en) 2012-09-11

Similar Documents

Publication Publication Date Title
KR101369821B1 (ko) 이미지 영역들의 자동 선택
JP4420821B2 (ja) 組織学的アセスメント
US7949181B2 (en) Segmentation of tissue images using color and texture
JP4174050B2 (ja) 有糸分裂活性の測定
EP1975875A2 (en) Methods of chromogen separation-based image analysis
US8019156B2 (en) Method and device for segmenting a digital representation of cells
JP4383352B2 (ja) 核多形性の組織学的評価
WO2015040990A1 (ja) 疾患分析装置、制御方法、及びプログラム
Tabesh et al. Automated prostate cancer diagnosis and Gleason grading of tissue microarrays
CN111292256A (zh) 一种基于显微高光谱成像的纹理增强算法
Kang et al. Accuracy improvement of quantification information using super-resolution with convolutional neural network for microscopy images
Florindo et al. Morphological classification of odontogenic keratocysts using Bouligand–Minkowski fractal descriptors
Moradi et al. Automatic locating the centromere on human chromosome pictures
Maeda et al. Perceptual image segmentation using fuzzy-based hierarchical algorithm and its application to dermoscopy images
Manoel et al. Multiscale fractal characterization of three-dimensional gene expression data
CN114708428A (zh) 感兴趣区域的划分方法、装置、设备及可读存储介质
Amitha et al. Developement of computer aided system for detection and classification of mitosis using SVM
MacAulay Development, implementation and evaluation of segmentation algorithms for the automatic classification of cervical cells
Ruiz et al. The GPU on biomedical image processing for color and phenotype analysis
RU2105351C1 (ru) Способ анализа изображения текстуры объекта
JP2012093370A (ja) 組織学的アセスメント
Horgan et al. Biological image processing and enhancement
Meschino et al. Semiautomated segmentation of bone marrow biopsies images based on texture features and Generalized Regression Neural Networks
Boecker Automated cell inspection systems for the determination of DNA damage and repair in the biological research
Wu et al. Image capture, analysis and quantification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee