KR101853658B1 - 세포 이미지 스티칭 중 고해상도 구현방법 - Google Patents
세포 이미지 스티칭 중 고해상도 구현방법 Download PDFInfo
- Publication number
- KR101853658B1 KR101853658B1 KR1020160125744A KR20160125744A KR101853658B1 KR 101853658 B1 KR101853658 B1 KR 101853658B1 KR 1020160125744 A KR1020160125744 A KR 1020160125744A KR 20160125744 A KR20160125744 A KR 20160125744A KR 101853658 B1 KR101853658 B1 KR 101853658B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution
- stitching
- monochrome
- high resolution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 239000012472 biological sample Substances 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 2
- 239000008280 blood Substances 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 65
- 238000003384 imaging method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 6
- 201000005787 hematologic cancer Diseases 0.000 description 6
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 201000009030 Carcinoma Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000012531 culture fluid Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 210000003677 hemocyte Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000001890 transfection Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일실시예는 세포 이미지 스티칭 중 고해상도 구현방법으로서, a) 표적세포를 포함하는 생물학적 샘플에 대하여, 복수 파장범위 각각에 대하여 다수개의 광학적 분할 이미지를 수신하는 단계와, b) 상기 다수개의 광학적 분할 이미지를 각각 저해상도로 변환시켜 다수개의 저해상도 분할 이미지를 생성하는 단계와, c) 상기 다수개의 저해상도 분할 이미지를 병합하여 하나의 저해상도 스티칭 이미지를 생성하는 단계와, d) 상기 저해상도 스티칭 이미지를 고해상도로 변환시켜 고해상도 스티칭 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법을 제공한다.
Description
본 발명은 세포 이미지 스티칭 중 고해상도 구현방법에 관한 것으로, 더욱 상세하게는 표적세포를 포함하는 생물학적 샘플에 대한 다수개의 광학 이미지를 병합하여 고해상도의 통합 이미지를 얻을 수 있는 방법에 관한 것이다.
생물, 화학, 의학 등의 분야에서 연구자는 형광 현미경을 통해 광학 이미지를 얻은 후에 특정한 세포(표적세포)의 개수나 존재비율 등의 통계자료를 얻을 수 있다. 이를 위해서 고품질의 광학 이미지를 얻고 신속히 처리 및 분석하는 기술이 필수이다.
세포 이미징은 세포를 이용한 검사 또는 검진에도 응용된다. 유전자 해석, 암진단 등 바이오 기술의 발달에 따라 세포를 이용한 다양한 검사 또는 검진 방법이 개발되고 있다. 이를 위해 표적세포를 포함한 생물학적 샘플에 대해 형광 현미경을 통한 촬상 및 촬상된 이미지의 분석이 요구된다. 그러한 표적세포의 한 예로 혈중 암세포를 들 수 있다. 혈중 암세포(CTCs: Circulating Tumor Cells)는 1차적인 종양조직, 즉 원발암으로부터 떨어져 나와 혈액 속을 돌아다니는 소수의 종양세포로 전이암의 핵심요인으로 알려져 있다. 혈중 암세포는 혈구 성분 108∼109 개당 약 1개 비율로 존재한다고 알려져 있다. 이러한 혈중 암세포의 개수나 비율을 정확히 판정하는 것은 암 검진이나 항암치료의 검증 등에 있어 매우 중요하다.
표적세포의 개수를 판단하고 이들의 종류를 판단하기 위해서는 각 세포의 크기와 형상을 특정해야 한다. 세포를 정확히 식별하여 표적세포, 예컨대 암세포를 정확히 판단해내기 위해서는, 샘플 영역 전체에 걸쳐 1회의 촬상으로 전체 광학 이미지는 얻는 것은 불가능하다. 따라서 다수개, 보통 수십 내지 수백여개의 분할 이미지를 얻고, 이들을 병합(스티칭)할 수 있는 기술이 요구되고 있다.
특히, 다수개의 생물학적 샘플을 빠른 속도로 처리해야 하는 자동화된 세포 이미징 장치 또는 세포 이미징 시스템에서, 높은 사양의 프로세서나 메모리 용량을 사용하지 않고도 분할된 광학 이미지를 이용하여 하나의 스티칭된 이미지를 신속하게 얻을 수 있는 방법이 요구되고 있다.
본 발명이 이루고자 하는 기술적 과제는, 표적세포를 포함하는 생물학적 샘플에 대한 다수개의 광학 이미지를 병합하여 고해상도의 통합 이미지를 얻을 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 세포 이미지 스티칭 중 고해상도 구현방법으로서, a) 표적세포를 포함하는 생물학적 샘플에 대하여, 복수 파장범위 각각에 대하여 다수개의 광학적 분할 이미지를 수신하는 단계와, b) 상기 다수개의 광학적 분할 이미지를 각각 저해상도로 변환시켜 다수개의 저해상도 분할 이미지를 생성하는 단계와, c) 상기 다수개의 저해상도 분할 이미지를 병합하여 하나의 저해상도 스티칭 이미지를 생성하는 단계와, d) 상기 저해상도 스티칭 이미지를 고해상도로 변환시켜 고해상도 스티칭 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법을 제공한다.
본 발명의 실시예에 있어서, 상기 a 단계 내지 상기 d 단계는 상기 복수 파장범위 각각에 대하여 동시에 또는 순차적으로 이루어질 수 있다.
본 발명의 실시예에 있어서, 상기 d 단계 이후에, e) 상기 복수 파장범위 각각의 고해상도 스티칭 이미지를 고해상도 흑백 스티칭 이미지로 변환시키는 단계와, f) 두 개의 고해상도 흑백 스티칭 이미지를 병합하여 제1 흑백 병합 이미지를 생성하는 단계와, g) 상기 제1 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제하는 단계와, h) 상기 제1 흑백 병합 이미지를 다른 고해상도 흑백 스티칭 이미지와 병합하여 제2 흑백 병합 이미지를 생성하는 단계와, i) 상기 제2 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제하는 단계와, j) 상기 제2 흑백 병합 이미지를 최종 병합 이미지로 출력하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 b 단계에서의 저해상도 변환 또는 상기 d 단계에서의 고해상도 변환은 3차 스플라인(cubic spline) 보간법으로 수행될 수 있다.
본 발명의 실시예에 있어서, 상기 복수 파장범위는 청색 파장범위, 녹색 파장범위, 및 적색 파장범위를 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 표적세포는 혈중 암세포(CTC)를 포함할 수 있다.
본 발명의 실시예에 따르면, 표적세포를 포함하는 생물학적 샘플에 대한 다수개의 광학 이미지를 병합하여 고해상도의 통합 이미지를 얻을 수 있는 방법을 제공할 수 있다. 이러한 방법은 자동화된 세포 이미징 장치 및 세포 이미징 시스템에 적용할 수 있다. 또한, 높은 사양의 프로세서나 메모리 용량을 사용하지 않고도 분할된 광학 이미지를 이용하여 하나의 스티칭된 이미지를 신속하게 얻을 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 세포 이미징 장치의 개념도이다.
도 2 및 도 3은 본 발명의 실시예에 의한 세포 이미지 스티칭 중 고해상도 구현방법의 플로우 차트이다.
도 4는 저해상도 변환시 3차 스플라인 보간법의 적용과정을 나타낸다.
도 5는 고해상도 변환시 3차 스플라인 보간법의 적용과정을 나타낸다.
도 6은 청색 파장범위에 대한 표적세포 광학 이미지 샘플 사진을 이용한 해상도 변환 결과를 나타낸다.
도 7은 분할 이미지를 이용하여 스티칭 이미지를 생성한 결과를 나타낸다.
도 8은 컬러 스티칭 이미지를 흑백 스티칭 이미지로 변환하는 과정, 및 흑백 스티칭 이미지를 최종 병합 이미지로 변환하는 과정을 나타낸다.
도 2 및 도 3은 본 발명의 실시예에 의한 세포 이미지 스티칭 중 고해상도 구현방법의 플로우 차트이다.
도 4는 저해상도 변환시 3차 스플라인 보간법의 적용과정을 나타낸다.
도 5는 고해상도 변환시 3차 스플라인 보간법의 적용과정을 나타낸다.
도 6은 청색 파장범위에 대한 표적세포 광학 이미지 샘플 사진을 이용한 해상도 변환 결과를 나타낸다.
도 7은 분할 이미지를 이용하여 스티칭 이미지를 생성한 결과를 나타낸다.
도 8은 컬러 스티칭 이미지를 흑백 스티칭 이미지로 변환하는 과정, 및 흑백 스티칭 이미지를 최종 병합 이미지로 변환하는 과정을 나타낸다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다. 본 발명에 첨부된 도면에서 세포에 대한 광학 이미지는 실제 이미지에서 흑백 반전한 이미지를 사용하였다.
도 1은 세포 이미징 장치의 개념도, 도 2 및 도 3은 본 발명의 실시예에 의한 세포 이미지 스티칭 중 고해상도 구현방법의 플로우 차트이다. 또한, 도 4는 저해상도 변환시 3차 스플라인 보간법의 적용과정을 나타내며, 도 5는 고해상도 변환시 3차 스플라인 보간법의 적용과정을 나타낸다.
본 발명에 의한 세포 이미지 스티칭 중 고해상도 구현방법은 세포 이미징 시스템에 적용될 수 있다. 세포 이미징 시스템은 예컨대 슬라이드 글라스와 같은 플랫폼 상에 염색된 세포를 놓고 여러 파장별로 세포를 관찰하고 촬영하는 시스템이다. 세포 이미징 시스템은 자동 셀 카운팅(cell counting) 모듈, 형광 강도(intensity) 분석 모듈, 형질 주입(transfection) 효율 분석 모듈, 3D 디컨볼루션(deconvolution) 모듈, 세포학(cytology) 기반 셀 분류/인식(cell classification/cognition) 모듈을 포함할 수 있다. 또한, 사용자 편의 기능으로서, 측정(Measurement) 기능, 리포트(Report) 자동 생성 기능, DB 관리 기능을 유저 인터페이스로 포함할 수 있다.
이러한 세포 이미징 시스템은 세포, 배양액, 데브리스(debris) 등을 구별하고, 사용자가 원하는 세포를 판별하고 계수하기 위한 디지털 영상분석 장비가 포함된다. 본 발명의 실시예에 의한 세포 이미지 스티칭 중 고해상도 구현방법은 세포 이미징 시스템에 적용되는 것으로, 다수개의 분할 이미지로부터 하나의 스티칭 이미지를 얻을 수 있도록 한다.
도 1에 도시된 바와 같이, 세포 이미징 장치(10)는 플레이트(1), 광원(2), 및 대물렌즈(3)를 포함할 수 있다.
플레이트(1)에는 표적세포를 포함하는 생물학적 샘플(S)이 위치한다. 표적세포는 특정 시료에 의해 형광염색된 세포, 또는 특정 혈구세포, 또는 혈중 암세포(CTC) 등과 같은 특정 세포일 수 있으며, 그 종류에는 특별한 제한이 없다. 또한 생(live) 세포이든 죽은 세포이든 관계없다. 플레이트(1)는 슬라이드 글라스(slide glass)일 수 있으며, 슬라이드 글라스를 고정시키기 위한 지그가 포함될 수도 있다. 플레이트(1)에는 하나의 생물학적 샘플(S)이 위치하는 것도 가능하고, 하나의 플레이트에 복수개의 샘플이 배치되거나, 다수개의 독립된 플레이트가 병치되는 것도 가능하다. 또한 플레이트(1)는 챔버 내에 위치할 수도 있다.
광원(2)은 플레이트(1) 측으로 입사광을 조사한다. 광원(2)은 LED와 같은 조명일 수 있으며, 사용자의 선택 또는 제어부의 제어 동작에 따라 발광시간이 소정범위 내로 조정될 수 있다. 또한 광원(2)은 투과 광원(transmission light source)이거나 형광 광원(fluorescence light source)일 수 있다. 또한 광원(2)은 2개 이상의 모드를 가지도록 교체 가능하게 마련될 수도 있으며, 이 경우 예컨대 암시야 모드와 명시야 모드를 제공할 수 있다.
대물렌즈(3)는 생물학적 샘플에서 여기된 광을 집광한다. 대물렌즈(3)를 통해 유입된 광은 광학 요소(optical element)를 거쳐 촬상부(4)로 향한다. 광학요소에는 형광염료로 염색된 세포 또는 세포내 물질을 검출하기 위한 필터가 포함될 수 있다.
일반적으로 대물렌즈(3)와 플레이트(1) 사이의 거리를 조정하여 최적 초점거리를 선정한 후에, 이 초점거리에서 플레이트(1)에 놓인 생물학적 샘플을 촬상하여 광학 이미지를 얻게 된다. 이 때 생물학 샘플의 전체 영역에 걸쳐 한번에 광학 이미지를 얻는 것은 렌즈 구경 및 해상도 문제로 인해 쉽지 않으므로, 특정한 파장범위의 광에 대해 복수개의 분할 이미지를 얻게 된다. 도 1을 참조하면, 예컨대 x축방향으로 n구간, y축 방향으로 m구간으로 나누어, 총 n × m 개의 분할 이미지를 얻게 된다. 이러한 분할 이미지를 병합(스티칭)하여 하나의 스티칭 이미지를 얻게 된다.
도 2 및 도 3을 참조하여, 본 발명의 실시예에 의한 세포 이미지 스티칭 중 고해상도 구현방법을 설명하기로 한다.
먼저, 표적세포를 포함하는 생물학적 샘플에 대하여, 복수 파장범위 각각에 대하여 다수개의 광학적 분할 이미지를 수신한다(S1 단계).
여기서, 다수개의 광학적 분할 이미지 각각은 고해상도로 주어진다. 고해상도/저해상도는 상대적인 개념이기는 하나, 후속하는 S2 단계에서 광학 이미지에 대한 해상도를 감소시키게 되므로, S1 단계의 광학 이미지는 고해상도, S2 단계의 광학 이미지는 저해상도로 각각 표현하기로 한다. 이하의 실시예에서도 마찬가지 방법으로 명명한다.
한편, 복수 파장범위는 청색 파장범위, 녹색 파장범위, 및 적색 파장범위를 포함할 수 있다. 청색 파장범위에 대한 광학 이미지는 세포핵의 판별에 특히 유용하며, 녹색 파장범위 및 적색 파장범위에 대한 광학 이미지는 세포막의 판별에 특히 유용하다. 그 외에도 다양한 색상(컬러)의 파장범위를 이용하여 특정 형광염료 또는 마커를 식별하는 것이 가능하다.
다음으로, 다수개의 광학적 분할 이미지를 각각 저해상도로 변환시켜 다수개의 저해상도 분할 이미지를 생성한다(S2 단계).
저해상도 변환방법으로서 예컨대 3차 스플라인(cubic spline) 보간법이 사용될 수 있다. 구체적인 예로서, 도 4와 같이 x축 및 y축으로 각 7 픽셀(pixel)인 고해상도 이미지를 x축 및 y축으로 각 6 픽셀인 저해상도 이미지로 변환하는 과정을 살펴보기로 한다.
먼저, 도 4의 (a)에서와 같이 가로(x축) 방향 7개 픽셀에 대한 3차 다항식을 각 구간(6개 구간) 별로 얻는다. 여기서 다항식의 공역은 강도(형광강도) 값일 수 있다. 이어서, 각 6개 구간에 대한 3차 다항식을 통해 6개 픽셀에 대한 강도값을 얻는다. 이 6개 픽셀에 대한 강도값을 통해 총5개 구간에 대한 3차 다항식을 얻게 된다. 이러한 과정을 통해 7개 픽셀을 6개 픽셀로 변환할 수 있게 된다. 유사한 방식으로 세로(y축) 픽셀에 대해서도 동일한 변환 과정을 거치게 되면 강도값을 나타내는 고해상도 이미지가 3차 스플라인 보간에 의해 저해상도 이미지로 변환된다.
다시 도 2를 참조하면, S2 단계에서 얻은 다수개의 저해상도 분할 이미지를 병합(스티칭)하여 하나의 저해상도 스티칭 이미지를 생성한다(S3 단계). 인접한 분할 이미지에서 중복되는 부분은 삭제 또는 조정되며, 생물학적 샘플의 전체 영역 또는 생물학적 샘플에 있어서 탐지 대상이 되는 전체 영역에 대해 하나의 스티칭 이미지가 생성된다.
다음으로, S3 단계에서 얻은 저해상도 스티칭 이미지를 고해상도로 변환시켜 고해상도 스티칭 이미지를 생성한다(S4 단계).
고해상도 변환방법은 S2 단계에서의 저해상도 변환방법의 역과정으로 볼 수 있으며, 따라서 3차 스플라인(cubic spline) 보간법이 사용될 수 있다. 고해상도 또는 저해상도 변환방법이 3차 스플라인 보간법만으로 한정되는 것이 아님은 물론이다.
구체적인 예로서, 도 5와 같이 x축 및 y축으로 각 7 픽셀(pixel)인 저해상도 이미지를 x축 및 y축으로 각 13 픽셀인 고해상도 이미지로 변환하는 과정을 살펴보기로 한다.
먼저, 도 5의 (a)에서와 같이 가로(x축) 방향 7개 픽셀에 대한 3차 다항식을 각 구간(6개 구간) 별로 얻는다. 이어서, 각 6개 구간에 대한 3차 다항식을 통해 13개 픽셀에 대한 강도값을 얻는데, 여기서 추가되는 6개 픽셀의 강도값은 앞서 설정된 6개 구간의 중간값에 대응하는 3차 다항식 함수값에 해당한다. 이러한 과정을 통해 7개 픽셀을 13개 픽셀로 변환할 수 있게 된다. 이와는 달리 7개 이상의 임의의 개수의 픽셀로 확장하는 것도 가능하다. 한편, 이상 설명한 가로 픽셀에 대한 고해상도 변환과 유사한 방식으로 세로(y축) 픽셀에 대해서도 동일한 변환 과정을 거치게 되면, 저해상도 이미지가 3차 스플라인 보간에 의해 고해상도 이미지로 변환될 수 있다.
다시 도 2를 참조하면, S4 단계 이후로 모든 컬러(파장범위)에 대한 스티칭 이미지 생성이 완료될 때까지 S2 단계부터 S4 단계가 반복된다(S5 단계).
또한, 앞서 설명한 S1 내지 S4 단계는 복수 파장범위 각각에 대해 동시에 이루어질 수도 있고, 이와 달리 순차적으로 이루어질 수도 있다. 예컨대, 청색 파장범위에 대한 다수개의 광학적 분할 이미지로부터 고해상도 스티칭 이미지를 생성하고, 이후 순차적으로 녹색 또는 적색 파장범위에 대한 고해상도 스티칭 이미지를 생성할 수 있다. 이와 달리, 청색 파장범위에 대한 저해상도 분할 이미지, 녹색 또는 적색 파장범위에 대한 저해상도 분할 이미지를 먼저 생성하고, 이후 청색 파장범위에 대한 저해상도 스티칭 이미지, 녹색 또는 적색 파장범위에 대한 저해상도 분할 이미지를 생성하는 것과 같이, 각 단계가 각 파장범위 별로 동시에 이루어질 수 있다.
도 6은 청색 파장범위에 대한 표적세포 광학 이미지 샘플 사진을 이용한 해상도 변환 결과를 나타내며, 도 7은 분할 이미지를 이용하여 스티칭 이미지를 생성한 결과를 나타낸다.
도 6은 전술한 3차 스플라인 보간법을 이용하여 원본 이미지(a)를 각각 1/2 해상도를 갖는 저해상도 이미지(b)와, 2배 해상도를 갖는 고해상도 이미지(c)로 각각 변환한 실제 결과를 보여준다. 도 7은 앞서 설명한 S1 내지 S5 단계를 모두 완료하여 하나의 고해상도 스티칭 이미지를 실제 생성한 결과를 보여준다.
다음으로, 도 3 및 도 8을 이용하여 S5 단계 이후의 과정을 설명하기로 한다. 도 8은 컬러 스티칭 이미지를 흑백 스티칭 이미지로 변환하는 과정, 및 흑백 스티칭 이미지를 최종 병합 이미지로 변환하는 과정을 나타낸다.
먼저, 복수 파장범위 각각의 고해상도 스티칭 이미지를 고해상도 흑백 스티칭 이미지로 변환시킨다(S6 단계). 도 8의 (a)에는 청색 파장범위의 고해상도 스티칭 이미지(좌측 사진)를 고해상도 흑백 스티칭 이미지(우측 사진)로 변환한 결과가 나타나 있다. 마찬가지로 도 8의 (b)에는 녹색 파장범위에 대해, 도 8의 (c)에는 적색 파장범위에 대해 고해상도 흑백 스티칭 이미지로 변환한 결과가 나타나 있다.
다음으로, 두 개의 고해상도 흑백 스티칭 이미지를 병합하여 제1 흑백 병합 이미지를 생성한다(S7 단계). 예컨대, 청색 파장범위의 고해상도 흑백 스티칭 이미지와 녹색 파장범위의 고해상도 흑백 스티칭 이미지를 병합하여 제1 흑백 병합 이미지를 생성할 수 있다.
다음으로, 제1 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제한다(S8 단계). 일반적으로 현재 주로 사용하는 프로세서(64비트 프로세서)의 처리한계상 대략 10,000 × 10,000 픽셀의 이미지를 처리하거나 메모리에 저장하기는 매우 어렵다. 따라서, 일단 병합 이미지를 생성한 후에는 해당 데이터를 메모리에서 삭제하는 과정을 거치도록 한다.
다음으로, 제1 흑백 병합 이미지를 다른 고해상도 흑백 스티칭 이미지와 병합하여 제2 흑백 병합 이미지를 생성한다(S9 단계). 예컨대, S7 단계에서 얻은 제1 흑백 병합 이미지와 나머지 하나의 파장범위, 즉 적색 파장범위의 고해상도 흑백 스티칭 이미지를 병합하여 제2 흑백 병합 이미지를 생성할 수 있다.
다음으로, 제2 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제한다(S10단계).
이후, 모든 파장범위에 대하여 흑백 이미지의 병합이 완료될 때까지 S9 및 S10 단계가 반복될 수 있다(S11 단계). 예컨대, 청색, 녹색, 적색 파장범위라는 3개의 파장범위에 대응하는 광학 이미지를 사용하는 경우에는 S9 및 S10 단계의 반복이 필요없으며, 여기에 추가로 황색 파장범위에 대응하는 고해상도 흑백 스티칭 이미지가 더 추가되는 경우에는 제2 흑백 병합 이미지에 황색 파장범위의 고해상도 흑백 스티칭 이미지를 병합하여 제3 흑백 병합 이미지를 생성할 수 있다.
마지막으로, 제2 흑백 병합 이미지를 최종 병합 이미지로 출력한다(S12 단계). 여기서, 제2 흑백 병합 이미지는 모든 파장범위의 고해상도 흑백 스티칭 이미지를 모두 병합한 최종적인 병합 이미지를 의미하는 것으로 보아야 한다. 도 8의 (d)에는 청색, 녹색, 적색 파장범위라는 3개의 파장범위에 대응하는 흑백 스티칭 이미지를 모두 병합한 최종 흑백 병합 이미지가 나타나 있다. 최종적으로 얻어진 병합 이미지를 이용하여 세포 이미징 시스템 내에서 세포의 판별, 계수 등의 분석 처리가 이루어질 수 있다.
이상 살펴본 바와 같이, 본 발명의 실시예에 따른 세포 이미지 스티칭 중 고해상도 구현방법에서는, 컬러 영상의 고해상도 스티칭 이미지를 흑백 영상의 고해상도 흑백 스티칭 이미지로 변환하는 과정(S6 단계), 흑백 병합 이미지를 순차적으로 생성하는 과정(S7 및 S9 단계), 및 흑백 병합 이미지를 생성한 후에 처리 메모리를 제거하는 과정(S8 및 S10 단계)을 통해, 고사양의 프로세서나 고용량의 메모리를 사용하지 않고도 적정한 비용과 시간 내에 이미지 처리가 이루어질 수 있다.
한편, 본 발명의 실시예에 있어서 표적세포는 혈중 암세포(CTC)를 포함할 수 있으나, 이에 한정되는 것이 아님은 물론이다.
이상 설명한 세포 이미지 스티칭 중 고해상도 구현방법은 컴퓨터 프로그램에 의해 실행될 수 있다. 이러한 컴퓨터 프로그램은 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (6)
- 세포 이미지 스티칭 중 고해상도 구현방법으로서,
a) 표적세포를 포함하는 생물학적 샘플에 대하여, 복수 파장범위 각각에 대하여 다수개의 광학적 분할 이미지를 수신하는 단계와,
b) 상기 다수개의 광학적 분할 이미지를 각각 저해상도로 변환시켜 다수개의 저해상도 분할 이미지를 생성하는 단계와,
c) 상기 다수개의 저해상도 분할 이미지를 병합하여 하나의 저해상도 스티칭 이미지를 생성하는 단계와,
d) 상기 저해상도 스티칭 이미지를 고해상도로 변환시켜 고해상도 스티칭 이미지를 생성하는 단계
를 포함하며,
상기 a 단계 내지 상기 d 단계는 상기 복수 파장범위 각각에 대하여 동시에 또는 순차적으로 이루어지고,
상기 d 단계 이후에,
e) 상기 복수 파장범위 각각의 고해상도 스티칭 이미지를 고해상도 흑백 스티칭 이미지로 변환시키는 단계와,
f) 두 개의 고해상도 흑백 스티칭 이미지를 병합하여 제1 흑백 병합 이미지를 생성하는 단계와,
g) 상기 제1 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제하는 단계와,
h) 상기 제1 흑백 병합 이미지를 다른 고해상도 흑백 스티칭 이미지와 병합하여 제2 흑백 병합 이미지를 생성하는 단계와,
i) 상기 제2 흑백 병합 이미지에 대한 정보를 처리 장치의 메모리로부터 삭제하는 단계와,
j) 상기 제2 흑백 병합 이미지를 최종 병합 이미지로 출력하는 단계
를 포함하는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 b 단계에서의 저해상도 변환 또는 상기 d 단계에서의 고해상도 변환은 3차 스플라인(cubic spline) 보간법으로 수행되는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법.
- 제1항에 있어서,
상기 복수 파장범위는 청색 파장범위, 녹색 파장범위, 및 적색 파장범위를 포함하는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법.
- 제1항에 있어서,
상기 표적세포는 혈중 암세포(CTC)를 포함하는 것을 특징으로 하는 세포 이미지 스티칭 중 고해상도 구현방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160125744A KR101853658B1 (ko) | 2016-09-29 | 2016-09-29 | 세포 이미지 스티칭 중 고해상도 구현방법 |
| PCT/KR2016/011014 WO2018062595A1 (ko) | 2016-09-29 | 2016-09-30 | 세포 이미지 스티칭 중 고해상도 구현방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160125744A KR101853658B1 (ko) | 2016-09-29 | 2016-09-29 | 세포 이미지 스티칭 중 고해상도 구현방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180035531A KR20180035531A (ko) | 2018-04-06 |
| KR101853658B1 true KR101853658B1 (ko) | 2018-05-03 |
Family
ID=61759804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160125744A KR101853658B1 (ko) | 2016-09-29 | 2016-09-29 | 세포 이미지 스티칭 중 고해상도 구현방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101853658B1 (ko) |
| WO (1) | WO2018062595A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102140385B1 (ko) * | 2018-12-31 | 2020-07-31 | (주)유아이엠디 | 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템 |
| CN110766668B (zh) * | 2019-10-11 | 2023-09-05 | 武汉兰丁智能医学股份有限公司 | 细胞检测识别系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004079523A2 (en) * | 2003-02-28 | 2004-09-16 | Aperio Technologies, Inc. | Image processing and analysis framework |
| JP2006049964A (ja) * | 2004-07-30 | 2006-02-16 | Sysmex Corp | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム |
| US20140161330A1 (en) * | 2011-05-06 | 2014-06-12 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Bio-imaging method and system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4878815B2 (ja) * | 2005-06-10 | 2012-02-15 | オリンパス株式会社 | 顕微鏡装置 |
| JP2015219282A (ja) * | 2014-05-14 | 2015-12-07 | ソニー株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム |
-
2016
- 2016-09-29 KR KR1020160125744A patent/KR101853658B1/ko active IP Right Grant
- 2016-09-30 WO PCT/KR2016/011014 patent/WO2018062595A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004079523A2 (en) * | 2003-02-28 | 2004-09-16 | Aperio Technologies, Inc. | Image processing and analysis framework |
| JP2006049964A (ja) * | 2004-07-30 | 2006-02-16 | Sysmex Corp | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム |
| US20140161330A1 (en) * | 2011-05-06 | 2014-06-12 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Bio-imaging method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018062595A1 (ko) | 2018-04-05 |
| KR20180035531A (ko) | 2018-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2301706T3 (es) | Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware. | |
| US7608840B2 (en) | System and method employing photokinetic techniques in cell biology imaging applications | |
| EP2943761B1 (en) | Multispectral imaging system and methods | |
| EP2284592B1 (en) | Fluorescence imaging | |
| US10083340B2 (en) | Automated cell segmentation quality control | |
| JP6605716B2 (ja) | 病理学的明視野画像における自動染色検出 | |
| JP2018180635A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP7181537B2 (ja) | 高空間分解能の時間分解イメージング法 | |
| Aswendt et al. | Whole-brain microscopy meets in vivo neuroimaging: techniques, benefits, and limitations | |
| CN113508289B (zh) | 光谱分解 | |
| Bueno et al. | An automated system for whole microscopic image acquisition and analysis | |
| KR101853658B1 (ko) | 세포 이미지 스티칭 중 고해상도 구현방법 | |
| WO2021198252A1 (en) | Virtual staining logic | |
| KR20170038724A (ko) | 광학적 세포 식별방법 | |
| JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| KR101873318B1 (ko) | 세포 이미징 장치 및 그 방법 | |
| WO2021198243A1 (en) | Method for virtually staining a tissue sample and a device for tissue analysis | |
| JP4883936B2 (ja) | 走査型サイトメータの画像処理方法及び装置 | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| Gong et al. | A fully water coupled oblique light-sheet microscope | |
| WO2022249583A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
| Alegro et al. | Deep learning for Alzheimer’s disease: Mapping large-scale histological tau protein for neuroimaging biomarker validation | |
| US11422349B2 (en) | Dual processor image processing | |
| Song et al. | μ-phone: accessible microscope attachment for smartphones | |
| CN118628354B (zh) | 一种基于深度学习的荧光寿命超分辨成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20160929 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170731 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180413 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180425 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180426 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220328 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240327 Start annual number: 7 End annual number: 7 |