KR102576041B1 - 슬라이드 표본의 고배율 이미지 획득방법 - Google Patents

슬라이드 표본의 고배율 이미지 획득방법 Download PDF

Info

Publication number
KR102576041B1
KR102576041B1 KR1020210018418A KR20210018418A KR102576041B1 KR 102576041 B1 KR102576041 B1 KR 102576041B1 KR 1020210018418 A KR1020210018418 A KR 1020210018418A KR 20210018418 A KR20210018418 A KR 20210018418A KR 102576041 B1 KR102576041 B1 KR 102576041B1
Authority
KR
South Korea
Prior art keywords
magnification
imaging
image
slide specimen
magnification image
Prior art date
Application number
KR1020210018418A
Other languages
English (en)
Other versions
KR20220114864A (ko
Inventor
최종호
정보원
이주선
이봉기
이중훈
황호
이영득
Original Assignee
(주)유아이엠디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유아이엠디 filed Critical (주)유아이엠디
Priority to KR1020210018418A priority Critical patent/KR102576041B1/ko
Priority to PCT/KR2022/001837 priority patent/WO2022173176A1/ko
Publication of KR20220114864A publication Critical patent/KR20220114864A/ko
Application granted granted Critical
Publication of KR102576041B1 publication Critical patent/KR102576041B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본 발명의 일 실시예에 의하면, 슬라이드 표본의 고배율 이미지 획득방법에 있어서 고배율 촬상의 오토포커싱에 따른 택타임을 줄일 수 있으면서 관심 영역의 선명한 고배율 촬상 이미지를 획득할 수 있다. 이를 위해 특히 본 발명의 일 실시예는, 골수가 도말된 슬라이드 표본의 이미지 획득방법에 있어서, 슬라이드 표본의 저배율 이미지에 기초하여 관찰 대상 후보세포인 아이디얼 존을 선정하는 단계(S10); 선정된 아이디얼 존에 대하여 고배율 촬상을 위한 패스 플래닝을 수행하는 단계(S20); 선정된 아이디얼 존의 군집도를 분석하는 단계(S30); 분석된 군집도에 기초하여 아이디얼 존에 대하여 DOF 영역(Depth of Field)을 지정하는 단계(S40); 및 패스 플래닝에 따른 촬상 경로에 기초하여 아이디얼 존에 대한 고배율 촬상 이미지를 촬상하는 단계(S50)를 포함하되, 고배율 이미지 촬상단계(S50)는, 지정된 DOF 영역 내부에 위치하는 고배율 촬상 타겟 중 중심부 고배율 타겟에 대하여 N 장의 중심부 포커싱 촬상을 수행하는 단계(S510); 및 지정된 DOF 영역 내부에 위치하는 중심부 고배율 타겟의 주변에 위치하는 주변부 고배율 타겟에 대하여 N 장보다 적은 횟수의 주변부 포커싱 촬상을 수행하는 단계(S520)를 포함하는 슬라이드 표본의 고배율 이미지 획득방법을 포함할 수 있다.

Description

슬라이드 표본의 고배율 이미지 획득방법{ACQUISITION METHOD OF HIGH MAGNIFICATION IMAGE OF SLIDE SAMPLE}
본 발명은 슬라이드 표본의 고배율 이미지 획득방법에 관한 것이다.
골수는 뼈의 안쪽 공간에 위치한 부드러운 조직으로 적혈구, 백혈구, 혈소판과 같은 혈액세포를 생성하는 조혈기관이다. 또한 골수 검사는 인체에서 혈구 생성에 문제가 생긴 경우 큰 뼈에서 골수를 흡인하고 생검하여 슬라이드로 제작하고 필요한 경우에는 염색한 후, 현미경을 통해 골수 세포를 관찰하고 감별 계산을 수행함으로써 골수의 기능 및 비정상적인 병변을 확인하는 검사이다. 이러한 골수 검사는 정상백혈구 수치나 비정상 백혈구 수치를 통한 진단, 비정상 백혈구 중 있어서는 안되는 세포가 있는지 여부 또는 기타 백혈병 진단의 자료로 이용된다.
이러한 골수 검사 또는 골수 판독 과정은 슬라이드의 여러 부위를 고배율로 관찰해야 하므로 장시간이 소요되고 진단검사의(또는 분석가)의 피로가 수반되는 작업이다. 더군다나 골수 표본 이미지에 존재하는 모든 백혈구를 찾아서 각각의 백혈구의 종류를 판단하고 각 종류의 백혈구의 수를 세는 수작업은 많은 시간이 소요될 뿐만 아니라 진단검사의의 경험 정도에 따라 정확도가 낮을 가능성도 크다.
한편 진단검사의는 골수 판독의 효율성 및 정확도를 높이기 위해 골수 표본 관찰을 위한 '아이디얼 존(Ideal-Zone)'을 설정한다. 아이디얼 존이란 슬라이드 표본을 고배율로 관찰하고 판독하기에 적합한 이상적인 다수의 싱글 세포를 의미한다. 즉 아이디얼 존은 골수 판독의 정확성을 기할 수 있는 신뢰도 높은 한정된 개수의 싱글 세포로 정의될 수 있다.
아이디얼 존은 관찰 대상인 후보 세포가 위치하는 영역으로서, 마이크로스코프의 저배율 영역에서 선정된다. 다만 진단검사의의 세포 감별을 위해서는 아이디얼 존에 대한 고배율 촬상과 관심 영역의 고배율 촬상 이미지의 획득이 필수적이다.
그러나 고배율 촬상은, 아이디얼 존에 존재하는 고배율 촬상 타겟이 과다하여 택타임(Tact Time)이 길고, 고배율(High Power)에서의 높은 해상도와 저심도(Low Depth of Field)로 인해 선명한 이미지를 획득하기 곤란한 문제점이 있다.
더욱이 고배율 촬상은, 오토포커싱을 위해 하나의 고배율 촬상 타겟에 대하여 이미지 포커싱에 기반한 여러 장의 촬상이 수행되므로 택타임을 줄여야 하는 필요성은 더욱 절실하다. 참고로 이미지 포커싱과 대비(Contrast)되는 레이저 포커싱은, 처리속도(Processing Speed)에서는 유리한 측면이 있지만 이머젼 오일(Immersion-Oil)을 이용해야 하는 슬라이드 표본에서는 적당하지 않다.
따라서 이미지 포커싱을 이용하되, 슬라이드 표본의 고배율 촬상의 처리속도를 높일 수 있으면서 선명한 고배율 세포 이미지를 획득하기 위한 연구의 필요성이 대두된다.
본 발명은 상기와 같은 필요성에 기하여 도출된 것으로서, 본 발명의 제1 목적은 고배율 촬상의 오토포커싱에 따른 택타임을 줄일 수 있으면서 관심 영역의 선명한 고배율 촬상 이미지를 획득할 수 있는 슬라이드 표본의 고배율 이미지 획득방법을 제공하는 데 있다.
본 발명의 제2 목적은 고배율 촬상에서의 고해상도 및 저심도에 따른 촬상의 곤란함을 해결할 수 있는 슬라이드 표본의 고배율 이미지 획득방법을 제공하는 데 있다.
본 발명의 제3 목적은 슬라이드 표본에 적용할 수 있는 새로운 형태의 그리퍼(Gripper)를 통해 Z 축 tilt 왜곡 및 XY 축 Yaw 왜곡을 최소화할 수 있는 슬라이드 표본의 고배율 이미지 획득방법을 제공하는 데 있다.
상기와 같은 본 발명의 목적은, 골수가 도말된 슬라이드 표본의 이미지 획득방법에 있어서, 슬라이드 표본의 저배율 이미지에 기초하여 관찰 대상 후보세포인 아이디얼 존을 선정하는 단계(S10); 선정된 아이디얼 존에 대하여 고배율 촬상을 위한 패스 플래닝을 수행하는 단계(S20); 선정된 아이디얼 존의 군집도를 분석하는 단계(S30); 분석된 군집도에 기초하여 아이디얼 존에 대하여 DOF 영역(Depth of Field)을 지정하는 단계(S40); 및 패스 플래닝에 따른 촬상 경로에 기초하여 아이디얼 존에 대한 고배율 촬상 이미지를 촬상하는 단계(S50)를 포함하되,
고배율 이미지 촬상단계(S50)는, 지정된 DOF 영역 내부에 위치하는 고배율 촬상 타겟 중 중심부 고배율 타겟에 대하여 N 장의 중심부 포커싱 촬상을 수행하는 단계(S510); 및 지정된 DOF 영역 내부에 위치하는 중심부 고배율 타겟의 주변에 위치하는 주변부 고배율 타겟에 대하여 N 장보다 적은 횟수의 주변부 포커싱 촬상을 수행하는 단계(S520) 를 포함하는 슬라이드 표본의 고배율 이미지 획득방법을 제공함으로써 달성될 수 있다. (여기서 N 은 2 이상의 양의 정수임)
그리고 중심부 포커싱 촬상단계(S510)는, 슬라이드 표본의 저배율 이미지에 대한 뎁스 맵(Depth Map)에 기초하여 스텝 포커싱(Step Focusing) 하는 단계일 수 있다.
또한 고배율 이미지 촬상단계(S50)는, 고배율 촬상 타겟에 대응하는 다수의 고배율 촬상 이미지를 획득하고 Z-축 뎁스 정보(Z-Axis Depth information)를 획득하는 단계일 수 있다.
슬라이드 표본의 고배율 이미지 획득방법은, 고배율 이미지 촬상단계(S50) 이후에, 고배율 촬상 타겟에 대응하는 다수의 고배율 촬상 이미지에 대하여 포커스 메저먼트 코스트(Focus Measurement Cost)를 연산하는 단계(S60); 및 연산된 포커스 메저먼트 코스트에 기초하여 다수의 고배율 촬상 이미지 중에서 선명한 세포 이미지를 추출하여 그룹핑하는 데이터 그룹핑단계(S70)를 더 포함할 수 있다.
아울러 포커스 메저먼트 코스트 연산단계(S60) 및 데이터 그룹핑단계(S70)에서, 다수의 고배율 촬상 이미지는, 해상도를 다운시킨 리사이즈드 이미지(resized Image)에 대하여 컬러 밸런싱(Color Balancing)과 콘트라스트 노말리제이션(Contrast Normalization)을 수행하고, 세포 영역의 전경을 추출하는 백그라운드 서브트랙션 단계(Background Subtraction)를 수행한 것일 수 있다.
데이터 그룹핑단계(S70)에서, 추출된 세포 이미지는, 전경이 추출된 세포 영역을 디텍션하고 디텍팅된 각각의 세포 영역을 레이블링한 것일 수 있다.
한편 아이디얼 존 선정단계(S10) 이전에, 저배율 촬상을 위해 슬라이드 표본을 그리퍼(Gripper)에 세팅하는 단계(S5)를 더 포함할 수 있다.
그리고 세팅단계(S5)에서, 그리퍼는, 상호 대향하여 배치되고 사이에 슬라이드 표본을 두고 파지하는 한 쌍의 소편(small piece)을 포함하되, 한 쌍의 소편 중 어느 하나는 내측에 슬라이드 표본과 접촉하여 국부적으로 유동할 수 있는 유동 편이 더 구비된 것일 수 있다.
상기와 같은 본 발명의 일 실시예에 의하면, 슬라이드 표본의 고배율 이미지 획득방법에 있어서 고배율 촬상의 오토포커싱에 따른 택타임을 줄일 수 있으면서 관심 영역의 선명한 고배율 촬상 이미지를 획득할 수 있다.
그리고 고배율 촬상에서의 고해상도 및 저심도에 따른 촬상의 곤란함을 해결할 수 있다.
아울러 슬라이드 표본에 적용할 수 있는 새로운 형태의 그리퍼(Gripper)를 통해 Z 축 tilt 왜곡 및 XY 축 Yaw 왜곡을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법을 순차적으로 나타낸 순서도이고,
도 2는 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법에 이용되는 그리퍼를 개략적으로 나타낸 측면도(좌측)와 상부 소편의 저면도(우측)이고,
도 3은 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법 중 슬라이드 표본의 저배율 이미지에 대한 뎁스맵을 나타낸 도면이고,
도 4는 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법 중 타겟 포커싱 포인트를 찾아가는 스텝 포커싱(1 Step, Next Step)을 나타낸 도면이고,
도 5는 9 개의 고배율 촬상 타겟에 대하여 모두 N 장의 스텝 포커싱을 수행하는 상태를 나타낸 도면(a)과, DOF 영역에 속하는 중심부 고배율 타겟과 주변부 고배율 타겟을 구분하여 스텝 포커싱을 수행하는 상태를 나타낸 도면(b)이고,
도 6은 DOF 영역의 크기에 따라 달라지는 스텝 포커싱 변경 전(before correctio)과 변경 후(after correction)의 촬상 횟수를 나타낸 표(a)와, 그래프(b)이고,
도 7은 패스 플래닝을 통해 0 부터 9 까지 표기된 고배율 촬상 타겟(흩어진 정사각형)의 촬상 경로를 DOF 영역(원형)과 함께 나타낸 도면이고,
도 8은 도 7에 N 장의 스텝 포커싱을 수행하는 중심부 고배율 타겟들(No.2, No5, No.7, No.9)을 연결한 선을 더 나타낸 도면이고,
도 9는 20 장의 스텝 포커싱을 수행한 고배율 촬상 이미지를 나타낸 도면이고,
도 10은 도 9의 7th 이미지(a)와 11th 이미지(b)를 나타낸 도면이고,
도 11은 고배율의 원본 이미지(좌측)에 이미지 처리를 수행하여 HLS 컬러 스페이스 컨버젼(중앙, HLS Color Space Conversion)과 전경 이미지(우측, Foreground Image)를 각각 나타낸 도면이고,
도 12는 고배율의 원본 이미지에 대하여 디텍팅된 3 개의 관심 영역(Rigion of Interest)을 나타낸 도면이고,
도 13은 도 12의 3 개의 관심 영역(Rigion of Interest) 각 20 장에 대하여 포커스 메저먼트(Focus Measurement)를 수행하고 시밀러레러티 코스트(Similarity Cost)를 각각의 하단에 표기한 도면이고,
도 14는 도 13의 3 개의 관심 영역(1st, 2nd, 3th)에 대한 시밀러레러티 코스트(Similarity Cost)를 그래프로 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
슬라이드 표본의 고배율 이미지 획득방법
본 발명인 슬라이드 표본의 고배율 이미지 획득방법의 일 실시예는, 마이크로스코프의 저배율 영역(Low Power)에서 획득한 아이디얼 존(Ideal Zone)의 위치 정보에 기초하여 오토 포커싱(Auto Focusing)을 통해 고배율 촬상을 수행하고, 오토 포커싱을 수행한 결과 촬상된 고배율 촬상 이미지의 이미지 처리를 통해 선명한 세포 이미지를 획득하도록 작용한다. 이러한 본 실시예는 고배율 촬상의 처리 속도를 높여 택타임(tact time)을 줄이면서 정확한 고배율 촬상 이미지 획득이 가능하도록 작용한다.
이하 도 1 내지 도 14를 참조하여 본 실시예에 대하여 상술한다.
도 1은 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법을 순차적으로 나타낸 순서도이다. 도 1을 참조하면, 본 발명의 일 실시예는, 우선 저배율 촬상을 위해 슬라이드 표본을 그리퍼(Gripper)에 세팅하고(S5), 이어서 슬라이드 표본의 저배율 이미지에 기초하여 관찰 대상 후보세포인 아이디얼 존을 선정한다(S10). 여기서 아이디얼 존은 슬라이드 표본을 고배율로 관찰하고 판독하기에 적합한 이상적인 다수의 싱글 세포를 의미한다. 즉 아이디얼 존은 골수 판독의 정확성을 기할 수 있는 신뢰도 높은 한정된 개수의 싱글 세포로 정의될 수 있다.
다음 선정된 아이디얼 존에 대하여 고배율 촬상을 위한 패스 플래닝(path planning)을 수행한다(S20). 여기서 패스 플래닝은 아이디얼 존에 위치하는 다수의 고배율 촬상 타겟에 대하여 최적의 이동 경로를 찾는 기술이다.
복수의 고배율 촬상 타겟은 불규칙적으로 분포하며 패스 플래닝은 이러한 불규칙적 분포에서 고배율 촬상이 수행되는 최적 경로를 연산하는 것으로서, 연산된 최적 경로에 의하면 영상 획득 시간을 최소화시킬 수 있다.
본 실시예에 적용된 패스 플래닝은 저배율 이미지에 다수의 마스크를 무작위로 배치하여 클러스터링하고 클러스터링된 다수의 마스크를 잇는 최단 경로를 최적 촬상경로로 연산한 것일 수 있다.
패스 플래닝에서 이용되는 마스크와 고배율 촬상 타겟은 모두 고배율 화각(FOV, Field of View) 사이즈에 대응하는 사각형으로 설정될 수 있다.
다음 선정된 아이디얼 존의 군집도를 분석한다(S30).
다음 분석된 군집도에 기초하여 아이디얼 존에 대하여 DOF 영역(Depth of Field area)을 지정한다(S40).
다음 패스 플래닝에 따른 고배율 촬상 경로에 기초하여 아이디얼 존에 대한 고배율 촬상 이미지를 촬상한다(S50).
여기서 패스 플래닝에 따른 고배율 촬상 경로 상에 DOF 영역이 있는 경우 고배율 촬상 타겟에 대한 고배율 촬상 이미지 촬상은 이원화된다. 즉 고배율 이미지 촬상단계(S50)는, 지정된 DOF 영역 내부에 위치하는 고배율 촬상 타겟 중 중심부 고배율 타겟에 대하여 N 장의 중심부 포커싱 촬상을 수행되고(S510), 이어서 지정된 DOF 영역 내부에 위치하는 중심부 고배율 타겟의 주변에 위치하는 주변부 고배율 타겟에 대하여 N 장보다 적은 횟수(예를 들어 1 장)의 주변부 포커싱 촬상을 수행함으로써(S520) 이원화될 수 있다. (여기서 N 은 2 이상의 양의 정수임)
다음 고배율 촬상 타겟에 대응하는 다수의 고배율 촬상 이미지에 대하여 포커스 메저먼트 코스트(Focus Measurement Cost)를 연산한다(S60). 여기서 베스트 포커싱(Best Focusing)은 시밀러레러티 코스트(Similarity Cost)가 낮은 값을 갖는 것으로 정의할 수 있으며, 여기서 시밀러레러티 코스트는 그라운드 트루스(Ground Truth)에 대응되는 연산을 활용하여 도출된 값일 수 있다.
마지막으로 연산된 포커스 메저먼트 코스트에 기초하여 다수의 고배율 촬상 이미지 중에서 선명한 세포 이미지를 추출하여 그룹핑하는 데이터 그룹핑 단계(S70)가 수행된다. 여기서 선명한 세포 이미지는 베스트 포커싱된 하나일 수도 있지만 베스트 포커싱된 것보다 덜 선명한 세포 이미지를 포함하는 2 이상으로 추출되어 그룹핑될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법에 이용되는 그리퍼를 개략적으로 나타낸 측면도(좌측)와 상부 소편의 저면도(우측)이다. 도 2에 도시된 바와 같이 그리퍼(Gripper, 10)는 상호 대향하여 배치되고 사이에 슬라이드 표본을 두고 파지하는 한 쌍의 소편(small piece, 12, 14)을 포함하되, 한 쌍의 소편(12, 14) 중 어느 하나는 내측에 슬라이드 표본(도시되지 않음)과 접촉하여 국부적으로 유동할 수 있는 유동 편(16)이 더 구비된 것일 수 있다. 여기서 국부적 유동은 예를 들어 도 2의 우측 그림에서 표시된 운동방향(movement direction)일 수 있다.
여기서 유동 편(16)은 소편(12)의 저면 내측으로 다수의 스트링이 연결되어 유동성이 제공된 것일 수 있다. 아울러 유동 편(16)의 반대 측 소편(14) 상면 내측에는 모래가 구비될 수 있다.
전술한 바와 같은 개량된 그리퍼(10)를 활용하더라도 슬라이드 표본의 왜곡은 원천적으로 완전히 방지할 수는 없다. 따라서 도 3에 도시된 슬라이드 표본의 저배율 이미지에 대한 뎁스맵(Depth Map)이 작성될 필요가 있다. 그리퍼(10)는 일 측에서 슬라이드 표본을 파지하게 되므로 슬라이드 표본의 평탄도는 틸트(Tilt) 또는 야우(Yaw) 왜곡이 수반되므로 심도(DOF, Depth of Field) 정보를 미리 획득하여 오토 포커싱에 활용하는 것이 바람직하다. 따라서 전술한 중심부 포커싱 촬상단계(S510)는, 슬라이드 표본의 저배율 이미지에 대한 뎁스 맵(Depth Map)에 기초하여 스텝 포커싱(Step Focusing) 하는 단계일 수 있다.
도 4는 본 발명의 일 실시예에 따른 슬라이드 표본의 고배율 이미지 획득방법 중 타겟 포커싱 포인트(Target-Focus Point)를 찾아가는 스텝 포커싱(1 Step, Next Step)을 나타낸 도면이다. 도 4에 도시된 바와 같이 본 실시예의 스텝 포커싱은 고배율 촬상 타겟에 대하여 1회의 포커싱을 수행하는 것이 아니라 뎁스 맵에 기초하여 스텝 포커싱(1 Step, Next Step)을 수행할 수 있으므로 빠른 속도로 고배율 촬상 이미지를 촬상할 수 있다.
도 5는 9 개의 고배율 촬상 타겟에 대하여 모두 N 장의 스텝 포커싱을 수행하는 상태를 나타낸 도면(a)과, DOF 영역에 속하는 중심부 고배율 타겟과 주변부 고배율 타겟을 구분하여 스텝 포커싱을 수행하는 상태를 나타낸 도면(b)이다. 9 개의 고배율 촬상 타겟은 예시적인 것으로서, 그보다 많거나 적을 수 있으며, 지정된 DOF 영역 내부에 위치하는 고배율 촬상 타겟에 대한 오토 포커싱의 속도를 향상시킬 수 있다. 주변부 고배율 타겟에 대하여 오토포커싱을 바이패스(bypass) 하거나 적은 숫자로 오토포커싱 할 수 있는 것은, 고해상도의 고배율 영역에서 심도 변화가 거의 없기 때문이다.
도 6은 DOF 영역의 크기에 따라 달라지는 스텝 포커싱 변경 전(before correctio)과 변경 후(after correction)의 촬상 횟수를 나타낸 표(a)와, 그래프(b)이다. 3×3 영역을 가정하고 DOF의 크기(Lenth of DOF)를 달리하면서 Before Correction(종래 방법)과 After Correction(본 실시예)의 포커싱 횟수를 산출한 결과 스텝 포커싱 N 장의 범위가 커질수록 그 효과의 차이가 확연한 것을 알 수 있다.
도 7은 패스 플래닝을 통해 0 부터 9 까지 표기된 고배율 촬상 타겟(흩어진 정사각형)의 촬상 경로를 DOF 영역(원형)과 함께 나타낸 도면이고, 도 8은 도 7에 N 장의 스텝 포커싱을 수행하는 중심부 고배율 타겟들(No.2, No5, No.7, No.9)을 연결한 선을 더 나타낸 도면이다. 도 7 및 8은 예시적은 것으로서, No.2, No5, No.7, No.9에 대해서만 N 장의 스텝 포커싱을 수행하므로 패스 플래닝에 따른 택타임 감소에 더해서 택타임을 현저히 줄일 수 있다.
도 9는 20 장의 스텝 포커싱을 수행한 고배율 촬상 이미지를 나타낸 도면이다. 여기서 20장의 고배율 촬상 이미지는 예시적인 것으로서, 후보 세포에 대하여 획득한 Z 축 정보(Depth information)에 기초하여 Focusing Point 근처에서 고배율 촬상 이미지를 획득한 것이다. 20장의 고배율 촬상 이미지는 심도(DOF)가 조금씩 차이가 있을 수 있으므로 도 9에 도시된 바와 같이, 동일한 위치에서도 서로 다른 선명도를 보여준다.
예를 들어 도 10에 도시된 7th 이미지(a)와 11th 이미지(b)를 보면, 7th 이미지(a)의 우측 상단은 인 포커스(In-Focus)이고 나머지는 아웃 포커스(Out-Focus)인 반면, 11th 이미지(b)는 우측 상단이 아웃 포커스(Out-Focus) 되고 나머지가 인 포커스(In-Focus)인 것을 알 수 있다. 이것은 슬라이드 표본의 왜곡 때문이다.
다수의 고배율 촬상 이미지는, 해상도를 다운시킨 리사이즈드 이미지(resized Image)에 대하여 컬러 밸런싱(Color Balancing)과 콘트라스트 노말리제이션(Contrast Normalization)을 수행한 것일 수 있다. 이는 슬라이드 표본이 염색된 상태이므로 염색 부위에 따라 색, 밝기, 대비(Contrast) 등이 달라지는 것 때문이다. 따라서 컬러 템퍼러처(Color temperature)를 파악하고, 촬상 조명 값을 뺀 화이트 밸런싱을 수행하고, 세포 영역을 제외한 슬라이드 유리를 투과한 빛에 대한 밝기의 조정, 그리고 색온도 균등화 처리 및 밝기, 대비(Contrast) 균등화 처리가 수행될 수 있다.
다수의 고배율 촬상 이미지는, 해상도를 다운시킨 리사이즈드 이미지(resized Image)에 대하여 세포 영역의 전경을 추출하는 백그라운드 서브트랙션 단계(Background Subtraction)를 수행한 것일 수 있다. 그 과정은, 도 11에 도시된 바와 같이, 고배율의 원본 이미지(좌측)에 이미지 처리를 수행하여 HLS 컬러 스페이스 컨버젼(중앙, HLS Color Space Conversion)이 이루어지고, 이어서 백그라운드 서브트랙션을 통해 전경 이미지(우측, Foreground Image)를 추출한다.
백그라운드 서브트랙션을 통해 추출된 전경 이미지에 대하여 CCA(Connected Component Analysis)로 레이블링을 수행하고 레이블링 영역 내에서 관심영역(Region of Interest)을 추출할 수 있다. 이러한 관심영역은 예시적으로, 도 12에 도시된 바와 같이, 디텍팅된 3 개의 관심 영역(Rigion of Interest)일 수 있다.
도 13은 도 12의 3 개의 관심 영역(Rigion of Interest) 각 20 장에 대하여 포커스 메저먼트(Focus Measurement)를 수행하고 시밀러레러티 코스트(Similarity Cost)를 각각의 하단에 표기한 도면이고, 도 14는 도 13의 3 개의 관심 영역(1st, 2nd, 3th)에 대한 시밀러레러티 코스트(Similarity Cost)를 그래프로 나타낸 도면이다. 전술한 바와 같이, 베스트 포커싱(Best Focusing)은 시밀러레러티 코스트(Similarity Cost)가 낮은 값을 갖는 것으로 정의할 수 있는데, 첫 행에 7th, 둘째 행에 7th, 세째 행에 11번이 가장 선명한 이미지임을 알 수 있다.
전술한 바와 같이, 연산된 포커스 메저먼트에 기초하여 다수의 고배율 촬상 이미지 중에서 선명한 세포 이미지를 추출하여 그룹핑하는 데이터 그룹핑 단계(S70)가 수행되는데, 선명한 세포 이미지는 베스트 포커싱된 하나(첫 행에 7th, 둘째 행에 7th, 세째 행에 11번)일 수도 있지만 덜 선명한 세포 이미지를 포함하는 2 이상으로 추출된 그룹일 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당 업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 아울러, 본 발명의 범위는 상기의 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 그리퍼
12, 14: 한 쌍의 소편
16: 유동 편

Claims (7)

  1. 골수가 도말된 슬라이드 표본의 이미지 획득방법에 있어서,
    슬라이드 표본의 저배율 이미지에 기초하여 관찰 대상 후보세포인 아이디얼 존을 선정하는 단계(S10);
    상기 선정된 아이디얼 존에 대하여 고배율 촬상을 위한 패스 플래닝을 수행하는 단계(S20);
    상기 선정된 아이디얼 존의 군집도를 분석하는 단계(S30);
    상기 분석된 군집도에 기초하여 상기 아이디얼 존에 대하여 DOF 영역(Depth of Field)을 지정하는 단계(S40); 및
    상기 패스 플래닝에 따른 촬상 경로에 기초하여 상기 아이디얼 존에 대한 고배율 촬상 이미지를 촬상하는 단계(S50)를 포함하되,
    상기 고배율 이미지 촬상단계(S50)는,
    상기 지정된 DOF 영역 내부에 위치하는 고배율 촬상 타겟 중 중심부 고배율 타겟에 대하여 N 장의 중심부 포커싱 촬상을 수행하는 단계(S510); 및
    상기 지정된 DOF 영역 내부에 위치하는 상기 중심부 고배율 타겟의 주변에 위치하는 주변부 고배율 타겟에 대하여 상기 N 장보다 적은 횟수의 주변부 포커싱 촬상을 수행하는 단계(S520)
    를 포함하는 슬라이드 표본의 고배율 이미지 획득방법.
    (여기서 N 은 2 이상의 양의 정수임)
  2. 제1 항에 있어서,
    상기 중심부 포커싱 촬상단계(S510)는,
    상기 슬라이드 표본의 저배율 이미지에 대한 뎁스 맵(Depth Map)에 기초하여 스텝 포커싱(Step Focusing) 하는 단계인
    것을 특징으로 하는 슬라이드 표본의 고배율 이미지 획득방법.
  3. 제1 항에 있어서,
    상기 고배율 이미지 촬상단계(S50)는,
    상기 고배율 촬상 타겟에 대응하는 다수의 고배율 촬상 이미지를 획득하고 Z-축 뎁스 정보(Z-Axis Depth information)를 획득하는 단계인
    것을 특징으로 하는 슬라이드 표본의 고배율 이미지 획득방법.
  4. 제1 항에 있어서,
    상기 고배율 이미지 촬상단계(S50) 이후에,
    상기 고배율 촬상 타겟에 대응하는 다수의 고배율 촬상 이미지에 대하여 포커스 메저먼트 코스트(Focus Measurement Cost)를 연산하는 단계(S60); 및
    상기 연산된 포커스 메저먼트 코스트에 기초하여 상기 다수의 고배율 촬상 이미지 중에서 선명한 세포 이미지를 추출하여 그룹핑하는 데이터 그룹핑단계(S70)
    를 더 포함하는 슬라이드 표본의 고배율 이미지 획득방법.
  5. 제4 항에 있어서,
    상기 포커스 메저먼트 코스트 연산단계(S60) 및 상기 데이터 그룹핑단계(S70)에서,
    상기 다수의 고배율 촬상 이미지는, 해상도를 다운시킨 리사이즈드 이미지(resized Image)에 대하여 컬러 밸런싱(Color Balancing)과 콘트라스트 노말리제이션(Contrast Normalization)을 수행하고, 세포 영역의 전경을 추출하는 백그라운드 서브트랙션 단계(Background Subtraction)를 수행한 것
    을 특징으로 하는 슬라이드 표본의 고배율 이미지 획득방법.
  6. 제5 항에 있어서,
    상기 데이터 그룹핑단계(S70)에서,
    상기 추출된 세포 이미지는, 상기 전경이 추출된 세포 영역을 디텍션하고 상기 디텍팅된 각각의 세포 영역을 레이블링한 것
    을 특징으로 하는 슬라이드 표본의 고배율 이미지 획득방법.
  7. 제1 항에 있어서,
    상기 아이디얼 존 선정단계(S10) 이전에, 저배율 촬상을 위해 상기 슬라이드 표본을 그리퍼(Gripper)에 세팅하는 단계(S5)를 더 포함하되,
    상기 세팅단계(S5)에서,
    상기 그리퍼는, 상호 대향하여 배치되고 사이에 상기 슬라이드 표본을 두고 파지하는 한 쌍의 소편(small piece)을 포함하되, 상기 한 쌍의 소편 중 어느 하나는 내측에 상기 슬라이드 표본과 접촉하여 국부적으로 유동할 수 있는 유동 편이 더 구비된 것
    을 특징으로 하는 슬라이드 표본의 고배율 이미지 획득방법.
KR1020210018418A 2021-02-09 2021-02-09 슬라이드 표본의 고배율 이미지 획득방법 KR102576041B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210018418A KR102576041B1 (ko) 2021-02-09 2021-02-09 슬라이드 표본의 고배율 이미지 획득방법
PCT/KR2022/001837 WO2022173176A1 (ko) 2021-02-09 2022-02-07 슬라이드 표본의 고배율 이미지 획득방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210018418A KR102576041B1 (ko) 2021-02-09 2021-02-09 슬라이드 표본의 고배율 이미지 획득방법

Publications (2)

Publication Number Publication Date
KR20220114864A KR20220114864A (ko) 2022-08-17
KR102576041B1 true KR102576041B1 (ko) 2023-09-07

Family

ID=82837691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210018418A KR102576041B1 (ko) 2021-02-09 2021-02-09 슬라이드 표본의 고배율 이미지 획득방법

Country Status (2)

Country Link
KR (1) KR102576041B1 (ko)
WO (1) WO2022173176A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136581A1 (en) * 1996-11-27 2004-07-15 Chroma Vision Medical Systems, Inc., A California Corporation Method and apparatus for automated image analysis of biological specimens
JP2010014504A (ja) * 2008-07-02 2010-01-21 Panasonic Corp 検査条件決定方法、検査条件決定装置、外観検査機およびプログラム
JP2016209133A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 眼科撮像装置、その作動方法、及びコンピュータプログラム
JP2017006330A (ja) * 2015-06-19 2017-01-12 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741765B1 (ko) * 2015-09-14 2017-05-31 (주)뉴옵틱스 혈구 감별 시스템
SG11201906814YA (en) * 2017-03-09 2019-09-27 Hologic Inc Systems and methods for automated preparation of biological specimens
KR20200030958A (ko) * 2018-09-13 2020-03-23 (주)뉴옵틱스 이미지 분석용 자동 초점 장치 및 방법
CN113939728A (zh) * 2018-12-18 2022-01-14 帕斯维尔公司 用于病理样本自动化成像和分析的基于计算显微镜的系统和方法
KR102140385B1 (ko) * 2018-12-31 2020-07-31 (주)유아이엠디 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136581A1 (en) * 1996-11-27 2004-07-15 Chroma Vision Medical Systems, Inc., A California Corporation Method and apparatus for automated image analysis of biological specimens
JP2010014504A (ja) * 2008-07-02 2010-01-21 Panasonic Corp 検査条件決定方法、検査条件決定装置、外観検査機およびプログラム
JP2016209133A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 眼科撮像装置、その作動方法、及びコンピュータプログラム
JP2017006330A (ja) * 2015-06-19 2017-01-12 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム

Also Published As

Publication number Publication date
KR20220114864A (ko) 2022-08-17
WO2022173176A1 (ko) 2022-08-18

Similar Documents

Publication Publication Date Title
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
JP5775606B2 (ja) 顕微鏡スライドの座標系の位置合わせ
KR102140385B1 (ko) 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템
US8326014B2 (en) Methods and systems for processing biological specimens utilizing multiple wavelengths
US10073258B2 (en) Microscope system
US20220405901A1 (en) Enhanced extended depth of focusing on biological samples
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
US8837795B2 (en) Microscopy of several samples using optical microscopy and particle beam microscopy
Rychtarikova et al. Multifractality in imaging: Application of information entropy for observation of inner dynamics inside of an unlabeled living cell in bright-field microscopy
KR102576041B1 (ko) 슬라이드 표본의 고배율 이미지 획득방법
Moravapalle et al. Blood count on a smartphone microscope: Challenges
Štajduhar et al. 3d localization of neurons in bright-field histological images
WO2023031622A1 (en) System and method for identifying and counting biological species
Weibel et al. Current capabilities and limitations of available stereological techniques
KR102288332B1 (ko) 골수 이미지 분석기를 이용한 골수세포 이미지 촬상 방법
Chaudhari et al. Microscope image processing: an overview
Rupp et al. Fully automated detection of the counting area in blood smears for computer aided hematology
KR102613961B1 (ko) 골수가 도말된 슬라이드 샘플 이미지의 셀 존 결정 방법 및 셀 존의 고배율 촬상 방법
CN113945558B (zh) 一种用于判断骨髓增生程度的方法
KR102240649B1 (ko) 표본 세포 관찰을 위한 정밀 광학기기의 촬상 방법
Cruz et al. Automated urine microscopy using scale invariant feature transform
KR102425195B1 (ko) 도말된 슬라이드의 최적 검사 영역 검출 방법
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
Garcia et al. Modification of Optical Compound Microscope to Detect Malaria Blood Parasites Using Wright-Giemsa Staining Process with SURF Based Stitching

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant