KR102122068B1 - 이미지 분석 시스템 및 분석 방법 - Google Patents

이미지 분석 시스템 및 분석 방법 Download PDF

Info

Publication number
KR102122068B1
KR102122068B1 KR1020180142831A KR20180142831A KR102122068B1 KR 102122068 B1 KR102122068 B1 KR 102122068B1 KR 1020180142831 A KR1020180142831 A KR 1020180142831A KR 20180142831 A KR20180142831 A KR 20180142831A KR 102122068 B1 KR102122068 B1 KR 102122068B1
Authority
KR
South Korea
Prior art keywords
image
learning
blood
data
cell
Prior art date
Application number
KR1020180142831A
Other languages
English (en)
Other versions
KR20200058662A (ko
Inventor
신영민
이동영
Original Assignee
노을 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노을 주식회사 filed Critical 노을 주식회사
Priority to KR1020180142831A priority Critical patent/KR102122068B1/ko
Priority to US17/294,596 priority patent/US20220012884A1/en
Priority to PCT/KR2019/015830 priority patent/WO2020106010A1/ko
Publication of KR20200058662A publication Critical patent/KR20200058662A/ko
Application granted granted Critical
Publication of KR102122068B1 publication Critical patent/KR102122068B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

본 출원의 일 실시 예에 따른 이미지 분석 방법은 염색되지 않은 세포 이미지를 획득하는 단계; 상기 세포 이미지에 포함된 적어도 하나의 특징맵을 획득하는 단계; 및 미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별하는 단계;를 포함할 수 있다.
따라서, 본 출원의 일 실시 예에 따른 이미지 분석 방법에 의하면 염색하지 않은 세포의 이미지를 이용하여 신속한 세포 영상 분석 결과를 제공하는 것이 가능하다.

Description

이미지 분석 시스템 및 분석 방법{IMAGE ANALYZING SYSTEM AND METHOD THEREOF}
아래의 실시 예들은 이미지 분석 시스템 및 분석 방법에 관한 것으로, 보다 구체적으로는 염색되지 않은 세포 이미지 내의 세포의 유형을 식별하기 위한 방법에 관한 것이다.
일반적으로 혈액의 현미경 영상을 통해 세포를 분석할 때에는 염색 처리를 거치게 된다. 염색을 하게 되면 세포의 핵과 세포질에 색소가 침투하여 영상을 통해서 여러 가지 세포의 종류를 시각적으로 구분할 수 있기 때문이다.
그러나 혈액을 염색하는 것은 번거로우며, 또한 시각적으로 종을 구분하는 것은 전문가에 의해 수행되어야 하므로 시간과 경제적 비용이 높은 방법이다.
따라서, 염색을 하지 않은 혈액 영상으로부터 자동으로 세포를 식별할 수 있는 이미지 분석 방법의 개발이 필요하다.
아래의 실시 예들은 염색하지 않은 세포 영상으로부터 자동으로 세포의 유형을 식별하는 것을 목적으로 한다.
본 출원의 일 실시 예에 따르면, 염색되지 않은 세포 이미지를 획득하는 단계; 상기 세포 이미지에 포함된 적어도 하나의 특징맵을 획득하는 단계; 및 미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별하는 단계;를 포함하는 이미지 분석 방법이 제공될 수 있다.
이때 상기 미리 설정된 기준은 상기 염색되지 않은 세포 이미지 내에 포함된 세포의 유형을 분류하도록 미리 학습된 기준일 수 있다.
또한, 상기 미리 설정된 기준은 염색 전의 타겟 이미지에 염색 후의 참조 이미지의 라벨 정보를 매칭한 학습 데이터를 이용하여 학습되는 것일 수 있다.
또한, 상기 미리 설정된 기준은 상기 염색하지 않은 세포 이미지로부터 세포의 유형을 정확하게 식별하도록 지속적으로 업데이트될 수 있다.
이때, 상기 라벨 정보의 매칭은, 상기 타겟 이미지 및 상기 참조 이미지로부터 하나 이상의 특징점을 추출하는 단계; 상기 타겟 이미지 및 상기 참조 이미지의 특징점들을 매칭하는 단계; 상기 참조 이미지에 포함된 라벨 정보를 상기 타겟 이미지의 대응되는 픽셀에 전달하는 단계;를 포함할 수 있다.
또한, 상기 염색하지 않는 세포 이미지를 사용자의 관심 영역을 기초로 세그먼트 하는 단계;를 더 포함할 수 있다.
또한, 상기 세그먼트된 이미지 영역 별로 상기 미리 설정된 기준에 따른 세포의 유형을 식별할 수 있다.
또한, 상기 식별된 세포의 유형 별 개수를 카운팅하여 더 제공할 수 있다.
또한, 상기 식별된 세포의 유형 정보를 기초로 특정 질병에 관한 진단 결과를 더 제공할 수 있다.
본 출원의 다른 실시 예에 따르면, 하나 이상의 염색하지 않은 혈액의 학습 데이터를 획득하는 단계; 상기 학습 데이터로부터 적어도 하나의 특징맵을 생성하는 단계; 미리 지정된 하나 이상의 카테고리를 기초로 상기 특징맵의 예측 데이터를 출력하는 단계; 상기 예측 데이터를 기초로 상기 네트워크에 적용되는 파라미터를 조정하는 단계;를 포함하는 적어도 하나의 뉴럴 네트워크를 이용한 학습 방법이 제공될 수 있고, 이때 미리 설정된 종료 조건이 만족될 때까지 전술한 상기 단계들을 반복적으로 수행할 수 있다.
이때, 상기 학습 데이터는 상기 혈액 내에 포함된 하나 이상의 세포에 관한 라벨 정보를 포함할 수 있다.
상기 라벨 정보는 염색 후 참조 데이터의 라벨 정보를 상기 염색하지 않은 타겟 데이터에 매칭하는 방식으로 획득될 수 있다.
또한, 상기 학습 데이터는 미리 설정된 기준에 따라 세그먼트된 데이터일 수 있다.
또한, 상기 학습 데이터는 사용자의 관심 영역에 따라 복수 개로 세그먼트되어 적용될 수 있다.
또한, 상기 미리 설정된 종료 조건이 만족되는 것으로 판단되는 경우, 학습 단계를 종료할 수 있다.
본 출원의 또 다른 실시 예에 따르면 전술한 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체가 제공될 수 있다.
아래의 실시 예들에 의하면 염색 과정이 생략되므로 신속한 세포 영상 분석 결과를 제공할 수 있다.
또한, 아래의 실시 예들에 의하면 의료 기술자에게 전적으로 의존하지 않으면서 정확도 높은 세포 영상 분석 결과를 제공할 수 있다.
본 출원의 실시 예들에 의한 효과는 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시 예에 따른 이미지 분석 시스템의 전체 구성을 예시적으로 설명하기 위한 블록도이다.
도 2는 본 출원의 일 실시 예에 따른 이미지 촬상 장치의 동작을 예시적으로 설명하기 위한 도면이다.
도 3은 본 출원의 일 실시 예에 따른 이미지 촬상 장치에 의해 촬상된 세포 이미지를 예시적으로 보여주는 도면이다.
도 4 및 도 5는 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 구성을 예시적으로 설명하기 위한 도면이다.
도 6은 본 출원의 일 실시 예에 따른 이미지 분석 모듈의 구성을 예시적으로 설명하기 위한 블록도이다.
도 7은 본 출원의 일 실시 예에 따른 이미지 분석 모듈에서 수행되는 동작을 예시적으로 설명하기 위한 도면이다.
도 8은 본 출원의 제1 실시 예에 따른 이미지 분석 방법을 예시적으로 설명하기 위한 순서도이다.
도 9는 본 출원의 제2 실시 예에 따른 이미지 분석 방법을 예시적으로 설명하기 위한 순서도이다.
도 10은 본 출원의 제3 실시 예에 따른 학습 방법을 예시적으로 설명하기 위한 순서도이다.
도 11은 본 출원의 제4 실시 예에 따른 염색하지 않은 혈액 세포 이미지를 염색된 혈액 세포 이미지로 변환하기 위한 이미지 합성 방법을 예시적으로 설명하기 위한 도면이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 출원의 일 양상에 의하면, 염색되지 않은 세포 이미지를 획득하는 단계; 상기 세포 이미지에 포함된 적어도 하나의 특징맵을 획득하는 단계; 및 미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별하는 단계;를 포함하는 이미지 분석 방법이 제공될 수 있다.
여기서, 상기 미리 설정된 기준은 상기 염색되지 않은 세포 이미지 내에 포함된 세포의 유형을 분류하도록 미리 학습된 기준일 수 있다.
또한, 상기 미리 설정된 기준은 염색 전의 타겟 이미지에 염색 후의 참조 이미지의 라벨 정보를 매칭한 학습 데이터를 이용하여 학습되는 것일 수 있다.
또한, 상기 미리 설정된 기준은 상기 염색하지 않은 세포 이미지로부터 세포의 유형을 정확하게 식별하도록 지속적으로 업데이트되는 것일 수 있다.
여기서 상기 라벨 정보의 매칭은, 상기 타겟 이미지 및 상기 참조 이미지로부터 하나 이상의 특징점을 추출하는 단계; 상기 타겟 이미지 및 상기 참조 이미지의 특징점들을 매칭하는 단계; 상기 참조 이미지에 포함된 라벨 정보를 상기 타겟 이미지의 대응되는 픽셀에 전달하는 단계;를 포함할 수 있다.
또한, 본 출원의 일 양상에 따른 이미지 분석 방법은 상기 염색하지 않는 세포 이미지를 사용자의 관심 영역을 기초로 세그먼트 하는 단계;를 더 포함할 수 있다.
이때 상기 세그먼트된 이미지 영역 별로 상기 미리 설정된 기준에 따른 세포의 유형을 식별할 수 있다.
또한, 상기 식별된 세포의 유형 별 개수를 카운팅하여 더 제공할 수 있다.
또한, 상기 식별된 세포의 유형 정보를 기초로 특정 질병에 관한 진단 결과를 더 제공할 수 있다.
본 출원의 다른 양상에 따르면, 하나 이상의 염색하지 않은 혈액의 학습 데이터를 획득하는 단계; 상기 학습 데이터로부터 적어도 하나의 특징맵을 생성하는 단계; 미리 지정된 하나 이상의 카테고리를 기초로 상기 특징맵의 예측 데이터를 출력하는 단계; 상기 예측 데이터를 기초로 상기 네트워크에 적용되는 파라미터를 조정하는 단계;를 포함하되, 미리 설정된 종료 조건이 만족될 때까지 전술한 상기 단계들을 반복적으로 수행하는 적어도 하나의 네트워크를 이용한 혈액 이미지를 분석하기 위한 학습 방법이 제공될 수 있다.
여기서 상기 입력 데이터는 상기 혈액 내에 포함된 하나 이상의 세포에 관한 라벨 정보를 포함할 수 있다.
또한, 상기 라벨 정보는 염색 후 참조 데이터의 라벨 정보를 상기 염색하지 않은 타겟 데이터에 매칭하는 방식으로 획득될 수 있다.
또는, 상기 학습 데이터는 미리 설정된 기준에 따라 세그먼트된 데이터일 수 있다.
또는, 상기 학습 데이터는 사용자의 관심 영역에 따라 복수 개로 세그먼트되어 적용될 수 있다.
또한, 상기 미리 설정된 종료 조건이 만족되는 것으로 판단되는 경우, 학습 단계를 종료할 수 있다.
본 출원의 또 다른 양상에 의하면 전술한 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체가 제공될 수 있다.
이하에서는, 염색하지 않은 혈액 이미지를 이용한 혈액 검사 방법을 상정하여 설명하기로 한다.
1. 혈액 세포 분석 방법
일반 혈액 검사(CBC, Complete Blood Cell Count)는 질병의 진단, 치료 및 추적 관찰을 위해 수행되는 가장 기본적인 검사 중 하나이다. 이를 통해 혈액 내에 존재하는 혈구, 예컨대 적혈구, 백혈구, 혈소판, 및 박테리아 등에 관한 다양한 지표들을 확인할 수 있다.
혈액 검사 방법은 자동화된 분석기를 이용하여 세포 수를 측정하는 방법, 전문가가 직접 혈구의 수적, 형태학적 이상을 관찰하는 방법 등이 있다.
자동화된 분석기를 이용하는 경우, 세포의 수, 크기, 크기의 변화 등에 대해 빠르고 신뢰할 수 있는 결과를 제공하지만 특정 모양을 식별하지 못하는 한계가 있다.
반면에, 전문가에 의한 직접 관찰 방식은 현미경을 통해 혈구의 수적, 형태학적 이상을 정밀하게 관찰할 수 있다.
대표적으로 말초혈액 도말 검사는, 말초혈액을 체혈하여 슬라이드 글라스에 도말한 후 염색하여, 염색된 혈액 내의 혈구, 박테리아 또는 기생충 등을 관찰하는 검사이다.
여기서 적혈구는, 빈혈, 적혈구 내에 존재하는 말라리아와 같은 기생충을 진단하는 데 이용될 수 있다. 또한, 백혈구는, 골수형성이상 증후군, 백혈병, 감염 및 염증의 원인, 거대적모세포 빈혈 여부 등을 판단하는 데 이용될 수 있다. 또한, 혈소판은 골수 증식성 질환이나 혈소판 위성 현상 등을 감별하는 데 도움이 될 수 있다.
일반적으로 말초혈액 도말 검사는 혈액을 도말하는 과정, 도말된 혈액을 염색하는 과정, 염색된 혈액을 관찰하는 과정을 포함할 수 있다.
혈액의 도말 과정은 슬라이드 글라스 등의 플레이트에 혈액을 넓게 펴는 과정이다. 예를 들어, 플레이트에 혈액 방울을 떨어뜨린 뒤 도말용 부재를 이용하여 상기 플레이트 상에 혈액을 도말시킬 수 있다.
혈액의 염색은 세포의 핵과 세포질에 염색 시료를 침투시키는 과정이다.
여기서 핵 염색 시료로는, 예를 들어, 메틸렌 블루(methylene blue), 톨루이딘 블루(toluidine blue), 헤마톡실린(hymatoxylin) 등의 염기성 염색 시료가 주로 이용될 수 있다. 또한, 예를 들어, 세포질 염색 시료로는 에오신(eosin), 산성 훅신(acid fuchsin), 오렌지G(oreng G) 등의 산성 염색 시료가 이용될 수 있다.
또한, 혈액의 염색 방식은 검사 목적에 따라 다양한 방식으로 수행될 수 있다. 예를 들어, 김자 염색법(Giemsa staining), 라이트 염색법(wright staining) 김자 라이트 염색법(Giemsa-Wright staining) 등과 같은 로마노프스키 염색법(Romanowsky staining)이 이용될 수 있다.
또는, 예를 들어, 세균 검사에 수반되는 단순 염색법(simple staining), 그람 염색법(Gram staining) 등이 이용될 수 있다.
따라서, 의료 기술자는 염색된 세포의 영상을 광학기기를 통해 관찰함으로써 세포의 유형 등을 시각적으로 구분할 수 있다.
그러나 위와 같은 혈액 검사 과정의 대부분은 전문가의 수작업에 수행되기 때문에 보다 빠르고 간편하게 혈액 검사를 수행하기 위한 다양한 방식들이 개발되고 있다.
일 예로 혈액 염색 패치를 이용한 혈액 검사 방식은 염색된 시료를 포함하는 패치를 플레이트에 도말된 혈액에 접촉시켜 보다 간편하게 염색을 수행하는 방법이다.
여기서 패치는 하나 이상의 염색 시료를 저장할 수 있으며, 염색 시료를 슬라이드 글라스 상에 도말된 혈액으로 전달할 수 있다. 즉, 도말된 혈액과 패치가 접촉됨으로써, 패치에 포함된 염색 시료가 혈액으로 이동하여 혈액 내의 세포질이나, 핵 등을 염색할 수 있다.
다른 예로, 염색된 혈액이 도말된 플레이트 전면을 광학기기로 촬상하고, 각종 이미지 처리 기술을 이용하여 염색된 혈액의 이미지를 분석함으로써 세포의 유형을 식별하는 방법이 있다.
그러나 두 가지 경우 모두 여전히 혈액 염색 과정을 거치므로 시간적 손실이 발생하게 된다. 따라서, 보다 신속한 혈액 분석 결과를 제공하기 위해서는 염색되지 않은 혈액 영상으로부터 세포의 유형을 자동으로 식별할 수 있는 이미지 분석 시스템이 필요하다.
이하에서는 염색 과정을 수반하지 않는 혈액 도말에 의한 혈액 검사를 수행하는 경우를 상정하여 설명한다.
2. 이미지 분석 시스템
본 출원의 일 실시 예에 따른 이미지 분석 시스템은 염색을 하지 않은 혈액 영상을 이용하여 자동으로 세포의 유형을 식별하기 위한 시스템이다.
도 1은 본 출원의 일 실시 예에 따른 이미지 분석 시스템의 전체 구성을 예시적으로 설명하기 위한 블록도이다.
본 출원의 일 실시 예에 따른 이미지 분석 시스템(1)은 이미지 촬상 장치(100), 컴퓨팅 장치(200), 사용자 장치(300) 등을 포함할 수 있다.
이때 이미지 촬상 장치(100), 컴퓨팅 장치(200), 사용자 장치(300)는 서로 유무선 통신에 의해 연결되어 있을 수 있고, 각 구성 요소들 사이에 각종 데이터를 송수신할 수 있다.
또한, 도 1에 도시된 바와 같이, 컴퓨팅 장치(200)는 학습 데이터 구축 모듈(210), 학습 모듈(220), 이미지 분석 모듈(230) 등을 포함할 수 있다.
본 출원의 일 실시 예에 따른 이미지 분석 시스템(1)에 있어서, 전술한 모듈들이 모두 하나의 컴퓨팅 장치(200) 내에 위치하는 경우만을 예로 들었으나, 학습 데이터 구출 모듈(210), 학습 모듈(220), 이미지 분석 모듈(230)은 각각 분리된 장치를 통해 제공될 수도 있다.
또는, 학습 데이터 구축 모듈(210), 학습 모듈(220), 이미지 분석 모듈(230) 중 하나 이상의 기능이 통합되어 하나의 모듈로써 제공될 수도 있다.
이하에서는 설명의 편의를 위하여 하나의 컴퓨팅 장치(200) 내에서 전술한 모듈들의 기능이 분리되어 제공되는 경우를 상정하여 설명한다.
한편, 도면에는 도시되지 않았으나, 컴퓨팅 장치(200)는 각종 이미지 프로세싱 및 이미지 분석을 수행하기 위해 하나 이상의 프로세서, 메모리 등을 더 포함할 수 있다.
이하에서는 각 구성요소에서 수행되는 동작들에 대해 각각 상세하게 설명한다.
2.1 혈액 이미지의 촬상
이하에서는 도 2 및 도 3을 참조하여 본 출원의 일 실시 예에 따른 이미지 촬상 장치를 통해 혈액 이미지가 획득되는 과정을 예로 들어 설명한다.
도 2는 본 출원의 일 실시 예에 따른 이미지 촬상 장치의 동작을 예시적으로 설명하기 위한 도면이다. 또한, 도 3은 본 출원의 일 실시 예에 따른 이미지 촬상 장치에 의해 촬상된 세포 이미지를 예시적으로 보여주는 도면이다.
이미지 촬상 장치(100)는 혈액의 이미지를 획득하기 위한 광학기기일 수 있다.
광학기기(100)는 세포를 손상시키지 않는 범위 내에서 혈액 내에 혈구, 박테리아 등을 검출하기 위한 혈액의 이미지를 획득할 수 있는 다양한 형태의 영상 촬영 장치일 수 있다.
이때, 광원의 방향 조절, 다양한 파장대를 이용한 영상 촬영, 초점 위치의 조절, 조리개 조절 등에 의해 다양한 방식으로 혈액 영상을 취득할 수 있다.
예를 들어, 상기 광학기기(100)는 CCD, CMOS 등으로 구성되는 광 센서, 광 경로를 제공하는 경통, 배율 및 초점 거리를 조절하는 렌즈, 상기 광 센서로부터 촬상된 영상을 저장하는 메모리 등을 포함할 수 있다.
일 예로, 도 2에 도시된 바와 같이, 이미지 촬상 장치(100)는 슬라이드 글라스(PL)의 혈액이 도말된 면 상에 배치될 수 있다. 이때 광원(LS)은 상기 슬라이드 글라스(PL)의 배면에 배치될 수 있다. 이 경우, 상기 이미지 촬상 장치(100)는 상기 광원(LS)으로부터 조사되어 상기 슬라이드 글라스(PL)를 통과한 빛을 입사 받아 상기 슬라이스 글라스(PL) 상에 도말된 혈액의 이미지를 촬상할 수 있다.
따라서, 도 3을 참조하면, 상기 이미지 촬상 장치(100)를 이용하여 염색하기 전(좌) 및 염색한 후의 혈액 이미지(우)를 획득할 수 있다.
2.2 학습 데이터의 구축
염색하지 않은 혈액 이미지로부터 세포의 유형을 식별하기 위한 분류 기준을 학습하기 위해서는 염색하지 않은 혈액 이미지 내의 세포들에 대한 라벨 정보가 필요하다.
따라서 전문가에 의해 판독된 염색 후 혈액 이미지에 관한 라벨 정보를 활용하여 염색하지 않은 혈액 이미지에 관한 학습 데이터를 구축할 필요가 있다.
이하에서는 세포 분류 기준을 학습하는데 사용하기 위한 학습 데이터를 생성하는 학습 데이터 구축 모듈에서 수행되는 동작에 관하여 설명한다.
학습 데이터 구축 모듈(210)은 후술할 학습 모듈(220)에서 이미지 분석을 위한 학습에 사용할 학습 데이터를 구축하기 위한 구성이다.
즉, 학습 데이터 구축 모듈(210)에 의해 생성되는 학습 데이터는 염색하지 않은 혈액 이미지일 수 있고, 상기 학습 데이터는 혈액 이미지에 포함된 하나 이상의 세포에 대한 라벨 정보를 포함할 수 있다.
상기 라벨 정보는, 예를 들어, 상기 혈액 이미지에 포함된 세포의 종 유형, 위치 정보, 또는 영역화 정보 등을 포함할 수 있다.
이하에서는 상기 학습 데이터 구축 모듈(210)에 의해 수행되는 학습 데이터 생성 과정에 대해 상세하게 설명한다.
먼저, 전술한 이미지 촬상 장치(100)를 이용하여 염색 전 혈액의 슬라이드와 염색 후 혈액의 슬라이드의 이미지를 촬상할 수 있다.
학습 데이터 구축 모듈(210)은 상기 이미지 촬상 장치(100)로부터 염색 전과 후의 혈액의 슬라이드를 촬영한 적어도 한 쌍의 영상을 획득할 수 있고, 상기 한 쌍의 영상을 입력 데이터로 하여 학습 데이터를 생성할 수 있다.
예를 들어, 상기 학습 데이터 구축 모듈(210)에 의해 생성된 학습 데이터는 염색 전의 타겟 이미지에 염색 후의 참조 이미지의 라벨 정보를 매칭시킨 것일 수 있다.
이때, 상기 염색 후의 참조 이미지의 라벨 정보는 숙련된 기술자에 의해 입력된 것일 수 있다.
또한, 참조 이미지의 라벨 정보를 타겟 이미지로 전달하기 위해 다양한 이미지 프로세싱 알고리즘이 적용될 수 있으며, 예컨대, 이미지 정합(image registration) 알고리즘이 적용될 수 있다.
이미지 정합(image registration)은 서로 다른 데이터 세트를 하나의 좌표 시스템으로 변환하기 위한 과정이다. 따라서, 이미지 정합은 소스 이미지를 타겟 이미지와 정렬되도록 공간적으로 변환하는 과정을 포함한다.
상기 서로 다른 데이터 세트는, 예를 들어, 서로 다른 센서, 시간, 깊이, 시점으로부터 획득된 것일 수 있다.
이미지 정합 방법은 강도 기반(intensity-based) 및 특징점 기반(feature-based) 방식으로 구분할 수 있다.
강도 기반 방식은 상관 매트릭스(correlation metrics)를 통해 이미지의 강도 패턴을 비교하는 방식이다.
상기 강도 기반 방식은 전체 이미지 또는 서브 이미지를 등록하고, 서브 이미지가 등록되면 해당 서브 이미지의 중심들을 대응하는 특징점들로 취급한다.
특징점 기반 방식은 점, 선, 컨투어와 같은 이미지 내의 특징들 사이의 대응 관계를 찾는 방식이다.
상기 특징점 기반 방식은 이미지 내에서 구별되는 점들 사이의 대응 관계를 설정한다. 이미지 내의 점들 사이의 대응 관계를 알면, 기하학적 변형이 결정되므로 대상 이미지를 참조 이미지에 매핑하여 참조 이미지와 대상 이미지의 특정점들 사이의 대응관계를 설정할 수 있다.
이때 이미지 사이의 정합은 수동(manual), 상호작용(interaction), 반자동(semi-automatic), 및 자동(automatic) 등 다양한 방법으로 수행될 수 있다.
전술한 서로 다른 이미지 사이의 정합 문제는 컴퓨터 비전 분야에서 매우 오랫동안 연구가 되어온 분야로서, 특징점 기반의 정합 방법은 다양한 종류의 영상에 대해 좋은 결과를 보여주고 있다.
이하에서는, 특징점 기반의 이미지 정합 알고리즘을 이용하여 참조 이미지의 라벨 정보를 타겟 이미지로 전달하는 경우를 예로 들어 설명한다.
먼저, 입력 영상으로부터 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), FAST(Features form Accelerated Segment Test), BRIEF(Binary Robust Independent Elementary Features), ORB(Oriented FAST and Rotated BRIEF) 등의 검출기를 이용하여 특징점들을 추출할 수 있다.
다음으로, 추출된 특징점들 사이의 아웃라이어(outlier) 매칭을 제거하는 동시에 최적의 모션을 결정할 수 있으며, 예를 들어, RANSAC(Random sample consensus) 같은 알고리즘을 이용할 수 있다.
여기서 모션은 두 영상에 포함된 픽셀들 사이의 대응 관계(correspondences)를 제공해주는 변환 함수라고 간주할 수 있으며, 이를 통해 한 영상의 라벨 정보를 다른 영상으로 전달할 수 있다.
따라서, 두 영상 혹은 한 쌍의 영상들끼리의 정합 과정을 마치고 나면, 염색된 참조 이미지에 포함된 라벨 정보를 염색되지 않은 타겟 이미지로 전달(transfer)할 수 있다.
다시 말해, 학습 데이터 구축 모듈(210)은 상기 이미지 촬상 장치(100)로부터 획득되는 복수 개의 염색 전, 후의 혈액 이미지 데이터 세트를 입력 데이터로 하여 이미지 정합을 수행할 수 있고, 이에 따라 라벨 정보를 포함하는 염색되지 않은 학습 데이터들을 구축할 수 있다.
한편, 상기 학습 데이터들은 상기 학습 데이터 구축 모듈(210) 내에 위치하는 저장부(미도시) 또는 상기 컴퓨팅 장치(200)의 메모리(미도시)에 저장될 수 있고, 후술할 학습 모듈(220)의 이미지 데이터 학습 및 평가 등을 수행하기 위해 활용될 수 있다.
2.3 분류 기준 학습
이하에서는 도 4 및 도 5를 참조하여 복수 개의 학습 데이터를 이용하여 학습을 수행하는 학습 모듈에서 수행되는 동작에 관하여 설명한다.
학습 모듈(220)은 전술한 학습 데이터 구축 모듈(210)에 의해 생성된 염색하지 않은 혈액 이미지들에 관한 학습 데이터들을 이용하여 혈액 이미지 내에 포함된 세포의 유형을 식별하기 위한 분류 기준을 학습하기 위한 구성이다.
상기 복수 개의 학습 데이터는 전술한 바와 같이 각 세포의 유형에 대한 라벨 정보가 포함된 염색되지 않은 혈액 이미지일 수 있다.
또한, 상기 혈액 이미지 내에 포함된 하나 이상의 세포의 유형에 대한 카테고리(category)는 사용자에 의해 미리 정의될 수 있다.
예를 들어, 백혈구의 종을 구별하기 위한 분류 기준을 학습하는 경우에 있어서, 사용자는 백혈구의 종을 호중구(neutrophil), 호산구(eosinophil), 호염구(basophil), 림프구(lymphocyte), 단핵구(monocyte) 등으로 카테고리를 지정할 수 있다.
즉, 사용자는 분류하고자 하는 세포의 유형에 따라 학습 데이터들을 카테고리화할 수 있고, 상기 학습 모듈(220)은 상기 카테고리화된 학습 데이터를 이용하여 세포의 유형을 구별하기 위한 분류 기준을 학습할 수 있다. 예를 들어, 상기 카테고리화된 학습 데이터들은 세포의 유형별로 미리 세그먼트된 데이터일 수 있다.
한편, 도 1에 도시된 바와 같이, 학습 모듈(220)은 이미지 분석을 수행하기 위한 상기 컴퓨팅 장치(200)의 일부 구성요소로서 제공될 수 있다. 이때, 학습 모듈(220)에는 기계 학습을 수행하기 위한 하나 이상의 머신 러닝 알고리즘이 제공될 수 있다.
구체적으로, 본 출원의 일 실시 예에 따른 학습 과정에는 다양한 머신 러닝 모델이 사용될 수 있으며, 예를 들어 딥러닝 모델이 사용될 수 있다.
딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstraction)을 시도하는 알고리즘의 집합이다. 딥러닝의 핵심 모델로 딥뉴럴 네트워크(Deep Neural Network, DNN)가 활용될 수 있다. 딥뉴럴 네트워크(DNN)는 입력층(input layer)과 출력층(output layer) 사이의 여러 개의 은닉층(hidden layer)들을 포함하며, 학습 방법 또는 구조에 따라 신뢰 네트워크(Deep Belief Network, DGN), 심층 오토 인코더(Deep, Auto Encoder), 컨볼루션 뉴럴 네트Ÿp(Convolutional Neural Network, CNN), 순환 뉴럴 네트워크(Recurrent Neural Network, RNN), 생성적 적대 네트워크(Generative Adversarial Network, GAN) 등이 활용될 수 있다.
여기서 학습은 주어진 목적에 맞게 데이터의 특성을 파악하는 것으로 딥러닝에서는 연결 가중치(weight)를 조정한다.
예를 들어, 이미지와 같은 2차원 데이터의 학습에 적용될 수 있는 컨볼루션 뉴럴 네트워크(CNN)의 경우, 하나 또는 여러 개의 컨볼루션 레이어(convolutional layer)와 풀링 레이어(pooling layer), 완전하게 연결된 레이어(fully connected layer) 들로 구성될 수 있고, 역전달 알고리즘(backpropagation altorithm)을 통해 훈련될 수 있다.
일 예로, 학습 모듈(220)은 하나 이상의 컨볼루션 뉴럴 네트워크(CNN)를 이용하여 염색하지 않은 학습 데이터로부터 하나 이상의 특징맵을 획득할 수 있고, 상기 특징맵을 이용하여 상기 염색하지 않은 학습 데이터에 포함된 하나 이상의 세포들을 미리 지정된 카테고리에 따라 구별하기 위한 분류 기준을 학습할 수 있다.
이때, 상기 학습 모듈(220)는 LeNet, AlexNet, ZFNet, GoogLeNet, VggNet, ResNet 등과 같은 딥러닝 아키텍쳐 또는 이들의 조합 등 기타 상기 혈액 이미지 내에 포함된 세포들의 구분에 적합한 다양한 형태의 컨볼루션 뉴럴 네트워크(CNN)를 이용하여 학습을 수행할 수 있다.
이하에서는, 도 4 및 도 5를 참조하여 하나 이상의 뉴럴 네트워크를 이용하여 학습을 수행하는 경우를 예로 들어 설명한다.
여기서 뉴럴 네트워크는 복수의 레이어로 구성될 수 있고, 학습 수행 결과에 따라 레이어의 구성이 변경, 추가, 제거될 수 있다.
도 4 및 도 5는 본 출원의 일 실시 예에 따른 학습을 수행하기 위한 뉴럴 네트워크의 구조를 예시적으로 설명하기 위한 도면이다.
도 4 및 도 5에 도시된 바와 같이, 상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크일 수 있고, 하나 이상의 학습 데이터가 뉴럴 네트워크의 입력 데이터로 적용될 수 있다.
이때, 입력 데이터(Input)는, 도 4에 도시된 바와 같이 이미지 촬상 장치(100)로부터 획득되는 전체 이미지 데이터일 수 있다. 또는, 도 5에 도시된 바와 같이, 미리 설정된 기준에 따라 세그먼트된(segmented) 데이터일 수 있다.
예를 들어, 학습 모듈(220)은 하나 이상의 학습 데이터를 미리 설정된 크기로 세그먼트할 수 있다. 또는, 예를 들어, 학습 모듈(220)은 학습 데이터를 사용자의 관심 영역(Region of Interest, ROI)에 따라 세그먼트할 수 있다.
또한, 상기 입력 데이터는 염색되지 않은 혈액 이미지 데이터를 전처리 과정(pre-processing)을 통해 가공한 데이터일 수 있다.
이미지 전처리 과정은 컴퓨터가 인식하기 쉽도록 이미지를 가공하기 위한 것으로, 예를 들어, 이미지 픽셀의 밝기 변환(brightness transformation), 기하학적 변환(geometric transformation) 등을 포함할 수 있다.
일 예로, 상기 입력 데이터는 전처리 과정을 통해 상기 혈액 이미지 데이터를 바이너리 이미지로 변환한 것일 수 있다.
또는, 다른 예로, 상기 입력 데이터는 전처리 과정을 통해 이미지에 포함된 에러 특징(erroneous feature) 등이 제거된 것일 수 있다.
한편, 이미지 전처리 과정에는 다양한 이미지 프로세싱 알고리즘이 적용될 수 있으며, 상기 뉴럴 네트워크에 혈액 이미지를 입력하기 전에 이미지 전처리 과정을 수행함으로써 학습의 속도 및/또는 성능이 향상될 수 있다.
또한, 도 4 및 도 5를 참조하면, 상기 뉴럴 네트워크는 복수 개의 레이어를 포함할 수 있고, 상기 복수 개의 레이어는 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전하게 연결된 레이어(fully-connected layer) 중 적어도 하나 이상을 포함할 수 있다.
이때 상기 뉴럴 네트워크는 혈액 이미지 내의 특징들을 추출하는 과정 및 이미지를 분류하는 과정으로 구성될 수 있다.
예를 들어, 이미지의 특징 추출(feature extraction)은 복수의 컨볼루션 레이어를 통해 상기 염색되지 않은 혈액 이미지에 포함된 복수 개의 특징들을 추출하고, 상기 복수 개의 특징들을 이용하여 적어도 하나의 특징맵(FM, Feature Map)을 생성함으로써 수행될 수 있다. 즉, 학습 모듈(220)은 상기 뉴럴 네트워크의 복수 개의 레이어를 이용하여 적어도 하나의 특징맵을 산출할 수 있다.
상기 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur), 형태 또는 형태의 조합 등을 포함할 수 있으며, 상기 특징점들은 상술한 예로 한정되지 않는다.
상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 적어도 하나의 특징맵을 통하여 상기 혈액 이미지 내의 사용자의 관심 영역(ROI)이 식별될 수 있다.
상기 관심 영역(ROI)은 사용자로부터 미리 설정된 혈액 내의 다양한 세포 영역일 수 있다. 예를 들어, 상기 관심 영역(ROI)은, 상기 혈액 이미지 내 백혈구의 호중구, 호산구, 호염구, 림프구, 단핵구 등일 수 있다.
또한, 예를 들어, 상기 특징맵의 분류(classification)는, 상기 복수 개의 레이어를 통해 산출된 적어도 하나의 특징맵을 미리 정의된 하나 이상의 카테고리에 대한 점수(score) 또는 확률(probability)로 산출함으로써 수행될 수 있다.
따라서, 학습 모듈(220)는 상기 하나 이상의 카테고리에 대한 클래스 점수 또는 확률 값을 기초로 하여 상기 세포의 유형을 식별하기 위한 분류 기준을 학습할 수 있다.
이때, 상기 학습 모듈(220)은 미리 설정된 종료 조건이 만족될 때까지 학습 과정을 반복적으로 수행함으로써 상기 뉴럴 네트워크에 적용되는 파라미터를 조정할 수 있다.
예를 들어, 이때, 상기 학습 모듈(220)은 역전달 알고리즘을 이용하여 상기 뉴럴 네트워크의 학습 수행 결과의 에러를 전파시키는 방식으로 상기 뉴럴 네트워크의 복수의 레이어에 대한 파라미터를 조정할 수 있다.
또한, 예를 들어, 사용자는 뉴럴 네트워크의 손실함수(loss function)가 감소되지 않을 때까지 학습 과정을 반복하여 수행하도록 설정할 수 있다.
여기서 손실함수(loss function)는 입력 데이터에 대한 정답 데이터와 뉴럴 네트워크의 출력 데이터 사이의 유사도를 의미할 수 있다. 상기 손실함수는 뉴럴 네트워크의 학습 과정을 가이드하기 위해 사용되는 것으로, 예컨대 평균 제곱근 오차(mean square error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 사용될 수 있다.
또는, 예를 들어, 사용자는 미리 설정된 횟수만큼 학습 과정을 반복하여 수행하도록 설정할 수 있다.
따라서, 학습 모듈(220)은 상기 혈액 이미지 내의 세포를 식별하기 위한 최적의 파라미터를 후술할 이미지 분석 모듈(230)에 제공할 수 있다.
학습 모듈(300)에 의해 수행되는 학습 과정에 대해서는 이하의 관련된 실시 예를 통해 상세하게 설명한다.
한편, 학습 모듈(220)은 전술한 학습 데이터 구축 모듈(210)로부터 획득되는 복수 개의 학습 데이터 중 학습에 사용되지 않은 데이터를 이용하여 학습의 정확도, 에러 등을 더 평가할 수도 있다.
예를 들어, 학습 모듈(220)은 미리 정해진 간격으로 네트워크에 대한 평가를 수행함으로써 학습의 정확도를 더 높일 수 있다.
2.4 이미지 예측
이하에서는 도 6 및 도 7을 참조하여 미리 학습된 분류 기준을 이용하여 혈액 이미지에 포함된 세포 유형을 예측하기 위한 이미지 분석 모듈에서 수행되는 동작들을 설명한다.
도 6은 본 출원의 일 실시 예에 따른 이미지 분석 모듈의 구성을 예시적으로 설명하기 위한 블록도이다. 또한, 도 7은 본 출원의 일 실시 예에 따른 이미지 분석 모듈에서 수행되는 동작을 예시적으로 설명하기 위한 도면이다.
이미지 분석 모듈(230)은 미리 학습된 분류 기준을 이용하여 이미지 촬상 장치(100)로부터 획득되는 혈액 이미지를 분석하기 위한 구성이다.
상기 미리 학습된 분류 기준은 전술한 학습 모듈(220)로부터 전달되는 최적의 파라미터 값일 수 있다.
또한, 이미지 분석 모듈(230)은 전술한 바와 같이, 컴퓨팅 장치(200)의 일부 구성요소로서 제공될 수 있다. 또는, 전술한 학습 모듈(220)과 분리된 별도의 컴퓨팅 장치 내에 제공될 수 있다.
예를 들어, 컴퓨팅 장치는 적어도 하나의 프로세서, 메모리 등을 포함할 수 있다. 상기 적어도 하나의 프로세서에는 하나 이상의 이미지 프로세싱 알고리즘, 기계 학습 알고리즘 등이 제공될 수 있다.
또는, 예를 들어, 상기 이미지 분석 모듈(200)은 컴퓨터 상에서 실행 가능한 소프트웨어 프로그램의 형태로 제공될 수 있다. 상기 프로그램은 상기 메모리 내에 미리 저장되어 있을 수 있다.
도 6을 참조하면, 이미지 분석 모듈(230)은, 데이터 수신부(231), 특징맵 생성부(233), 이미지 예측부(235), 제어부(237) 등을 포함할 수 있다.
데이터 수신부(231)는 전술한 이미지 촬상 장치(100)로부터 촬상된 하나 이상의 이미지 데이터를 수신할 수 있다. 상기 이미지 데이터는 염색하지 않은 혈액 이미지일 수 있고, 상기 이미지 촬상 장치(100)로부터 실시간으로 획득될 수 있다.
또는, 데이터 수신부(231)는 후술할 사용자 장치(300)에 미리 저장된 하나 이상의 이미지 데이터를 수신할 수 있다. 상기 이미지 데이터는 염색하지 않은 혈액 이미지일 수 있다.
특징맵 생성부(233)는 입력 이미지 내의 특징들을 추출하여 하나 이상의 특징맵을 생성할 수 있다.
상기 입력 이미지는 미리 설정된 사용자의 관심 영역(ROI)을 기초로 하여 샘플링된 이미지일 수 있다. 또는, 상기 입력 이미지는 미리 설정된 기준에 따라 세그먼트된 이미지일 수 있다.
예를 들어, 특징맵 생성부(233)는 전술한 학습 모듈(220)을 통해 최적화된 뉴럴 네트워크(NN)를 이용하여 상기 입력 이미지에 포함된 하나 이상의 특징을 추출할 수 있고, 상기 특징들을 조합하여 적어도 하나의 특징맵을 생성할 수 있다.
이미지 예측부(235)는 전술한 학습 모듈(220)로부터 학습된 분류 기준에 따라 상기 입력 이미지에 포함된 세포들의 유형을 예측할 수 있다.
예를 들어, 이미지 예측부(235)는 상기 하나 이상의 특징맵을 이용하여 상기 입력 이미지를 미리 학습된 기준에 따라 지정된 카테고리 중 하나로 분류할 수 있다.
도 7을 참조하면, 상기 이미지 촬상 장치(100)로부터 촬상된 혈액 이미지를 미리 설정된 기준에 따라 세그먼트한 혈액 이미지가 뉴럴 네트워크(NN)에 입력될 수 있다. 이때, 뉴럴 네트워크(NN)는 복수의 레이어를 거쳐 상기 혈액 이미지 내의 특징들을 추출하고, 상기 특징들을 이용하여 하나 이상의 특징맵을 생성할 수 있다.
상기 특징맵은 전술한 학습 모듈(220)을 통해 미리 학습된 기준에 따라 미리 지정된 카테고리 class1, class 2, class3, class4, class 5 중 하나인 class 5에 해당되는 것으로 예측될 수 있다. 예를 들어, 도 7에 도시된 뉴럴 네트워크에 입력된 이미지로부터 산출된 적어도 하나의 특징맵은 백혈구의 유형 중 단핵구에 해당되는 것으로 예측될 수 있다.
제어부(240)는 상기 이미지 분석 모듈(230)에서 수행되는 이미지 예측 동작을 총괄하기 위한 구성일 수 있다.
예를 들어, 상기 제어부(240)는 전술한 학습 모듈(220)에 의한 학습 결과에 따라 업데이트되는 파라미터를 획득할 수 있고, 상기 파라미터를 특징맵 생성부(233) 및/또는 이미지 예측부(235)에 전달할 수 있다.
상기 이미지 분석 모듈(200)에 의해 수행되는 혈액 이미지 내의 세포 식별 방법에 관해서는 이하의 관련된 실시 예를 통해 상세하게 설명한다.
2.5 이미지 분석
이하에서는 전술한 이미지 분석 모듈(200)에 의해 수행된 혈액 이미지 분석 결과를 활용하기 위한 예들에 관하여 설명한다.
사용자 장치(400)는 전술한 이미지 분석 모듈(300)로부터 이미지 분석 결과를 획득할 수 있다.
이때, 사용자 장치(400)를 통해 이미지 분석 모듈(300)로부터 획득된 혈액 이미지와 관련된 각종 정보가 표시될 수 있다. 예를 들어, 혈구의 종류 별 개수, 박테리아의 개수 등에 관한 정보를 포함할 수 있다.
또한, 상기 사용자 장치(400)는 상기 이미지 분석 모듈(300)로부터 획득된 혈액 이미지와 관련된 각종 정보를 이용하여 혈액 검사 등 각종 분석 결과를 더 제공하기 위한 장치일 수 있다.
예를 들어, 사용자 장치(300)는 의료 전문가 또는 기술자의 컴퓨터, 휴대용 단말기 등일 수 있다. 이때, 상기 사용자 장치(300)는 각종 분석 결과를 더 제공하기 위한 프로그램, 애플리케이션이 설치되어 있을 수 있다.
일 예로, 혈액 검사의 경우 사용자 장치(400)는 전술한 이미지 분석 모듈(300)로부터 혈액 이미지 내의 혈구, 박테리아 등의 식별 결과를 획득할 수 있다. 이때, 사용자 장치(400)는 미리 저장된 혈액 검사 프로그램을 이용하여 이상 혈구에 관한 정보, 각종 질병에 대한 진단 결과 등을 더 제공할 수 있다.
한편, 사용자 장치(400) 및 전술한 이미지 분석 모듈(300)은 하나의 장치로써 구현될 수 있다.
3. 제1 실시 예
이하에서는 도 8 및 도 9를 참조하여 본 출원의 제1 실시 예에 따른 이미지 분석 방법에 관하여 설명한다.
이하에서는, 본 출원의 일 실시 예에 따른 이미지 분석 시스템(1)에 있어서, 염색하지 않은 혈액 이미지 데이터로부터 하나 이상의 세포의 유형을 식별하기 위하여 하나 이상의 뉴럴 네트워크를 이용하는 경우를 예로 들어 설명한다.
예를 들어, 하나 이상의 뉴럴 네트워크는 전술한 컨볼루션 뉴럴 네트워크(CNN)일 수 있다.
일 예로, 본 출원의 일 실시 예에 따른 이미지 분석 방법은 혈액 이미지 데이터로부터 관찰되는 백혈구를 종을 식별하기 위한 것일 수 있다.
여기서 백혈구의 종은 적어도 2개 이상으로 분류될 수 있다.
예를 들어, 백혈구의 유형은 호중구(neutrophil), 호산구(eosinophil), 호염구(basophil), 림프구(lymphocyte), 단핵구(monocyte) 등을 포함할 수 있다.
도 8은 본 출원의 제1 실시 예에 따른 이미지 분석 방법을 예시적으로 나타내기 위한 순서도이다.
도 8을 참조하면, 본 출원의 제1 실시 예에 따른 이미지 분석 방법은 염색되지 않은 세포 이미지를 획득하는 단계(S81), 상기 세포 이미지로부터 적어도 하나의 특징맵을 획득하는 단계(S82), 미리 학습된 기준을 이용하여 상기 특징맵에 대응되는 세포의 종을 식별하는 단계(S83)를 포함할 수 있다. 상기 단계들은 전술한 이미지 분석 모듈(230)의 제어부(237)에 의해 수행될 수 있으며, 이하에서 각 단계들에 대해 상세하게 설명한다.
제어부(237)는 염색되지 않은 세포 이미지를 획득할 수 있다(S81).
일 예로, 제어부(237)는 이미지 촬상 장치(100)로부터 실시간으로 염색되지 않은 세포 이미지를 획득할 수 있다.
전술한 바와 같이 이미지 촬상 장치(100)는 슬라이드 글라스(PL)에 도말된 혈액의 이미지를 다양한 방식으로 취득할 수 있고, 상기 제어부(237)는 상기 이미지 촬상 장치(100)로부터 촬상된 하나 이상의 세포 이미지를 획득할 수 있다.
다른 예로, 제어부(237)는 사용자 장치(300)로부터 미리 저장된 하나 이상의 이미지 데이터를 수신할 수도 있다.
예를 들어, 사용자는 상기 이미지 촬상 장치(100)로부터 촬상된 복수 개의 세포 이미지 중 필요에 따라 적어도 하나의 이미지 데이터를 선택할 수 있다. 이 경우, 제어부(237)는 사용자로부터 선택된 적어도 하나의 이미지 데이터를 이용하여 다음 단계를 수행할 수 있다.
또는, 예를 들어, 제어부(237)는 상기 세포 이미지를 미리 설정된 기준에 따라 세그먼트할 수 있고, 세그먼트된 하나 이상의 이미지 데이터들을 이용하여 다음 단계를 수행할 수 있다.
또한, 제어부(237)는 상기 세포 이미지로부터 적어도 하나의 특징맵을 추출할 수 있다(S82).
즉, 전술한 바와 같이 특징맵 생성부(233)는 상기 이미지 촬상 장치(100)로부터 획득된 세포 이미지 내의 특징들을 추출하여 하나 이상의 특징맵을 생성할 수 있다.
이때 특징맵 생성부(233)는 학습 모듈(220)을 통해 미리 학습된 뉴럴 네트워크(NN)를 이용하여 상기 입력 세포 이미지에 포함된 하나 이상의 특징을 추출할 수 있고, 상기 특징들을 조합하여 하나 이상의 특징맵을 생성할 수 있다.
예를 들어, 상기 하나 이상의 특징맵은 S81에서 입력된 세포 이미지 내의 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러, 형태 중 적어도 하나 이상의 조합에 의해 생성될 수 있다.
또한, 제어부(237)는 미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별할 수 있다(S83).
예를 들어, 전술한 이미지 예측부(235)는 학습 모듈(220)로부터 미리 학습된 분류 기준에 따라 상기 세포 이미지에 포함된 세포들의 유형을 예측할 수 있다.
즉, 상기 이미지 예측부(235)는 미리 학습된 분류 기준에 따라 S82 단계에서 생성된 특징맵을 미리 지정된 카테고리 중 하나로 분류할 수 있다.
상기 미리 학습된 분류 기준은 상기 염색되지 않은 세포 이미지 내에 포함된 세포의 유형을 분류하도록 미리 학습된 기준일 수 있다. 예를 들어, 미리 학습된 기준은 뉴럴 네트워크(NN)에 포함된 복수의 레이어에 적용되는 파라미터일 수 있다.
또한, 미리 지정된 카테고리는 사용자에 의해 미리 정의된 것일 수 있다. 예를 들어, 사용자는 학습 데이터들을 분류하고자 하는 유형 별로 카테고리화 할 수 있고, 상기 학습 데이터 구축 모듈(210)에는 학습 데이터들이 카테고리 별로 저장되어 있을 수 있다.
일 예로 도 7을 참조하여 전술한 바와 같이, 상기 이미지 예측부(235)는 S82 단계에서 생성된 적어도 하나의 특징맵에 대해 미리 지정된 카테고리 별로 점수 또는 확률을 산출할 수 있고, 이를 기초로 상기 특징맵이 미리 지정된 카테고리 중 어느 것에 해당되는지 예측할 수 있다.
예를 들어, 상기 이미지 예측부(235)는 S82 단계에서 생성된 특징맵에 대해 class 1에 대한 확률 0.01, class 2에 대한 확률 0.02, class 3에 대한 확률 0.04, class 4에 대한 확률 0.03, class 5에 대한 확률 0.9로 산출할 수 있다. 이때, 이미지 예측부(235)는 0.9 이상을 갖는 class5로 상기 특징맵의 분류를 결정할 수 있다.
즉, 상기 이미지 예측부(235)는 상기 특징맵의 미리 지정된 카테고리에 대한 점수 또는 확률을 기초로 미리 설정된 값 이상을 갖는 카테고리에 해당하는 것으로 분류할 수 있다.
따라서, 이미지 예측부(235)는 도 7을 참조하여 전술한 바와 같이, S82 단계에서 생성된 특징맵이 class 1 내지 class 5 중 class 5에 해당되는 것으로 예측할 수 있다.
한편, 상기 학습 모듈(220)은 상기 염색하지 않은 세포 이미지로부터 세포의 유형을 보다 정확하게 식별하도록 미리 설정된 기준을 지속적으로 업데이트하여 제공할 수 있다.
4. 제2 실시 예
도 9는 본 출원의 제2 실시 예에 따른 이미지 분석 방법을 예시적으로 나타내기 위한 순서도이다.
이하에서는, 본 출원의 일 실시 예에 따른 이미지 분석 시스템(1)에 있어서, 염색하지 않은 혈액 이미지 데이터로부터 하나 이상의 세포의 유형을 식별하기 위하여 하나 이상의 뉴럴 네트워크를 이용하는 경우를 예로 들어 설명한다.
예를 들어, 하나 이상의 뉴럴 네트워크는 전술한 컨볼루션 뉴럴 네트워크(CNN)일 수 있다.
도 9를 참조하면, 본 출원의 제2 실시 예에 따른 이미지 분석 방법은 염색되지 않은 세포 이미지를 획득하는 단계(S91), 상기 세포 이미지 내의 사용자의 관심 영역을 검출하는 단계(S92), 상기 검출된 영역에 관한 이미지 로부터 적어도 하나의 특징맵을 획득하는 단계(S93), 미리 학습된 기준을 이용하여 상기 특징맵에 대응되는 세포의 종을 식별하는 단계(S94)를 포함할 수 있다. 상기 단계들은 전술한 이미지 분석 모듈(230)의 제어부(237)에 의해 수행될 수 있으며, 이하에서 각 단계들에 대해 상세하게 설명한다.
본 출원의 제2 실시 예에 따른 이미지 분석 방법은, 전술한 제1 실시 예에 따른 이미지 분석 방법에 있어서 혈액 이미지를 미리 설정된 기준에 따라 세그먼트하여 뉴럴 네트워크에 입력값으로 적용하는 것과 달리, 세그먼트되지 않은 이미지 데이터를 뉴럴 네트워크에 입력값으로 적용하는 방식일 수 있다.
즉, 본 출원의 제2 실시 예에 따른 이미지 분석 방법은, 혈액 이미지 내에 포함된 복수의 객체를 검출하는 단계를 더 포함하여 상기 혈액 이미지 내에 포함된 복수의 객체들을 미리 지정된 카테고리에 따라 식별할 수 있다. 이하에서는 제어부(237)에 의해 수행되는 각 단계들을 순서대로 설명한다.
제어부(237)는 염색되지 않은 세포 이미지를 획득할 수 있다(S91).
일 예로, 제어부(237)는 이미지 촬상 장치(100)로부터 실시간으로 염색되지 않은 세포 이미지를 획득할 수 있다.
전술한 바와 같이 이미지 촬상 장치(100)는 슬라이드 글라스(PL)에 도말된 혈액의 이미지를 다양한 방식으로 취득할 수 있고, 상기 제어부(237)는 상기 이미지 촬상 장치(100)로부터 촬상된 하나 이상의 세포 이미지를 획득할 수 있다.
다른 예로, 제어부(237)는 사용자 장치(300)로부터 미리 저장된 하나 이상의 이미지 데이터를 수신할 수도 있다.
또한, 제어부(237)는 상기 세포 이미지 내의 객체 검출을 통하여 하나 이상의 사용자 관심 영역을 검출할 수 있다(S92).
제어부(237)는 전술한 뉴럴 네트워크에 상기 염색되지 않은 세포 이미지를 입력 데이터로 적용할 수 있다.
이때, 상기 제어부(237)는 상기 뉴럴 네트워크에 포함된 복수 개의 레이어 중 적어도 하나를 이용하여 상기 입력 데이터 내에 포함된 하나 이상의 사용자 관심 영역(Region of Interest, ROI)을 추출할 수 있다.
예를 들어, 상기 관심 영역(ROI)은 상기 혈액 이미지 내 백혈구의 호중구, 호산구, 호염구, 림프구, 단핵구 중 하나 이상일 수 있다. 이때, 상기 제어부(237)는 상기 혈액 이미지 내의 존재하는 호산구, 호염구, 림프구, 단핵구 중 하나 이상의 영역을 검출할 수 있고, 검출된 영역에 관한 샘플 이미지 데이터를 생성할 수 있다.
이에 따라, 상기 제어부(237)는 하나 이상의 관심 영역에 관한 하나 이상의 샘플 이미지 데이터를 이용하여 다음 단계를 수행할 수 있다.
또한, 제어부(237)는 상기 세포 이미지로부터 적어도 하나의 특징맵을 추출할 수 있다(S93).
즉, 전술한 바와 같이 특징맵 생성부(233)는 상기 이미지 촬상 장치(100)로부터 획득된 세포 이미지 내의 특징들을 추출하여 하나 이상의 특징맵을 생성할 수 있다.
이때 특징맵 생성부(233)는 학습 모듈(220)을 통해 미리 학습된 뉴럴 네트워크(NN)를 이용하여 상기 입력 세포 이미지에 포함된 하나 이상의 특징을 추출할 수 있고, 상기 특징들을 조합하여 하나 이상의 특징맵을 생성할 수 잇다.
예를 들어, 상기 하나 이상의 특징맵은 S81에서 입력된 세포 이미지 내의 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러, 형태 중 적어도 하나 이상의 조합에 의해 생성될 수 있다.
또한, 제어부(237)는 미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별할 수 있다(S94).
예를 들어, 전술한 이미지 예측부(235)는 학습 모듈(220)로부터 미리 학습된 분류 기준에 따라 상기 세포 이미지에 포함된 세포들의 유형을 예측할 수 있다. 즉, 상기 이미지 예측부(235)는 미리 학습된 분류 기준에 따라 S92 단계에서 획득된 세포 이미지에 포함된 하나 이상의 관심 영역들을 미리 지정된 카테고리 중 하나로 분류할 수 있다.
상기 미리 학습된 분류 기준은 상기 염색되지 않은 세포 이미지 내에 포함된 세포의 유형을 분류하도록 미리 학습된 기준일 수 있다. 예를 들어, 미리 학습된 기준은 뉴럴 네트워크(NN)에 포함된 복수의 레이어에 적용되는 파라미터일 수 있다.
또한, 미리 지정된 카테고리는 사용자에 의해 미리 정의된 것일 수 있다. 예를 들어, 사용자는 학습 데이터들을 분류하고자 하는 유형 별로 카테고리화 할 수 있고, 상기 학습 데이터 구축 모듈(210)에는 학습 데이터들이 카테고리 별로 저장되어 있을 수 있다.
또한, 상기 이미지 예측부(235)에서 상기 특징맵이 미리 지정된 카테고리 중 어느 카테고리에 해당되는지 분류하는 방법은 도 8을 참조하여 전술한 이미지 예측 방법과 동일하므로 이하에서 상세한 설명은 생략한다.
한편, 상기 학습 모듈(220)은 상기 염색하지 않은 세포 이미지로부터 세포의 유형을 보다 정확하게 식별하도록 미리 설정된 기준을 지속적으로 업데이트하여 제공할 수 있다.
5. 제3 실시 예
이하에서는 전술한 이미지 분석 방법에 있어서 이미지 분석 모듈(230)에 미리 학습된 최적의 파라미터를 제공하기 위한 학습 방법에 관하여 상세하게 설명한다.
이하에서는, 본 출원의 일 실시 예에 따른 이미지 분석 시스템(1)에 있어서, 염색하지 않은 혈액 이미지 데이터로부터 하나 이상의 세포의 유형을 식별하기 위하여 하나 이상의 뉴럴 네트워크를 이용하는 경우를 예로 들어 설명한다.
이때, 하나 이상의 뉴럴 네트워크는 전술한 컨볼루션 뉴럴 네트워크(CNN)일 수 있다.
도 10은 본 출원의 제3 실시 예에 따른 이미지 분석을 위한 학습 과정을 설명하기 위한 순서도이다.
도 10을 참조하면, 본 출원의 제3 실시 예에 따른 학습 방법은, 적어도 하나의 뉴럴 네트워크를 이용한 학습 방법에 있어서, 타겟 이미지에 참조 이미지의 라벨 정보를 정합한 하나 이상의 학습 데이터를 획득하는 단계(S91), 상기 학습 데이터로부터 적어도 하나의 특징맵을 생성하는 단계(S92), 상기 특징맵에 대한 예측 데이터를 출력하는 단계(S93), 상기 예측 데이터를 이용하여 상기 네트워크에 적용되는 파라미터를 조정하는 단계(S94), 미리 설정된 종료 조건이 만족되었는지 여부를 판단하는 단계(S95)를 포함할 수 있다.
이하에서는 전술한 학습 모듈(220)에서 도 4 및 도 5를 참조하여 전술한 뉴럴 네트워크를 이용하여 상기 단계들이 수행되는 경우를 예로 들어 설명한다.
학습 모듈(220)은 하나 이상의 학습 데이터를 획득할 수 있다.
예를 들어, 학습 모듈(220)은 전술한 학습 데이터 구축 모듈(210)로부터 복수 개의 학습 데이터를 획득할 수 있다.
여기서 하나 이상의 학습 데이터는 염색하지 않은 혈액 이미지일 수 있고, 혈액 이미지 내의 세포의 유형에 대한 라벨 정보가 포함된 데이터일 수 있다.
전술한 바와 같이 학습 모듈(220)은 염색하지 않은 혈액 이미지로부터 세포의 유형을 식별하기 위한 분류 기준을 학습하기 위해, 염색 전 후의 혈액 이미지의 쌍을 이용하여 미리 구축된 학습 데이터를 이용하는 것이 바람직할 수 있다.
또한, 상기 학습 데이터들은 사용자에 의해 세포의 유형 별로 미리 카테고리화되어 있을 수 있다. 즉, 사용자는 이미지 촬상 장치(100)로부터 획득되는 염색된 혈액 이미지 데이터를 판독하여 세포의 유형 별로 학습 데이터를 분류하여 저장할 수 있다. 또는, 사용자는 혈액 이미지 데이터를 세포의 유형 별로 세그먼트하여 학습 데이터 구축 모듈(210) 또는 학습 모듈(220) 내부에 위치하는 저장부에 저장하도록 할 수 있다.
또한, 상기 학습 데이터들은 전처리 과정(pre-processing)을 통해 가공된 데이터일 수 있다. 다양한 전처리 방식에 대해서는 전술하였으므로 이하에서는 상세한 설명은 생략한다.
또한, 학습 모듈(220)은 상기 학습 데이터로부터 적어도 하나의 특징맵을 생성할 수 있다(S92).
즉, 학습 모듈(220)은 적어도 하나의 뉴럴 네트워크에 포함된 복수 개의 레이어를 이용하여 상기 학습 데이터 내의 특징들을 추출할 수 있다. 이때, 상기 학습 모듈(220)은 추출된 특징들을 이용하여 적어도 하나의 특징맵을 생성할 수 있다.
상기 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur), 형태(shape) 또는 형태의 조합 등을 포함할 수 있으며, 상기 특징점들은 상술한 예로 한정되지 않는다.
상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 적어도 하나의 특징맵을 통하여 상기 혈액 이미지 내의 사용자의 관심 영역이 식별될 수 있다.
상기 관심 영역은 사용자로부터 미리 설정된 혈액 내의 다양한 세포영역일 수 있다. 예를 들어, 상기 관심 영역은 상기 혈액 이미지 내 백혈구의 호중구, 호산구, 호염구, 림프구, 단핵구 등일 수 있다.
또한, 학습 모듈(220)은 상기 특징맵에 대한 예측 데이터를 출력할 수 있다(S93).
즉, 학습 모듈(220)은 전술한 뉴럴 네트워크를 통해 적어도 하나의 특징맵을 생성할 수 있고, 상기 뉴럴 네트워크의 마지막 레이어를 통해 상기 특징맵에 대한 예측 데이터를 결과 값으로 출력할 수 있다.
예측 데이터는 S92 단계에서 산출된 적어도 하나의 특징맵과 사용자에 의해 미리 지정된 하나 이상의 카테고리 각각에 대한 유사도를 점수(score) 또는 0~1 사이의 값을 갖는 확률(probability)로 산출한 상기 뉴럴 네트워크의 출력 데이터일 수 있다.
예를 들어, S92 단계에서 생성된 적어도 하나의 특징맵에 대해 class 1에 대한 확률 0.32, class 2에 대한 확률 0.18, class 3에 대한 확률 0.40, class 4에 대한 확률 0.08, class 5에 대한 확률 0.02 이 산출되어 결과 값으로 저장될 수 있다.
이때, 상기 예측 데이터는 상기 학습 모듈(220) 내에 위치하는 메모리(미도시)에 저장될 수 있다.
또한, 학습 모듈(220)은 상기 예측 데이터를 이용하여 상기 네트워크에 적용되는 파라미터를 조정할 수 있다(S94).
즉, 학습 모듈(220)은 S92 단계에서 출력된 예측 데이터를 기초로 상기 뉴럴 네트워크의 학습 수행 결과의 에러를 역전파 시키는 방식으로 상기 뉴럴 네트워크의 오차를 감소시킬 수 있다.
오차 역전파(backpropagation)는 뉴럴 네트워크에서 출력 데이터와 입력 데이터에 대한 정답 데이터의 차이에 의해 발생하는 오차에 비례하여 레이어들의 가중치를 업데이트하는 방법이다.
따라서, 학습 모듈(220)은 역전파 알고리즘을 이용하여 상기 뉴럴 네트워크의 복수의 레이어에 대한 파라미터를 조정함으로써 상기 뉴럴 네트워크를 학습시킬 수 있다.
한편, 학습 모듈(220)은 전술한 학습 단계들을 반복적으로 수행함으로써 상기 뉴럴 네트워크에 대한 최적의 파라미터를 도출할 수 있다.
즉, 학습 모듈(220)은 미리 설정된 종료 조건이 만족되었는지 여부를 판단할 수 있다(S95).
예를 들어, 사용자는 뉴럴 네트워크의 손실함수가 감소되지 않을 때까지 학습 과정을 반복하여 수행하도록 설정할 수 있다.
여기서 손실함수(loss function)는 입력 데이터에 대한 정답 데이터와 뉴럴 네트워크의 출력 데이터 사이의 유사도를 의미할 수 있다.
상기 손실함수는 뉴럴 네트워크의 학습 과정을 가이드하기 위해 사용되는 것으로, 예컨대 평균 제곱근 오차(mean square error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 사용될 수 있다.
또는, 예를 들어, 사용자는 미리 설정된 횟수만큼 학습 과정을 반복하여 수행하도록 설정할 수 있다.
일 예로, 학습 모듈(220)은 미리 설정된 종료 조건이 만족되지 않은 것으로 판단되는 경우, S101 단계로 돌아가 학습 과정을 반복하도록 할 수 있다.
반면에, 학습 모듈(220)은 미리 설정된 종료 조건이 만족된 것으로 판단되는 경우, 학습 과정을 종료할 수 있다.
따라서, 본 출원의 일 실시 예에 따른 학습 방법에 의하면 세포 이미지 내의 세포 유형을 식별하기 위한 최적의 분류 기준을 학습할 수 잇고, 이미지 분석 모듈은 미리 학습된 분류 기준을 이용하여 세포의 유형을 정확하게 식별할 수 있다.
다시 말해, 본 출원의 실시 예들에 따른 이미지 분석 방법에 의하면 염색하지 않은 혈액 세포 이미지로부터 세포의 유형을 자동으로 식별할 수 있으므로, 보다 정확하고 신속한 혈액 분석 결과의 제공이 가능할 수 있다.
6. 제4 실시 예
도 11은 본 출원의 제4 실시 예에 따른 염색하지 않은 혈액 세포 이미지를 염색된 혈액 세포 이미지로 변환하기 위한 학습 과정을 예시적으로 설명하기 위한 도면이다.
본 출원의 제4 실시 예에 따른 학습 과정은 전술한 학습 모듈(220) 내에서 수행될 수 있으며, 적어도 하나의 뉴럴 네트워크를 이용하여 수행될 수 있다.
예를 들어, 상기 뉴럴 네트워크는 복수 개의 네트워크를 포함할 수 있고, 적어도 하나의 컨볼루션 뉴럴 네트워크 및 디컨볼루션 뉴럴 네트워크를 포함할 수 있다.
또한, 뉴럴 네트워크에 적용되는 입력 데이터(Input)는 전술한 학습 데이터 구축 모듈(210)을 통해 생성된 학습 데이터일 수 있다. 상기 학습 데이터는 염색하지 않은 혈액 세포 이미지일 수 있고, 상기 혈액 세포 이미지 내의 세포 유형에 관한 라벨 정보가 매칭된 데이터일 수 있다.
예를 들어, 염색하지 않은 혈액 세포 이미지가 제1 네트워크(2201)에 입력되는 경우, 상기 염색하지 않은 혈액 세포 이미지 내의 사용자의 관심 영역(예컨대, 호중구, 호산구, 호염구, 림프구, 단핵구 등)에 관한 특징들이 추출될 수 있다. 상기 제1 네트워크(2201)에서 입력 데이터 내의 특징들을 추출하는 과정은 전술한 학습 모듈(220)에서 수행되는 동작에 대응될 수 있다.
다음으로, 제2 네트워크(2202)는 전술한 제1 네트워크(2201)를 통해 추출된 복수의 특징들을 이용하여 염색하지 않은 혈액 세포 이미지(Input)를 염색된 혈액 세포 이미지(IA)로 합성할 수 있다.
또한, 제3 네트워크(2203)는 상기 제2 네트워크(2202)를 통해 합성된 염색된 혈액 세포 이미지(IA) 및 실제 염색된 세포 이미지(IB)를 입력 받을 수 있다. 이때, 제3 네트워크는 상기 합성된 염색된 혈액 세포 이미지와 실제 염색된 세포 이미지(IB)의 유사도를 산출할 수 있다.
한편, 제2 네트워크(2202) 및 제3 네트워크(2203)는 전술한 제2 네트워크가 실제 염색된 세포 이미지에 가까운 이미지를 합성하도록 학습될 수 있다. 예를 들어, 제3 네트워크에서 산출되는 유사도 값이 미리 설정된 수준을 초과할 때까지 학습 과정을 반복적으로 수행할 수 있다. 이때 뉴럴 네트워크를 이용한 학습 과정은 제1 실시 예 내지 제3 실시 예를 통해 상술한 학습 방법과 유사한 방식으로 수행될 수 있다.
따라서, 본 출원의 제4 실시 예에 따른 학습 방법에 의하면, 염색하지 않은 혈액 세포 이미지를 염색된 혈액 세포 이미지로 변환하도록 학습을 수행함으로써, 사용자가 염색하지 않은 혈액 세포 이미지를 입력하는 경우에도 염색된 혈액 세포 이미지를 제공할 수 있다. 따라서 사용자는 염색 과정 없이도 혈액 세포 이미지 내에 세포의 유형을 직관적으로 인식할 수 있다.
전술한 실시 예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 이미지 촬상 장치
200: 컴퓨팅 장치
210: 학습 데이터 구축 모듈
220: 학습 모듈
230: 이미지 분석 모듈
300: 사용자 장치

Claims (16)

  1. 염색되지 않은 세포 이미지를 획득하는 단계;
    상기 세포 이미지에 포함된 적어도 하나의 특징맵을 획득하는 단계; 및
    미리 설정된 기준을 이용하여 상기 특징맵에 대응되는 세포의 유형을 식별하는 단계;를 포함하며,
    상기 미리 설정된 기준은 염색 전의 타겟 이미지에 염색 후의 참조 이미지의 라벨 정보를 매칭한 학습 데이터를 이용하여 학습되는 것인,
    이미지 분석 방법.
  2. 제1항에 있어서,
    상기 미리 설정된 기준은 상기 염색되지 않은 세포 이미지 내에 포함된 세포의 유형을 분류하도록 미리 학습된 기준인 것을 특징으로 하는
    이미지 분석 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 미리 설정된 기준은 상기 염색하지 않은 세포 이미지로부터 세포의 유형을 정확하게 식별하도록 지속적으로 업데이트되는 것인
    이미지 분석 방법.
  5. 제1항에 있어서,
    상기 라벨 정보의 매칭은,
    상기 타겟 이미지 및 상기 참조 이미지로부터 하나 이상의 특징점을 추출하는 단계;
    상기 타겟 이미지 및 상기 참조 이미지의 특징점들을 매칭하는 단계;
    상기 참조 이미지에 포함된 라벨 정보를 상기 타겟 이미지의 대응되는 픽셀에 전달하는 단계;를 포함하는
    이미지 분석 방법.
  6. 제1항에 있어서,
    상기 특징맵을 획득하는 단계 이전에 상기 염색하지 않는 세포 이미지를 사용자의 관심 영역을 기초로 세그먼트 하는 단계;를 더 포함하는
    이미지 분석 방법.
  7. 제6항에 있어서,
    상기 세그먼트된 이미지 영역 별로 상기 미리 설정된 기준에 따라 세포의 유형을 식별하는 것을 특징으로 하는
    이미지 분석 방법.
  8. 제1항에 있어서,
    상기 식별된 세포의 유형 별 개수를 카운팅하여 더 제공하는 것을 특징으로 하는
    이미지 분석 방법.
  9. 제1항에 있어서,
    상기 식별된 세포의 유형 정보를 기초로 특정 질병에 관한 진단 결과를 더 제공하는 것을 특징으로 하는
    이미지 분석 방법.
  10. 적어도 하나의 네트워크를 이용하여 혈액 이미지를 분석하기 위한 학습 방법에 있어서,
    하나 이상의 염색하지 않은 혈액의 학습 데이터를 획득하는 단계;
    상기 학습 데이터로부터 적어도 하나의 특징맵을 생성하는 단계;
    미리 지정된 하나 이상의 카테고리를 기초로 상기 특징맵의 예측 데이터를 출력하는 단계;
    상기 예측 데이터를 기초로 상기 네트워크에 적용되는 파라미터를 조정하는 단계;를 포함하되,
    미리 설정된 종료 조건이 만족될 때까지 전술한 상기 단계들을 반복적으로 수행하고,
    상기 학습 데이터는 상기 혈액 내에 포함된 하나 이상의 세포에 관한 라벨 정보를 포함하며,
    상기 라벨 정보는 염색 후 참조 데이터의 라벨 정보를 염색하지 않은 타겟 데이터에 매칭하는 방식으로 획득되는 것을 특징으로 하는
    학습 방법.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서,
    상기 학습 데이터는 미리 설정된 기준에 따라 세그먼트된 데이터인 것을 특징으로 하는
    학습 방법.
  14. 제10항에 있어서,
    상기 학습 데이터는 사용자의 관심 영역에 따라 복수 개로 세그먼트되어 적용되는 것을 특징으로 하는
    학습 방법.
  15. 제10항에 있어서,
    상기 미리 설정된 종료 조건이 만족되는 것으로 판단되는 경우, 학습 단계를 종료하는 것을 특징으로 하는
    학습 방법.
  16. 제1항, 제2항, 제4항 내지 제10항 및 제13항 내지 제15항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
KR1020180142831A 2018-11-19 2018-11-19 이미지 분석 시스템 및 분석 방법 KR102122068B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180142831A KR102122068B1 (ko) 2018-11-19 2018-11-19 이미지 분석 시스템 및 분석 방법
US17/294,596 US20220012884A1 (en) 2018-11-19 2019-11-19 Image analysis system and analysis method
PCT/KR2019/015830 WO2020106010A1 (ko) 2018-11-19 2019-11-19 이미지 분석 시스템 및 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142831A KR102122068B1 (ko) 2018-11-19 2018-11-19 이미지 분석 시스템 및 분석 방법

Publications (2)

Publication Number Publication Date
KR20200058662A KR20200058662A (ko) 2020-05-28
KR102122068B1 true KR102122068B1 (ko) 2020-06-12

Family

ID=70774726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142831A KR102122068B1 (ko) 2018-11-19 2018-11-19 이미지 분석 시스템 및 분석 방법

Country Status (3)

Country Link
US (1) US20220012884A1 (ko)
KR (1) KR102122068B1 (ko)
WO (1) WO2020106010A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533080B1 (ko) * 2020-09-25 2023-05-15 고려대학교 산학협력단 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102517328B1 (ko) * 2021-03-31 2023-04-04 주식회사 크라우드웍스 작업툴을 이용한 이미지 내 세포 분별에 관한 작업 수행 방법 및 프로그램
WO2022220385A1 (ko) * 2021-04-15 2022-10-20 주식회사 포트래이 공간 유전자발현정보에 기반하여 조직 이미지의 세포 구성을 예측하는 장치 및 방법
WO2023080601A1 (ko) * 2021-11-05 2023-05-11 고려대학교 세종산학협력단 머신러닝 기반의 렌즈프리 그림자 이미징 기술을 이용한 질병 진단 방법 및 장치
WO2023106738A1 (ko) * 2021-12-06 2023-06-15 재단법인 아산사회복지재단 호산구성 질병의 진단 방법 및 시스템
CN117705786A (zh) * 2022-09-07 2024-03-15 上海睿钰生物科技有限公司 一种细胞单克隆源性自动分析的方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426181B2 (ja) * 2009-01-21 2014-02-26 シスメックス株式会社 検体処理システム、細胞画像分類装置、及び検体処理方法
US20140273075A1 (en) * 2013-03-15 2014-09-18 Eye Marker Systems, Inc. Methods, systems and devices for determining white blood cell counts for radiation exposure
US20180264084A1 (en) * 2015-09-24 2018-09-20 Mayo Foundation For Medical Education And Research Methods for autologous stem cell transplantation
WO2017109860A1 (ja) * 2015-12-22 2017-06-29 株式会社ニコン 画像処理装置
US9971966B2 (en) * 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
JP6837493B2 (ja) * 2016-12-06 2021-03-03 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
JP7259844B2 (ja) * 2018-03-30 2023-04-18 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
EP4341964A1 (en) * 2021-05-18 2024-03-27 Pathai, Inc. Systems and methods for machine learning (ml) model diagnostic assessments based on digital pathology data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Development of ResNet-based WBC Classification Algorithm Using Super-pixel Image Segmentation*
ニュ一ラルネットワ一クによる白血球の分類
영상분석을 통한 혈구자동분류 시스템의 설계 및 구현*

Also Published As

Publication number Publication date
KR20200058662A (ko) 2020-05-28
US20220012884A1 (en) 2022-01-13
WO2020106010A1 (ko) 2020-05-28

Similar Documents

Publication Publication Date Title
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
JP7261414B2 (ja) 分析方法
US20230127698A1 (en) Automated stereology for determining tissue characteristics
Chen et al. Deep learning based automatic immune cell detection for immunohistochemistry images
EP2936116B1 (en) System and method for classification of particles in a fluid sample
JP5461630B2 (ja) 合焦位置を決定する方法及びビジョン検査システム
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
EP4091135A1 (en) Non-tumor segmentation to support tumor detection and analysis
KR20190114241A (ko) 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법
US20210264130A1 (en) Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample
JP2015508501A (ja) 顕微鏡画像に含まれている細胞を分類するための教師付き分類方法
Li et al. An automatic plant leaf stoma detection method based on YOLOv5
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
EP1947441B1 (en) Apparatus for determining positions of objects contained in a sample
Akiba et al. Design and testing of an underwater microscope and image processing system for the study of zooplankton distribution
CN109934045B (zh) 行人检测方法和装置
Ertürk Automatic cell counting from microchannel images
Govindaraju Application of convolutional neural network for leukocyte quantification from a smartphone based microfluidic biosensor
KR102522160B1 (ko) 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
Spampinato Semantic Segmentation of Radio-Astronomical Images
Tuxworth et al. Segmentation of Inter-neurons in Three Dimensional Brain Imagery
CN115050024A (zh) 一种可解释性的粒细胞智能实时识别方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right