KR20210000215A - 혈액영상을 이용한 백혈구 감별방법 - Google Patents

혈액영상을 이용한 백혈구 감별방법 Download PDF

Info

Publication number
KR20210000215A
KR20210000215A KR1020190075243A KR20190075243A KR20210000215A KR 20210000215 A KR20210000215 A KR 20210000215A KR 1020190075243 A KR1020190075243 A KR 1020190075243A KR 20190075243 A KR20190075243 A KR 20190075243A KR 20210000215 A KR20210000215 A KR 20210000215A
Authority
KR
South Korea
Prior art keywords
blood
white blood
image
discriminating
blood cells
Prior art date
Application number
KR1020190075243A
Other languages
English (en)
Other versions
KR102264612B1 (ko
Inventor
김기두
반익 파르타
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020190075243A priority Critical patent/KR102264612B1/ko
Publication of KR20210000215A publication Critical patent/KR20210000215A/ko
Application granted granted Critical
Publication of KR102264612B1 publication Critical patent/KR102264612B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Computational Linguistics (AREA)
  • Food Science & Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법은 혈액영상이 입력되는 단계 및 딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 혈액영상 내 백혈구가 감별되는 단계가 포함될 수 있다.

Description

혈액영상을 이용한 백혈구 감별방법{THE METHOD FOR DIFFERENTIATION OF WHITE BLOOD CELL USING BLOOD IMAGES}
본 발명은 혈액영상을 이용한 백혈구 감별방법에 관한 것으로, 더욱 상세하게는 입력된 혈액영상에 대하여 딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 혈액영상 내 백혈구가 감별되는 백혈구 감별방법에 관한 것이다.
혈액세포는 인체에서 필수적인 세포 중 하나로, 혈액세포에는 적혈구(red blood cell), 백혈구(white blood cell), 혈소판(platelet) 등이 있다. 백혈구는 면역체계를 위한 세포에 해당되어 면역세포라고도 불린다. 즉, 백혈구는 다양한 종류의 전염병과 외부 침입자로부터 인체를 보호한다.
백혈구는 세포질의 특이 과립의 존재 여부에 따라 크게 과립성 백혈구(granulocyte)와 무과립성 백혈구(agranulocyte)로 나눌 수 있다. 과립성 백혈구에는 호중구(neutrophils), 호산구(eosinophils), 호염기구(basophils) 등이 포함되며, 무과립성 백혈구에는 림프구(lymphocyte)와 단핵구(monocyte) 등이 포함된다. 특히, 백혈구의 특정 유형(Ex. 호중구, 호산구, 단핵구, 림프구 등)의 비정상적인 범위(양) 때문에 다양한 중증 질환(Ex. 세균 감염, 후천성 면역 결핍 증후군, 암 등)이 발생할 수 있다. 이에 따라 혈액 관련 질환을 진단함에 있어서 백혈구의 유형 별 개수(양)를 계산함으로써 백혈구의 특성을 파악하는 것은 매우 중요하다.
다만, 혈액검사 관련 업종에 종사하는 전문가라고 하더라도 직접 혈액영상을 관찰하여 백혈구의 유형을 분류하고 분류된 백혈구의 유형 별 개수를 계산하는 것은 시간, 비용 측면에서 효율이 떨어지는 문제가 있다. 이에 따라, 컴퓨터 보조 진단 시스템 등의 기술을 이용하여 백혈구의 유형을 분류하고 계수가 가능한 기술에 대한 개발이 요구되고 있다.
컴퓨터 보조 진단 시스템(CAD: computer aided diagnosis)이란 의료영상을 분석한 결과에 따라 의료영상의 소정의 부위에 진단에 관련된 내용의 표시를 통해 의사의 진단에 도움을 줄 수 있는 시스템을 지칭한다. 최근에는 컴퓨터 보조 진단 시스템 상에서 여러 가지 의학적인 진단 문제를 해결하기 위해서 딥러닝(deep-learning) 알고리즘이 활용되어 복잡한 이미징 및 해부학적 영상을 분석하여 진단에 활용되고 있다. 특히, 콘볼루션 신경망(CNN: Convolution Neural Network)은 패턴 인식 분야에서 매우 잘 알려진 딥러닝 알고리즘 중에 하나로 다양한 이미지 분류관련 기술분야에서 폭넓게 이용되고 있다.
그럼에도 불구하고, 콘볼루션 신경망(CNN) 기반으로 학습된 분류모델을 이용하여 혈액영상으로부터 백혈구의 유형을 분류하고 계수할 수 있는 기술의 개발은 미비한 상황이다.
1. 대한민국 공개특허공보 제10-1996-0008309호 (1996.03.22 공개)
본 발명은 전술한 바와 같은 기술 개발 요구에 따라 안출된 것으로서, 상세하게는 딥러닝 알고리즘에 기반하여 생성된 감별모델을 이용하여 혈액영상 내에서 백혈구의 유형분류 및 계수가 가능한 백혈구 감별방법을 제공하고자 함에 그 목적이 있다.
또한, 혈액영상 내에서 백혈구의 핵을 검출함으로써 세포질과 구분함으로써 더욱 정확한 백혈구 유형 분류가 가능하도록 함에 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 발명의 일 실시 예로써, 혈액영상을 이용한 백혈구 감별방법이 제공될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법은 혈액영상이 입력되는 단계 및 딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 혈액영상 내 백혈구가 감별되는 단계가 포함될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 감별모델에는 혈액영상에 대하여 얕은 특징을 추출하기 위한 제 1 신경망, 혈액영상에 대하여 깊은 특징을 추출하기 위한 제 2 신경망, 추출된 얕은 특징 및 깊은 특징에 기초하여 백혈구를 분류하기 위한 완전연결층 및 제 1 신경망 및 제 2 신경망의 출력이 융합되어 완전연결층으로 입력되도록 형성된 융합층이 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상이 입력되는 단계 이후 및 백혈구가 감별되는 단계 이전에, 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계에서는 혈액영상에 대하여 소정 개수만큼 설정된 색상 클러스터 간 픽셀 수의 차이에 기초하여 핵이 검출될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계에는 혈액 영상 내에서 검출된 핵의 경계영역이 설정되는 단계가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 백혈구가 감별되는 단계에서는 혈액영상 내 백혈구의 유형 및 백혈구의 유형 별 개수가 도출될 수 있다.
본 발명의 일 실시 예로써, 혈액영상을 이용한 백혈구 감별장치가 제공될 수 있다.
본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별장치는 혈액영상이 입력되는 영상입력부, 딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 혈액영상 내 백혈구가 감별되는 백혈구감별부 및 백혈구감별부의 감별 결과를 사용자 단말로 제공하기 위한 출력부가 포함될 수 있다.
본 발명의 일 실시 예로서 제공되는 백혈구 감별방법에 따르면, 딥러닝 알고리즘에 기반하여 생성된 감별모델을 이용하여 혈액영상 내에서 백혈구의 유형분류 및 계수가 가능한 효과가 있다.
또한, 혈액영상 내에서 백혈구의 핵을 검출함으로써 세포질과 구분함으로써 더욱 정확하게 백혈구의 유형을 분류할 수 있는 효과가 있다.
더불어, 혈액영상에 대하여 얕은 특징을 추출하기 위한 제 1 신경망과 깊은 특징을 추출하기 위한 제 2 신경망으로 융합되어 생성된 감별모델을 이용함으로써 정확하고 빠르게 백혈구 유형을 분류할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법을 나타낸 예시도이다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 감별모델의 내부구조를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 백혈구의 유형을 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상 내에서 백혈구의 핵이 검출되는 과정이 추가된 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상을 나타낸 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 클러스터링 알고리즘에 기초하여 핵이 검출되는 과정을 나타낸 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 검출된 핵의 경계영역이 설정되는 과정을 나타낸 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 상이한 형태의 백혈구 핵을 나타낸 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별장치를 나타낸 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명의 일 실시 예로써, 혈액영상을 이용한 백혈구 감별방법이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 혈액영상(20)을 이용한 백혈구 감별방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시 예에 따른 혈액영상(20)을 이용한 백혈구 감별방법을 나타낸 예시도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 혈액영상(20)을 이용한 백혈구 감별방법은 혈액영상(20)이 입력되는 단계(S100) 및 딥러닝 알고리즘에 따라 미리 학습된 감별모델(100)을 이용하여 혈액영상(20) 내 백혈구가 감별되는 단계(S200)가 포함될 수 있다.
본 명세서에서 혈액영상은 혈액에 대하여 카메라, 현미경 등의 촬영장치를 이용하여 획득된 영상을 지칭한다. 또한, 상기 혈액영상은 염색약(staining solution)을 이용하여 슬라이드 글라스와 같은 기구 상에 도말된 혈액을 염색한 뒤 획득된 혈액에 대한 영상을 나타낼 수 있다. 즉, 상기 혈액영상은 도말(smear) 과정, 염색 과정을 거친 혈액에 대하여 촬영장치를 이용하여 획득된 영상에 해당될 수 있다. 상기 촬영장치를 통해 혈액을 촬영하는 방식에는 제한이 없다. 즉, 상기 혈액영상은 RGB 기반 영상에 해당될 수 있다.
또한, 상기 딥러닝 알고리즘에는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 및 LSTM(Long Short-Term Memory) 중 어느 하나에 해당될 수 있다. 뿐만 아니라 상기 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 하나 이상이 결합되어 생성될 수 있다. 즉, 상기 딥러닝 알고리즘은 전술한 예시들에 제한되는 것은 아니고 다양한 알고리즘이 본 발명의 일 실시 예에 따른 백혈구 감별방법에 적용될 수 있다. 다시 말하면, 딥러닝 알고리즘에 기초하여 학습됨으로써 생성된 감별모델(100)을 이용하여 혈액영상 내에서 백혈구가 감별될 수 있다.
상기 S100 - S200 과정에 따른 혈액영상(20) 감별결과는 도 2에 도시된 바와 같이 사용자 단말(90)로 제공될 수 있다. 사용자는 혈액검사를 실시하는 검사자 혹은 전문의료인에 해당될 수 있다. 또한, 사용자 단말(90)은 상기 사용자가 혈액검사 혹은 진단보조를 위해 사용하는 디바이스를 지칭할 수 있다. 즉, 사용자 단말(90)에는 혈액영상(20)에 대하여 백혈구를 감별한 결과를 사용자에게 디스플레이나 사운드 신호를 통해서 제공할 수 있는 기기이면 모두 포함될 수 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 혈액영상(20)을 이용한 백혈구 감별방법에 있어서, 감별모델(100)에는 혈액영상(20)에 대하여 얕은 특징을 추출하기 위한 제 1 신경망(110), 혈액영상(20)에 대하여 깊은 특징을 추출하기 위한 제 2 신경망(120), 추출된 얕은 특징 및 깊은 특징에 기초하여 백혈구를 분류하기 위한 완전연결층(140) 및 제 1 신경망(110) 및 제 2 신경망(120)의 출력이 융합되어 완전연결층(140)으로 입력되도록 형성된 융합층(130)이 더 포함될 수 있다.
상기 제 1 신경망(110)은 단일의 콘볼루션층이 포함된 콘볼루션 신경망(CNN: Convolutional Neural Network) 기반으로 형성된 신경망에 해당될 수 있다. 즉, 상기 제 1 신경망(110)은 단일의 콘볼루션층만이 구비되어 얕은(shallow) 구조로 형성되어 입력된 혈액영상(20)으로부터 얕은 특징이 추출될 수 있다. 이와는 달리 제 2 신경망(120)은 복수개의 콘볼루션층이 포함된 콘볼루션 신경망(CNN) 기반으로 형성된 신경망에 해당될 수 있다. 즉, 상기 제 2 신경망(120)은 복수개의 콘볼루션층들이 구비되어 깊은(deep) 구조로 형성되어 입력된 혈액영상(20)으로부터 깊은 특징이 추출될 수 있다. 상기 콘볼루션층이 하나만 포함되어 있는 신경망은 전술한 바와 같이 얕은 구조의 신경망에 해당되고, 상기 콘볼루션층이 복수개 포함된 신경망은 깊은 구조의 신경망에 해당될 수 있다.
상기 콘볼루션층은 콘볼루션 연산을 통해 객체의 특징을 나타내는 특징맵을 생성하는 필터에 해당될 수 있다. 즉, 상기 신경망은 콘볼루션 층에서 입력된 혈액영상(20)에 대하여 상기 혈액영상(20)을 형성하는 국부적인 패턴(local pattern)이 어떠한 형태로 존재하는지 검출됨으로써 혈액영상(20) 내 백혈구의 유형 및 유형 별 개수를 판단할 수 있다. 상기 패턴은 혈액영상(20) 내에서 윤곽선을 통해 인접 픽셀들 사이에 존재하는 특징(feature)에 해당될 수 있다. 상기 혈액영상(20)의 특징을 찾기 위해 스트라이드(stride)가 수행될 수 있는데, 상기 콘볼루션층에서 사용되는 스트라이드 사이즈는 다양하게 설정될 수 있다.
상기 신경망에는 적어도 하나 이상의 풀링층(pooling layer)이 더 포함될 수 있다. 상기 풀링층에서는 콘볼루션층의 출력 데이터의 크기를 줄이거나 특정 데이터를 강조하는 풀링연산이 수행될 수 있다. 상기 풀링층에는 맥스풀링층(max pooling layer) 및 평균풀링층(average pooling layer)이 포함될 수 있다.
상기 완전연결층(fully connected layer)은 추출된 특징정보에 기초하여 백혈구의 유형 및 유형 별 개수가 분류되는 분류기(classfier)에 해당될 수 있다. 상기 융합층(130)은 제 1 신경망(110)과 제 2 신경망(120)의 출력을 융합하여 상기 완전연결층(140)의 입력이 되도록 연결하는 레이어일 수 있다. 상기 융합층(130)은 후술하는 바와 같이 풀링층에 해당될 수 있다. 상기 완전연결층(140)에는 적어도 하나 이상의 은닉층(hidden layer) 및 출력층(output layer)은 물론, 차원 변경을 위한 플래튼층(flatten layer)이 추가적으로 포함될 수 있다. 상기 출력층에는 Softmax 활성화 기능이 사용됨으로써 백혈구의 유형이 분류될 수 있다.
또한, 상기 콘볼루션층과 완전연결층(140)에는 다양한 활성화 함수(Activation function)가 사용될 수 있다. 다만, 본 발명의 백혈구 감별방법에 있어서 상기 콘볼루션층과 완전연결층(140)에는 ReLU(Rectified Linear Unit) 함수가 적용되는 것이 바람직하다. 상기 ReLU(Rectified Linear Unit) 함수에는 Leaky-ReLU 활성화 함수가 포함될 수 있으며, ReLU 활성화 함수의 계수는 다양한 값으로 실험을 통해 결정될 수 있다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 혈액영상(20)을 이용한 백혈구 감별방법에 있어서, 감별모델(100)의 내부구조를 나타낸 예시도이다. 이하에서는 도 3 및 도 4에 도시된 감별모델(100) 각각에 대하여 상세히 설명하겠다.
도 3의 제 1 감별모델(100-1)에서 제 1 신경망(110)은 전술한 바와 같이 단일의 제 1 콘볼루션층(111)과 제 1 풀링층(115) 및 제 2 풀링층(116)이 함께 형성되어 얕은 구조의 콘볼루션 신경망이 형성될 수 있다. 이와는 달리 제 2 신경망(120)에는 제 2 콘볼루션층(121), 제 3 콘볼루션층(122), 제 4 콘볼루션층(123) 및 제 5 콘볼루션층(124)에 해당되는 4개의 콘볼루션층과 제 3 풀링층(126)이 연결되어 깊은 구조의 콘볼루션 신경망이 형성될 수 있다. 상기 제 1 콘볼루션층 내지 제 5 콘볼루션층의 필터 수 및 필터의 크기는 모두 동일하거나 각각 상이하게 설정될 수 있다. 또한, 상기 제 1 콘볼루션층 내지 제 5 콘볼루션층에 패딩(padding)이 적용될 수 있다. 상기 패딩 값은 '0'으로 설정됨이 바람직하다. 상기 제 1 풀링층 내지 제 3 풀링층은 전술한 맥스풀링층(max pooling layer)에 해당될 수 있다. 또한, 상기 제 3 풀링층과 완전연결층(140)은 드롭아웃층(dropout layer)이 소정의 비율로 사용될 수 있다. 예를 들면 제 3 풀링층과 완전연결층(140)에 각각 0.1 및 0.4의 비율로 드롭아웃 비율(dropout rate)이 결정될 수 있다. 다만, 이는 예시적인 것에 불과하고 실험적으로 다양한 드롭아웃 비율이 결정될 수 있음은 당연하다.
도 4의 제 2 감별모델(100-2)에서 제 1 신경망(110)은 도 3의 감별모델(100)과 동일하게 단일의 제 1 콘볼루션층(111)과 제 11 풀링층(117) 및 제 12 풀링층(118)이 함께 형성되어 얕은 구조의 콘볼루션 신경망이 형성될 수 있다. 상기 제 2 신경망(120)은 3개의 융합 콘볼루션층(Fused Convolutional Layer), 4개의 콘볼루션층 및 4개의 풀링층으로 형성된 깊은 구조의 콘볼루션 신경망일 수 있다. 상기 제 1 융합 콘볼루션층(F121)은 제 1 신경망(110)의 제 1 콘볼루션층(111)과 제 2 신경망(120)의 제 1 풀링층(127A)이 융합되어 형성될 수 있다. 상기 제 2 융합 콘볼루션층(F122)은 상기 상기 제 1 융합 콘볼루션층(F121)으로부터 연결된 제 2 콘볼루션층(121)과 연결되는 제 3 콘볼루션층(122)과 제 2 풀링층(127B)이 융합되어 형성될 수 있다. 상기 제 3 융합 콘볼루션층(F123)은 상기 제 2 융합 콘볼루션층(F122)으로부터 연결된 제 4 콘볼루션층(123)과 제 3 풀링층(127C)이 융합되어 형성될 수 있다. 상기 융합층(130)은 상기 제 2 신경망(120)의 제 3 융합 콘볼루션층(F123)으로부터 연결된 제 5 콘볼루션층(124)과 연결된 제 5 풀링층(129)과 상기 제 1 신경망(110)의 제 12 풀링층(118)의 출력을 융합하여 상기 완전연결층(140)에 입력되도록 형성될 수 있다. 상기 복수개의 콘볼루션층들 및 융합 콘볼루션층들의 필터 수 및 필터의 크기는 모두 동일하거나 각각 상이하게 설정될 수 있다. 또한, 상기 복수개의 콘볼루션층들 및 융합 콘볼루션층들에는 패딩(padding)이 적용될 수 있다. 상기 패딩 값은 '0'으로 설정됨이 바람직하다. 상기 제 2 감별모델(100-2)에 포함된 풀링층들은 전술한 평균풀링층(average pooling layer)에 해당될 수 있다. 상기 제 1 풀링층 내지 제 3 풀링층은 융합 콘볼루션층을 생성하기 위한 풀링층일 수 있다. 상기 제 1 풀링층 내지 제 3 풀링층은 융합 콘볼루션층 생성에 있어서, 상기 융합 콘볼루션층에 혈액영상(20)의 원본 정보(original information)를 전달하기 위한 풀링층에 해당될 수 있다. 또한, 상기 제 12 풀링층(118)과 완전연결층(140)은 드롭아웃층(dropout layer)이 소정의 비율로 사용될 수 있다. 예를 들면 제 12 풀링층(118)과 완전연결층(140)에 각각 0.3 및 0.1의 비율로 드롭아웃 비율(dropout rate)이 결정될 수 있다. 다만, 이는 예시적인 것에 불과하고 실험적으로 다양한 드롭아웃 비율이 결정될 수 있음은 당연하다.
도 4에 도시된 상기 제 2 감별모델(100-2)은 아래와 같은 [수학식 1]에 의하여 콘볼루션 연산이 표시될 수 있다.
[수학식 1]
Figure pat00001
상기 [수학식 1]에서
Figure pat00002
는
Figure pat00003
번째 필터의
Figure pat00004
픽셀에 대한
Figure pat00005
번째 콘볼루션층에서의 픽셀을 나타낸다.
Figure pat00006
는
Figure pat00007
번째 채널의
Figure pat00008
픽셀에 대한
Figure pat00009
번째 콘볼루션층의 이전 콘볼루션층(P-1번째)에서의 픽셀을 나타낸다. 상기
Figure pat00010
은
Figure pat00011
필터의
Figure pat00012
번째 요소에 해당하는 시작 픽셀(starting pixel)을 나타내고,
Figure pat00013
는 위치
Figure pat00014
에서의
Figure pat00015
번째 콘볼루션 층에 대한 필터 값을 나타내며,
Figure pat00016
는 필터
Figure pat00017
의 전체 요소에 해당되고,
Figure pat00018
는
Figure pat00019
번째 필터의 바이어스 항(bias term)에 해당된다. 상기 제 2 감별모델(100-2)에서 각 콘볼루션층의 필터 수(
Figure pat00020
)는 32로 설정될 수 있다.
[수학식 2]
Figure pat00021
[수학식 3]
Figure pat00022
상기 [수학식 2]에서
Figure pat00023
는
Figure pat00024
번째 콘볼루션 층의
Figure pat00025
번째 채널에서
Figure pat00026
픽셀에 대하여 전술한 Leaky-RELU 활성함수가 적용된 후 픽셀을 나타낸다. 평균풀링층(average pooling layer)은 상기 [수학식 3]과 같이 표현될 수 있다.
Figure pat00027
는
Figure pat00028
번째 채널에서
Figure pat00029
픽셀에 대한
Figure pat00030
번째 콘볼루션층의 평균풀링층을 나타내며, 상기
Figure pat00031
와
Figure pat00032
는 각각 이미지 패치 높이(height)와 너비(width)를 나타냅니다.
[수학식 4]
Figure pat00033
[수학식 5]
Figure pat00034
[수학식 6]
Figure pat00035
[수학식 7]
Figure pat00036
이하에서는, 상기 [수학식 4] 내지 [수학식 7]을 이용하여 완전연결층(fully connected layer)과 출력층(output layer)의 동작을 설명한다. 도 4의 제 2 감별모델(100-2)에서 제 1 신경망(110)의 제 12 풀링층과 제 2 신경망(120)의 제 5 풀링층을 연결한 후 제 1 신경망(110) 및 제 2 신경망(120)으로부터 추출된 특징들은 매트릭스(matrix) 형식으로 구성될 수 있다. 즉, 상기 융합층(130)에서는 상기 추출된 특징들에 대하여 싱글 벡터(single-vector) 형식으로 구성되도록 하여 상기 완전연결층(140)에 입력되도록 할 수 있다.
상기 [수학식 4]에서
Figure pat00037
는 입력 특징 벡터를,
Figure pat00038
는 상기 완전연결층(140)의 은닉층(hidden layer)의 뉴런에 대한 입력 특징의 가중치(weight)를 나타내며,
Figure pat00039
는 각 은닉층의 뉴런에 대한 바이어스 항을 나타낸다.
Figure pat00040
는
Figure pat00041
번째 은닉층의 뉴런에 대한 입력을 나타내며,
Figure pat00042
는 입력 특징들의 총 개수를 나타낸다. [수학식 5]에서
Figure pat00043
는 Leaky-ReLU 활성화 함수의
Figure pat00044
번째 뉴런에 대한 은닉층 출력을 나타낸다.
Figure pat00045
는
Figure pat00046
번째 출력층 뉴런에 대한 입력을 나타낸다. 본 발명의 일 실시 예에 따른 백혈구 감별방법에서는 백혈구의 4가지 유형(호중구, 호산구, 림프구, 단핵구)이 예측됨으로써 감별되므로 상기 출력층에서 총 출력 뉴런의 개수는 4개일 수 있다.
Figure pat00047
는
Figure pat00048
번째 은닉층의 뉴런으로부터
Figure pat00049
번째 출력층의 뉴런까지의 가중치를 나타내며,
Figure pat00050
는
Figure pat00051
번째 출력층 뉴런의 바이어스 항을 나타내며,
Figure pat00052
는 은닉층 뉴론들의 총 개수를 나타낸다. 상기 [수학식 7]에서
Figure pat00053
은
Figure pat00054
번째 출력층 뉴런 의 softmax 출력을 나타내며,
Figure pat00055
는
Figure pat00056
에 대한 지수함수를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상 내에서 백혈구의 핵이 검출되는 과정이 추가된 순서도이고, 도 7은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상을 나타낸 예시도이다.
도 6 및 도 7을 참조하면, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 혈액영상이 입력되는 단계(S100) 이후 및 백혈구가 감별되는 단계(S200) 이전에, 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계(S150)가 더 포함될 수 있다. 즉, 도 7의 (a)와 같이 입력된 혈액영상에 대하여 도 7의 (b)와 같이 영역을 분할하고, 도 7의 (c)에서와 같이 백혈구의 핵과 세포질이 구분될 수 있다. S150 단계와 같이 백혈구의 핵을 먼저 검출하는 것은 백혈구 핵(nucleus)의 형태에 따라 백혈구의 유형 분류가 용이하기 때문이다.
도 8은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 클러스터링 알고리즘에 기초하여 핵이 검출되는 과정을 나타낸 예시도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 입력된 혈액영상 내에서 백혈구의 핵이 검출되 단계에서는 혈액영상에 대하여 소정 개수만큼 설정된 색상 클러스터 간 픽셀 수의 차이에 기초하여 핵이 검출될 수 있다. 즉, 상기 S150 단계는 클러스터링 알고리즘에 기초하여 핵이 검출될 수 있다. 상기 클러스터링 알고리즘에는 K-평균 군집화 알고리즘(K-means clustering algorithm)이 포함될 수 있다. 상기 K-평균 군집화 알고리즘은 주어진 데이터를 K개의 클러스터(cluster)으로 묶는 알고리즘일 수 있다. 즉, K-평균 군집화 알고리즘은 각 클러스터 간 거리에 대한 분산 값이 최소화 되도록 하는 알고리즘일 수 있다.
본 발명의 백혈구 감별방법에서는 백혈구 핵 검출을 위하여 K-평균 군집화 알고리즘을 적용함에 있어서, 5개의 클러스터가 설정될 수 있다. 이는 혈액영상에서 4개의 서로 다른 색깔이 나타날 수 있기 때문이다. 구체적으로, 도 7의 (d)를 살펴보면 배경컬러(312), 적혈구컬러(313), 세포질컬러(314) 및 핵컬러(315) 이외에도 혈액영상의 회전에 따라 발생가능한 회전컬러(311)까지 총 5개의 컬러가 나타날 수 있기 때문이다. 도 7의 (d)에 도시된 바와 같이 상기 배경컬러(312)는 하얀 빛의 색을 띠며, 상기 적혈구컬러(313)는 적혈구의 빨간 빛을 띠며, 상기 세포질컬러(314)는 세포질의 밝게 붉은 색을 띠고, 상기 핵컬러(315)는 파란 빛을 띠며 상기 회전컬러(311)는 검정색일 띨 수 있다. 다만, 이는 예시적인 것에 불과하고 클러스터의 개수 및 클러스터 별 색상은 다양하게 설정될 수 있다.
상기와 같이 클러스터의 개수 및 클러스터의 색상이 결정되면 도 8에 도시된 과정에 기초하여 백혈구의 핵에 해당되는 클러스터의 색상이 결정될 수 있다.
먼저, K 개의 클러스터 중 제 1 클러스터가 제거(S153)될 수 있다. 즉, 전술한 예시에 따르면 5개의 클러스터 중 하나의 클러스터가 제거될 수 있다. 상기 제거되는 제 1 클러스터는 회전컬러(311)인 검정색(black)에 해당되는 클러스터일 수 있다.
다음으로, 상기 제거된 제 1 클러스터를 제외한 K-1 개의 클러스터에 대하여 픽셀 수를 계산하고 계산된 픽셀 수를 배열에 저장(S154)하고, 상기 픽셀 수가 저장된 배열을 오름차순(ascending order)으로 정렬(S155)할 수 있다.
다음으로 제 2 요소에 해당되는 픽셀 수와 제 1 요소의 픽셀 수 사이의 차이 값이 기준픽셀 값보다 큰지 여부를 비교(S165)하여 상기 차이 값이 기준픽셀 값보다 크다면 제 1 요소에 대응되는 클러스터의 색상(322)이 핵의 색상에 해당되고, 상기 차이 값이 기준픽셀 값보다 작다면 제 2 요소에 대응되는 클러스터의 색상(325)이 핵의 색상으로 결정될 수 있다. 상기 기준픽셀 값은 다양하게 설정가능하며, 예를 들면 상기 기준픽셀 값은 3500일 수 있다.
즉, 상기와 같은 과정으로 혈액영상을 제 1 요소에 대응되는 클러스터의 색상과 제 2 요소에 대응되는 클러스터의 색상으로 구분하여 표시하도록 함으로써 백혈구의 핵이 검출될 수 있다. 즉, 상기 배열은 백혈구의 핵 형태 및 나머지가 구분되도록 각각 제 1 요소 및 제 2 요소에 대응되는 클러스터의 색상으로 결정되어 픽셀 수로 표현될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 검출된 핵의 경계영역이 설정되는 과정을 나타낸 예시도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 입력된 혈액영상 내에서 백혈구의 핵이 검출되 단계에는 혈액 영상 내에서 검출된 핵의 경계영역이 설정되는 단계가 더 포함될 수 있다. 상기 경계영역이 설정되는 단계는 핵의 위치를 정확하게 검출하는 단계를 지칭할 수 있다.
구체적으로, 핵의 경계영역이 설정되는 단계는 도 9와 같이 먼저 상기 백혈구 핵 검출과정에서의 배열의 행과 열에 대하여 화이트 픽셀(white pixel)의 길이를 측정하고 각각 제 1 배열 및 제 2 배열에 저장(S161)할 수 있다. 즉, 상기 제 1 배열은 행에 대하여 상기 화이트 픽셀의 길이가 측정된 값이 저장된 배열이고, 상기 제 2 배열은 열에 대하여 상기 화이트 픽셀의 길이가 측정된 값이 저장된 배열일 수 있다.
다음으로, 제 1 배열 및 제 2 배열 내 최대 값이 존재하는 위치를 검출하여 각각 제 1 최대위치인자 및 제 2 위치인자에 할당(S162)할 수 있다. 즉, 제 1 최대위치인자는 제 1 배열 내에 최대 값이 존재하는 위치가 할당된 인자이고, 제 2 최대위치인자는 제 2 배열 내에 최대 값이 존재하는 위치가 할당된 인자일 수 있다. 다시 말하면, 상기 제 1 최대위치인자 또는 제 2 최대위치인자는 혈액영상에서 제 1 핵의 위치가 할당된 인자일 수 있다. 상기 제 1 핵은 크기가 가장 큰 핵을 나타낼 수 있다.
S162 단계 이후에 배열에서 행의 왼쪽 및 오른쪽 방향으로 제 1 최대위치인자에 해당되는 위치로부터 제로 화이트 픽셀의 위치를 찾아 각각 제 1 위치인자 및 제 2 위치인자에 할당(S163)할 수 있다. 즉, 화이트 픽셀이 0인 행을 찾을 때까지 왼쪽과 오른쪽 방향으로 이동할 수 있다. 상기 제 1 위치인자 및 제 2 위치인자는 각각 백혈구 핵에 대하여 행 또는 열의 시작 위치 및 종료 위치를 나타내는 인자일 수 있다.
다음으로, 제 1 위치인자 및 제 2 위치인자에 대응되는 각각의 위치에서 왼쪽 및 오른쪽 방향으로 제로 화이트 픽셀을 카운트하여 제 1 위치인자 및 제 2 위치인자의 값을 갱신(S164)할 수 있다. 즉, 상기 S164 단계는 제 1 최대위치인자 또는 제 2 최대위치인자에 기초하여 판단된 제 1 핵과 연결되는 부분이 있는지 확인하기 위한 준비과정에 해당된다.
상기와 같이 S164에서 카운트된 제로 화이트 픽셀이 기준 데이터 이하인지 판단(S165)하고, 이하인 경우에는 행의 왼쪽 및 오른쪽 방향으로 제 1 위치인자 및 제 2 위치인자에 각각 대응되는 위치로부터 화이트 픽셀 위치를 찾아 이전 S164 단계로 이동(S166)하여 상기 제로 화이트 픽셀 카운트를 통해 갱신되는 과정이 수행될 수 있다. 이와는 달리, 제로 화이트 픽셀이 기준 데이터를 초과하는 경우에는 이전 S164 단계에서 갱신된 제 1 위치인자 및 제 2 위치인자 값을 저장(S167)할 수 있다. 이후에는 제 2 최대인자에 대하여 열 방향(위 방향 및 아래 방향)으로 이전의 과정(S163 - S166)이 추가적으로 수행될 수 있다.
즉, 상기와 같은 과정을 거쳐 분할된 핵의 위치를 정확하게 측정할 수 있다. 도 10에 도시된 바와 같이 백혈구의 핵은 여러 형태로 형성될 수 있다. 도 10의 (a)와 같이 크기가 가장 큰 핵(401)이 일체형 혹은 연속적으로 형성될 수 있지만, 도 10의 (b)에서와 같이 크기가 큰 두 개의 핵이 분리된 형태(402)로 형성될 수 있다. 상기와 같이 여러 형태의 핵에 대하여 전술한 핵 경계영역이 설정과정을 거쳐 분리되거나 일체형으로 형성된 핵의 경계영역의 위치를 정확하게 측정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 백혈구의 유형을 나타낸 예시도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에 있어서, 백혈구가 감별되는 단계에서는 혈액영상 내 백혈구의 유형 및 백혈구의 유형 별 개수가 도출될 수 있다. 즉, 백혈구의 유형에는 호중구(neutrophils), 호산구(eosinophils), 림프구(lymphocyte) 및 단핵구(monocyte)가 포함될 수 있다. 도 5의 (a)는 림프구를 나타내고, 도 5의 (b)는 호산구를 나타내며, 도 5의 (c)는 단핵구를 나타내고, 도 5의 (d)는 호중구를 나타낼 수 있다. 다만, 도 5에 도시된 백혈구의 유형 별 형태는 예시적인 것에 불과하고, 백혈구의 유형 별 형태는 상기 도시된 도 5의 형태에 제한되지 않는다. 또한, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별방법에서는 백혈구의 유형을 분류하고 백혈구의 유형 별 개수를 판단함으로써 혈액 관련 질환을 진단함에 있어서 보조자료로써 제공될 수 있다.
본 발명의 일 실시 예로써, 혈액영상을 이용한 백혈구 감별장치가 제공될 수 있다. 이하에서 설명될 혈액영상을 이용한 백혈구 감별장치와 관련하여서는 전술한 백혈구 감별방법에 관한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
도 11은 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별장치(10)를 나타낸 블록도이다.
도 11을 참조하면, 본 발명의 일 실시 예에 따른 혈액영상을 이용한 백혈구 감별장치(10)는 혈액영상(20)이 입력되는 영상입력부(500), 딥러닝 알고리즘에 따라 미리 학습된 감별모델(100)을 이용하여 혈액영상 내 백혈구가 감별되는 백혈구감별부(600) 및 백혈구감별부의 감별 결과를 사용자 단말(90)로 제공하기 위한 출력부(700)가 포함될 수 있다. 상기 영상입력부를 통해 입력된 혈액영상은 데이터베이스(520)에 저장될 수 있다.
또한, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
20: 혈액영상 90: 사용자 단말
100: 감별모델
110: 제 1 신경망
120: 제 2 신경망
130: 융합층
140: 완전연결층

Claims (7)

  1. 혈액영상을 이용한 백혈구 감별방법에 있어서,
    상기 혈액영상이 입력되는 단계; 및
    딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 상기 혈액영상 내 백혈구가 감별되는 단계가 포함되는 백혈구 감별방법.
  2. 제 1 항에 있어서,
    상기 감별모델에는 상기 혈액영상에 대하여 얕은 특징을 추출하기 위한 제 1 신경망;
    상기 혈액영상에 대하여 깊은 특징을 추출하기 위한 제 2 신경망;
    상기 추출된 얕은 특징 및 깊은 특징에 기초하여 상기 백혈구를 분류하기 위한 완전연결층; 및
    상기 제 1 신경망 및 제 2 신경망의 출력이 융합되어 상기 완전연결층으로 입력되도록 형성된 융합층이 더 포함되는 백혈구 감별방법.
  3. 제 1 항에 있어서,
    상기 혈액영상이 입력되는 단계 이후 및 상기 백혈구가 감별되는 단계 이전에, 상기 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계가 더 포함되는 백혈구 감별방법.
  4. 제 3 항에 있어서,
    상기 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계에서는 상기 혈액영상에 대하여 소정 개수만큼 설정된 색상 클러스터 간 픽셀 수의 차이에 기초하여 상기 핵이 검출되는 백혈구 감별방법.
  5. 제 3 항에 있어서,
    상기 입력된 혈액영상 내에서 백혈구의 핵이 검출되는 단계에는 상기 혈액 영상 내에서 검출된 핵의 경계영역이 설정되는 단계가 더 포함되는 백혈구 감별방법.
  6. 제 1 항에 있어서,
    상기 백혈구가 감별되는 단계에서는 상기 혈액영상 내 백혈구의 유형 및 상기 백혈구의 유형 별 개수가 도출되는 백혈구 감별방법.
  7. 혈액영상을 이용한 백혈구 감별장치에 있어서,
    상기 혈액영상이 입력되는 영상입력부;
    딥러닝 알고리즘에 따라 미리 학습된 감별모델을 이용하여 상기 혈액영상 내 백혈구가 감별되는 백혈구감별부; 및
    상기 백혈구감별부의 감별 결과를 사용자 단말로 제공하기 위한 출력부가 포함되는 백혈구 감별장치.
KR1020190075243A 2019-06-24 2019-06-24 혈액영상을 이용한 백혈구 감별방법 KR102264612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190075243A KR102264612B1 (ko) 2019-06-24 2019-06-24 혈액영상을 이용한 백혈구 감별방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190075243A KR102264612B1 (ko) 2019-06-24 2019-06-24 혈액영상을 이용한 백혈구 감별방법

Publications (2)

Publication Number Publication Date
KR20210000215A true KR20210000215A (ko) 2021-01-04
KR102264612B1 KR102264612B1 (ko) 2021-06-14

Family

ID=74127476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190075243A KR102264612B1 (ko) 2019-06-24 2019-06-24 혈액영상을 이용한 백혈구 감별방법

Country Status (1)

Country Link
KR (1) KR102264612B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141223A1 (en) * 2022-01-20 2023-07-27 Applied Materials, Inc. Cell body segmentation using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960008309A (ko) 1994-08-03 1996-03-22 하시모도 레이죠 백혈구 분류방법
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960008309A (ko) 1994-08-03 1996-03-22 하시모도 레이죠 백혈구 분류방법
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141223A1 (en) * 2022-01-20 2023-07-27 Applied Materials, Inc. Cell body segmentation using machine learning

Also Published As

Publication number Publication date
KR102264612B1 (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
Prinyakupt et al. Segmentation of white blood cells and comparison of cell morphology by linear and naïve Bayes classifiers
JP7449420B2 (ja) 循環異常細胞を検出する方法及び装置
Bjornsson et al. Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue
Wu et al. A hematologist-level deep learning algorithm (BMSNet) for assessing the morphologies of single nuclear balls in bone marrow smears: algorithm development
Ahirwar et al. Advanced image analysis based system for automatic detection and classification of malarial parasite in blood images
KR20190043135A (ko) 생물학적 입자의 분류 시스템 및 방법
Miao et al. Simultaneous Segmentation of Leukocyte and Erythrocyte in Microscopic Images Using a Marker‐Controlled Watershed Algorithm
Rawat et al. Review of leukocyte classification techniques for microscopic blood images
Di Ruberto et al. A leucocytes count system from blood smear images: Segmentation and counting of white blood cells based on learning by sampling
Bhagavathi et al. An automatic system for detecting and counting RBC and WBC using fuzzy logic
Taher et al. Bayesian classification and artificial neural network methods for lung cancer early diagnosis
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
Loddo et al. A computer-aided system for differential count from peripheral blood cell images
Akrimi et al. Classification red blood cells using support vector machine
CN115210779A (zh) 生物样品中对象的系统性表征
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
KR102264612B1 (ko) 혈액영상을 이용한 백혈구 감별방법
CN115270874A (zh) 一种基于密度估计的流式细胞分类和计数的方法和系统
Revanda et al. Classification of Acute Lymphoblastic Leukemia on White Blood Cell Microscopy Images Based on Instance Segmentation Using Mask R-CNN.
Nazlibilek et al. White blood cells classifications by SURF image matching, PCA and dendrogram
Rohaziat et al. White blood cells type detection using YOLOv5
Hafeez et al. Image processing approach for segmentation of WBC nuclei based on K-Means clustering
CN112036334A (zh) 待测样本中的有形成分分类方法、系统及终端
Ruberto et al. A leucocytes count system from blood smear images.
Deb et al. A noble technique for detecting anemia through classification of red blood cells in blood smear

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant