KR20190022026A - 혈구 감별 장치 및 방법 - Google Patents

혈구 감별 장치 및 방법 Download PDF

Info

Publication number
KR20190022026A
KR20190022026A KR1020170107744A KR20170107744A KR20190022026A KR 20190022026 A KR20190022026 A KR 20190022026A KR 1020170107744 A KR1020170107744 A KR 1020170107744A KR 20170107744 A KR20170107744 A KR 20170107744A KR 20190022026 A KR20190022026 A KR 20190022026A
Authority
KR
South Korea
Prior art keywords
blood cell
feature data
unit
extracting
residual network
Prior art date
Application number
KR1020170107744A
Other languages
English (en)
Other versions
KR101995763B1 (ko
Inventor
최종호
김영기
정평수
이규만
Original Assignee
(주)뉴옵틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뉴옵틱스 filed Critical (주)뉴옵틱스
Priority to KR1020170107744A priority Critical patent/KR101995763B1/ko
Publication of KR20190022026A publication Critical patent/KR20190022026A/ko
Application granted granted Critical
Publication of KR101995763B1 publication Critical patent/KR101995763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G01N15/1463—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G06K9/00127—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

혈구 감별 장치 및 방법에 관한 것으로, 촬상된 혈구 이미지를 복수의 영역으로 분할하고 혈구 영역을 선택하는 분할부, 상기 분할부에서 분할된 혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 제1 추출부, 상기 분할부에서 분할된 혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 제2 추출부, 상기 제1 및 제2 추출부에서 각각 추출된 분류 특징 데이터를 결합하는 특징 데이터 결합부 및 상기 결합부에서 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 판단부를 포함하는 구성을 마련하여, 촬상된 혈구 이미지에서 레지듀얼 망 방식과 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하고, 추출된 분류 특징 데이터를 이용해서 혈구 이미지를 분류하여 혈구의 종류를 정확하게 감별할 수 있다.

Description

혈구 감별 장치 및 방법{CYTOMETRY APPARATUS AND METHOD}
본 발명은 혈구 감별 장치 및 방법에 관한 것으로, 더욱 상세하게는 혈액 샘플을 촬영한 혈구 이미지를 이용해서 혈구의 종류를 감별하는 혈구 감별 장치 및 방법에 관한 것이다.
이미지 분석기는 혈액이 도말된 혈액 표본에 포함된 혈구를 촬상하고 분석하는 장치이다.
혈구는 백혈구(White Blood Cell, WBC), 적혈구(Red Blood Cell, RBC), 혈소판(Platelet)을 포함한다.
그 중에서 백혈구는 호중구(Neutrophil, NE)와 호산구(Eosinophil, EO) 및 호염기구(Basophil, BA)를 포함하는 과립구(Granulocyte)와 단핵구(Monocyte, MO) 및 림프구(Lymphocyte, LY)로 구분될 수 있다.
실제적으로 환자의 상태에 따라 다양한 이상 형태의 백혈구 존재할 수 있고, 각각의 종류별로 구분하여 각각의 개수를 조사하는 혈구계수는 환자의 상태, 질병의 진단 및 추적 등을 파악하는데 매우 중요하다.
따라서 이미지 분석기의 감별 결과의 정확도를 향상시키기 위한 다양한 방법이 개발되고 있다.
본 출원인은 하기의 특허문헌 1 내지 특허문헌 3에 혈구 이미 촬상장치, 혈구 감별 시스템 및 혈구 이미지 처리방법 기술을 개시해서 특허 출원하여 등록받은 바 있다.
한편, 최근에는 2종류 내지 5종류로 제한된 종류의 혈구 분석 성능을 갖는 세포 분석장치와 달리, 6종류 이상, 최대 14종류의 혈구를 분석하고 있다.
표 1은 벽혈구의 감별 분류 체계표이고, 도 1은 표 1에 기재된 각 백혈구의 이미지를 보인 도면이다.
Mnemonic WBC type
1 NE Neutrophil (seg & band)
2 ME Metamyelocyte
3 MY Myelocyte
4 PR Promyelocyte
5 LY Lymphocyte
6 LA Lymphocyte, Abnormal
7 LR Lymphocyte, Abnormal
8 MO Monocyte
9 EO Eosinophil
10 BA Basophil
11 BL Blast
12 PC Plasma cell
13 NR NRBC (Erythroblast)
14 AR Cell not reportable
표 1 및 도 1에 도시된 바와 같이, 상기한 5 종류의 정상 혈구와 8 종류의 비정상 혈구및 분류 불가능한 경우를 포함하여 전체 14종류로 세분될 수 있다.
대한민국 특허 등록번호 제10-1741766호(2017년 5월 31일 공고) 대한민국 특허 등록번호 제10-1741765호(2017년 5월 31일 공고) 대한민국 특허 등록번호 제10-1741764호(2017년 5월 31일 공고)
따라서 이미지 분석기에서 촬상된 혈구 이미지를 이용해서 6종류 이상, 특히 5종류의 정상 백혈구와 9종류의 비정상 백혈구를 포함하는 총 14종류의 백혈구를 정확하게 감별할 수 있는 기술의 개발이 요구되고 있다.
본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 촬상된 혈구 이미지를 이용해서 혈구를 정확하게 감별할 수 있는 혈구 감별 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 촬상된 혈구 이미지에서 분류된 백혈구 영상과 백혈구, 핵 및 세포질 영상을 활용해서 혈구를 감별하는 혈구 감별 장치 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 혈구 감별 장치는 촬상된 혈구 이미지를 복수의 영역으로 분할하고 각 혈구 영상을 선택하는 분할부, 상기 분할부에서 분할된 혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 제1 추출부, 상기 분할부에서 분할된 혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 제2 추출부, 상기 제1 및 제2 추출부에서 각각 추출된 분류 특징 데이터를 결합하는 특징 데이터 결합부 및 상기 결합부에서 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 판단부를 포함하는 것을 특징으로 한다.
또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 혈구 감별 방법은 (a) 분할부를 이용해서 촬상된 혈구 이미지를 복수의 영역으로 분할하고 각 혈구 영상을 선택하는 단계, (b) 제1 추출부를 이용해서 분할된 혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 단계, (c) 제2 추출부를 이용해서 분할된 혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 단계, (d) 특징 데이터 결합부를 이용해서 상기 제1 및 제2 추출부에서 각각 추출된 분류 특징 데이터를 결합하는 단계 및 (e) 판단부를 이용해서 상기 결합부에서 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 혈구 감별 장치 및 방법에 의하면, 촬상된 혈구 이미지에서 레지듀얼 망 방식과 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하고, 추출된 분류 특징 데이터를 이용해서 혈구 이미지를 분류하여 혈구의 종류를 정확하게 감별할 수 있다는 효과가 얻어진다.
또한, 본 발명에 의하면, 레지듀얼 망 방식과 랜덤 포레스트 방식으로 추출된 각 분류 특징 데이터를 결합하고, 레지듀얼 망 계수 값을 기준으로 후보 특징을 추출해서 혈구의 종류를 감별함에 따라, 감별 결과의 정확도를 향상시킬 수 있다는 효과가 얻어진다.
도 1은 각 백혈구의 이미지를 보인 도면,
도 2와 도 3은 각각 CNN 방식과 레지듀얼 망 방식을 설명하는 도면,
도 4는 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치의 구성도,
도 5는 도 4에 도시된 혈구 감별 장치의 상세 블록 구성도,
도 6은 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치의 혈구 감별 방법을 단계별로 설명하는 공정도,
도 7은 랜덤 포레스트 방식과 레지듀얼 망 방식, 렌덤 포레스트 및 레지듀얼망 방식을 적용해서 혈구를 감별한 성능 비교 그래프,
도 8은 도 7에 도시된 성능 비교 테이블.
이하 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 촬상된 혈구 이미지에 대해 레지듀얼 망(residual network) 방식에 의해 추출된 분류 특징 데이터와 랜덤 포레스트(random forest) 방식에 의해 추출된 분류 특징 데이터를 결합(fusion)해서 혈구를 감별함으로써, 혈구 감별 결과의 정확도를 향상시킬 수 있다.
상기 레지듀얼 망 방식은 컨볼루셔널 신경망(convolutionanl neural network, 이하 'CNN'이라 함)의 입력에서 바로 출력으로 연결되는 쇼트컷(shortcut)연결을 추가해서 구성될 수 있다.
도 2와 도 3은 각각 CNN 방식과 레지듀얼 망 방식을 설명하는 도면이다.
상기 CNN은 도 2에 도시된 바와 같이, 입력 x를 받아 2개의 웨이티드 층(weighted layer)를 거쳐 출력 H(x)를 내며, 학습을 통해 최적의 H(x)를 얻는다.
여기서, 2개의 웨이티드 층이 출력과 입력의 차 H(x)-x를 얻도록 학습되는 경우, F(x)=H(x)-x라면 결과적으로 H(x)=F(x)+x가 된다.
상기 쇼트컷은 도 3에 도시된 바와 같이, 2개의 웨이티드 층을 파라미터 없이 바로 연결되는 구조이므로, 연산량 관점에서는 덧셈이 추가되는 것 외에 차이가 없다.
따라서 상기 레지듀얼 망은 H(x)-x를 얻기 위한 학습을 하고, 최적의 경우라면 F(x)=0이 되어야 함에 따라, 학습할 방향이 미리 결정되어 프리 컨디셔닝(pre-conditioning) 기능을 한다.
F(x)가 거의 0이 되는 방향으로 학습하면, 입력의 작은 움직임(fluctuation)을 검출할 수 있게 됨에 따라, F(x)의 작은 움직임, 즉 나머지(residual)를 학습한다는 관점에서 레지듀얼 학습(residual learning)이라고 불린다.
또한, 입력과 같은 x가 그대로 출력에 연결됨에 따라, 파라미터의 수에 영향이 없으며, 덧셈이 늘어나는 것을 제외하면 쇼트컷 연결을 통한 연산량 증가는 없으며, 몇 개의 층을 건너뛰면서 입력과 출력이 연결되기 때문에, 포워드 패스(forward path) 및 백워드 패스(backward path)가 단순해지는 효과를 얻을 수 있다.
이에 따라, 레지듀얼 망은 깊은 망도 쉽게 최적화가 가능하고, 늘어난 깊이로 인해 정확도를 개선할 수 있다는 효과를 얻을 수 있다.
한편, 레지듀얼 망은 색상이나 모양 등의 특징 추출함에 따라, 디버깅이 어려운 한계가 있다.
이에 따라, 본 발명은 레지듀얼 망 방식과 함께, 특징을 직접 디자인해서 입력하여 입력된 특징에 따라 분류 특징 데이터를 추출하는 랜덤 포레스트 방식을 결합해서 혈구를 감별함으로써, 혈구 감별 결과의 정확도를 향상시킬 수 있다.
상기 랜덤 포레스트 방식은 주어닝 트레이닝 데이터 세트에서 무작위로 중복을 허용해서 n개를 선택하고, 선택한 n개의 데이터 샘플에서 데이터 특성값을 중복 허용없이 d개를 선택해서 의사결정 트리(decision tree)를 학습하고 생성하는 과정을 k번 반복하고, 생성된 k개의 의사결정 트리를 이용해서 예측하고, 예측된 결과의 평균이나 가장 많이 등장한 예측 결과를 선택하여 최종 예측값으로 결정한다.
이러한 랜덤 포레스트는 주어진 학습 데이터에 따라 생성되는 의사결정 트리가 매우 달라져서 일반화하여 사용하기 어렵고, 학습 결과의 성능 및 변동폭이 큰 의사결정 트리 학습의 단점을 해소할 수 있다.
다음, 도 4 및 도 5를 참조하여 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치 및 방법을 상세하게 설명한다.
본 실시 예에서는 백혈구의 14종류를 감별하는 방법을 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니며, 적혈구와 혈소판을 감별하는 방법에도 적용할 수 있음에 유의하여야 한다.
도 4는 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치의 구성도이고, 도 5는 도 4에 도시된 혈구 감별 장치의 상세 블록 구성도이다.
본 발명의 바람직한 실시 예에 따른 혈구 감별 장치(10)는 도 4 및 도 5에 도시된 바와 같이, 촬상된 혈구 이미지를 복수의 영역으로 분할하고 각 혈구 영상을 선택하는 분할부(20), 분할부(20)에서 분할된 백혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 제1 추출부(30), 분할부(20)에서 분할된 백혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 제2 추출부(40), 제1 및 제2 추출부(30,40)에서 각각 추출된 분류 특징 데이터를 결합(fusion)하는 특징 데이터 결합부(이하 '결합부'라 함)(50) 및 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 판단부(60)를 포함할 수 있다.
그리고 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치(10)는 분할부(20)에 의해 분할된 백혈구와 핵 및 세포질 영상을 저장하고 관리하는 이미지 인터페이스(70)를 더 포함할 수 있다.
분할부(20)는 혈구 이미지 촬상장치(도면 미도시)에서 미리 설정된 배율, 예컨대 x100으로 촬상된 혈구 이미지를 복수, 예컨대 8개의 영역으로 분할하고 분할된 영역들 중에서 혈구 이미지 가장자리 부분을 제거해서 혈구 영상을 선택할 수 있다.
이와 같이, 분할부(20)에서 선택된 혈구 영상은 이미지 인터페이스(70)에 저장되고 관리될 수 있다.
제1 추출부(30)는 이미지 인터페이스(70)로부터 전달되는 백혈구 영상에서 레지듀얼 망 방식으로 제1 분류 특징(ResNet Feature) 데이터를 추출한다.
이러한 제1 추출부(30)는 레지듀얼 방식의 컨볼루션 층(convolution layer)으로 마련되고, 상기 컨볼루션 층은 필터를 통해서 올바른 분류 특징 데이터를 추출하는 기능을 한다.
제2 추출부(40)는 이미지 인터페이스(70)로부터 전달되는 백혈구과 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 제2 분류 특징(RF Feature) 데이터를 추출한다.
여기서, 제1 및 제2 후보 특징 데이터는 혈구를 감별하기 위한 후보 백혈구 정보로서, 컨피던스값(confidence value) 등의 스코어, ID 및 환자정보를 포함할 수 있다.
상기 환자정보는 환자의 성명, 나이, 키, 몸무게, 과거 이력 정보 등을 포함할 수 있다.
결합부(50)는 제1 및 제2 추출부(30,40)에서 각각 추출된 제1 및 제2 분류 특징 데이터를 결합하는 기능을 한다.
여기서, 표 2는 결합부에서 결합된 분류 특징 데이터를 예시한 테이블이다.
주소 특징값
0 x 제1 분류 특징 데이터
1 0
2 100
… …
50000 FF
500001 10 제2 분류 특징 데이터
500002 30
… …
100000 GG
즉, 결합부(50)는 표 2에 기재된 바와 같이, 제1 분류 특징 데이터 테이블의 후단에 제2 분류 특징 데이터 테이블을 순차적으로 배치해서 제1 및 제2 분류 특징 데이터를 결합할 수 있다.
상기 제1 및 제2 분류 특징 데이터 테이블은 각각 제1 및 제2 추출부(30,40)에서 추출된 분류 특징값을 주소별로 매칭한 테이블로서, 상기 제1 및 제2 분류 특징 데이터는 혈구를 감별하기 위한 특징점의 좌표정보나 색상정보로 마련될 수 있다.
물론, 본 발명은 반드시 이에 한정되는 것은 아니며, 제2 분류 특징 데이터 테이블에 제1 분류 특징 데이터 테이블을 순차저으로 배치해서 결합하도록 변경될 수도 있다.
판단부(60)는 결합부(50)에서 결합된 분류 특징 데이터를 이용해서 혈구 이미지를 랜덤 포레스트 방식으로 분류해서 랜덤 포레스트 계수(RF Coefficient)를 출력하는 제1 분류기(61), 제1 추출부(30)에서 추출된 제1 분류 특징 데이터를 이용해서 혈구 이미지를 레지듀얼 망 방식으로 분류해서 레지듀얼 망 계수(ResNet Coefficient)를 출력하는 제2 분류기(62), 제1 및 제2 분류기(61,62)에서 출력되는 랜덤 포레스트 계수와 레지듀얼 망 계수를 이용해서 혈구 후보의 특징을 추출하는 제1 판단부(63) 및 추출된 혈구 후보의 특징을 이용해서 해당 혈구의 종류를 판단하여 출력하는 제2 판단부(64)를 포함할 수 있다.
제2 분류기(62)는 레지듀얼 망 방식에 적용되는 풀리 커넥티드 층(fully conected layer)으로 마련되어 추출된 분류 특징 데이터에 따라 혈구 이미지를 분류하는 기능을 한다.
상기 풀리 커넥티드 층은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성되고, 복수의 은닉층이 적용되는 경우 심층 신경망(deep neural network)이라 한다.
즉, 인공신경망 모델은 계층 수에 따라 '단층 신경망'과 '다층 신경망'으로 구분되며, 상기 다층 신경망은 입력층과 은닉층, 출력층으로 구성될 수 있다.
상기 입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 상기 은닉층은 입력층과 출력층 사이에 위치하고 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달하며, 상기 출력층은 은닉층으로부터 신호를 받아 외부로 출력한다.
뉴런간의 입력신호는 0에서 1 사이의 값을 갖는 각각의 연결강도와 곱해진 후 합산되며, 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 출력값으로 구현된다.
제1 판단부(63)는 제2 분류기(62)에서 출력되는 레지듀얼 망 계수 값을 기준으로 혈구 후보의 특징을 추출할 수 있다.
예를 들어, 제1 판단부(63)는 상기 레지듀얼 망 계수값이 미리 설정된 설정값, 예컨대 N% 이하인 경우, 랜덤 포레스트 계수값을 레지듀얼 망에 웨이팅(weighting)하고, 웨이팅된 값 중에서 가장 큰 값(maximum)에 해당하는 케이스를 혈구 후보의 특징으로 추출할 수 있다.
또는, 제1 판단부(63)는 레지듀얼 망 계수값과 랜덤 포레스트 계수값을 정규화(normalization)하고, 정규화된 값들 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출할 수도 있다.
이와 같이, 본 발명은 촬상된 혈구 이미지를 랜덤 포레스트 방식과 레지듀얼 망 방식으로 추출된 분류 특징 데이터를 이용해서 분류하여 혈구를 감별함으로써, 감별 결과의 정확도를 향상시킬 수 있다.
다음, 도 6을 참조하여 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치의 혈구 감별 방법을 상세하게 설명한다.
도 6은 본 발명의 바람직한 실시 예에 따른 혈구 감별 장치의 혈구 감별 방법을 단계별로 설명하는 공정도이다.
도 6의 S10단계에서 혈구 감별 장치(10)는 혈구 이미지 촬상장치로부터 촬상된 혈구 이미지를 입력받는다.
S12단계에서 분할부(20)는 혈구 이미지를 복수의 영역으로 분할하고, 분할된 영역들 중에서 혈구 이미지 가장자리 부분을 제거해서 각 혈구 영상을 선택하며, 이미지 인터페이스(70)는 분할부(20)에 의해 분할된 백혈구와 핵 및 세포질 영상을 저장하고 관리한다.
S14단계에서 제1 추출부(30)는 이미지 인터페이스(70)로부터 전달되는 백혈구 영상에서 레지듀얼 망 방식으로 제1 분류 특징 데이터를 추출하고, 제2 추출부(40)는 이미지 인터페이스(70)로부터 전달되는 백혈구과 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 제2 분류 특징 데이터를 추출한다.
S16단계에서 제1 분류기(61)는 결합부(50)에서 결합된 분류 특징 데이터를 이용해서 혈구 이미지를 랜덤 포레스트 방식으로 분류해서 랜덤 포레스트 계수를 출력한다.
S18단계에서 제2 분류기(62)는 제1 추출부(30)에서 추출된 제1 분류 특징 데이터를 이용해서 혈구 이미지를 레지듀얼 망 방식으로 분류해서 레지듀얼 망 계수를 출력한다.
S20단계에서 제1 판단부(63)는 제1 및 제2 분류기(61,62)에서 출력되는 랜덤 포레스트 계수와 레지듀얼 망 계수 중에서 레지듀얼 망 계수 값을 기준으로 혈구 후보의 특징을 추출한다.
이때, 제1 판단부(63)는 상기 레지듀얼 망 계수값이 미리 설정된 설정값 이하인 경우, 랜덤 포레스트 계수값을 레지듀얼 망에 웨이팅(weighting)하고, 웨이팅된 값 중에서 가장 큰 값(maximum)에 해당하는 케이스를 혈구 후보의 특징으로 추출할 수 있다.
또는, 제1 판단부(63)는 레지듀얼 망 계수값과 랜덤 포레스트 계수값을 정규화(normalization)하고, 정규화된 값들 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출할 수도 있다.
S22단계에서 제2 판단부(64)는 추출된 혈구 후보의 특징을 이용해서 해당 혈구의 종류를 판단하여 출력한다.
도 7은 랜덤 포레스트 방식과 레지듀얼 망 방식, 렌덤 포레스트 및 레지듀얼망 방식을 적용해서 혈구를 감별한 성능 비교 그래프이고, 도 8은 도 7에 도시된 성능 비교 테이블이다.
도 7 및 도 8에 도시된 바와 같이, 랜덤 포레스트 방식과 레지듀얼 망 방식을 각각 적용하는 경우의 성능은 각각 약 94.028%와 약 90.518인 반면, 본 발명에 따라 랜덤 포레스트 및 레지듀얼 망 방식을 적용하는 경우의 성능은 각각 약 97.254%와 약 97.885%의 정확도를 얻을 수 있다.
이에 따라, 본 발명은 랜덤 포레스트 및 레지듀얼 망 방식을 적용해서 혈구 감별 성능을 향상시킴을 확인할 수 있다.
상기한 바와 같은 과정을 통하여, 본 발명은 촬상된 혈구 이미지에서 레지듀얼 망 방식과 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하고, 추출된 분류 특징 데이터를 이용해서 혈구 이미지를 분류하여 혈구의 종류를 정확하게 감별할 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 촬상된 혈구 이미지에서 레지듀얼 망 방식과 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하고, 추출된 분류 특징 데이터를 이용해서 혈구 이미지를 분류하여 혈구의 종류를 정확하게 감별하는 혈구 감별 장치 및 방법 기술에 적용된다.
10: 혈구 감별 장치
20: 분할부
30: 제1 추출부
40: 제2 추출부
50: 특징 데이터 결합부
60: 판단부
61,62: 제1,제2 분류기
63: 제1 판단부
64: 제2 판단부
70: 이미지 인터페이스

Claims (14)

  1. 촬상된 혈구 이미지를 복수의 영역으로 분할하고 각 혈구 영상을 선택하는 분할부,
    상기 분할부에서 분할된 혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 제1 추출부,
    상기 분할부에서 분할된 혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 제2 추출부,
    상기 제1 및 제2 추출부에서 각각 추출된 분류 특징 데이터를 결합하는 특징 데이터 결합부 및
    상기 결합부에서 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 판단부를 포함하는 것을 특징으로 하는 혈구 감별 장치.
  2. 제1항에 있어서,
    상기 분할부에 의해 분할된 혈구와 핵 및 세포질 영상을 저장하고 관리하는 이미지 인터페이스를 더 포함하는 것을 특징으로 하는 혈구 감별 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 결합부는 상기 제1 추출부에서 추출된 제1 분류 특징 데이터 테이블과 상기 제2 추출부에서 추출된 제2 분류 특징 데이터 테이블을 순차적으로 배치해서 제1 및 제2 분류 특징 데이터를 결합하고,
    상기 제1 및 제2 분류 특징 데이터 테이블은 각각 상기 제1 및 제2 추출부에서 추출된 분류 특징값을 주소별로 매칭한 테이블로 마련되며,
    상기 제1 및 제2 분류 특징 데이터는 혈구를 감별하기 위한 특징점의 좌표정보나 색상 정보로 마련되는 것을 특징으로 하는 혈구 감별 장치.
  4. 제3항에 있어서, 상기 판단부는
    상기 결합부에서 결합된 분류 특징 데이터를 이용해서 혈구 이미지를 랜덤 포레스트 방식으로 분류해서 랜덤 포레스트 계수를 출력하는 제1 분류기,
    상기 제1 추출부에서 추출된 제1 분류 특징 데이터를 이용해서 혈구 이미지를 레지듀얼 망 방식으로 분류해서 레지듀얼 망 계수를 출력하는 제2 분류기,
    상기 제1 및 제2 분류기에서 출력되는 랜덤 포레스트 계수와 레지듀얼 망 계수를 이용해서 혈구 후보의 특징을 추출하는 제1 판단부 및
    추출된 혈구 후보의 특징을 이용해서 해당 혈구의 종류를 판단하여 출력하는 제2 판단부를 포함하는 것을 특징으로 하는 혈구 감별 장치.
  5. 제4항에 있어서,
    상기 제1 판단부는 상기 제2 분류기에서 출력되는 레지듀얼 망 계수 값을 기준으로 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 장치.
  6. 제4항에 있어서,
    상기 제1 판단부는 상기 레지듀얼 망 계수값이 미리 설정된 설정값 이하인 경우, 상기 랜덤 포레스트 계수값을 레지듀얼 망에 웨이팅하고, 웨이팅된 값 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 장치.
  7. 제4항에 있어서,
    상기 제1 판단부는 상기 레지듀얼 망 계수값과 랜덤 포레스트 계수값을 정규화하고, 정규화된 값들 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 장치.
  8. (a) 분할부를 이용해서 촬상된 혈구 이미지를 복수의 영역으로 분할하고 각 혈구 영상을 선택하는 단계,
    (b) 제1 추출부를 이용해서 분할된 혈구 영상에서 레지듀얼 망 방식으로 분류 특징 데이터를 추출하는 단계,
    (c) 제2 추출부를 이용해서 분할된 혈구와 핵 및 세포질 영상에서 랜덤 포레스트 방식으로 분류 특징 데이터를 추출하는 단계,
    (d) 특징 데이터 결합부를 이용해서 상기 제1 및 제2 추출부에서 각각 추출된 분류 특징 데이터를 결합하는 단계 및
    (e) 판단부를 이용해서 상기 결합부에서 결합된 특징 데이터에 기초해서 혈구 후보의 특징을 추출하고 해당 혈구의 종류를 판단해서 출력하는 단계를 포함하는 것을 특징으로 하는 혈구 감별 방법.
  9. 제8항에 있어서,
    (f) 이미지 인터페이스를 이용해서 상기 분할부에 의해 분할된 혈구와 핵 및 세포질 영상을 저장하고 관리하며, 상기 제1 및 제2 추출부에 저장된 영상을 제공하는 단계를 더 포함하는 것을 특징으로 하는 혈구 감별 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 (d)단계에서 결합부는 상기 제1 추출부에서 추출된 제1 분류 특징 데이터 테이블의 후단에 상기 제2 추출부에서 추출된 제2 분류 특징 데이터 테이블을 순차적으로 배치해서 제1 및 제2 분류 특징 데이터를 결합하고,
    상기 제1 및 제2 분류 특징 데이터 테이블은 각각 상기 제1 및 제2 추출부에서 추출된 분류 특징값을 주소별로 매칭한 테이블로 마련되며,
    상기 제1 및 제2 분류 특징 데이터는 혈구를 감별하기 위한 특징점의 좌표정보나 색상 정보로 마련되는 것을 특징으로 하는 혈구 감별 방법.
  11. 제10항에 있어서, 상기 (e)단계는
    (e1) 제1 분류기를 이용해서 상기 결합부에서 결합된 분류 특징 데이터를 이용해서 혈구 이미지를 랜덤 포레스트 방식으로 분류해서 랜덤 포레스트 계수를 출력하는 단계,
    (e2) 제2 분류기를 이용해서 상기 제1 추출부에서 추출된 제1 분류 특징 데이터를 이용해서 혈구 이미지를 레지듀얼 망 방식으로 분류해서 레지듀얼 망 계수를 출력하는 단계,
    (e3) 제1 판단부를 이용해서 상기 제1 및 제2 분류기에서 출력되는 랜덤 포레스트 계수와 레지듀얼 망 계수를 이용해서 혈구 후보의 특징을 추출하는 단계 및
    (e4) 제2 판단부를 이용해서 추출된 혈구 후보의 특징에 기초하여 해당 혈구의 종류를 판단하여 출력하는 단계를 포함하는 것을 특징으로 하는 혈구 감별 방법.
  12. 제11항에 있어서,
    상기 (e3)단계에서 상기 제1 판단부는 상기 제2 분류기에서 출력되는 레지듀얼 망 계수 값을 기준으로 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 방법.
  13. 제11항에 있어서,
    상기 (e3)단계에서 상기 제1 판단부는 상기 레지듀얼 망 계수값이 미리 설정된 설정값 이하인 경우, 상기 랜덤 포레스트 계수값을 레지듀얼 망에 웨이팅하고, 웨이팅된 값 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 방법.
  14. 제11항에 있어서,
    상기 (e3)단계에서 상기 제1 판단부는 상기 레지듀얼 망 계수값과 랜덤 포레스트 계수값을 정규화하고, 정규화된 값들 중에서 가장 큰 값에 해당하는 케이스를 혈구 후보의 특징으로 추출하는 것을 특징으로 하는 혈구 감별 방법.

KR1020170107744A 2017-08-25 2017-08-25 혈구 감별 장치 및 방법 KR101995763B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170107744A KR101995763B1 (ko) 2017-08-25 2017-08-25 혈구 감별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107744A KR101995763B1 (ko) 2017-08-25 2017-08-25 혈구 감별 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190022026A true KR20190022026A (ko) 2019-03-06
KR101995763B1 KR101995763B1 (ko) 2019-07-03

Family

ID=65761317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107744A KR101995763B1 (ko) 2017-08-25 2017-08-25 혈구 감별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101995763B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456749A (zh) * 2019-08-13 2019-11-15 中国核动力研究设计院 基于核电厂dcs平台工程师站软件历史数据处理方法
WO2021075826A1 (ko) * 2019-10-18 2021-04-22 연세대학교 산학협력단 생체 추출 데이터를 전처리하여 질병을 진단하는 방법 및 그를 위한 장치
CN113705110A (zh) * 2021-09-03 2021-11-26 玉溪矿业有限公司 一种基于双重随机森林回归方法的爆破振动速度预测方法
WO2023282462A1 (ko) * 2021-07-09 2023-01-12 (주)유아이엠디 검사영역 지정에 기반한 혈구 디텍션 및 클래시피케이션 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240022892A (ko) 2022-08-12 2024-02-20 재단법인대구경북과학기술원 딥러닝에 기반하여 적혈구를 평가하는 장치 및 방법
US20240125689A1 (en) * 2022-10-17 2024-04-18 Becton, Dickinson And Company Methods for classifying particles using images based on filtered layers and machine learning models and systems for same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR100726473B1 (ko) * 2005-11-05 2007-06-19 주식회사 칼라짚미디어 이미지 분별 장치 및 그 방법
KR101316780B1 (ko) * 2012-02-21 2013-10-17 한국과학기술원 문서 내의 테이블의 정보를 기반으로 한 테이블 자동분류 시스템 및 그 방법
KR20140096595A (ko) * 2013-01-28 2014-08-06 경북대학교 산학협력단 이미지 분류 방법
KR101741766B1 (ko) 2015-09-14 2017-05-31 (주)뉴옵틱스 혈구 이미지 촬상 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR100726473B1 (ko) * 2005-11-05 2007-06-19 주식회사 칼라짚미디어 이미지 분별 장치 및 그 방법
KR101316780B1 (ko) * 2012-02-21 2013-10-17 한국과학기술원 문서 내의 테이블의 정보를 기반으로 한 테이블 자동분류 시스템 및 그 방법
KR20140096595A (ko) * 2013-01-28 2014-08-06 경북대학교 산학협력단 이미지 분류 방법
KR101741766B1 (ko) 2015-09-14 2017-05-31 (주)뉴옵틱스 혈구 이미지 촬상 장치
KR101741765B1 (ko) 2015-09-14 2017-05-31 (주)뉴옵틱스 혈구 감별 시스템
KR101741764B1 (ko) 2015-09-14 2017-05-31 (주)뉴옵틱스 혈액 이미지 처리 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Classification of Cancerous Tissue in Laserendomicroscopy Images of the Oral Cavity using Deep Learning(Marc Aubreville, Scientific Reports 7, Mar. 2017)* *
Automatic detection and classification of leukocytes using convolutional neural network(Jianwei Zhao, IFMBE 2016, Oct. 2016)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456749A (zh) * 2019-08-13 2019-11-15 中国核动力研究设计院 基于核电厂dcs平台工程师站软件历史数据处理方法
CN110456749B (zh) * 2019-08-13 2022-02-18 中核控制系统工程有限公司 基于核电厂dcs平台工程师站软件历史数据处理方法
WO2021075826A1 (ko) * 2019-10-18 2021-04-22 연세대학교 산학협력단 생체 추출 데이터를 전처리하여 질병을 진단하는 방법 및 그를 위한 장치
WO2023282462A1 (ko) * 2021-07-09 2023-01-12 (주)유아이엠디 검사영역 지정에 기반한 혈구 디텍션 및 클래시피케이션 방법
CN113705110A (zh) * 2021-09-03 2021-11-26 玉溪矿业有限公司 一种基于双重随机森林回归方法的爆破振动速度预测方法

Also Published As

Publication number Publication date
KR101995763B1 (ko) 2019-07-03

Similar Documents

Publication Publication Date Title
KR101995763B1 (ko) 혈구 감별 장치 및 방법
KR102469620B1 (ko) 생물학적 입자의 분류 시스템 및 방법
Umadevi et al. A survey on data mining classification algorithms
Wang et al. Classification of white blood cells with patternnet-fused ensemble of convolutional neural networks (pecnn)
Ratley et al. Leukemia disease detection and classification using machine learning approaches: a review
Rawat et al. Review of leukocyte classification techniques for microscopic blood images
KR101995764B1 (ko) 혈구 감별 장치 및 방법
US6549661B1 (en) Pattern recognition apparatus and pattern recognition method
Chowdhury et al. Automated complete blood cell count and malaria pathogen detection using convolution neural network
Malkawi et al. White blood cells classification using convolutional neural network hybrid system
Saiprasath et al. Performance comparison of machine learning algorithms for malaria detection using microscopic images
JP2021002354A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
Navya et al. Classification of blood cells into white blood cells and red blood cells from blood smear images using machine learning techniques
CN112432948A (zh) 一种外周血细胞形态学自动检测方法
JPH0584544B2 (ko)
Ridoy et al. A lightweight convolutional neural network for white blood cells classification
Deore et al. Image analysis framework for automatic extraction of the progress of an infection
Alqudah et al. Automatic Segmentation and Classification of White Blood Cells in Peripheral Blood Samples.
Kousalya et al. Blood cells classification using convolutional neural network architecture
Darane et al. Recognizing Presence of Hematological Disease using Deep Learning
JPWO2020137640A1 (ja) 血液分析装置、コンピュータープログラム、および血液分析方法
Haripriya et al. Classification and Detection of Blood Subtype Cells Images using Hybrid Convolutional Neural Network
Karthikeyan et al. White blood cell detection and classification using Euler’s Jenks optimized multinomial logistic neural networks
Mukherjee et al. Application of biomedical image processing in blood cell counting using hough transform
Sona et al. Detection Of White Blood Sample Cells Using CNN

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant