KR20190114241A - 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법 - Google Patents

딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법 Download PDF

Info

Publication number
KR20190114241A
KR20190114241A KR1020180036656A KR20180036656A KR20190114241A KR 20190114241 A KR20190114241 A KR 20190114241A KR 1020180036656 A KR1020180036656 A KR 1020180036656A KR 20180036656 A KR20180036656 A KR 20180036656A KR 20190114241 A KR20190114241 A KR 20190114241A
Authority
KR
South Korea
Prior art keywords
algae
region
cell
cells
image
Prior art date
Application number
KR1020180036656A
Other languages
English (en)
Inventor
조경화
백상수
표종철
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020180036656A priority Critical patent/KR20190114241A/ko
Publication of KR20190114241A publication Critical patent/KR20190114241A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 독성조류 판별 및 셀카운팅 장치를 이용한 딥러닝 기반의 독성조류 판별 및 셀카운팅 방법에 있어서, 분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서 상기 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 상기 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류하는 단계, 및 상기 조류 영역을 기 학습된 CNN 신경망에 입력시켜서 상기 조류 영역 내 조류를 구성한 셀(cell)들을 판별하여 상기 판별된 셀들의 개수를 카운팅하는 단계를 포함하는 독성조류 판별 및 셀카운팅 방법을 제공한다.
본 발명에 의하면, 딥 러닝 기법을 활용하여 촬영 이미지로부터 독성조류의 종 판별 및 세포 수 산정을 빠르고 용이하게 수행함은 물론, 분석 결과의 정확도 및 신뢰성을 높일 수 있는 이점이 있다.

Description

딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법{Apparatus for algae classification and cell countion based on deep learning and method for thereof}
본 발명은 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 독성조류 판별 및 셀카운팅 효율을 높일 수 있는 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법에 관한 것이다.
현존하는 조류의 세포 수 산정 및 조류의 종 판별은 모두 광학 현미경를 통해 이루어지고 있다.
전형적으로 실험자가 직접 육안으로 조류의 세포 수를 카운트 하고, 조류 도감을 참조하여 조류의 종을 분류하는 방식으로 진행이 된다. 하지만, 이러한 방식은 조류 세포 수 산정 및 조류 판별에 상당한 시간이 소요되기 때문에, 노동 집약적인 실험 방법으로 인식되고 있다.
더욱이, 기존의 분석 방식은 실험자의 주관적인 판단에 의해 종 분류 및 셀 산정이 이루어지므로, 분석 결과에 대한 정확도 및 신뢰성 문제가 지속적으로 지적되고 있다. 따라서 조류의 종 분류 및 셀 카운팅의 정확도를 높일 수 있는 새로운 기법이 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제-2012-0136564호(2012.12.20 공개)에 개시되어 있다.
본 발명은, 독성조류의 종 분류 및 셀 카운팅의 정확도를 높일 수 있는 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 독성조류 판별 및 셀카운팅 장치를 이용한 딥러닝 기반의 독성조류 판별 및 셀카운팅 방법에 있어서, 분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서 상기 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 상기 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류하는 단계, 및 상기 조류 영역을 기 학습된 CNN 신경망에 입력시켜서 상기 조류 영역 내 조류를 구성한 셀(cell)들을 판별하여 상기 판별된 셀들의 개수를 카운팅하는 단계를 포함하는 독성조류 판별 및 셀카운팅 방법을 제공한다.
또한, 상기 독성조류 판별 및 셀카운팅 방법은, 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 그에 대응되는 조류의 종명을 학습 데이터로 사용하여 상기 R-CNN 신경망을 학습시키는 단계를 더 포함할 수 있다.
또한, 상기 독성조류 판별 및 셀카운팅 방법은, 상기 CNN 신경망에 입력되는 상기 조류 영역을 설정 규격으로 리사이징(resizing)하는 단계를 더 포함할 수 있다.
또한, 상기 독성조류 판별 및 셀카운팅 방법은, 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 상기 조류 영역 이미지 내에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여, 소정 이미지로부터 셀들을 판별하기 위한 상기 CNN 신경망을 학습시키는 단계를 더 포함할 수 있다.
또한, 상기 셀들의 개수를 카운팅하는 단계는, 상기 판별된 셀들과 배경을 구분하도록 상기 조류 영역을 이진화 처리한 후 선명화하는 단계, 및 상기 선명화된 조류 영역 내 각 셀 별로 중심점을 설정하고 상기 중심점의 총 개수를 연산하여 상기 셀들의 개수를 카운팅하는 단계를 포함할 수 있다.
또한, 상기 셀들의 개수를 카운팅하는 단계는, 상기 각 셀별 상기 중심점이 표기된 상기 조류 영역의 이미지 및 상기 카운팅한 셀들의 개수를 출력하는 단계를 더 포함할 수 있다.
그리고, 본 발명은, 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치에 있어서, 분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서 상기 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 상기 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류하는 조류 판별부, 및 상기 조류 영역을 기 학습된 CNN 신경망에 입력시켜서 상기 조류 영역 내 조류를 구성한 셀(cell)들을 판별하여 상기 판별된 셀들의 개수를 카운팅하는 셀 카운팅부를 포함하는 독성조류 판별 및 셀카운팅 장치를 제공한다.
또한, 상기 독성조류 판별 및 셀카운팅 장치는, 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 그에 대응되는 조류의 종명을 학습 데이터로 사용하여 상기 R-CNN 신경망을 학습시키는 제1 학습부를 더 포함할 수 있다.
또한, 상기 독성조류 판별 및 셀카운팅 장치는, 상기 CNN 신경망에 입력되는 상기 조류 영역을 설정 규격으로 리사이징(resizing)하는 리사이징부를 더 포함할 수 있다.
또한, 상기 독성조류 판별 및 셀카운팅 장치는, 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 상기 조류 영역 이미지 내에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여, 소정 이미지로부터 셀들을 판별하기 위한 상기 CNN 신경망을 학습시키는 제2 학습부를 더 포함할 수 있다.
또한, 상기 셀 카운팅부는, 상기 판별된 셀들과 배경을 구분하도록 상기 조류 영역을 이진화 처리한 후 선명화한 다음, 상기 선명화된 조류 영역 내 각 셀 별로 중심점을 설정하고 상기 중심점의 총 개수를 연산하여 상기 셀들의 개수를 카운팅할 수 있다.
또한, 상기 셀 카운팅부는, 상기 각 셀별 상기 중심점이 표기된 상기 조류 영역의 이미지 및 상기 카운팅한 셀들의 개수를 출력할 수 있다.
본 발명에 의하면, 딥 러닝 기법을 활용하여 촬영 이미지로부터 독성조류의 종 판별 및 세포 수 산정을 빠르고 용이하게 수행함은 물론, 분석 결과의 정확도 및 신뢰성을 높일 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 독성조류 판별 및 셀카운팅 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 독성조류 판별 및 셀카운팅 방법을 설명하는 도면이다.
도 3은 도 2의 S220 단계를 설명하는 도면이다.
도 4는 도 3의 방법에 따른 조류 분류 결과를 나타낸 도면이다.
도 5는 도 2의 S230 단계를 설명하는 도면이다.
도 6은 도 5의 방법에 따른 셀 카운팅 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 독성조류 종 판별 및 셀 개수 산정 방법을 요약 설명한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 독성조류 판별 및 셀카운팅 장치의 구성을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 독성조류 판별 및 셀카운팅 장치(100)는 조류 판별부(110), 셀 카운팅부(120), 제1 학습부(130) 및 제2 학습부를 포함한다.
조류 판별부(110)는 촬영 이미지를 기 학습된 R-CNN(Region Proposal-Convolutional Neural Network) 신경망에 입력시켜서, 촬영 이미지 내에서 조류(algae)가 존재하는 적어도 하나의 조류 영역을 탐지하고 탐지한 조류 영역 각각에 대응되는 조류의 종명(종류)을 분류한다.
여기서, 촬영 이미지는 광학 현미경을 통해 획득한 이미지로서, 분석 대상이 되는 조류를 포함하여 촬영된 이미지를 의미할 수 있다.
또한, 기 학습된 R-CNN 신경망이란, 정보를 알고 있는 유해(독성)조류 이미지에 대한 기 획득된 촬영 이미지들을 활용하여 제1 학습부(130)에서 미리 학습시킨 R-CNN 신경망에 해당할 수 있다. 제1 학습부(130)는 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 그에 대응되는 조류의 종명을 학습을 위한 데이터로 사용하여 R-CNN 신경망을 사전에 학습시킨다.
이에 따라 학습된 R-CNN 신경망에 소정의 촬영 이미지를 입력하는 것만으로 촬영 이미지 내에서 조류가 탐지된 조류 영역의 위치를 추출할 수 있고 해당 조류 영역 내 조류의 종류를 판별할 수 있다. 또한, 한 장의 촬영 이미지에서 단일 종류의 조류 영역이 적어도 하나 검출될 수도 있고 여러 종류의 조류 영역이 한 번에 검출될 수도 있는데, 이는 분석 대상 시료에 따라 다르다.
조류 판별부(110)는 분석 대상 이미지 내에 존재하는 적어도 하나의 조류 영역과 그 조류 영역 내 조류의 종류를 판별하기 위한 것이었다면, 셀 카운팅부(120)는 각 조류 영역 별로 조류 영역 내 존재한 세포(셀; cell)들의 수를 파악하기 위한 것이다.
셀 카운팅부(120) 역시 기 학습된 데이터를 이용하는데, 구체적으로 셀 카운팅부(120)는 탐지된 조류 영역을 기 학습된 CNN(Convolutional Neural Network) 신경망에 다시 입력시켜서, 조류 영역 내 조류를 구성한 셀들을 판별하고 판별된 셀들의 개수를 카운팅한다.
이때, 기 학습된 CNN 신경망이란, 기 획득된 촬영 이미지를 활용하여 제2 학습부(140)에서 미리 학습시킨 CNN 신경망에 해당할 수 있다. 즉, 제2 학습부(140)는 기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 조류 영역 이미지 내 포함된 각 셀들에 대응하여 부여된 셀 라벨링 정보를 학습 데이터로 사용하여, 소정 이미지로부터 셀들을 판별하기 위한 CNN 신경망을 학습시킨다.
이에 따르면, 학습된 CNN 신경망에 분석 대상이 되는 소정의 조류 영역 이미지를 입력하는 것만으로 조류 영역 이미지 내 포함된 셀들의 개수 및 위치를 판별할 수 있다.
이상과 같이, 조류 판별부(110)는 제1 학습부(130)에서 미리 학습시킨 R-CNN 신경망을 이용하여 촬영 이미지 내에서 조류 영역을 탐지함은 물론, 조류 영역 내 해당 조류가 어떤 종류인지 판별할 수 있다. 또한, 셀 카운팅부(120)는 제2 학습부(140)에서 미리 학습시킨 CNN 신경망을 이용하여, 조류 영역 내의 셀들의 개수를 카운트할 수 있다.
이하에서는 본 발명의 실시예에 적용된 R-CNN 기법을 상세히 설명한다.
딥러닝 기법의 하나인 R-CNN은 리전 프로포잘(Region Proposal) 기반의 CNN(Convolutional Neural Network) 기법으로서, 이미지 내에서 추출한 후보 영역(Region Proposal)의 특징을 이용하여 후보 영역 내 객체가 무엇인지 분류하고 객체의 위치를 보정하는 기법이다.
R-CNN을 이용한 객체 검출 기술에서, 후보 영역(Region Proposal)은 입력 이미지 내에서 객체(물체)가 있을 만한 것으로 추정된 영역을 의미한다.
기본적으로, R-CNN 기법의 경우, 입력 이미지에서 물체가 있을 만한 후보 영역들을 선택적 탐색(Selective Search) 알고리즘을 사용하여 추출한 다음, 각각의 후보 영역을 개별 CNN에 입력하여 후보 영역의 특징(Feature)을 계산함으로써 각 후보 영역 내 존재하는 객체의 종류를 분류하고, 객체에 대한 바운딩 박스(bounding box)를 좁혀 나감으로써 객체의 검출 위치를 정교하게 보정한다.
이와 같이, R-CNN 기법은 객체 분류를 수행하는 CNN과 이미지에서 물체가 존재할 영역을 제안하는 리전 프로포잘 알고리즘을 연결하여, 높은 성능의 객체 검출 및 분류 성능을 낼 수 있다.
다만, R-CNN 기법에서 후보 영역을 얻기 위해 사용되는 선택적 탐색 알고리즘의 속도가 다소 느린 편이고 R-CNN 기법의 경우 후보 영역마다 CNN을 개별 실행해야 하므로 복잡도가 높고 시간이 오래 걸리는 단점이 있다.
이러한 문제를 보완하는 Faster R-CNN 기법은 리전 프로포잘 기반의 CNN 이라는 점에서 핵심 원리는 R-CNN과 거의 동일하다. 하지만, Faster R-CNN 기법의 경우, 입력 이미지에서 후보 영역을 추출할 때도 CNN을 사용하여 속도를 크게 개선함은 물론, 입력 이미지 전체에 대하여 한 개의 CNN 만을 실행하여 특징을 추출하기 때문에 학습의 복잡도도 매우 낮출 수 있다.
구체적으로, Faster R-CNN 기법은 입력 이미지 전체를 하나의 CNN에 입력하여 특징 맵을 얻는다. CNN은 RPN(Region Proposal Network) 및 ROI(Resion Of Interest) Pooling Layer와 연결되어, 특징 맵을 공유시킨다.
RPN(Region Proposal Network)은 특징 맵을 기초로 입력 이미지 내에서 후보 영역들을 추출하며, ROI Pooling Layer는 RPN에서 추출된 후보 영역들 각각에 대해 ROI 풀링을 수행하여 각 후보 영역에 대한 특징 맵을 고정 사이즈로 생성하고 이로부터 각 후보 영역 내 객체를 분류하고 위치를 보정한다.
본 발명의 실시예에서 R-CNN 기법이란, R-CNN을 베이스로 하는 동종의 기법을 모두 포함할 수 있는데, 예를 들어 가장 일반적인 R-CNN 기법, 속도를 개선한 Fester R-CNN 기법, 그리고 R-CNN 기법과 Faster R-CNN 사이의 Fast R-CNN 기법 등을 사용할 수 있다.
물론, 바람직하게는 가장 빠른 속도의 Faster R-CNN 기법을 사용할 수 있다. 상술한 R-CNN 기법들은 기 공지된 기법에 해당하므로 이에 관한 더욱 상세한 설명은 생략한다.
도 2는 도 1의 장치를 이용한 독성조류 판별 및 셀카운팅 방법을 설명하는 도면이다.
우선, 제1 학습부(130)와 제2 학습부(140)는 기 획득된 촬영 이미지를 활용하여 R-CNN 신경망 및 CNN 신경망을 각각 학습시킨다(S210).
이를 위해, 제1 학습부(130)는 기 획득한 유해조류 이미지 내에서 추출된 조류 영역 이미지, 그리고 각각의 조류 영역 이미지에 라벨링되는 조류의 종명을 각각 학습용 데이터로 구축하고 이러한 학습용 데이터를 이용하여 R-CNN을 사전에 학습시킨다. 이에 따라, 조류의 종류 별로 조류 영역 내의 특징(Feature)들이 학습되어 질 수 있다.
여기서, 학습 데이터로 사용할 조류 영역 이미지를 유해조류 이미지에서 추출할 때는 기 알려진 선택적 탐색 알고리즘을 사용할 수 있다. 또한, 추출한 조류 영역 이미지의 바운딩 박스마다 해당 조류의 정보(종명)을 사용자로부터 라벨링받는 것을 통해, 학습용 데이터를 완성할 수 있다.
그리고, 제2 학습부(140)는 유해조류 이미지 내에서 추출된 조류 영역 이미지 및 조류 영역 이미지 내에서 조류를 구성하는 각 셀들의 위치에 대응하여 사용자로부터 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 CNN을 사전에 학습시킨다.
이에 따라, 조류 영역 내 조류를 구성하고 있는 셀들 각각의 특징들이 학습되어 질 수 있다. 또한, 이를 통해, 추후 소정의 조류 영역 이미지가 CNN에 입력되면, 조류 영역 이미지 내에서 조류를 형성한 셀들 하나하나를 판별하여 검출할 수 있게 된다.
다음, 조류 판별부(110)는 분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서, 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류한다(S220).
도 3은 도 2의 S220 단계를 설명하는 도면이다. 도 3은 R-CNN 기법에 기반하는 조류 분류 방법의 예시로서, 촬영 이미지 내 추출된 후보 영역(Region proposal)의 특징을 이용하여 각 후보 영역에 대한 조류의 종명을 분류하고 분류 결과를 제공한다. 여기서 물론, 후보 영역이란, 분석 대상 이미지 내에서 조류가 존재하는 것으로 판별된 조류 영역을 의미한다.
Faster R-CNN을 예시하면, Faster R-CNN은 두 가지 모듈을 포함한다. 첫 버째 모듈은 deep fully convolutional network를 사용하여 입력 이미지로부터 영역(proposed region)을 설정하게 하며 두 번째 모듈은 fast R-CNN detector를 활용하여 설정된 영역을 이용하여 시뮬레이션을 진행한다. 두 모듈의 network를 통해 영역이 설정된 이미지가 convolutional layer와 max-pooling layer를 통해 처리된다. 이 처리 과정에서 ROI pooling layer가 설정된 영역의 fixed-length feature vector를 추출하며 max pooling layer를 사용하여 일정 크기의 특징 이미지 벡터를 생성한다. 마지막으로 이 이미지 벡터들은 fully connected layer를 거치는 과정을 통해 조류의 종명을 분류할 수 있다. Faster R-CNN 구조 및 그 원리는 기 공지된 것으로 더욱 상세한 설명은 생략한다.
도 4는 도 3의 방법에 따른 조류 분류 결과를 나타낸 도면이다. 도 4의 첫 번째 그림은 촬영 이미지로부터 한 개의 조류 영역이 탐지되었고 영역 내 조류가 microcystis aeruginosa로 분류된 경우이다. 두 번째 그림의 경우 한 개의 조류 영역이 탐지되었고 영역 내 조류가 microcystis wesenbergii로 분류된 경우이며, 세 번째 그림의 경우 탐지된 두 개의 조류 영역 모두 조류가 microcystis aeruginosa로 분류된 경우이다.
조류를 분류한 이후, 셀 카운팅부(120)는 S330 단계에서 탐지된 조류 영역을 기 학습된 CNN 신경망에 입력시켜서, 조류 영역 내 조류를 구성중인 셀들을 각각 판별하고 판별된 셀들의 개수를 카운팅한다(S230).
셀 카운팅부(120)는 리사이징된 조류 영역의 이미지를 기 학습된 CNN에 입력시키며 CNN은 입력된 이미지로부터 셀들을 판별한 결과를 제공할 수 있다. CNN 신경망에 입력되는 이미지 크기는 균일해야 하므로, 리사이징부(미도시)는 탐지된 조류 영역의 크기를 설정 규격으로 리사이징(resizing) 하여 CNN 신경망의 입력으로 제공할 수 있다.
도 5는 도 2의 S230 단계를 설명하는 도면이다. 도 5에 도시된 것과 같이, 리사이징부(미도시)는 R-CNN의 결과로부터 획득한 조류 영역의 이미지를 설정 규격으로 리사이징(Resizing) 한 다음 셀 판별을 위한 CNN의 입력으로 제공하는 것을 알 수 있다.
본 발명의 실시예에서 사용되는 CNN 구조는 Convolution layer, Batch normalization, Rectified linear unit(ReLu), 그리고 Max-pooling layer를 포함할 수 있다. Batch normalization은 훈련 네트워크에서 파라미터 초기화의 영향을 최소화하는데 사용되며, ReLu는 다른 활성 함수(activation function)들보다 빠른 활성 함수이며, Max-pooling layer는 보다 빠른 수렴 속도를 이용하여 superior invariant feature를 선택한다. 그 후 CNN을 적용하여 결과를 산출한다. CNN 구조 및 그 원리는 기 공지된 것으로, 더욱 상세한 설명은 생략한다.
도 5를 통해 알 수 있듯이, 셀 카운팅부(120)는 CNN의 결과를 후처리(post processing) 하는 과정을 거친다. 즉, 셀 카운팅부(120)는 판별된 셀들과 배경을 구분하도록 조류 영역 이미지를 이진화 처리한 후 선명화한다. 이에 따라, 셀들이 아닌 배경 부분은 검은 색으로 처리될 수 있다. 또한, 선명화를 위해 morphological reconstruction(imfil.m) 알고리즘이 적용될 수 있다.
이후, 셀 카운팅부(120)는 조류 영역에 존재하는 독성조류 셀들의 중심 위치를 산정한다. 즉, 선명화 처리된 조류 영역 내 각 셀 별로 중심점을 설정하는데, 이러한 중심점의 총 개수를 연산하면 셀들의 총 개수를 확인할 수 있다.
이상과 같이, 셀 카운팅부(120)는 종 분류가 완료된 조류 영역 이미지의 조류 세포수를 산정할 수 있다. 또한, 셀 카운팅부(120)는 도 5의 우측 그림과 같이, 각 셀별 상기 중심점이 표기된 조류 영역의 이미지 및 카운팅한 셀들의 개수를 출력하여 PC 등과 같은 사용자 단말기의 화면 상에 제공할 수 있다.
도 6은 도 5의 방법에 따른 셀 카운팅 결과를 나타낸 도면이다. 도 6은 도 5의 우측 그림과는 또 다른 셀 카운딩 결과를 예시한 것으로, 이진화 및 선명화 처리된 조류 영역 이미지 내에서 각 셀들의 중심점을 '×' 자로 표시하여 제공하고 있으며 중심점의 총 개수로부터 세포 수를 연산한 결과를 이미지 상단에 제공하고 있다.
도 7은 본 발명의 실시예에 따른 독성조류 종 판별 및 셀 개수 산정 방법을 요약 설명한 도면이다. 도 7은 총 4가지 이미지에 대한 결과를 예시하고 있다.
도 7의 상단 그림과 같이, 조류 판별부(110)는 기 학습된 R-CNN에 분석 대상이 되는 이미지를 입력하여 이미지로부터 조류 영역(박스 표시 부분)을 탐색하고 조류 영역 내 조류의 종류을 각각 판별한다. 이후, 도 7의 하단 그림과 같이, 셀 카운팅부(120)는 해당 조류 영역을 다시 기 학습된 CNN에 입력시켜서 조류 영역 내 존재한 셀들의 개수를 산정하여 결과물을 제공한다.
이상과 같은 본 발명에 따른 독성조류 판별 및 셀카운팅 장치에 따르면, 딥 러닝 기법을 활용함으로써 촬영 이미지로부터 독성조류의 종 판별 및 세포 수 산정을 빠르고 용이하게 수행할 수 있음은 물론, 분석 결과의 정확도 및 신뢰성을 높일 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 독성조류 판별 및 셀카운팅 장치
110: 조류 판별부 120: 셀 카운팅부
130: 제1 학습부 140: 제2 학습부

Claims (12)

  1. 독성조류 판별 및 셀카운팅 장치를 이용한 딥러닝 기반의 독성조류 판별 및 셀카운팅 방법에 있어서,
    분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서 상기 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 상기 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류하는 단계; 및
    상기 조류 영역을 기 학습된 CNN 신경망에 입력시켜서 상기 조류 영역 내 조류를 구성한 셀(cell)들을 판별하여 상기 판별된 셀들의 개수를 카운팅하는 단계를 포함하는 독성조류 판별 및 셀카운팅 방법.
  2. 청구항 1에 있어서,
    기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 그에 대응되는 조류의 종명을 학습 데이터로 사용하여 상기 R-CNN 신경망을 학습시키는 단계를 더 포함하는 독성조류 판별 및 셀카운팅 방법.
  3. 청구항 1에 있어서,
    상기 CNN 신경망에 입력되는 상기 조류 영역을 설정 규격으로 리사이징(resizing)하는 단계를 더 포함하는 독성조류 판별 및 셀카운팅 방법.
  4. 청구항 1에 있어서,
    기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 상기 조류 영역 이미지 내에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여, 소정 이미지로부터 셀들을 판별하기 위한 상기 CNN 신경망을 학습시키는 단계를 더 포함하는 독성조류 판별 및 셀카운팅 방법.
  5. 청구항 1에 있어서,
    상기 셀들의 개수를 카운팅하는 단계는,
    상기 판별된 셀들과 배경을 구분하도록 상기 조류 영역을 이진화 처리한 후 선명화하는 단계; 및
    상기 선명화된 조류 영역 내 각 셀 별로 중심점을 설정하고 상기 중심점의 총 개수를 연산하여 상기 셀들의 개수를 카운팅하는 단계를 포함하는 독성조류 판별 및 셀카운팅 방법.
  6. 청구항 5에 있어서,
    상기 셀들의 개수를 카운팅하는 단계는,
    상기 각 셀별 상기 중심점이 표기된 상기 조류 영역의 이미지 및 상기 카운팅한 셀들의 개수를 출력하는 단계를 더 포함하는 독성조류 판별 및 셀카운팅 방법.
  7. 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치에 있어서,
    분석 대상이 되는 촬영 이미지를 기 학습된 R-CNN 신경망에 입력시켜서 상기 촬영 이미지 내에서 조류가 존재하는 적어도 하나의 조류 영역을 탐지하고 상기 탐지한 조류 영역 각각에 대응되는 조류의 종명을 분류하는 조류 판별부; 및
    상기 조류 영역을 기 학습된 CNN 신경망에 입력시켜서 상기 조류 영역 내 조류를 구성한 셀(cell)들을 판별하여 상기 판별된 셀들의 개수를 카운팅하는 셀 카운팅부를 포함하는 독성조류 판별 및 셀카운팅 장치.
  8. 청구항 7에 있어서,
    기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 그에 대응되는 조류의 종명을 학습 데이터로 사용하여 상기 R-CNN 신경망을 학습시키는 제1 학습부를 더 포함하는 독성조류 판별 및 셀카운팅 장치.
  9. 청구항 7에 있어서,
    상기 CNN 신경망에 입력되는 상기 조류 영역을 설정 규격으로 리사이징(resizing)하는 리사이징부를 더 포함하는 독성조류 판별 및 셀카운팅 장치.
  10. 청구항 7에 있어서,
    기 획득된 촬영 이미지 내에서 추출된 조류 영역 이미지 및 상기 조류 영역 이미지 내에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여, 소정 이미지로부터 셀들을 판별하기 위한 상기 CNN 신경망을 학습시키는 제2 학습부를 더 포함하는 독성조류 판별 및 셀카운팅 장치.
  11. 청구항 7에 있어서,
    상기 셀 카운팅부는,
    상기 판별된 셀들과 배경을 구분하도록 상기 조류 영역을 이진화 처리한 후 선명화한 다음,
    상기 선명화된 조류 영역 내 각 셀 별로 중심점을 설정하고 상기 중심점의 총 개수를 연산하여 상기 셀들의 개수를 카운팅하는 독성조류 판별 및 셀카운팅 장치.
  12. 청구항 11에 있어서,
    상기 셀 카운팅부는,
    상기 각 셀별 상기 중심점이 표기된 상기 조류 영역의 이미지 및 상기 카운팅한 셀들의 개수를 출력하는 독성조류 판별 및 셀카운팅 장치.
KR1020180036656A 2018-03-29 2018-03-29 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법 KR20190114241A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036656A KR20190114241A (ko) 2018-03-29 2018-03-29 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036656A KR20190114241A (ko) 2018-03-29 2018-03-29 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190114241A true KR20190114241A (ko) 2019-10-10

Family

ID=68206633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036656A KR20190114241A (ko) 2018-03-29 2018-03-29 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20190114241A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062296A (zh) * 2019-12-11 2020-04-24 武汉兰丁医学高科技有限公司 一种基于计算机的白细胞自动识别分类方法
KR20210114805A (ko) * 2020-03-11 2021-09-24 성균관대학교산학협력단 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
KR20220001972A (ko) * 2020-06-30 2022-01-06 울산과학기술원 딥러닝 기반 모델링을 통한 미량오염물질 정밀검출 장치 및 방법
KR20220084838A (ko) * 2020-12-14 2022-06-21 가톨릭대학교 산학협력단 세포 선별 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062296A (zh) * 2019-12-11 2020-04-24 武汉兰丁医学高科技有限公司 一种基于计算机的白细胞自动识别分类方法
CN111062296B (zh) * 2019-12-11 2023-07-18 武汉兰丁智能医学股份有限公司 一种基于计算机的白细胞自动识别分类方法
KR20210114805A (ko) * 2020-03-11 2021-09-24 성균관대학교산학협력단 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
US11620360B2 (en) 2020-03-11 2023-04-04 Research & Business Foundation Sungkyunkwan University Methods and systems for recognizing object using machine learning model
KR20220001972A (ko) * 2020-06-30 2022-01-06 울산과학기술원 딥러닝 기반 모델링을 통한 미량오염물질 정밀검출 장치 및 방법
KR20220084838A (ko) * 2020-12-14 2022-06-21 가톨릭대학교 산학협력단 세포 선별 장치 및 방법
WO2022131607A1 (ko) * 2020-12-14 2022-06-23 가톨릭대학교 산학협력단 세포 선별 장치 및 방법

Similar Documents

Publication Publication Date Title
CN108090906B (zh) 一种基于区域提名的宫颈图像处理方法及装置
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
KR20190114241A (ko) 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법
CN107206384B (zh) 用于实验室自动化的侧视样品管图像中的条形码标签检测
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN114972922B (zh) 基于机器学习的煤矸分选识别方法、装置及设备
CN101984453B (zh) 一种人眼识别系统及方法
CN112215790A (zh) 基于深度学习的ki67指数分析方法
CN106909879A (zh) 一种疲劳驾驶检测方法及系统
CN111986183A (zh) 一种染色体散型图像自动分割识别系统及装置
CN103177266A (zh) 储藏物害虫智能识别系统
Maldonado-Bascon et al. Traffic sign recognition system for inventory purposes
Naruenatthanaset et al. Red blood cell segmentation with overlapping cell separation and classification on imbalanced dataset
Yingthawornsuk et al. Automatic Thai Coin Calculation System by Using SIFT
CN108961262A (zh) 一种复杂场景下的条码定位方法
CN110826629A (zh) 一种基于细粒度分类的耳镜图像辅助诊断方法
CN114332058A (zh) 基于神经网络的血清质量识别方法、装置、设备及介质
US20200380671A1 (en) Medical image detection
Alvarez-Ramos et al. Automatic classification of Nosema pathogenic agents through machine vision techniques and kernel-based vector machines
Rao et al. Convolutional Neural Network Model for Traffic Sign Recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination