KR102436336B1 - 인공지능 기반의 미세조류 검출장치 및 그 방법 - Google Patents
인공지능 기반의 미세조류 검출장치 및 그 방법 Download PDFInfo
- Publication number
- KR102436336B1 KR102436336B1 KR1020200149071A KR20200149071A KR102436336B1 KR 102436336 B1 KR102436336 B1 KR 102436336B1 KR 1020200149071 A KR1020200149071 A KR 1020200149071A KR 20200149071 A KR20200149071 A KR 20200149071A KR 102436336 B1 KR102436336 B1 KR 102436336B1
- Authority
- KR
- South Korea
- Prior art keywords
- microalgae
- measurement sample
- image
- flow cell
- photographing
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 33
- 241000195493 Cryptophyta Species 0.000 title description 17
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 239000012153 distilled water Substances 0.000 claims description 6
- 238000007865 diluting Methods 0.000 claims description 4
- 239000002086 nanomaterial Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 53
- 241000894007 species Species 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000011148 porous material Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000002421 cell wall Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000206761 Bacillariophyta Species 0.000 description 1
- 241000195628 Chlorophyta Species 0.000 description 1
- 241000192700 Cyanobacteria Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003495 flagella Anatomy 0.000 description 1
- 239000013505 freshwater Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009210 therapy by ultrasound Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000003403 water pollutant Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/40—Concentrating samples
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N21/03—Cuvette constructions
- G01N21/05—Flow-through cuvettes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/38—Diluting, dispersing or mixing samples
- G01N2001/386—Other diluting or mixing processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/40—Concentrating samples
- G01N1/4077—Concentrating samples by other techniques involving separation of suspended solids
- G01N2001/4094—Concentrating samples by other techniques involving separation of suspended solids using ultrasound
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Dispersion Chemistry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명의 실시예에 따른 미세조류 검출장치는 측정시료에 초음파 처리하는 전처리부, 전처리가 완료된 측정시료를 플로우셀에 통과시키고, 촬영하여 이미지를 생성하는 촬영부 및 인공지능 알고리즘을 이용하여 상기 이미지로부터 측정시료 내에 포함된 미세조류를 검출하는 검출부를 포함한다.
Description
본 발명은 인공지능 기반의 미세조류 검출장치에 관한 것으로서 보다 상세하게는 미세조류를 촬영한 이미지를 이용하여 미세조류를 검출하는 장치 및 그 방법에 관한 것이다.
기후변화에 따른 수온 상승과 영양염류로 인하여 발생한 조류는 하천 및 상수원 원수에 수질오염 원인물질을 발생시키기 때문에 관리가 필요하다.
이에 따라 다양한 조류 모니터링 장치 및 방법에 대한 연구가 이루어지고 있다. 종래의 조류 모니터링 기술로는 대한민국 등록특허 제10-1898712호, 대한민국 공개특허 제2012-0133974호, 대한민국 공개특허 제2018-0003757호, 대한민국 등록특허 제10-0917030호 등과 같이 주로, 조류가 포함된 시료에 복수의 파장을 갖는 빛을 조사하여 조류들이 발생시키는 파장을 분석하는 방식이 있으며, 대한민국 등록특허 제10-1928919호와 같이 색도, 온도, 조도를 검출하는 방식, 대한민국 등록특허 제10-1683379호와 같이 조류로부터 추출된 DNA를 분석하는 방식, 대한민국 등록특허 제10-2100197호와 같이 현미경으로 조류 이미지를 촬영하는 방법 등이 있다.
빛의 파장, 색도, 온도, 조도를 검출하는 방식은 조류의 발생량 분석을 주 목적으로 하고, 분류에서 있어서는 색상으로 구분되는 수준만을 분석할 수 있기 때문에 종을 판별하는데는 한계가 있다.
종 분류를 위해서는 조류로부터 추출된 DNA 분석 또는 현미경을 통해 확대된 조류 이미지를 실험자의 판단으로 구분하는 방식을 사용하고 있다. 하지만, 2015년 구축된 국립생물자원관 자생생물 종목록 기준 미세조류는 규조류 1,738 종, 담수녹조류 1,308 종, 편모조류 686 종, 남조류 239 종으로 DNA 분석법은 시간이 너무 오래 걸리며, 현미경을 통한 분석 방식 역시 시간, 비용 문제와 인식오류의 가능성이 있다.
한편 최근에는 인공지능 알고리즘을 이용하여 이미지를 학습하고 객체를 분류하는 기술에 대한 연구가 이루어지고 있다. 인공신경망(ANN, Artificial Neural Network )은 두뇌의 신경세포(뉴런)이 연결된 형태를 모방한 모델로써, 입력 계층(Input layer), 은닉 계층(Hidden layers) 및 출력 계층(Output layer)으로 구성된다. 각 계층에서는 여러 입력값을 받아서 일정 수준이 넘어서면 활성화되어 출력값을 내보내며, 출력값은 다음 계층의 입력으로 활용된다.
딥러닝을 통한 이미지 분류는 높은 정확도로 많은 양의 이미지를 분석할 수 있지만 이를 위해서는 충분한 학습량이 요구된다. 일반적으로 한가지 객체를 분류하기 위해서는 학습에 최소 2000장 이상의 이미지가 필요하다고 알려져 있다.
미세조류는 종이 매우 다양하며(총 3,971 종), 각 종으로부터 2000 장 이상의 현미경 이미지를 확보하는 것은 매우 어렵다. 또한 현미경을 통해 촬영된 이미지는 현미경의 배율, 사용 필터에 따라 이미지의 크기, 색상, 밝기, 해상도 등에 차이가 있다.
학습된 이미지와 촬영된 이미지의 특성이 다를 경우 분류 정확도가 떨어질 수 있어 학습 시 동일종에 대하여 다양한 이미지를 확보하는 것이 필요하다. 이는 딥러닝을 통한 이미지 분류 기술에서 공통적으로 적용되는 문제점으로 원본 이미지에 반전, 회전, 색변환 등의 변형을 주어 가상의 이미지를 생성하는 기법(Imgage augmentation)도 알려져 있다. 텐서플로우나 케라스는 오픈소스 신경망 라이브러리로 이미지 변환을 통해 가상의 이미지를 생성하는 메소드를 제공한다. 하지만 이렇게 생성된 가상 이미지의 변형이 원본 데이터 정보를 훼손할 경우 오히려 학습 성능에 좋지 않은 영향을 끼칠 수 있어 최적화된 이미지 생성 기법이 필요하다.
본 발명의 목적은 하천이나 상수원수 등 측정수 내에 포함되어 있는 미세조류를 검출하는 장치 및 그 방법을 제공하는데 있다.
본 발명의 실시예에 따른 미세조류 검출장치는 측정시료에 초음파 처리하는 전처리부, 전처리가 완료된 측정시료를 플로우셀에 통과시키고, 촬영하여 이미지를 생성하는 촬영부 및 인공지능 알고리즘을 이용하여 상기 이미지로부터 측정시료 내에 포함된 미세조류를 검출하는 검출부를 포함한다.
일실시예에 따라, 상기 전처리부는 마이크로 시브를 이용하여 측정시료를 필터링하거나, 탁도를 기반으로 증류수로 측정시료를 희석시키고, 희석된 측정시료에 초음파 처리하되, 미세조류의 응집체인 플록(floc)이 분산되도록 초음파를 인가한다.
일실시예에 따라, 상기 플로우셀은 서로 다른 단면 크기를 갖는 둘 이상의 유로를 포함하며, 유로의 내부면은 나노물질로 코팅될 수 있다.
일실시예에 따라, 상기 촬영부는 상기 플로우셀 내의 측정시료를 촬영하는 도립식 현미경을 포함한다.
일실시예에 따라, 상기 도립식 현미경은 상기 플로우셀 내에 포함된 유로의 단면크기에 따라 다른 배율의 렌즈로 촬영할 수 있다.
일실시예에 따라, 상기 검출부는 촬영된 이미지로부터 가상의 이미지를 생성한다.
본 발명의 실시예에 따른 미세조류 검출방법은 미세조류 검출장치에 의해 수행되는 검출방법으로서, 측정시료에 초음파를 인가하는 전처리 단계, 전처리가 완료된 측정시료를 플로우셀에 통과시키는 단계, 측정시료가 상기 플로우셀에 담긴 상태에서 촬영하는 단계, 상기 촬영된 이미지를 이용하여 미세조류를 검출하는 단계를 포함한다.
일실시예에 따라, 상기 전처리 단계는 측정시료를 필터링하는 단계 또는 증류수를 이용하여 측정시료를 희석시키는 단계를 포함한다.
일실시예에 따라, 상기 플로우셀에 통과시키는 단계는 서로 다른 단면 크기를 갖는 둘 이상의 유로에 측정시료를 통과시키는 단계를 포함한다.
일실시예에 따라, 상기 촬영하는 단계 이후, 촬영된 이미지를 이용하여 가상의 이미지를 생성하는 단계를 더 포함할 수 있다.
일실시예에 따라, 상기 미세조류를 검출하는 단계는 상기 촬영된 이미지와 상기 가상의 이미지를 이용하여 학습을 통해 미세조류의 종류를 검출하는 YOLO(You Only Look Once) 알고리즘을 활용할 수 있다.
본 발명의 실시예에 따른 미세조류 검출장치에 의하면, 비교적 정확하게 미세조류를 검출할 수 있다.
또한, 미세조류 검출을 위한 촬영시에 발생할 수 있는 수로막힘이 방지되어 장치의 안정성이 확보될 수 있다.
또한, 촬영횟수대비 분류정확도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 미세조류 검출장치의 기능블록도이다.
도 2는 본 발명의 실시예에 따라 미세조류에 초음파를 인가하기 전과후의 사진이다.
도 3은 본 발명의 실시예에 따른 플로우셀의 실제사진이다.
도 4는 본 발명의 실시예에 따른 다양한 단면너비를 갖는 유로가 형성된 플로우셀의 설계도이다.
도 5는 본 발명의 실시예에 따른 촬영부의 개념도이다.
도 6은 이미지 편집 과정의 예시도이다.
도 7은 Yolo모델의 네트워크 구조를 설명하는 도면이다.
도 8은 본 발명의 실시예에 따른 종 분류 테스트 이미지이다.
도 9는 본 발명의 실시예에 따른 실제 종 분류 결과 사진이다.
도 10은 본 발명의 실시예에 따른 미세조류 검출방법의 순서도이다.
도 2는 본 발명의 실시예에 따라 미세조류에 초음파를 인가하기 전과후의 사진이다.
도 3은 본 발명의 실시예에 따른 플로우셀의 실제사진이다.
도 4는 본 발명의 실시예에 따른 다양한 단면너비를 갖는 유로가 형성된 플로우셀의 설계도이다.
도 5는 본 발명의 실시예에 따른 촬영부의 개념도이다.
도 6은 이미지 편집 과정의 예시도이다.
도 7은 Yolo모델의 네트워크 구조를 설명하는 도면이다.
도 8은 본 발명의 실시예에 따른 종 분류 테스트 이미지이다.
도 9는 본 발명의 실시예에 따른 실제 종 분류 결과 사진이다.
도 10은 본 발명의 실시예에 따른 미세조류 검출방법의 순서도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 그러나 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 미세조류 검출장치의 기능블록도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 미세조류 검출장치(10)는 측정시료에 초음파 처리하는 전처리부(100), 전처리가 완료된 측정시료를 플로우셀에 통과시키고, 촬영하여 이미지를 생성하는 촬영부(200) 및 인공지능 알고리즘을 이용하여 상기 이미지로부터 측정시료 내에 포함된 미세조류를 검출하는 검출부(300)를 포함한다.
전처리부(100)는 마이크로 시브를 이용하여 pore size(기공 크기) 수십~수천 
로 미세조류를 필터링한다. 이를 통해 시료 및 조류의 특성에 따라 이물질 제거 또는 타겟 크기 이하의 조류만 플로우셀로 유입되도록 시브의 pore size를 변경 할 수 있다. 또한, 측정시료의 탁도를 기반으로 증류수와 측정시료를 희석시키는 과정을 거칠 수 있다., 이러한 과정 이후 전처리부(100)는 희석된 측정시료에 초음파 처리를 하게 된다. 전처리부(100)는 미세조류의 응집체인 플록(floc)이 분산되도록 초음파를 인가한다.
본 발명의 실시예에 따른 미세조류 검출장치(10)는 초음파를 측정시료에 노출시키는데, 보통 100~200kJ/L의 강도로 15초 내지 25초 동안 초음파를 인가한다. 이러한 점은 대한민국 등록특허 제10-2101022호에서 초음파를 이용하여 미세조류의 세포벽 파괴 및 분리를 수행하는데, 초음파 60kHz, 10~60분을 조사하게 된다는 점과는 차이가 있다.
특히 본 발명의 실시예에 따른 미세조류 검출장치(10)는 미세조류의 세포벽을 파괴하지 않도록 하는 최적의 초음파 강도와 시간을 도출하였으며, 미세조류의 응집체인 플록(floc)이 분산될 수 있는 정도의 초음파를 측정시료에 노출시킨다.
도 2는 본 발명의 실시예에 따라 미세조류에 초음파를 인가하기 전과후의 사진이다.
도 2에 도시된 바와 같이 미세조류에 초음파를 인가한 경우 플록이 분산되어 있음을 확인할 수 있다.
촬영부(200)는 전처리가 완료된 측정시료를 플로우셀에 통과시키고, 촬영하여 이미지를 생성하게 되는데, 플로우셀은 수백~수천 마이크로 미터의 너비를 갖는 유로가 형성되어 있는 투명재질의 기판이다. 이미지를 촬영하는 방식은 현미경에 탑재된 카메라로부터 이미지 저장 프로그램으로 불러오는 방법과, 화면캡처 기능을 통해 PC 모니터에 표출되는 이미지를 저장하는 방법을 포함한다.
도 3은 본 발명의 실시예에 따른 플로우셀의 실제사진이다.
도 4는 본 발명의 실시예에 따른 다양한 단면너비를 갖는 유로가 형성된 플로우셀의 설계도이다.
도 3과 도 4에 도시된 바와 같이 플로우셀(210)은 서로 다른 단면 크기를 갖는 둘 이상의 유로(211)를 포함한다. 플로우셀(210)은 둘 이상의 유로(211)를 포함함으로서, 한 번의 촬영에 의해서도 다양한 이미지를 획득할 수 있으며, 플로우셀(210)이 단면 크기가 다양한 유로(211)를 포함함으로서, 미세조류의 크기에 따른 안정적인 이미지 획득이 가능하게 된다.
도 4에 도시된 플로우셀(210)은 3개의 유로(211)가 형성되어 있는 플로우셀(210)이 도시되어 있으며, 플로우셀(210)의 단면 크기는 100㎛, 500㎛, 600㎛로 구성될 수도 있으며, 그보다 작거나 큰 유로가 형성될 수 있다. 또한, 플로우셀(210)은 슬라이드 글라스(212) 위에 투명기판(213)이 부착되는 형태로 제작될 수 있으며, 투명기판(213)은 4500㎛의 높이로 형성될 수 있고,그보다 높거나 좁게 형성될 수 있다. 도 3에 도시된 바와 같이 투명기판(213)의 유로(211) 양측 상부에는 측정시료가 유입되고 유출될 수 있는 통로(215)가 구비된다.
또한, 플로우셀(210)에 형성되는 유로(211)의 내부면은 나노물질로 코팅이 된다. 미세조류가 포함된 측정시료를 저속으로 유로(211)에 통과시키는 경우에 유로(211) 내벽에 미세조류가 유착되어 유로가 좁아지게 되고 결국에는 유로가 막히게 된다. 이러한 위험을 줄이고, 측정시료가 유로를 잘 통과할 수 있도록 본 발명의 실시예에 따른 플로우셀(210)의 유로(211) 내부면에 나노물질이 코팅된다.
본 발명의 실시예에 따른 촬영부(200)는 플로우셀(210) 내의 측정시료를 촬영하는 도립식 현미경을 포함한다.
도 5는 본 발명의 실시예에 따른 촬영부의 개념도이다.
도 5에 도시된 바와 같이 촬영부(200)는 현미경에 플로우셀(210)을 도입시켜 카메라를 통해서 촬영하며, 컴퓨터와 연결되어 있는 카메라는 촬영즉시 이미지를 컴퓨터로 전송한다. 카메라 연결이 불가능한 경우 화면캡처를 통해서도 이미지를 저장할 수 있다.
도 5에 도시되어 있는 플로우셀(210)은 좁은 너비를 갖는 제1플로우셀과 넓은 너비를 갖는 제2플로우셀을 도시하고 있으나, 이와 달리 좁은 단면 크기의 유로와 넓은 단면 크기의 유로를 갖는 하나의 플로우셀을 각 유로마다 촬영하는 복수의 카메라가 위치할 수도 있다. 또한, 본 발명의 실시예에 따른 촬영부(200)는 플로우셀(210)의 아래쪽에 제1대물렌즈와 제2대물렌즈가 각각 위치하는 도립식 현미경을 포함할 수 있다.
도립식 현미경은 플로우셀이 놓이는 높이에서 초점을 맞추는 것이 용이하여 선명한 미세조류의 이미지 획득이 가능하다. 또한, 도립식 현미경을 사용함으로 인해서 두께가 다른 플로우셀(210)을 동시에 촬영할 수 있고, 현미경 렌즈와 플로우셀(210)의 거리를 최소화할 수 있어, 플로우셀(210) 유로(211) 안의 미세조류의 이미지를 정립식 현미경보다 가까이에서 촬영할 수 있다.
이러한 도립식 현미경은 플로우셀(210) 내에 포함된 유로(211) 단면크기에 따라 다른 배율의 렌즈로 촬영한다. 즉, 도 5에 도시되어 있는 도립식 현미경의 제1대물렌즈와 제2대물렌즈는 서로 배율이 다른 렌즈일 수 있다.
촬영부(200)는 촬영된 이미지의 조류 검색 인식능을 위해 배경제거, 이미지 색상변환 등의 편집을 할 수 있다.
도 6은 이미지 편집 과정의 예시도이다.
본 발명의 실시예에 따른 촬영부(200)는 이미지를 편집한다. 도 6에 도시된 바와 같이 이미지 편집은 현미경을 통해 촬영된 원본 이미지에서 학습하고자 하는 목표 미세조류 이미지로 분할 및 배율을 조정하는 단계(①), Grey, 흑백으로 색상을 변환하는 단계(②), 좌우 반전 (flip)하는 단계(③), 변환 된 이미지의 일부를 자르는 단계(④)를 포함한다.
변환 된 이미지들은 라벨링 이후 모두 학습에 활용된다. 이미지 학습에는 CNN을 포함한 다양한 알고리즘이 활용될 수 있다.
본 발명의 실시예에 따른 검출부(300)는 인공지능 알고리즘을 이용하여 이미지로부터 측정시료 내에 포함된 미세조류를 검출한다.
먼저 본 발명의 실시예에 따른 검출부(300)는 YOLO 알고리즘을 활용하여 이미지를 분류한다.
본 발명에서 활용된 YOLO 알고리즘은 한번의 evaluation으로 이미지 전체에서 경계박스(Bounding box) 위치, 클래스와 일치할 확률(Class probability)를 연산하기 때문에 1초에 45 frame(fps)(Fast Yolo의 경우 155 fps)를 처리하면서도 mAP 값이 다른 알고리즘(R-CNN)의 2배에 달한다. 네트워크의 최종 출력단에서 경게박스의 위치 찾기와 클래스 분류가 동시에 이뤄진다.
R-CNN 알고리즘은 regional proposal이라는 수백개의 이미지 후보를 생성하고, 각각에 대해서 분류(classifier)를 적용한다. 이후에 경계박스를 수정, 중복되는 검출 제거하고 다른 물체를 근거로 박스를 재평가하는 단계를 거치기 때문에 느리고 최적화 하기 어렵다. 이에 비해 YOLO 알고리즘은 전체 이미지를 NxN 격자 그리드로 나누어 각 그리드마다 경계 박스 좌표, class probability에 이르는 객체 인식(object detection)을 single regression 으로 재구성하기 때문에 하나의 네트워크로 그 안에 어떤 물체가 있는지, 어디에 위치하는지 파악할 수 있다. 따라서, 한 번에 클래스를 판단하고 이를 통합한 최종 객체를 구분하는 차이가 있다.
도 7은 Yolo모델의 네트워크 구조를 설명하는 도면이다.
YOLO 네트워크에 대해서 간략히 설명하면, 예시로 이미지를 도 11과 같이 7x7개의 격자(그리드)로 나눌 경우 총 49개의 그리드 셀이 생성된다. 각 그리드 셀마다 중심을 그리드 안쪽으로 하면서 무작위의 크기를 가지는 경계박스(bounding box)를 2개씩 제안하여(proposal) 총 98개의 경계박스가 생성된다. 도 11에서 빨간색 박스는 7x7 그리드 셀 중 하나이며, 노란색 박스는 빨간색 그리드셀에서 예측한 경계박스 중 하나이다. 이 빨간색 그리드셀 하나로부터 30개(노란색 박스의 5가지 예측값(x,y,w,h,c) x 2(빨간 그리드셀의 다른 경계박스)+어떤 클래스일 확률 20가지)의 정보를 가지는 데이터가 생성된다. 그리드 셀이 49개이므로 특징 데이터는 총 7x7x30의 예측결과를 얻는다. 이후 오브젝트가 있을 확률(Probability)이 threshold(0.25) 값을 넘지 못하는 경우에는 오브젝트가 없는 것으로 판단하여 0으로 셋팅하고 클래스별로 신뢰점수가 큰 값을 기준으로 경계박스를 얻게되면 도 12와 같이 최종적인 경계박스를 얻을 수 있다.
본 발명의 실시예에 따른 검출부(300)는 촬영부(200)에서 생성된 이미지를 이용하여 미세조류를 검출하는데, 앞서 언급한 바와 같이 촬영부(200)는 딥러닝 기법을 이용한 이미지 분류 모델의 객체 인식능을 위해 이미지를 적절히 수정(전처리)한다. 또한 생성된 다양한 이미지를 기반으로 현미경 차이로 발생할 수 있는 판별 오류를 최소화 한다. 학습이 완료된 모델파일은 다운로드하여 다양한 디바이스(PC, 모바일)에서 종 분류 작업을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 종 분류 테스트 이미지이다.
도 9는 본 발명의 실시예에 따른 실제 종 분류 결과 사진이다.
본 발명에서는 기존 YOLO에서 속도와 성능을 개선한 YOLOv3 알고리즘을 활용할 수 있다.
도 8에 도시된 바와 같이 본 발명의 실시예에 따른 종 분류 테스트용 이미지는 학습 이후 종 분류 테스트에 활용된 이미지들로 다양한 색상, 해상도, 방향으로 구성되었다. 또한, 도 9에 도시된 바와 같이 본 발명의 실시예에 따른 검출부를 통해 종을 구분한 것으로 80%의 정확도로 종을 구별하는 것을 확인하였다.
이상 본 발명의 실시예에 따른 미세조류 검출장치 및 그 방법에 대해서 살펴보았다. 이하, 본 발명의 또 다른 양태에 따른 미세조류 검출방법에 대해서 도 10을 통해서 살펴본다. 앞선 실시예와 중복된 구성에 대한 설명은 생략한다.
도 10은 본 발명의 실시예에 따른 미세조류 검출방법의 순서도이다.
도 10에 도시된 바와 같이 본 발명의 실시예에 따른 미세조류 검출방법은 측정시료에 초음파를 인가하는 전처리 단계(S100), 전처리가 완료된 측정시료를 플로우셀에 통과시키는 단계(S200), 측정시료가 상기 플로우셀에 담긴 상태에서 촬영하는 단계(S300), 상기 촬영된 이미지를 이용하여 미세조류를 검출하는 단계(S500)를 포함한다.
측정시료에 초음파를 인가하는 전처리 단계(S100)는 측정시료에 포함되어 있는 미세조류의 플록(floc)을 분산시키기 위한 과정이다. 앞선 실시예에서 설명한 바와 같이 미세조류의 세포벽을 파괴하는 수준의 강도를 배제하고 뭉쳐있는 미세조류를 분산시키기 위한 적절한 강도와 시간을 조절하여 측정시료에 초음파를 인가한다.
또한 전처리 단계(S100)는 측정시료에 초음파를 인가하기 전에 마이크로 시브를 이용하여 pore size(기공 크기) 수십~수천 
로 필터링한다. 시료 및 조류의 특성에 따라 이물질 제거 또는 타겟 크기 이하의 조류만 플로우셀로 유입되도록 시브의 pore size를 변경 할 수 있다. 전처리 단계(S100)는 경우에 따라 탁도 기반 희석 이후에 타겟 크기 이하의 조류만 필터링 할 수도 있다. 전처리 단계(S100)는 탁도에 따라서 증류수를 측정시료와 희석시키는 단계를 포함할 수 있다. 실제 현미경을 통해서 촬영할 때 탁도가 높아서 미세조류를 관찰하기 어려운 경우가 발생할 수 있어, 그 전에 증류수로 측정시료를 희석시키는 전처리 단계를 거친 후에 단계를 진행한다.
다음으로 전처리가 완료된 측정시료를 플로우셀에 통과시키는 단계(S200)는 전처리가 완료된 측정시료를 앞선 도 3에 언급된 유입되고 유출될 수 있는 통로에 시린지 펌프를 연결하여 플로우셀에 측정시료를 유입시킨다. 플로우셀에 유입된 측정시료는 유로를 통과하게 된다.
측정시료를 플로우셀에 통과시키는 단계(S200)는 서로 다른 단면 크기를 갖는 둘 이상의 유로에 측정시료를 통과시키는 단계를 포함하고, 각 유로에 시린지 펌프가 연결되어 측정시료를 유로에 투입한다.
측정시료가 플로우셀에 담긴 상태에서 촬영하는 단계(S300)는 플로우셀이 현미경에 놓이게 되고, 현미경에 부착된 카메라는 각 유로에 초점을 맞춰서 플로우셀의 유로에 담겨 있는 측정시료를 촬영한다.
촬영하는 단계(S300) 이후에는 촬영된 이미지를 이용하여 이미지를 편집하는 단계(S400)를 더 포함한다. 이미지를 편집하는 단계(S400)는 이미지 분류 모델의 객체 인식능을 위해 이미지를 적절히 수정(전처리)하는 단계이다.
마지막으로 촬영된 이미지를 이용하여 미세조류를 검출하는 단계(S500)는 촬영된 이미지와 가상의 이미지를 이용하여 학습을 통해 미세조류를 검출한다.
이상 살펴본 바와 같이 본 발명의 실시예에 따른 미세조류 검출장치 및 검출방법에 의하면, 미세조류를 정확하게 검출할 수 있을 뿐만 아니라, 별도의 이미지 데이터를 축적할 필요 없이도 합성공 신경망 알고리즘을 통한 학습을 통해서 정확한 미세조류 검출이 가능할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 장치, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 전처리부
200 촬영부
300 검출부
200 촬영부
300 검출부
Claims (11)
- 측정시료에 초음파 처리하는 전처리부;
전처리가 완료된 측정시료를 플로우셀에 통과시키고, 촬영하여 이미지를 생성하는 촬영부; 및
인공지능 알고리즘을 이용하여 상기 이미지로부터 측정시료 내에 포함된 미세조류를 검출하는 검출부를 포함하고,
상기 플로우셀은 서로 다른 단면 크기를 갖는 둘 이상의 유로를 포함하며,
유로의 내부면은 나노물질로 코팅되고,
상기 촬영부는 상기 플로우셀 내의 측정시료를 촬영하는 도립식 현미경을 포함하며, 상기 도립식 현미경은 상기 플로우셀 내에 포함된 유로의 단면크기에 따라 다른 배율의 렌즈로 촬영하는 것을 특징으로 하는 미세조류를 검출하는 미세조류 검출장치 - 제1항에 있어서,
상기 전처리부는 마이크로 시브를 이용하여 측정시료를 필터링하거나, 탁도를 기반으로 증류수로 측정시료를 희석시키고, 희석된 측정시료에 초음파 처리하되, 미세조류의 응집체인 플록(floc)이 분산되도록 초음파를 인가하는 것을 특징으로 하는 미세조류를 검출하는 미세조류 검출장치. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 검출부는 촬영된 이미지로부터 가상의 이미지를 생성하는 것을 특징으로 하는 미세조류를 검출하는 미세조류 검출장치. - 미세조류 검출장치에 의해 수행되는 검출방법으로서,
측정시료에 초음파를 인가하는 전처리 단계;
전처리가 완료된 측정시료를 플로우셀에 통과시키는 단계;
측정시료가 상기 플로우셀에 담긴 상태에서 촬영하는 단계;
상기 촬영된 이미지를 이용하여 미세조류를 검출하는 단계를 포함하며,
상기 플로우셀에 통과시키는 단계는
서로 다른 단면 크기를 갖는 둘 이상의 유로에 측정시료를 통과시키는 단계를 포함하고,
상기 촬영하는 단계는 플로우셀 내의 측정시료를 도립식 현미경을 이용하여 촬영하되 상기 도립식 현미경은 상기 플로우셀 내에 포함된 유로의 단면크기에 따라 다른 배율의 렌즈로 촬영하는 것을 특징으로 하는 미세조류 검출방법. - 제7항에 있어서,
상기 전처리 단계는 측정시료를 필터링하는 단계 또는 증류수를 이용하여 측정시료를 희석시키는 단계를 포함하는 것을 특징으로 하는 미세조류 검출방법. - 삭제
- 제7항에 있어서,
상기 촬영하는 단계 이후,
촬영된 이미지를 이용하여 이미지를 편집하는 단계 더 포함하는 것을 특징으로 하는 미세조류 검출방법. - 제10항에 있어서,
상기 미세조류를 검출하는 단계는
상기 촬영된 이미지와 가상의 이미지를 이용하여 학습을 통해 미세조류의 종류를 검출하는 YOLO 알고리즘을 활용하는 것을 특징으로 하는 미세조류 검출방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149071A KR102436336B1 (ko) | 2020-11-10 | 2020-11-10 | 인공지능 기반의 미세조류 검출장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149071A KR102436336B1 (ko) | 2020-11-10 | 2020-11-10 | 인공지능 기반의 미세조류 검출장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220063347A KR20220063347A (ko) | 2022-05-17 |
| KR102436336B1 true KR102436336B1 (ko) | 2022-08-25 |
Family
ID=81799699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200149071A KR102436336B1 (ko) | 2020-11-10 | 2020-11-10 | 인공지능 기반의 미세조류 검출장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102436336B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009192450A (ja) * | 2008-02-18 | 2009-08-27 | Public Works Research Institute | 植物プランクトンの計測法 |
| CN110889844A (zh) * | 2019-11-29 | 2020-03-17 | 哈尔滨工程大学 | 一种基于深度聚类分析的珊瑚分布及健康状况评估方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100917030B1 (ko) | 2007-07-18 | 2009-09-10 | (주)세진에스아이 | 수중 미세조류의 무선 모니터링 시스템 |
| KR101224855B1 (ko) | 2011-05-31 | 2013-01-22 | (주)제이엠이엔비 | 다파장 광원을 이용한 조류 측정 장치 |
| EP3792921A1 (en) * | 2013-12-11 | 2021-03-17 | Genapsys, Inc. | Systems and methods for biological analysis and computation |
| KR101683379B1 (ko) | 2015-05-29 | 2016-12-06 | 이화여자대학교 산학협력단 | 휴대형 미세조류 검출 장치 |
| KR20180003757A (ko) | 2016-07-01 | 2018-01-10 | (주) 팬지아이십일 | 조류 모니터링 시스템 |
| KR101898712B1 (ko) | 2018-04-10 | 2018-09-13 | (주)테크윈시스템 | 침지형 피코시아닌 센서를 이용한 통합 모니터링 시스템 |
| KR102100197B1 (ko) * | 2018-08-17 | 2020-04-14 | (주)엠큐빅 | 플로우 셀을 이용한 미세조류 연속 모니터링 장치 |
| KR101928919B1 (ko) | 2018-09-27 | 2018-12-13 | 재단법인 한국환경산업연구원 | 실시간 조류 모니터링 시스템 |
-
2020
- 2020-11-10 KR KR1020200149071A patent/KR102436336B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009192450A (ja) * | 2008-02-18 | 2009-08-27 | Public Works Research Institute | 植物プランクトンの計測法 |
| CN110889844A (zh) * | 2019-11-29 | 2020-03-17 | 哈尔滨工程大学 | 一种基于深度聚类分析的珊瑚分布及健康状况评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220063347A (ko) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7261414B2 (ja) | 分析方法 | |
| US10430640B2 (en) | System and method for classification of particles in a fluid sample | |
| CN109863384B (zh) | 基于图像的细胞分选系统和方法 | |
| US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
| CN110462627B (zh) | 图像分析系统和相关方法 | |
| US20220120664A1 (en) | Systems and methods for autofocus and automated cell count using artificial intelligence | |
| CN114600156B (zh) | 用于滋扰滤波的深度学习网络 | |
| KR102622720B1 (ko) | 적층 잡음 제거 오토 인코더를 사용한 이미지 잡음 감소 | |
| KR20220033940A (ko) | 기계학습을 이용한 미세플라스틱 분석 방법 | |
| US10664978B2 (en) | Methods, systems, and computer readable media for using synthetically trained deep neural networks for automated tracking of particles in diverse video microscopy data sets | |
| CN117677986A (zh) | 采集及检验眼科镜片的图像 | |
| CN116113982A (zh) | 使用迁移学习的晶片级空间标志分组 | |
| KR102436336B1 (ko) | 인공지능 기반의 미세조류 검출장치 및 그 방법 | |
| EP4300437A2 (en) | System and method for classifying microscopic particles | |
| KR102545148B1 (ko) | 형광염색을 이용한 미세플라스틱의 질량추정방법 | |
| Govindaraju | Application of convolutional neural network for leukocyte quantification from a smartphone based microfluidic biosensor | |
| Christian et al. | Classification and Generation of Microscopy Images with Plasmodium Falciparum via Artificial Neural Networks Using Low Cost Settings | |
| Svensson et al. | Reducing Usage Barriers: Employing AI-based Image Analysis in a Diagnostic Platform | |
| Baum et al. | Image‐based characterization of flocculation processes through PLS inspired representation learning in convolutional neural networks | |
| Belini et al. | Reducing costs of Giardia spp. cyst enumeration using machine learning-based systems | |
| Schurr et al. | Automated Segmentation of Patterned Cells in Micropatterning Microscopy Images | |
| CN117576035A (zh) | 一种基于改进孪生网络的小样本储油罐底板缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |