KR20220033150A - 생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 - Google Patents
생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 Download PDFInfo
- Publication number
- KR20220033150A KR20220033150A KR1020200115178A KR20200115178A KR20220033150A KR 20220033150 A KR20220033150 A KR 20220033150A KR 1020200115178 A KR1020200115178 A KR 1020200115178A KR 20200115178 A KR20200115178 A KR 20200115178A KR 20220033150 A KR20220033150 A KR 20220033150A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- species
- ecological
- time monitoring
- ecological species
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012502 risk assessment Methods 0.000 title description 3
- 231100000463 ecotoxicology Toxicity 0.000 title description 2
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 238000012805 post-processing Methods 0.000 claims abstract description 39
- 241000894007 species Species 0.000 claims description 109
- 230000006399 behavior Effects 0.000 claims description 56
- 241000238578 Daphnia Species 0.000 claims description 46
- 230000003542 behavioural effect Effects 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 31
- 239000003440 toxic substance Substances 0.000 claims description 28
- 231100000167 toxic agent Toxicity 0.000 claims description 26
- 238000012806 monitoring device Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000000873 masking effect Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000002105 nanoparticle Substances 0.000 abstract description 18
- 231100000419 toxicity Toxicity 0.000 abstract description 12
- 230000001988 toxicity Effects 0.000 abstract description 12
- 230000008859 change Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 17
- 230000007613 environmental effect Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005312 nonlinear dynamic Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000252212 Danio rerio Species 0.000 description 2
- 231100000694 OECD Guidelines for the Testing of Chemicals Toxicity 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 231100000614 poison Toxicity 0.000 description 2
- 231100000331 toxic Toxicity 0.000 description 2
- 230000002588 toxic effect Effects 0.000 description 2
- 241000238571 Cladocera Species 0.000 description 1
- 241001494246 Daphnia magna Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007059 acute toxicity Effects 0.000 description 1
- 231100000403 acute toxicity Toxicity 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001418 larval effect Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000001076 sarcopenia Diseases 0.000 description 1
- 238000007655 standard test method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000820 toxicity test Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 108700024526 zebrafish sox32 Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/004—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
나노 입자에 의한 수생 독성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치가 개시된다. 나노 입자에 의한 수생 독성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법은, 행동 패턴을 모니터링할 생태종의 원본 영상을 획득하는 단계, 상기 생태종의 모니터링할 영역이 마스킹된 영상을 획득하는 단계, 상기 원본 영상 및 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하는 단계, 상기 객체분할 모델을 이용하여 행동 패턴을 모니터링하기 위한 객체의 영상을 분할하는 단계, 상기 분할된 객체의 영상을 후처리하는 단계 및 상기 객체 영상의 후처리 결과 생성된 데이터를 분석하는 단계를 포함한다.
Description
본 발명은 인공 지능에 기반한 데이터 분석기술에 관한 것으로, 특히 나노 입자에 의한 수생 독성 평가를 위한 생태종의 행동 패턴을 비침습적으로 모니터링하기 위한 기술에 관한 것이다.
최근 이미지 인식을 비롯한 다양한 분야에서 인공지능이 주목받고 있다. 특히, 과적합 문제를 해결하고, 하드웨어의 발전과 빅데이터의 확보가 가능해지면서 방대한 양의 데이터를 기반으로 스스로 학습하고 패턴을 찾는 딥러닝(Deep Learning) 알고리즘이 주목받고 있고, 이에 대한 많은 연구가 진행되고 있다.
딥러닝은 인공신경망(Neural Network)을 학습시켜 최적화하는 과정으로, 이러한 인공신경망은 사람의 뇌를 구성하는 뉴런의 동작원리에 기초한다. 딥러닝의 핵심은 분류를 통한 예측이다. 수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다. 예를 들어, 수많은 이미지를 통해 객체 검출 및 분할(object detection and segmentation) 인공신경망을 학습시킬 수 있다.
한편, 생태 독성학에서의 나노 입자 위험 평가를 위해, 생태위험성 평가에 사용되는 어류종(예를 들어, 물벼룩, 제브라피시 등)의 치명적인 나노 입자 농도에서의 생리학적 반응이 관찰된다. 행동 패턴을 관찰하기 위해 이전에는 육안 관찰 및 이미지 처리를 통한 수동 분석 방법이 사용되었다. 하지만, 종래 기술에서는 (i) 수동 분석의 부정확성과 (ii) 이미지 처리의 한계(이미지 처리 기술을 적용하기에는 이미지의 특징이 너무 모호함)의 문제점들이 존재한다.
따라서, 본 기술분야에서는 딥러닝 기법에 기반하여 독성실험법을 세분화 및 고도화하고, 행동 패턴 측정 및 분석의 효율성을 개선하는 방안이 요구되고 있는 실정이다.
본 발명의 목적은 나노 입자에 의한 수생 독성 평가를 위한 생태종의 행동패턴 측정 및 분석의 정확성과 효율성을 개선하기 위함에 있다.
본 발명의 일 양태에 따르면 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법이 제공된다. 상기 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법은 행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상을 획득하는 단계, 상기 복수의 원본 영상 중 적어도 하나에 대하여 생태종의 모니터링할 영역이 마스킹된 영상을 획득하는 단계, 상기 복수의 원본 영상 중 적어도 하나의 원본 영상 및 상기 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하는 단계, 상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하는 단계, 상기 분할된 객체의 영상을 후처리하는 단계 및 상기 분할된 객체의 영상을 후처리한 결과 생성된 데이터를 분석하는 단계를 포함하여 구현된다.
본 발명의 다른 양태에 따르면, 상기 생태종의 원본 영상은 상기 생태종을 독성 물질에 노출시킨 상태에서 제공되는 영상 데이터 및 상기 생태종을 상기 독성 물질에 노출시키지 않은 상태에서 제공되는 영상 데이터를 포함하여 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 데이터를 분석하는 단계는 상기 독성 물질에 노출시킨 생태종에 대응하는 객체의 영상을 후처리한 결과와, 상기 독성 물질에 노출시키지 않은 생태종에 대응하는 객체의 영상을 후처리한 결과를 비교하여 상기 독성 물질의 위험성을 평가함으로써 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 마스킹된 영상을 획득하는 단계에서, 상기 마스킹에는 이미지 처리 기술이 사용되어 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 학습된 객체분할 모델을 생성하고 저장하는 단계에서, 학습을 위한 객체분할 모델로 U-NET 또는 Mask R-CNN 딥러닝 기술이 사용되어 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 학습된 객체분할 모델을 생성하고 저장하는 단계에서, 상기 원본 영상이 학습을 위한 객체분할 모델의 입력에 이용되고, 상기 마스킹된 영상이 상기 학습을 위한 객체분할 모델의 출력에 이용되어 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 생태종은 물벼룩을 포함한다.
본 발명의 또 다른 양태에 따르면, 상기 행동 패턴은 심장 박동수를 포함한다.
본 발명의 또 다른 양태에 따르면, 상기 심장 박동수는 상기 분할된 객체의 영상에서 일정 시간 동안 심장 부분이 차지하는 픽셀의 수가 변화하는 횟수를 카운트함으로써 측정된다.
본 발명의 또 다른 양태에 따르면, 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 시스템이 제공된다. 상기 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 시스템은 행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상 중 적어도 하나의 원본 영상, 및 상기 생태종의 모니터링할 영역이 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하는 모델학습부, 상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하는 모델실행부, 상기 분할된 객체의 영상을 후처리하고, 상기 분할된 객체의 영상을 후처리한 결과 생성된 데이터를 분석하는 분석부, 및 상기 원본 영상, 상기 마스킹된 영상, 상기 객체분할 모델, 상기 분할된 객체의 영상, 상기 후처리 결과 생성된 데이터 중 적어도 하나를 저장하는 저장 장치를 포함하여 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 생태종의 원본 영상은 상기 생태종을 독성 물질에 노출시킨 상태에서 제공되는 영상 데이터 및 상기 생태종을 상기 독성 물질에 노출시키지 않은 상태에서 제공되는 영상 데이터를 포함하여 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 상기 독성 물질에 노출시킨 생태종에 대응하는 객체의 영상을 후처리한 결과와, 상기 독성 물질에 노출시키지 않은 생태종에 대응하는 객체의 영상을 후처리한 결과를 비교하여 상기 독성 물질의 위험성을 평가하여 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 마스킹된 영상은 이미지 처리 기술을 사용하여 마스킹됨으로써 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 모델학습부는 U-NET 또는 Mask R-CNN 딥러닝 기술을 사용하여 학습된 객체분할 모델을 생성함으로써 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 모델학습부는 학습을 위한 객체분할 모델의 입력에 상기 원본 영상을 이용하고, 상기 학습을 위한 객체분할 모델의 출력에 상기 마스킹된 영상을 이용하여 구현된다.
본 발명의 또 다른 양태에 따르면, 상기 생태종은 물벼룩을 포함한다.
본 발명의 또 다른 양태에 따르면, 상기 행동 패턴은 심장 박동수를 포함한다.
본 발명의 또 다른 양태에 따르면, 상기 심장 박동수는 상기 분할된 객체의 영상에서 일정 시간 동안 심장 부분이 차지하는 픽셀의 수가 변화하는 횟수를 카운트함으로써 측정된다.
본 발명의 또 다른 양태에 따르면, 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 장치가 제공된다. 상기 모니터링 장치는 행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상을 획득하고, 상기 복수의 원본 영상 중 적어도 하나에 대하여 상기 생태종의 모니터링할 영역이 마스킹된 영상을 획득하는 입출력부, 상기 복수의 원본 영상 중 적어도 하나의 원본 영상 및 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하고, 상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하고, 상기 분할된 객체의 영상을 후처리하고, 상기 분할된 객체 영상을 후처리한 결과 생성된 데이터를 분석하는 프로세서 및 상기 원본 영상, 상기 마스킹된 영상, 상기 객체분할 모델, 상기 분할된 객체의 영상, 상기 후처리 결과 생성된 데이터 중 적어도 하나을 저장하는 메모리를 포함하여 구현된다.
본 발명에 따르면, 딥러닝 기법을 이용하여 나노 입자에 의한 수생 독성 평가를 위한 생태종의 행동패턴 측정 및 분석의 효율성을 개선할 수 있다.
또한, 나노 입자에 의한 생태 독성 평가를 위해 물벼룩, 제브라피쉬 등과 같은 환경시험종의 행동패턴을 측정할 수 있으며, 유생뿐만 아니라 성체에도 적용이 가능하다.
또한, 모니터링하고자 하는 생태종의 특정 부분의 영상 또는 이미지를 용이하게 획득할 수 있고, 나아가 생태종의 특정 부분을 비침습적, 실시간으로 모니터링함으로써 보다 정확하고 객관적인 데이터를 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 장치의 생태종 행동패턴 모니터링 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 장치를 나타낸다.
도 4는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템 또는 장치를 이용한 물벼룩 나노입자 노출실험 방법의 동작 순서를 나타낸다.
도 5는 본 실시예에 따른 물벼룩의 심장 박동 패턴이 구현될 수 있는 사용자 인터페이스 화면의 일례를 나타낸다.
도 6은 도 5의 사용자 인터페이스 화면의 일부에 구현되는 물벼룩의 심장 박동 패턴 변화를 나타내는 그래프의 일례를 나타낸다.
도 2는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 장치를 나타낸다.
도 4는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템 또는 장치를 이용한 물벼룩 나노입자 노출실험 방법의 동작 순서를 나타낸다.
도 5는 본 실시예에 따른 물벼룩의 심장 박동 패턴이 구현될 수 있는 사용자 인터페이스 화면의 일례를 나타낸다.
도 6은 도 5의 사용자 인터페이스 화면의 일부에 구현되는 물벼룩의 심장 박동 패턴 변화를 나타내는 그래프의 일례를 나타낸다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 장치 또는 시스템에서 수행되는 생태종 행동패턴 모니터링 방법을 나타낸 흐름도이다.
도 1을 참조하면, 생태종 행동패턴 모니터링 장치 또는 시스템은 독성물질에 노출시킨 환경시험종의 행동패턴 모니터링을 위한 원본 영상을 획득한다(S110).
이 때, 상기 원본 영상은 독성물질에 노출시킨 환경시험종의 영상 데이터 및 상기 독성물질에 노출시키지 않은 환경시험종의 영상 데이터를 포함한다.
이 때, 상기 독성물질은 나노 입자로 이루어질 수 있다. 한편, 본 발명에서상기 '환경시험종'은 '생태종'으로 치환되어 사용될 수 있다.
본 발명에서 상기 독성물질에 노출시킨 환경시험종은 비교군으로 정의되고, 상기 독성물질에 노출시키지 않은 환경시험종은 대조군으로 정의될 수 있다.
상기 원본 영상은 행동패턴의 변화를 관찰하기 위해 비교군 및 대조군의 영상을 촬영하여 획득될 수 있다. 비교군 및 대조군의 영상은 기본적으로 일반현미경을 이용하여 환경시험종을 확대 촬영하여 획득되지만, 미세한 행동패턴을 촬영하기 위하여 정밀한 현미경 또는 목적에 따라 일반 카메라 또는 휴대폰 카메라도 사용이 가능하다. 딥러닝 모델은 영상 인식률이 높고 모델 학습 데이터가 충분히 제공될 경우 다양한 영상에 대한 처리가 가능하기 때문이다. 본 발명에서 카메라 렌즈 배율, 빛의 노출 정도 등의 최적화 조건이 제공될 수도 있지만, 관찰하고자 하는 환경시험종의 행동패턴이 육안으로 식별가능한 수준이면 일정 수준 이상의 영상 인식률이 보장된다. 촬영된 원본 영상은 메모리 또는 저장 장치의 영상 저장소에'원본 영상'으로 저장될 수 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 원본 영상에서 모니터링할 영역을 마스킹(masking)한다(S120). 이는 객체분할 모델 학습을 수행하기 위함이다. 객체분할 모델 학습을 위해서는 촬영한 환경 시험종의 영상뿐 아니라 모니터링 하고자 하는 객체의 영역 정보가 필요하다. 이때 촬영된 영상에서 객체 영역을 표시하는 것을 마스킹이라 한다. 이 때, 생태종 행동패턴 모니터링 장치 또는 시스템은 모니터링할 영역이 마스킹된 영상을 외부 서버 또는 외부 장치로부터 수신하거나 획득할 수도 있다. 이 때, 상기 원본 영상들 중 하나 또는 복수의 원본 영상에 대하여 마스킹된 영상을 획득할 수 있다. 마스킹에는 이미지 처리 기술이 사용될 수도 있고, 수기에 의해서 수행될 수도 있다. 마스킹된 영상은 메모리 또는 저장 장치의 영상 저장소에 '마스킹 영상'으로 저장될 수 있다. 여기서, 마스킹 영상은 마스킹 이미지라 불릴 수도 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 원본 영상 및 마스킹된 영상을 이용하여 객체 분할 모델을 생성하고 저장한다(S130).
학습된 객체 분할 모델 생성을 위하여 U-NET, Mask R-CNN 등의 객체분할 딥러닝 기술이 학습을 위한 모델로 선정될 수 있으며, 객체분할과 관련된 기계학습이나 이미지 처리 기술이 응용될 수 있다. 학습을 위한 객체분할 모델이 선정되면, 선정된 모델에 상기 원본 영상 및 마스킹된 영상을 이용하여 학습시킴으로써 학습된 객체 분할 모델을 생성한다. 이 때, 원본 영상은 모델의 입력에 이용되고, 마스킹 영상은 모델의 출력에 이용될 수 있다. 모델을 학습시킬 때, 빛의 노출 정도, 조명 및 카메라 상태에 따른 영상 품질이 다를 수 있으며, 대상이 살아있는 생물이므로 자세가 변할 수 있으므로, 영상랜덤회전, 영상밝기랜덤조정 등의 데이터 증강을 사용하여 학습률을 높일 수 있다. 생성된 객체 분할 모델은 메모리 또는 저장 장치의 '모델 저장소'에 저장될 수 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 단계 S130에서 생성된 객체 분할 모델을 이용하여 원본 영상으로부터 행동패턴을 관찰하고자 하는 객체의 영상을 분할한다(S140). 원본 영상이 생성된 모델에 입력되면, 입력된 원본 영상은 행동패턴을 관찰하고자 하는 하나 또는 복수개의 객체로 분할된다. 이 때, 생성된 모델은 단계 S130에서 학습된 패턴으로 원본 영상으로부터 행동패턴을 관찰하고자 하는 객체를 분할할 수 있다. 예를 들어, 원본 영상은 물벼룩의 영상이고 마스킹된 영상은 심장인 경우, 객체분할 모델은 물벼룩의 영상으로부터 심장을 분할할 수 있다. 분할된 객체는 메모리 또는 저장 장치의 영상 저장소에 '분할 영상'으로 저장될 수 있다. 분할 영상은 분할 이미지라 불릴 수도 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 단계 S140에서 분할된 객체 영상에 대한 후처리를 수행한다(S150). 분할된 객체 영상에 대한 후처리는 분할된 객체에 대한 정보를 측정함으로써 수행될 수 있다. 예를 들어, 분할된 물벼룩 심장의 영상으로부터 심장 박동수가 측정될 수 있다. 이 때, 심장 박동수는 일정 시간 동안 심장의 크기가 변화하는 횟수를 측정함으로써 측정될 수 있다. 이 때, 심장의 크기 변화는 영상에서 심장 부분이 차지하는 픽셀의 수의 변화에 의해 측정될 수 있다. 이 때, 분할된 객체 영상의 후처리에 대한 결과물로, '분할 영상'에 대한 크기, 위치 등의 정보들이 메모리 또는 저장 장치의 데이터 저장소에 '측정 데이터'로 저장될 수 있다. 예를 들어, 후처리에 대한 결과물, 즉, 측정 데이터는 심장 박동수를 포함할 수 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 분할된 객체에 대한 측정 데이터를 분석한다(S160). 이 때, 측정 데이터로부터 행동패턴 변화를 관찰할 수 있는 바이오메트릭에 대한 값들이 분석된다. 예를 들어, 바이오메트릭은 객체 크기 변화량 추이, 운동량 변화량 등을 포함하며, 이러한 것들이 다양한 분석 방법에 의해 계산된다. 또한, 계산된 값에 대한 독성레벨이 예측될 수도 있다. 상기 계산된 값은 메모리 또는 저장 장치의 데이터 저장소에 '분석 데이터'로 저장될 수 있다. 상기 측정 데이터 분석에는 비선형 동역학에 기반한 신호 분석 기법과 정량적 통계 및 기계학습 분석이 이용될 수 있다.
한편, 객체분할 모델을 이용하여 분석이 필요한 영상으로부터 객체를 분할하는 단계(S140) 및 분할된 객체 영상에 대한 후처리를 수행하는 단계(S150)는 복수의 영상에 대하여 반복 수행될 수 있으며, 측정 데이터를 분석하는 단계(S160)는 반복 수행에 의해 측정된 데이터를 기반으로 측정 데이터의 분석이 수행될 수 있다. 예를 들어, 나노 입자에 노출시키지 않은 물벼룩의 영상으로부터 심장을 분할하여 분할된 심장 영상으로부터 심장 박동수를 측정할 수 있다. 또한, 나노 입자에 노출시킨 물벼룩의 영상으로부터 심장을 분할하여 분할된 심장 영상으로부터 심장 박동수를 측정할 수 있다. 한편, 나노 입자에 노출시키지 않은 물벼룩의 심장 박동수와 나노 입자에 노출시킨 물벼룩의 심장 박동수에 대한 데이터를 분석하여 나노 입자에 의한 독성영향을 평가할 수 있다.
도 2는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템을 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템은 프로세서(210), 저장장치(230), 시각화 장치(250)를 포함하여 구성된다.
프로세서(210)는 독성물질에 노출시킨 환경시험종의 행동패턴 모니터링을 위한 전반적인 동작을 수행한다. 프로세서(210)는 모델학습부(211), 모델실행부(213), 분석부(215)를 포함한다.
모델학습부(211)는 원본 영상 및 마스킹된 영상을 이용하여 객체 분할 모델을 생성하고 저장한다. 이 때, 원본 영상 및 마스킹된 영상은 저장장치(230)의 영상 저장소(231)에 저장된 영상을 이용할 수 있다.
학습된 객체 분할 모델 생성을 위하여 U-NET, Mask R-CNN 등의 객체분할 딥러닝 기술이 학습을 위한 모델로 선정될 수 있으며, 객체분할과 관련된 기계학습이나 이미지 처리 기술이 응용될 수 있다. 학습을 위한 객체분할 모델이 선정되면, 선정된 모델에 상기 원본 영상 및 마스킹된 영상을 이용하여 학습시킴으로써 학습된 객체 분할 모델을 생성한다. 이 때, 원본 영상은 모델의 입력에 이용되고, 마스킹 영상은 모델의 출력에 이용될 수 있다. 모델을 학습시킬 때, 빛의 노출 정도, 조명 및 카메라 상태에 따른 영상 품질이 다를 수 있으며, 대상이 살아있는 생물이므로 자세가 변할 수 있으므로, 영상랜덤회전, 영상밝기랜덤조정 등의 데이터 증강을 사용하여 학습률을 높일 수 있다. 모델학습부(211)에 의해 생성된 객체 분할 모델은 저장 장치(230)의 모델 저장소(233)에 저장될 수 있다.
모델실행부(213)는 모델학습부(211)에서 생성된 객체 분할 모델을 이용하여 원본 영상으로부터 행동패턴을 관찰하고자 하는 객체의 영상을 분할한다. 원본 영상이 생성된 모델에 입력되면, 입력된 원본 영상이 행동패턴을 관찰하고자 하는 하나 또는 복수개의 객체로 분할된다. 이 때, 생성된 모델은 모델학습부(211)에 의하여 학습된 패턴으로 원본 영상으로부터 행동패턴을 관찰하고자 하는 객체를 분할할 수 있다. 예를 들어, 원본 영상은 물벼룩의 영상이고 마스킹된 영상은 심장인 경우, 객체분할 모델은 물벼룩의 영상으로부터 심장을 분할할 수 있다. 분할된 객체는 저장 장치(230)의 모델 저장소(233)에 저장될 수 있다.
분석부(215)는 모델실행부(213)에서 분할된 객체 영상에 대한 후처리를 수행하고, 분할된 객체에 대한 측정 데이터를 분석한다.
분석부(215)에서 수행되는 분할된 객체 영상에 대한 후처리는 분할된 객체에 대한 정보를 측정함으로써 수행될 수 있다. 예를 들어, 분할된 물벼룩 심장의 영상으로부터 심장 박동수가 측정될 수 있다. 이 때, 심장 박동수는 일정 시간 동안 심장의 크기가 변화하는 횟수를 측정함으로써 측정될 수 있다. 이 때, 심장의 크기 변화는 영상에서 심장 부분이 차지하는 픽셀의 수의 변화에 의해 측정될 수 있다. 이 때, 분할된 객체 영상의 후처리에 대한 결과물로, '분할 영상'에 대한 크기, 위치 등의 정보들이 저장 장치(230)의 영상 저장소(231)에 저장될 수 있다. 예를 들어, 후처리에 대한 결과물, 즉, 측정 데이터는 심장 박동수를 포함할 수 있다.
한편, 분석부(215)에서 수행되는 측정 데이터에 대한 분석은 측정 데이터로부터 행동패턴 변화를 관찰할 수 있는 바이오메트릭에 대한 값들이 분석된다. 예를 들어, 바이오메트릭은 객체 크기 변화량 추이, 운동량 변화량 등을 포함하며, 이러한 것들이 다양한 분석 방법에 의해 계산된다. 또한, 계산된 값에 대한 독성레벨이 예측될 수도 있다. 상기 계산된 값은 메모리 또는 저장 장치의 데이터 저장소에 '분석 데이터'로 저장될 수 있다. 상기 측정 데이터 분석에는 비선형 동역학에 기반한 신호 분석 기법과 정량적 통계 및 기계학습 분석이 이용될 수 있다.
저장 장치(230)는 독성물질에 노출시킨 환경시험종의 행동패턴 모니터링을 위한 영상 및 객체 분할 모델 등을 저장한다. 저장 장치(230)는 영상 저장소(231) 및 모델 저장소(233)를 포함한다.
영상 저장소(231)는 원본 데이터, 마스킹된 영상, 행동패턴 모니터링을 위한 객체 영상, 분할된 객체 영상 등의 영상 데이터를 저장한다.
모델 저장소(233)는 모델 학습부(211)에서 생성된 객체 분할 모델을 저장한다.
시각화 장치(250)는 분석부(215)에서 분석된 측정 데이터를 그래프 등으로 표시한다. 예를 들어, 시각화 장치(250)는 객체 크기 변화량 추이, 운동량 변화량 등의 다양한 측정 데이터를 시각화할 수 있다. 도 5는 본 발명의 일실시예에 따른 시각화 장치(250)의 일예를 나타낸다.
도 3은 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 장치를 나타낸다.
도 3을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 3에 도시된 바와 같이, 행동패턴 모니터링 장치는 입출력부(310), 프로세서(330), 메모리(350)를 포함한다.
입출력부(310)는 프로세서(330)와 연결되어, 생태종 행동패턴 모니터링에 필요한 정보 및 모니터링 결과를 입력 및/또는 출력한다. 예를 들어, 입출력부(310)는 외부 장치 또는 외부 서버로부터 생태종 행동패턴 모니터링을 위한 원본 영상 및/또는 마스킹된 영상을 수신하거나, 외부 장치 또는 외부 서버로부터 학습된 객체 분할 모델을 제공받거나, 외부 장치 또는 외부 서버로 모니터링 결과를 전송한다.
프로세서(330)는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 프로세서(330)는 본 명세서에서 제안된 생태종 행동패턴 모니터링 방법을 구현한다. 프로세서(330)는 구체적으로 본 명세서에서 게시된 실시예에서 설명된 생태종 행동패턴 모니터링 방법의 모든 동작을 구현하며, 도 1에 따른 생태종 행동패턴 모니터링 방법의 모든 동작을 수행한다.
예를 들어, 프로세서(330)는 객체 분할 모델을 이용하여 원본 영상으로부터 행동패턴을 관찰하고자 하는 객체의 영상을 복수 개의 객체로 분할한다. 예를 들어, 원본 영상은 물벼룩의 영상이고 마스킹된 영상은 심장인 경우, 객체분할 모델은 물벼룩의 영상으로부터 심장을 분할할 수 있다. 프로세서(330)는 분할된 객체 영상에 대한 후처리를 수행하고, 분할된 객체에 대한 측정 데이터를 분석한다. 프로세서(330)는 분할된 객체에 대한 정보를 측정함으로써 분할된 객체 영상에 대한 후처리를 수행한다. 예를 들어, 프로세서(330)는 분할된 물벼룩 심장의 영상으로부터 심장 박동수를 측정할 수 있다. 이 때, 심장 박동수는 일정 시간 동안 심장의 크기가 변화하는 횟수를 측정함으로써 측정될 수 있다. 이 때, 심장의 크기 변화는 영상에서 심장 부분이 차지하는 픽셀의 수의 변화에 의해 측정될 수 있다. 이 때, 분할된 객체 영상의 후처리에 대한 결과물로, '분할 영상'에 대한 크기, 위치 등의 정보들이 메모리(350)에 저장될 수 있다. 예를 들어, 후처리에 대한 결과물, 즉, 측정 데이터는 심장 박동수를 포함할 수 있다.
한편, 프로세서(330)의 측정 데이터에 대한 분석은 측정 데이터로부터 행동패턴 변화를 관찰할 수 있는 바이오메트릭에 대한 값들을 분석하는 단계를 포함한다. 예를 들어, 바이오메트릭은 객체 크기 변화량 추이, 운동량 변화량 등을 포함하며, 이러한 것들이 다양한 분석 방법에 의해 계산된다. 또한, 계산된 값에 대한 독성레벨이 예측될 수도 있다. 상기 계산된 값은 메모리(350)에 '분석 데이터'로 저장될 수 있다. 상기 측정 데이터 분석에는 비선형 동역학에 기반한 신호 분석 기법과 정량적 통계 및 기계학습 분석이 이용될 수 있다.
메모리(350)는 ROM(read-only memory), RAM(random access memory), 플래시 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 메모리(330)는 학습된 객체 분할 모델, 원본 데이터, 마스킹된 영상, 행동패턴 모니터링을 위한 객체 영상, 분할된 객체 영상 중 적어도 하나를 저장한다.
실험예(물벼룩의 나노입자 노출실험)
물벼룩(Daphnia magna)은 생태계 오염물질에 민감한 생물종으로, 유해 물질을 이용한 독성 평가에서 널리 이용되는 개체군이다. 그 중 물벼룩을 유해물질로 노출시켰을 때 변화하는 심장박동수를 관찰함으로써 독성에 의한 영향을 간접적으로 평가할 수 있다. 따라서, 본 발명에서 '행동 패턴'은 본 실시예에서 '심장박동수'이다. 본 실시예에서 물벼룩의 심장박동수를 이용하는 방법은 광학 현미경에 의해 촬영된 동영상을 직접 육안으로 계수하는 방식을 사용한다. 그러나 이 방법은 물벼룩의 심장박동이 불규칙적이거나 개별 개체의 심장형태의 이상으로 육안 분간이 어려울 경우, 직접 계수 방법은 실험자의 주관적 판단에 따라 결과 값이 현저히 달라질 수 있는 단점이 있다. 따라서, 실험자의 주관에 따라 실험오차가 발생할 수 있는 점을 고려했을 때, 향후 본 발명을 적용함으로써 물벼룩을 이용한 독성 평가 연구에 효과적으로 활용이 가능할 것으로 기대된다. 한편, 본 발명에서 사용되는 물벼룩은 알 또는 아기 상태의 물벼룩이 사용될 수 있다.
본 발명의 효과는 이하에서 설명되는 실험예를 통해 구체적으로 설명될 수 있다. 나노입자에 의한 독성영향을 평가하기 위해 아래 실시예와 같이 물벼룩의 심장박동수가 생체지표로 이용될 수 있다.
도 4는 본 발명의 일실시예에 따른 생태종 행동패턴 모니터링 시스템 또는 장치를 이용한 물벼룩 나노입자 노출실험 방법의 동작 순서를 나타낸다.
도 4를 참조하면, 생태종 행동패턴 모니터링 장치 또는 시스템을 이용하여 노출실험을 한 물벼룩 영상을 획득한다(S410). 이 때, 물벼룩 영상은 현미경을 통해 획득된다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 물벼룩의 심장 부분을 전처리, 즉, 마스킹 처리한다(S420). 이 때, 물벼룩의 모니터링할 영역을 마스킹 처리하는데 본 실험에서는 심장 부분을 모니터링하기 위하여 물벼룩의 심장 부분을 마스킹한다. 이 때, 물벼룩의 심장 부분을 물벼룩과는 구분될 수 있는 다른 색을 이용하여 200 프레임의 샘플에 마스킹을 처리한다. 이 때, 물벼룩의 심장 부분은 약물 처리에 의해 형광색으로 마스킹될 수 있다.
다음으로, 생태종 행동패턴 모니터링 장치 또는 시스템은 물벼룩 영상 및 마스킹된 영상을 이용하여 객체분할모델을 학습시킨다(S430). 이 때, 객체 분할 모델을 학습시키기 위하여 딥러닝 객체분할 기법인 Mask R-CNN 모델이 이용된다.
다음으로, 학습된 객체분할모델을 이용하여 행동패턴을 관찰하기 위한 객체에 대한 분할을 수행한다(S440). 이 때, 50 프레임 샘플에 대한 테스트를 진행하였다. 그 결과, 모델의 예측정확도는 Dice coefficient 0.92 였다.
다음으로, 분할된 객체 영상에 대한 후처리를 수행함으로써 객체에 대한 정보를 측정한다(S450). 이 때, 객체분할된 픽셀의 수를 통해 심장의 크기를 측정하였으며, 심장 크기의 증감에 따른 심장박동수를 계산했을 때, 242bpm의 결과를 보였다.
다음으로, 분할된 객체에 대한 측정 데이터를 분석한다(S460). 분석 결과, 측정된 심장박동수는 육안으로 측정한 심장박동수와 유사하였으며, 물벼룩의 일반적 심장박동수 범위 내에 포함되는 수치이다. 시계열 신호로서 표현되는 심장박동수 변화는 주파수 도메인으로 변환되어 비선형적 분석을 통해 심장 박동과 관련된 매개변수 값을 추출할 수 있게 된다.
도 5는 본 실시예에 따른 생태종 행동패턴 모니터링 장치의 사용자 인터페이스 화면 상에서 물벼룩의 심장 박동 패턴이 모니터링되기 위하여 구현된 일례를 나타낸다.
도 5를 참조하면, 사용자 인터페이스 화면 상에는 생태종에 해당하는 물벼룩의 실시간 영상, 분할된 객체에 해당하는 물벼룩 심장의 실시간 영상 및 행동패턴에 해당하는 물벼룩 심장의 실시간 박동수 그래프가 표시될 수 있다.
도 6은 도 5의 사용자 인터페이스 화면의 일부에 구현되는 물벼룩의 심장 박동 패턴 변화를 나타내는 그래프의 일례를 나타낸다. 도 6을 참조하면, 상부의 진한 색 그래프는 심장을 포함하는 박스의 사이즈를 나타내고, 하부의 연한 색 그래프는 마스킹된 영역의 사이즈를 나타낸다.
본 발명은 동물대체시험법의 일환인 OECD 표준시험법으로 반영시킬 수 있다. 현재, 관련 표준시험법인 화학 물질 시험을 위한 OECD 가이드라인, 섹션 2(OECD Guidelines for the Testing of Chemicals, Section 2)의 생물계에 미치는 영향(Effects on Biotic Systems)의 시험 번호 236(Test No. 236): 어류 배아 급성 독성(Fish Embryo Acute Toxicity; FET) 시험(Test)에서는 제브라피쉬의 심장박동 감소(reduced heart rate, RHR)및 정지(no heartbeat, NHB)를 광학현미경과 계수기를 이용하는 검사하는 시험법이 제안되었다. 이러한 시험법은 성체가 아닌 유생어류에만 적용 가능한 단점이 있다. 하지만, 본 발명에서는 OECD 시험종인 물벼룩에 적용이 가능하며, 유생뿐만 아니라 성체에도 적용이 가능한 장점이 있다.
또한, 종래에는 생태종의 모니터링하고자 하는 일부분을 형광색 등으로 약물처리 하는 등 침습함으로써 정확한 데이터를 얻을 수 없었으나, 본 발명에 따르면 모니터링하고자 하는 생태종의 특정 부분의 영상 또는 이미지를 용이하게 획득할 수 있고, 나아가 생태종의 특정 부분을 비침습적, 실시간으로 모니터링함으로써 보다 정확하고 객관적인 데이터를 얻을 수 있다.
이상에서와 같이 본 발명에 따른 생태종 행동패턴 모니터링 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
Claims (19)
- 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법에 있어서,
행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상을 획득하는 단계;
상기 복수의 원본 영상 중 적어도 하나에 대하여 상기 생태종의 모니터링할 영역이 마스킹된 영상을 획득하는 단계;
상기 복수의 원본 영상 중 적어도 하나의 원본 영상 및 상기 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하는 단계;
상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하는 단계;
상기 분할된 객체의 영상을 후처리하는 단계; 및
상기 분할된 객체의 영상을 후처리한 결과 생성된 데이터를 분석하는 단계
를 포함하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제1항에 있어서,
상기 생태종의 원본 영상은 상기 생태종을 독성 물질에 노출시킨 상태에서 제공되는 영상 데이터 및 상기 생태종을 상기 독성 물질에 노출시키지 않은 상태에서 제공되는 영상 데이터를 포함하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제2항에 있어서, 상기 데이터를 분석하는 단계는,
상기 독성 물질에 노출시킨 생태종에 대응하는 객체의 영상을 후처리한 결과와, 상기 독성 물질에 노출시키지 않은 생태종에 대응하는 객체의 영상을 후처리한 결과를 비교하여 상기 독성 물질의 위험성을 평가하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제1항에 있어서, 상기 마스킹된 영상을 획득하는 단계에서,
상기 마스킹에는 이미지 처리 기술이 사용되는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제1항에 있어서, 상기 학습된 객체분할 모델을 생성하고 저장하는 단계에서,
학습을 위한 객체분할 모델로 U-NET 또는 Mask R-CNN 딥러닝 기술이 사용되는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제1항에 있어서, 상기 학습된 객체분할 모델을 생성하고 저장하는 단계에서,
상기 원본 영상이 학습을 위한 객체분할 모델의 입력에 이용되고, 상기 마스킹된 영상이 상기 학습을 위한 객체분할 모델의 출력에 이용되는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법. - 제1항에 있어서, 상기 생태종은 물벼룩을 포함하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법.
- 제7항에 있어서, 상기 행동 패턴은 심장 박동수를 포함하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법.
- 제8항에 있어서, 상기 심장 박동수는 상기 분할된 객체의 영상에서 일정 시간 동안 심장 부분이 차지하는 픽셀의 수가 변화하는 횟수를 카운트함으로써 측정되는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 방법.
- 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 시스템에 있어서,
행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상 중 적어도 하나의 원본 영상, 및 상기 복수의 원본 영상 중 적어도 하나에 대하여 상기 생태종의 모니터링할 영역이 마스킹된 영상을 이용하여 학습된 객체분할 모델을 생성하고 저장하는 모델학습부;
상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하는 모델실행부;
상기 분할된 객체의 영상을 후처리하고, 상기 분할된 객체의 영상을 후처리한 결과 생성된 데이터를 분석하는 분석부; 및
상기 원본 영상, 상기 마스킹된 영상, 상기 객체분할 모델, 상기 분할된 객체의 영상, 상기 후처리 결과 생성된 데이터 중 적어도 하나을 저장하는 저장 장치를 포함하는 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 시스템. - 제10항에 있어서,
상기 생태종의 원본 영상은 상기 생태종을 상기 독성 물질에 노출시킨 상태에서 제공되는 영상 데이터 및 상기 생태종을 상기 독성 물질에 노출시키지 않은 상태에서 제공되는 영상 데이터를 포함하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템. - 제11항에 있어서, 상기 프로세서는,
상기 독성 물질에 노출시킨 생태종에 대응하는 객체의 영상을 후처리한 결과와, 상기 독성 물질에 노출시키지 않은 생태종에 대응하는 객체의 영상을 후처리한 결과를 비교하여 상기 독성 물질의 위험성을 평가하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템. - 제10항에 있어서, 상기 마스킹된 영상은
이미지 처리 기술을 사용하여 마스킹된 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템. - 제10항에 있어서, 상기 모델학습부는
U-NET 또는 Mask R-CNN 딥러닝 기술을 사용하여 학습된 객체분할 모델을 생성하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템. - 제10항에 있어서, 상기 모델학습부는
학습을 위한 객체분할 모델의 입력에 상기 원본 영상을 이용하고, 상기 학습을 위한 객체분할 모델의 출력에 상기 마스킹된 영상을 이용하는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템. - 제10항에 있어서, 상기 생태종은 물벼룩을 포함하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템.
- 제16항에 있어서, 상기 행동 패턴은 심장 박동수인 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템.
- 제17항에 있어서, 상기 심장 박동수는 상기 분할된 객체의 영상에서 일정 시간 동안 심장 부분이 차지하는 픽셀의 수가 변화하는 횟수를 카운트함으로써 측정되는 것을 특징으로 하는 생태종의 행동패턴에 대한 비침습적 실시간 모니터링 시스템.
- 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 장치에 있어서,
행동 패턴을 모니터링할 생태종의 각각의 개체에 대한 복수의 원본 영상을 획득하고, 상기 복수의 원본 영상 중 적어도 하나에 대하여 상기 생태종의 모니터링할 영역이 마스킹된 영상을 획득하는 입출력부;
상기 복수의 원본 영상 중 적어도 하나의 원본 영상 및 상기 마스킹된 영상을 이용하여 학습된 객체분할 모델을 저장하고, 상기 객체분할 모델을 이용하여 상기 원본 영상으로부터 행동 패턴을 모니터링할 영역을 포함하는 객체의 영상을 분할하며, 상기 분할된 객체의 영상을 후처리하고, 상기 분할된 객체 영상을 후처리한 결과 생성된 데이터를 분석하는 프로세서; 및
상기 원본 영상, 상기 마스킹된 영상, 상기 객체분할 모델, 상기 분할된 객체의 영상, 상기 후처리 결과 생성된 데이터 중 적어도 하나을 저장하는 메모리
를 포함하는 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200115178A KR20220033150A (ko) | 2020-09-09 | 2020-09-09 | 생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200115178A KR20220033150A (ko) | 2020-09-09 | 2020-09-09 | 생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220033150A true KR20220033150A (ko) | 2022-03-16 |
Family
ID=80937668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200115178A KR20220033150A (ko) | 2020-09-09 | 2020-09-09 | 생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220033150A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170096298A (ko) | 2016-02-15 | 2017-08-24 | 성균관대학교산학협력단 | 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법 |
| KR102030553B1 (ko) | 2018-05-28 | 2019-10-10 | 주식회사 휴앤텍 | 개폐 및 바이패스가 가능한 전동댐퍼 |
-
2020
- 2020-09-09 KR KR1020200115178A patent/KR20220033150A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170096298A (ko) | 2016-02-15 | 2017-08-24 | 성균관대학교산학협력단 | 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법 |
| KR102030553B1 (ko) | 2018-05-28 | 2019-10-10 | 주식회사 휴앤텍 | 개폐 및 바이패스가 가능한 전동댐퍼 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bahl et al. | Neural circuits for evidence accumulation and decision making in larval zebrafish | |
| Keemink et al. | FISSA: A neuropil decontamination toolbox for calcium imaging signals | |
| Swierczek et al. | High-throughput behavioral analysis in C. elegans | |
| CN108615046A (zh) | 一种储粮害虫检测识别方法及装置 | |
| Hortinela et al. | Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine | |
| Toda et al. | DeepStomata: facial recognition technology for automated stomatal aperture measurement | |
| Yu et al. | Mice use robust and common strategies to discriminate natural scenes | |
| Alyuruk et al. | A video tracking based improvement of acute toxicity test on Artemia salina | |
| KR20220033940A (ko) | 기계학습을 이용한 미세플라스틱 분석 방법 | |
| Tao et al. | Mapping functional connectivity between neuronal ensembles with larval zebrafish transgenic for a ratiometric calcium indicator | |
| Garcia et al. | Acquisition of digital images and identification of Aedes Aegypti mosquito eggs using classification and deep learning | |
| Balmaki et al. | Modern approaches for leveraging biodiversity collections to understand change in plant-insect interactions | |
| Singh et al. | A novel pilot study on imaging‐based identification of fish exposed to heavy metal (Hg) contamination | |
| JP5403575B2 (ja) | 環境負荷濃度変化判定装置 | |
| KR20220033150A (ko) | 생태 독성 위험성 평가를 위한 생태종의 행동 패턴에 대한 비침습적 실시간 모니터링 방법 및 장치 | |
| CN111833375B (zh) | 一种动物群体轨迹追踪的方法及其系统 | |
| Soh et al. | Measurement of emotional states of zebrafish through integrated analysis of motion and respiration using bioelectric signals | |
| Foit et al. | Automated Nanocosm test system to assess the effects of stressors on two interacting populations | |
| CN116385717A (zh) | 叶面病害识别方法、装置、电子设备、存储介质及产品 | |
| Pintor et al. | Govocitos: A software tool for estimating fish fecundity based on digital analysis of histological images | |
| CN113450383B (zh) | 一种免疫层析试纸定量分析方法、装置、设备和介质 | |
| Alshut et al. | Methods for automated high-throughput toxicity testing using zebrafish embryos | |
| EP3978901A1 (en) | Maturity classification of stained reticulocytes using optical microscopy | |
| Jørgensen et al. | Diagnosis of broiler livers by classifying image patches | |
| CN112514001A (zh) | 评价组织样本纤维化的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |