KR20220016110A - 웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템 - Google Patents

웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템 Download PDF

Info

Publication number
KR20220016110A
KR20220016110A KR1020217041380A KR20217041380A KR20220016110A KR 20220016110 A KR20220016110 A KR 20220016110A KR 1020217041380 A KR1020217041380 A KR 1020217041380A KR 20217041380 A KR20217041380 A KR 20217041380A KR 20220016110 A KR20220016110 A KR 20220016110A
Authority
KR
South Korea
Prior art keywords
well
organisms
images
image
wells
Prior art date
Application number
KR1020217041380A
Other languages
English (en)
Inventor
요하네스 린츠바흐
바르텔 바흐-첼레브스키
클라우스 오흐만
프랑코 포이스
케르슈틴 일크
안겔리카 쾰렌
Original Assignee
바이엘 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이엘 악티엔게젤샤프트 filed Critical 바이엘 악티엔게젤샤프트
Publication of KR20220016110A publication Critical patent/KR20220016110A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

본 발명은 이미지 획득 및 이미지 분석 기술의 도움으로 웰들을 포함하는 분석 플레이트에서 곤충들, 진드기상목 및 선충들과 같은 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 자동화된 시스템 및 방법에 관한 것이다. 본 발명은 다중의 시간 포인트들에서 유기체들의 개체군의 특성화를 허용한다.

Description

웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템
본 발명은 웰들을 포함하는 분석 플레이트에서, 곤충들, 진드기상목 및 선충들과 같은 유기체들에 대한 유효 성분들 (active ingredients) 의 효과를 결정하기 위한 시스템 및 방법에 관한 것이다.
많은 종의 곤충들, 진드기상목 및 선충들은, 예를 들어, 잎들과 같은 식물 기관들에 대한 손상을 통해 식물 대사를 심각하게 손상시킬 수 있기 때문에 농업에서 해충들이다. 곤충들 및 진드기상목의 예들은 복숭아혹진딧물, 스포도프테라 프루기페르다 (Spodoptera frugiperda), 파에돈 코클레아리아에 (Phaedon cochleariae), 및 잎응애, 이를 테면 점박이응애이다. 곤충 및 진드기상목 침입에 대응하기 위해, 다양한 화학 물질들, 소위 각각 살충제들 및 살응애제들이 이미 개발되었다. 그러나, 해충들을 효과적으로 방제할 수 있는 추가의 유효 성분들을 식별할 필요성이 크다.
이러한 탐구들을 위한 분석 플레이트들의 사용은 알려져 있다. 통상적으로, 웰 표준 플레이트 (well standard plates) (MTP), 예를 들어, 12-웰 MTP 가 사용된다. 웰들은 예를 들어, 한천 (agar) 으로 채워지고, 웰에 적합한 직경의 하나의 잎 디스크 (leaf disk) 가 각각의 웰에 배치된다. 상기 잎 디스크들 상에는, 예를 들어, 잎응애라고도 하는 점박이응애가 존재한다. 대략 80 mm x 110 mm 의 MTP 의 사이즈와 비교하여, 검출될 물체들은 대략 0.2-0.6 mm 로 매우 작다. 이 사실을 예시하기 위해, 웰에 있는 잎 (대략 20 mm) 의 확대된 상세가 도 1 에 묘사되었다.
작업은 유효 성분의 적용 전과 후에 이미지 획득 및 분석 기술의 도움으로 분석 플레이트들을 자동적으로 캡처 및 평가하는 것이다.
이미지 획득은, 물체가 물체 자체만큼 크게 나타나는 카메라 센서로 웰에 있는 물체, 이 경우 지지체, 즉 잎 (조각) 의 이미지를 획득함으로써 수행되고; 이미징 스케일은 그 때 대략 1 이고, 1:1 이라고도 한다. 본 발명의 맥락에서, MTP 의 전체 웰은 이미지당 기록된다.
잎 디스크는 MTP 의 웰에서 완전히 평평하게 놓여있지 않고 이미징 스케일로 인해, 통상적으로 1 밀리미터 미만으로, 피사계 심도가 매우 얕기 때문에, 이미지의 많은 영역들에 포커스가 맞지 않는다. 이미지 분석은 전체 웰의 포커스가 맞는 (in-focus) 이미지를 요구한다. 이것은 웰의 연속 촬영과 이미지 프로세싱 알고리즘, 소위 "포커스 스태킹 (focus stacking)" 의 조합의 사용을 통해 달성된다. 이 목적을 위해, 획득되는 것은 포커싱 또는 촬영 거리만이 변경된 이미지들의 시퀀스이며, 결과적으로 이미지들은 본질적으로 초점면만이 상이하다. 포커스 스태킹의 방법은 완전히 포커스가 맞게 잎이 묘사되는 웰의 이미지를 생성하고, 그 이미지가 평가된다.
평가 동안, 개개의 유기체들 - 특히 잎응애, 진드기상목, 곤충들 또는 선충들 - 및 이상적으로는 대응하는 발육 (development) 스테이지가 식별되어야 한다. 또한 살아 있는 유기체와 죽은 유기체를 구별하는 것이 가능해야 한다. 다시 말해서, 다음의 기준들: 성충, 유충, 알, N/A (확인할 수 없음), 및 추가로, 개별의 하위분류: 살아 있음, 죽은 상태, N/A (확인할 수 없음) 에 따라 유기체들의 자동 분류가 가능해야 한다.
살아 있는 동물들은 매우 빠르게 움직일 수도 있고 빠른 전체 측정이 요구되기 때문에, 웰당 상대적으로 짧은 측정 시간이 바람직하다. 더욱이, 고스루풋 스크리닝을 허용하기 위하여, 완전한 MTP (멀티적정 (multititer) 플레이트) 에 대한 이미지 획득들은 50 초 넘게 걸리지 않아야 한다.
따라서 본 발명의 목적은 웰들을 포함하는 분석 플레이트에서, 살아 있는 유기체들, 특히 곤충들, 진드기상목 및 선충들에 대한 유효 성분들의 효과를 결정하기 위한 솔루션을 제공하는 것이다. 특히, 본 발명에 따른 솔루션은 유기체들이 평평하지 않은 지지체 상에 - 이를 테면, 예를 들어, 잎 조각 상에 - 존재 - 또는 웰에서 이동 - 할 때 사용가능해야 한다. 솔루션은 살아 있는 곤충들, 진드기상목 또는 선충들에 대한 유효 성분들의 효과의 빠르고 신뢰가능한 결정 및 유효 성분의 효과의 고스루풋 스크리닝을 허용해야 한다.
본 발명의 기초가 되는 목적은 청구항 1 에 따른 웰에서 지지체 상에 수용된 살아 있는 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템에 의해 달성된다. 시스템의 실시형태들은 청구항 1 에 종속되는 청구항들에서 발견될 수 있다. 본 발명의 기초가 되는 목적은 청구항 12 에 따른 방법에 의해 추가로 달성된다. 방법의 실시형태들은 청구항 12 에 종속되는 청구항들에서 발견될 수 있다.
적어도 하나의 웰에서 지지체 상에 수용된 유기체들의 거시적 이미지들 (macroscopic images) 을 획득하기 위한 본 발명에 따른 장치는:
- 광학 시스템을 갖는 카메라로서, 카메라는 웰 위에 배열되고 웰과는 상이한 초점면들을 갖는 다중의 거시적 이미지들을 획득하도록 기능하는, 상기 카메라,
- 초점면을 변경하기 위한 디바이스,
- 적어도 하나의 광 소스로 웰의 조명하기 위한 디바이스로서, 그 조명용 디바이스는 위에서부터 동질적으로 웰을 조명하는, 상기 조명용 디바이스,
- 2 개의 방향들 x 및 y 로 수평으로 이동할 수 있는 웰들을 포지셔닝하기 위한 디바이스
를 포함한다.
초점면은 광학 시스템의 포커스 및/또는 광학 시스템과 세포 배양 플레이트 사이의 거리를 변경함으로써 변경가능하다.
본 발명에 따른 장치는, 바람직하게는 장착부에 수용된, 예를 들어 결정체와 같은 복잡한 3 차원 구조를 갖는 다른 물체들, 또는 카메라에 관하여 알려지지 않은 거리에 있는 물체들의 거시적 이미지들을 획득할 수 있다.
바람직하게는, 웰들을 포지셔닝하기 위한 디바이스들, 고해상도 카메라 및/또는 초점면을 변경하기 위한 디바이스는 컴퓨터 프로그램의 도움으로 제어가능하다. 특히 바람직하게는, 장치의 모든 이러한 컴포넌트들이 제어가능하다.
장치는 이미지들을 송신, 저장 및 프로세싱하기 위한 컴포넌트를 포함한다.
바람직하게는, 장치는 거시적 이미지들을 획득하기 위한 장치의 개별의 엘리먼트들의 동작을 위해 설계된 모듈들을 포함하는 시스템의 부분이고, 그 시스템의 모듈들은 인터페이스들을 통해 장치의 엘리먼트들에 연결된다.
통상적으로, 다음의 모듈들 중 하나 이상은 거시적 이미지들을 획득하기 위한 장치의 개별의 엘리먼트들의 동작을 위해 사용된다:
- 초점면을 변경하기 위한 디바이스에 연결되는, 초점면 모듈이라고도 하는, 초점면을 변경하기 위한 디바이스의 조정 및 동작을 위해 설계된 모듈,
- 카메라에 연결되고 웰당 상이한 초점면을 갖는 다중의 이미지들 (일련의 이미지들) 의 획득을 위해 설계되는. 이미지 획득 모듈이라고도 하는, 이미지 획득 및 카메라 제어를 위한 모듈, 및
- 이미지들의 저장을 위해 설계된 하나 이상의 데이터베이스 모듈들로서, 데이터베이스 모듈들 중 하나는 카메라에 연결되는, 상기 하나 이상의 데이터베이스 모듈들.
세포 배양 플레이트에 배열된 웰들 (또한 일반적으로는 웰들의 배열체라고도 함) 의 이미지들을 획득하는 것이 우선된다. 세포 배양 플레이트의 웰들에서, 유기체들 및 지지체, 이를 테면, 예를 들어, 잎 조각은 유효 성분과 접촉될 수 있다. 상기 세포 배양 플레이트는 하부 측, 상부 측 그리고 또한 하부 측과 상부 측 사이에서 연장되는 측벽들을 갖는다. 상이한 웰들은 상이한 유효 성분들 및/또는 상이한 유기체들로 채워질 수 있다. 또한, 유효 성분이 없는 유기체들만이 존재하는 웰들도 존재한다. 당업자는 필요에 따라 관련 분석의 구조를 계획 및 구현할 것이다.
획득된 이미지들의 효율적이고 모호하지 않은 프로세싱 및 평가를 위해, 각각의 세포 배양 플레이트는 보통, 판독될 수 있고 웰- 및 세포 배양 플레이트-특정 방식으로 분석 결과들과 함께 데이터베이스에 송신되는 예를 들어 바코드와 같은 판독가능 ID 를 갖는다. 마찬가지로 웰- 및 세포 배양 플레이트-특정 방식으로, 예를 들어, 유효 성분들, 유효 성분의 양 및 유기체들과 같은 분석에 관한 정보를 저장하는 것이 우선된다. 이 목적을 위해, 시스템은 데이터베이스 모듈을 갖거나 또는 그러한 데이터베이스에 연결된다.
바람직하게는, 시스템은, 웰에 관한 일련의 이미지들 중 2 개의 이미지들 사이에서, 초점면이 미리 정의된 시퀀스에 따라 변경되고 일련의 이미지들이 획득되도록, 이미지 획득의 조정을 위해 설계된 프로세스 모듈을 포함한다.
통상적으로, 일련의 이미지들은 웰- 및 세포 배양 플레이트-특정 방식으로 데이터베이스 모듈에 저장된다.
웰에 대한 일련의 이미지들의 획득의 마지막에, 카메라에 관하여 다음 웰의 포지셔닝을 위한 커맨드가 보통 이슈된다. 바람직하게는, 상기 커맨드는 웰들을 포지셔닝하기 위한 디바이스에 이슈된다.
바람직하게는, 웰들을 포지셔닝하기 위한 디바이스는 방향들 x 및 y 로 수평으로 이동가능하다. 그러한 디바이스는 또한 X/Y 테이블 또는 크로스 테이블이라고도 한다. 일련의 이미지들의 획득을 위해 조정가능한 X/Y 테이블/크로스 테이블에 의해 대응하는 웰들에 도달한다. 장치의 특정 실시형태에서, 전동식 스캐닝 테이블이 사용된다.
바람직하게는, 이러한 웰들을 포지셔닝하기 위한 디바이스는 컴퓨터-제어가능하다. 이 목적을 위해, 장치는 웰들을 포지셔닝하기 위한 디바이스의 동작을 위해 구성되는, 대응하는 모듈 - 웰 포지셔닝 모듈이라고도 함 - 을 갖는 대응하는 인터페이스를 갖는다.
이 실시형태에서, 웰 포지셔닝 모듈은:
- 세포 배양 플레이트를 장착하기 위한 디바이스의 도움으로 세포 배양 플레이트들의 수평 움직임에 의해 광학 시스템에 관하여 미리 정의된 위치에의 웰의 배치 (웰의 조정이라고도 함),
- 모든 웰들이 기록될 때까지 각각의 웰에 대한 반복
을 위해 설계된다.
장치의 특정 실시형태에서, 장치의 엘리먼트들은 하우징에 수용된다. 바람직하게는, 장치는 그 때 하우징을 클리닝하기 위한 UV 램프를 포함한다. 바람직하게는, 웰들을 포지셔닝하기 위한 미생물 제거는 하우징 안으로 공급가능하고 밖으로 인출가능하다. 바람직하게는, 웰 포지셔닝 모듈은 그러면 웰들을 하우징 안으로/밖으로 포지셔닝하기 위한 디바이스의 자동 공급/인출을 위해 설계된다.
유기체들은 카메라를 사용함으로써 묘사된다. 바람직하게는, 카메라는 센서를 포함하고, 센서는 그 센서 상의 웰의 1:1 이미징 스케일을 허용한다.
바람직하게는, 최적의 이미지를 얻기 위하여 내부 직경이 22 mm 인 웰 및 폭이 23 mm 이거나 또는 센서 표면이 5120 x 5120 픽셀들 (25 MPix) 인 정사각형 센서가 사용된다.
통상적으로, 바람직하게는 가시 스펙트럼에서, 컬러 이미지들이 획득된다.
동물들이 빨리 이동하고 따라서 상대적으로 짧은 측정 시간이 필요하기 때문에, 선택된 것은 Allied Vision Bonito Pro 카메라 및 그 카메라와 제어 디바이스 사이의 CoaxExpress 인터페이스였고; 이 조합으로, 이미지들이 최대 60 FPS (frames per second) 로 얻어질 수 있다.
광학 시스템은 통상적으로 웰과 센서 표면 사이에 1:1 이상의 이미징 스케일을 달성하기 위하여 벨로우즈 (bellows) 또는 중간 링과 결합된, 예를 들어 1:10 의 이미징 스케일을 특징으로 하는 렌즈로 구성된다.
지지체들은 보통 웰에 평평하게 놓여있지 않고 이미징 스케일, 조리개 및 작업 거리로 인해 피사계 심도가 매우 얕기 때문에, 이미지의 많은 영역들은 단일 프레임 획득의 경우 포커스가 맞지 않는다. 이미지 분석은 이미지가 모든 곳에서 포커스가 맞는 각각의 웰의 이미지를 필요로 한다. 이 목적을 위해, 카메라에 의해 획득된 일련의 이미지들이 바람직하게 프로세싱된다. 이것은 연속 사진 촬영 (일련의 이미지들) 및 디지털 이미지 프로세싱 기술, 소위 "포커스 스태킹"/포커스 변동의 조합의 사용을 통해 달성된다. 이 목적을 위해, 포커싱 또는 촬영 거리만이 변경된 이미지들의 시퀀스/일련의 이미지들이 사용되며, 결과적으로 이미지들은 본질적으로 초점면만이 상이한다. 이 경우에 최대 1 초 이내에 완전한 웰의 일련의 이미지들을 획득하는 것이 가능하다. 고스루풋 스크리닝의 경우, 이것은 종래 기술과 비교하여 뚜렷한 이점이다.
지금까지, 상기 종래 기술은 작은 물체들의 식별을 위해 적절한 해상도 (즉, 유기체당 픽셀들의 수) 에서 웰의 부분으로부터만 포커스 변동 (포커스 스태킹) 이 있는 일련의 이미지들 및 각각의 웰에 대한 많은 일련의 이미지들 (포커스 스태킹 이미지들) 의 개별의 조합의 개별의 획득을 수반한다. 이 방법은 방법이 웰당 많은 시간을 필요로 하고, 이미지들이 복잡한 방식으로 서로에 관하여 정렬되어야 하고, 그리고 추가적으로 움직이는 유기체가 2 번 기록되거나 또는 전혀 기록되지 않을 위험이 있는 단점을 갖는다.
초점면을 변경하는 것은 초점면을 변경하기 위한 제어가능한 엘리먼트의 도움으로 달성된다. 초점면을 변경하는 것은 렌즈에 포커싱함으로써 또는 수직축 (z-축) 을 따라 카메라와 물체 사이 또는 렌즈와 물체 (이 경우, 지지체) 사이의 거리를 변경함으로써 달성될 수 있다.
본 발명의 제 1 실시형태에서, 광학 시스템은 고정된 포커스 렌즈 및 벨로우즈로 구성된다. 이 실시형태에서, 초점면은 벨로우즈를 조정함으로써 변경된다. 바람직하게는, 벨로우즈는 인터페이스를 통해 초점면 모듈의 도움으로 조정가능하고, 그 초점면 모듈은 벨로우즈의 조정을 위해 설계된다. 이 실시형태에서, 렌즈와 세포 배양 플레이트 사이의 거리는 통상적으로 웰들을 포지셔닝하기 위한 디바이스에 관한 카메라의 고정된 장착에 의해 정의된다.
본 발명의 바람직한 실시형태에서, 광학 시스템은 예를 들어 이미징 스케일이 1:10 인 고정된 포커스 렌즈, 및 하나 이상의 중간 링들 (도 2 참조) 로 구성된다. 고정된 포커스 렌즈의 구성은 바람직하게는 센서와 웰 사이의 1:1 의 이미징 스케일이 달성되도록 계산된다. 예를 들어, 상기 설명된 센서 및 표준 12-웰 MTP 로부터의 웰에 사용된 것은 QIOPTIQ INSPEC.X L 105/5,6-1,0X, 대략 120 mm 의 렌즈 배럴과 어셈블리에 의해 원하는 배율을 위해 최적화된, 82 mm 까지의 이미지 서클들용 정밀 렌즈였다. 이 실시형태에서, 초점면은 보통 한번 설정되고 더 이상 변경되지 않는다. 초점면은 물체와 렌즈 사이의 거리에 의해 정의되는, 촬영 거리를 변경함으로써 변경된다. 이 변경은 수직축 (z-축이라고도 함) 을 따라 카메라 또는 웰을 이동시킴으로써 달성될 수 있다. 바람직하게는, 카메라는 수직축을 따라 카메라의 정밀한 움직임을 허용하는 카메라를 이동시키기 위한 디바이스 상에 장착된다. 예를 들어, 카메라는 전동식 z-축의 도움으로 정밀하게 조정가능 및 이동가능하다. 바람직하게는, 상기 디바이스는 정밀한 조정 및 이동을 위해 제어가능하다.
바람직하게는, 카메라를 이동시키기 위한 디바이스는 초점면 모듈과의 인터페이스를 갖고, 상기 모듈은 초점면을 설정 및 변경하기 위해 구성된다.
본 발명의 특정 실시형태에서, 초점면 모듈은:
- 수직축 (z-방향) 을 따라 카메라를 포지셔닝하는 것에 의한 카메라의 조정 또는 초점면의 설정,
- 일련의 이미지들에서 2 개의 이미지들의 초점면들 사이의 거리의 계산/설정, 및
- 초점면들을 변경하기 위해 미리 정의된 거리에 따른 카메라의 움직임
을 위해 설계된다.
웰에 대한 이미지 획득을 위한 카메라의 움직임은 카메라의 이동이라고도 한다.
통상적으로, 프로세스 모듈은 각각의 웰에 대한 이미지 획득을 제어한다. 보통, 최대 50 개의 개개의 이미지들은 카메라의 이동 동안 각각의 웰과 상이한 초점면들에서 연달아 캡처된다. 2 개의 이미지들의 초점면들 사이의 통상의 거리는 0.25 mm 이다.
광학 시스템의 설계는 광 강도가 낮아, 매우 밝은 조명이 필요하다는 것을 의미한다. 바람직하게는, 250 W 내지 350 W 의 광 출력이 필요하다. 이러한 요건을 충족하기 위해, 광 소스 및 동축 조명용으로 장착된 반투명 미러를 포함하는 동축 조명용 엘리먼트를 사용하는 것이 우선된다. 광 강도는 광 소스로서의 LED 어레이의 도움으로 달성되었다. 예를 들어, 16 개의 백색 고출력 LED들로 구성된 광 소스가 사용되었고, 이는 대략 300 W (플래시됨) 의 광 출력을 달성한다. 동질적이고 밝은 조명을 얻기 위해, 동축 조명용 엘리먼트는 바람직하게는 광 소스와 미러 사이에 확산기를 갖는다. 광 소스를 냉각시키는 것이 유리할 수도 있으며; 예를 들어, 이것은 수동 냉각용 엘리먼트의 도움으로 달성된다. 동축 조명의 원리는 당업자에게 알려져 있고 예를 들어, http://www.effilux.fr 에 설명되어 있다.
동축 조명용 엘리먼트는 바람직하게는 카메라/렌즈 조합 및 동물들의 움직임 동안 연달아 이미지들을 캡처하기 위하여 짧고 매우 밝은 플래시들을 갖는 플래시 조명으로서 설계된다. 이 목적을 위해, 광 소스는 바람직하게는 플래시 모드에서 동작된다; 이 목적을 위해, 조명 모듈은 통상적으로 카메라에 연결된다. 상기 설명된 광 소스를 사용하여, 40 μs - 1500 μs 의 플래시 시간이 달성될 수 있다. 통상적으로, 제어 디바이스는 플래시 모드에서 조명 디바이스의 제어를 위해 구성된다.
통상적으로, 동축 조명용 엘리먼트는 카메라 아래에 배치된 전체 분석 플레이트 또는 적어도 웰을 동질적으로 조명하도록 치수화된다. 바람직하게는, 동축 조명용 엘리먼트는 기록될 웰의 면적의 대략 120% 를 조명하기 위하여 치수화된다.
통상적으로, 분석 플레이트에는 고정된 수 X 개의 웰들이 일 행에 배열되어 있고 수 Y 개의 행들이 나란히 배열되어, 모두 합쳐 X x Y 개의 개개의 웰들을 산출한다. 본 발명에 따른 솔루션의 경우, 총 30 개의 웰들 (3x4 그리드) 을 갖는 세포 배양 플레이트들이 바람직하고; 대안적으로는, 4x6 또는 6x8 또는 8x12 그리드들이 마찬가지로 사용가능하다.
웰들을 포함하는 분석 플레이트에서, 곤충들, 진드기상목 및 선충들과 같은 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법은 먼저 세포 배양 플레이트의 적어도 하나의 웰을 유효 성분, 살아 있는 유기체들, 및 한천 위의 잎으로 채우는 것을 고려한다. 세포 배양 플레이트는 그 다음 상기 리마크들에 따라 장치에 배치된다.
이미지 획득은 다음의 단계들의 수행에 의한 이미지 획득을 위한 방법에 의해 시행된다:
a) 웰들을 포지셔닝하기 위한 디바이스의 도움으로 웰 또는 웰들의 배열체의 수평 움직임에 의해 카메라에 관하여 미리 정의된 위치에 웰들을 포지셔닝하기 위한 디바이스에의 웰 또는 웰들의 배열체의 배치,
b) 초점면을 변경하기 위한 디바이스의 동작에 의한 초점면의 설정,
c) 카메라에 의한 이미지 획득,
d) 데이터베이스 모듈에의 이미지의 저장,
e) 초점면을 변경하기 위한 디바이스의 동작에 의한 초점면의 변경,
f) 일련의 이미지들에서 미리 정의된 수의 이미지들의 획득을 위해 단계 c) 내지 단계 e) 의 반복,
g) 모든 웰들이 기록될 때까지 다음 웰에 대해 단계 a) 내지 단계 f) 의 반복.
본 발명에 따른 방법의 특정 실시형태에서, 일련의 이미지들은 포커스 스태킹 방법을 사용하여 가능한 한 모든 곳에서 포커스가 맞는 이미지, 즉 증가된 피사계 심도의 이미지로 프로세싱된다.
바람직하게는, 본 발명에 따른 시스템은 포커스 스태킹 방법을 사용하여 일련의 거시적 이미지들의 프로세싱을 위해 설계된 모듈 - 이미지 프로세싱 모듈이라고도 함 - 을 포함한다. 본 발명에 따른 시스템은 데이터베이스 모듈로부터의 일련의 이미지들의 제공, 이미지 프로세싱 모듈에서의 스태킹 방법의 수행, 및 데이터베이스 모듈에서 스태킹 방법을 사용하여 생성된 증가된 피사계 심도의 이미지의 저장이 일어날 수 있도록 설계된다.
포커스 스태킹 방법을 사용한 이미지 프로세싱은 통상적으로 다음의 단계들을 포함한다:
- 일련의 이미지들이 이미지 프로세싱을 위한 모듈에 제공된다,
- 이미지 포커스의 분석이 각각의 이미지에 대해 수행된다,
- 상이한 이미지들로부터, 각각의 경우에서 포커스가 가장 잘 맞는 영역들이 그 후 컷 아웃된다,
- 포커스를 변경하는 것은 이미징 스케일의 변경을 초래할 수 있고 이미지의 물체들이 약간 시프트할 수 있기 때문에, 이미지들의 가능한 최상의 오버레이를 위해 개개의 이미지들의 실제 어셈블리 전에 이미지 변환이 수행된다,
- 각각의 경우에서 포커스가 가장 잘 맞는 이미지들의 영역들이 후속적으로 증가된 피사계 심도를 갖는 하나의 이미지를 형성하기 위해 함께 조인된다.
이 방법을 사용하여, 증가된 피사계 심도의 적어도 하나의 이미지가 웰당 제공된다.
통상적으로, 모든 곳에서 포커스가 맞는 이미지는 데이터베이스 모듈에 저장되고/되거나 이미지 분석을 위해 구성된 모듈 (이미지 분석 모듈이라고도 함) 로 전송된다.
시스템의 모듈들의 선택 및 설계는 거시적 이미지들을 획득하기 위한 본 발명에 따른 장치들의 제어가능한 디바이스들에 적응될 수 있고; 이미지 프로세싱 모듈 및 이미지 분석 모듈의 수용이 또한 요건들에 따라 원하는 대로 설계가능하다는 것이 당업자에게 자명하다.
다음은 거시적 이미지, 바람직하게는 모든 곳에서 포커스가 맞는 거시적 이미지의 자동화된 분석의 단계들이다. 모든 곳에서 포커스가 맞는 이미지가 존재하지 않으면, 분석은 포커스가 맞는 거시적 이미지의 부분에 대해 수행될 수 있다.
분석은 이미지 인식 소프트웨어의 피스에 의해 수행된다. 이미지 인식 소프트웨어는 특정 (특유의) 특징들의 존재에 대해 이미지들을 검사하도록 구성된다. 본 발명에서, 지지체 상의 유기체들은 물체 인식에 의해 식별되고 미리 정의된 특성들에 따라 분류된다.
분석의 바람직한 실시형태에서, 유기체들은 다음의 기준들: 성충, 유충, 알, N/A (확인할 수 없음) - 스테이지라고도 함 - 및/또는 살아 있음, 죽은 상태, N/A (확인할 수 없음) - 스테이터스라고도 함 - 에 따라 자동적으로 분류된다.
통상적으로, 이미지에서의 유기체들의 위치 및 사이즈 및 그들 개별의 스테이터스 및/또는 스테이지가 결정 및 출력된다.
이미지의 기계 분석을 위해, 이미지 특징들과 전술된 분류 사이의 연결을 포함하는 모델이 사용된다. 분석을 위해, 훈련되어야 하는 이미지 분석을 위한 하나 이상의 뉴럴 네트워크들이 사용된다.
바람직하게는, 뉴럴 네트워크(들)를 훈련하기 위해 지도 학습이 사용된다. 이것은, 뉴럴 네트워크가, 모든 유기체들에 전문가 지식에 의해 주석이 달리는 주석이 달린 이미지들 (훈련 이미지들 및 검증 이미지들) 을 수신하고 그것으로 훈련됨을 의미한다. 주석은 각각의 유기체에 위치 (물체 위치라고도 함), 물체 사이즈 및 스테이지 및/또는 스테이터스를 할당하는 것을 수반한다. 주석이 달린 이미지들은 통상적으로 다음과 같이 준비된다: 전문가는 사용자 인터페이스를 통해 이미지에서 시각적으로 인식된 유기체들을 마킹한다. 예를 들어, 각각의 유기체는 개별적으로 RoI (관심 영역, 예를 들어, 직사각형/바운딩 박스의 형태) 로 경계지정되고 원하는 분류 (스테이터스 및 스테이지) 로 주석이 달린다. 이 정보는 텍스트 파일에 이미지 파일명과 함께 저장될 수 있다. 상기 텍스트 파일에는 통상적으로 RoI 의 위치 및 그 사이즈 또는 유기체에 할당된 픽셀들의 좌표들 및 각각의 유기체에 대한 분류가 저장된다.
바람직하게는, 물체 사이즈는 또한 자동적으로 수집 및 저장된다. 추가의 단계에서, 사용자 인터페이스를 통해 각각의 물체를 유기체로서 확인하고 그에 따라 그것에 주석을 달 것을 전문가에게 요청할 수 있다.
이와 같이 주석이 달린 유기체들이 존재하면, 하나 이상의 미리 정의된 분류들을 각각의 주석이 달린 유기체에 할당할 것을 전문가에게 요청할 수 있다: (예를 들어, 발육 스테이지 - 성충, 유충, 알 또는 N/A (확인할 수 없음) - 및/또는 살아 있음, 죽은 상태 또는 N/A 간의 구분).
주석이 달린 이미지들의 세트 (훈련용 입력) 는 후속적으로 뉴럴 네트워크들을 훈련하는데 사용된다. 이미지들의 세트에서, 예를 들어, 대략 16 000 개의 주석들이 사용되었다.
새롭게 획득된 이미지들은 그 후 이들 훈련된 알고리즘들 (뉴럴 네트워크들) 의 도움으로 분석될 수 있다.
특정 타입들의 뉴럴 네트워크들로 실현되는 상기 설명된 방법은 따라서 물체 인식 (위치 및 사이즈) 및 물체 분류로 분할된다.
작은 살아 있는 유기체들에 대한 스크리닝을 위한 본 발명에 따른 방법의 적용을 위해, 필요한 정밀도 및 속도를 갖는 물체 검출을 위한 뉴럴 네트워크들을 선택하는 것이 우선된다.
예를 들어, 영역 기반 컨볼루션 뉴럴 네트워크들 (R-CNN 이라고도 함) 이 사용되었다. 특히, 예를 들어, Ren 등에 의해 설명된 바와 같은, 2 개의 모듈들로 구성된 솔루션인 Faster R-CNN 이 사용되었다 (Ren, Shaoqing; He, Kaiming; Girshick, Ross; Sun, Jian: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In: Advances in Neural Information Processing Systems (NIPS), Curran Associates, Inc., 2015, pages 91-99, https://arxiv.org/pdf/1506.01497.pdf). 제 1 모듈은 영역 제안 네트워크 (RPN) 라고도 하는, 영역들을 제안하는 딥 풀리 컨볼루션 네트워크이다. RPN 후에, "RoI 풀링" 이 고정된 사이즈의 RoI들을 얻기 위해 수행된다. 제 2 모듈에서, "RoI 풀링" 의 결과들은 Fast R-CNN 검출기의 도움으로 분류된다 (R. Girshick, "Fast R-CNN", in IEEE International Conference on Computer Vision (ICCV), 2015 - DOI: 10.1109/ICCV.2015.169). Faster R-CNN 의 훈련을 위해, Ren 등에 의해 제안된 바와 같은 "4-단계 교대" 훈련 방법이 선택되었다.
보다 정확하게는, Faster R-CNN 알고리즘은 먼저 잠재적인 물체들에 대한 이미지를 검사하는 것을 수반하고; 물체 인식 및 그의 위치의 결정이 통상적으로 영역 제안 네트워크 (RPN) 를 사용하여 실현되고, 여기서 이미지에서의 각각의 포인트는 물체에 (이 경우에, 의심되는 유기체) 에 또는 백그라운드 또는 지지체에 할당된다. 이미지에서의 소정의 포인트에서의 물체의 존재의 확률 - "스코어" 라고도 함 - 을 결정하는 것이 우선되며, 이는 후속적으로 조정가능한 한계 값의 도움으로 필터링된다. 예를 들어, RPN 으로서 101 개의 층들 (ResNet 101 이라고도 함) 을 갖는 딥 레지듀얼 네트워크가 사용되었다 (Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, CVPR paper - http://openaccess.thecvf.com/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf). 예를 들어, ResNet 101 과 함께 TensorFlow Object Detection API 로부터 Faster R-CNN 이 사용되었다.
분류들의 자동 할당의 경우, 또한 적절히 훈련된 Faster R-CNN 알고리즘의 도움으로 달성될 수 있다.
Faster R-CNN 의 대안으로서, 예를 들어, YOLO, YOLOv2, YOLOv3, Retina Net, SSD, R-FCN, Fast R-CNN 및 R-CNN 과 같은 다른 딥 러닝 다물체 검출 알고리즘들이 사용될 수 있다.
일 예에서, 발견된 물체는 유기체의 존재가 신뢰가능한 것으로 고려될 경우에만 스테이지 및/또는 스테이터스에 자동적으로 할당된다. 대응하는 스테이지 및/또는 스테이터스의 할당을 위해, 분류의 유효성에 대한 값이 마찬가지로 계산 및 출력될 수 있다.
일 예에서, 주석이 달린 이미지들의 테스트 데이터 세트가 기계에 의해 실현된 분석 결과들의 신뢰성을 결정하는데 사용된다. 예를 들어, 오차 행렬의 형태의 에러 레이트가 이에 대해 결정될 수 있다.
대응하는 분석의 결과 - 유기체들의 위치 및 분류 - 는 바람직하게는 데이터베이스 모듈에 저장되고/되거나 웰- 및 배양 플레이트-특정 방식으로 출력된다.
방법의 특정 실시형태에서 및 결과들의 시각화를 위해, 개별의 유기체들은 미리 정의된 규칙들에 따라 획득된 이미지에 대한 스테이지/ 및 스테이터스에 의한 그들의 카테고리화에 따라 상이하게 마킹된다. 예를 들어, 일 스테이지에서의 유기체는 정의된 형상을 갖는 프레임에 의해 경계지정되고 유기체의 스테이터스는 경계의 컬러링에 의해 눈에 띄게 된다. 텍스트 마킹이 또한 사용될 수 있다. 마킹의 선택은 원하는 대로이다. 하나의 가능한 마킹이 도 5 에 묘사된다.
스테이지 및/또는 스테이터스에 의한 계산된 유기체들의 수로부터, 개체군들의 표현형들 (도 6), 즉 유기체들의 계절학 (phenology) 에 대한 시계열을 생성하는 것이 가능하다. 상기 계절학은 시간 경과에 따른 유기체들의 증식 및 그의 표현형의 변화를 나타낸다.
이미지 분석의 방법은, 상기 이미지들이 적절한 품질인 것을 조건으로, 이미지 획득 및 프로세싱을 위한 방법을 사용하여 제공되지 않은 이미지들의 분석을 위해서도 또한 사용될 수 있음에 유의한다.
본 발명은 설명 및 도시된 특징들 또는 특징들의 조합들로 본 발명을 제한하고자 함 없이 도면들 및 예들을 참조하여 이하에 상세히 설명된다.
도면들에 묘사된 예시적인 실시형태들은 본 발명을 보다 구체적으로 설명하는데 사용될 것이다. 도면들에서:
도 1 은 웰에서의 잎 디스크 상의 잎응애를 도시한다.
도 2 는 거시적 이미지들을 획득하기 위한 본 발명에 따른 장치의 예시적인 실시형태를 개략 단면도로 도시한다.
도 3 은 시스템 다이어그램을 도시한다.
도 4 는 유기체들 및 그 특성들을 라벨링하는 이미지의 예들을 도시한다.
도 5 는 개체군의 표현형들에 대한 시계열의 예들을 도시한다.
도 2 는 거시적 이미지들을 획득하기 위한 장치를 개략 단면도로 도시한다. 장치 (1) 는 렌즈 (13) 및 중간 링들 (14) 로 구성된 렌즈 (13) 를 갖는 카메라 (11) 가 배열되는 하우징 (10) 을 갖는다. 또한, 세포 배양 플레이트 (30) 의 웰 (31) 을 포지셔닝하기 위한 크로스 테이블이 하우징 (10) 에 제공된다. 장치는 세포 배양 플레이트 (30) 의 동축 조명용 디바이스 (15) 를 갖고, 이는 종래 기술로부터 알려져 있고 따라서 더 상세히 묘사되지 않는다. 장치 (10) 는 카메라 (11) 를 사용하여, 초점 위치에서 미리 정의된 변화를 갖는 웰 (31) 의 복수의 연대순으로 연속적인 디지털 이미지들을 생성하는 것을 가능하게 하고, 그 이미지들은 웰의 상부 측 (33) 으로부터 획득된다. 따라서, 카메라 (11) 는 웰 (31) 위에 배열된다. 초점 위치를 변경하기 위해, 장치 (1) 는 카메라 장착부 (22), z-축 (23) 및 z-축을 따라 카메라를 이동시키기 위한 모터 (21) 를 포함하는 카메라를 이동시키기 위한 디바이스 (20) 를 갖는다. 카메라 (11) 는 연속적으로 이동하고 미리 정의된 거리들에서 웰 (31) 을 기록할 수 있다. 대안적으로, 카메라 (11) 는 녹화를 위해 정지하고 계속 이동할 수 있다. 도 3 은 본 발명에 따른 시스템의 다이어그램에서, 어느 컴포넌트들이 이미지 획득, 이미지 프로세싱 및 이미지 분석의 자동화를 허용하는지를 도시한다. 이미지 획득은 미리 정의된 시퀀스에 따라 초점면 모듈 (41) 에 의해 그리고 이미지 획득 모듈 (42) 에 의해 수행된다. 일련의 픽처들이 자동적으로 획득된다. 일련의 이미지들의 획득의 마지막에, 다음 웰 (31) 은 크로스 테이블 (16) 의 도움으로 카메라 (11) 아래에 배치되고 새로운 일련의 이미지들이 획득된다. 크로스 테이블 (16) 을 제어하기 위해, 시스템은 웰 포지셔닝 모듈 (44) 을 갖는다. 하나 이상의 웰들에 대한 이미지 획득의 시퀀스는 방법을 사용하여 이미지들의 획득을 위해 구성되는 프로세스 모듈 (40) 에 의해 특정된다. 일련의 이미지들로부터, 이미지 프로세싱 모듈 (46) 은 포커스 스태킹 방법의 도움으로 모든 곳에서 포커스가 맞는 하나의 이미지를 생성한다. 상기 이미지는 이미지 분석 모듈 (50) 에 제공된다. 상기 모듈은 이미지를 분석한다. 이 분석의 결과는 이미지와 함께 데이터베이스 모듈 (51) 에 제공되고 사용자 인터페이스 (47) 를 통해 디스플레이된다.
1: 거시적 이미지들을 획득하기 위한 장치
2: 시스템
10: 하우징
11: 카메라
12: 광학 시스템
13: 렌즈
14: 중간 링들
15: 동축 조명용 디바이스
16: 크로스 테이블 - 다중의 웰들을 갖는 세포 배양 플레이트 (30) 를 장착하기 위해 2 개의 방향들 x 및 y 로 수평으로 이동가능한 디바이스
20: 카메라를 이동시키기 위한 디바이스
21: z-축을 따라 카메라를 이동시키기 위한 모터
22: 카메라 장착부
23: z-축 (수직축)
30: 세포 배양 플레이트
31: 세포 배양 플레이트 (30) 의 웰
40: 프로세스 모듈
41: 카메라를 이동시키기 위한 디바이스 (20) 를 제어하기 위한 초점면 모듈
42: 이미지 획득을 제어하기 위한 이미지 획득 모듈
43: 데이터베이스 모듈
44: 웰 포지셔닝 모듈 또는 크로스 테이블 (16) 을 제어하기 위한 모듈
45: 인터페이스들
46: 포커스 스태킹 방법을 사용하여 거시적 이미지들의 프로세싱을 위해 설계된 이미지 프로세싱 모듈
47: 사용자 인터페이스
50: 이미지 분석 모듈
51: 데이터베이스 모듈

Claims (15)

  1. 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템으로서,
    - 적어도 하나의 웰의 거시적 이미지들을 획득하기 위한 장치로서, 다음의 엘리먼트들:
    - 광학 시스템을 갖는 카메라로서, 상기 카메라는 상기 웰 위에 배열되고 상이한 초점면들을 갖는 적어도 하나의 웰이 존재하는 장면의 다중의 거시적 이미지들을 획득하도록 구성되는, 상기 카메라;
    - 초점면을 변경하기 위한 디바이스,
    - 적어도 하나의 광 소스로 상기 웰을 조명하기 위한 디바이스로서, 그 조명용 디바이스는 위에서부터 동질적으로 상기 웰을 조명하는, 상기 조명용 디바이스
    를 포함하는, 상기 거시적 이미지들을 획득하기 위한 장치,
    - 제어 디바이스로서, 다음의 모듈들:
    - 상기 거시적 이미지들을 획득하기 위한 장치의 제어를 위해 구성된 프로세스 모듈로서, 상기 프로세스 모듈은 상이한 초점면을 갖는 각각의 웰에 대한 일련의 이미지들이 미리 정의된 시퀀스에 따라 획득되도록 설계되는, 상기 프로세스 모듈,
    - 상기 초점면을 변경하기 위한 디바이스의 조정 및 동작을 위해 설계된 초점면 모듈,
    - 상기 카메라의 동작을 위해 구성된 이미지 획득 모듈,
    - 이미지들 및/또는 일련의 이미지들의 저장을 위해 설계된 적어도 하나의 데이터베이스 모듈로서,
    카메라 제어를 위한 상기 이미지 획득 모듈 및 상기 데이터베이스 모듈은 인터페이스들을 통해 상기 카메라 연결되고,
    상기 프로세스 모듈은 인터페이스를 통해 상기 초점면 모듈에 그리고 상기 이미지 획득 모듈에 연결되는, 상기 적어도 하나의 데이터베이스 모듈,
    - 이 목적을 위해 훈련된 뉴럴 네트워크의 도움으로 거시적 이미지 상의 유기체에 관한 물체 인식 및 상기 유기체의 분류를 위해 설계된 이미지 분석 모듈
    을 포함하는, 상기 제어 디바이스를 포함하는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  2. 제 1 항에 있어서,
    다음의 클래스 리스트들:
    - 성충, 유충, 알 및/또는
    - 살아 있음 또는 죽은 상태
    중 적어도 하나에서의 분류가 시행되는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  3. 제 2 항에 있어서,
    상기 웰을 조명하기 위한 디바이스는 동축 조명용 디바이스인, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 광학 시스템은 고정된 포커스 렌즈 및 하나 이상의 중간 링들로 구성되는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  5. 제 4 항에 있어서,
    상기 초점면을 변경하기 위한 디바이스는 수직축 (z) 을 따라 상기 카메라를 이동시키기 위한 디바이스인, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  6. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
    포커스 스태킹 방법을 사용하여 모든 곳에서 포커스가 맞는 이미지로의 상기 데이터베이스 모듈로부터의 상기 일련의 이미지들의 프로세싱을 위해 설계된 이미지 프로세싱 모듈을 포함하는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  7. 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 거시적 이미지들을 획득하기 위한 장치는 2 개의 방향들 (x,y) 로 수평으로 이동가능한 웰들을 포지셔닝하기 위한 디바이스를 포함하는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  8. 제 7 항에 있어서,
    인터페이스를 통해 상기 웰들을 포지셔닝하기 위한 디바이스에 연결되고 다음의 단계들을 수행하도록 구성되는 웰 포지셔닝 모듈을 포함하고, 상기 다음 단계들은:
    - 상기 웰들을 포지셔닝하기 위한 디바이스의 도움으로 세포 배양 플레이트의 수평 움직임에 의해 상기 광학 시스템에 관한 미리 정의된 위치에의 웰의 배치,
    - 모든 웰들이 기록될 때까지 각각의 웰에 대한 반복인, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템.
  9. 적어도 하나의 웰에서 지지체 상에 수용된 유기체들의 거시적 이미지들을 획득하기 위한 방법으로서,
    상기 방법은, 다음의 단계들:
    a) 적어도 하나의 웰이 존재하는 장면의 다중의 거시적 이미지들이 획득되도록, 웰들을 포지셔닝하기 위한 디바이스의 도움으로 상기 웰 또는 상기 웰들의 배열체의 수평 움직임에 의해 카메라에 관하여 미리 정의된 위치에 상기 웰들을 포지셔닝하기 위한 디바이스에의 상기 웰 또는 상기 웰들의 배열체의 배치;
    b) 초점면을 변경하기 위한 디바이스의 동작에 의한 상기 초점면의 설정;
    c) 상기 카메라에 의한 이미지 획득,
    d) 데이터베이스 모듈에의 상기 이미지의 저장,
    e) 상기 초점면을 변경하기 위한 디바이스의 동작에 의한 상기 초점면의 변경,
    f) 일련의 이미지들에서 미리 정의된 수의 이미지들의 획득을 위해 단계 c) 내지 단계 e) 의 반복,
    g) 모든 웰들이 기록될 때까지 다음 웰에 대해 단계 a) 내지 단계 f) 의 반복
    을 포함하는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들의 거시적 이미지들을 획득하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 일련의 이미지들은 포커스 스태킹 방법을 사용하여 모든 곳에서 포커스가 맞는 상기 웰의 이미지로 프로세싱되는, 적어도 하나의 웰에서 지지체 상에 수용된 유기체들의 거시적 이미지들을 획득하기 위한 방법.
  11. 웰의 거시적 이미지로부터, 상기 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법으로서,
    상기 방법은 다음의 단계들:
    - 제 9 항에 기재된 방법에 의해 웰에서의 지지체 상의 유기체들의 적어도 하나의 거시적 이미지의 제공;
    - 이 목적을 위해 훈련된 뉴럴 네트워크의 도움으로 상기 거시적 이미지에서의 상기 유기체들의 위치 및 그 분류를 결정하기 위한 자동 물체 인식;
    - 상기 거시적 이미지에서의 상기 유기체들의 위치 및/또는 수 및 분류의 출력
    을 포함하는, 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법.
  12. 제 11 항에 있어서,
    다음의 리스트들:
    - 성충, 유충, 알
    - 살아 있음 또는 죽은 상태
    중 하나 이상에서의 상기 유기체들의 분류가 이 목적을 위해 훈련된 뉴럴 네트워크의 도움으로 시행되는, 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법.
  13. 제 11 항에 있어서,
    모든 곳에서 포커스가 맞고 포커스 스태킹 방법을 사용하여 프로세싱된 이미지가 제공되는, 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    물체 인식은 소정 위치에서의 유기체의 존재의 확률을 결정하는 것을 수반하고 발견된 상기 유기체는 상기 확률이 조정가능한 한계 값보다 높을 때에만 자동적으로 분류되는, 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법.
  15. 제 11 항 또는 제 12 항에 있어서,
    상기 뉴럴 네트워크는 웰에서 지지체 상에 수용된 상기 유기체들의 거시적 이미지들의 훈련 세트의 분석에 의해, 상기 훈련 세트의 각각의 이미지에 대해 각각의 유기체에 그 위치, 사이즈 및 분류에 관하여 전문가가 주석을 다는 것에 의해 의해, 훈련되는, 웰에서 지지체 상에 수용된 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 방법.
KR1020217041380A 2019-06-03 2020-05-27 웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템 KR20220016110A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19177911 2019-06-03
EP19177911.5 2019-06-03
PCT/EP2020/064682 WO2020244990A1 (de) 2019-06-03 2020-05-27 System zur ermittlung der wirkung von wirkstoffen an acariformes, insekten und anderen organismen einer testplatte mit kavitäten

Publications (1)

Publication Number Publication Date
KR20220016110A true KR20220016110A (ko) 2022-02-08

Family

ID=66690259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217041380A KR20220016110A (ko) 2019-06-03 2020-05-27 웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템

Country Status (8)

Country Link
US (1) US20220318575A1 (ko)
EP (1) EP3977340A1 (ko)
JP (1) JP2022540978A (ko)
KR (1) KR20220016110A (ko)
CN (1) CN113906482A (ko)
AU (1) AU2020288840A1 (ko)
BR (1) BR112021023238A2 (ko)
WO (1) WO2020244990A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12025788B2 (en) * 2021-05-06 2024-07-02 The Regents Of The University Of California System and method for simultaneous longitudinal biological imaging

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1428169B1 (en) * 2002-02-22 2017-01-18 Olympus America Inc. Focusable virtual microscopy apparatus and method
US20110169985A1 (en) * 2009-07-23 2011-07-14 Four Chambers Studio, LLC Method of Generating Seamless Mosaic Images from Multi-Axis and Multi-Focus Photographic Data
JP6845221B2 (ja) * 2015-04-23 2021-03-17 ビーデー キーストラ ビー.ヴィー. プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム
CN107292314A (zh) * 2016-03-30 2017-10-24 浙江工商大学 一种基于cnn的鳞翅目昆虫种类自动鉴别方法
DE102017101188B4 (de) * 2017-01-23 2021-09-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Mikroskopieren einer Probe
JP6838994B2 (ja) * 2017-02-22 2021-03-03 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
DE102017009804A1 (de) * 2017-10-20 2019-04-25 Vermicon Ag Verfahren zur Bewertung von mikroskopischen Proben und Vorrichtung zur Ausführung dieses Verfahrens
CN109344917A (zh) * 2018-11-08 2019-02-15 李凯兵 一种毒蛾属昆虫的物种鉴别方法及鉴别系统

Also Published As

Publication number Publication date
JP2022540978A (ja) 2022-09-21
WO2020244990A1 (de) 2020-12-10
US20220318575A1 (en) 2022-10-06
AU2020288840A1 (en) 2022-01-06
EP3977340A1 (de) 2022-04-06
BR112021023238A2 (pt) 2022-01-04
CN113906482A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
US11307398B2 (en) Method for generating and analyzing an overview contrast image
CN109507155B (zh) 阵列级傅立叶重叠关联成像
JP6479676B2 (ja) 流体サンプル中の粒子の分類のためのシステム及び方法
CA2943966C (en) Microscopy imaging device with advanced imaging properties
JP7167276B2 (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
US9632301B2 (en) Slide scanner with a tilted image
EP3213139B1 (en) Apparatus and method for generating in-focus images using parallel imaging in a microscopy system
EP3850361A1 (en) System and method for label-free identification and classification of biological samples
CN110793946A (zh) 一种真菌样本显微成像及智能识别系统及方法
US20200080992A1 (en) Device and method for determining the action of active ingredients on nematodes and other organisms in aqueous tests
EP4247153A1 (en) Optical technique for analyzing insects, shrimp and fish
KR20220016110A (ko) 웰들을 포함하는 분석 플레이트에서 진드기상목, 곤충들 및 다른 유기체들에 대한 유효 성분들의 효과를 결정하기 위한 시스템
US20220254182A1 (en) Optical technique for analyzing insects, shrimp and fish
WO2018100913A1 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
US10133053B2 (en) Apparatus and method for generating in-focus images using parallel imaging in a microscopy system
JP2023534366A (ja) 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム
JP7033796B2 (ja) 複数の画像の同時的なビデオグラフィック的な捕捉又はフォトグラフィック的捕捉のためのシステム
WO2019244156A1 (en) System for in-situ imaging of plant tissue
US20070269796A1 (en) Microscope apparatus and cell observation method
CN103175780A (zh) 大尺度生物组织连续切片的自动化成像系统
CN203385649U (zh) 大尺度生物组织连续切片的自动化成像系统
US20230345115A1 (en) Method and system of developing an imaging configuration to optimize performance of a microscopy system
JP2018179761A (ja) 画像解析装置、画像解析システム、及び、プログラム
JPWO2020244990A5 (ko)