KR20230126264A - 오가노이드 선별 장치 및 방법 - Google Patents

오가노이드 선별 장치 및 방법 Download PDF

Info

Publication number
KR20230126264A
KR20230126264A KR1020220022545A KR20220022545A KR20230126264A KR 20230126264 A KR20230126264 A KR 20230126264A KR 1020220022545 A KR1020220022545 A KR 1020220022545A KR 20220022545 A KR20220022545 A KR 20220022545A KR 20230126264 A KR20230126264 A KR 20230126264A
Authority
KR
South Korea
Prior art keywords
image information
organoids
learning
artificial intelligence
model
Prior art date
Application number
KR1020220022545A
Other languages
English (en)
Inventor
김도현
이승철
김성원
임미현
박건혁
신승민
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020220022545A priority Critical patent/KR20230126264A/ko
Priority to PCT/KR2023/000815 priority patent/WO2023158114A1/ko
Publication of KR20230126264A publication Critical patent/KR20230126264A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0697—Artificial constructs associating cells of different lineages, e.g. tissue equivalents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Genetics & Genomics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

본 개시는 세포 선별 장치 및 방법에 관한 것으로서, 특히 인공지능 모델을 이용하여 이미지로부터 성숙된 오가노이드를 선별할 수 있는 세포 선별 장치 및 방법을 제공할 수 있다. 구체적으로 인공지능 모델을 구축하고 검증함으로써, 오가노이드에 대한 이미지 정보만을 이용하여 균일한 효능을 보이는 성숙된 오가노이드를 보다 정확하게 선별할 수 있는 장치를 제공할 수 있다.

Description

세포 선별 장치 및 방법{APPARATUS AND METHOD FOR CELL SELECTION}
본 실시예들은 세포 선별 장치 및 방법을 제공한다.
인공 신경망을 이용한 이미지 분석 기술이 향상됨에 따라 의료 분야에서 영상 및 병리 조직 이미지에 접목하려는 시도가 다양하게 이루어지고 있다. 특히, 이미지에서 패턴을 인식하여 학습을 진행하고, 선별을 해내는 인공지능을 이용한 분석 방법이 영상의학을 비롯한 여러 의학 분야에 적용되기 시작하고 있다. 또한, 최근 '미니 장기', 오가노이드(organoid)가 주목 받고 있으며, 이러한 오가노이드는 다양하게 조절된 환경에서의 줄기세포 분화 과정 연구를 바탕으로 유전정보나 전사체, 단백질 분석법을 결합하여 조직의 발생과 항상성 유지, 질병에 대한 결정적인 부분을 밝히는데 이용될 수 있다. 또한, 오가노이드는 환자의 인체 줄기세포를 이용하여 제작되면, 환자 맞춤형 신약이나 치료법 개발에도 이용될 수 있다. 이에 따라, 폐, 기도 등 호흡기계 오가노이드는 3차원 배양 기술과 다양한 매트릭스를 소재로 생산하여 구조적으로 호흡기계 기관을 보다 정교하게 재현할 수 있고 생물공학적 오가노이드 생산 시스템을 이용하면 질병 연구, 독성 스크리닝, 신약 개발 등 다양한 이용 분야로 확대될 것으로 예상된다.
다만, 단순한 다양 세포 군집체로서의 3차원 세포 배양 오가노이드는 분화도가 상당히 낮아 성숙도를 높이는 과정에 어려움이 있다. 또한, 현재 대부분의 오가노이드는 혈관을 통한 영양 공급 대신 전적으로 배양 배지에 의존한 배양법이기 때문에 인위적인 성숙도 조절에도 어려움이 있다. 더욱이 오가노이드 간의 성숙도가 일관적이지 않아 실제 인체 조직과의 기능적 유사도가 저하될 수 있다는 문제점이 있다. 따라서, 오가노이드가 동물 모델을 대체하여 실용화되는 측면에 있어서 공정의 표준화와 신뢰성을 보이는 성숙된 오가노이드를 선별할 수 있는 기술을 필요로 하고 있다.
이에 따라, 오가노이드의 균일한 효능을 구현하기 위해 인공지능을 활용하여 이미지로부터 성숙된 오가노이드를 선별할 수 있는 세포 선별 기술을 필요로 하고 있다.
이러한 배경에서, 본 실시예들은 인공지능 모델을 이용하여 이미지로부터 성숙된 오가노이드를 선별할 수 있는 세포 선별 장치 및 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예는, 세포 선별 장치에 있어서, 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부, 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시키는 모델 학습부 및 오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 오가노이드 중에서 성숙된 오가노이드를 선별하는 선별부를 포함하는 것을 특징으로 하는 세포 선별 장치를 제공한다.
다른 측면에서, 본 실시예는 세포 선별 방법에 있어서, 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계, 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시키는 모델 학습 단계 및 오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 오가노이드 중에서 성숙된 오가노이드를 선별하는 선별 단계를 포함하는 것을 특징으로 하는 세포 선별 방법을 제공한다.
본 실시예들에 의하면, 인공지능 모델을 이용하여 이미지로부터 성숙된 오가노이드를 선별할 수 있는 세포 선별 장치 및 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 세포 선별 장치의 구성을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 오가노이드에 대한 이미지 정보에 관한 예시를 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 세포 선별 장치에서 학습 데이터 생성부의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 세포 선별 장치에서 복수의 학습 데이터를 생성하는 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 세포 선별 장치에서 모델 학습부의 동작을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 세포 선별 장치에서 인공지능 모델을 학습하는 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 세포 선별 장치에서 시각화 알고리즘을 이용하여 모델을 검증하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 세포 선별 방법의 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 세포 선별 장치의 블록도이다.
본 개시는 세포 선별 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 세포 선별 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 세포 선별 장치(110)는, 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부(210), 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시키는 모델 학습부(220) 및 오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 오가노이드 중에서 성숙된 오가노이드를 선별하는 선별부(230)를 포함하는 세포 선별 장치(110)를 제공한다. 또한, 일 실시예에 따른 세포 선별 장치(110)는 수집된 이미지 정보를 훈련 데이터 세트(train dataset)와 테스트 데이터 세트(test dataset)로 구분하여 검증을 수행하는 검증부(240)를 더 포함할 수 있다.
일 실시예에 따른 학습 데이터 생성부(210)는 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성할 수 있다. 오가노이드는 호흡기 유래의 1차 배양세포(Primary Cell) 또는 줄기세포(Stem Cell)로부터 3차원 세포 배양을 통해 제작된 오가노이드일 수 있다. 구체적으로, 오가노이드는 코 상피세포 또는 코줄기세포(human nasal turbinate stem cells, hNTSCs)로부터 3차원 세포 배양을 통해 제작된 호흡기도 오가노이드일 수 있다.
일 예로, 학습 데이터 생성부(210)는 수집된 이미지 정보 각각에 대해 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보로 분할(Cropping)할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 수집된 이미지 정보의 기존 사이즈 1920×1080으로부터 오가노이드만을 포함하도록 사각형 형태의 이미지 정보를 분할할 수 있다.
그리고, 학습 데이터 생성부(210)는 분할된 이미지 정보를 인공지능 모델에 적용 가능한 사이즈로 조절하고, 조절된 이미지 정보의 픽셀 값을 0에서 1 사이로 변경하여 정규화(normalization)를 수행할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 사각형 형태로 분할된 이미지 정보를 256×256 사이즈로 조절할 수 있다. 그리고, 학습 데이터 생성부(210)는 조절된 이미지 정보의 기존 픽셀 값 0에서 255 사이의 값을 0에서 1 사이로 변경하는 정규화를 수행할 수 있다
다른 일 예로, 학습 데이터 생성부(210)는 수집된 이미지 정보 각각에 대해 줌-아웃(zoom-out), 회전(rotation), 뒤집기(flip) 및 대비조정(contrast) 중 적어도 하나를 적용하여 복수의 학습 데이터를 생성할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 수집된 이미지 정보를 임의로 선택할 수 있고, 선택된 이미지 정보에 줌-아웃, 회전, 뒤집기 및 대비조정 중 적어도 하나를 적용하여 새로운 이미지 정보를 생성할 수 있다.
또 다른 일 예로, 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보를 바이오마커 별로 연계하여 복수의 학습 데이터를 생성할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 분화 관련 바이오마커들을 레퍼런스 값으로 라벨링(labeling)하여 복수의 학습 데이터를 생성할 수 있다. 구체적으로, 학습 데이터 생성부(210)는 바이오마커 별로 분류된 이미지 정보에 오가노이드의 성숙도와 관련된 pcr 수치를 라벨링하여 복수의 학습 데이터를 생성할 수 있다. 또는, 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보에 성숙도와 관련하여 전문가에 의해 직접 판단된 정보를 라벨링하여 복수의 학습 데이터를 생성할 수 있다. 라벨링되는 정보는 pcr 수치가 아닌 하나 이상의 다른 검사 방법에 의해 판단된 정보일 수도 있다. 이에 따라, 생성된 학습 데이터는 각각의 오가노이드에 대한 이미지 정보의 성숙 여부에 대한 라벨링 정보를 포함할 수 있다.
일 실시예에 따른 모델 학습부(220)는 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시킬 수 있다. 일 예로, 학습 데이터 생성부(210)는 VGG19, ResNet50, DenseNet121 및 EfficientNetB5 중 적어도 하나의 사전학습 모델을 할 수 있다. 그리고 학습 데이터 생성부(210)는 선택된 사전학습 모델을 기초로 미세조정(fine-tuning)을 수행하여 인공지능 모델을 학습시킬 수 있다. 이를 통해, 인공지능 모델은 적은 양의 오가노이드에 대한 이미지 정보에도 불구하고 강건하게 빠른 학습 속도로 학습을 수행할 수 있다.
일 실시예에 따른 선별부(230)는 오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 성숙된 오가노이드를 선별할 수 있다. 일 예로, 선별부(230)는 신규 이미지 정보를 학습이 완료된 인공지능 모델에 입력하여 성숙된 오가노이드에 대한 이미지 정보를 선별할 수 있다. 예를 들어, 선별부(230)는 이미지 정보로부터 패턴을 인식하여 학습이 완료된 인공지능 모델에 의해 특정 성숙도로 분화된 오가노이드를 선별할 수 있다.
일 실시예에 따른 검증부(240)는 수집된 이미지 정보를 구분하여 검증을 수행할 수 있다. 일 예로, 검증부(240)는 수집된 이미지 정보를 인공지능 모델의 훈련에 사용되는 훈련 데이터 세트(train dataset)와 훈련 데이터 세트를 통해 훈련된 인공지능 모델의 성능을 확인하기 위해 사용되는 테스트 데이터 세트(test dataset)로 구분하여 검증을 수행할 수 있다. 또한, 검증부(240)는 훈련 데이터 세트 중에서 미리 설정된 비율로 인공지능 모델을 검증하기 위해 사용되는 검증 데이터 세트(validation dataset)를 재구분할 수 있다. 검증부(240)는 검증 데이터 세트에 포함된 검증 데이터가 겹치지 않도록 검증 데이터 세트를 교차하여 검증을 수행할 수 있다.
도 2는 본 개시의 일 실시예에 따른 오가노이드에 대한 이미지 정보에 관한 예시를 도시한 도면이다.
도 2를 참조하면, 세포 선별 장치(110)가 학습 데이터로 사용하는 오가노이드에 대한 이미지 정보를 설명할 수 있다. 일 예로, 오가노이드(organoid)는 호흡기 유래의 1차 배양세포(Primary Cell) 또는 줄기세포(Stem Cell)로부터 3차원 세포 배양을 통해 특정 인체 조직을 형성하기 위해 제작된 것일 수 있다. 예를 들어, 호흡기 유래의 1차 배양세포는 인체의 호흡기 조직이나 기관으로부터 직접 일차 배양한 세포로서 직접 수득된 정상적인 세포일 수 있다. 여기서, 호흡기 조직은 하비갑개 조직일 수 있으나, 이에 한정되는 것은 아니다. 또한, 줄기세포는 배아 줄기세포(embryonic stem cells), 성체 줄기세포(adult stem cells) 및 유도 만능 줄기세포 (iPS cells)를 포함할 수 있다. 구체적으로, 오가노이드는 단순한 다양 세포 군집체로서의 3차원 세포 배양 오가노이드로, 코 상피세포 또는 코줄기세포(human nasal turbinate stem cells, hNTSCs)로부터 제작된 호흡기도 오가노이드일 수 있다. 그리고, 현재 대부분의 오가노이드는 혈관을 통한 영양 공급 대신 전적으로 배양 배지에 의존한 배양법이기 때문에 인위적인 성숙도 조절에 어려움이 있을 수 있다. 즉, 오가노이드 간의 성숙도가 일관적이지 않기 때문에 실제 인체 조직과의 기능적 유사도가 저하될 수 있다. 이에 따라, 세포 선별 장치(110)는 오가노이드 실용화 측면에서 공정의 표준화와 신뢰성을 보이는 성숙된 오가노이드를 선별하기 위한 인공지능 모델을 생성할 수 있다.
일 예로, 세포 선별 장치(110)는 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보(201)를 인공지능 모델을 이용하여 학습을 진행하고, 성숙된 오가노이드를 선별할 수 있다. 예를 들어, 오가노이드에 대한 이미지 정보(201)는 실제 오가노이드를 배양하면서 광학 현미경을 통해 촬영된 이미지 정보일 수 있다. 특히, 광학 현미경이 자동화된 시스템으로 구현되면, 오가노이드에 대한 이미지 정보는 촬영 부위와 시간에 따라 수천 장으로 촬영될 수 있다. 또한, 호흡기도 오가노이드는 사람 코 하비갑개 조직으로부터 분리된 상피세포를 60% matrigel 과 혼합한 후 배양된 것일 수 있다. 예를 들어, 호흡기도 오가노이드에 대한 이미지 정보는 광학현미경을 통해 촬영된 회전타원체(spheroid) 형태의 변화되는 단일 세포(single cell)에 대한 이미지 정보일 수 있다. 구체적으로, 호흡기도 오가노이드에 대한 이미지 정보는 단일 세포(single cell)로부터 Bronchospheres가 형성되고 14일쯤부터 일부에서 내강(lumen)이 형성되는 과정에서 촬영된 이미지 정보일 수 있다. 이에 따라, 세포 선별 장치(110)의 학습 데이터 생성부(210)는 이러한 오가노이드에 대한 이미지 정보(201)를 수집하고, 전처리를 수행하여 복수의 학습 데이터를 생성할 수 있다.
또한, 예를 들어, 세포 선별 장치(110)의 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보(201) 각각에 대해 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보(202)로 분할할 수 있다. 오가노이드에 대한 이미지 정보(201)는 광학현미경으로 촬영함에 따라 오가노이드 분화를 위한 plate나 오가노이드 외의 불순물과 같은 원하지 않는 이미지 영역도 이미지 정보에 포함될 수 있다. 이에 따라, 세포 선별 장치(110)의 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보(201)로부터 오가노이드만을 포함하는 사각형 형태의 이미지 정보(202)로 분할할 수 있다.
도 3은 본 개시의 일 실시예에 따른 세포 선별 장치에서 학습 데이터 생성부의 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 세포 선별 장치(110)의 학습 데이터 생성부(210)는 수집된 각각의 이미지 정보를 사각형 형태의 이미지 정보로 분할할 수 있다(S310). 일 예로, 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보를 이용하여 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보로 분할할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 오가노이드에 대한 이미지 정보의 기존 사이즈 920×1080으로부터 오가노이드만이 중심에 배치되도록 사각형 형태로 분할할 수 있다. 또한, 학습 데이터 생성부(210)는 초점 이탈로 품질이 낮거나 낮은 해상도의 이미지 정보는 배제할 수 있다.
일 실시예에 따른 세포 선별 장치(110)의 학습 데이터 생성부(210)는 분할된 이미지 정보를 인공지능 모델에 적용 가능한 사이즈로 조절할 수 있다(S320). 일 예로, 학습 데이터 생성부(210)는 분할된 이미지 정보를 임의로 지정된 사이즈로 변환하여 인공지능 모델의 입력 크기에 맞게 조절할 수 있다. 임의로 지정된 사이즈는 256×256으로 인공지능 모델에 적용 가능한 사이즈일 수 있다. 이를 통해, 인공지능 모델의 학습을 위한 시간과 메모리가 기하급수적으로 커지는 것을 방지할 수 있다.
일 실시예에 따른 세포 선별 장치(110)의 학습 데이터 생성부(210)는 사이즈가 조절된 이미지 정보의 픽셀 값을 변경하여 정규화할 수 있다(S330). 일 예로, 학습 데이터 생성부(210)는 사이즈가 조절된 이미지 정보의 픽셀 값을 0에서 1 사이로 변경하여 정규화를 수행할 수 있다. 예를 들어, 학습 데이터 생성부(210)는 이미지 정보의 기존 픽셀 값 0에서 255 사이의 값을 0에서 1 사이로 변경하는 정규화를 수행하여 학습 데이터의 범위를 제한할 수 있다. 구체적으로, 학습 데이터 생성부(210)는 기존 픽셀 값의 평균을 산출하고, 각 픽셀 값을 평균만큼 차감하고 표준 편차 값으로 나누어 정규화할 수 있다. 또는, 학습 데이터 생성부(210)는 각각의 픽셀 값으로부터 픽셀 값 중 최소값만큼 감소시킨 후, 픽셀 값 중 최대값과 최소값의 차로 나눈 값으로 산출하여 정규화할 수 있다. 이를 통해, 각 차원의 데이터가 동일한 범위 내의 값을 갖도록 제한함으로써 학습을 더 빨리하고 지역 최적의 상태에 빠지게 될 가능성을 줄일 수 있다.
일 실시예에 따른 세포 선별 장치(110)의 학습 데이터 생성부(210)는 수집된 이미지 정보에 기초하여 데이터 증강을 할 수 있다(S330). 일 예로, 학습 데이터 생성부(210)는 수집된 이미지 정보 각각에 대해 줌-아웃(zoom-out), 회전(rotation), 뒤집기(flip) 및 대비조정(contrast) 중 적어도 하나를 적용하여 복수의 학습 데이터를 생성할 수 있다. 데이터 증강(Data Augmentation)은 인공 지능 모델을 다양하고 많은 데이터를 사용하여 학습시키기 위해 기존에 수집한 이미지 정보로부터 다양한 방법을 통해 복수의 학습 데이터를 생성하는 기술일 수 있다. 예를 들어, 학습 데이터 생성부(210)는 수집된 이미지 정보에 포함된 오가노이드로부터 최대한 넓은 영역이 확보되도록 줌 아웃을 적용할 수 있다. 학습 데이터 생성부(210)는 수집된 이미지 정보를 시계 또는 반시계 방향으로 회전할 수 있다. 학습 데이터 생성부(210)는 수집된 이미지 정보를 수직 방향으로 뒤집거나 상하방향 및 좌우방향으로 뒤집을 수 있다. 또한, 학습 데이터 생성부(210)는 수집된 이미지 정보의 색상을 조정할 수 있다. 구체적으로, 학습 데이터 생성부(210)는 수집된 이미지 정보의 평균RGB 값을 추출된 색상을 기반으로 하거나 랜덤하게 색상을 조정할 수 있다. 이에 따라, 학습 데이터 생성부(210)는 줌-아웃, 회전, 뒤집기 및 대비조정 중 적어도 하나를 적용하여 데이터 수를 증가시키기 위해 오가노이드에 대한 이미지 정보를 증폭시킬 수 있다.
도 4는 본 개시의 일 실시예에 따른 세포 선별 장치에서 복수의 학습 데이터를 생성하는 예시를 도시한 도면이다.
도 4를 참조하면, 일 실시예에 따른 세포 선별 장치(110)가 인공지능 모델을 학습시키기 위해 생성하는 복수의 학습 데이터를 설명할 수 있다. 일 예로, 수집된 이미지 정보(410)는 인공지능 모델의 훈련에 사용되는 훈련 데이터 세트(420)와 훈련 데이터 세트를 통해 훈련된 인공지능 모델의 성능을 확인하기 위해 사용되는 테스트 데이터 세트(430)로 랜덤하게 구분될 수 있다. 그리고, 훈련 데이터 세트(420)는 다시 미리 설정된 비율로 인공지능 모델의 훈련에 사용되는 최종 훈련 데이터 세트(450)와 인공지능 모델을 검증하기 위해 사용되는 검증 데이터 세트(440)로 재구분될 수 있다. 여기서, 검증 데이터 세트(440)는 랜덤하게 선택될 수 있다.
이에 따라, 학습 데이터 생성부(210)는 수집된 이미지 정보(410) 중에서 테스트 데이터 세트(430)와 검증 데이터 세트(440)를 제외한 최종 훈련 데이터 세트(450)에 포함된 이미지 정보만을 데이터 증강하여 복수의 학습 데이터(460)를 생성할 수 있다. 또한, 제외된 검증 데이터 세트(440)는 인공지능 모델 구축 및 학습에 사용되지 않고, 검증부(240)에 의해 검증을 수행하기 위해 사용될 수 있다. 즉, 검증 데이터 세트(440)에 포함된 이미지 정보는 학습에 사용되지 않은 신규 이미지 정보로 인공지능 모델의 검증에 적합할 수 있다.
일 예로, 검증부(240)는 수집된 이미지 정보(410)를 훈련 데이터 세트(420)와 테스트 데이터 세트(430)로 구분하여 교차 검증을 수행할 수 있다. 예를 들어, 검증부(240)는 수집된 이미지 정보(410)는 80%를 훈련 데이터 세트(420), 20%를 테스트 데이터 세트(430)로 사용하여 5-fold 교차 검증을 수행할 수 있다. 이에 따라, 사실상 모든 이미지 정보가 훈련 데이터 세트(420)로 사용되어 최종 평균값을 성능으로 산출함으로써 이미지 정보의 적은 개수로 인한 어려운 검증을 극복할 수 있다. 추가로, 검증부(240)는 80%의 훈련 데이터 세트(420) 중 90%만 최종 훈련 데이터 세트(450)로 사용하고, 나머지 10%는 검증 데이터 세트(440)로 사용할 수 있다. 다만, 5-fold 교차 검증은 일 예를 설명한 것으로, 이에 한정되지 않는다. 구체적으로, 5-fold 교차 검증을 수행하는 경우, 검증부(240)가 훈련 데이터 세트(420), 테스트 데이터 세트(430) 및 검증 데이터 세트(440)를 5번 변경함에 따라 동일한 사전학습 모델을 기초로 인공지능 모델의 예측값을 5개 출력할 수 있다. 그리고, 5개의 예측값을 평균한 값이 하나의 사전학습 모델에 기초하여 생성된 인공지능 모델의 최종 성능으로 사용될 수 있다.
도 5는 본 개시의 일 실시예에 따른 세포 선별 장치에서 모델 학습부의 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 세포 선별 장치의 모델 학습부(220)는 적어도 하나의 사전학습 모델을 선택할 수 있다(S510). 일 예로, 모델 학습부(220)는 VGG19, ResNet50, DenseNet121 및 EfficientNetB5 중 적어도 하나의 사전학습 모델을 선택할 수 있다. 여기서, 사전학습 모델은 이미지 정보의 특징을 추출하고 추출된 특징을 기반으로 이미지를 인식하는 합성곱 신경망(Convolutional Neural Network, CNN)기반의 딥러닝 모델일 수 있다. 사전학습 모델은 VGG19, ResNet50, DenseNet121 또는 EfficientNetB5 등의 일반적인 합성곱 신경망의 구조로 이루어진 모델일 수 있다. 다만, 사전학습 모델은 충분히 많은 양과 좋은 품질의 이미지 정보로 학습된 모델이면, 이에 한정되는 것은 아니다.
일 실시예에 따른 세포 선별 장치의 모델 학습부(220)는 사전학습 모델을 기초로 전이 학습을 수행할 수 있다(S520). 일 예로, 모델 학습부(220)는 선택된 사전학습 모델을 사용하여 오가노이드에 대한 이미지 정보로부터 성숙된 오가노이드를 선별하기 위해서 전이 학습을 수행할 수 있다. 예를 들어, 모델 학습부(220)는 학습이 완료된 사전학습 모델의 가중치를 기초로 미세조정을 수행하여 모델을 재학습시킬 수 있다. 여기서, 미세조정은 사전에 다양한 이미지를 포함하는 대규모 데이터 세트(ex, 이미지넷)로 학습된 사전학습 모델로 가중치를 초기화하고, 소규모 데이터 세트로 해당 가중치를 조금 조정하는 기법일 수 있다. 다만, 미세조정은 전이 학습 기법의 일 예로, 이에 한정되는 것은 아니다.
일 실시예에 따른 세포 선별 장치의 모델 학습부(220)는 전이 학습을 통해 인공지능 모델을 생성할 수 있다(S530). 일 예로, 모델 학습부(220)는 사전학습 모델을 기초로 오가노이드에 대한 이미지 정보를 입력으로 하여 성숙된 오가노이드의 선별 결과를 출력으로 하는 인공지능 모델을 생성할 수 있다. 예를 들어, 생성된 인공지능 모델은 오가노이드에 대한 이미지 정보로부터 성숙된 오가노이드를 선별하기 위해서 사전학습 모델로부터 전이 학습을 통해 생성된 기계학습 모델일 수 있다.
일 실시예에 따른 세포 선별 장치의 선별부(230)는 학습이 완료된 인공지능 모델을 이용하여 오가노이드를 선별할 수 있다(S540). 일 예로, 선별부(230)는 학습이 완료된 인공지능 모델을 이용하여 오가노이드에 대한 이미지 정보 중에서 성숙된 오가노이드를 포함하는 이미지 정보를 선별할 수 있다. 여기서, 성숙된 오가노이드는 성숙도에 따라 기능적 차이가 발생됨에 따라 분화 결과와 기능을 비교하여 균일한 효능을 보이는 것으로 판단되는 오가노이드일 수 있다. 즉, 성숙된 오가노이드는 인체와 유사한 기능을 재현할 수 있을 정도의 특정 성숙도로 분화된 오가노이드일 수 있다. 예를 들어, 선별부(230)는 학습이 완료된 인공지능 모델을 이용하여 호흡기도 오가노이드에 대한 이미지 정보로부터 오가노이드의 분화도를 예측하여 성숙된 오가노이드를 선별할 수 있다. 또한, 선별부(230)는 이미지 정보로부터 학습이 완료된 인공지능 모델을 이용하여 각각의 바이오 마커(ex, MUC5AC, Foxj1, P63, E-cadherin 등)의 real-time PCR expression을 예측하여 성숙된 오가노이드를 선별할 수 있다.
도 6은 본 개시의 일 실시예에 따른 세포 선별 장치에서 인공지능 모델을 학습하는 예시를 도시한 도면이다.
도 6를 참조하면, 본 개시의 일 실시예에 따른 세포 선별 장치(110)의 모델 학습부(220)가 복수의 학습 데이터를 입력으로 하여 성숙된 오가노이드의 선별 결과를 출력으로 하는 인공지능 모델을 생성할 수 있다. 일 예로, 모델 학습부(220)는 미리 학습된 사전학습 모델(610)에 오가노이드에 대한 이미지 정보를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결하여 오가노이드를 선별하는 인공지능 모델(620)을 생성할 수 있다. 사전학습 모델은 VGG19, ResNet50, DenseNet121 또는 EfficientNetB5 등의 일반적인 합성곱 신경망의 구조로 이루어진 딥러닝 모델로, 콘볼루션층(convolutional layer)과 통합층(pooling layer), 완전 연결층(fully connected layer)으로 구성될 수 있다. 완전 연결층은 덴스 레이어(Dense Layer)라고도 하며, 입력과 출력을 모두 연결해주며 입력과 출력을 각각 연결해주는 가중치를 포함할 수 있다. 따라서, 콘볼루션층과 통합층은 이미지 정보의 특징을 추출하고, 완전 연결층은 이미지 정보를 클래스로 분류할 수 있다. 예를 들어, 모델 학습부(220)는 사전학습 모델(610)에 포함된 완전 연결층을 새로운 완전 연결층으로 교체하여 오가노이드에 대한 이미지 정보로부터 특정 성숙도로 분화된 오가노이드를 정확하게 선별하는 인공지능 모델(620)을 생성할 수 있다. 새로운 완전 연결층은 바이오마커 별로 구분되어 바이오마커에 따라 출력 노드가 결정될 수 있다.
도 7은 본 개시의 일 실시예에 따른 세포 선별 장치에서 시각화 알고리즘을 이용하여 모델을 검증하는 예시를 도시한 도면이다.
도 7을 참조하면, 본 개시의 일 실시 예에 따른 세포 선별 장치의 검증부(240)는 복수의 시각화 알고리즘 중 적어도 하나의 알고리즘을 이용하여 오가노이드 선별 결과에 중요한 영향을 미친 부분을 표시할 수 있다. 이로 인해, 인공지능 모델의 신뢰성을 향상시킬 수 있다. 예를 들어, 검증부(240)는 시각화 알고리즘을 적용하여 인공지능 모델의 선별 결과를 표시함으로써, 각각의 바이오 마커가 적합하게 예측되는지를 추가 검증할 수 있다. 여기서, 바이오 마커는 MUC5AC, Foxj1, P63, E-cadherin가 사용될 수 있으나, 바이오 마커가 이에 한정되는 것은 아니다. 구체적으로, MUC5AC는 기도상피세포 내지 점액분비세포에서 발현되는 점액 분비와 관련된 바이오마커일 수 있다. Foxj1는 ciliogenic transcription factor. airway의 섬모형성에 중요한 역할을 하는 바이오마커일 수 있다. P63는 다양한 상피 조직의 줄기세포와 전구세포에 존재하는 기저 세포의 바이오마커일 수 있다. 또한, E-cadherin는 세포 경계연에서 상피세포 구조 유지를 위한 바이오마커일 수 있다.
또한, 예를 들어, 검증부(240)는 그라디언트(Gradient)정보를 사용하여 인공지능 모델을 시각화해주는 Grad-CAM(gradient-weighted class activation mapping)을 이용해서 공간적 중요도를 분석할 수 있다. 구체적으로 검증부(240)는 Grad-CAM 알고리즘을 이용하여 역전파(Backpropagation)를 통한 그라디언트(Gradient)정보를 산출할 수 있고, 최종 레이어로 가는 그라디언트 정보를 이용하여 이미지에서 중요한 영역을 표시한 위치 맵(localization map)을 획득할 수 있다. 여기서 위치 맵은 최종 레이어에서 나온 특징 맵과 그라디언트의 가중 값을 선형 결합 시킨 후 비선형 함수 ReLU로 획득할 수 있다. 이에 따라, 검증부(240)는 최종 레이어의 특징 맵을 이용하여 이미지 상의 분류 결과에 중요한 영향을 미친 부분을 표시할 수 있다. 검증부(240)는 각 픽셀들의 계산된 기여도에 따라 색깔을 표시해둠으로써 예측 결과에 중요한 영향을 미친 부분을 판단할 수 있다.
다른 예를 들어, 검증부(240)는 적어도 하나의 사전학습 모델에 기초하여 생성된 인공지능 모델의 오가노이드 선별 결과를 평가할 수 있다. 구체적으로, 검증부(240)는 각각의 바이오 마커에 대해 학습을 진행했던 각 인공지능 모델의 정량적인 결과로 오가노이드 선별 결과를 평가할 수 있다. 인공지능 모델의 호흡기도 오가노이드 선별 결과는 표 1 과 같이 평가될 수 있다.
Figure pat00001
이하에서는 도 1 내지 도 7을 참조하여 설명한 세포 선별 장치가 수행할 수 있는 세포 선별 방법에 대해서 설명한다.
도 8은 본 개시의 다른 실시예에 따른 세포 선별 방법의 흐름도이다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 세포 선별 방법은 오가노이드에 대한 이미지 정보를 수집하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계를 포함할 수 있다(S810). 일 예로, 세포 선별 장치는 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성할 수 있다. 오가노이드는 코 상피세포 또는 코줄기세포(human nasal turbinate stem cells, hNTSCs)로부터 3차원 세포 배양을 통해 제작된 오가노이드일 수 있다. 구체적으로, 오가노이드는 코 상피세포 또는 코줄기세포(human nasal turbinate stem cells, hNTSCs)로부터 3차원 세포 배양을 통해 제작된 호흡기도 오가노이드일 수 있다.
예를 들어, 세포 선별 장치는 수집된 이미지 정보 각각에 대해 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보로 분할(Cropping)할 수 있다.
다른 예를 들어, 세포 선별 장치는 분할된 이미지 정보를 인공지능 모델에 적용 가능한 사이즈로 조절하고, 조절된 이미지 정보의 픽셀 값을 0에서 1 사이로 변경하여 정규화(normalization)를 수행할 수 있다. 그리고, 세포 선별 장치는 수집된 이미지 정보 각각에 대해 줌-아웃(zoom-out), 회전(rotation), 뒤집기(flip) 및 대비조정(contrast) 중 적어도 하나를 적용하여 복수의 학습 데이터를 생성할 수 있다.
일 실시예에 따른 세포 선별 방법은 사전학습 모델에 기초하여 인공지능 모델을 학습시키는 모델 학습 단계를 포함할 수 있다(S820). 일 예로, 세포 선별 장치는 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시킬 수 있다. 예를 들어, 세포 선별 장치는 VGG19, ResNet50, DenseNet121 및 EfficientNetB5 중 적어도 하나의 사전학습 모델을 할 수 있다. 그리고 세포 선별 장치는 선택된 사전학습 모델을 기초로 미세조정(fine-tuning)을 수행하여 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따른 세포 선별 방법은 인공지능 모델에 기초하여 성숙된 오가노이드를 선별하는 선별 단계를 포함할 수 있다(S830). 일 예로, 세포 선별 장치는 오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 성숙된 오가노이드를 선별할 수 있다. 예를 들어, 세포 선별 장치는 신규 이미지 정보를 학습이 완료된 인공지능 모델에 입력하여 성숙된 오가노이드에 대한 이미지 정보를 선별할 수 있다.
일 실시예에 따른 세포 선별 방법은 검증을 수행하는 검증 단계를 포함할 수 있다(S840). 일 예로, 세포 선별 장치는 수집된 이미지 정보를 인공지능 모델의 훈련에 사용되는 훈련 데이터 세트(train dataset)와 훈련 데이터 세트를 통해 훈련된 인공지능 모델의 성능을 확인하기 위해 사용되는 테스트 데이터 세트(test dataset)로 구분하여 검증을 수행할 수 있다. 예를 들어, 세포 선별 장치는 훈련 데이터 세트 중에서 미리 설정된 비율로 인공지능 모델을 검증하기 위해 사용되는 검증 데이터 세트(validation dataset)를 재구분할 수 있다. 그리고, 세포 선별 장치는 검증 데이터 세트에 포함된 검증 데이터가 겹치지 않도록 검증 데이터 세트를 교차하여 검증을 수행할 수 있다.
도 9는 일 실시예에 따른 세포 선별 장치의 블록도이다.
도 9를 참조하면, 일 실시예에 따른 세포 선별 장치(110)는 통신 인터페이스(910) 및 프로세서(920)를 포함한다. 세포 선별 장치(110)는 메모리(930)를 더 포함할 수 있다. 각 구성 요소, 통신 인터페이스(910), 프로세서(920) 및 메모리(930)는 통신 버스를 통해 서로 연결될 수 있다. 예를 들면, 통신 버스는 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
통신 인터페이스(910)는 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 획득할 수 있다. 또한, 통신 인터페이스(1110)는 무선 통신 또는 유선 통신을 통해서 외부 장치의 통신을 수행할 수 있다.
프로세서(920)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(920)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), NPU(Neural Processing Unit), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
또한, 프로세서(920)는 프로그램을 실행하고, 세포 선별 장치(110)를 제어할 수 있다. 프로세서(920)에 의하여 실행되는 프로그램 코드는 메모리(930)에 저장될 수 있다.
본 개시의 실시예에 따른 신경망을 포함하는 사전학습 모델 및 인공지능 모델에 관한 정보는 프로세서(920) 내부 메모리에 저장되거나, 외부 메모리, 즉 메모리(930)에 저장될 수 있다. 예를 들어, 메모리(930)는 통신 인터페이스(910)를 통해 획득한 오가노이드에 대한 이미지 정보를 저장할 수 있다. 메모리(930)는 신경망을 포함하는 인공 지능 모델을 저장할 수 있다. 또한, 메모리(930)는 프로세서(920)의 처리 과정에서 생성되는 다양한 정보 및 프로세서(920)에 의해 추출된 출력 정보들을 저장할 수 있다. 출력 정보는 인공지능 모델의 연산 결과 또는 인공지능 모델의 테스트 결과일 수 있다. 메모리(930)는 인공지능 모델의 학습 결과를 저장할 수 있다. 인공지능 모델의 학습 결과는, 세포 선별 장치(110)에서 획득한 것일 수도 있고, 외부 장치로부터 획득한 것일 수도 있다. 인공지능 모델의 학습 결과는, 가중치 및 바이어스 값을 포함할 수 있다. 이밖에도, 메모리(930)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(930)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(930)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종데이터를 저장할 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부;
    상기 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시키는 모델 학습부; 및
    오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 성숙된 오가노이드를 선별하는 선별부를 포함하는 것을 특징으로 하는 세포 선별 장치.
  2. 제 1 항에 있어서,
    상기 오가노이드는,
    호흡기 유래의 1차 배양세포(Primary Cell) 또는 줄기세포(Stem Cell)로부터 3차원 세포 배양을 통해 제작된 오가노이드인 것을 특징으로 하는 세포 선별 장치.
  3. 제 1 항에 있어서,
    상기 학습 데이터 생성부는,
    상기 수집된 이미지 정보 각각에 대해 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보로 분할(Cropping)하는 것을 특징으로 하는 세포 선별 장치.
  4. 제 3 항에 있어서,
    상기 학습 데이터 생성부는,
    분할된 이미지 정보를 상기 인공지능 모델에 적용 가능한 사이즈로 조절하고, 조절된 이미지 정보의 픽셀 값을 0에서 1 사이로 변경하여 정규화를 수행하는 것을 특징으로 하는 세포 선별 장치.
  5. 제 1 항에 있어서,
    상기 학습 데이터 생성부는,
    상기 수집된 이미지 정보 각각에 대해 줌-아웃(zoom-out), 회전(rotation), 뒤집기(flip) 및 대비조정(contrast) 중 적어도 하나를 적용하여 복수의 학습 데이터를 생성하는 세포 선별 장치.
  6. 제 1 항에 있어서,
    상기 모델 학습부는,
    VGG19, ResNet50, DenseNet121 및 EfficientNetB5 중 적어도 하나의 사전학습 모델을 선택하고, 선택된 사전학습 모델을 기초로 미세조정(fine-tuning)을 수행하여 상기 인공지능 모델을 학습시키는 것을 특징으로 하는 세포 선별 장치.
  7. 제 1 항에 있어서,
    상기 수집된 이미지 정보를 상기 인공지능 모델의 훈련에 사용되는 훈련 데이터 세트(train dataset)와 상기 훈련 데이터 세트를 통해 훈련된 상기 인공지능 모델의 성능을 확인하기 위해 사용되는 테스트 데이터 세트(test dataset)로 구분하여 검증을 수행하는 검증부를 더 포함하는 것을 특징으로 하는 세포 선별 장치.
  8. 제 7 항에 있어서,
    상기 검증부는,
    상기 훈련 데이터 세트 중에서 미리 설정된 비율로 상기 인공지능 모델을 검증하기 위해 사용되는 검증 데이터 세트(validation dataset)를 재구분하며, 상기 검증 데이터 세트에 포함된 검증 데이터가 겹치지 않도록 상기 검증 데이터 세트를 교차하여 검증을 수행하는 것을 특징으로 하는 세포 선별 장치.
  9. 광학 현미경을 통해 촬영된 오가노이드에 대한 이미지 정보를 수집하고, 수집된 이미지 정보를 기초로 전처리를 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계;
    상기 복수의 학습 데이터를 적어도 하나의 사전학습 모델(Pre-trained Model)에 입력하고 전이 학습(Transfer Learning)을 수행하여 인공지능 모델을 학습시키는 모델 학습 단계; 및
    오가노이드에 대한 이미지 정보를 학습된 인공지능 모델에 입력하여, 성숙된 오가노이드를 선별하는 선별 단계;를 포함하는 것을 특징으로 하는 세포 선별 방법.
  10. 제 9 항에 있어서,
    상기 오가노이드는,
    호흡기 유래의 1차 배양세포(Primary Cell) 또는 줄기세포(Stem Cell)로부터 3차원 세포 배양을 통해 제작된 오가노이드인 것을 특징으로 하는 세포 선별 방법.
  11. 제 9 항에 있어서,
    상기 학습 데이터 생성 단계는,
    상기 수집된 이미지 정보 각각에 대해 오가노이드가 포함되지 않은 이미지 영역을 제외하고 오가노이드만을 중심으로 하는 사각형 형태의 이미지 정보로 분할(Cropping)하는 것을 특징으로 하는 세포 선별 방법.
  12. 제 11 항에 있어서,
    상기 학습 데이터 생성 단계는,
    분할된 이미지 정보를 상기 인공지능 모델에 적용 가능한 사이즈로 조절하고, 조절된 이미지 정보의 픽셀 값을 0 에서 1 사이로 변경하여 정규화를 수행하는 것을 특징으로 하는 세포 선별 방법.
  13. 제 9 항에 있어서,
    상기 학습 데이터 생성 단계는,
    상기 수집된 이미지 정보 각각에 대해 줌-아웃(zoom-out), 회전(rotation), 뒤집기(flip) 및 대비조정(contrast) 중 적어도 하나를 적용하여 복수의 학습 데이터를 생성하는 세포 선별 방법.
  14. 제 9 항에 있어서,
    상기 모델 학습 단계는,
    VGG19, ResNet50, DenseNet121 및 EfficientNetB5중 적어도 하나의 사전학습 모델을 선택하고, 선택된 사전학습 모델을 기초로 미세조정(fine-tuning)을 수행하여 상기 인공지능 모델을 학습시키는 것을 특징으로 하는 세포 선별 방법.
  15. 제 9 항에 있어서,
    상기 수집된 이미지 정보를 상기 인공지능 모델의 훈련에 사용되는 훈련 데이터 세트(train dataset)와 상기 훈련 데이터 세트를 통해 훈련된 상기 인공지능 모델의 성능을 확인하기 위해 사용되는 테스트 데이터 세트(test dataset)로 구분하여 검증을 수행하는 검증 단계를 더 포함하는 것을 특징으로 하는 세포 선별 방법.
  16. 제 15 항에 있어서,
    상기 검증 단계는,
    상기 훈련 데이터 세트 중에서 미리 설정된 비율로 상기 인공지능 모델을 검증하기 위해 사용되는 검증 데이터 세트(validation dataset)를 재구분하며, 상기 검증 데이터 세트에 포함된 검증 데이터가 겹치지 않도록 상기 검증 데이터 세트를 교차하여 검증을 수행하는 것을 특징으로 하는 세포 선별 방법.
KR1020220022545A 2022-02-21 2022-02-21 오가노이드 선별 장치 및 방법 KR20230126264A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220022545A KR20230126264A (ko) 2022-02-21 2022-02-21 오가노이드 선별 장치 및 방법
PCT/KR2023/000815 WO2023158114A1 (ko) 2022-02-21 2023-01-17 오가노이드 선별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220022545A KR20230126264A (ko) 2022-02-21 2022-02-21 오가노이드 선별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230126264A true KR20230126264A (ko) 2023-08-30

Family

ID=87578823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022545A KR20230126264A (ko) 2022-02-21 2022-02-21 오가노이드 선별 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230126264A (ko)
WO (1) WO2023158114A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169432A1 (en) * 2018-03-07 2019-09-12 Verdict Holdings Pty Ltd Methods for identifying biological material by microscopy
EP3768822A4 (en) * 2018-03-22 2021-12-01 Dong Ha Bhang METHOD AND SYSTEM FOR 3D CELL CULTURE AND USE THEREOF
US11506683B2 (en) * 2018-11-07 2022-11-22 Trustees Of Tufts College Atomic-force microscopy for identification of surfaces
JP2022538866A (ja) * 2019-06-25 2022-09-06 オウキン インコーポレイテッド 画像前処理のためのシステム及び方法

Also Published As

Publication number Publication date
WO2023158114A1 (ko) 2023-08-24

Similar Documents

Publication Publication Date Title
CN108376558B (zh) 一种多模态核磁共振影像病历报告自动生成方法
CN105574859B (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
WO2021115084A1 (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN111127390B (zh) 基于迁移学习的x射线影像处理方法及系统
CN111477337B (zh) 基于个体自适应传播网络的传染病预警方法、系统及介质
Zhang et al. Triplet attention and dual-pool contrastive learning for clinic-driven multi-label medical image classification
Gunasinghe et al. Early prediction of lung diseases
CN116402838B (zh) 一种用于颅内出血的半监督图像分割方法及系统
CN117034142B (zh) 一种不平衡医疗数据缺失值填充方法及系统
CN115100467A (zh) 一种基于核注意力网络的病理全切片图像分类方法
CN110598724B (zh) 一种基于卷积神经网络的细胞低分辨率图像融合方法
CN115661066A (zh) 基于分割和分类相融合的糖尿病性视网膜病变检测方法
Zhang et al. Hybrid deep feature fusion of 2D CNN and 3D CNN for vestibule segmentation from CT images
Zakeri et al. A probabilistic deep motion model for unsupervised cardiac shape anomaly assessment
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法
KR20230126264A (ko) 오가노이드 선별 장치 및 방법
Van Leeuwen et al. CNN-Based Phoneme Classifier from Vocal Tract MRI Learns Embedding Consistent with Articulatory Topology.
Cai et al. Symmetric Consistency with Cross-Domain Mixup for Cross-Modality Cardiac Segmentation
Luo et al. Measurement Guidance in Diffusion Models: Insight from Medical Image Synthesis
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质
Torrents-Barrena et al. Fetal MRI synthesis via balanced auto-encoder based generative adversarial networks
Gu et al. Retinal vessel segmentation via adversarial learning and iterative refinement
Wang et al. Application value of a deep learning method based on a 3D V-Net convolutional neural network in the recognition and segmentation of the auditory ossicles