KR102423304B1 - Integrated system of electro-stimulation for optimal differentiation of stem cells - Google Patents

Integrated system of electro-stimulation for optimal differentiation of stem cells Download PDF

Info

Publication number
KR102423304B1
KR102423304B1 KR1020200073433A KR20200073433A KR102423304B1 KR 102423304 B1 KR102423304 B1 KR 102423304B1 KR 1020200073433 A KR1020200073433 A KR 1020200073433A KR 20200073433 A KR20200073433 A KR 20200073433A KR 102423304 B1 KR102423304 B1 KR 102423304B1
Authority
KR
South Korea
Prior art keywords
value
neural network
electrical stimulation
photographed image
network unit
Prior art date
Application number
KR1020200073433A
Other languages
Korean (ko)
Other versions
KR20210155927A (en
Inventor
이지현
이윤희
현방훈
우인옥
조수동
구나연
이세아
Original Assignee
한양디지텍 주식회사
대한민국(농림축산식품부 농림축산검역본부장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양디지텍 주식회사, 대한민국(농림축산식품부 농림축산검역본부장) filed Critical 한양디지텍 주식회사
Priority to KR1020200073433A priority Critical patent/KR102423304B1/en
Publication of KR20210155927A publication Critical patent/KR20210155927A/en
Application granted granted Critical
Publication of KR102423304B1 publication Critical patent/KR102423304B1/en

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M35/00Means for application of stress for stimulating the growth of microorganisms or the generation of fermentation or metabolic products; Means for electroporation or cell fusion
    • C12M35/02Electrical or electromagnetic means, e.g. for electroporation or for cell fusion
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M43/00Combinations of bioreactors or fermenters with other apparatus
    • C12M43/08Bioreactors or fermenters combined with devices or plants for production of electricity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Biotechnology (AREA)
  • General Health & Medical Sciences (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Cell Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)

Abstract

배양기에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하도록 되어 있는 구동전류 제어부, 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 추정부에 제공하도록 되어 있는 촬영장치, 및 신경망부를 포함하며 상기 복수 개의 촬영이미지들 각각을 상기 신경망부의 입력층에 입력하여 상기 신경망부로부터 일련의 출력값들을 출력하도록 되어 있는 추정부를 포함하는 전기자극 제어시스템을 공개한다. 상기 일련의 출력값들의 시간에 따른 히스토리를 기초로 상기 전기자극의 제공을 종료시점을 결정하도록 되어 있다.A driving current control unit configured to provide electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator, and a photographing device configured to provide a plurality of photographed images obtained by photographing the stem cell culture medium at a predetermined time interval to the estimator , and a neural network unit, each of the plurality of photographed images being input to an input layer of the neural network unit, and an estimating unit configured to output a series of output values from the neural network unit is disclosed. and to determine an end time of the provision of the electrical stimulation based on a history of the series of output values over time.

Description

줄기세포의 최적 분화를 위한 전기 자극 일체형 시스템{Integrated system of electro-stimulation for optimal differentiation of stem cells}Integrated system of electro-stimulation for optimal differentiation of stem cells

본 발명은 유전자 조작이나 생화학적 인자 없이 미세 전기자극 시스템을 이용하여 세포분화 또는 기능활성을 유도하는 기술에 관한 것이다. 특히, 줄기세포의 최적 분화를 위한 전기자극 자동 스케쥴링 기술에 관한 것이다. The present invention relates to a technology for inducing cell differentiation or functional activity using a microelectric stimulation system without genetic manipulation or biochemical factors. In particular, it relates to an automatic scheduling technology for electrical stimulation for optimal differentiation of stem cells.

최근 전기 자극을 이용한 세포 분화 및 리프로그래밍 유도에 대한 많은 연구들이 추진되고 있다. 전기 자극은 세포의 증식 및 이동 등에 특별한 역할을 하고 세포, 조직, 동물 등을 이용한 연구에서 조직재생을 촉진한다는 결과들이 보고되었으며, 세포사멸 신호를 변화시킬 수 있고 면역세포의 이동을 조절할 수 있는 것으로 알려져 있다. 현재 반려동물, 레져동물 및 산업동물에서 전기 자극을 이용한 특정 세포로의 분화기술 확립 및 해당 기술을 이용한 질환 적용은 연구된 바는 알려지지 않았다.Recently, many studies have been conducted on the induction of cell differentiation and reprogramming using electrical stimulation. It has been reported that electrical stimulation plays a special role in cell proliferation and migration and promotes tissue regeneration in studies using cells, tissues, and animals. is known Currently, the establishment of differentiation technology into specific cells using electrical stimulation in companion animals, leisure animals and industrial animals and the application of diseases using the technology are not known.

종래의 특정 성장인자의 처리법의 대체방법으로 줄기세포를 신경세포, 연골세포, 골원성세포 등 특정 기능을 담당하는 세포로 분화를 유도하는 많은 연구가 진행되어 왔다. 이와 관련하여, 인간 중간엽 줄기세포에 대하여 전기자극을 가하여 심근 특이적 표지인자를 발현하는 가로무늬근 세포(striated muscle cell)로의 분화를 유도할 수 있다고 보고된 바가 있다. 또한, 실크-피브로인 필름 위에 파종된 인간 중간엽 줄기세포에 전기자극을 가하여 골원성 분화(osteogenic differentiation)에 성공하였다고 보고된 바가 있다. 더 나아가 전기자극은 줄기세포를 특정 세포 유형으로 분화시키는 것 외에도 이미 분화된 특정 세포를 다른 유형의 세포로 교차분화하는 데에도 사용이 가능한 것으로 알려지고 있다. 이와 관련하여 마찰대전 나노발전기를 이용하여 피부유래 섬유아세포를 신경세포로 교차분화시킬 수 있음이 보고된 바 있다. 또한, 대한민국 등록특허 제1653197호에는 섬유아세포에 전기자극을 가하여 연골세포로 교차분화하는 방법이 공개되어 있다. As an alternative to the conventional treatment of specific growth factors, many studies have been conducted to induce differentiation of stem cells into cells responsible for specific functions, such as neurons, chondrocytes, and osteogenic cells. In this regard, it has been reported that by applying electrical stimulation to human mesenchymal stem cells, differentiation into striated muscle cells expressing myocardial specific markers can be induced. In addition, it has been reported that the human mesenchymal stem cells seeded on the silk-fibroin film succeeded in osteogenic differentiation by applying electrical stimulation. Furthermore, it is known that electrical stimulation can be used not only to differentiate stem cells into specific cell types, but also to cross-differentiate already differentiated specific cells into other types of cells. In this regard, it has been reported that skin-derived fibroblasts can be cross-differentiated into nerve cells using a triboelectric nanogenerator. In addition, Korean Patent Registration No. 1653197 discloses a method of cross-differentiation into chondrocytes by applying electrical stimulation to fibroblasts.

그러나, 상기 선행기술들은 특정 전기자극을 줄기세포 또는 섬유아세포에 인가하여 특정 세포로 분화하는 방법에 대하여만 개시하고 있을 뿐, 분화를 더욱 효율적으로 유도하기 위한 전기자극 스케쥴링의 최적화에 대해서는 제시하지 않고 있다. 특히, 전기자극에 의해 줄기세포로부터 분화된 어떤 세포의 연골세포 성질(chondrogenic markers)을 향상시키는 최적의 방법을 제시하고 있지 않다.However, the prior art discloses only a method of differentiating into a specific cell by applying a specific electrical stimulation to stem cells or fibroblasts, and does not suggest optimization of electrical stimulation scheduling to more efficiently induce differentiation. have. In particular, it does not suggest an optimal method for improving the chondrogenic markers of any cell differentiated from stem cells by electrical stimulation.

본 발명의 발명자가 관찰한 바에 따르면, 줄기세포 배양액에 전기자극을 지속적으로 가하면 줄기세포로부터 변화된 연골세포의 양이 증가하다가 다시 감소한다. 이와 같은 방식으로 연골세포를 대량으로 분화하기 위해서는 전기자극의 지속시간에 따라 분화되는 연골세포의 양이 최대가 되는 제1시점을 결정하여, 상기 제1시점 이후에는 전기자극을 중지하고, 분화된 연골세포를 수확할 필요가 있다. 만일 전기자극을 지속하는 동안 형성되는 연골세포의 양이 일정 시간 동안 최대값을 유지한다면, 상기 최대값에 도달한 최초의 시점에 전기자극을 중지하여 연골세포로의 분화 과정을 최적화할 수 있다.According to the observation by the inventors of the present invention, when electrical stimulation is continuously applied to the stem cell culture medium, the amount of chondrocytes changed from the stem cells increases and then decreases again. In order to mass-differentiate chondrocytes in this way, the first time point at which the amount of differentiated chondrocytes is maximized is determined according to the duration of the electrical stimulation, and after the first time point, the electrical stimulation is stopped, and the differentiated It is necessary to harvest chondrocytes. If the amount of chondrocytes formed during electrical stimulation maintains a maximum value for a certain period of time, the electrical stimulation is stopped at the first time point when the maximum value is reached to optimize the differentiation process into chondrocytes.

본 발명은 상술한 문제점을 해결할 수 있도록 줄기세포로부터 연골세포를 분화하기 위하여 줄기세포 배양액에 가하는 전기자극의 종료시점을 결정하는 기술을 제공하고자 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.An object of the present invention is to provide a technique for determining the end point of electrical stimulation applied to a stem cell culture medium in order to differentiate chondrocytes from stem cells so as to solve the above problems. However, these problems are exemplary, and the scope of the present invention is not limited thereto.

본 발명이 일 관점에 따라, 배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하도록 되어 있는 구동전류 제어부(30); 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 추정부(50)에 제공하도록 되어 있는 촬영장치(40); 및 신경망부(510)를 포함하며, 상기 복수 개의 촬영이미지들 각각을 상기 신경망부(510)의 입력층에 입력하여 상기 신경망부(510)로부터 일련의 출력값들을 출력하도록 되어 있는 추정부(50);를 포함하며, 상기 일련의 출력값들의 시간에 따른 히스토리를 기초로 상기 전기자극의 제공의 종료시점을 결정하도록 되어 있는, 전기자극 제어시스템이 제공될 수 있다.According to an aspect of the present invention, a driving current control unit 30 configured to provide electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10; a photographing device 40 configured to provide a plurality of photographed images obtained by photographing the stem cell culture medium at predetermined time intervals to the estimator 50; and a neural network unit 510 , wherein each of the plurality of photographed images is input to an input layer of the neural network unit 510 and an estimator 50 is configured to output a series of output values from the neural network unit 510 . Including; and, based on the time history of the series of output values, the electrical stimulation control system can be provided to determine the end time of the provision of the electrical stimulation.

이때, 상기 신경망부는, 상기 신경망부에 입력되는 상기 촬영이미지 내에 포함된 연골세포의 군집영역의 넓이가 감소할수록 상기 출력값을 더 큰 값으로 출력하도록 지도학습 되어 있는 것일 수 있다.In this case, the neural network unit may be supervised to output the output value as a larger value as the area of the chondrocyte cluster region included in the photographed image input to the neural network unit decreases.

이때, 상기 일련의 출력값들이 시간에 따라 더 이상 증가하지 않는다고 판단되는 시점에 상기 전기자극의 제공의 종료를 결정하도록 되어 있을 수 있다.In this case, the end of the electrical stimulation may be determined at a point in time when it is determined that the series of output values do not increase with time.

이때, 상기 신경망부는, 배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하여, 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 획득하는 단계; 상기 복수 개의 촬영이미지들을 이용하여 신경망부를 학습시키기 위하여, 상기 복수 개의 촬영이미지들에 대응하는 한 세트의 라벨을 준비하는 단계; 및 선택된 상기 촬영이미지를 상기 신경망부에 입력하여 상기 신경망부가 출력한 값과 상기 선택된 촬영이미지에 대응하는 상기 라벨의 값 간의 오차를 감소시키도록 상기 신경망부의 내부 파라미터를 갱신하는 단계;를 포함하는 신경망부의 학습방법에 의해 학습된 것이며, 상기 한 세트의 라벨을 준비하는 단계는, 상기 복수 개의 촬영이미지들 중 사용자에 의해 선택된 촬영이미지인 기준 촬영이미지에 미리 결정된 특정 값을 갖는 기준라벨을 할당하는 단계; 및 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들에 소정의 규칙에 따라 라벨들을 할당하는 단계를 포함할 수 있다.At this time, the neural network unit, the step of providing electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10, obtaining a plurality of photographed images obtained by photographing the stem cell culture medium at predetermined time intervals; preparing a set of labels corresponding to the plurality of photographed images in order to train the neural network unit using the plurality of photographed images; and updating an internal parameter of the neural network unit by inputting the selected captured image to the neural network unit to reduce an error between the value output by the neural network unit and the value of the label corresponding to the selected captured image. It is learned by the negative learning method, and the step of preparing a set of labels includes allocating a reference label having a predetermined specific value to a reference photographed image that is a photographed image selected by a user among the plurality of photographed images ; and allocating labels to the other captured images except for the reference captured image among the plurality of captured images according to a predetermined rule.

이때, 상기 소정의 규칙에 따라 라벨들을 할당하는 단계는, 상기 나머지 촬영이미지들 중 선택된 촬영이미지를 상기 배양기의 가장자리부를 포함하는 외부영역과 상기 외부영역 내부의 내부영역의 2개의 영역으로 구분하는 단계; 및 상기 내부영역의 넓이를 기초로 상기 선택된 촬영이미지에 대한 라벨의 값을 결정하는 단계;를 포함할 수 있다.In this case, the step of allocating the labels according to the predetermined rule includes dividing the selected photographed image among the remaining photographed images into two regions, an outer region including an edge of the incubator and an inner region inside the outer region. ; and determining a label value for the selected photographed image based on the width of the inner region.

이때, 상기 2개의 영역으로 구분하는 단계는, 상기 선택된 촬영이미지 중 상기 배양기를 나타내는 배양기 이미지의 가장자리 중 복수 개의 외곽지점들을 선택하는 단계; 각각의 상기 외곽지점에 대하여, 상기 외곽지점으로부터 상기 배양기 이미지의 중심점을 연결한 라인을 따라 관찰하였을 때에 상기 선택된 촬영이미지의 이미지 속성값이 가장 급격하게 변화하는 지점을 내측지점으로 선택하는 단계; 각각의 상기 외곽지점에 대하여 선택된 복수 개의 상기 내측지점들을 서로 연결한 폐곡선을 상기 내부영역의 외측 바운더리로 결정하여 상기 내부영역을 결정하는 단계; 및 상기 폐곡선의 외측부분을 상기 외부영역으로 결정하는 단계;를 포함할 수 있다.In this case, the dividing into the two regions may include: selecting a plurality of outer points among edges of an incubator image representing the incubator among the selected photographed images; selecting, as an inner point, a point at which the image attribute value of the selected photographed image changes most rapidly when observed along a line connecting the center point of the incubator image from the outer point to each of the outer points; determining the inner region by determining a closed curve connecting the plurality of inner points selected for each of the outer points as an outer boundary of the inner region; and determining an outer portion of the closed curve as the outer region.

본 발명의 다른 관점에 따라, 배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하여, 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 획득하는 단계; 상기 복수 개의 촬영이미지들을 이용하여 신경망부를 학습시키기 위하여, 상기 복수 개의 촬영이미지들에 대응하는 한 세트의 라벨을 준비하는 단계; 및 선택된 상기 촬영이미지를 상기 신경망부에 입력하여 상기 신경망부가 출력한 값과 상기 선택된 촬영이미지에 대응하는 상기 라벨의 값 간의 오차를 감소시키도록 상기 신경망부의 내부 파라미터를 갱신하는 단계;를 포함하며, 상기 한 세트의 라벨을 준비하는 단계는, 상기 복수 개의 촬영이미지들 중 사용자에 의해 선택된 기준 촬영이미지에 미리 결정된 특정 값을 갖는 기준라벨을 할당하는 단계; 및 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들에 소정의 규칙에 따라 라벨들을 할당하는 단계를 포함하는, 신경망부의 학습방법이 제공될 수 있다.According to another aspect of the present invention, the step of providing electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10, and obtaining a plurality of photographed images obtained by photographing the stem cell culture medium at predetermined time intervals ; preparing a set of labels corresponding to the plurality of photographed images in order to train the neural network unit using the plurality of photographed images; and inputting the selected captured image to the neural network unit and updating the internal parameters of the neural network unit to reduce an error between the value output by the neural network unit and the value of the label corresponding to the selected captured image; The preparing of the set of labels may include: allocating a reference label having a predetermined specific value to a reference photographed image selected by a user from among the plurality of photographed images; and allocating labels to the other captured images from among the plurality of captured images according to a predetermined rule, except for the reference captured image.

이때, 상기 소정의 규칙에 따라 라벨들을 할당하는 단계는, 상기 나머지 촬영이미지들 중 선택된 촬영이미지를 상기 배양기의 가장자리부를 포함하는 외부영역과 상기 외부영역 내부의 내부영역의 2개의 영역으로 구분하는 단계; 및 상기 내부영역의 넓이를 기초로 상기 선택된 촬영이미지에 대한 라벨의 값을 결정하는 단계;를 포함할 수 있다.In this case, the step of allocating the labels according to the predetermined rule includes dividing the selected photographed image among the remaining photographed images into two regions, an outer region including an edge of the incubator and an inner region inside the outer region. ; and determining a label value for the selected photographed image based on the width of the inner region.

이때, 상기 2개의 영역으로 구분하는 단계는, 상기 선택된 촬영이미지 중 상기 배양기를 나타내는 배양기 이미지의 가장자리 중 복수 개의 외곽지점들을 선택하는 단계; 각각의 상기 외곽지점에 대하여, 상기 외곽지점으로부터 상기 배양기 이미지의 중심점을 연결한 라인을 따라 관찰하였을 때에 상기 선택된 촬영이미지의 이미지 속성값이 가장 급격하게 변화하는 지점을 내측지점으로 선택하는 단계; 각각의 상기 외곽지점에 대하여 선택된 복수 개의 상기 내측지점들을 서로 연결한 폐곡선을 상기 내부영역의 외측 바운더리로 결정하여 상기 내부영역을 결정하는 단계; 및 상기 폐곡선의 외측부분을 상기 외부영역으로 결정하는 단계;를 포함할 수 있다.In this case, the dividing into the two regions may include: selecting a plurality of outer points among edges of an incubator image representing the incubator among the selected photographed images; selecting, as an inner point, a point at which the image attribute value of the selected photographed image changes most rapidly when observed along a line connecting the center point of the incubator image from the outer point to each of the outer points; determining the inner region by determining a closed curve connecting the plurality of inner points selected for each of the outer points as an outer boundary of the inner region; and determining an outer portion of the closed curve as the outer region.

본 발명에 따르면 줄기세포로부터 연골세포를 분화하기 위하여 줄기세포 배양액에 가하는 전기자극의 종료시점을 결정하는 최적의 제어기술을 제공할 수 있다.According to the present invention, it is possible to provide an optimal control technique for determining the end point of electrical stimulation applied to a stem cell culture medium to differentiate chondrocytes from stem cells.

도 1은 본 발명의 일 실시예에 따라 제공되는 전기자극 시스템(100)을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따라 제공되는 전기자극 학습 시스템을 나타낸 블록도이다.
도 3은 줄기세포 배양액에 전기자극을 가하였을 때에 시간에 따라 관찰되는 촬영이미지의 예를 모델링하여 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따라 획득된 촬영이미지를 2개의 영역으로 나누는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 제공되는 전기자극 시스템을 이용한 전기자극 종료 시점 결정방법을 나타낸 순서도이다.
도 6은 시간에 따라 본 발명의 일 실시예에 따른 전기자극 시스템의 추정부가 출력하는 값을 나타낸 그래프의 예이다.
1 is a block diagram showing an electrical stimulation system 100 provided according to an embodiment of the present invention.
2 is a block diagram illustrating an electric stimulation learning system provided according to an embodiment of the present invention.
Figure 3 shows an example of a photographed image observed over time when electrical stimulation is applied to a stem cell culture medium by modeling.
4 is a diagram for explaining a method of dividing an acquired image into two regions according to an embodiment of the present invention.
5 is a flowchart illustrating a method for determining an electrical stimulation end time point using an electrical stimulation system provided according to an embodiment of the present invention.
6 is an example of a graph showing values output by the estimation unit of the electrical stimulation system according to an embodiment of the present invention according to time.

이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be implemented in various other forms. The terminology used in this specification is intended to help the understanding of the embodiment, and is not intended to limit the scope of the present invention. Also, singular forms used hereinafter include plural forms unless the phrases clearly indicate the opposite.

<전기자극 제어 시스템의 개괄적 구성><General configuration of electric stimulation control system>

도 1은 본 발명의 일 실시예에 따라 제공되는 전기자극 시스템(100)을 나타낸 블록도이다.1 is a block diagram showing an electrical stimulation system 100 provided according to an embodiment of the present invention.

본 발명의 일 양상에 따라 제공되는 전기자극 시스템(100)은, 줄기세포 배양액을 담을 수 있도록 되어 있는 배양기(10), 배양기(10)에 담긴 상기 줄기세포 배양액에 전류를 인가하도록 설치된 한 쌍의 전극(20), 한 쌍의 전극(20)에 전기를 제공하는 구동전류 제어부(30), 상기 줄기세포 배양액을 촬영하는 촬영장치(40), 촬영장치(40)가 시간의 흐름에 따라 출력한 복수 개의 촬영이미지들을 각각 입력하여 상기 줄기세포 배양액에 포함된 줄기세포로부터 분화된 연골세포의 분화량에 관한 값을 추정하여 출력하는 추정부(50)를 포함할 수 있다. 이때, 구동전류 제어부(30)는 시간의 흐름에 따라 추정부(50)가 출력하는 상기 분화량에 관한 값들을 기초로 한 쌍의 전극(20)을 통해 인가되던 전류를 차단하도록 되어 있다. The electrical stimulation system 100 provided according to an aspect of the present invention is an incubator 10 configured to contain a stem cell culture solution, a pair of installed to apply an electric current to the stem cell culture solution contained in the incubator 10 . The electrode 20, the driving current controller 30 for providing electricity to the pair of electrodes 20, the photographing device 40 for photographing the stem cell culture medium, and the photographing apparatus 40 output the output over time. It may include an estimator 50 for estimating and outputting a value related to the differentiation amount of chondrocytes differentiated from the stem cells included in the stem cell culture medium by inputting a plurality of photographed images, respectively. At this time, the driving current controller 30 is configured to cut off the current applied through the pair of electrodes 20 based on the values related to the differentiation amount output by the estimator 50 over time.

상기 분화량에 관한 값은 그 최대값과 최소값이 각각 예컨대 1 및 0이 되도록 정규화 될 수 있다. 상기 분화량에 관한 값이 1인 경우 연골세포가 최대한 많이 분화된 것으로 간주될 수 있다.The value of the differentiation amount may be normalized so that its maximum and minimum values are, for example, 1 and 0, respectively. When the value of the differentiation amount is 1, it can be considered that the chondrocytes are differentiated as much as possible.

추정부(50)는 지도학습에 의해 학습된 신경망부(510)를 포함할 수 있다. The estimator 50 may include a neural network unit 510 learned by supervised learning.

구동전류 제어부(30)가 한 쌍의 전극(20)에 전류를 제공하기 시작하면서부터 촬영장치(40)는 배양기(10) 내부를 촬영하여 시간의 흐름에 따라 복수 개의 촬영이미지들을 획득할 수 있다. From the time the driving current control unit 30 starts to provide current to the pair of electrodes 20, the imaging device 40 captures the inside of the incubator 10 to acquire a plurality of photographed images over time. .

추정부(50)는 상기 획득한 복수 개의 촬영이미지들을 실시간으로 입력받아 연골세포의 분화량에 관한 추정값을 출력할 수 있다. 시간의 흐름에 따라 추정부(50)가 출력하는 상기 추정값은 시간의 흐름에 따라 점점 증가하다가 일정 기간 포화상태를 유지하다가 다시 감소하는 경향을 가질 수 있다.The estimator 50 may receive the acquired plurality of photographed images in real time and output an estimated value regarding the differentiation amount of chondrocytes. As time passes, the estimated value output by the estimator 50 may have a tendency to gradually increase with the passage of time, maintain a saturated state for a certain period, and then decrease again.

구동전류 제어부(30)는, 추정부(50)가 출력하는 상기 추정값을 모니터링하여, 상기 추정값이 더 이상 증가하지 않을 것이라고 판단되면 한 쌍의 전극(20)에 인가되는 전류를 차단하도록 되어 있을 수 있다.The driving current control unit 30 monitors the estimated value output by the estimator 50 and blocks the current applied to the pair of electrodes 20 when it is determined that the estimated value will no longer increase. have.

<신경망부의 학습><Learning of the neural network>

도 1의 신경망부는 지도학습에 의해 학습된 것일 수 있다. The neural network unit of FIG. 1 may be learned by supervised learning.

이하, 도 2를 참조하여 상기 신경망부의 지도학습 방법을 설명한다. 특히 지도학습에 이용될 라벨들을 결정하는 방법을 설명한다.Hereinafter, a supervised learning method of the neural network unit will be described with reference to FIG. 2 . In particular, a method for determining labels to be used for supervised learning is described.

도 2는 본 발명의 일 실시예에 따라 제공되는 전기자극 학습 시스템을 나타낸 블록도이다.2 is a block diagram illustrating an electric stimulation learning system provided according to an embodiment of the present invention.

도 2의 전기자극 학습 시스템은 도 1에 나타낸 전기자극 시스템에 지도학습 제어부(520)가 추가된 것이다.In the electrical stimulation learning system of FIG. 2 , a supervised learning control unit 520 is added to the electrical stimulation system shown in FIG. 1 .

상기 지도학습을 위하여, 전문가(사람)는 촬영장치(40)가 출력한 상기 복수 개의 촬영이미지들을 시간 순서대로 관찰하여, 상기 복수 개의 촬영이미지들 중에서 연골세포의 분화량이 최대값에 도달했다고 판단된 최초의 촬영이미지인 제1촬영이미지(=기준 촬영이미지)에 특정 값을 갖는 기준라벨을 부여할 수 있다. 상기 기준라벨의 상기 특정 값은 예컨대 1일 수 있다. 즉, 전기자극에 의해 분화된 연골세포의 양이 최대가 되었다고 판단된 최초의 시점에 촬영장치(40)에 의해 획득되는 이미지에 상기 기준라벨을 연관시켜 둘 수 있는 것이다.For the supervised learning, the expert (person) observes the plurality of photographed images output by the photographing device 40 in chronological order, and it is determined that the differentiation amount of chondrocytes has reached the maximum value among the plurality of photographed images. A reference label having a specific value may be assigned to the first photographed image (=reference photographed image), which is the first photographed image. The specific value of the reference label may be, for example, 1. That is, the reference label can be associated with the image acquired by the imaging device 40 at the first time point when it is determined that the amount of chondrocytes differentiated by the electrical stimulation has reached the maximum.

일 실시예에서, 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들에 대한 라벨은 사람이 직접 부여하지 않고 아래 설명하는 소정의 방법에 의해 자동으로 부여될 수 있다.In an embodiment, the labels for the other captured images other than the reference captured image among the plurality of captured images may be automatically assigned by a predetermined method described below, rather than being directly assigned by a person.

상기 촬영된 복수 개의 촬영이미지들은 아래에 설명하는 현상에 따른 특징을 가질 수 있다.The plurality of photographed images may have characteristics according to a phenomenon described below.

즉, 전기자극을 가하기 이전에 배양액 내에 포함되어 있던 줄기세포는 상기 배양액 내에 균일하게 분포되어 있을 수 있다. 그런데 전기자극이 시작되어 계속되면서 상기 줄기세포가 연골세포로 분화하게 되며, 이렇게 분화된 연골세포들은 군집을 이룰 수 있다. 그런데 전기자극이 지속적으로 인가되면 연골세포의 분화량이 증가하다가 어느 순간 증가량이 정체하는 현상을 나타내다가, 다시 상기 연골세포의 군집은 다시 흩어지면서 결국 연골세포의 양이 감소하게 된다. 이러한 현상은 도 3을 참조하여 더 자세히 설명할 수 있다. That is, the stem cells contained in the culture medium before applying the electrical stimulation may be uniformly distributed in the culture medium. However, as the electrical stimulation is started and continued, the stem cells are differentiated into chondrocytes, and the differentiated chondrocytes can form a colony. However, when electrical stimulation is continuously applied, the amount of differentiation of chondrocytes increases and at some point the amount of increase is stagnant, and then the chondrocytes cluster again disperse, and eventually the amount of chondrocytes decreases. This phenomenon can be described in more detail with reference to FIG. 3 .

도 3은 줄기세포 배양액에 전기자극을 가하였을 때에 시간에 따라 관찰되는 촬영이미지의 예를 모델링하여 나타낸 것이다.Figure 3 shows an example of a photographed image observed over time when electrical stimulation is applied to a stem cell culture medium by modeling.

도 3의 (a) 내지 (h)에 나타낸 큰 원은, 상기 배양기(10)가 원형의 배양접시인 경우에 있어서, 위에서 아래로 내려다보았을 때에 배양기(10)의 외곽 가장자리의 모양을 나타낸다. 도 3의 (a)로부터 도 3의 (h)로 갈수록 전기자극 프로세스가 시간에 따라 더 진행된 결과를 나타낸다. 도 3의 (a)는 전기자극을 시작한 시점을 나타낸 것이다.The large circles shown in (a) to (h) of FIG. 3 indicate the shape of the outer edge of the incubator 10 when viewed from the top down in the case where the incubator 10 is a circular culture dish. From Fig. 3 (a) to Fig. 3 (h) shows the result that the electrical stimulation process further progressed with time. Figure 3 (a) shows the start time of the electrical stimulation.

도 3의 (b) 내지 (h)에 나타낸 작은 원들은 전기자극에 의해 분화되는 연골세포 군집의 외곽 가장자리의 모양을 나타낸 것이다. 실제로 상기 연골세포 군집의 모양은 정확한 원형이 아닐 수 있지만, 대략적으로 원형으로 모델링할 수 있다. 도 3의 (b) 내지 (h)에 나타낸 작은 원들 내에는 분화된 연골세포들 뿐만 아니라 줄기세포들이 함께 섞여 포함되어 있을 수 있지만, 그럼에도 불구하고 상기 연골세포들이 밀집되어 있으므로 연골세포의 군집 영역이라고 간주할 수 있다.The small circles shown in (b) to (h) of Figure 3 represent the shape of the outer edge of the chondrocyte cluster differentiated by electrical stimulation. In fact, the shape of the chondrocyte population may not be an exact circle, but it can be modeled as an approximate circle. In the small circles shown in (b) to (h) of FIG. 3, not only differentiated chondrocytes but also stem cells may be mixed and included, but nevertheless, since the chondrocytes are dense, it is called a cluster region of chondrocytes. can be considered

도 3을 살펴보면, 도 3의 (a)에서는 전기자극이 시작되는 시점이므로 별도의 연골세포 군집이 관찰되지 않는다. 도 3의 (a)로부터 도 3의 (e)로 갈수록 전기자극에 의해 연골세포의 군집의 면적이 점점 줄어드는 것을 관찰할 수 있다. 연골세포의 군집의 면적이 감소하더라도 실제 이 군집 내에 존재하는 연골세포의 양은 시간에 따라 점점 증가한다. 도 3의 (e)와 같이 연골세포의 양이 최대값이 도달하게 되면, 전기자극을 더 가하더라도 도 3의 (f)와 같이 연골세포가 더 분화되지 않고 상기 최대값 상태를 순간적으로 또는 일정한 기간 동안 유지할 수 있다. 나아가 이후 전기자극을 멈추지 않고 더 진행하면 도 3의 (g) 및 (h)에 나타낸 바와 같이 연골세포의 군집의 면적이 다시 더 증가하기 시작하면서 실제로는 분화되었던 연골세포의 양이 줄어드는 부작용이 발생하게 된다. 따라서 줄기세포 배양액으로부터 연골세포를 분화하기 위한 전기자극 프로세스를 최적화하기 위해서는 줄기세포 배양액에 제공되는 전류의 제공을 적절한 시점에 차단할 필요가 있다. 도 3의 예에서는 도 3의 (e)와 도 3의 (f)에 전류를 차단하는 것이 바람직하며, 이 중 도 3의 (e)에서 전류를 차단하더라도 연골세포를 최대한 얻을 수 있으며, 줄기세포 배양액으로부터 연골세포를 얻기 위한 시간을 최소화하고 소모전류를 감소시킬 수 있다는 장점이 있다.Referring to FIG. 3 , in FIG. 3A , since the electrical stimulation is started, a separate chondrocyte cluster is not observed. From Fig. 3 (a) to Fig. 3 (e), it can be observed that the area of the chondrocyte cluster gradually decreases due to the electrical stimulation. Even if the area of the chondrocyte population decreases, the amount of chondrocytes actually present in the chondrocyte population gradually increases with time. When the amount of chondrocytes reaches the maximum value as shown in (e) of FIG. 3, even if additional electrical stimulation is applied, the chondrocytes are not further differentiated as shown in FIG. can be maintained for a period of time. Furthermore, if the electrical stimulation is further proceeded without stopping thereafter, as shown in (g) and (h) of FIG. 3, the area of the chondrocyte cluster starts to increase again, and the amount of actually differentiated chondrocytes decreases. will do Therefore, in order to optimize the electrical stimulation process for differentiating chondrocytes from the stem cell culture medium, it is necessary to block the current provided to the stem cell culture medium at an appropriate time. In the example of FIG. 3, it is preferable to block the current in FIGS. 3 (e) and 3 (f), and even if the current is blocked in FIG. 3 (e), chondrocytes can be obtained as much as possible, and stem cells It has the advantage of minimizing the time for obtaining chondrocytes from the culture medium and reducing the current consumption.

이제 다시 도 2를 참조하여, 상술한 기준라벨의 값을 설정하는 방법을 설명한다. Now, with reference to FIG. 2 again, a method of setting the above-described reference label value will be described.

연골세포의 군집에 포함된 연골세포의 양(개수)이 실질적으로 최대값이 되었을 때에 촬영된 상기 기준 촬영이미지에 부여된 상기 기준라벨의 값은 특정값, 예컨대 1로 설정될 수도 있다.When the amount (number) of chondrocytes included in the chondrocyte cluster is substantially the maximum, the value of the reference label given to the reference photographed image may be set to a specific value, for example, 1.

여기서 상기 연골세포의 분화량이 최대값에 도달했다고 판단하는 주체는 상기 전문가(사람)이다. 상기 최대값에 대응하는 상기 연골세포의 분화량을 제1분화량 또는 기준 분화량 또는 최대 분화량이라고 지칭할 수 있으며, 상기 기준 분화량은 상술한 바와 같이 특정한 값으로 정규화 될 수 있다. 예컨대 상기 기준 분화량은 1인 것으로 제시할 수도 있다.Here, the subject that determines that the differentiation amount of the chondrocytes has reached the maximum value is the expert (human). The differentiation amount of the chondrocytes corresponding to the maximum value may be referred to as a first differentiation amount, a reference differentiation amount, or a maximum differentiation amount, and the reference differentiation amount may be normalized to a specific value as described above. For example, it may be suggested that the reference differentiation amount is 1.

그 다음, 본 발명의 일 실시예에 따라 제공되는 지도학습 제어부(520)는 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들 각각에 소정의 알고리즘에 따라 결정되는 고유의 라벨값을 부여할 수 있다. 상기 나머지 촬영이미지들 각각에 부여되는 라벨값은 상기 기준라벨이 갖는 상기 특정 값 이하일 수 있다. 예컨대 상기 나머지 촬영이미지들 중 임의의 제2촬영이미지에 부여되는 라벨값은 1 이하의 값일 수 있다. Then, the supervised learning control unit 520 provided according to an embodiment of the present invention is a unique label value determined according to a predetermined algorithm for each of the remaining captured images except for the reference captured image among the plurality of photographed images. can be given The label value given to each of the remaining photographed images may be equal to or less than the specific value of the reference label. For example, the label value given to any second photographed image among the remaining photographed images may be a value of 1 or less.

상기 지도학습 제어부(520)는, 상기 나머지 촬영이미지들 각각에 부여되는 라벨값을 상기 기준라벨의 값, 상기 기준 촬영이미지, 및 각각의 상기 촬영이미지를 기초로 결정할 수 있다. 예컨대, 상기 기준 촬영이미지로부터 추정되는 연골세포의 분화량을 상기 기준 분화량이라고 하고, 상기 제2촬영이미지로부터 추정되는 연골세포의 분화량을 제2분화량이라고 하고, 그리고 상기 제2촬영이미지에 부여되어야 할 라벨을 제2라벨이라고 하면, 수식 1의 관계가 성립할 수 있다.The supervised learning control unit 520 may determine a label value given to each of the remaining photographed images based on the value of the reference label, the reference photographed image, and each of the photographed images. For example, the differentiation amount of chondrocytes estimated from the reference photographed image is referred to as the reference differentiation amount, the differentiation amount of chondrocytes estimated from the second photographed image is referred to as a second differentiation amount, and If the label to be given is the second label, the relationship of Equation 1 can be established.

[수식 1][Formula 1]

제2분화량/(제2라벨의 값)=(기준 분화량)/(기준라벨의 값)Second differentiation amount/(value of second label)=(standard amount of differentiation)/(value of reference label)

위 수식 1에서 상기 기준라벨의 값은 전문가에 의해 이미 부여된 값이다. 예컨대 상기 기준라벨의 값은 1일 수 있다.In Equation 1 above, the value of the reference label is a value already assigned by an expert. For example, the value of the reference label may be 1.

그리고 상기 기준 분화량은 미리 설정된 값을 기준으로 정규화된 값일 수 있다. 본 발명의 일 실시예에서, 분화된 상기 연골세포의 총 개수의 구체적인 값과 관계없이, 일단 상기 전문가가 판단한 연골세포의 최대 분화시점에서의 상기 연골세포의 분화량인 상기 기준 분화량을 1이라고 정의할 수도 있다.In addition, the reference differentiation amount may be a normalized value based on a preset value. In one embodiment of the present invention, regardless of the specific value of the total number of differentiated chondrocytes, the reference differentiation amount, which is the amount of differentiation of the chondrocytes at the time of maximum differentiation of chondrocytes determined by the expert, is 1 You can also define

또한, 상기 제2분화량은 후술하는 방법에 의해 결정될 수 있는 값이다. 따라서 상기 제2촬영이미지에 대해 부여되어야 하는 상기 제2라벨의 값은 [수식 2]와 같이 결정될 수 있다.In addition, the second differentiation amount is a value that can be determined by a method to be described later. Therefore, the value of the second label to be given to the second photographed image may be determined as in [Equation 2].

[수식 2][Equation 2]

(제2라벨의 값) = (기준라벨의 값)*제2분화량/(기준 분화량)(Value of the second label) = (Value of the reference label)*Second differentiation amount/(Standard differentiation amount)

수식 2를 일반화하면, 제k촬영이미지에 대한 제k라벨의 값은 수식 3과 같이 결정될 수 있다.If Equation 2 is generalized, the value of the kth label for the kth photographed image may be determined as in Equation 3.

[수식 3][Equation 3]

(제k라벨의 값) = (기준라벨의 값)*제k분화량/(기준 분화량)(Value of the kth label) = (Value of the reference label)*Kth differentiation amount/(Standard differentiation amount)

상기 각각의 촬영이미지로부터 연골세포의 분화량을 추정하는 방법은 다음과 같이 제시될 수 있다. 즉, 제k촬영이미지로부터 제k분화량을 추정하는 방법은 다음과 같이 제시될 수 있다.A method of estimating the differentiation amount of chondrocytes from each of the photographed images may be presented as follows. That is, a method of estimating the kth differentiation amount from the kth photographed image may be presented as follows.

우선, 상기 지도학습 제어부(520)는 상기 촬영이미지로부터 상기 배양기(10)의 가장자리를 식별할 수 있다. 상기 배양기(10)는 원형 또는 사각형의 접시일 수 있다. 이때 상기 배양기(10)의 가장자리는 예컨대 도 3에 제시한 바와 같이 원형의 폐곡선일 수 있다.First, the supervised learning control unit 520 may identify the edge of the incubator 10 from the captured image. The incubator 10 may be a circular or rectangular plate. In this case, the edge of the incubator 10 may be, for example, a circular closed curve as shown in FIG. 3 .

그 다음 상기 지도학습 제어부(520)는 상기 배양기(10) 내에 존재하는 줄기세포 배양액에 대한 촬영이미지를 소정의 기준에 따라 2개의 영역으로 분류할 수 있다. 상기 2개의 영역은 도 3에 제시되어 있다. Then, the supervised learning control unit 520 may classify the photographed image of the stem cell culture solution present in the incubator 10 into two regions according to a predetermined criterion. The two regions are shown in FIG. 3 .

상기 2개의 영역 중 제1영역(외측영역)(110)은 외측 폐곡선(111)과 내측 폐곡선(112)을 갖는 도넛형태의 영역일 수 있다. 상기 외측 폐곡선(111)은 상기 배양기(10)의 바깥쪽 가장자리일 수 있다. 그리고 상기 2개의 영역 중 제2영역(내측영역)(120)은 상기 내측 폐곡선(112) 내부의 영역일 수 있다. 일 실시예에서 상기 내측 폐곡선(112)은 원형 또는 타원형으로 모델링되어 정의될 수도 있다. Among the two regions, the first region (outer region) 110 may be a donut-shaped region having an outer closed curve 111 and an inner closed curve 112 . The outer closed curve 111 may be an outer edge of the incubator 10 . In addition, a second region (inner region) 120 of the two regions may be a region inside the inner closed curve 112 . In an embodiment, the inner closed curve 112 may be modeled and defined in a circular or elliptical shape.

이하 도 4를 참조하여 본 발명의 일 실시예에 따라 임의의 촬영이미지에서 상기 내측 폐곡선을 결정하는 방법을 설명한다.Hereinafter, a method of determining the inner closed curve in an arbitrary captured image according to an embodiment of the present invention will be described with reference to FIG. 4 .

도 4는 본 발명의 일 실시예에 따라 획득된 촬영이미지를 2개의 영역으로 나누는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method of dividing an acquired image into two regions according to an embodiment of the present invention.

임의의 촬영이미지에서 상기 내측 폐곡선(112)을 결정하는 방법은 다음의 단계를 포함할 수 있다. 우선, 상기 지도학습 제어부(520)는, 상기 임의의 촬영이미지에 있어서, 상기 배양기(10)의 가장자리의 지점인 제1 외곽지점(1110)으로부터 상기 배양기(10)의 중심점(1120)을 연결하는 경로(P1)를 결정할 수 있다. 상기 경로(P1)는 직선 또는 곡선일 수 있다. 상기 경로(P1)의 길이를 L1이라고 하였을 때에, 상기 제1 외곽지점으로부터 경로(P1)를 따라 dL만큼 상기 중심점으로 이동한 제2지점(1121)을 정의할 수 있다. 이와 같이 제k지점으로부터 dL만큼 상기 중심점으로 이동한 제k+1지점을 연속하여 정의할 수 있다(k는 1 이상의 자연수, dL < L1 ). 이때, 상기 제k지점에서의 이미지 속성값과 상기 제k+1지점에서의 이미지 속성값 간의 차이값을 Dk라고 정의할 수 있다. 상기 이미지 속성값은 예컨대 상기 임의의 촬영이미지의 각 지점에서의 명도, 색상값, 또는 채도 등의 속성 값일 수 있다. 상기 이미지 속성값은 이미지 프로세싱 분야에서 이미지의 속성을 구분하는 기준에 따르면 충분하며 그 구체적인 속성 선택에 의해 본 발명이 제한되는 것은 아니다.The method for determining the inner closed curve 112 in an arbitrary photographed image may include the following steps. First, the supervised learning control unit 520 connects the center point 1120 of the incubator 10 from the first outer point 1110, which is a point on the edge of the incubator 10, in the arbitrary captured image. A path P1 may be determined. The path P1 may be a straight line or a curved line. When the length of the path P1 is L1, a second point 1121 that moves from the first outer point to the center point by dL along the path P1 may be defined. As described above, the k+1th point moved from the kth point to the central point by dL may be continuously defined (k is a natural number greater than or equal to 1, dL < L1 ). In this case, a difference value between the image attribute value at the kth point and the image attribute value at the k+1th point may be defined as Dk. The image attribute value may be, for example, attribute values such as brightness, color value, or saturation at each point of the arbitrary captured image. The image attribute value is sufficient according to the criteria for classifying image attributes in the image processing field, and the present invention is not limited by the specific attribute selection.

이와 같이 정의된 상기 이미지 속성값 간의 차이값 Dk(k=1, 2, 3, ...) 중 가장 큰 값을 선택할 수 있다. 예컨대, 만일 차이값 D3이 중 가장 큰 값이라면, 상기 경로(P1) 상에서 제2지점(1121)과 제3지점(1131) 사이에서 상기 이미지 속성값이 가장 크게 변화한 것으로 볼 수 있다.The largest value among the difference values Dk (k=1, 2, 3, ...) between the image attribute values defined as described above may be selected. For example, if the difference value D3 is the largest value, it can be seen that the image attribute value changes the most between the second point 1121 and the third point 1131 on the path P1 .

이제 상기 내측 폐곡선(112)을 구성하는 제1내측지점(1115)는 상기 제2지점(1121)과 상기 제3지점(1131) 사이에 존재하는 것으로 결정할 수 있다. Now, the first inner point 1115 constituting the inner closed curve 112 may be determined to exist between the second point 1121 and the third point 1131 .

상기 제1내측지점(1115)을 결정하는 과정은 상기 배양기(10)의 가장자리의 제1 외곽지점을 선택하는 단계로부터 시작된 것이다. 이제, 상기 제1내측지점을 결정하는 과정을 상기 배양기(10)의 가장자리의 다양한 다른 외곽지점들로부터 시작하여 수행하면 상기 내측 폐곡선(112)을 구성하는 복수 개의 다른 내측지점들을 결정할 수 있다. The process of determining the first inner point 1115 starts with the step of selecting the first outer point of the edge of the incubator 10 . Now, if the process of determining the first inner point is performed starting from various other outer points of the edge of the incubator 10 , a plurality of other inner points constituting the inner closed curve 112 can be determined.

이와 같이 결정된 복수 개의 상기 내측지점들을 서로 인터폴레이션하여 연결하면 상기 내측 폐곡선(112)을 완성할 수 있다. 그 결과 상기 제1영역(외측영역)(110)과 제2영역(내측영역)(120)을 완전히 정의할 수 있다. When the plurality of inner points determined in this way are interpolated and connected to each other, the inner closed curve 112 can be completed. As a result, the first region (outer region) 110 and the second region (inner region) 120 can be completely defined.

만일 상기 차이값 Dk(k=1, 2, 3, ...) 중 가장 큰 값이 미리 결정된 값보다 작다면, 상기 제1내측지점(1115)은 상기 제1 외곽지점(1110)인 것으로 결정될 수도 있다. If the largest value among the difference values Dk (k=1, 2, 3, ...) is smaller than a predetermined value, it is determined that the first inner point 1115 is the first outer point 1110 . may be

경우에 따라서는 상기 제2영역(내측영역)(120)과 상기 제1영역(외측영역)(110)이 존재하지 않는 경우도 있을 수 있다. 이러한 상황은, 예컨대 줄기세포 배양액에 전기자극을 전혀 가하지 않은 상태에서 발생할 수도 있다. 예컨대 도 3의 (a)에는 내측영역(120)와 외측영역(110)을 정의할 수 없다.In some cases, the second region (inner region) 120 and the first region (outer region) 110 may not exist. Such a situation may occur, for example, in a state in which no electrical stimulation is applied to the stem cell culture medium. For example, the inner region 120 and the outer region 110 cannot be defined in (a) of FIG. 3 .

상술한 상기 제1내측지점을 결정하는 방법은, 원형 또는 타원형으로 근사화되는 상기 제2영역(내측영역)(120)과 상기 제2영역(내측영역)(120)의 바깥에 존재하는 상기 제1영역(외측영역)(110)을 구분하기 위한 다양한 알고리즘 중 하나로서 제시된 것이다. 즉, 상술한 내용은 상기 배양기(10) 내에 존재하는 줄기세포 배양액의 촬영이미지를 상술한 2개의 영역으로 나눌 수 있다는 실시 가능성을 설명하기 위한 것이며, 본 발명이 이러한 실시예에 국한되는 것은 아니다.The above-described method for determining the first inner point includes the second region (inner region) 120 that is approximated in a circular or elliptical shape and the first existing outside the second region (inner region) 120 . It is presented as one of various algorithms for classifying the region (outer region) 110 . That is, the above description is intended to explain the feasibility of dividing the photographed image of the stem cell culture solution present in the incubator 10 into the two regions described above, and the present invention is not limited to this embodiment.

상기 촬영이미지를 2개의 영역으로 나누는 작업은, 전기자극이 가해지는 시간의 흐름에 따라 촬영된 복수 개의 촬영이미지들 각각에 대하여 수행되는 것이다. The operation of dividing the photographed image into two regions is performed for each of the plurality of photographed images photographed according to the passage of time during which the electrical stimulation is applied.

이와 같이 상기 제2영역(내측영역)(120)이 정의되면 상기 제2영역(내측영역)(120)의 면적(SB)을 산출할 수 있다. When the second region (inner region) 120 is defined as described above, the area SB of the second region (inner region) 120 may be calculated.

이제, 제k촬영이미지로부터 추정되는 연골세포의 분화량을 제k분화량이라고 하고, 상기 제k촬영이미지로부터 산출된 상기 제2영역(내측영역)(120)의 면적을 제k면적이라고 할 때에, 상기 제k촬영이미지로부터 추정되는 연골세포의 제k분화량은 상기 제k면적에 반비례하는 것으로 정의할 수도 있다. Now, when the differentiation amount of chondrocytes estimated from the k-th photographed image is referred to as the k-th differentiation amount, and the area of the second region (inner region) 120 calculated from the k-th photographed image is referred to as the k-th area. , The k-th differentiation amount of chondrocytes estimated from the k-th photographed image may be defined as inversely proportional to the k-th area.

또는 다른 실시예에서 상기 제k촬영이미지로부터 추정되는 연골세포의 제k분화량은 상기 제k면적의 루트값에 반비례하는 것으로 정의할 수도 있다. 즉, 상기 제2영역(내측영역)(120)이 원으로 모델링되는 경우, 상기 제k촬영이미지로부터 추정되는 연골세포의 제k분화량은 상기 원의 지름 또는 반지름에 반비례하는 것으로 정의할 수도 있다.Alternatively, in another embodiment, the k-th differentiation amount of chondrocytes estimated from the k-th photographed image may be defined as inversely proportional to the root value of the k-th area. That is, when the second region (inner region) 120 is modeled as a circle, the k-th differentiation amount of chondrocytes estimated from the k-th photographed image may be defined as inversely proportional to the diameter or radius of the circle. .

그러나 실시예에 따라서는 상기 제k분화량이 상기 제k면적을 기초로 추정되는 것으로 하되, 상기 제k분화량과 상기 제k면적 간의 관계에 비선형 함수가 개입되는 것으로 규칙을 정할 수도 있다. 본 발명의 일 양상에 따르면 상기 제k분화량이 상기 제k면적을 기초로 추정되지만, 그 구체적인 함수관계에 의해 본 발명이 제한되는 것은 아니다.However, in some embodiments, the k-th differentiation amount is estimated based on the k-th area, but a rule may be set such that a nonlinear function intervenes in the relationship between the k-th differentiation amount and the k-th area. According to an aspect of the present invention, the k-th differentiation amount is estimated based on the k-th area, but the present invention is not limited by the specific functional relationship.

또한, 상기 제k분화량은 상기 제k면적을 기초로 추정되지만, 여기에 더불어 제k촬영이미지로부터 관찰되는 다른 추가적인 파라미터의 값 역시 상기 제k분화량을 추정하는 데에 더 사용될 수 있다. 그러나 이러한 추가적인 파라미터의 값을 어떻게 정의하는지에 상관없이 상기 제k분화량이 상기 제k면적에 관한 값을 기초로 추정된다는 점은 변함이 없다.In addition, although the k-th differentiation amount is estimated based on the k-th area, values of other additional parameters observed from the k-th photographed image may also be further used to estimate the k-th differentiation amount. However, regardless of how the value of the additional parameter is defined, the fact that the k-th differentiation amount is estimated based on the value of the k-th area does not change.

예컨대 상기 다른 추가적인 파라미터는 제k촬영이미지에서 관측되는 상기 외측영역의 제1평균명도와 상기 내측영역의 제2평균명도 간의 비율로 정의도리 수도 있다. For example, the other additional parameter may be defined as a ratio between the first average brightness of the outer region and the second average brightness of the inner region observed in the k-th photographed image.

이와 같이 제k촬영이미지로부터 상기 제k분화량이 추정되면, 수식 3을 이용하여 제k라벨의 값을 결정할 수 있다.As such, when the k-th differentiation amount is estimated from the k-th photographed image, the value of the k-th label can be determined using Equation 3.

상술한 과정을 통해 전기자극을 받아 그 상태가 변화하는 줄기세포 배양액을 촬영한 일련의 촬영이미지들에 대해 할당된 라벨들을 정의하거나 산출하여 획득할 수 있다. Through the above-described process, it is possible to obtain by defining or calculating labels assigned to a series of photographed images obtained by photographing a stem cell culture medium whose state is changed by receiving electrical stimulation.

이제 상기 지도학습 제어부(520)는 상기 신경망부(510)의 입력층에 상기 제k촬영이미지를 입력하여 상기 신경망부(510)가 출력한 값이 상기 제k촬영이미지에 대응하는 상기 제k라벨과의 오차가 줄어들 수 있도록 상기 신경망부(510)의 내부 파라미터들을 갱신할 수 있다. Now, the supervised learning control unit 520 inputs the k-th photographed image to the input layer of the neural network unit 510, and the value output by the neural network unit 510 is the k-th label corresponding to the k-th photographed image. The internal parameters of the neural network unit 510 may be updated so that an error of the synapse may be reduced.

일 실시예에서, 상기 신경망부(510)는 예컨대 CNN(Convolutional Neural Network)일 수 있다. 상기 CNN은 잘 알려진 기술로서 본 명세서에서 그 예를 따로 설명하지는 않는다. 그럼에도 불구하고 본 명세서에 제시된 본 발명의 사상에 임의의 CNN 구현기술을 접목하는 것은 당업자에게 어렵지 않다. In an embodiment, the neural network unit 510 may be, for example, a Convolutional Neural Network (CNN). The CNN is a well-known technology and an example thereof will not be separately described herein. Nevertheless, it is not difficult for those skilled in the art to apply any CNN implementation technique to the spirit of the present invention presented herein.

복수 장의 촬영이미지들 및 이들에 대하여 분화한 라벨들을 이용하여 신경망부(510)의 학습을 반복할 수 있다.Learning of the neural network unit 510 may be repeated using a plurality of photographed images and differentiated labels for them.

또한, 복수 개의 배양기(10)들에 담긴 피부세부 배양액에 각각 전기자극을 가하면서 촬영한 복수 개의 이미지들 및 이에 대응되는 라벨들을 이용하여 신경망의 학습을 더 반복할 수 있다.In addition, learning of the neural network may be further repeated using a plurality of images taken while applying electrical stimulation to the skin detail culture medium contained in the plurality of incubators 10 and corresponding labels.

상술한 신경망 학습방법에 있어서, 신경망의 학습용 입력데이터는 상기 촬영데이터이고, 각각의 상기 학습용 입력데이터에 대응하는 정답지에 해당하는 상기 라벨들을 만드는 방법에 본 발명의 일 특징이 존재한다고 볼 수 있다.In the above-described neural network learning method, the input data for learning of the neural network is the photographed data, and it can be seen that a feature of the present invention exists in a method of creating the labels corresponding to the correct answers corresponding to each of the learning input data.

<전기자극 시스템을 이용한 전기자극 종료 시점 결정방법><Method for determining the end time of electrical stimulation using electrical stimulation system>

본 발명의 일 양상에 따라 제공되는 전기자극 제어방법에 따르면 배양기(10)에 담긴 줄기세포 배양액에 제공하는 전류를 차단하는 시점을 결정할 수 있다. 상기 전기자극 제어방법은 도 1에 제시한 전기자극 시스템(100)을 이용하여 실행될 수 있다.According to the electrical stimulation control method provided in accordance with an aspect of the present invention, it is possible to determine the time point at which the current provided to the stem cell culture medium contained in the incubator 10 is cut off. The electrical stimulation control method may be implemented using the electrical stimulation system 100 shown in FIG. 1 .

도 5는 본 발명의 일 실시예에 따라 제공되는 전기자극 시스템을 이용한 전기자극 종료 시점 결정방법을 나타낸 순서도이다.5 is a flowchart illustrating a method for determining an electrical stimulation end time point using an electrical stimulation system provided according to an embodiment of the present invention.

먼저, 단계(S10)에서, 구동전류 제어부(30)는 줄기세포 배양액이 담긴 배양기(10)에 한 쌍의 전극(20)들을 이용하여 전류를 인가할 수 있다.First, in step S10 , the driving current controller 30 may apply a current to the incubator 10 containing the stem cell culture solution using a pair of electrodes 20 .

그 다음, 단계(S20)에서, 촬영장치(40)는 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 촬영이미지를 추정부(50)에 전달할 수 있다.Next, in step S20 , the imaging device 40 may transmit the photographed images obtained by photographing the stem cell culture medium at predetermined time intervals to the estimator 50 .

그 다음, 단계(S30)에서, 상기 추정부(50)는 전달된 각각의 촬영이미지를 상기 추정부(50)의 신경망부(510)의 입력층에 입력할 수 있다. 이때, 상기 추정부(50)는 스칼라값을 출력할 수 있다.Next, in step S30 , the estimator 50 may input each transmitted captured image to the input layer of the neural network unit 510 of the estimator 50 . In this case, the estimator 50 may output a scalar value.

그 다음, 단계(S40)에서, 상기 구동전류 제어부(30)는 상기 추정부(50)가 출력한 일련의 출력값들의 시간에 따른 히스토리를 기초로 상기 전기자극의 제공을 종료할지 여부를 결정할 수 있다.Next, in step S40 , the driving current control unit 30 may determine whether to end the provision of the electrical stimulation based on the time history of a series of output values output by the estimation unit 50 . .

예컨대, 상기 구동전류 제어부(30)는 상기 추정부(50)가 출력한 출력값이 더 이상 증가하지 않을 것이라고 판단되는 순간 상기 전류의 인가를 종료하는 것으로 결정할 수 있다. 이를 위해, 예컨대, 상기 구동전류 제어부(30)는 상기 추정부(50)가 출력한 출력값의 이동평균값을 관찰하여, 상기 이동평균값이 감소하기 시작하는 시점, 또는 일정기간 포화되어 더 이상 증가하지 않는 시점에 전류의 인가를 종료하기로 결정할 수 있다. For example, the driving current control unit 30 may determine to terminate the application of the current when it is determined that the output value output by the estimator 50 will no longer increase. To this end, for example, the driving current controller 30 observes a moving average value of the output value output by the estimator 50, and when the moving average value starts to decrease, or is saturated for a certain period and does not increase anymore. At a point in time, it may be decided to terminate the application of the current.

그 다음, 상기 구동전류 제어부(30)는 상기 종료할 시점이 판단되면 줄기세포 배양액이 담긴 배양기(10)에 인가하는 전류를 차단할 수 있다.Next, the driving current control unit 30 may block the current applied to the incubator 10 containing the stem cell culture medium when the end time is determined.

변형된 실시예에서, 상기 추정부(50)가 출력한 일련의 출력값들의 시간에 따른 히스토리를 기초로 상기 전기자극의 제공을 종료할지 여부를 결정하기 위한 기능모듈은 상기 구동전류 제어부(30)에 존재하지 않고 상기 추정부(50) 내에 존재할 수도 있다. 이 경우 상기 추정부(50)는 상기 전기자극의 종료 타이밍을 지시하는 별도의 신호를 구동전류 제어부(30)에 제공할 수 있으며, 추정부(50)가 그 출력값을 구동전류 제어부(30)에게 별도로 제공하지 않을 수도 있다.In a modified embodiment, the function module for determining whether to end the provision of the electrical stimulation based on the time-dependent history of a series of output values output by the estimation unit 50 is provided to the driving current control unit 30 . It may not exist and may exist in the estimator 50 . In this case, the estimator 50 may provide a separate signal instructing the end timing of the electrical stimulation to the driving current controller 30 , and the estimator 50 transmits the output value to the driving current controller 30 . It may not be provided separately.

상술한 바와 같이 구동전류 제어부(30)가 줄기세포 배양액에 제공하는 전기자극을 차단하는 방법을 도 6을 참고하여 설명할 수 있다.As described above, a method of blocking the electrical stimulation provided by the driving current controller 30 to the stem cell culture medium may be described with reference to FIG. 6 .

도 6은 시간에 따라 본 발명의 일 실시예에 따른 전기자극 시스템의 추정부가 출력하는 값을 나타낸 그래프의 예이다.6 is an example of a graph showing values output by the estimation unit of the electrical stimulation system according to an embodiment of the present invention according to time.

도 6의 그래프는 상기 추정부(50)가 출력하는 원형값을 그대로 도시한 것일 수도 있고, 또는 상기 원형값을 시간에 따른 구간평균을 내어 도시한 것일 수도 있다.The graph of FIG. 6 may show the circular value output by the estimator 50 as it is, or may show the circular value by averaging the circular values over time.

도 6에서, t0~t1 구간에서는 추정부(50)의 출력값이 순증가하며, t1~t2 구간에서는 추정부(50)의 출력값이 유지되며, t2~ 구간에서는 추정부(50)의 출력값이 감소할 수 있다. 경우에 따라서는 t1~t2의 시구간이 실질적으로 존재하지 않고, t1 이후에 곧 바로 추정부(50)의 출력값이 감소하기 시작할 수도 있다.In FIG. 6, the output value of the estimator 50 net increases in the period t0 to t1, the output value of the estimator 50 is maintained in the period t1 to t2, and the output value of the estimator 50 decreases in the period t2 to t2. can In some cases, the time period t1 to t2 does not substantially exist, and the output value of the estimator 50 may start to decrease immediately after t1.

도 6에 제시한 곡선을 시간에 따라 실시간으로 관측할 경우, 이상적으로는 t1 시점에 상기 전기자극의 종료를 명령해야 하지만, 연골세포의 분화량이 최대값에 도달했는지 여부를 상기 추정부의 출력값을 관찰하여 결정하기 위해서는 어느 정도의 시간 지연이 필요하기 때문에 실질적으로는 t1 시점 이후에 전기자극의 종료가 명령될 수 있다.When the curve shown in FIG. 6 is observed in real time over time, ideally the termination of the electrical stimulation should be commanded at time t1, but the output value of the estimator is observed to determine whether the amount of differentiation of chondrocytes has reached the maximum value. Since a certain amount of time delay is required to determine this, the termination of the electrical stimulation can be commanded after the t1 time point.

상술한 본 발명은 줄기세포로부터 연골세포를 분화하는 실시예가 아니라 피부세포로부터 연골세포를 분화하는 실시예에도 동일하게 적용될 수 있다. 따라서 상술한 실시예들에서 줄기세포 배양액은 피부세포 배양액으로 치환되어 적용될 수 있다.The present invention described above can be equally applied to the embodiment of differentiating chondrocytes from skin cells, not the embodiment of differentiating chondrocytes from stem cells. Therefore, in the above-described embodiments, the stem cell culture solution may be substituted for the skin cell culture solution.

상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.By using the above-described embodiments of the present invention, those skilled in the art will be able to easily implement various changes and modifications within the scope without departing from the essential characteristics of the present invention. The content of each claim in the claims may be combined with other claims without reference within the scope that can be understood through this specification.

10: 배양기
20: 한 쌍의 전극
30: 구동전류 제어부
50: 추정부
40: 촬영장치
510: 신경망부
100:전기자극 시스템
10: incubator
20: a pair of electrodes
30: drive current control unit
50: estimator
40: shooting device
510: neural network
100: electrical stimulation system

Claims (9)

배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하도록 되어 있는 구동전류 제어부(30);
소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 추정부(50)에 제공하도록 되어 있는 촬영장치(40); 및
신경망부(510)를 포함하며, 상기 복수 개의 촬영이미지들 각각을 상기 신경망부(510)의 입력층에 입력하여 상기 신경망부(510)로부터 일련의 출력 라벨값들을 출력하도록 되어 있는 추정부(50);
를 포함하며,
상기 신경망부는,
상기 배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하여, 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 획득하는 단계,
상기 복수 개의 촬영이미지들을 이용하여 상기 신경망부를 학습시키기 위하여, 상기 복수 개의 촬영이미지들에 대응하는 한 세트의 라벨을 준비하는 단계, 및
선택된 상기 촬영이미지를 상기 신경망부에 입력하여 상기 신경망부가 출력한 라벨값과 상기 선택된 촬영이미지에 대응하는 상기 라벨의 값 간의 오차를 감소시키도록 상기 신경망부의 내부 라벨값을 갱신하는 단계,
를 포함하는 신경망부의 학습방법에 의해 학습된 것이며,
상기 한 세트의 라벨을 준비하는 단계는, 상기 복수 개의 촬영이미지들 중 사용자에 의해 선택된 촬영이미지인 기준 촬영이미지에 미리 결정된 특정 값을 갖는 기준라벨을 상기 사용자가 할당하는 단계; 및 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들에 소정의 규칙에 따라 라벨들을 할당하는 단계를 포함하며,
상기 일련의 출력 라벨값들의 시간에 따른 히스토리를 기초로 상기 전기자극의 제공의 종료시점을 결정하도록 되어 있는,
전기자극 제어시스템.
a driving current control unit 30 configured to provide electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10;
a photographing device 40 configured to provide a plurality of photographed images obtained by photographing the stem cell culture medium at predetermined time intervals to the estimator 50; and
An estimator 50 including a neural network unit 510 and configured to input each of the plurality of photographed images to an input layer of the neural network unit 510 and output a series of output label values from the neural network unit 510 . );
includes,
The neural network unit,
providing electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10 to obtain a plurality of photographed images obtained by photographing the stem cell culture medium at a predetermined time interval;
preparing a set of labels corresponding to the plurality of photographed images in order to train the neural network unit using the plurality of photographed images; and
inputting the selected photographed image to the neural network unit and updating the internal label value of the neural network unit to reduce an error between the label value output by the neural network unit and the label value corresponding to the selected photographed image;
It is learned by the learning method of the neural network including
The preparing of the set of labels may include: allocating, by the user, a reference label having a predetermined specific value to a reference photographed image that is a photographed image selected by the user from among the plurality of photographed images; and allocating labels according to a predetermined rule to the remaining photographed images except for the reference photographed image among the plurality of photographed images,
and determine an end point of presentation of the electrical stimulation based on a history of the series of output label values over time.
Electrical stimulation control system.
제1항에 있어서, 상기 신경망부는, 상기 신경망부에 입력되는 상기 촬영이미지 내에 포함된 연골세포의 군집영역의 넓이가 감소할수록 상기 출력 라벨값을 더 큰 값으로 출력하도록 지도학습 되어 있는 것인, 전기자극 제어시스템.The method according to claim 1, wherein the neural network unit is supervised to output the output label value as a larger value as the area of the cluster region of chondrocytes included in the photographed image input to the neural network unit decreases. Electrical stimulation control system. 제1항에 있어서, 상기 일련의 출력 라벨값들이 시간에 따라 더 이상 증가하지 않는다고 판단되는 시점에 상기 전기자극의 제공의 종료를 결정하도록 되어 있는, 전기자극 제어시스템.The electrical stimulation control system according to claim 1, arranged to determine the end of the provision of the electrical stimulation at a point in time when it is determined that the set of output label values no longer increases with time. 제1항에 있어서,
상기 소정의 규칙에 따라 라벨들을 할당하는 단계는,
상기 나머지 촬영이미지들 중 선택된 촬영이미지를 상기 배양기의 가장자리부를 포함하는 외부영역과 상기 외부영역 내부의 내부영역의 2개의 영역으로 구분하는 단계; 및
상기 내부영역의 넓이를 기초로 상기 선택된 촬영이미지에 대한 라벨의 값을 결정하는 단계;
를 포함하는,
전기자극 제어시스템.
According to claim 1,
Allocating labels according to the predetermined rule comprises:
dividing the selected photographed image among the remaining photographed images into two regions: an outer region including an edge of the incubator and an inner region inside the outer region; and
determining a label value for the selected photographed image based on an area of the inner region;
containing,
Electrical stimulation control system.
제4항에 있어서,
상기 선택된 촬영이미지에 대한 라벨의 값은, 상기 미리 결정된 특정 값을 갖는 상기 기준라벨의 값에 상기 내부영역의 넓이를 기초로 산출한 분화량을 곱하여 얻은 제1값을 기준 분화량으로 나눈 값이고,
상기 기준 분화량은 상기 기준 촬영이미지로부터 추정되는 연골세포의 분화량이며,
상기 내부영역의 넓이를 기초로 산출한 분화량은 상기 내부영역의 면적에 반비례하는,
전기자극 제어시스템.
5. The method of claim 4,
The value of the label for the selected photographed image is a value obtained by multiplying the value of the reference label having the predetermined specific value by the differentiation amount calculated based on the area of the inner region divided by the reference differentiation amount, ,
The reference differentiation amount is the differentiation amount of chondrocytes estimated from the reference photographed image,
The amount of differentiation calculated based on the area of the inner area is inversely proportional to the area of the inner area,
Electrical stimulation control system.
제4항에 있어서,
상기 2개의 영역으로 구분하는 단계는,
상기 선택된 촬영이미지 중 상기 배양기를 나타내는 배양기 이미지의 가장자리 중 복수 개의 외곽지점들을 선택하는 단계;
각각의 상기 외곽지점에 대하여, 상기 외곽지점으로부터 상기 배양기 이미지의 중심점을 연결한 라인을 따라 관찰하였을 때에 상기 선택된 촬영이미지의 이미지 속성값이 가장 급격하게 변화하는 지점을 내측지점으로 선택하는 단계;
각각의 상기 외곽지점에 대하여 선택된 복수 개의 상기 내측지점들을 서로 연결한 폐곡선을 상기 내부영역의 외측 바운더리로 결정하여 상기 내부영역을 결정하는 단계; 및
상기 폐곡선의 외측부분을 상기 외부영역으로 결정하는 단계;
를 포함하는,
전기자극 제어시스템.
5. The method of claim 4,
The step of dividing into the two areas is,
selecting a plurality of outer points among edges of an incubator image representing the incubator from among the selected photographed images;
selecting, as an inner point, a point at which the image attribute value of the selected photographed image changes most rapidly when observed along a line connecting the center point of the incubator image from the outer point to each of the outer points;
determining the inner region by determining a closed curve connecting the plurality of inner points selected for each of the outer points to an outer boundary of the inner region; and
determining an outer portion of the closed curve as the outer region;
containing,
Electrical stimulation control system.
배양기(10)에 담긴 줄기세포 배양액에 소정의 전류패턴에 따라 전기자극을 제공하여, 소정의 시간 간격으로 상기 줄기세포 배양액을 촬영한 복수 개의 촬영이미지들을 획득하는 단계;
상기 복수 개의 촬영이미지들을 이용하여 신경망부를 학습시키기 위하여, 상기 복수 개의 촬영이미지들에 대응하는 한 세트의 라벨을 준비하는 단계; 및
선택된 상기 촬영이미지를 상기 신경망부에 입력하여 상기 신경망부가 출력한 라벨값과 상기 선택된 촬영이미지에 대응하는 상기 라벨의 값 간의 오차를 감소시키도록 상기 신경망부의 내부 라벨값을 갱신하는 단계;
를 포함하며,
상기 한 세트의 라벨을 준비하는 단계는, 상기 복수 개의 촬영이미지들 중 사용자에 의해 선택된 기준 촬영이미지에 미리 결정된 특정 값을 갖는 기준라벨을 상기 사용자가 할당하는 단계; 및 상기 복수 개의 촬영이미지들 중 상기 기준 촬영이미지를 제외한 나머지 촬영이미지들에 소정의 규칙에 따라 라벨들을 할당하는 단계를 포함하며,
상기 소정의 규칙에 따라 라벨들을 할당하는 단계는,
상기 나머지 촬영이미지들 중 선택된 촬영이미지를 상기 배양기의 가장자리부를 포함하는 외부영역과 상기 외부영역 내부의 내부영역의 2개의 영역으로 구분하는 단계, 및
상기 내부영역의 넓이를 기초로 상기 선택된 촬영이미지에 대한 라벨의 값을 결정하는 단계,
를 포함하며,
상기 선택된 촬영이미지에 대한 라벨의 값은, 상기 미리 결정된 특정 값을 갖는 상기 기준라벨의 값에 상기 내부영역의 넓이를 기초로 산출한 분화량을 곱하여 얻은 제1값을 기준 분화량으로 나눈 값이고,
상기 기준 분화량은 상기 기준 촬영이미지로부터 추정되는 연골세포의 분화량이며,
상기 내부영역의 넓이를 기초로 산출한 분화량은 상기 내부영역의 면적에 반비례하는,
신경망부의 학습방법.
providing electrical stimulation according to a predetermined current pattern to the stem cell culture medium contained in the incubator 10 to obtain a plurality of photographed images obtained by photographing the stem cell culture medium at predetermined time intervals;
preparing a set of labels corresponding to the plurality of photographed images in order to train the neural network unit using the plurality of photographed images; and
inputting the selected photographed image to the neural network unit and updating an internal label value of the neural network unit to reduce an error between the label value output by the neural network unit and the label value corresponding to the selected photographed image;
includes,
The preparing of the set of labels may include: allocating, by the user, a reference label having a predetermined specific value to a reference photographed image selected by the user from among the plurality of photographed images; and allocating labels according to a predetermined rule to the remaining photographed images except for the reference photographed image among the plurality of photographed images,
Allocating labels according to the predetermined rule comprises:
dividing the selected photographed image among the remaining photographed images into two regions, an outer region including an edge of the incubator and an inner region inside the outer region, and
determining a label value for the selected photographed image based on the area of the inner region;
includes,
The value of the label for the selected photographed image is a value obtained by multiplying the value of the reference label having the predetermined specific value by the differentiation amount calculated based on the area of the inner region divided by the reference differentiation amount, ,
The reference differentiation amount is the differentiation amount of chondrocytes estimated from the reference photographed image,
The amount of differentiation calculated based on the area of the inner area is inversely proportional to the area of the inner area,
The learning method of the neural network.
삭제delete 제7항에 있어서,
상기 2개의 영역으로 구분하는 단계는,
상기 선택된 촬영이미지 중 상기 배양기를 나타내는 배양기 이미지의 가장자리 중 복수 개의 외곽지점들을 선택하는 단계;
각각의 상기 외곽지점에 대하여, 상기 외곽지점으로부터 상기 배양기 이미지의 중심점을 연결한 라인을 따라 관찰하였을 때에 상기 선택된 촬영이미지의 이미지 속성값이 가장 급격하게 변화하는 지점을 내측지점으로 선택하는 단계;
각각의 상기 외곽지점에 대하여 선택된 복수 개의 상기 내측지점들을 서로 연결한 폐곡선을 상기 내부영역의 외측 바운더리로 결정하여 상기 내부영역을 결정하는 단계; 및
상기 폐곡선의 외측부분을 상기 외부영역으로 결정하는 단계;
를 포함하는,
신경망부의 학습방법.
8. The method of claim 7,
The step of dividing into the two areas is,
selecting a plurality of outer points among edges of an incubator image representing the incubator from among the selected photographed images;
selecting, as an inner point, a point at which the image attribute value of the selected photographed image changes most rapidly when observed along a line connecting the center point of the incubator image from the outer point to each of the outer points;
determining the inner region by determining a closed curve connecting the plurality of inner points selected for each of the outer points to an outer boundary of the inner region; and
determining an outer portion of the closed curve as the outer region;
containing,
The learning method of the neural network.
KR1020200073433A 2020-06-17 2020-06-17 Integrated system of electro-stimulation for optimal differentiation of stem cells KR102423304B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200073433A KR102423304B1 (en) 2020-06-17 2020-06-17 Integrated system of electro-stimulation for optimal differentiation of stem cells

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200073433A KR102423304B1 (en) 2020-06-17 2020-06-17 Integrated system of electro-stimulation for optimal differentiation of stem cells

Publications (2)

Publication Number Publication Date
KR20210155927A KR20210155927A (en) 2021-12-24
KR102423304B1 true KR102423304B1 (en) 2022-07-25

Family

ID=79176301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200073433A KR102423304B1 (en) 2020-06-17 2020-06-17 Integrated system of electro-stimulation for optimal differentiation of stem cells

Country Status (1)

Country Link
KR (1) KR102423304B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953977B (en) * 2024-03-26 2024-06-11 广东美赛尔细胞生物科技有限公司 Recombinant mesenchymal stem cell culture control method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005224106A (en) * 2004-02-10 2005-08-25 Hitachi Medical Corp Cell culture apparatus
JP2013188173A (en) * 2012-03-14 2013-09-26 Panasonic Corp Method for creating cell tissue having function

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108963A (en) * 2014-03-18 2015-10-01 삼성전기주식회사 Device and method for analysis of cell

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005224106A (en) * 2004-02-10 2005-08-25 Hitachi Medical Corp Cell culture apparatus
JP2013188173A (en) * 2012-03-14 2013-09-26 Panasonic Corp Method for creating cell tissue having function

Also Published As

Publication number Publication date
KR20210155927A (en) 2021-12-24

Similar Documents

Publication Publication Date Title
US20230123406A1 (en) Automated program optimization
Kolling et al. (Reinforcement?) Learning to forage optimally
KR102423304B1 (en) Integrated system of electro-stimulation for optimal differentiation of stem cells
CN111569225B (en) System and method for real-time functional magnetic resonance nerve feedback regulation cognitive control
CN112842149A (en) Control method of intelligent cleaning equipment and intelligent cleaning equipment
Hagmayer et al. Repeated causal decision making.
CN113795298A (en) User-weighted closed-loop adjustment of neuromodulation therapy
CN108392735A (en) A kind of electro photoluminescence method of adjustment, device and wearable device
Radulescu et al. The effects of aging on the interaction between reinforcement learning and attention.
Lu et al. A new approach to image segmentation based on simplified region growing PCNN
CN110134165A (en) A kind of intensified learning method and system for environmental monitoring and control
CN103838972A (en) Quantum coordination game implementation method for attribute reduction of MRI (magnetic resonance imaging) medical records
Bonato et al. Evidence of motor intentions in plants: A kinematical study.
Rickert et al. Differential performance of hippocampally ablated rats on nondiscriminated and discriminated DRL schedules
Kovacs et al. A neurocomputational theory of how rule-guided behaviors become automatic.
KR20230091537A (en) Integrated system of electro-stimulation for optimal differentiation of stem cells
EP2166528A1 (en) Method and system for an adaptive learning strategy
CN108520525A (en) A kind of spinal cord dividing method based on convex constraint seed region growth
CN108319367A (en) A kind of brain-machine interface method
Bechtel Decomposing and localizing vision: An exemplar for cognitive neuroscience
Karalus et al. Accelerating the learning of TAMER with counterfactual explanations
Kennedy Methods of agreement: Inference among the eleMentals
Gogliettino et al. High-fidelity restoration of visual signals by electrical stimulation in the central primate retina
KR20230047298A (en) Cartilage precursor cell aggregation structure forming apparatus and method
CN111242298A (en) Training method and device for random network, storage medium and processor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant