KR102454880B1 - 학습된 딥러닝 모델을 이용한 cfu 인식 방법 - Google Patents

Abstract

본 발명은 학습된 딥러닝 모델을 이용한 CFU 인식 방법을 개시한다. 상기 CFU 인식 방법은, 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서, 상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계, 수신된 상기 이미지 데이터를 전처리하는 단계, 상기 전처리된 이미지 데이터를 대상으로, 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계 및 상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 하나 이상의 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 상기 CFU의 숫자를 도출한다.

Description

학습된 딥러닝 모델을 이용한 CFU 인식 방법{CFU recognition method using learned deep-learning model}

본 발명은 사용자 단말기를 통해 수신된 이미지 데이터를 전처리하고, 미리 학습된 복수의 딥러닝 모델을 이용하여 사용자에게 적합한 결과 데이터를 도출하기 위한 CFU 인식 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

최근 실험실에서 생성 또는 사용되는 정보를 저장하고 저장된 데이터를 관리하며 사용자가 원하는 형식으로 조회하여 활용할 수 있는 시스템인 실험실 정보 관리 시스템(Laboratory Information Management System; 이하 LIMS)에 대한 이용이 증가하고 있다.

또한, LIMS 기술은 다양한 기술분야와 접목되어 실시되고 있으며, 미생물 시험에 있어 정성적이고 수작업으로 진행되는 시험 공정에 대한 자동화를 통해 데이터의 무결성을 보증하는 품질보증시스템에 대한 필요성이 증가되고 있다.

예를 들어, 종래의 미생물 시험 방법에서는 미생물 배지에 대한 사진을 촬영하고, 촬영된 이미지에 마크를 표시하고, 미리 지정된 템플릿에 해당 사진을 삽입하여 결재를 수행하는 단계를 수작업으로 진행하기에, 데이터의 무결성이 보장되지 않고, 데이터 취합 속도가 느린 한계가 있었다.

이에 최근에는 LIMS 기술을 이용하여 미생물 배지에서 이미지 데이터를 추출하고, 집락형성단위인 CFU(Colony Forming Unit; 이하 CFU)의 수를 자동으로 카운팅하는 CFU 인식 방법이 사용되고 있다.

다만, 종래의 CFU 인식 방법은 미생물 배지와 집락 간의 위상차를 이용하는 방식을 취하고 있어, CFU 인식에 대해 정확성이 떨어지는 문제점이 있었다. 따라서, CFU 인식에 대한 정확성을 높이고, 결과 데이터를 자동으로 문서화하는 시스템에 대한 니즈가 존재하였다.

본 발명의 목적은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅의 정확도와 무결성을 확보할 수 있는 CFU 인식 방법을 제공하는 것이다.

또한, 본 발명의 목적은, 촬영된 이미지의 전처리 과정 및 데이터 증강 과정을 통해 복수의 딥러닝 모델을 학습시킴으로써, CFU 카운팅의 정확도와 무결성을 향상시킬 수 있는 CFU 인식 방법을 제공하는 것이다.

또한, 본 발명의 목적은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 자동으로 템플릿에 입력하여 전자문서화 할 수 있는 CFU 인식 방법을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 실시예에 따른 CFU 인식 방법은, 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서, 상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계, 수신된 상기 이미지 데이터를 전처리하는 단계, 상기 전처리된 이미지 데이터를 대상으로, 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계 및 상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 하나 이상의 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 상기 CFU의 숫자를 도출한다.

또한, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 복수의 딥러닝 모델을 수신하고, 상기 복수의 딥러닝 모델에 상기 전처리된 이미지 데이터를 입력하고, 상기 복수의 딥러닝 모델에 대한 각각의 중간 데이터를 도출하고, 상기 각각의 중간 데이터를 서로 비교하여, 상기 결과 데이터를 도출하는 것을 포함한다.

또한, 상기 결과 데이터는, 상기 미생물 배지에 형성된 집락의 계수를 카운팅한 계수 데이터, 상기 미생물 배지에서 상기 집락이 형성된 위치를 표시하는 좌표 데이터 및 상기 미생물 배지에서 상기 집락의 경계를 표시하는 경계 데이터 중 적어도 하나를 포함한다.

또한, 상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 받고, 이에 대한 출력으로 상기 계수 데이터 또는 상기 좌표 데이터를 출력한다.

또한, 상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 노드로 하는 입력 레이어와, 상기 계수 데이터 또는 상기 좌표 데이터를 출력 노드로 하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 딥러닝 모델의 학습 과정에 의해 업데이트된다.

또한, 상기 경계 데이터에 포함된 상기 집락의 경계를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계와, 상기 좌표 데이터를 기초로 생성된 바운딩 박스를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계 중 어느 하나를 더 포함한다.

또한, 상기 딥러닝 모델을 학습시키는 단계를 더 포함하되, 상기 딥러닝 모델을 학습시키는 단계는, 상기 이미지 데이터에 대응되는 결과 데이터를 추가로 수신하는 단계와, 상기 전처리된 이미지 데이터를 기초로, 하나 이상의 이미지 변환과정을 이용하여 증강된 이미지 데이터를 생성하는 단계와, 상기 전처리된 이미지 데이터 및 상기 증강된 이미지 데이터와, 이에 대응되는 상기 결과 데이터를 포함하는 학습 데이터를 이용하여 상기 딥러닝 모델을 학습시키는 단계를 포함한다.

또한, 상기 학습 데이터를 정보 수집부에 저장하는 단계와, 상기 정보 수집부에 저장된 상기 학습 데이터를 기초로 학습된 복수의 딥러닝 모델을 딥러닝 메모리부에 저장하는 단계를 더 포함하고, 상기 CFU의 숫자를 카운팅하는 단계는,

상기 딥러닝 메모리부에 저장된 하나 이상의 상기 딥러닝 모델을 이용하여 상기 CFU의 숫자를 도출하는 것을 포함한다.

또한, 상기 전처리하는 단계는, 상기 이미지 데이터의 크기를 조절하는 스케일링 단계와, 상기 이미지 데이터의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절하는 정규화 단계와, 상기 이미지 데이터를 미리 저장된 필터를 이용하여 필터링하는 이미지 필터링 단계 중 적어도 하나를 수행하는 것을 포함한다.

또한, 상기 결과 데이터에 포함된 정보를 미리 정해진 템플릿에 입력하여, 상기 수신된 이미지 데이터에 대응되는 문서 데이터를 생성하는 단계와, 상기 생성된 문서 데이터를 상기 사용자 단말기에 전달하는 단계를 더 포함한다.

본 발명의 CFU 인식 방법은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅을 수행할 수 있다. 이를 통해, 본 발명은 CFU 카운팅의 정확도를 높이고, CFU 인식에 필요한 시간을 감소시킬 수 있다.

또한, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.

또한, 본 발명의 CFU 인식 방법은, 전술한 방법으로 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 이를 통해, 본 발명은, 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.

상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 개념도이다.
도 2는 도 1의 CFU 인식 방법을 수행하는 시스템의 구성요소를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 CFU 인식 방법을 설명하기 위한 순서도이다.
도 4는 도 2의 CFU 카운팅 모듈을 설명하기 위한 도면이다.
도 5는 도 3의 CFU의 숫자를 카운팅하는 단계에 대한 몇몇 예시를 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 학습단계를 설명하기 위한 블록도이다.
도 7은 도 6의 딥러닝 모델의 학습단계를 설명하기 위한 순서도이다.
도 8은 도 7의 이미지 데이터에 대한 전처리 단계를 설명하기 위한 순서도이다.
도 9는 도 6의 딥러닝 모델의 구성을 예시적으로 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 수행단계를 설명하기 위한 블록도이다.
도 11은 도 10의 딥러닝 모델의 수행단계를 설명하기 위한 순서도이다.
도 12는 본 발명의 몇몇 실시예에 따른 결과 데이터를 설명하기 위한 도면이다.
도 13은 본 발명의 결과 데이터를 표시하는 인터페이스 화면의 예시도이다.
도 14는 본 발명의 문서 데이터를 설명하기 위한 인터페이스 화면의 예시도이다.
도 15는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 도면이다.

본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.

본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.

이하에서는, 도 1 내지 도 15를 참조하여, 본 발명의 몇몇 실시예에 따른 CFU 인식 방법 및 이를 수행하는 CFU 인식 시스템에 대해 자세히 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 CFU 인식 시스템을 설명하기 위한 개념도이다.

도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 CFU 인식 시스템은, CFU 인식 서버(100) 및 사용자 단말기(200)로 구성될 수 있다.

CFU 인식 서버(100)(이하, 서버)와 사용자 단말기(200)는 서버-클라이언트 시스템으로 구현될 수 있다. 이때, 서버(100)는 하나 이상의 딥러닝 모델(DL)를 선정하고, 딥러닝 모델(DL)에서 출력된 데이터를 기초로 도출된 결과 데이터 또는 문서 데이터를 사용자 단말기(200)에 제공할 수 있다. 서버(100)는 유무선 네트워크를 통해 사용자 단말기(200)와 데이터를 송수신할 수 있다.

구체적으로, 서버(100)는 각각의 사용자 단말기(200)로부터 수신된 데이터들에 기초한 빅데이터 분석기술을 이용하여 각 사용자의 데이터를 전처리하고, 이를 통해 데이터에 포함된 CFU의 숫자를 카운팅할 수 있다. 또한, CFU의 숫자를 포함하는 결과 데이터(RD)를 제공하기 위하여, 데이터 분석에 적합한 딥러닝 모델(DL)을 선정하여 이용할 수 있다.

이 과정에서 서버(100)는 복수의 사용자 데이터로 구성된 학습 데이터(TD)를 기초로 학습된 딥러닝 모델(TL)을 이용하여 CFU의 숫자를 카운팅하고, 이에 대응되는 결과를 제공할 수 있다.

딥러닝 모델에 대한 구체적인 설명은 도 4 내지 도 11을 참조하여 자세히 후술하도록 한다.

서버(100)는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법의 수행주체가 될 수 있다. 구체적으로, 서버(100)는 사용자 단말기(200)로부터 이미지 데이터(ID)를 수신할 수 있다. 이때, 이미지 데이터(ID)는 미생물 배지에 대한 이미지 및 정보를 포함할 수 있다.

이어서, 서버(100)는 수신된 이미지 데이터(ID)를 이용하여 사용자에게 적합한 딥러닝 모델(DL)를 선정하고, 이를 이용하여 도출된 결과 데이터(RD)를 사용자 단말기(200)에 제공할 수 있다.

이때, 사용자 단말기(200)에는 서버(100)와 통신하는데 이용되는 전용 어플리케이션이 설치될 수 있다. 사용자는 사용자 단말기(200)에 설치된 전용 어플리케이션을 통해, 이미지 데이터(ID)를 전송하거나. 결과 데이터(RD)를 수신 및 표시할 수 있다.

또한, 본 발명의 CFU 인식 방법은 서버(100)에서만 수행되거나, 서버(100)와 사용자 단말기(200)에 각 단계가 분할되어 실시될 수 있다. 다만, 이하에서는 설명의 편의를 위해서, CFU 인식 방법이 서버(100)에서 수행되는 것을 전제로 설명하도록 한다.

본 발명의 몇몇 실시예에서, 사용자 단말기(200)는 퍼스널 컴퓨터(PC), 노트북, 태블릿, 휴대폰, 스마트폰, 웨어러블 디바이스(예를 들어, 워치형 단말기) 등의 다양한 전자 장치 중 적어도 하나를 의미할 수 있다.

또한, 사용자 단말기(200)는 사용자의 입력을 수신하는 입력부, 비주얼 정보를 디스플레이하는 디스플레이부, 외부와 신호를 송수신하는 통신부 및 데이터를 프로세싱하고 사용자 단말기(200) 내부의 각 유닛들을 제어하며 유닛들 간의 데이터 송/수신을 제어하는 제어부를 포함할 수 있다. 이하에서는, 사용자의 명령에 따라 제어부가 사용자 단말기(200) 내부에서 수행하는 것은 사용자 단말기(200)가 수행하는 것으로 통칭한다.

한편, 서버(100)는 통신망을 통해 사용자 단말기(200)에 정보나 서비스를 제공하는 컴퓨터 시스템으로 컴퓨터 프로그램(computer program) 또는 장치(device)를 의미할 수 있다.

또한, 본 발명의 서버(100)는 특정 업체나 개인에 의해 직접 운영 내지 관리되거나 외부에 위탁될 수 있으며, 동일한 주체에 의해 운영될 수 있다.

또한, 서버(100)의 명칭은 특정된 것이 아니기 때문에, 특정 서버에서 수행하는 기능은 다른 서버에서 역시 수행할 수 있을 뿐만 아니라, 하나의 서버에서 수행되는 기능은 다수의 서버에서 분리되어 수행될 수 있음은 물론이다.

이하에서는, 본 발명의 몇몇 실시예에 따른 CFU 인식 방법에 대해 구체적으로 살펴보도록 한다.

도 2는 도 1의 CFU 인식 방법을 수행하는 시스템의 구성요소를 설명하기 위한 블록도이다. 도 3은 본 발명의 실시예에 따른 CFU 인식 방법을 설명하기 위한 순서도이다. 도 4는 도 2의 CFU 카운팅 모듈을 설명하기 위한 도면이다. 도 5는 도 3의 CFU의 숫자를 카운팅하는 단계에 대한 몇몇 예시를 설명하기 위한 순서도이다.

우선, 도 2 및 도 4를 참조하면, 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 시스템의 서버(100)는 전처리 모듈(110), 데이터 증강 모듈(120), 데이터베이스 모듈(130), 학습 모듈(140) 및 CFU 카운팅 모듈(150)을 포함할 수 있다.

전처리 모듈(110)은 사용자 단말기(200)에서 촬영된 미생물 배지에 대한 이미지 데이터(ID)를 수신할 수 있다. 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 이용하여 전처리할 수 있다.

구체적으로, 도 6을 참조하면, 전처리 모듈(110)은 크기조절부(111), 정규화부(113) 및 이미지 필터링부(115)를 포함할 수 있다.

크기조절부(111)는 이미지 데이터(ID)의 크기를 조절할 수 있다. 즉, 크기조절부(111)는 이미지 데이터(ID)를 미리 설정된 크기에 맞게 조절할 수 있다. 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)는 다양한 크기를 가질 수 있다. 따라서, 크기조절부(111)는 이미지 데이터(ID)의 크기가 일정하도록 미리 설정된 크기로 변환할 수 있다.

정규화부(113)는 이미지 데이터(ID)의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절할 수 있다. 예를 들어, 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)는 서로 다른 촬영 환경에서 촬영됨에 따라 밝기가 고르지 않거나, 이미지에 음영이 포함될 수 있다. 이에, 정규화부(113)는 이미지 데이터(ID)의 밝기 및 음영을 미리 설정된 범위에 포함되도록 이미지 데이터(ID)를 조절할 수 있다. 다만, 본 실시예가 이에 한정되는 것은 아니며, 이미지 데이터(ID)의 대비, 채도 및 색 등을 조절할 수 있음은 물론이다.

또한, 정규화부(113)는 가우시안 필터(gaussian filter)를 이용하여 이미지 데이터(ID)를 정규화 할 수 있다. 다만, 정규화부(113)에서 이용되는 필터 및 정규화 방법은 다양하게 변형되어 실시될 수 있음은 물론이다.

이미지 필터링부(115)는 이미지 데이터(ID)를 미리 저장된 필터를 이용하여 필터링할 수 있다. 이미지 필터링부(115)에서 이용되는 필터는 가우시안 필터(gaussian filter), 이진화 필터(binarization filter), 거리 변환 필터(distance transformation filter), 경계 필터(watershed segmentation filter), 클리닝 필터(cleaning filter), 컬러 필터(color filter) 등을 포함할 수 있다.

예를 들어, 이미지 필터링부(115)는 이미지 데이터(ID)에 컬러 필터를 적용하여 이미지 데이터(ID)의 컬러 대비를 키우고 이를 기초로 CFU와 배양액의 경계선을 명확히 도출할 수 있다. 또한, 이미지 필터링부(115)는 복수의 필터를 이용하여 후술할 경계 데이터(BD)를 도출할 수 있다.

다만, 전술한 필터와 관련된 내용은 본 발명의 몇몇의 예시에 불과하고, 본 발명에서는 이미지 데이터(ID)를 필터링할 수 있는 다양한 필터가 이용될 수 있음은 물론이다.

전처리 모듈(110)은 전술한 각 구성요소 중 일부를 선택하여 이용할 수 있다. 예를 들어, 이미지 데이터(ID)는 정규화부(113)에 의해서 미리 정해진 범위 내에 포함되도록 밝기 및 음영을 조절될 수 있다. 이때, 이미지 데이터(ID)는 크기조절부(111)에 의해서 크기가 조절되지 않을 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 제한되는 것은 아니다.

데이터 증강 모듈(120)은 전처리 모듈(110)에서 전처리된 이미지 데이터(PD)를 수신할 수 있다. 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로, 하나 이상의 변환 과정을 이용하여 증강된 이미지 데이터(AD)를 생성할 수 있다.

데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로 회전, 반전, 대칭, 전환 등의 다양한 변환 과정을 이용하여 하나 이상의 증강된 이미지 데이터(AD)를 생성할 수 있다. 즉, 데이터 증강 모듈(120)은 딥러닝 모델의 학습을 위한 학습 데이터의 양을 증가시키기 위해, 수신된 이미지를 확장시키는 기능을 수행한다. 따라서, 데이터 증강 모듈(120)은 딥러닝 모델의 학습 단계에서 이용될 수 있다.

데이터베이스 모듈(130)은 정보 수집부(131) 및 딥러닝 메모리부(133)를 포함할 수 있다. 정보 수집부(131)는 데이터 증강 모듈(120)에서 수신된 각종 데이터들을 저장할 수 있다. 이때, 사용자의 계정을 별도로 분리하여 해당 사용자와 관련된 데이터들을 저장 및 관리할 수 있다.

딥러닝 메모리부(133)는 머신 러닝에 사용되는 딥러닝 모델(DL) 및 학습 데이터(TD)에 의해 학습된 딥러닝 모델(TL)을 저장할 수 있다.

이때, 학습된 딥러닝 모델(TL)은 빅데이터를 기초로 학습된 인공신경망을 이용하여, 이미지 데이터(ID)에 대한 결과 데이터(RD)를 생성할 수 있다.

보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.

딥러닝(Deep learning)은, 단계를 높여가면서 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낸다.

딥러닝 모델은 공지된 다양한 딥러닝 구조를 이용할 수 있다, 예를 들어, 딥러닝 모델은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graph Neural Network) 등의 구조를 이용할 수 있다.

구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.

RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.

GNN(Graphic Neural Network, 그래픽 인공신경망, 이하, GNN)는 특정 파라미터 간 매핑된 데이터를 기초로 모델링된 모델링 데이터를 이용하여, 모델링 데이터 간의 유사도와 특징점을 도출하는 방식으로 구현된 인공신경망 구조를 나타낸다.

한편, 딥러닝 모델의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다.

이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 딥러닝 모델은 설정에 따라 학습 후 계수 데이터(FD) 또는 좌표 데이터(CD)을 출력하기 위한 인공신경망 구조를 자동 업데이트하도록 제어될 수 있다.

학습 모듈(140)은 학습 데이터(TD)를 입력 데이터로 하는 머신 러닝(Machine learning) 기반의 인공신경망의 학습동작을 수행할 수 있다. 즉, 학습 모듈(140)은 정보 수집부(131)에 저장된 학습 데이터(TD)을 기초로, 딥러닝 메모리부(133)에 저장된 딥러닝 모델(DL)을 트레이닝 시킬 수 있다. 학습 모듈(140)에서 트레이닝된 학습된 딥러닝 모델(TL)은 딥러닝 메모리부(133)에 다시 전달되어 별도 저장 또는 기존 모델을 업데이트 할 수 있다.

한편, 도 4를 참조하면, CFU 카운팅 모듈(150)은 CFU 카운팅부(151), 데이터 처리부(153) 및 문서 데이터 생성부(155)를 포함할 수 있다.

CFU 카운팅부(151)는 전처리된 이미지 데이터(PD) 및 복수의 학습된 딥러닝 모델(TL)을 수신할 수 있다. 이때, CFU 카운팅부(151)는 복수의 학습된 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력할 수 있다.

예를 들어, CFU 카운팅부(151)는 전처리된 이미지 데이터(PD)를 제1 딥러닝 모델, 제2 딥러닝 모델 및 제3 딥러닝 모델에 입력할 수 있다. 이어서, CFU 카운팅부(151)는 제1 딥러닝 모델, 제2 딥러닝 모델 및 제3 딥러닝 모델에 대한 각각의 결과값을 취합하여 중간 데이터(MD)를 도출할 수 있다.

이어서, 데이터 처리부(153)는 CFU 카운팅부(151)로부터 중간 데이터(MD)를 수신할 수 있다. 데이터 처리부(153)는 중간 데이터(MD)에 포함된 각각의 딥러닝 모델에 대한 결과값을 서로 비교하여, 결과 데이터(RD)를 도출할 수 있다. 예를 들어, 데이터 처리부(153)는 각각의 딥러닝 모델에서 출력된 결과값이 모두 일치하는지, 서로 상이한지 판단한다. 이어서, 각각의 결과값이 서로 상이한 경우, 데이터 처리부(153)는 미리 설정된 조건을 충족하는 결과값을 선정하여 결과 데이터(RD)로 도출할 수 있다. 이때, 결과 데이터(RD)를 선정하기 위한 조건은 다양하게 변형되어 실시될 수 있음은 물론이다.

결과 데이터(RD)는 계수 데이터(FD), 좌표 데이터(CD) 및 경계 데이터(BD) 중 적어도 하나를 포함할 수 있다. 여기에서, 계수 데이터(FD)는 미생물 배지에 형성된 집락의 계수를 카운팅한 데이터를 의미하고, 좌표 데이터(CD)는 미생물 배지에서 집락이 형성된 위치를 표시하는 데이터를 의미하며, 경계 데이터(BD)는 미생물 배지에서 상기 집락의 경계를 표시하는 데이터를 의미한다.

한편, 문서 데이터 생성부(155)는 결과 데이터(RD)를 수신할 수 있다. 문서 데이터 생성부(155)는 결과 데이터(RD)를 기초로 이에 대응되는 문서 데이터(PT)를 생성할 수 있다. 즉, 문서 데이터 생성부(155)는 결과 데이터(RD)에 포함된 정보를 미리 정해진 템플릿에 입력하여, 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)에 대응하는 문서 데이터(PT)를 생성할 수 있다. 이어서, 문서 데이터 생성부(155)는 출력된 문서 데이터(PT)를 사용자 단말기(200)에 전송할 수 있다.

도 3을 참조하여 전술한 내용을 정리하면, 본 발명의 실시예에 따른 CFU 인식 방법에서, 서버(100)는 사용자 단말기(200)로부터 촬영된 이미지 데이터(ID)를 수신한다(S110).

이어서, 서버(100)는 수신된 이미지 데이터(ID)를 전처리한다(S120). 이때, 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 기초로 크기조정, 정규화 또는 필터링을 수행한 전처리된 이미지 데이터(PD)를 생성할 수 있다.

이어서, 서버(100)는 전처리된 이미지 데이터(PD)를 대상으로 딥러닝 모듈을 이용하여 이미지에 포함된 CFU의 숫자를 카운팅한다(S130).

구체적으로 도 5를 참조하면, 서버(100)는 전처리된 이미지 데이터(PD) 및 미리 학습된 딥러닝 모델(TL)을 수신한다(S131).

이어서, 서버(100)는 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력한다(S133).

이어서, 서버(100)는 딥러닝 모델(TL)의 출력값으로 구성되는 중간 데이터(MD)를 산출한다(S135). 이때, 딥러닝 모델(TL)은 전처리된 이미지 데이터(PD)를 입력 받고, 이에 대한 출력으로 계수 데이터(FD) 또는 좌표 데이터(CD)를 출력할 수 있다. 이때, 딥러닝 모델(TL)에서 출력되는 값은 중간 데이터(MD)에 포함될 수 있다.

또한, 서버(100)는 복수의 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력함으로써, 복수의 출력값을 포함하는 중간 데이터(MD)를 도출할 수 있다.

이어서, 서버(100)는 중간 데이터(MD)에서 결과 데이터(RD)를 선택한다(S137). 이때, 서버(100)는 중간 데이터(MD)에 포함된 복수의 출력값 중에서 최적의 값을 선택할 수 있다.

이어서, 서버(100)는 결과 데이터(RD)는 문서 데이터 생성부(155)로 전송할 수 있다.

이어서, 다시 도 3을 참조하면, 서버(100)는 카운팅된 CFU 숫자를 포함하는 결과 데이터(RD)를 미리 정해진 템플릿에 입력하여 전자문서화한다(S140).

이어서, 서버(100)는 전자문서화된 문서 데이터(PT) 또는 결과 데이터(RD)를 사용자 단말기(200)에 전송한다(S150).

이를 통해, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.

또한, 본 발명의 CFU 인식 방법은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 이를 통해, 본 발명은, 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.

이하에서는, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용하는 딥러닝 모델의 학습단계에 대해 자세히 살펴보도록 한다.

도 6은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 학습단계를 설명하기 위한 블록도이다. 도 7은 도 6의 딥러닝 모델의 학습단계를 설명하기 위한 순서도이다. 도 8은 도 7의 이미지 데이터에 대한 전처리 단계를 설명하기 위한 순서도이다. 도 9는 도 6의 딥러닝 모델의 구성을 예시적으로 도시한 도면이다. 이하에서는 전술한 내용과 중복되는 내용은 생략하거나 간단히 설명하고, 차이점을 위주로 설명하도록 한다.

도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용하는 딥러닝 모델의 학습단계에서, 전처리 모듈(110)은 샘플 이미지 데이터(SD) 및 결과 데이터(RD)를 수신한다(S210). 이때, 샘플 이미지 데이터(SD)는 이미지 데이터(ID)와 대응되는 데이터일 수 있으며, 결과 데이터(RD)는 샘플 이미지 데이터(SD)의 CFU 카운팅 숫자를 포함할 수 있다.

이어서, 전처리 모듈(110)은 입력된 샘플 이미지 데이터(SD)에 대한 전처리를 수행한다(S220).

예를 들어, 도 8을 참조하면, 크기조절부(111)은 샘플 이미지 데이터(SD)의 크기를 조절한다(S221). 이어서, 정규화부(113)는 샘플 이미지 데이터(SD)의 밝기 및 음영을 조절한다(S223). 이어서, 이미지 필터링부(115)는 샘플 이미지 데이터(SD)의 필터링을 수행한다(S225).

이때, 도 8에서 S221 내지 S225 단계가 순차적인 것으로 도시되었지만, 이에 제한되는 것은 아니다. 즉, S221 내지 S225 단계의 순서는 도 8과 반대일 수도 있고, S221 내지 S225 단계가 병렬적으로 수행될 수도 있다.

또한, 도 8에서 S221 내지 S225 단계가 도시되었지만, 반드시 모든 단계가 수행되는 것은 아니다. 즉, S221 단계만 수행될 수도 있고, S225 단계만 수행될 수도 있다. 다만, 이는 하나의 예시에 불과하며, 본 발명이 이에 제한되는 것은 아니다.

이어서, 다시 도 6 및 도 7를 참조하면, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 변환하여 증강된 이미지 데이터(AD)를 생성한다(S230). 이때, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로, 하나 이상의 이미지 변환 과정을 이용하여 복수의 증강된 이미지 데이터(AD)를 생성할 수 있다.

예를 들어, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 회전하여 증강된 이미지 데이터(AD)를 생성할 수 있다. 다만, 이는 하나의 예시에 불과하며, 데이터 증강 모듈(120)은 다양한 방법의 변환과정을 통해 증강된 이미지 데이터(AD)를 생성할 수 있다.

이어서, 데이터베이스 모듈(130)은 전처리된 이미지 데이터(PD) 및 증강된 이미지 데이터(AD)와 이에 대응되는 결과 데이터(RD)를 기초로 학습 데이터(TD)를 생성한다(S240). 이때, 학습 데이터(TD)는 전처리된 이미지 데이터(PD) 및 증강된 이미지 데이터(AD)와 이에 대응하는 결과 데이터(RD)를 포함할 수 있다. 생성된 학습 데이터(TD)는 정보 수집부(131)에 저장될 수 있다.

이어서, 학습 모듈(140)은 학습 데이터(TD)를 이용하여 딥러닝 모델(DL)에 대한 트레이닝 수행한다(S250). 이때, 딥러닝 모델(DL)은 데이터베이스 모듈(130)의 딥러닝 메모리부(133)에 저장되어 이용될 수 있다.

학습 모듈(140)은 학습 데이터(TD)를 입력 받고, 이를 기초로 딥러닝 모델(DL)을 학습시킬 수 있다. 예를 들어, 학습 모듈(140)은 딥러닝 모델(DL)의 입력노드에 전처리된 이미지 데이터(PD) 또는 증강된 이미지 데이터(AD)을 인가하고, 출력노드에 CFU 카운팅 수를 포함하는 결과 데이터(RD)를 입력함으로써 딥러닝 모델(DL)을 학습시킬 수 있다.

이어서, 데이터베이스 모듈(130)은 학습된 딥러닝 모델(TL)을 저장한다(S260). 이때, 서버(100)는 정보 수집부(131)에 저장된 학습 데이터(TD)를 기초로 복수의 학습된 딥러닝 모델(TL)을 딥러닝 메모리부(133)에 저장할 수 있다.

추가적으로, 도 9를 참조하면, 딥러닝 모델(DL)은 이미지 데이터(ID) 또는 증강된 이미지 데이터(AD)를 입력노드로 하는 입력 레이어(input)와, 계수 데이터(FD) 또는 좌표 데이터(CD)를 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함할 수 있다.

여기서, 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.

딥러닝 모델(DL)이 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들(즉, 이미지 데이터)과 출력노드로 할당되는 값(즉, 계수 데이터 또는 좌표 데이터) 사이의 매칭이 이루어질 수 있다.

추가적으로, 클라우드 서버(미도시)를 이용하는 경우, 딥러닝 모델(DL)은 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 딥러닝 모델(DL)은 방대한 데이터에 기반하여 학습을 수행할 수 있다.

딥러닝 모델(DL)을 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 딥러닝 모델(DL)의 학습 과정에 의해 업데이트될 수 있다. 또한, 딥러닝 모델(DL)에서 출력되는 파라미터는 계수 데이터(FD) 또는 좌표 데이터(CD) 외에도 다양한 데이터로 추가 확장될 수 있음은 물론이다.

이하에서는, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용되는 딥러닝 모델의 수행단계에 대해 자세히 살펴보도록 한다.

도 10은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 수행단계를 설명하기 위한 블록도이다. 도 11은 도 10의 딥러닝 모델의 수행단계를 설명하기 위한 순서도이다. 마찬가지로, 이하에서는 전술한 내용과 중복되는 내용은 생략하거나 간단히 설명하고, 차이점을 위주로 설명하도록 한다.

도 10 및 도 11을 참조하면, 전처리 모듈(110)은 이미지 데이터(ID)를 수신한다(S310).

이어서, 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 기초로 전처리된 이미지 데이터(PD)를 생성한다(S320).

이어서, CFU 카운팅 모듈(150)은 전처리된 이미지 데이터(PD)를 기초로 미리 학습된 딥러닝 모델(TL)을 이용하여 결과 데이터(RD)를 생성한다(S330). 이때, CFU 카운팅 모듈(150)은 딥러닝 메모리부(133)에 저장된 하나 이상의 딥러닝 모델(TL)을 이용하여 CFU 카운팅값을 도출한다. 만약, 복수의 딥러닝 모델(TL)을 이용하는 경우, 복수의 CFU 카운팅값을 서로 비교함으로써, 최종 CFU 카운팅값을 선정할 수 있다.

이어서, CFU 카운팅 모듈(150)은 결과 데이터(RD)를 미리 정해진 템플릿에 입력하여 문서 데이터(PT)를 생성한다(S340).

이이서, CFU 카운팅 모듈(150)은 결과 데이터(RD) 또는 문서 데이터(PT)를 사용자 단말기(200)에 전송한다(S350). 이때, 사용자 단말기(200)에 수신되는 결과 데이터(RD) 또는 문서 데이터(PT)의 종류 및 형태는 사용자에 의해서 선택될 수 있다. 이때, 사용자는 미리 설정된 세팅을 통하여 수신할 데이터의 종류를 결정할 수 있다.

예를 들어, 사용자 단말기(200)는 계수 데이터(FD) 또는 좌표 데이터(CD)를 수신할 수 있고, 계수 데이터(FD) 또는 경계 데이터(BD)를 수신할 수도 있다. 또한, 다만, 이는 하나의 예시에 불과하며, 본 발명은 이에 제한되는 것은 아니다.

이하에서는, 사용자 단말기(200)가 수신하는 결과 데이터(RD) 또는 문서 데이터(PT)에 대해 예를 들어 설명하도록 한다.

도 12는 본 발명의 몇몇 실시예에 따른 결과 데이터를 설명하기 위한 도면이다.

도 12를 참조하면, 결과 데이터(RD)는 계수 데이터(FD), 좌표 데이터(CD) 및 경계 데이터(BD) 중 적어도 하나를 포함할 수 있다. 이때, 결과 데이터(RD)는 딥러닝 모델의 출력 데이터의 종류에 따라 다양한 타입으로 구분될 수 있다.

예를 들어, 결과 데이터(RD)가 제1 타입(type 1)인 경우, 딥러닝 모델의 출력값은 계수 데이터(FD)가 되고, 사용자 단말기(200)에 출력되는 결과 데이터(RD)에는 계수 데이터(FD) 및 경계 데이터(BD)가 포함될 수 있다. 여기에서, 경계 데이터(BD)는 전술한 전처리 모듈(110)에 의해 생성될 수 있다.

이어서, 사용자 단말기(200)의 화면에는 촬영된 이미지 데이터(ID) 상에 경계 데이터(BD)가 오버랩되어 표시될 수 있다. 또한, 이미지 데이터(ID)를 기초로 도출된 계수 데이터(FD)가 화면에 표시될 수 있다.

다른 예로, 결과 데이터(RD)가 제2 타입(type 2)인 경우, 딥러닝 모델의 출력값은 좌표 데이터(CD)가 되고, 사용자 단말기(200)에 출력되는 결과 데이터(RD)에는 좌표 데이터(CD)가 포함될 수 있다. 여기에서, 좌표 데이터(CD)는 x축, y축, x축 크기, y축 크기를 포함하는 데이터셋의 집합일 수 있다.

이어서, 사용자 단말기(200)의 화면에는 촬영된 이미지 데이터(ID) 상에 좌표 데이터(CD)를 기초로 생성된 바운딩 박스(BB)가 오버랩되어 표시될 수 있다.

다만, 이는 하나의 예시에 불과하며, 사용자 단말기(200)에 표시되는 인터페이스는 다양하게 변형되어 실시될 수 있음은 물론이다.

이하에서는, 사용자 단말기(200)의 화면에 표시되는 본 발명에서 제공하는 인터페이스의 예시를 설명하도록 한다.

도 13은 본 발명의 결과 데이터를 표시하는 인터페이스 화면의 예시도이다. 도 14는 본 발명의 문서 데이터를 설명하기 위한 인터페이스 화면의 예시도이다.

우선, 도 13을 참조하면, 서버(100)는 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)에 대응하는 결과 데이터(RD)를 사용자 단말기(200)의 화면에 표시할 수 있다.

예를 들어, 사용자 단말기의 화면(M1)에는 경계 데이터(BD)에 포함된 집락의 경계가 이미지 데이터(ID) 상에 오버랩하여 표시될 수 있다. 집락의 경계는 서버(100)로부터 수신한 경계 데이터(BD)를 이용해 표시되거나, 좌표 데이터(CD)에 포함된 데이터셋을 기초로 형성된 바운딩 박스(BB)를 이용해 표시될 수 있다.

또한, 화면의 일측에는 각각의 군집을 구분하는 컬러, 사이즈 등이 서로 다르게 구분되어 표시되도록 하는 버튼이 구비될 수 있으며, 미생물 배지에 이용된 시료의 종류, 실험 제목, 메모, 화면에 표시된 이미지 데이터(ID)에 대한 계수 데이터(FD) 등이 표시될 수 있다. 다만, 이는 하나의 예시일 뿐, 본 발명이 이에 제한되는 것은 아니다.

또한, 도 14를 참조하면, 서버(100)는 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)를 기초로 결과 데이터(RD)를 도출하고, 도출된 결과 데이터(RD)를 기초로 문서 데이터(PT)를 형성하여 사용자 단말기(200)의 화면에 표시할 수 있다.

문서 데이터(PT)는 미리 정해진 템플릿을 이용하여 형성될 수 있으며, 각 문서 데이터의 서로 다른 영역에 결과 데이터(RD)에 포함된 각각의 데이터가 배치되어 자동으로 입력될 수 있다.

이를 통해, 본 발명의 CFU 인식 방법은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 따라서, 본 발명은 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.

도 15는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 도면이다.

도 15를 참조하면, 전술한 본 발명의 몇몇 실시예들에 따른 CFU 인식 서버(100)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010), 입출력 장치(1220, I/O), 메모리 장치(1230, memory device), 인터페이스(1040) 및 버스(1250, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.

구체적으로, 컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.

입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다. 메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.

인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.

또는, 본 발명의 실시예들에 따른 서버(100)는 각각 복수의 전자 장치(1000)가 네트워크를 통해서 서로 연결되어 형성된 시스템일 수 있다. 이러한 경우에는 각각의 모듈 또는 모듈의 조합들이 전자 장치(1000)로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

추가적으로, 서버(100)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.

또한, 서버(100)는 사용자 단말기(200)을 이용하여 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.

무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DMNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

네트워크를 통해서 통신하는 서버(100)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

정리하면, 본 발명의 CFU 인식 방법은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅을 수행할 수 있다. 이를 통해, 본 발명은 CFU 카운팅의 정확도를 높이고, CFU 인식에 필요한 시간을 감소시킬 수 있다. 또한, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서,
   딥러닝 모델을 학습시키는 단계;
   상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계;
   수신된 상기 이미지 데이터를 전처리하는 단계;
   상기 전처리된 이미지 데이터를 대상으로, 상기 학습된 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계; 및
   상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되,
   상기 딥러닝 모델을 학습시키는 단계는,
   전처리된 학습용 이미지 데이터를 기초로 하나 이상의 이미지 변환과정을 이용하여 증강된 이미지 데이터를 생성하는 단계; 및
   상기 증강된 이미지 데이터를 포함하는 학습 데이터를 이용하여 상기 딥러닝 모델을 학습시키는 단계를 포함하고,
   상기 CFU의 숫자를 카운팅하는 단계는,
   미리 학습된 복수의 상기 딥러닝 모델을 수신하는 단계;
   상기 복수의 딥러닝 모델 각각에 상기 전처리된 이미지 데이터를 입력하는 단계;
   상기 복수의 딥러닝 모델 각각의 결과값을 취합하여 중간 데이터를 도출하는 단계; 및
   상기 중간 데이터에 포함된 상기 복수의 딥러닝 모델 각각의 결과값을 서로 비교하여 상기 결과 데이터를 도출하는 단계를 포함하되,
   상기 복수의 딥러닝 모델 각각의 결과값을 서로 비교하여 상기 결과 데이터를 도출하는 단계는,
   상기 복수의 딥러닝 모델 각각의 결과값 상호간의 일치 여부를 판단하는 단계를 포함하는
   CFU 인식 방법.
   
2. 삭제
3. 제1 항에 있어서,
   상기 결과 데이터는,
   상기 미생물 배지에 형성된 집락의 계수를 카운팅한 계수 데이터;
   상기 미생물 배지에서 상기 집락이 형성된 위치를 표시하는 좌표 데이터; 및
   상기 미생물 배지에서 상기 집락의 경계를 표시하는 경계 데이터 중 적어도 하나를 포함하는
   CFU 인식 방법.
   
4. 제3 항에 있어서,
   상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 받고, 이에 대한 출력으로 상기 계수 데이터 또는 상기 좌표 데이터를 출력하는
   CFU 인식 방법.
   
5. 제4 항에 있어서,
   상기 딥러닝 모델은,
   상기 전처리된 이미지 데이터를 입력 노드로 하는 입력 레이어와,
   상기 계수 데이터 또는 상기 좌표 데이터를 출력 노드로 하는 출력 레이어와,
   상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고,
   상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 딥러닝 모델의 학습 과정에 의해 업데이트되는
   CFU 인식 방법.
   
6. 제3 항에 있어서,
   상기 경계 데이터에 포함된 상기 집락의 경계를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계와,
   상기 좌표 데이터를 기초로 생성된 바운딩 박스를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계 중 어느 하나를 더 포함하는
   CFU 인식 방법.
   
7. 제1 항에 있어서,
   상기 딥러닝 모델을 학습시키는 단계는,
   상기 학습용 이미지 데이터에 대응되는 결과 데이터를 추가로 수신하는 단계; 및
   상기 전처리된 학습용 이미지 데이터, 상기 증강된 이미지 데이터 및 이에 대응되는 상기 결과 데이터를 포함하는 학습 데이터를 이용하여 상기 딥러닝 모델을 학습시키는 단계를 포함하는
   CFU 인식 방법.
   
8. 제7 항에 있어서,
   상기 학습 데이터를 정보 수집부에 저장하는 단계와,
   상기 정보 수집부에 저장된 상기 학습 데이터를 기초로 학습된 복수의 딥러닝 모델을 딥러닝 메모리부에 저장하는 단계를 더 포함하고,
   상기 CFU의 숫자를 카운팅하는 단계는,
   상기 딥러닝 메모리부에 저장된 하나 이상의 상기 딥러닝 모델을 이용하여 상기 CFU의 숫자를 도출하는 것을 포함하는
   CFU 인식 방법.
   
9. 제1 항에 있어서,
   상기 전처리하는 단계는,
   상기 이미지 데이터의 크기를 조절하는 스케일링 단계와,
   상기 이미지 데이터의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절하는 정규화 단계와,
   상기 이미지 데이터를 미리 저장된 필터를 이용하여 필터링하는 이미지 필터링 단계 중 적어도 하나를 수행하는 것을 포함하는
   CFU 인식 방법.
   
10. 제1 항에 있어서,
    상기 결과 데이터에 포함된 정보를 미리 정해진 템플릿에 입력하여, 상기 수신된 이미지 데이터에 대응되는 문서 데이터를 생성하는 단계와,
    상기 생성된 문서 데이터를 상기 사용자 단말기에 전달하는 단계를 더 포함하는
    CFU 인식 방법.
    
    

Images