KR20220015542A - 기포 검출 방법 및 장치 - Google Patents

Abstract

교반 액체의 이미지에 존재하는 기포를 검출하는 방법 및 그 장치에 관한 것이다. 본 발명의 일 실시예에 따른 기포 검출 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 교반 액체의 이미지를 얻는 단계, 상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지를 전처리하는 단계, 교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성을 판단하는 단계 및 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 출력하는 기포 유무 검출 모델을 생성하는 단계를 포함할 수 있다.

Description

기포 검출 방법 및 장치{APPARATUS FOR DETECTING A BUBBLE AND METHOD THEREOF}

교반 액체의 이미지에 존재하는 기포를 검출하는 방법 및 그 장치에 관한 것이다. 보다 구체적으로는, 교반 액체의 이미지를 인공 신경망을 통한 기계 학습에 용이한 학습 데이터로 전처리하고, 전처리된 이미지를 기계 학습하여, 교반 액체의 이미지에 포함된 기포의 유무 및 높이를 검출하는 모델을 출력하는 방법 및 그 장치에 관한 것이다.

바이오 공정에서 액체를 섞기 위해 교반 장치가 이용된다. 이때, 교반 장치에 의해 섞인 액체에 기포가 발생할 수 있다. 이러한 기포의 발생은 특히, 유산균의 발효 등의 공정에 영향을 주므로, 교반 장치에 의해 발생한 기포를 검출하기 위한 방법이 요구된다.

종래 기술은 교반 장치에 의해 발생한 기포를 검출하기 위한 방법으로 사람이 직접 교반 액체를 관찰하는 방법에 머물렀다. 이러한 종래 기술은 과도한 비용의 손실이 발생한다는 문제가 있다.

본 발명이 해결하고자 하는 기술적 과제는, 교반 액체의 이미지에 존재하는 기포를 검출하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 교반 액체의 이미지에 존재하는 기포 유무를 검출하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 교반 액체의 이미지에 존재하는 기포 높이를 검출하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 교반 액체의 이미지를 기계 학습에 적합한 학습 데이터로 전처리하는 방법 및 그 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 전처리된 교반 액체의 이미지가 기계 학습에 용이한 학습 데이터로 적합한지 여부를 판단하는 방법 및 그 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 기포 검출 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 교반 액체의 이미지를 얻는 단계, 상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지를 전처리하는 단계, 교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성을 판단하는 단계 및 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 출력하는 기포 유무 검출 모델을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 기포 높이 검출 모델을 생성하는 단계를 더 포함할 수 있다. 여기서, 상기 기포 높이 검출 모델을 생성하는 단계는 기포 높이 회귀 분석 인공 신경망을 지도 학습시키는 단계를 포함할 수 있다. 나아가, 생성된 상기 기포 높이 검출 모델을 이용하여, 입력된 제1 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 단계를 더 포함할 수도 있다.

일 실시예에서, 상기 이미지를 전처리하는 단계는 상기 이미지를 스무딩(smoothing)하는 단계 또는 상기 이미지를 샤프닝(sharpening)하는 단계를 포함할 수 있다. 또한, 상기 샤프닝한 이미지를 바이너리(binary)화 하는 단계 및 상기 바이너리화 한 이미지의 구멍을 채우는(holes filling) 단계를 포함할 수도 있다. 여기서, 상기 구멍이 채워진 이미지를 기포 영역 이미지로 분할(segmentation)하는 단계를 더 포함할 수도 있다.

일 실시예에서, 상기 전처리된 이미지의 적합성을 판단하는 단계는 상기 전처리된 이미지에 기포 영역이 존재하는지 판단하는 단계 및 상기 기포 영역이 존재하는 것으로 결정된 경우, 상기 기포 영역의 위치를 기준으로 상기 전처리된 이미지의 적합성을 판단하는 단계를 포함할 수 있다.

일 실시예에서, 상기 기포 유무 검출 모델을 생성하는 단계는 기포 유무 분류 인공 신경망을 지도 학습시키는 단계를 포함할 수 있다.

일 실시예에서, 생성된 상기 기포 유무 검출 모델을 이용하여, 입력된 제1 교반 액체의 이미지에 존재하는 기포 유무에 대한 데이터를 출력하는 단계를 더 포함할 수 있다.

일 실시예에서 컴퓨터 프로그램이 기록된 기록 매체는, 앞서 설명된 기포 검출 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 것일 수 있다.

일 실시예에서 기포 검출 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은 교반 액체의 이미지를 얻는 인스트럭션(instruction), 상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지를 전처리 하는 인스트럭션, 교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성을 판단하는 인스트럭션 및 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 출력하는 기포 유무 검출 모델을 생성하는 인스트럭션을 포함할 수 있다. 여기서, 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 기포 높이 검출 모델을 생성하는 인스트럭션을 더 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 기포 검출 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 기포 검출 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 또 다른 실시예에 따른 기포 검출 방법의 순서도이다.
도 4는 본 발명의 또 다른 실시예에 따른 기포 검출 방법의 순서도이다.
도 5는 도 3을 참조하여 설명된 기포 검출 방법의 일부 동작을 구체적으로 설명하기 위한 순서도이다.
도 6 내지 도 8은 도 5를 참조하여 설명된 전처리 동작을 구체적으로 설명하기 위한 도면이다.
도 9 내지 도 11은 도 5를 참조하여 설명된 전처리 동작을 구체적으로 예시하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 기포 검출 장치를 구현할 수 있는 컴퓨팅 장치를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

이하, 본 발명의 일 실시예에 따른 기포 검출 시스템의 구성 및 동작을 도 1을 참조하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 기포 검출 시스템을 설명하기 위한 도면이다.

도 1에 개시된 기포 검출 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 기포 검출 시스템은 기포 검출 장치(100), 사용자 장치(200a, 200b, 200c, 이하, 설명의 편의를 위해 200), 교반 장치(300) 및 촬영 장치(400)를 포함할 수 있다. 이하 각각의 구성 요소에 대하여 구체적으로 설명한다.

기포 검출 장치(100)는 촬영 장치(400)로부터 수신된 교반 액체의 이미지에 존재하는 기포를 검출할 수 있다. 또한, 기포 검출 장치(100)는 기포 유무 및 기포 높이에 대한 데이터를 사용자 장치(200)에 전송할 수 있다. 나아가, 기포 검출 장치(100)는 기포의 높이가 기준치 이상 발생하는 경우, 교반 장치(300)의 작동을 정지하는 신호를 교반 장치(300) 전송할 수 있다. 여기서 교반 액체란, 후술될 교반 장치(300)에 의해 섞이게 되는 액체를 의미한다.

이와 같은, 본 발명의 몇몇 실시예에 따른, 기포 검출 장치(100)에 대해서는 추후 도 2 내지 도 12를 참조하여 구체적으로 설명하기로 한다.

다음으로, 사용자 장치(200)는 기포 검출 장치(100)로부터, 교반 액체의 기포 유무에 대한 데이터를 수신하여 디스플레이 할 수 있다. 또한, 사용자 장치(200)는 기포 검출 장치(100)로부터, 교반 액체에 발생한 기포 높이에 대한 데이터를 수신하여 디스플레이 할 수도 있다. 사용자 장치(200)는 기포 검출 데이터를 출력하기 위하여 웹 브라우저(Web browser) 또는 전용 애플리케이션이 설치되어 있을 수 있다. 여기서, 기포 검출 데이터란, 기포 발생 유무에 대한 데이터 및 발생한 기포의 높이에 대한 데이터를 포함할 수 있다.

본 발명의 일 실시예에서 참조될 수 있는 사용자 장치(200)는 네트워크를 통하여 기포 검출 장치(100)로부터 수신된 기포 검출 데이터를 출력할 수 있는 장치라면, 어떠한 장치라도 허용될 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 사용자 장치(200)는 데스크탑(Desktop), 워크스테이션(Workstation), 서버(Server), 랩탑(Laptop), 태블릿(Tablet), 스마트폰(Smart Phone) 또는 패블릿(Phablet) 중 어느 하나가 될 수 있으나, 이에 한정되지 않고, 휴대용 멀티미디어 플레이어(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-Book Reader) 등과 같은 형태의 장치가 될 수도 있다.

다음으로 교반 장치(300)는, 고체, 액체 및 기체 등을 서로 섞거나 휘젓기 위해 쓰이는 기구를 의미한다. 일 실시예에서, 교반 장치(300)는 프로펠러를 포함하는 오버헤드 교반 장치(Overhead Stirrer)일 수 있다. 다만, 이에 한정되는 것은 아니고, 마그네틱 교반 장치(Magnetic Stirrer)일 수도 있다. 일 실시예에서, 교반 장치는(300)는 기포 검출 장치(100)로부터, 교반 장치(300)의 작동을 정지시키는 신호를 수신하여 작동을 정지할 수 있다.

다음으로 촬영 장치(400)는 교반 액체의 이미지를 촬영하여 기포 검출 장치(100)에 전송할 수 있다. 일 실시예에서, 촬영 장치(400)는 CCD 카메라일 수 있다. 다만, 이에 한정되는 것은 아니고, 교반 액체의 이미지를 실시간으로 촬영할 수 있는 모든 장치가 본 발명에 포함될 수 있다.

여기서, 교반 액체의 이미지는 RGB 이미지일 수 있다. 다만, 이에 한정되는 것은 아니고, 이진화 할 수 있는 모든 이미지 형태가 본 발명에 포함될 수 있다.

일 실시예에서, 교반 장치(300)가 교반 액체를 휘젓고, 촬영 장치(400)가 교반 액체를 촬영하고, 실시간으로 기포 검출 장치(100)가 교반 액체에 발생한 기포를 검출할 수 있다.

이하, 기포 장치(100)를 보다 구체적으로 설명하기 위하여 도 2를 참조하기로 한다. 도 2는 본 발명의 다른 실시예에 따른 기포 검출 장치(100)를 설명하기 위한 도면이다.

도 2에 도시된 기포 검출 장치(100)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다.

도 2를 참조하면, 기포 검출 장치(100)는 데이터 저장소(10), 학습기(20), 검출기(30)를 포함할 수 있다. 이하 각각의 구성 요소에 대하여 구체적으로 설명하기로 한다.

데이터 저장소(10)는 교반 액체의 이미지를 저장할 수 있다. 교반 액체의 이미지는 촬영 장치로부터 수신된 것일 수 있다. 또한, 데이터 저장소(10)는 교반 액체의 이미지를 학습기(20)에 전송할 수 있다.

여기서, 데이터 저장소(100)는 데이터 베이스 서버, 네트워크 파일 스토리지 등과 같은 외부 저장소일 수 있다. 또한, HDD, SSD 등과 같은 내부 저장 매체일 수 있다. 다만, 이에 한정되는 것은 아니고, 클라우드 서비스일 수 있다. 클라우드 서비스는 서버, 스토리지, SW 등 다양한 IT 자원을 사용자에게 제공하는 주문형 아웃소싱 서비스를 말한다. 예를 들어, 스토리지를 제공하는 클라우드 서비스는, 사용자에게 각종 데이터를 네트워크에 연결된 서비스 제공 서버의 스토리지에 저장하고, 필요 시 네트워크를 통해 다운로드할 수 있도록 제공하는 서비스이다. 상기 클라우드 서비스는 사용자에게 가상화 된 인프라 환경을 제공할 수 있는 IaaS(Infrastructure as a Service) 또는 인터넷을 통해 애플리케이션 소프트웨어를 제공하는 SaaS(Software as a Service)가 될 수 있으나, 이에 한정되는 것은 아니다. 데이터 저장소(10)는 데이터를 저장하고, 학습기(20)에 상기 데이터를 전송할 수 있는 모든 구성이 포함될 수 있다.

다음으로, 학습기(20)가 도시된다. 학습기(20)는 데이터 처리 모듈(21) 및 모델 학습 모듈(23)을 포함할 수 있다.

학습기(20)는 데이터 저장소(10)로부터 교반 액체의 이미지를 수신하여 인공 신경망에 의한 기계 학습 가능한 형태로 교반 액체의 이미지를 변환할 수 있다. 또한, 학습기(20)는 데이터 저장소(10)로부터 교반 액체의 이미지를 수신하여 교반 액체의 이미지를 전처리할 수 있다. 또한, 학습기(20)는 데이터 저장소(10)로부터 교반 액체의 이미지의 특징(feature)를 추출할 수 있다. 나아가, 학습기(20)는 데이터 저장소(10)로부터 교반 액체의 이미지를 수신하여 교반 액체의 이미지에 존재하는 기포 유무 및 기포의 높이에 대한 데이터를 출력하는 기포 검출 모델을 생성할 수 있다. 여기서, 기포 검출 모델은, 기포 유무 검출 모델 및 기포 높이 검출 모델을 포함할 수 있다.

데이터 처리 모듈(21)은 데이터 저장소(10)로부터 교반 액체의 이미지를 입력 받아, 인공 지능에 의한 모델 학습 모듈(23)에 입력하기 위한 형태로 데이터를 전처리 하는 역할을 수행할 수 있다. 이에 관한 구체적인 설명은 추후 도 5 내지 도 11을 참조하여 설명하기로 한다.

데이터 처리 모듈(210)은 입력 데이터를 학습 데이터와 평가 데이터로 분할하여 관리할 수 있다. 데이터의 비율은 입력 데이터 양, 데이터 밸런스 등에 따라 학습 단계에서 조정될 수 있다.

모델 학습 모듈(23)은 입력 데이터(50)를 이용하여 인공 지능을 이용한 기계 학습에 의해, 교반 액체의 이미지에 존재하는 기포 유무 및 기포 높이에 대한 데이터를 출력하는 기포 검출 모델을 생성할 수 있다. 또한, 모델 학습 모듈(23)은 학습된 결과를 평가할 수 있다. 나아가, 모델 학습 모듈(23)은 학습 및 평가를 통해 생성된 기포 검출 모델(40)을 검출기(30)에 전송할 수 있다.

모델 학습 모듈(23)은 분류 문제를 해결하기 위해 일반적으로 사용할 수 있는 머신러닝, 딥러닝 모델을 포함할 수 있다. 또한 모델 학습 모듈(23)은 회귀 분석 문제를 해결하기 위해 일반적으로 사용할 수 있는 머신러닝, 딥러닝 모델을 포함할 수도 있다.

다음으로, 검출기(30)는 데이터 입력 모듈(31) 및 기포 검출 모듈(33)을 포함할 수 있다.

검출기(30)는 입력 데이터(50)를 수신할 수 있다. 여기서, 입력 데이터(50)는 교반 액체의 이미지일 수 있다. 또한, 검출기(30)는 입력 데이터(50)를 전처리할 수 있다. 기포 검출 모듈(33)은 입력 데이터(50)에 존재하는 기포를 검출할 수 있다. 보다 구체적으로, 입력 데이터(50)에 존재하는 기포 유무를 검출할 수 있다. 또한, 존재하는 기포의 높이를 검출할 수 있다. 나아가, 검출기(30)는 기포 검출 데이터(60)를 출력할 수 있다.

데이터 입력 모듈(31)은 앞서 설명된 학습기(20)의 데이터 처리 모듈(21)과 유사한 동작을 수행할 수 있다. 보다 구체적으로, 데이터 입력 모듈(31)은 입력 데이터(50)를 전처리 할 수 있다.

데이터 입력 모듈(31)은 입력 데이터(50)를 수신할 수 있다. 또한, 데이터 입력 모듈(31)은 입력 데이터(50)를 전처리하고, 기포 검출 모듈(33)에 전송할 수 있다. 본 발명의 몇몇 실시예에서 참조될 수 있는 데이터 입력 모듈(31)에서 수행되는 방법은 추후 도 5 내지 도 11을 참조하여 구체화될 것이다.

기포 검출 모듈(33)은 학습기(20)로부터 생성된 기포 검출 모델(40)을 수신할 수 있다. 또한, 기포 검출 모듈(33)은 데이터 입력 모듈(31)에 의해 전송된 데이터를 수신할 수 있다.

기포 검출 모듈(33)은 입력 데이터(50)에 존재하는 기포 유무 및 기포 높이에 대한 데이터를 출력할 수 있다.

이하, 도 3을 참조하여 본 발명의 또 다른 실시예에 따른 기포 검출 방법을 설명한다. 본 실시예에 따른 기포 검출 방법은 컴퓨팅 장치에 의하여 수행될 수 있다. 또한, 본 실시예에 따른 방법은 제1 컴퓨팅 장치와 제2 컴퓨팅 장치에 의하여 나뉘어 수행될 수 있다. 이하, 본 실시예에 따른 방법의 각 동작을 수행함에 있어서, 그 주체의 기재가 생략되면, 그 주체는 상기 컴퓨팅 장치인 것으로 해석될 수 있을 것이다. 도 3을 참조하여 설명될 기포 검출 방법은 도 2를 참조하여 설명된 학습기(20)에서 실행될 수 있다.

도 3을 참조하면, 교반 액체의 이미지가 얻어지고(S110), 상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지가 전처리되고(S120), 교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성이 판단되고(S130), 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 출력하는 기포 유무 검출 모델이 생성되고(S140), 생성된 기포 유무 검출 모델이 출력된다. 또한, 상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 기포 높이 검출 모델이 생성되고(S150), 생성된 기포 높이 검출 모델이 출력된다.

일 실시예에서, 상기 기포 유무 검출 모델을 출력하는 단계는 기포 유무 분류 인공 신경망을 지도 학습시키는 단계를 포함할 수 있다. 또한, 일 실시예에서, 상기 기포 높이 검출 모델을 출력하는 단계는 기포 높이 회귀 분석 인공 신경망을 지도 학습시키는 단계를 포함할 수 있다.

일 실시예에서, 기포 유무 검출 모델 및 기포 높이 검출 모델을 생성하기 위해 앙상블 학습 모델이 적용될 수도 있다.

분류(Classification) 및 회귀 분석(Regression)은 기계 학습 중 지도 학습(Supervised Learning)의 목적일 수 있다.

여기서, 분류는 입력 데이터가 어떤 클래스(class)에 속하는지 예측하는 것이다. 분류에는, 이진 분류(Binary Classification) 및 다중 분류(Multi-Classification)이 있다. 전자는 예측해야 할 클래스가 두가지인 경우이다. 후자는 예측해야 할 클래스가 3 이상인 경우이다. 구체적인 예를 들어, 앞서 설명된 기포 유무 검출 모델은, 교반 액체의 이미지에 기포가 발생한 클래스 및 교반 액체의 이미지에 기포가 발생하지 않은 클래스 두가지로 구분될 수 있다. 따라서, 이진 분류 모델일 수 있다.

여기서, 회귀 분석은 연속적인 숫자, 즉 예측 출력에 연속성이 있는 문제들을 해결할 수 있다. 구체적인 예를 들어, 앞서 설명된 기포 높이 검출 모델은, 교반 액체의 이미지에 발생한 기포의 높이에 대한 연속적인 숫자 데이터를 출력할 수 있다.

앞서 설명된 지도 학습의 일반적인 분류 및 회귀 분석 모델은 통상의 기술자에게 자명한 사항이므로, 이에 관한 구체적인 설명은 생략하도록 한다. 나아가, 적용될 수 있는 앙상블 학습 모델 역시 통상의 기술자에게 자명한 사항이므로, 이에 관한 구체적인 설명은 생략하도록 한다.

본 실시예는, 바이오 공정에서 자주 활용되는 교반 장치를 관리하는 사용자의 업무 효율이 증진될 수 있다. 본 실시예는 교반 액체에 발생하는 기포를 자동적으로 검출할 수 있다. 또한, 교반 액체에 발생하는 기포의 높이를 검출할 수 있다. 사용자가 교반 장치를 실시간으로 관찰함으로써 발생하는 불필요한 비용, 시간 및 노력의 소모를 줄일 수 있다.

본 실시예에서, 교반 액체에 발생하는 기포가 자동적으로 검출됨으로써, 공정의 관리에서 오는 인건비가 절감되어, 생산 물품의 원가를 절감할 수 있다. 또한, 생산 물품의 생산성이 향상될 수 있다.

일 실시예에서, 전처리된 이미지의 적합성을 판단하는 단계 S130은, 전처리된 이미지에 기포 영역이 존재하는지 판단하는 단계 및 상기 기포 영역이 존재하는 것으로 결정된 경우, 상기 기포 영역의 위치를 기준으로 상기 전처리된 이미지의 적합성을 판단하는 단계를 포함할 수 있다.

여기서, 기포 영역이란, 기포가 존재하는 영역을 의미한다. 후술될 전처리 방법에 의하면, 기포가 존재하는 영역이 추출될 수 있다. 기포 영역의 위치는 이미지 파일의 2차원 좌표 형식으로 얻어질 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니고, 기포 영역의 위치를 얻을 수 있는 모든 방법이 포함될 수 있다.

일 실시예에서, 교반 용기 영역의 위치가 얻어질 수 있다. 여기서 교반 용기 영역이란, 교반 액체를 담고 있는 용기가 교반 액체의 이미지에서 차지하는 영역을 의미한다. 교반 용기 영역의 위치는 이미지 파일의 2차원 좌표 형식으로 얻어질 수 있다. 여기서 교반 용기 영역의 위치는 전처리 단계에서 얻어질 수 있다. 예를 들어, 후술될 샤프닝(Sharpening) 단계에서 얻어질 수 있다. 보다 구체적으로, 이미지의 엣지(edge)를 검출하는 마스크에 의해서 교반 용기 영역의 위치가 얻어질 수 있다.

또한, 교반 용기 영역의 위치는 전처리 전 단계에서 얻어질 수도 있다. 보다 구체적으로, 사용자가 교반 용기가 이미지에서 차지하는 영역을 선택하여 얻어질 수 있다. 나아가, 사용자가 최초 촬영 장치에 의해서 수신된 교반 액체의 이미지에서 교반 용기가 상기 이미지에서 차지하는 영역을 선택하고, 이때 얻어진 교반 용기 영역의 위치가 저장될 수 있다. 다만, 교반 용기 영역의 위치를 얻는 방법이 예시된 열거에 한정되는 것은 아니고, 교반 액체의 이미지에서 교반 용기가 차지하는 영역의 위치를 얻을 수 있는 모든 방법이 포함될 수 있다.

일 실시예에서, 액체 영역의 위치가 얻어질 수 있다. 여기서 액체 영역이란, 교반 액체의 이미지에서 액체가 차지하는 영역을 의미한다. 액체 영역의 위치는 이미지 파일의 2차원 좌표 형식으로 얻어질 수 있다. 여기서 액체 영역의 위치는 전처리 단계에서 얻어질 수 있다. 또한, 전처리 전 단계에서 얻어질 수도 있다. 다만, 본 발명이 이에 한정되는 것은 아니고, 액체 영역의 위치를 얻을 수 있는 모든 방법이 포함될 수 있다.

일 실시예에서, 기포 영역의 위치를 기준으로 전처리된 이미지의 적합성이 판단될 수 있다. 예를 들어, 기포 영역과 교반 용기 영역의 위치를 비교하여 전처리의 적합성이 판단될 수 있다. 여기서, 기포 영역이 교반 용기 영역을 기준치 이상 벗어나는 경우, 전처리가 부적합한 것으로 결정될 수 있다.

다른 예를 들어, 기포 영역과 액체 영역의 위치를 비교하여 전처리의 적합성이 판단될 수 있다. 여기서, 기포 영역과 액체 영역이 기준치 이상 중첩되는 경우, 전처리가 부적합한 것으로 결정될 수 있다.

본 실시예에 따르면, 전처리의 적합성이 판단되어 인공 지능에 의한 기계 학습에 적합한 학습 데이터가 선별될 수 있다. 적합한 학습 데이터가 선별됨으로써, 기계 학습에 의해 생성되는 인공 지능 모델의 성능이 좋아질 수 있다. 보다 구체적으로, 기포 유무 검출 모델은 교반 액체의 이미지에 기포가 존재하는지 여부를 더 잘 구별할 수 있다. 또한, 기포 높이 검출 모델은 교반 액체의 이미지에 존재하는 기포의 높이를 더 잘 예측할 수 있다.

앞서 열거된 예시는, 기포 영역의 위치가 부적합한 전처리에 의해서 변경된 예시이다. 다만, 본 발명이 위에 열거된 예시에 한정되는 것은 아니고, 기포 영역의 위치를 기준으로 전처리의 적합성을 판단할 수 있는 모든 방법이 포함될 수 있다.

이하, 도 4를 참조하여 본 발명의 또 다른 실시예에 따른 기포 검출 방법을 설명한다. 도 4를 참조하여 설명될 기포 검출 방법은 도 2를 참조하여 설명된 검출기(30)에서 실행될 수 있다.

도 4를 참조하면, 입력 이미지가 얻어지고(S210), 상기 이미지에 존재하는 교반 액체의 기포 검출을 위해, 상기 이미지가 전처리되고(S220), 기포 유무 검출 모델을 이용하여, 기포 유무에 대한 데이터가 출력된다(S230). 또한, 기포 높이 검출 모델을 이용하여, 기포 높이에 대한 데이터가 출력된다(S240).

여기서, 입력 이미지는 교반 액체의 이미지일 수 있다.

여기서, 단계 S220인, 이미지 전처리 단계는 도 3을 참조하여 설명된, 단계 S120인, 이미지 전처리 단계와 유사한 동작이 실행될 수 있다. 전처리 단계와 관련된 구체적인 내용은 이하 도 5 내지 도 11을 참조하여 설명하기로 한다.

도 5는 도 3을 참조하여 설명된 기포 검출 방법의 일부 동작을 구체적으로 설명하기 위한 순서도이다.

도 5를 참조하면, 도 3을 참조하여 설명된 이미지 전처리 단계가 구체화된다. 교반 액체의 이미지가 스무딩(smoothing)되고(S121), 스무딩된 이미지가 샤프닝(sharpening)되고(S123), 샤프닝된 이미지가 바이너리화되고(S125), 바이너리화된 이미지의 구멍이 채워지고(S129), 구멍이 채워진 이미지가 기포 영역 이미지로 분할된다(S129).

스무딩 단계에서, 이미지에 존재하는 노이즈를 제거할 수 있다. 보다 구체적으로 스무딩은, 현재 위치의 픽셀 값과 이웃 픽셀 값들의 평균으로 현재 위치 픽셀 값을 결정함으로써, 이미지의 선명도가 떨어지는 대신 이미지에 존재하는 노이즈를 제거하거나 끊어진 에지(Edge)를 연결할 수 있다. 이와 관련된 구체적인 설명은 추후 도 6 내지 도 8 및 도 9를 참조하여 설명하기로 한다.

샤프닝 단계에서, 이미지를 선명하게 할 수 있다. 보다 구체적으로 샤프닝은, 현재 위치의 픽셀 값과 이웃 픽셀 값들의 차이가 크게 변하는 에지가 있는 영역의 값이 증가됨으로써, 이미지의 선명도가 증가될 수 있다. 이와 관련된 구체적인 설명은 추후 도 6 내지 도 8 및 도 10을 참조하여 설명하기로 한다.

바이너리화 단계에서, 이미지가 이진화될 수 있다. 보다 구체적인 예를 들어 RGB 흑백으로 전환한 이미지에서, 한 픽셀의 값은 8비트 기준으로 0 내지 255 사이의 값을 갖는다. 이때, 기준치 이상의 값을 갖는 픽셀의 값은 255로, 기준치 미만의 값을 갖는 픽셀의 값은 0으로 변환해주는 단계이다. 이미지를 이진화함으로써, 이미지 처리에 관한 컴퓨팅 로드를 현저히 낮출 수 있다.

구멍 채움 단계에서, 바이너리화 단계에서 발생한 이미지의 노이즈가 제거되거나 발생한 구멍이 제거될 수 있다. 예를 들어, 모폴로지 연산으로 구멍 채움 단계가 실행될 수 있다. 보다 구체적으로 모폴로지 연산은, 현재 위치의 픽셀 값에 마스크에 속한 픽셀 값들 중 최소 픽셀 값을 할당하는 침식 연산, 현재 위치의 픽셀 값에 마스크에 속한 픽셀 값들 중 최대 픽셀 값을 할당하는 팽창 연산, 침식 연산 이후 팽창 연산을 연이어 실행하는 열림 연산 또는 팽창 연산 이후 침식 연산을 연이어 실행하는 닫힘 연산이 포함될 수 있다.

여기서, 침식 연산은 바이너리화 단계에서 발생한 이미지의 노이즈를 제거할 수 있다. 팽창 연산은 바이너리화 단계에서 발생한 작은 구멍들을 채울 수 있다. 열림 연산은 침식 연산을 통해 우선 잡음이 제거되고 팽창 연산을 통해 크기가 줄어든 이미지 영역을 다시 키울 수 있다. 닫힘 연산은 팽창을 통해 작은 구멍들을 우선 채우고 침식을 통해 커진 이미지 영역을 줄일 수 있다. 바이너리화 단계에서 발생한 이미지 영역의 구멍을 채우기 위해, 마스크의 크기 및 실행되는 연산이 적절하게 선택될 수 있다. 이와 관련된 구체적인 설명은 추후 도 6 내지 8 및 도 11을 참조하여 설명하기로 한다.

기포 영역 이미지 분할 단계에서, 기포 영역 이미지가 분할된다. 이미지 분할(Segmentation)과 관련된 기술이 참조될 수 있다.

이하 도 6 내지 도 8을 참조하여 앞서 설명된 스무딩 단계, 샤프닝 단계, 구멍 채움 단계를 보다 구체적으로 설명하기로 한다. 도 6 내지 도 8은 도 5를 참조하여 설명된 전처리 동작을 구체적으로 설명하기 위한 도면이다.

도 6을 참조하면, 이미지(71)가 도시된다. 예시적인 이미지(71)는 10 x 10 크기의 픽셀을 가진다. 도 7을 참조하면, 마스크(73)가 도시된다. 예시적인 마스크(73)는 3 x 3 크기의 픽셀을 가진다. 도 8을 참조하면, 이미지(71)에 마스크(73)가 중첩되면서 연산이 수행될 수 있다. 도 8을 참조하여 설명된 예시는, 이미지(71)의 픽셀 (1,1)을 현재 위치의 픽셀로 마스크가 중첩되어 있다. 다만, 본 예시에 본 발명이 한정되는 것은 아니다. 모든 이미지의 크기 및 마스크의 크기가 본 발명에 포함될 수 있다.

보다 구체적인 예를 들어, 스무딩 단계에서, 현재 위치의 픽셀인 (1,1) 및 마스크(73)가 중첩되어 있는 이웃 픽셀인, (0,0), (0,1), (0,2), (1,0), (1,2), (2,0), (2,1) 및 (2,2) 픽셀들의 평균값이 현재 위치의 픽셀인 (1,1)에 할당될 수 있다. 도 9를 참조하여 관련된 구체적인 예시를 설명하기로 한다. 도 9를 참조하면, 교반 액체의 이미지(81)가 스무딩 단계를 거쳐, 스무딩 된 교반 액체의 이미지(83)로 변환된다. 여기서, 이미지의 선명도가 떨어지는 대신 이미지에 존재하는 노이즈를 제거하거나 끊어진 에지(Edge)를 연결할 수 있다.

보다 구체적인 예를 들어, 샤프닝 단계에서, 라플라시안 마스크가 이미지(71)와 중첩될 수 있다. 여기서 라플라시안 마스크는, 마스크(73)의 각 항목의 합이 0이 되는 마스크(73)를 의미한다. 보다 구체적인 예를 들어, 마스크(73)의 (0,0), (0,2), (2,0) 및 (2,2)의 값이 0이되고, (0,1), (1,0), (1,2) 및 (2,1)의 값은 -1이 되고, (1,1)의 값은 4가될 수 있다. 라플라시안 마스크를 이미지(71)와 컨볼루션(Convolution) 연산하면, 이미지(71)의 외곽선이 검출될 수 있다. 컨볼루션 연산은, 현재 위치의 픽셀인 (1,1) 픽셀의 값을 할당하는 연산 방식으로 마스크와 이미지의 대응되는 픽셀의 값을 곱하여 모두 더한 값을 (1,1) 픽셀의 값으로 할당하는 연산이다.

여기서, 이미지를 선명하게 만드는 효과를 얻기 위해, 라플라시안 마스크가 변형될 수 있다. 보다 구체적인 예를 들어, 마스크(73)의 (0,0), (0,2), (2,0) 및 (2,2)의 값이 0이되고, (0,1), (1,0), (1,2) 및 (2,1)의 값은 -1이 되고, (1,1)의 값은 5가될 수 있다. 마스크(73)의 각 항목의 합이 1이 되도록 마스크(73)의 (1,1)의 값을 증가시킨다. 이때, 이미지(71)가 선명해질 수 있다.

도 10을 참조하면, 교반 액체의 이미지(81)가 샤프닝 단계를 거친다. 앞서 설명된 라플라시안 마스크를 교반 액체의 이미지(81)에 중첩하여 컨볼루션 연산하는 경우, 교반 액체의 외곽선 이미지(85)로 변환된다. 앞서 설명된 변환된 라플라시안 마스크를 교반 액체의 이미지(81)에 중첩하여 컨볼루션 연산하는 경우, 선명도가 증가된 교반 액체의 이미지(87)로 변환된다.

보다 구체적인 예를 들어, 구멍 채움 단계에서, 침식 연산을 실행한 경우, 현재 위치의 픽셀인 (1,1) 및 마스크(73)가 중첩되어 있는 이웃 픽셀인, (0,0), (0,1), (0,2), (1,0), (1,2), (2,0), (2,1) 및 (2,2) 픽셀들 중 최소 픽셀 값이 현재 위치의 픽셀인 (1,1)에 할당될 수 있다. 또한, 팽창 연산을 실행한 경우, 현재 위치의 픽셀인 (1,1) 및 마스크(73)가 중첩되어 있는 이웃 픽셀인, (0,0), (0,1), (0,2), (1,0), (1,2), (2,0), (2,1) 및 (2,2) 픽셀들 중 최대 픽셀 값이 현재 위치의 픽셀인 (1,1)에 할당될 수 있다. 도 11을 참조하면, 바이너리화 된 교반 액체의 이미지(88)가 구멍 채움 단계를 거쳐, 구멍이 채워진 교반 액체의 이미지(89)로 변환된다. 교반 액체의 이미지(88)의 기포 영역(88a)에는 픽셀 값이 0인, 즉 검은색 구멍이 존재하는데, 구멍 채움 단계를 거쳐, 구멍이 채워진 교반 액체의 이미지(89)의 기포 영역(89a)에서 구멍이 채워진다.

앞서 예시들을 참조하여 설명된, 본 발명의 일실시예에서 참조될 수 있는 전처리 단계는, 인공 지능을 이용한 기계 학습에 적합한 학습 데이터로 이미지를 변환할 수 있다. 교반 액체의 이미지를 전처리함으로써, 기포 검출 모델을 지도 학습하기 위한 학습 데이터로 변환될 수 있다.

지금까지 도 1 내지 도 11을 참조하여, 본 발명의 일 실시예에 따른 기포 검출 방법 및 그 응용분야에 대해서 설명하였다. 이하에서는, 본 발명의 일 실시예에 따른 기포 검출 장치를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)에 대하여 설명하도록 한다.

도 15는 본 발명의 일 실시예에 따른 기포 검출 장치를 구현할 수 있는 컴퓨팅 장치(1500)를 설명하기 위한 도면이다.

도 15에 도시된 바와 같이, 컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 15에는 본 발명의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1530)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드 할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.

버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공한다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.

스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다.

스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(1591)은 메모리(1530)에 로드 될 때 프로세서(1510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.

위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 발명의 일 실시예에 따른 기포 검출 장치가 구현될 수 있다.

지금까지 도 1 내지 도 12를 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 1 내지 도 12를 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행 되어야만 하거나 또는 모든 도시 된 동작들이 실행 되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   교반 액체의 이미지를 얻는 단계;
   상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지를 전처리하는 단계;
   교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성을 판단하는 단계; 및
   상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 출력하는 기포 유무 검출 모델을 생성하는 단계를 포함하는,
   기포 검출 방법.
2. 제1 항에 있어서,
   상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 기포 높이 검출 모델을 생성하는 단계를 더 포함하는,
   기포 검출 방법.
3. 제2 항에 있어서,
   상기 기포 높이 검출 모델을 생성하는 단계는,
   기포 높이 회귀 분석 인공 신경망을 지도 학습시키는 단계를 포함하는,
   기포 검출 방법.
4. 제2 항에 있어서,
   생성된 상기 기포 높이 검출 모델을 이용하여, 입력된 제1 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 단계를 더 포함하는,
   기포 검출 방법.
5. 제1 항에 있어서,
   상기 이미지를 전처리하는 단계는,
   상기 이미지를 스무딩(smoothing)하는 단계를 포함하는,
   기포 검출 방법.
6. 제1 항에 있어서,
   상기 이미지를 전처리하는 단계는,
   상기 이미지를 샤프닝(sharpening)하는 단계를 포함하는,
   기포 검출 방법.
7. 제1 항에 있어서,
   상기 이미지를 전처리하는 단계는,
   상기 샤프닝한 이미지를 바이너리(binary)화 하는 단계; 및
   상기 바이너리화 한 이미지의 구멍을 채우는(holes filling) 단계를 포함하는,
   기포 검출 방법.
8. 제7 항에 있어서,
   상기 구멍이 채워진 이미지를 기포 영역 이미지로 분할(segmentation)하는 단계를 더 포함하는,
   기포 검출 방법.
9. 제1 항에 있어서,
   상기 전처리된 이미지의 적합성을 판단하는 단계는,
   상기 전처리된 이미지에 기포 영역이 존재하는지 판단하는 단계; 및
   상기 기포 영역이 존재하는 것으로 결정된 경우, 상기 기포 영역의 위치를 기준으로 상기 전처리된 이미지의 적합성을 판단하는 단계를 포함하는,
   기포 검출 방법.
10. 제1 항에 있어서,
    상기 기포 유무 검출 모델을 생성하는 단계는,
    기포 유무 분류 인공 신경망을 지도 학습시키는 단계를 포함하는,
    기포 검출 방법.
11. 제1 항에 있어서,
    생성된 상기 기포 유무 검출 모델을 이용하여, 입력된 제1 교반 액체의 이미지에 존재하는 기포 유무에 대한 데이터를 출력하는 단계를 더 포함하는,
    기포 검출 방법.
12. 제1 항 내지 제11 항 중 어느 한 항에 따른 기포 검출 방법을 실행하기 위한 컴퓨터 프로그램이 기록된,
    컴퓨터 판독 가능한 기록 매체.
13. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    교반 액체의 이미지를 얻는 인스트럭션(instruction);
    상기 이미지에 존재하는 상기 교반 액체의 기포 검출을 위해, 상기 이미지를 전처리 하는 인스트럭션;
    교반 액체의 기포 검출을 위한 기계 학습 데이터로 상기 전처리된 이미지의 적합성을 판단하는 인스트럭션; 및
    상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 교반 액체의 기포 유무에 대한 데이터를 생성하는 기포 유무 검출 모델을 출력하는 인스트럭션을 포함하는,
    기포 검출 장치.
14. 제13 항에 있어서,
    상기 전처리된 이미지가 상기 기계 학습 데이터로 적합하다고 결정되는 경우, 기계 학습을 수행함으로써 교반 액체의 이미지에 존재하는 기포 높이에 대한 데이터를 출력하는 기포 높이 검출 모델을 생성하는 인스트럭션을 더 포함하는,
    기포 검출 장치.

Images