KR102520802B1 - 3d 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법 - Google Patents

Abstract

3D 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법이 개시된다. 본 발명의 일 실시예에 따르면, 3D 바이오프린터의 모니터링 시스템으로서, 노즐을 통해 생체 재료를 토출하여 스테이지 상에 한층씩 적층하여 3차원 출력물을 제작하는 프린팅 모듈; 상기 스테이지 상의 제품을 촬영하는 비전 센서; 및 상기 비전 센서에서 촬영한 비전 데이터를 분석하고, 상기 제품의 형상 정밀도를 모니터링하는 제어 모듈을 포함하는 3D 바이오프린터의 모니터링 시스템이 제공된다.

Description

3D 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법{3D bio-printer monitoring system and repairing system and method for correction of shape defects}

본 발명은 3D 바이오프린터에 관한 것으로, 보다 상세하게는 3D 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법에 관한 것이다.

3D 프린팅 기술은 과거 제품 모형 시제품 제작을 위한 도구로 활용되었으나, 최근 산업 생산성 증대 및 개인 맞춤형 생산도구로 활용처가 확대되고 있다.

3D 바이오프린팅이란 3D 프린팅 기술과 생명공학이 결합된 개념으로, 살아있는 세포를 원하는 형상 또는 패턴으로 적층 조형하여 조직이나 장기를 제작하는 3D 프린팅 기술이다. 기본적인 원리는 3D 프린터와 유사하지만, 생적합성 고분자, 천연고분자, 바이오 분자, 생체 활성 물질, 세포 등을 프린팅 소재로 이용한다는 점에서 차이가 있다.

3D 바이오프린터의 경우에는 동일 기능을 할지라도 환자 개개인마다 다른 형태와 특성을 가지는 조직이나 장기의 제작에 이용되는 바, 단일수량 다품종의 환자맞춤형 인체삽입물 제작에 필수적이다.

하지만, 단일수량 다품종 생산성을 갖는 3D 바이오프린터는 특성상 환자를 위한 단 한 개의 제품을 생산하며, 프린팅 실패시(제품 불량시) 다시 만들어야 해서 수술 지연 및 재료비 손실로 이어지게 된다. 급성환자의 경우 골든타임이 존재하게 되고, 일반환자의 경우라도 의료비 상승에 대한 요인을 고민해야 한다.

골든타임과 의료비상승 요인에 관련된 제작공정 최적화 시간과 제작성공률을 향상시키고자 환자의 결손된 부위에 맞는 인체삽입물을 제작하기 위해서 높은 정밀도를 요구하지만, 현재까지 3D 바이오프린터의 출력물에 대한 형상 정밀도를 확인하고 제어할 수 있는 기술은 전무한 상황이다.

한국등록특허 제10-2195124호 (2020.12.18. 등록) - 바이오 3차원 프린터

본 발명은 프린팅되는 출력물의 결함을 모니터링하여 제작공정의 문제점을 파악 및 수정하고, 필요에 따라 출력물을 리페어링할 수 있는 3D 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법을 제공하기 위한 것이다.

본 발명은 출력물의 결함 모니터링 및 리페어링을 통해 제작공정 최적화 시간을 단축하고 제작성공률을 높임으로써, 환자맞춤형 인체삽입물 제작 시 환자의 골든타임을 확보하고 의료비를 절감할 수 있는 3D 바이오프린터의 모니터링 시스템, 형상 결함 보정용 리페어링 시스템 및 그 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 3D 바이오프린터의 모니터링 시스템으로서, 노즐을 통해 생체 재료를 토출하여 스테이지 상에 한층씩 적층하여 3차원 출력물을 제작하는 프린팅 모듈; 상기 스테이지 상의 제품을 촬영하는 비전 센서; 및 상기 비전 센서에서 촬영한 비전 데이터를 분석하고, 상기 제품의 형상 정밀도를 모니터링하는 제어 모듈을 포함하는 3D 바이오프린터의 모니터링 시스템이 제공된다.

상기 제어 모듈은 상기 비전 데이터로부터 상기 제품의 제작 치수를 산출하고, 상기 3차원 출력물에 대한 설계 치수와 비교하여 제작 오차를 검출하는 형상 정밀도 모니터링부를 포함할 수 있다.

또한 상기 제어 모듈은 상기 비전 데이터로부터 현재 프린팅 중인 상기 제품의 단일층 중에 형상 결함 여부를 판별하고, 형상 결함이 있을 경우 형상 결함 정보를 생성하는 형상 정밀도 모니터링부를 포함할 수 있다.

상기 형상 정밀도 모니터링부는 상기 단일층에서 반복되는 구조인 유닛셀을 찾아 인공지능 학습하고, 상기 유닛셀과 비유사한 패턴이 있을 경우 상기 패턴을 형상 결함으로 판별하여 상기 패턴의 위치 및 형상을 상기 형상 결함 정보로 생성할 수 있다.

상기 인공지능 학습에는 CNN(Convolutional Neural Network)이 적용될 수 있다.

상기 형상 정밀도 모니터링부는, 상기 단일층에 대한 형상 모니터링 데이터를 취득하면 특징벡터를 추출하며, 반복되는 유닛셀에 관한 반복 패턴은 학습 데이터 세트로 간주하고 인공지능 모델에 대입하여 학습을 수행하여 상기 반복 패턴에 관한 인공지능 학습모델을 생성하며, 분석이 요구되는 패턴을 테스트 데이터 세트로 간주하고, 상기 인공지능 학습모델에 적용하여 상기 반복 패턴과 유사성을 판단하여 결함 여부를 판별할 수 있다.

상기 제어 모듈은 상기 제작 오차 혹은 상기 형상 결함을 리페어링하는 리페어링부를 더 포함할 수 있다.

상기 리페어링부는 상기 제작 오차에 관한 정보 혹은 상기 형상 결함 정보로부터 위치 정보를 추출하고, 상기 위치 정보에 상응하는 위치로 상기 노즐의 위치를 보정하는 제1 코드를 생성하며, 상기 제작 오차에 관한 정보 혹은 상기 형상 결함 정보에 포함된 오차 정보를 추출하고, 상기 오차 정보에 상응하는 양만큼 상기 노즐에서 토출되는 상기 생체 재료의 양을 조절하는 제2 코드를 생성하며, 상기 제1 코드와 상기 제2 코드를 조합한 리페어링 코드를 생성하여 상기 프린팅 모듈을 제어할 수 있다.

상기 형상 정밀도 모니터링부는 임의의 단일층에 대해 적층이 완료된 후 상기 형상 결함을 검출하고, 상기 리페어링부는 상기 단일층에 대해 상기 형상 결함에 대한 리페어링을 수행한 후 다음 단일층으로 3D 바이오프린팅이 진행되게 할 수 있다.

한편 본 발명의 다른 측면에 따르면, 3D 바이오프린터의 모니터링 시스템에서 수행되는 모니터링 방법으로서, 비전 센서를 통해 상기 3D 바이오프린터의 프린팅 모듈에서 출력되는 제품의 단일층에 대한 형상 모니터링 데이터를 취득하는 단계; 제어 모듈에서 상기 형상 모니터링 데이터에서 특징벡터를 추출하는 단계; 반복되는 유닛셀에 관한 반복 패턴은 학습 데이터 세트로 간주하고 인공지능 모델에 대입하여 학습을 수행하여 상기 반복 패턴에 관한 인공지능 학습모델을 생성하는 단계; 및 분석이 요구되는 패턴을 테스트 데이터 세트로 간주하고, 상기 인공지능 학습모델에 적용하여 상기 반복 패턴과 유사성을 판단하여 결함 여부를 판별하는 단계를 포함하는 3D 바이오프린터의 모니터링 방법이 제공된다.

형상 결함이 있을 경우, 상기 제어 모듈은 상기 형상 결함에 관한 정보로부터 위치 정보를 추출하고, 상기 위치 정보에 상응하는 위치로 상기 프린팅 모듈의 노즐의 위치를 보정하는 제1 코드를 생성하는 단계; 상기 형상 결함에 관한 정보에 포함된 오차 정보를 추출하고, 상기 오차 정보에 상응하는 양만큼 상기 노즐에서 토출되는 상기 생체 재료의 양을 조절하는 제2 코드를 생성하는 단계; 및 상기 제1 코드와 상기 제2 코드를 조합한 리페어링 코드를 생성하여 상기 프린팅 모듈을 제어하는 단계를 더 포함할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 프린팅되는 출력물의 결함을 모니터링하여 제작공정의 문제점을 파악 및 수정하고, 필요에 따라 출력물을 리페어링할 수 있는 효과가 있다.

또한, 출력물의 결함 모니터링 및 리페어링을 통해 제작공정 최적화 시간을 단축하고 제작성공률을 높임으로써, 환자맞춤형 인체삽입물 제작 시 환자의 골든타임을 확보하고 의료비를 절감할 수 있는 효과도 있다.

도 1은 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 개략도,
도 2는 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 사시도,
도 3은 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 부분 확대도,
도 4는 형상 정밀도 측정 방법을 나타낸 도면,
도 5는 제작 오차 측정 방법을 나타낸 도면,
도 6은 형상 결함 모니터링 방법을 나타낸 도면,
도 7은 인공지능 학습 방법을 나타낸 도면,
도 8은 본 발명의 일 실시예에 따른 형상 결함 모니터링 방법의 순서도,
도 9는 노즐 위치 보정 방법을 나타낸 도면,
도 10은 형상 결함 리페어링 방법을 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 개략도이고, 도 2는 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 사시도이며, 도 3은 본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템의 부분 확대도이고, 도 4는 형상 정밀도 측정 방법을 나타낸 도면이며, 도 5는 제작 오차 측정 방법을 나타낸 도면이며, 도 6은 형상 결함 모니터링 방법을 나타낸 도면이고, 도 7은 인공지능 학습 방법을 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 형상 결함 모니터링 방법의 순서도이고, 도 9는 노즐 위치 보정 방법을 나타낸 도면이며, 도 10은 형상 결함 리페어링 방법을 나타낸 도면이다.

도 1 내지 도 10에는 3D 바이오프린터 모니터링 시스템(1), 프린팅 모듈(10), 챔버(11), 노즐(13), 스테이지(15), 비전 센서(20, 21~25, 이하 '20'으로 통칭하기도 함), 제어 모듈(30), 형상 정밀도 모니터링부(31), 리페어링부(33)가 도시되어 있다.

본 발명의 일 실시예에 따른 3D 바이오프린터 모니터링 시스템(1)은 환자맞춤형 인체삽입물과 같은 3차원 출력물을 프린팅하는 도중 노즐 막힘, 토출압력 불균형, 프린터 하드웨어 오차 등으로 인해 출력물의 형상에 결함이 생기는 것을 비전 센서를 이용하여 실시간으로 모니터링하고 리페어링할 수 있는 것을 특징으로 한다.

본 실시예에 따른 3D 바이오프린터 모니터링 시스템(1)은 프린팅 모듈(10), 비전 센서(20), 제어 모듈(30)을 포함할 수 있다.

프린팅 모듈(10)은 3D 프린팅 기술, 특히 3D 바이오프린팅 기술을 이용하여 인체삽입물과 같은 3차원 출력물을 프린팅하는 장치이다.

프린팅 모듈(10)은 시린지(syringe)를 통해 생체 재료(예를 들어, 바이오잉크 등)의 적층이 가능하도록 공압이나 피스톤을 이용한 플로팅(plotting) 혹은 스크류나 믹서를 이용한 압출(extrusion) 방식의 3D 프린터일 수 있다. 3D 프린팅 기술분야에서 플로팅 혹은 압출 방식은 통상의 기술자에게 자명한 사항인 바 본 명세서에서 자세한 설명은 생략하기로 한다.

프린팅 모듈(10)은 전술한 것과 같이 시린지 구조로서, 생체 재료를 저장하는 챔버(11)와, 챔버(11)의 하부에서 생체 재료를 토출하는 노즐(13)을 포함할 수 있다. 챔버(11) 및 노즐(13)은 하나 혹은 둘 이상이 구비될 수 있다.

노즐(13)을 통해 토출되는 생체 재료는 하부에 이격 배치된 스테이지(15) 상에 한층 한층 적층된다. 여기서, 노즐(13)과 스테이지(15)는 상대적인 3차원 이동을 수행하며, 3차원 출력물이 출력되게 할 수 있다.

프린팅 모듈(10)을 이용한 3차원 출력물의 제작 과정에서 다양한 이유(예컨대, 노즐 막힘, 토출압력 불균형, 프린터 하드웨어 오류 등)로 인해 현재 프린팅되고 있는 제품 형상에 결함이 발생할 수 있다.

따라서, 본 실시예에서는 프린팅 모듈(10)의 주변에 비전 센서(20)를 설치하고, 프린팅 중인 제품을 다양한 각도에서 촬영하고 그 영상을 분석함으로써 실시간으로 형상 정밀도에 대해 모니터링을 수행하고자 한다.

비전 센서(20)는 예를 들어 카메라일 수 있으며, 미리 지정된 위치에서 미리 정해진 각도로 촬영이 이루어지도록 설치될 수 있다.

본 실시예에서는 제품(5)이 프린팅되는 스테이지(15)를 기준으로 하여 전후좌우 사방에 하나씩 4개의 제1 비전 센서(21~24)가 설치될 수 있다.

또한, 노즐(13)의 상부에 설치되어 직하방을 촬영하는 1개의 제2 비전 센서(25)가 추가 설치될 수 있다.

제1 비전 센서(21~24)는 형상 결함 발생 여부를 모니터링하기 위한 형상 결함 모니터링용 센서일 수 있다. 외란을 최소화하기 위해 스테이지(15)를 중심으로 전후좌우의 4 방향에서 영상을 촬영하고 분석, 조합함으로써 1개의 센서 이용시 발생 가능한 오차를 최소화할 수 있다.

추가적으로 제2 비전 센서(25) 역시 형상 결함 모니터링용 센서로 활용될 수 있다.

또한, 제2 비전 센서(25)는 형상 결함이 있을 경우 보정을 위해 프린팅 모듈(10), 특히 노즐(13)을 결함 부위(리페어링이 요구되는 위치)에 정위치시키기 위한 노즐 위치 보정용 센서일 수 있다.

제어 모듈(30)은 프린팅 모듈(10) 및 비전 센서(20)의 동작을 제어한다.

본 실시예에서 제어 모듈(30)은 형상 정밀도 모니터링부(31) 및 리페어링부(33)를 포함한다.

형상 정밀도 모니터링부(31)는 비전 센서(20)에서 촬영한 영상(이하 '비전 데이터'라 칭함)을 분석하여, 현재 프린팅 중인 제품의 형상 정밀도를 모니터링한다.

형상 정밀도 모니터링부(31)에서는 형상 정밀도를 측정하기 위해 비전 센서(20)로부터 비전 데이터를 획득한다(도 4의 (a) 참조). 기존에는 (b)에 도시된 것과 같이 영상 분석을 통해 픽셀 단위로 에지를 검출하여 제품 형상을 측정하였다. 하지만, 이는 낮은 정밀도로 인해, 인체삽입물과 같은 소형 제품에서 요구되는 정밀도를 충족하기 어려웠다.

본 실시예에서는 (c)에 도시된 것과 같이 영상 분석과 함께 형상 정밀도 측정 알고리즘을 적용하여 픽셀 단위 이하의 고정밀도로 에지를 검출하여 제품의 보다 정밀한 형상 측정이 가능하게 한다.

여기서, 형상 정밀도 모니터링부(31)에서 수행되는 형상 정밀도 측정 알고리즘으로는 실수형(real number) 에지 검출 기술이 적용될 수 있다. 기존의 에지 검출 방법의 결과물은 에지 성분을 갖는 픽셀들의 영상 좌표값으로 표현된다. 하지만, 측정 대상체의 물리적인 실제 에지는 정수형 픽셀 좌표값만으로는 표현할 수 없다. 기존의 에지 검출 방법을 이용할 경우 영상의 해상도에 따른 측정 분해능의 한계로 인해 많은 오차를 내포하게 된다. 따라서, 본 실시예에서는 에지 성분의 확률분포 기대값 산출을 통한 실수형 에지를 검출함으로써 픽셀 단위보다 세분화된 실제 단위의 에지 검출을 적용함으로써 측정되는 형상 정밀도를 향상시킬 수 있다.

영상에서 대상체와 배경 간의 경계는 실제처럼 완전히 분류되지는 않는다. 경계영역의 경우 빛의 반사, 그림자 등에 의해 밝기 값이 서서히 변하게 된다. 본 실시예에 따른 실시형 에지 검출 기술의 경우, 경계영역의 그레이 레벨값에 대한 1차 미분값들의 확률분포 기대값을 이용하여 실수형 에지를 검출한다. 에지 검출을 위한 경계영역에서 가로축 x번째 위치에서의 세로축 각 픽셀의 밝기 값을 1차 미분하여 에지 확률이 높은 픽셀을 찾고, 확률분포에서의 기대값이 x번째 열에서 에지일 확률이 가장 높은 좌표로 볼 수 있다. 정수형 픽셀 좌표값이 아닌 실수형 좌표값으로 산출함으로써 영상의 해상도에 국한되지 않는 측정 분해능을 가질 수 있다.

또한, 본 실시예에서는 형상 정밀도 모니터링부(30)에 입력되는 제품의 비전 데이터에는 전후좌우의 4개 데이터가 포함될 수 있다. 이 경우, 전방 비전 데이터와 후방 비전 데이터 중 어느 하나를 전후 중 어느 한 방향으로 1/2 픽셀 단위만큼 이동시킨 상태에서 두 비전 데이터를 정합시킴으로써 에지가 전후 방향으로 1/2 픽셀 단위만큼 정밀하게 검출될 수 있다.

전방과 후방 이외에 좌측과 우측에 대해서도 좌우 방향으로 1/2 픽셀 단위만큼 정밀하게 검출이 가능할 것인 바, 전방, 후방, 좌측, 우측의 4개 비전 데이터를 모두 이용할 경우 1/4 픽셀 단위만큼 정밀한 형상 측정이 가능하게 된다.

도 5를 참조하면, 형상 정밀도 모니터링부(31)에서는 형상 정밀도를 모니터링하고, 외부 서버에서 전송되거나 혹은 별도 메모리(혹은 데이터베이스)에 저장된 제품의 설계 치수와 비전 센서(20)를 통해 현재 측정된 제작 치수를 비교함으로써 제작 오차 정보를 검출할 수 있게 된다. 검출된 제작 오차 위치 정보는 추후 리페어링 과정에서 리페어링 코드를 생성할 때 활용될 수 있다.

또한, 형상 정밀도 모니터링부(31)는 영상 분석 결과(형상 모니터링 데이터)로부터 특징벡터를 추출하여 프린팅 중인 제품에 대해 실시간으로 단층 단위의 형상 결함을 검출하고, 형상 결함 정보를 생성할 수 있다.

형상 정밀도 모니터링부(31)에서는 반복구조를 학습하고, 반복구조에서 어긋나는 패턴이 나타날 경우 결함으로 검출할 수 있다.

형상 결함 검출 시 인공지능(AI) 학습이 이용되며, 예를 들어 도 6 및 도 7에 도시된 것과 같이 CNN(Convolutional Neural Network)이 적용될 수 있다.

CNN은 필터링을 통해 인공신경망에 적용하여 이미지를 효과적으로 처리할 수 있는 심층신경망 기법이다. 행렬로 표현된 필터의 각요소가 데이터 처리에 적합하도록 자동으로 학습되는 과정을 통해 이미지를 분류하는 기법으로, 이미지의 공간정보를 유지한 상태로 학습이 가능한 모델이다. 2차원 데이터학습에 적합한 구조를 가진다.

Input sample은 평가하고자 하는 형상의 모양(이경우 일정 유닛셀의 2D 이미지)이고, Local connectivity는 평가하고자 하는 이미지의 각 부분들의 추출(2차원행렬)을 의미한다. Convolutional layer feature maps에서 추출된 행렬의 합성곱을 이용하여 feature map을 생성(input 이미지의 특징을 담은 행렬)한다. 합성곱은 함수와 또다른 함수를 곱한 다음 구간에 대하여 적분한 것이며, 자유변수를 줄여 학습시간을 빠르게 한다(예를 들면 추출된 행렬이 6*6행렬이라면 합성곱을 통해 4*4행렬로 줄일 수 있음).

Max pooling Feature maps는 feature map에서 정보를 요약하여 원하는 특징만 담은 행렬 즉 여러 변수들을 제거하고 이미지를 판단하기 위한 데이터만 압축한 행렬(예컨대, 사람이 동물의 귀를 보고 판단할 때 대상 동물이미지의 귀 데이터만 가지고 있는 행렬, 여기서는 결손부위)을 산출한다. Fully connected layer에서는input 이미지를 1차원의 형태로 나열한 데이터(이미지의 공간데이터가 사라짐 - 합성곱을 통해 형성된 행렬의 크기값만 중요하게 됨)를 획득한다. Sigmoid는 데이터화한 신경망의 활성함수로 사용되는 함수(비선형함수-값을 0,1로 바꿈)이다. 그리고 Output으로 학습된 데이터에 의해 결함의 유무 판단이 가능해진다.

인공지능 학습을 통한 결함 검출 방법은 다음과 같다(도 8 참조).

형상 모니터링 데이터를 취득하면(단계 S100), 이를 분석하여 특징벡터를 추출한다(단계 S105). 반복되는 패턴(유닛셀 패턴)은 학습 데이터 세트로 간주하고(단계 S110), 인공지능 모델에 대입하여 학습이 이루어지게 한다(단계 S115). 학습이 완료되면(단계 S120), 반복 패턴에 관한 인공지능 학습모델이 만들어질 수 있다(단계 S125).

본 실시예에서 제작되는 3차원 출력물은 인체삽입물로서, 한층씩 적층되는 조형물이다. 인체삽입물은 동일 형상을 가지는 세포들로 이루어진 조직과 유사하게 제작되는 바, 일정하게 반복되는 패턴(유닛셀)을 가지고 있다(도 6의 '51' 참조). 즉, 인체삽입물은 한 개의 유닛셀이 반복하는 구조로 되어 있다. 한 개의 유닛셀을 N개의 층으로 구분할 때 각 층에 대한 유닛셀의 반복 패턴 이미지가 나타난다. 따라서, 한 개의 유닛셀을 학습할 경우 N개의 층에서 해당 유닛셀이 반복적으로 나타나는 구조를 가질 수 있다. n번째 층(n은 1과 N 사이의 자연수)에서 유닛셀의 위치가 학습된 경우, 그 전((n-1)번째 층) 혹은 그 후((n+1) 층)에서도 동일 혹은 유사한 위치에 유닛셀이 위치할 것인 바, 해당 위치의 패턴을 학습을 위한 학습 데이터 세트로 설정할 수 있다.

이후 분석이 요구되는 패턴(도 6의 '52', '53' 참조)은 테스트 데이터 세트로 간주하고(단계 S130), 인공지능 학습모델에 적용하여 반복 패턴과의 유사성을 판단한다(단계 S125). 유사한 경우 반복 패턴인 것으로 보고, 결함이 없는 것으로 결과를 도출한다(단계 S135, 도 6의 '52' 참조). 하지만, 유사하지 않은 경우에는 반복 패턴이 아닌 것으로 보고, 결함이 발생한 것으로 결과를 도출할 수 있다(단계 S135, 도 6의 '53' 참조).

이처럼 반복 패턴을 학습하고, 반복 패턴과 비유사한 패턴이 나타날 경우 결함이 있는 것으로 결함 상태를 예측할 수 있게 된다(단계 S140).

형상 정밀도 모니터링부(31)에서 제작 오차 발생을 모니터링하거나 형상 결함을 검출한 경우, 리페어링부(33)에서는 제작 오차 정보 혹은 형상 결함 정보를 이용하여 제작 오차 혹은 형상 결함을 리페어링한다.

제작 오차 정보는 설계 치수 대비 제작 치수에 관한 정보로, 오차가 발생한 위치, 오차 정도에 관한 정보가 포함될 수 있다.

형상 결함 정보는 단층 단위로 학습된 유닛셀의 반복 패턴 대비 결함에 관한 정보로, 결함 위치, 유닛셀 대비 결함의 형상/크기 오차에 관한 정보가 포함될 수 있다.

리페어링부(33)는 제작 오차 정보 혹은 형상 결함 정보에 포함된 위치 정보를 추출하고, 해당 위치 정보에 상응하는 위치로 프린팅 모듈(10), 특히 노즐(13)의 위치를 보정하는 제1 코드를 생성한다. 여기서, 리페어링부(33)에 의해 제어되는 프린팅 모듈(10)은 별도의 다른 모듈이 아니라 앞서 프린팅을 수행하고 있는 모듈로서, 제품 제작을 위해 출력 중인 노즐이 리페어링에도 활용될 수 있다.

또한 리페어링부(33)는 제작 오차 정보 혹은 형상 결함 정보에 포함된 오차 정보를 추출하고, 해당 오차 정보에 상응하는 양만큼 프린팅 모듈(10)에서 토출되는 재료의 양을 조절하는 제2 코드를 생성한다.

제1 코드와 제2 코드가 통합되어 리페어링 코드를 구성하며, 리페어링 코드를 프린팅 모듈(10)로 전송하여 프린팅 모듈(10)의 노즐이 보정이 요구되는 위치로 이동하게 제어하고, 각 위치에서 보정에 요구되는 양만큼의 토출이 이루어지도록 토출량을 제어할 수 있다.

특히, 형상 결함 정보의 분석에 따른 형상 결함 보정을 위한 리페어링의 경우, 단층 단위로 보정이 이루어지게 된다.

3D 바이오프린팅이 한층씩 적층되는 구조를 가지고 있는 바, 임의의 층에 대해 적층이 완료된 후 형상 결함 여부를 모니터링하고, 형상 결함이 있을 경우 리페어링부(33)에서 해당 형상 결함에 대한 리페어링을 수행하도록 한다. 그 후 다음 층에 대한 적층이 이루어지게 함으로써, 3차원 출력물을 제작하는 과정 중에 단층 단위로 리페어링이 수행되어 최종적으로 높은 형상 정밀도를 갖는 3차원 출력물이 완성되게 할 수 있다.

리페어링부(33)에서는 형상 결함 리페어링을 위해 노즐 위치 보정과 형상 결함 리페어링을 수행할 수 있다.

노즐 위치 보정 방법의 경우(도 9 참조), 비전 센서(20)에서 노즐(13)을 촬영하여 노즐 위치를 검출한다. 노즐 위치에서 오차가 발생한 경우 노즐 위치를 정위치로 보정시키는 제어를 수행할 수 있다.

다음으로 형상 결함 리페어링 방법의 경우(도 10 참조), 비전 센서(20)에서 형상 결함을 측정한 경우 결함 보정을 위해 노즐(13)을 현 위치에서 결함 위치로 이동시키도록 프린팅 모듈(10)을 제어할 수 있다.

본 실시예에서 리페어링부(33)를 포함하는 3D 바이오프린터 모니터링 시스템(1)은 형상 결함 보정용 리페어링 시스템으로 활용될 수 있다. 형상 결함 보정용 리페어링 시스템은 3D 바이오프린팅을 통해 환자맞춤형 제품을 제작할 때 한층씩 적층하는 과정 중에 실시간으로 형상 결함을 검출하고, 결함이 발생한 부위에 대해서는 다음 층으로 진행하기 이전에 리페어링을 수행하여 완성품을 한번에 제작하는 것을 특징으로 한다.

본 실시예에서는 비전 센서의 측정 알고리즘과 인공지능을 이용하여 토출되는 제품의 단층에서 반복되는 구조를 학습시켜 결함 부위를 찾을 수 있다. 이는 3D 바이오프린팅을 이용하여 제작되는 인체삽입물이 반복되는 구조로 되어 있기 때문으로, 하나의 유닛셀을 지속적으로 학습시킬 수 있다.

단일층에서 검출된 결함부위는 학습시킨 구조와 일치하도록 리페어링부에서 재료를 토출할 수 있다. 리페어링부에 의해 제어되는 프린팅 모듈은 기본적으로 3D 바이오프린팅에 사용되는 프린팅 모듈과 동일한 하드웨어로서, 제품 적층에 사용되는 노즐을 공동 사용하여 제품 제작뿐만 아니라 리페어링을 수행할 수도 있다.

이러한 3D 바이오프린터 모니터링 시스템 및/또는 형상 결함 보정용 리페어링 시스템을 통해 3D 바이오프린팅을 이용한 환자 맞춤형 단일 제품의 불량률을 0%에 가깝게 할 수 있다.

기존의 3D 프린터에서 구현하지 못하는 제작한계를 극복할 수 있고, 제작 결함에 따른 프린팅 조건 수정 및 제작에 필요한 시간과 비용을 크게 줄일 수 있어, 3D 프린팅의 산업 적용 시 한계점인 제작 시간 및 낮은 수율을 극복할 수 있어, 다양한 산업 분야에서 효율적인 활용이 가능할 것이다.

전술한 3D 바이오프린터 모니터링 방법, 형상 결함 보정용 리페어링 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 3D 바이오프린터 모니터링 방법, 형상 결함 보정용 리페어링 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 3D 바이오프린터 모니터링 방법, 형상 결함 보정용 리페어링 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 3D 바이오프린터 모니터링 시스템 10: 프린팅 모듈
11: 챔버 13: 노즐
15: 스테이지 20, 21~25: 비전 센서
30: 제어 모듈 31: 형상 정밀도 모니터링부
33: 리페어링부

Claims (11)

1. 3D 바이오프린터의 모니터링 시스템으로서,
   노즐을 통해 생체 재료를 토출하여 스테이지 상에 한층씩 적층하여 3차원 출력물을 제작하는 프린팅 모듈;
   상기 스테이지 상의 제품을 촬영하는 비전 센서; 및
   상기 비전 센서에서 촬영한 비전 데이터를 분석하고, 상기 제품의 형상 정밀도를 모니터링하는 제어 모듈을 포함하되,
   상기 제어 모듈은 상기 비전 데이터로부터 현재 프린팅 중인 상기 제품의 단일층 중에 형상 결함 여부를 판별하고, 형상 결함이 있을 경우 형상 결함 정보를 생성하는 형상 정밀도 모니터링부를 포함하고,
   상기 단일층 각각에 대해, 상기 형상 정밀도 모니터링부는 상기 단일층에서 반복되는 구조인 유닛셀을 찾아 인공지능 학습하고, 상기 유닛셀과 비유사한 패턴이 있을 경우 상기 패턴을 형상 결함으로 판별하여 상기 패턴의 위치 및 형상을 상기 형상 결함 정보로 생성하며,
   상기 형상 정밀도 모니터링부는, 상기 단일층에 대한 형상 모니터링 데이터를 취득하면 특징벡터를 추출하며, 반복되는 유닛셀에 관한 반복 패턴은 학습 데이터 세트로 간주하고 인공지능 모델에 대입하여 학습을 수행하여 상기 반복 패턴에 관한 인공지능 학습모델을 생성하며,
   분석이 요구되는 패턴을 테스트 데이터 세트로 간주하고, 상기 인공지능 학습모델에 적용하여 상기 반복 패턴과 유사성을 판단하여 결함 여부를 판별하는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
2. 제1항에 있어서,
   상기 비전 센서는 상기 스테이지를 기준으로 하여 전후좌우 사방에 하나씩 설치되는 4개의 제1 비전 센서를 포함하고,
   상기 제1 비전 센서에서 생성하는 상기 비전 데이터에는 전후좌우의 4개의 데이터가 포함되며, 전방 비전 데이터와 후방 비전 데이터 중 어느 하나를 전후 중 어느 한 방향으로 1/2 픽셀 단위만큼 이동시킨 상태에서 정합하여 에지가 전후 방향으로 1/2 픽셀 단위만큼 정밀하게 검출되게 하는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
3. 제1항에 있어서,
   상기 비전 센서는 상기 노즐의 상부에 설치되어 직하방을 촬영하는 제2 비전 센서를 포함하고,
   상기 제2 비전 센서는 상기 형상 결함에 대한 보정을 위해 상기 프린팅 모듈의 상기 노즐을 결함 부위에 정위치시키기 위한 노즐 위치 보정용 센서인 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
4. 제1항에 있어서,
   상기 형상 정밀 모니터링부는 에지 성분의 확률분포 기대값 산출을 통한 실수형 에지를 검출하여 픽셀 단위보다 세분화된 형상 정밀도를 가지는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
5. 제1항에 있어서,
   상기 인공지능 학습에는 CNN(Convolutional Neural Network)이 적용되는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
6. 삭제
7. 제1항에 있어서,
   상기 제어 모듈은 상기 형상 결함을 리페어링하는 리페어링부를 더 포함하는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
8. 제7항에 있어서,
   상기 리페어링부는 상기 형상 결함 정보로부터 위치 정보를 추출하고, 상기 위치 정보에 상응하는 위치로 상기 노즐의 위치를 보정하는 제1 코드를 생성하며,
   상기 형상 결함 정보에 포함된 오차 정보를 추출하고, 상기 오차 정보에 상응하는 양만큼 상기 노즐에서 토출되는 상기 생체 재료의 양을 조절하는 제2 코드를 생성하며,
   상기 제1 코드와 상기 제2 코드를 조합한 리페어링 코드를 생성하여 상기 프린팅 모듈을 제어하는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
9. 제8항에 있어서,
   상기 형상 정밀도 모니터링부는 임의의 단일층에 대해 적층이 완료된 후 상기 형상 결함을 검출하고,
   상기 리페어링부는 상기 단일층에 대해 상기 형상 결함에 대한 리페어링을 수행한 후 다음 단일층으로 3D 바이오프린팅이 진행되게 하는 것을 특징으로 하는 3D 바이오프린터의 모니터링 시스템.
   
10. 3D 바이오프린터의 모니터링 시스템에서 수행되는 모니터링 방법으로서,
    비전 센서를 통해 상기 3D 바이오프린터의 프린팅 모듈의 노즐에서 출력되는 스테이지 상의 제품의 단일층에 대한 형상 모니터링 데이터를 취득하는 단계;
    제어 모듈에서 상기 형상 모니터링 데이터에서 특징벡터를 추출하는 단계;
    상기 제어 모듈에서 반복되는 유닛셀에 관한 반복 패턴은 학습 데이터 세트로 간주하고 인공지능 모델에 대입하여 학습을 수행하여 상기 반복 패턴에 관한 인공지능 학습모델을 생성하는 단계; 및
    분석이 요구되는 패턴을 테스트 데이터 세트로 간주하고, 상기 인공지능 학습모델에 적용하여 상기 반복 패턴과 유사성을 판단하여 결함 여부를 판별하는 단계를 포함하되,
    상기 단계들은 상기 단일층 각각에 대해 반복 수행되는 것을 특징으로 하는 3D 바이오프린터의 모니터링 방법.
    
11. 제10항에 있어서,
    형상 결함이 있을 경우,
    상기 제어 모듈은 상기 형상 결함에 관한 정보로부터 위치 정보를 추출하고, 상기 위치 정보에 상응하는 위치로 상기 프린팅 모듈의 노즐의 위치를 보정하는 제1 코드를 생성하는 단계;
    상기 형상 결함에 관한 정보에 포함된 오차 정보를 추출하고, 상기 오차 정보에 상응하는 양만큼 상기 노즐에서 토출되는 생체 재료의 양을 조절하는 제2 코드를 생성하는 단계; 및
    상기 제1 코드와 상기 제2 코드를 조합한 리페어링 코드를 생성하여 상기 프린팅 모듈을 제어하는 단계를 더 포함하는 3D 바이오프린터의 모니터링 방법.
    

Images