KR20190081391A - 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법 - Google Patents

증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법 Download PDF

Info

Publication number
KR20190081391A
KR20190081391A KR1020170183893A KR20170183893A KR20190081391A KR 20190081391 A KR20190081391 A KR 20190081391A KR 1020170183893 A KR1020170183893 A KR 1020170183893A KR 20170183893 A KR20170183893 A KR 20170183893A KR 20190081391 A KR20190081391 A KR 20190081391A
Authority
KR
South Korea
Prior art keywords
image
printing
information
print
printer
Prior art date
Application number
KR1020170183893A
Other languages
English (en)
Other versions
KR102033399B1 (ko
Inventor
권장우
이선우
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020170183893A priority Critical patent/KR102033399B1/ko
Publication of KR20190081391A publication Critical patent/KR20190081391A/ko
Application granted granted Critical
Publication of KR102033399B1 publication Critical patent/KR102033399B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30Auxiliary operations or equipment
    • B29C64/386Data acquisition or data processing for additive manufacturing
    • B29C64/393Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10Processes of additive manufacturing
    • B29C64/106Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material
    • B29C64/118Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material using filamentary material being melted, e.g. fused deposition modelling [FDM]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y10/00Processes of additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • B33Y50/02Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)

Abstract

증강현실을 이용한 3D 프린터 인쇄 물체 정보 표시 시스템 및 방법이 개시된다. 증강 현실을 이용하여 3D 프린터로 인쇄하고자 하는 물체(object)의 인쇄 정보를 제공하는 방법에 있어서, 상기 3D 프린터의 인쇄 영역 내에 포함된 기준 마커(fiducial marker)를 포함하는 인쇄 대상을 촬영한 영상을 대상으로 특징점(feature point)을 검출하는 단계, 검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성하는 단계, 상기 3D 프린터로부터 인쇄율 정보를 수신하는 단계, 및 상기 영상, 상기 인쇄율 정보 및 상기 인쇄율 정보에 해당하는 레이어 정보를 제공하는 단계를 포함할 수 있다.

Description

증강현실을 이용한 3D 프린터 인쇄 물체 정보 표시 시스템 및 방법{SYSTEM AND METHOD FOR DISPLAYING PRINTED OBJECT DISPLAY INFORMATION BY 3D PRINTER USING AUGMENTED REALITY}
본 발명의 실시예들은 3D 프린터로 인쇄되는 인쇄 물체와 관련하여 인쇄 정보를 제공하는 기술에 관한 것으로, 증강현실(augmented reality)을 이용하여 인쇄 정보를 제공하는 기술에 관한 것이다.
증강현실(augmented reality)은 사용자가 카메라를 통하여 보여지는 현실세계에 해당하는 3차원 공간 상의 특정 위치에 가상 물체(object)를 올려서 표현하는 기술로서, 증강현실을 구현하는 방법으로는 크게 두 가지 방법이 존재한다.
첫 번째 방법으로, 위치기반 서비스인 GPS 및 위치기반센서를 이용하는 방법이 존재하고, 두 번째 방법으로, 카메라와 같은 영상처리 장비를 이용하여 사용자가 정해놓은 기준 마커(fiducial marker)를 이용하여 3D 모델을 카메라를 통해 보여지는 현실 세계에 띄우는 방법이 존재한다. 기준 마커는 일정한 형태로 만들어진 인공적인 표시로서, 증강현실을 구현하기 위한 필수적인 요소 중 하나이다. 영상에서 상기 마커를 검출하고, 검출된 마커의 4개의 코너점(corner point)를 인식함으로써, 카메라 자세 추정(camera pose estimation)이 수행될 수 있다. 이러한 카메라 자세 추정을 기반으로 3차원 공간 상의 카메라의 위치와 방향이 결정될 수 있다. 그러면, 결정된 카메라의 위치 및 방향 정보에 기초하여 마커 위에 가상의 물체가 표시되도록 띄울 수 있다.
3D 프린터는 절삭형 방식과 임의의 큰 원재료를 날카로운 도구를 이용하여 조각함으로써 깍아내는 방식이 존재한다. 후자인 깍아내는 방식은 품질이 우수하다는 장점이 있으나, 굴곡이 심한 재료를 인쇄하는데 어려움이 존재하고, 작은 부품을 인쇄하는 경우, 원재료를 많이 소비 또는 낭비하는 단점이 존재한다. 이처럼, 깍아내는 방식은 3D 프린터라고 부르기 이전에 CNC(Computer Numerical control)의 범주에 포함되고 사용되는 방식이다.
전자인 절삭형 방식은 원재료를 녹여 프린팅하고자 하는 물체(object)를 일정 층으로 나눈 후, 층층이 인쇄를 쌓아 올려가는 적층형(Additive Manufacturing) 방식을 포함한다. 적층형 방식은 적층으로 인해 정교한 구조를 가진 물체를 인쇄하는데 장점이 있으나, 초기 층이 얇고 갈수록 넓어지는 역삼각형 구조의 물체를 인쇄하려면 서포터(supporter) 등이 요구되는 단점이 존재한다. 일반적으로, 적층형 방식의 프린팅 방식을 3D 프린터 인쇄라고 하며, 적층형 방식은 6가지 방식이 존재한다.
첫 번째 방식은 광경화성 액체 수지가 담긴 플라스틱이 수조에 레이저를 투사해 굳히는 SLA(Stereo Lithography Apparatus) 방식이다. 자외선 빔을 이용해 액화 상태의 광경화성 플라스틱으로 이러한 물질은 자외선에 노출되게 되면 고체로 굳어지는 특성을 가지고 있다. SLA 방식은 상기와 같이 자외선에 노출되면 굳어지는 특성을 갖는 물질을 경화시켜 얇은 층으로 만드는 방식으로서, 얇은 층을 만드는 작업이 반복적으로 층층이 쌓이면서 3차원 형태의 물체로 만들게 된다. 이러한 SLA 방식은 레이저를 사용하기 때문에 정밀도가 높고 속도가 빠르고 약 1.5m정도의 대형물체의 인쇄가 가능하다는 장점이 있지만 제품이 경화된 상태이기 때문에 강도에 약하고 물질 자체의 비용과 보수 때문에 초정밀도가 요구되는 분야에서만 사용되고 있다.
두 번째 방식은 대중적으로 사용되는 FDM(Fused Deposition Modeling)이다. FDM 방식은 원재료를 녹여 프린터 노즐을 통하여 원료를 짜내는 방식이다. 보통 열가소성 플라스틱의 원재료를 노즐 속에서 녹여 히팅베드(heating bed)위로 층층이 적층하면서 제품을 만들기 때문에 다른 레이저가 필요 없고 장비의 가격이 상대적으로 저렴하다. 또한 다양한 필라멘트를 만들 수 있어 높은 강도와 내열성을 가지고 있다. 하지만 FDM 방식은 노즐의 두께에 따라서 표면을 쌓아가기 때문에 SLA방식에 비하여 시간이 오래 걸리고 재료를 녹여 적층하기 때문에 인쇄물의 표면이 비교적 거칠어 사포 등으로 제품의 표면을 부드럽게 하는 등의 후처리를 필요로 한다.
세 번째 방식은 액화한 광경화성 수지가 담긴 통에 빛을 이용하여 적층하는 방식은 DLP(Digital Light Process) 방식이다. DLP 방식은 디지털광학 기술을 적용한 방식으로 DLP 프로젝터(Projector)로 빛을 쏴서 프린팅하기 때문에 해당 접촉면 단위로 출력이 가능하고 다른 방식은 아래에서부터 위로 적층하는 방식인 반면 DLP 방식은 위에서부터 아래로 완성이 되는 방식이고 빠른 출력이 가능하다는 장점이 있다. 또한 높은 정밀도와 세밀한 표면 조도의 결과물을 만든다는 장점과는 달리 기기와 재료가 비싸다는 단점이 있다.
네 번째 방식은 '선택적 레이저 소결 조형 방식'인 SLS(Selective Laser Sintering) 방식으로 분말형태로 된 입자를 얇게 깔아 자외선보다 강한 레이저를 분사하여 전체를 녹이거나 선택적으로 녹이고 굳힌 제품을 만든다. 레이저로 굳히게 된 후에는 롤러(Roller)를 이용하여 다시 분말 형태의 재료를 올리고, 다시 레이저로 굳히는 작업을 반복해 나간다. 분말로 된 소재라면 모두 가능하고 실제 재료가 사용이 가능하기 때문에 강도면에서 매우 뛰어나다는 장점이 있지만 입자가 균일해야 하고 소재 별 레이저 세팅을 다르게 해야 한다는 단점이 존재할 뿐만 아니라 표면이 다소 거칠고 레이어를 쌓으면서 예열과 냉각 과정 또한 거쳐야 한다는 단점을 가지고 있다. 그밖에 기계의 비용과 유지비용이 비싸 고품질의 상품 제조에 주로 이용되고 있다.
다섯 번째 방식은 액상화시킨 광경화성 수지를 노즐에서 분사 후에 UV 광원을 이용하여 응고시켜서 적층하며 인쇄하는 폴리젯(Polyjet) 방식이 있다. 폴리젯(Polyjet) 방식은 다양한 색상으로 인쇄가 가능하다는 장점이 있고, DLP 방식과 같은 높은 정밀도가 가능하나 소재의 제한이 내구성이 높지 않고 빛에 민감하다는 단점이 있다.
여섯 번째 방식은 얇은 재료를 레이저, 칼 등으로 조각하고 층층이 접착하는 방식인 LOM(Laminated Object Manufacturing) 방식이다. 시트 형태의 재료를 층층이 접착한 후 칼 또는 레이저 커터를 이용하여 형태를 자르고 이러한 작업을 반복적으로 하여 원하는 제품을 만들 수 있다. 적층형 방식이면서 절삭하는 방식이 필요한 방식이다. LOM 방식은 다른 방식에 비하여 제조비용이 저렴하고 목재 재질의 조형물도 구현이 가능하며 절삭이 가능하다면 대형 제품도 제작이 가능하다는 장점이 있지만, LOM 방식에 사용되는 재료의 강도가 강하지 않고, 유연성이 떨어진다는 단점이 존재한다.
한국공개특허 제 10-2016-0059302호는 FDM-3D 프린트용 필라멘트 수지 조성물, 이를 포함하는 FDM-3D 프린트용 필라멘트 및 이를 이용하여 제조한 FDM-3D 프린팅 성형물에 관한 것으로, 압출적층방식(FDM)의 3D 프린트용 필라멘트 수지 조성물, FDM-3D 프린트용 필라멘트 및 이를 이용하여 제조한 성형물을 개시하고 있다.
본 발명은 3D 프린터를 이용하여 FDM 방식으로 인쇄 대상(즉, 인쇄 물체)를 인쇄하여 출력 시, 서포터(supporter)에 표시된 기준 마커(fiducial marker)에 기초하여 현재 인쇄하려는 물체의 정보를 영상 장치를 통해 인식하고, 인식된 정보를 관리자, 사용자 또는 다른 사용자에게 제공 또는 표시하는 기술에 관한 것이다.
또한, 사용자가 3D 프린터 주변에 위치하고 있지 않더라도 인쇄되고 있는 인쇄물체의 현재 상태의 실시간 확인이 가능하도록, 3D 프린터로 인쇄되고 있는 인쇄물의 인쇄 과정을 증강현실을 이용하여 실시간으로 원격의 사용자에게 제공하는 기술에 관한 것이다.
또한, 인쇄되고 있는 인쇄물체(즉, 인쇄 대상)의 영상과 레이어 별 영상을 비교하여 인쇄 오류 여부를 결정하고, 오류가 존재한 것으로 결정되면, 오류 사실을 관리자, 인쇄를 요청한 사용자(즉, 인쇄물 소유주 등)에게 제공하는 기술에 관한 것이다.
증강 현실을 이용하여 3D 프린터로 인쇄하고자 하는 물체(object)의 인쇄 정보를 제공하는 방법에 있어서, 상기 3D 프린터의 인쇄 영역 내에 포함된 기준 마커(fiducial marker)를 포함하는 인쇄 대상을 촬영한 영상을 대상으로 특징점(feature point)을 검출하는 단계, 검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성하는 단계, 상기 3D 프린터로부터 인쇄율 정보를 수신하는 단계, 및 상기 영상, 상기 인쇄율 정보 및 상기 인쇄율 정보에 해당하는 레이어 정보를 제공하는 단계를 포함할 수 있다.
일측면에 따르면, 상기 인쇄 대상은 상기 3D 프린터의 인쇄 영역 내에 위치하며, 상기 물체를 인쇄하기 위해 이용되는 재료를 나타낼 수 있다.
다른 측면에 따르면, 상기 정보를 제공하는 단계는, FDM(Fused Deposition Modeling) 방식으로 인쇄하는 경우, 상기 인쇄 대상을 대상으로 적층 인쇄되고 있는 레이어를 나타내는 레이어 정보를 제공할 수 있다.
또 다른 측면에 따르면, 미리 지정된 레이어별 영상 중 상기 촬영된 영상에 해당하는 레이어의 영상과 상기 촬영된 영상에 기초하여 인쇄 오류 여부를 검출하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 인쇄 오류 여부를 검출하는 단계는, 상기 촬영된 영상을 대상으로, 상기 기준 마커가 인식된 영역에 기초하여 현재 레이어에서 상기 인쇄 대상관련 윤곽선을 추출하는 단계, 및 추출된 상기 윤곽선과 상기 촬영된 영상에 해당하는 레이어의 영상을 대상으로 추출된 윤곽선에 기초하여 인쇄 오류 여부를 결정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 정보를 제공하는 단계는, 상기 인쇄 오류가 존재하는 것으로 검출됨에 따라, 인쇄 오류 정보를 상기 물체의 인쇄를 요청한 사용자 단말, 관리자 단말 중 적어도 하나에 제공하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 특징점을 검출하는 단계는, 상기 촬영된 영상을 그레이스케일 이미지(grayscale image)로 변환하는 단계, 변환된 상기 그레이스케일 이미지를 대상으로 이진화(binarization)를 수행하는 단계, 및 상기 이진화를 통해 생성된 이진 이미지(binary image)를 대상으로 상기 기준 마커를 인식하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 특징점을 검출하는 단계는, 상기 촬영된 영상에 해당하는 3채널 이미지를 1채널 이미지로 변환하는 전처리(preprocessing)를 수행하는 단계를 포함할 수 있다.
증강 현실을 이용하여 3D 프린터로 인쇄하고자 하는 물체(object)의 인쇄 정보를 제공하는 시스템에 있어서, 상기 3D 프린터의 인쇄 영역 내에 포함된 기준 마커(fiducial marker)를 포함하는 인쇄 대상을 촬영한 영상을 대상으로 특징점(feature point)을 검출하고, 검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성하는 증강 현실 처리부, 상기 3D 프린터로부터 인쇄율 정보를 수신하는 정보 수신부, 및 상기 영상, 상기 인쇄율 정보 및 상기 인쇄율 정보에 해당하는 레이어 정보를 제공하는 정보 제공부를 포함할 수 있다.
일측면에 따르면, 미리 지정된 레이어별 영상 중 상기 촬영된 영상에 해당하는 레이어의 영상과 상기 촬영된 영상에 기초하여 인쇄 오류 여부를 검출하는 오류 검출부를 더 포함할 수 있다.
본원발명은, 3D 프린터를 이용하여 FDM 방식으로 인쇄 대상(즉, 인쇄 물체)를 인쇄하여 출력 시, 서포터(supporter)에 표시된 기준 마커(fiducial marker)에 기초하여 현재 인쇄하려는 물체의 정보를 영상 장치를 통해 인식하고, 인식된 정보를 관리자, 사용자 또는 다른 사용자에게 제공 또는 표시함으로써, 사용자가 3D 프린터 주변에 위치하고 있지 않더라도 인쇄되고 있는 인쇄물체의 현재 상태의 실시간 확인이 가능하도록 할 수 있다.
또한, 3D 프린터로 인쇄되고 있는 인쇄물의 인쇄 과정을 증강현실을 이용하여 실시간으로 원격의 사용자에게 제공함으로써, 인쇄되고 있는 현재 레이어가 어디인지(즉, 인쇄율)를 파악하고, 인쇄의 정확도 등을 확인 가능하도록 제공할 수 있다.
또한, 인쇄되고 있는 인쇄물체(즉, 인쇄 대상)의 영상과 레이어 별 영상을 비교하여 인쇄 오류 여부를 결정하고, 오류가 존재한 것으로 결정되면, 오류 사실을 관리자, 인쇄를 요청한 사용자(즉, 인쇄물 소유주 등)에게 제공함으로써, 인쇄 오차가 심한 경우에 인쇄 중지 등을 통해 재료 및 시간이 낭비되는 것을 방지할 수 있다.
또한, 인쇄 오류 정보를 소유주에게 제공함으로써, 소유주가 오류로 인한 위험 관리를 수행하도록 도울 수 있다.
도 1은 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 시스템의 네트워크 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 시스템의 내부 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 인쇄 오류 여부를 검출하는 동작을 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서, 검출된 특징점을 기반으로 기준 마커(fiducial marker)를 인식하는 동작을 설명하기 위해 제공되는 도면이다.
도 6은 본 발명의 일실시예에 있어서, 인쇄 정보를 표시하는 단말의 화면 구성 예시를 도시한 도면이다.
본 실시예들은 3D 프린터로 인쇄되는 인쇄 대상(즉, 인쇄 물체)와 관련된 정보를 증강현실(augmented reality)를 이용하여 제공하는 기술에 관한 것으로, 특히, FDM 방식을 기반으로 적층형으로 인쇄되고 있는 인쇄 대상을 대상으로, 적층 인쇄되고 있는 현재 레이어를 나타내는 레이어 정보, 인쇄율 정보, 인쇄 오류 정보, 인쇄 대상에 해당하는 3차원 영상을 함께 제공하는 기술에 관한 것이다. 이때, 레이어 정보, 인쇄율 정보, 인쇄 오류 정보, 3차원 영상은 실시간으로 제공되며, 예컨대, 레이어 별로 제공될 수 있다. 이에 따라, 레이어 별로 인쇄가 진행될수록 점차 적층되어 쌓아 올려진 레이어가 증가함에 따라, 제공되는 상기 3차원 영상의 형태가 시간에 따른 진행상황을 반영하여 변화될 수 있다.
본 실시예들에서, '인쇄 대상'은 3D 프린터의 인쇄 영역 내에 위치하며, 물체를 인쇄하기 위해 이용되는 재료를 나타낼 수 있다. 즉, 인쇄 물체를 나타낼 수 있다. 예컨대, 휴지통(즉, 물체)을 3D 프린터로 인쇄하고자 하는 경우, 휴지통을 인쇄하기 위해 이용되는 재료(예컨대, ABS, PLA 필라멘트 등)를 나타낼 수 있다.
도 1은 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 시스템의 네트워크 구조를 도시한 도면이다.
도 1을 참고하면, 인쇄 정보 제공 시스템(100)은 3D 프린터(110), 3D 프린터와 네트워크 연결되는 영상처리 장치(120)를 포함할 수 있다.
3D 프린터(110)는 인쇄 영역(111)에 위치하는 재료(즉, 인쇄 물체)를 FDM 방식으로 적층하여 인쇄하고자 하는 타겟 물체(target object)를 만들 수 있다. 예컨대, 타겟 물체가 피카추 모형인 경우, 3D 프린터(110)는 인쇄 영역(111)에 위치하는 재료(예컨대, ABS, PLA 필라멘트 등)을 레이어 별로 적층하여 피카추 모형을 만듦으로써, 인쇄를 완료할 수 있다. 이때, 레이어 별 인쇄율(즉, 인쇄 완성율)을 나타내는 인쇄율 정보를 G 코드 형태로 영상처리 장치(120)로 제공할 수 있다. 이외에, 3D 프린터(110)는 상기 G코드를 바로 인쇄를 요청한 사용자 단말(미도시) 및 관리자 단말(미도시) 중 적어도 하나로 무선 네트워크를 통해 제공할 수도 있다. 여기서, 사용자 단말 및 관리자 단말은 스마트폰, PC, 태블릿, 노트북 등의 전자 장치로서, 무선 네트워크를 통해 상기 3D 프린터(110), 영상처리 장치(120, 112)에서 전송한 정보를 수신하여 단말의 화면에 표시할 수 있다. 이때, 상기 정보를 표시하기 위한 어플리케이션이 단말에 설치될 수 있으며, 해당 어플리케이션을 통해 상기 3D 프린터(110), 영상처리 장치(120, 112)와 정보를 주고받을 수 있다.
영상처리장치(120)가 단순 촬영기능만을 구비한 카메라 또는 스캐너(scanner)로 구현되는 경우, 영상처리장치(120)는 도 1의 영상 처리 영역(112)에 포함되는 형태로 구현될 수 있다. 즉, 영상 처리 영역(112)에 구현된 영상처리장치(120)는 3D 프린터(110) 에 탈부착되거나 또는 일체형으로 구현될 수 있다. 도 1에서는 영상처리장치(120)가 카메라 등의 촬영 기능만을 구비하고, 영상처리장치가 영상처리영역(112)에서 3D 프린터(110)와 유무선 네트워크로 연결되어 증강 현실을 위한 영상 처리 프로세싱을 수행하는 것을 예로 들어 설명하기로 한다.
영상처리 장치(120)는 3D 프린터(100)의 인쇄 영역(111)에 위치하는 재료(즉, 인쇄 물체)를 촬영하고, 촬영된 영상을 기반으로 증강현실 용 영상을 생성하기 위한 영상 처리를 수행할 수 있다. 즉, 영상처리 장치(120, 112)는 3D 프린터(100) 내에 위치하는 카메라를 통해 촬영되는 3D 프린터의 인쇄 영역(111)을 대상으로, 인쇄 영역(111)에 해당하는 3차원 공간 상의 특정 위치에 인쇄되고 있는 3차원 형태의 인쇄 대상이 표시하기 위한 영상처리를 수행할 수 있다. 예컨대, 영상처리 장치(120, 112)는 SIFT, SURF 알고리즘 등을 이용하여 영상처리를 수행함으로써, 3D 프린터(110)로부터 수신된 G코드를 기반으로 증강현실을 구현할 수 있다.
일례로, 150을 참고하면, 증강현실로 구현하기 위해 인쇄 영역 내의 서포터(supporter, 151)에는 기준 마커(152)가 포함될 수 있으며, 영상처리 장치(120, 112)는 카메라를 통해 촬영된 영상에서 상기 마커(152)를 기반으로 인쇄되고 있는 3차원 인쇄 대상을 증강 현실로 구현할 수 있다. 예컨대, 바닥에 물체를 고정시켜 주는 지지대인 서포터(151)만 인쇄된 경우, 카메라로 서포터(151)를 촬영하면, 촬영된 영상에서 기준 마커(152)에 해당하는 특징점을 인식함으로써, 3D 물체(예컨대, 피카추)가 사용자/관리자 단말에 디스플레이될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 시스템의 내부 구성을 도시한 블록도이고, 도 3은 본 발명의 일실시예에 있어서, 3D 프린터 기반 인쇄 정보 제공 방법을 도시한 흐름도이다.
도 2를 참고하면, 인쇄 정보 제공 시스템(200)은 영상처리 장치(201), 3D 프린터(200) 등에 플랫폼(platform) 형태로 구현될 수 있으며, 도 2에서는 영상처리 장치(201)는 도 1의 영상처리영역(112)에 구현된 영상처리장치를 나타내는 것으로서, 3D 프린터(200)에 탈부착되거나, 일체형으로 구현된 경우를 예로 들어 설명하기로 한다. 이외에, 인쇄 정보 제공 시스템(200)은 사용자 단말(202) 또는 관리자 단말(203)에 어플리케이션 형태로 구현될 수 있으며, 3D 프린터(200) 또는 영상처리 장치(201)로부터 수신된 G코드를 기반으로 인쇄율 정보, 적층 레이어 정보, 인쇄되고 있는 인쇄 대상관련 영상을 증강 현실로 구현하여 제공할 수도 있다.
도 2에서, 인쇄 정보 제공 시스템(200)은 증강현실 처리부(210), 정보 수신부(220), 오류 검출부(230) 및 정보 제공부(240)를 포함할 수 있다. 그리고, 도 3의 각 단계들(310 내지 350 단계)은 도 2에 도시된 인쇄 정보 제공 시스템(200)의 구성요소인 증강현실 처리부(210), 정보 수신부(220), 오류 검출부(230) 및 정보 제공부(240)에 의해 수행될 수 있다.
310 단계에서, 정보 수신부(220)는 3D 프린터의 인쇄 영역 내에서 인쇄되고 있는 인쇄 대상 또는 인쇄를 시작하거나 인쇄가 완료된 인쇄 대상을 촬영한 영상을 수신할 수 있다. 예를 들어, 3D 프린터에 부착되거나, 3D 프린터의 주변에 위치하는 적어도 하나의 카메라(예컨대, 스마트폰의 카메라 포함)에서 3D 프린터의 인쇄 영역을 촬영한 영상을 수신할 수 있다. 이때, 인쇄 영역에 위치하는 인쇄 대상(즉, 재료)를 고정하기 위해 이용되는 서포터(support)에 표시된 기준 마커(fiducial marker)를 포함하여 인쇄 대상이 촬영될 수 있다. 3D 프린트 시 서포터가 이용되지 않는 경우, 상기 기준 마커는 인쇄 영역의 특정 위치 또는 인쇄 대상에 표시될 수 있다.
320 단계에서, 증강현실 처리부(210)는 촬영된 영상을 대상으로 특징점(feature point)을 검출(즉, 추출)할 수 있다.
330 단계에서, 증강현실 처리부(210)는 검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성할 수 있다. 즉, 증강현실 처리부(210)는 카메라를 통해 촬영되는 현실 세계(즉, 인쇄 영역)를 나타내는 3차원 평면 상에 인쇄되고 있는 3차원 인쇄 대상을 위치시킨 증강 현실용 영상을 생성할 수 있다. 여기서, 특징점 검출 및 증강 현실용 영상 생성 위해 다양한 영상 처리 알고리즘(예컨대, SIFT, SURF 등의 특징점 검출 알고리즘 등)이 이용될 수 있다.
일례로, 증강현실 처리부(210)는 기계학습(machine learning) 알고리즘을 이용하여 인쇄하고자 하는 기준 마커에 대하여 학습된 마커(marker)를 상기 검출된 특징점을 기반으로 인식할 수 있다. 예컨대, 인쇄하고자 하는 기준 마커와 관련하여, 기계학습(machine learning) 알고리즘을 기반으로 학습이 수행될 수 있다. 그러면 상기 기준 마커를 대상으로 학습된 프로그램의 입력 파라미터로 상기 검출된 특징점들이 설정되면, 출력으로서 해당 영상에서 기준 마커가 인식될 수 있다.
340 단계에서, 정보 수신부(220)는 미리 지정된 일정주기마다 주기적으로 또는 실시간으로 현재 인쇄되고 있는 인쇄 대상관련 인쇄율 정보를 수신할 수 있다. 예를 들어, 정보 수신부(220)는 현재 인쇄되고 있는 인쇄 대상이 전체 레이어 중 몇 번째 레이어를 인쇄하고 있는지 여부를 나타내는 레이어 정보, 어느 정도 인쇄가 완성되었는지 여부를 나타내는 인쇄율 정보 등을 G 코드 형태로 수신할 수 있다.
그러면, 오류 검출부(230)는 레이어 정보 및 영상 처리를 통해 생성된 영상에 기초하여 인쇄 중인 인쇄 대상의 인쇄 오류 여부를 결정할 수 있다. 여기서, 인쇄 오류 여부를 결정하는 동작은 도 4를 참고하여 후술하기로 한다.
350 단계에서, 정보 제공부(240)는 증강 현실용 영상, 인쇄율 정보, 및 레이어 정보를 사용자 단말, 관리자 단말 등에 제공할 수 있다.
일례로, 정보 제공부(240)는 사용자 단말, 관리자 단말에 설치된 어플리케이션을 통해 무선으로 상기 증강 현실용 영상, 인쇄율 정보, 레이어 정보를 제공할 수 있다. 이때, 정보 제공부(240)는 상기 영상, 인쇄율 정보, 레이어 정보를 G 코드 형태로 사용자 단말, 관리자 단말로 제공할 수 있다. 그러면, 사용자 단말 및 관리자 단말은 상기 G 코드를 기반으로 인쇄 대상의 현재 인쇄 상태를 나타내는 증강 현실을 구현하여 화면에 표시할 수 있다. 예를 들어, 인쇄 대상이 피카추 피규어인 경우, 사용자 단말을 착용한 사용자가 시선을 오른쪽으로 이동하면, 현재 화면 상에서 피카추 피규어의 오른쪽에 해당하는 영상이 디스플레이되고, 사용자의 시선이 왼쪽으로 이동하면, 인쇄되고 있는 현재 레이어까지에 해당하는 피카추 피규어의 왼쪽에 해당하는 영상이 디스플레이될 수 있다.
이외에, 정보 제공부(240)는 증강 현실용 영상, 인쇄율 정보, 및 레이어 정보를 적어도 하나의 다른 사용자 단말에 제공할 수도 있다.
예를 들어, 3D 프린터 학습을 수행하는 경우, 3D 프린터의 실시간 인쇄 상황이 수업을 듣는 수강생, 실습생 이외에 학부모, 관람자 등의 단말(예컨대, 스마트 폰, 관전실에 설치된 디스플레이 장치 등)에 제공될 수 있다. 이처럼, 다른 사람이 인쇄하고 있는 물체의 인쇄 상황을 제공받을 수 있음에 따라, 사용자 자신이 인쇄하려는 물체 이외에 3D 프린트 시 다양한 물체에 대한 정보를 다각도에서 열람 및 획득 가능할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 인쇄 오류 여부를 검출하는 동작을 도시한 흐름도이다.
도 4에서 각 단계들(410 내지 430 단계)은 도 2의 오류 검출부(230) 및 정보 제공부(240)에 의해 수행될 수 있다.
410 단계에서, 오류 검출부(230)는 카메라를 통해 촬영 영상을 대상으로, 기준 마커가 인식된 영역(예컨대, 검출된 특징점을 기반으로 인식된 기준 마커에 해당하는 지점(point))에 기초하여 인쇄되고 있는 현재 레이어(layer)에서 인쇄 대상관련 윤곽선을 추출할 수 있다.
예컨대, 전체 레이어가 10개로 구성되고, 현재 5번째 레이어를 적층하여 쌓아올려 인쇄하고 있는 경우, 오류 검출부(230)는 5번째 레이어에 해당하는 3차원 영상에서 윤곽선을 검출할 수 있다. 이때, 오류 검출부(230)는 윤곽선 검출 알고리즘을 이용하여 윤곽선을 추출할 수 있다
420 단계에서, 오류 검출부(240)는 촬영 영상에 해당하는 레이어(즉, 인쇄되고 있는 현재 레이어)관련 영상으로부터 추출된 윤곽선과 상기 추출된 인쇄대상 관련 윤곽선에 기초하여 현재 레이어의 인쇄 오류 여부를 결정할 수 있다.
일례로, 물체를 FDM 방식으로 3D 인쇄하고자 할 때, 전체 레이어(layer)를 대상으로 레이어 별 영상이 메모리 등의 저장 장치에 미리 저장될 수 있다. 그러면, 오류 검출부(240)는 미리 저장된 레이어 별 영상을 대상으로, 3D 프린터로부터 수신된 레이어 정보에 기초하여 인쇄되고 있는 현재 레이어(예컨대, 5번째에 레이어)의 영상을 검출할 수 있다. 그리고, 오류 검출부(240)는 검출된 현재 레이어(예컨대, 5번째에 레이어)의 영상을 대상으로 윤곽선 추출 알고리즘에 기초하여 윤곽선을 추출할 수 있다. 그러면, 오류 검출부(240)는 미리 저장된 5번째 레이어의 영상에서 추출된 윤곽선과 3D 프린터로부터 수신된 정보를 기반으로 생성된 영상으로부터 추출된 윤곽선(즉, 인쇄 대상관련 윤곽선)을 비교하여 인쇄 오류 여부를 결정할 수 있다. 예컨대, 오류 검출부(240)는 상기 기준 마커에 해당하는 지점을 기준으로 상기 윤곽선 간의 위치 및 크기를 비교하여 위치 및 크기가 미리 설정된 기준값 이상인 경우, 인쇄 오류로 결정하고, 기준값보다 작은 경우 인쇄 오류가 없는 것으로 결정할 수 있다. 여기서, 상기 기준값은 3D 인쇄를 요청한 요청자(즉, 인쇄 완료 시 인쇄 물체의 소유주)가 요청한 값으로 설정될 수 있다. 즉, 요청자 또는 인쇄 대상에 따라 오차가 전혀 허용되지 않거나, 약간의 오차가 허용되는 등 오차 범위가 상이할 수 있으며, 오차 범위는 요청자에 의해 설정될 수 있다. 예를 들어, 요청자(즉, 사용자 단말)에 설치된 어플리케이션을 통해 인쇄 요청과 함께 상기 기준값, 인쇄 개수 등이 요청될 수 있다.
430 단계에서, 인쇄 오류가 존재하는 것으로 결정되면, 정보 제공부(240)는 인쇄 오류 정보를 사용자 단말, 관리자 단말, 및 다른 사용자 단말 중 적어도 하나로 제공할 수 있다.
예를 들어, 정보 제공부(240)는 인쇄 오류가 발생한 레이어 정보, 오차 정도, 및 원래 물체에 해당하는 영상 대비, 현재 인쇄되고 있는 인쇄대상에 해당하는 영상을 제공할 수 있다. 즉, 원래 물체 대비 연재 인쇄되고 있는 인쇄 대상 간 오차를 사용자가 육안으로 확인 가능하도록 두 영상을 함께 제공할 수 있으며, 이때, 원래 영상과 인쇄 대상관련 영상이 구분되도록 서로 다른 색상으로 구분하여 제공할 수 있다.
이처럼, 인쇄 오류가 존재하는 것으로 결정된 경우, 정보 제공부(240)는 3D 프린터로 인쇄 중지 명령을 전달함으로써, 현재 레이어에서 인쇄가 중지되도록 제어할 수 있다. 이때, 인쇄 중지 명령은 사용자 단말 또는 관리자 단말에 설치된 어플리케이션을 통해 상기 단말에서 3D 프린터로 제공될 수도 있고, 정보 제공부(240)가 상기 어플리케이션을 통해 수신된 상기 명령을 3D 프린터로 전달할 수도 있다. 그러면, 3D 프린터는 인쇄 중지 명령을 수신함에 따라, 현재 레이어의 인쇄를 중지할 수 있다.
이때, 정보 제공부(240)에서 인쇄 중지 명령을 3D 프린터로 전달하면서, 인쇄 오류 정보를 관리자 단말 및 사용자 단말로 제공할 수 있다. 그러면, 3D 프린터는 상기 명령에 따라 현재 레이어에서의 인쇄를 일시 중지할 수 있다. 사용자 단말 또는 관리자 단말에서 오차 범위가 작아 인쇄를 다시 진행할 것을 허용한 경우, 정보 제공부(240)는 상기 인쇄 중지를 해제하는 해제 명령을 3D 프린터로 전송할 수 있다. 그러면, 3D 프린터는 일시 중지를 해제하고 현재 레이어의 인쇄를 다시 재개할 수 있다. 이때, 사용자 단말 또는 관리자 단말에서 오차 범위가 커서 완전 중지를 요청한 경우, 정보 제공부(240)는 3D 프린터로 완전 중지 명령을 전달할 수 있다. 그러면, 3D 프린터는 3D 인쇄를 완전 중지하고, 현재 레이어까지 3D 인쇄된 인쇄 대상(즉, 재료)를 인쇄 영역에서 제거 가능한 상태로 동작할 수 있다.
한편, 인쇄 오류가 발생하지 않은 경우, 정보 제공부(240)는 인쇄율 정보, 레이어 정보 및 영상을 제공할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 검출된 특징점을 기반으로 기준 마커(fiducial marker)를 인식하는 동작을 설명하기 위해 제공되는 도면이다.
증강현실 처리부(210)는 촬영된 영상을 대상으로 특징점을 검출하고, 검출된 특징점을 기반으로 기준 마커를 빠르게 인식하기 위해 3채널 이미지를 1채널 이미지로 변환하는 전처리(preprocessing)를 수행할 수 있다. 예를 들어, 증강현실 처리부(210)는 촬영된 영상에 해당하는 컬러 이미지(510)를 캐니(canny) 또는 소벨 에지 마스크(sobel edge mask)에 기초하여 전처리를 수행할 수 있다.
도 5를 참고하면, 카메라를 통해 촬영된 영상은 컬러 이미지로서, 예컨대, RGB 컬러로 구성된 3채널의 이미지에 해당할 수 있다. 3차원 컬러 이미지의 경우, 채널당 255가지의 경우(예컨대, RGB 3채널로 나타내는 경우, 각 채널의 값은 0 내지 255까지의 정수)가 존재하므로 특정 마커(즉, 기준 마커)를 인식하기 위해서는 많은 시간이 소요될 수 있다. 이에 따라, 증강현실 처리부(210)이미지를 3채널의 컬러 이미지를 1채널의 이진 이미지(binary image)로 이진화할 수 있다.
이때, 증강현실 처리부(210)는 컬러 이미지(510)를 이진화(binarization)하기 위해 컬러 이미지(510)를 그레이스케일 이미지(grayscale image, 520)로 변환할 수 있다. 즉, 3차원의 컬러 이미지(510)를 1차원의 흑백 이미지로 변환할 수 있다. 이어, 증강현실 처리부(210)는 그레이스케일 이미지(520)를 대상으로 픽셀값에 따라 0과 1로 표현하는 이진화(binarization)를 수행하여 이진 이미지(530)로 변환할 수 있다. 예를 들어, 그레이스케일 이미지(520)에 포함된 각 픽셀(pixel)의 픽셀값과 미리 정의된 기준 픽셀값을 비교할 수 있다. 이때, 픽셀값이 기준 픽셀값보다 크면 흰색(예컨대, 1)으로, 픽셀값이 기준 픽셀값 이하이면 검정색(예컨대, 0)으로 결정할 수 있다. 여기서, 기준 픽셀값은 서로 다른 복수개의 값으로 미리 설정될 수 있다.
예를 들어, 그레이스케일 이미지(520)를 대상으로 복수개의 영역으로 구분될 수 있으며, 구분된 각 영역 별로 서로 다른 기준 픽셀값이 미리 정의될 수 있다. 즉, 증강현실 처리부(210)는 영역 별로 서로 다른 기준 픽셀값을 이용하는 적응적 임계값(addaptive thresholding)에 기초하여 이진화를 수행할 수 있다. 이외에, 증강현실 처리부(210)는 기준 임계값을 임의의 값으로 지정한 후 그레이스케일 이미지(520)를 구성하는 각 픽셀들을 검정 또는 흰색의 픽셀들의 집합으로 구분함에 있어서, 각 집합에 속한 픽셀들의 분산을 최소화시키는 임계값을 기준 픽셀값으로 하는 Otsu 알고리즘에 기초하여 이진화를 수행할 수도 있다.
이처럼, 이진화를 통해 그레이스케일 이미지(520)가 이진 이미지(530)로 변환되면, 증강현실 처리부(210)는 이진 이미지(530)를 대상으로 투영 변환(perspective transformation)을 적용하여 이진 이미지(530)를 직사각형 또는 정사각형 모양으로 변환할 수 있다. 변환된 직사각형 또는 정사각형 형태의 이진 이미지를 격자 형태로 분할할 수 있다. 분할된 격자 영역 별 영상과 미리 저장된 기준 마커에 해당하는 영상을 비교함으로써(예컨대, 모양, 크기, 픽셀값 등을 비교함으로써), 기준 마커의 카메라 자세 추정 정보(camera pose estimation)를 획득할 수 있다. 즉, 현재 인쇄하고 있는 적층 레이어를 투영 변환하여 미리 저장된 인쇄하고자 하는 실제 물체의 적층 레이어의 영상과 비교될 수 있다. 그러면, 오류 검출부(230)는 비교를 통해 정상적으로 인쇄되고 있는지, 아니면 인쇄 오류가 존재하는지 여부를 결정할 수 있다.
다시 말해, 이진 이미지를 대상으로 추출된 특징점들에 기초하여 투영 변환을 이용하여 인쇄된 영상이 인쇄하고자 하는 실제 물체에 해당하는 영상과 일치하는 정도를 확인함으로써, 인쇄 오류 여부를 결정할 수 있다. 예를 들어, 인쇄하고자 하는 특정 물체의 모양 및 크기를 나타내는 특징점들이 메모리 장치에 미리 저장될 수 있다. 예컨대, 4 x 4 픽셀 형태로 특징점들이 미리 저장될 수 있으며, 카메라로 촬영된 영상을 전처리(prepocessing)를 통해 이진 이미지(binary image)로 변경하고, 변경된 이진 이미지에서 추출된 특징점들을 메모리에 저장된 특징점의 크기 및 모양으로 변환할 수 있다. 이때, 미리 지정된 기준 픽셀값에 기초하여 검출된 특정 픽셀들은 흰색(white)로 표현될 수 있고, 흰색에 해당하는 영역을 검사하여 경계선 영역을 검출할 수 있다. 그러면, 검출된 경계선 영역을 대상으로 미리 저장된 특징점의 크기로 변환하기 위해 투영 변환(perspective transformation)이 수행될 수 있다. 이처럼, 검출된 경계선 영역에 해당하는 특징점들(즉, 후보 특징점들)과 미리 저장된 특징점들의 모양 및 크기가 같은지 여부를 비교함으로써, 원하는 특징점을 인식할 수 있다. 즉, 모양 및 크기가 미리 정의된 오차 범위 내에서 일치하는 경우, 인쇄 오류가 없고, 오차 범위를 벗어나 불일치 하는 경우 인쇄 오류가 존재하는 것으로 결정할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 인쇄 정보를 표시하는 단말의 화면 구성 예시를 도시한 도면이다.
도 6을 참고하면, 관리자 단말 또는 사용자 단말의 화면(600)에는 증강현실용 영상이 실시간으로 표시될 수 있다. 예컨대, 화면(600)에는 현재 인쇄를 진행하고 있는 3D 프린터, 3D 프린터에서 인쇄되고 있는 인쇄 대상(610) 및 인쇄 완성 시의 물체(즉, 인쇄하고자 하는 실제 물체에 해당하는 3차원의 영상, 620)이 함께 표시될 수 있다. 이때, 인쇄 대상(610) 및 상기 물체(620)는 서로 다른 색상으로 구분되어 표시될 수 있다.
그리고, 관리자 단말 또는 사용자 단말의 화면(600)의 정보 표시 영역(630)에는 인쇄율 정보, 인쇄 대상(예컨대, 피카추 캐릭터, 피카추 피규어 등), 인쇄 용도, 인쇄 레이어 등의 인쇄 정보가 표시될 수 있다. 예컨대, GUI(Graphical User Interface)를 통해 상기 인쇄 정보가 화면(600) 상의 정보 표시 영역(630)에 표시될 수 있다. 정보 표시 영역(630)이 사용자 터치(touch) 등에 의해 선택되면, 상기 정보 표시 영역(630)에 표시되는 상기 인쇄 정보는 다음 적층 레이어의 인쇄 정보가 수신될 때까지 표시가 제한되도록(즉, 표시되지 않도록) 제어될 수 있다. 이때, 해당 영역(630)을 다시 터치하면, 해당 영역(630)에 다시 해당 레이어의 인쇄 정보가 표시될 수 있다.
이상에서 설명한 바와 같이, 3D 프린터에서 인쇄되고 있는 인쇄 대상의 현재 인쇄 상태 및 인쇄율 등의 인쇄 정보를 사용자 단말, 관리자 단말 등에게 증강현실을 이용하여 제공함으로써, 관리자 또는 사용자(즉, 인쇄물 소유주 등)가 3D 프린터 앞에 대기하고 있지 않더라도 인쇄 대상의 실시간 인쇄 상황을 모니터링 가능하도록 할 수 있다. 또한, 인쇄 오류가 발생한 경우, 인쇄 도중에 일시 중지 또는 완전 중지 등의 제어가 가능하도록 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 증강 현실을 이용하여 3D 프린터로 인쇄하고자 하는 물체(object)의 인쇄 정보를 제공하는 방법에 있어서,
    상기 3D 프린터의 인쇄 영역 내에 포함된 기준 마커(fiducial marker)를 포함하는 인쇄 대상을 촬영한 영상을 대상으로 특징점(feature point)을 검출하는 단계;
    검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성하는 단계;
    상기 3D 프린터로부터 인쇄율 정보를 수신하는 단계; 및
    상기 영상, 상기 인쇄율 정보 및 상기 인쇄율 정보에 해당하는 레이어 정보를 제공하는 단계
    를 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  2. 제1항에 있어서,
    상기 인쇄 대상은 상기 3D 프린터의 인쇄 영역 내에 위치하며, 상기 물체를 인쇄하기 위해 이용되는 재료를 나타내는 것
    을 특징으로 하는 3D 프린터기반 인쇄 정보 제공 방법.
  3. 제1항에 있어서,
    상기 정보를 제공하는 단계는,
    FDM(Fused Deposition Modeling) 방식으로 인쇄하는 경우, 상기 인쇄 대상을 대상으로 적층 인쇄되고 있는 레이어를 나타내는 레이어 정보를 제공하는 것
    을 특징으로 하는 3D 프린터의 인쇄 정보 제공 방법.
  4. 제1항에 있어서,
    미리 지정된 레이어별 영상 중 상기 촬영된 영상에 해당하는 레이어의 영상과 상기 촬영된 영상에 기초하여 인쇄 오류 여부를 검출하는 단계
    를 더 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  5. 제4항에 있어서,
    상기 인쇄 오류 여부를 검출하는 단계는,
    상기 촬영된 영상을 대상으로, 상기 기준 마커가 인식된 영역에 기초하여 현재 레이어에서 상기 인쇄 대상관련 윤곽선을 추출하는 단계; 및
    추출된 상기 윤곽선과 상기 촬영된 영상에 해당하는 레이어의 영상을 대상으로 추출된 윤곽선에 기초하여 인쇄 오류 여부를 결정하는 단계
    를 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  6. 제4항에 있어서,
    상기 정보를 제공하는 단계는,
    상기 인쇄 오류가 존재하는 것으로 검출됨에 따라, 인쇄 오류 정보를 상기 물체의 인쇄를 요청한 사용자 단말, 관리자 단말 중 적어도 하나에 제공하는 단계
    를 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  7. 제1항에 있어서,
    상기 특징점을 검출하는 단계는,
    상기 촬영된 영상을 그레이스케일 이미지(grayscale image)로 변환하는 단계;
    변환된 상기 그레이스케일 이미지를 대상으로 이진화(binarization)를 수행하는 단계; 및
    상기 이진화를 통해 생성된 이진 이미지(binary image)를 대상으로 상기 기준 마커를 인식하는 단계
    를 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  8. 제1항에 있어서,
    상기 특징점을 검출하는 단계는,
    상기 촬영된 영상에 해당하는 3채널 이미지를 1채널 이미지로 변환하는 전처리(preprocessing)를 수행하는 단계
    를 포함하는 3D 프린터기반 인쇄 정보 제공 방법.
  9. 증강 현실을 이용하여 3D 프린터로 인쇄하고자 하는 물체(object)의 인쇄 정보를 제공하는 시스템에 있어서,
    상기 3D 프린터의 인쇄 영역 내에 포함된 기준 마커(fiducial marker)를 포함하는 인쇄 대상을 촬영한 영상을 대상으로 특징점(feature point)을 검출하고, 검출된 특징점에 기초하여 3차원 평면 상에 표현되는 증강 현실용 영상을 생성하는 증강 현실 처리부;
    상기 3D 프린터로부터 인쇄율 정보를 수신하는 정보 수신부; 및
    상기 영상, 상기 인쇄율 정보 및 상기 인쇄율 정보에 해당하는 레이어 정보를 제공하는 정보 제공부
    를 포함하는 3D 프린터기반 인쇄 정보 제공 시스템.
  10. 제9항에 있어서,
    미리 지정된 레이어별 영상 중 상기 촬영된 영상에 해당하는 레이어의 영상과 상기 촬영된 영상에 기초하여 인쇄 오류 여부를 검출하는 오류 검출부
    를 더 포함하는 3D 프린터기반 인쇄 정보 제공 시스템.
KR1020170183893A 2017-12-29 2017-12-29 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법 KR102033399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183893A KR102033399B1 (ko) 2017-12-29 2017-12-29 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183893A KR102033399B1 (ko) 2017-12-29 2017-12-29 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190081391A true KR20190081391A (ko) 2019-07-09
KR102033399B1 KR102033399B1 (ko) 2019-11-08

Family

ID=67261664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183893A KR102033399B1 (ko) 2017-12-29 2017-12-29 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102033399B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875564B2 (en) 2021-08-31 2024-01-16 International Business Machines Corporation Augmented reality based part identification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049907A (ko) * 2013-10-31 2015-05-08 엘지전자 주식회사 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049907A (ko) * 2013-10-31 2015-05-08 엘지전자 주식회사 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム

Also Published As

Publication number Publication date
KR102033399B1 (ko) 2019-11-08

Similar Documents

Publication Publication Date Title
US9656492B2 (en) Method for generating prints on a flatbed printer, apparatus therefor and a computer program therefor
Wang et al. Production planning for cloud-based additive manufacturing—A computer vision-based approach
JP6609256B2 (ja) 積層造形装置および積層造形装置においてレーザースキャナを較正する方法
EP3529023B1 (en) Systems and methods for identifying three-dimensional printed objects
CN112677487B (zh) 3d打印的控制方法、控制系统及3d打印设备
US20130162643A1 (en) Physical Three-Dimensional Model Generation Apparatus
EP3132919B1 (en) Three-dimensional fabricated object manufacturing apparatus and manufacturing method
CN108724733B (zh) 一种面向面曝光3d打印的视觉监视反馈方法
EP3543957A1 (en) Light homogenization method for multi-source large-scale surface exposure 3d printing
KR101956077B1 (ko) 3d 프린팅 시스템 및 그의 오류 검사 및 제어방법
JP6406776B2 (ja) 三次元オブジェクトのシェルの分割
WO2019089323A1 (en) Calibration of scanning systems
Okarma et al. Improved quality assessment of colour surfaces for additive manufacturing based on image entropy
CN108136676B (zh) 在3d打印期间在模型上提供力补偿点的系统和方法
KR20200115158A (ko) 복합 기반 적층 제조(cbam) 이미지 품질(iq) 검증 및 거부 핸들링
JP6191727B1 (ja) 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム
KR102254436B1 (ko) 레이저 3d 프린터 레이저 및 모니터링 시스템 동시 제어방법
KR20190081391A (ko) 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법
CN107870506A (zh) 图案形成片、图案制造装置、图案制造方法及图案制造程序
KR20160089224A (ko) 3d 프린팅 시스템 및 방법
EP3099050B1 (en) Printing layer trimming method and electronic device using the same
CN114889138B (zh) 打印控制方法和三维打印机
US11046002B2 (en) Wetting agent additive for an in-line quality check of composite-based additive manufacturing (CBAM) substrates
CN116968316B (zh) 模型碰撞检测方法、装置、存储介质和电子设备
US11366454B2 (en) Generating a preview of a part to be printed

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right