KR102159236B1 - 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램 - Google Patents

Abstract

3D 프린팅을 지원하는 방법은, 제품을 인식하는 단계; 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 단계; 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 인식된 제품 및 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 단계; 및 3D 모델을 생산하기 위해 3D 모델 정보를 3D 프린터에 전송하는 단계를 포함한다. 이에 따라, 다양한 분야의 DIY, 비즈니스 모델 등에 3D 프린팅 기술을 적극 활용할 수 있는 기술을 제시할 수 있다.

Description

3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램{TERMINAL AND METHOD FOR SURPPORTING 3D PRINTING, COMPUTER PROGRAM FOR PERFORMING THE METHOD}

본 발명은 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 모바일 환경의 증강 현실을 이용한 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 관한 것이다.

최근, 3D 프린팅 기술은 제품 개발에 있어서 기념비적인 변화를 야기하고 있다. 오픈소스 하드웨어는 첨삭가공 기술과 함께 일반인들의 제품 설계/제작 대중화를 견인하는 제3의 산업혁명으로 주목 받고 있다. 과거 일방적인 소비자의 역할을 하던 사용자들은 3D 프린터를 이용하여, 새로운 용도의 제품이나 유지보수를 위한 부품을 직접 디자인하고 생산하고 있다. 또한, 무료로 사용할 수 있는 3D 프린터블 모델이 이미 12만 여 개를 넘어 비약적으로 증가하고 있다. 이와 같이 3D 프린터와 오픈소스 하드웨어의 보급에 따라 소비자에 의한 DIY(do it yourself)가 대중화되고 있다.

또한, 웹은 오픈소스 소프트웨어에 대한 지식뿐만 아니라 오픈소스 하드웨어에 대한 지식을 공유하는 플랫폼의 역할을 해오고 있다. 정보의 공유와 더불어 공유경제의 가치에 대한 공감대의 형성은 3D 프린터의 대중화와 함께 실생활에서 사용할 수 있는 제품의 3차원 모델을 오픈소스 하드웨어로 공유하는 가치를 실현하고 있다. 이에 따라, 웹, 크라우드 소싱, 소셜 네트워크 및 공유경제 등의 공감대를 형성할 수 있다.

한편, 스마트폰의 보급으로 종래의 워크스테이션에서 가능하던 작업이 손 안의 스마트폰에서 가능해졌다. 구글(Google)은 3D 카메라(깊이 카메라)를 장착한 스마트폰과 타블렛 컴퓨터의 프로토타입을 탱고(Tango) 프로젝트를 통하여 선보이고 있다. 이러한 변화는 증강현실 기술의 현실화를 앞당기고 있으며 모바일 단말기가 물체의 인식과 실세계에 대한 정보를 더욱 쉽고 빠르게 취득할 수 있게 한다. 또한, DIY를 위한 제품의 인식과 증강현실을 위한 6자유도 부품의 트래킹을 모바일 디바이스에서 실현할 수 있게 되었다.

그러나, 3D 프린터의 대중화의 이면에는 생산적인 활용에 대한 문제가 남아있다. 프린터를 구입할 수 있는 소비자의 대다수는 프린터에 공급할 3D 모델을 생성할 모델링 과정의 기술적 이해에 대해 관심이 없으며 사용자 친화적 방법을 원한다. 따라서, 개개인의 수요에 맞는 개인화된 커스텀 제품에 대한 수요는 높아지고 있지만 이를 충족할 3차원 모델의 수급 방법이 필요한 실정이다.

또한, 실생활에서 발생하는 간단한 DIY 수요의 대부분은 소비자가 보유한 제품의 유지보수 및 개조와 관련된 것들인데, 사용자의 의도에 맞는 DIY 부품을 제작하기 위해서는 대상 제품에 대한 물리적 정보에 따라 알맞은 DIY 부품을 제시하여 주는 간편한 서비스가 요구된다.

또한, 스마트 모바일 디바이스의 보급에 따라 터치패드나 타블렛을 위한 모델링 방법이 개발되어 왔으나, 소비자는 이러한 기술적 모델링 방법에 관심을 기울이지 않기 때문에, 모델링 자체를 해결해 주거나 이를 대체할 지식공유 방식의 대체설계 방법이 요구된다.

나아가, 3D 프린터의 대중화에도 불구하고 초기투자비용은 소비자의 3D 프린터에 대한 실제 사용을 방해하고 있다. 초기투자비용이 없는 생산 방법 제공으로 손쉬운 DIY를 유도하기 위해, 적은 비용으로 쉽게 이용할 수 있는 서비스 형태의 3D 프린팅 환경 조성이 요구된다.

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 사용자가 쉽고 편리하게 사용할 수 있는 3D 프린팅을 지원하는 단말기를 제공하는 것이다.

본 발명의 다른 목적은 사용자가 쉽고 편리하게 사용할 수 있는 3D 프린팅을 지원하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 하드웨어와 결합되어 상기 3D 프린팅을 지원하는 방법을 수행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3D 프린팅을 지원하는 단말기는, 제품을 인식하는 제품 인식부; 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 웹 자원 활용부; 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 적합도 계산부; 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 전송부; 및 상기 인식된 제품, 상기 검색된 3D 모델 및 상기 시뮬레이션 결과를 표시하는 표시부를 포함한다.

본 발명의 실시예에서, 상기 3D 프린팅을 지원하는 단말기는, 깊이 카메라를 이용하여, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 증강현실 가시화부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 깊이 카메라는, 상기 단말기에 통합되어 형성되어 있거나, 또는 상기 단말기와 별도로 형성될 수 있다.

본 발명의 실시예에서, 상기 증강현실 가시화부는, 상기 검색된 3D 모델을 다운로드 하는 다운로드부; 상기 검색된 3D 모델을 3차원으로 분석하는 3차원 뷰어부; 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 증강현실 제어부를 포함할 수 있다.

본 발명의 실시예에서, 상기 증강현실 제어부는, 상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 전처리부; 상기 컬러-깊이 영상으로부터 전경을 추출하는 제품 검출부; 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 포즈 분석부를 포함할 수 있다.

본 발명의 실시예에서, 상기 제품 인식부는, 상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나 또는 제품의 영상으로부터 제품을 인식할 수 있다.

본 발명의 실시예에서, 상기 전송부는, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.

본 발명의 실시예에서, 상기 표시부는, 3D 프린팅을 지원하기 위한 사용자 인터페이스를 제공할 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 제품을 인식하는 단계; 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 단계; 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 단계; 및 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 단계를 포함한다.

본 발명의 실시예에서, 상기 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계는, 상기 검색된 3D 모델을 다운로드 하는 단계; 상기 검색된 3D 모델을 3차원으로 분석하는 단계; 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계는, 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계; 상기 컬러-깊이 영상으로부터 전경을 추출하는 단계; 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 제품을 인식하는 단계는, 상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나, 또는 제품의 영상으로부터 제품을 인식할 수 있다.

본 발명의 실시예에서, 상기 3D 모델 정보를 3D 프린터에 전송하는 단계는, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.

본 발명의 실시예에서, 상기 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 3D 프린팅을 지원하기 위한 인터페이스를 제공하는 단계를 더 포함할 수 있다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 기록 매체에 저장된 컴퓨터 프로그램은, 단말기를 이용하여 3D 프린팅을 지원하는 방법을 수행할 수 있다.

이와 같은 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 따르면, DIY 시장의 당면 과제를 해결할 수 있는 방법론을 제시함으로써 3D 프린터를 이용한 DIY의 현실화 가능성을 제시하며, 모바일 장치의 카메라 영상을 이용한 제품인식 기술과 깊이 카메라를 이용한 부품인식기술 및 3차원 프린터블 모델을 실시간으로 증강할 수 있는 6자유도 트래킹(tracking)기술을 제시한다.

이를 통하여 제품인식 및 증강현실, 그리고 3D 프린팅을 연계한 통합 DIY 유지보수가 가능하며, 소비자가 일상생활에서 사용하는 제품군에 적용할 수 있고, 오픈소스 하드웨어 지식 공유의 가치와 증강현실과 3D 프린팅 기술의 시너지를 통해 실용적이며 사업화가 가능하다.

또한, 본 발명은 에프터 서비스의 공백을 대체하여 제품 생애주기의 연장뿐 아니라 타 제조사 사이의 기능 공유 등과 같은 부가서비스 발굴을 위한 플랫폼의 역할을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.
도 3은 도 2의 증강현실 가시화부의 상세 블록도이다.
도 4는 도 3의 증강현실 제어부의 상세 블록도이다.
도 5는 도 3의 증강현실 제어부에 따른 깊이 영상 및 3D 모델의 영상들의 예시이다.
도 6은 본 발명의 3D 프린팅을 지원하는 시스템의 한 실시예를 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법을 설명하는 흐름도이다.
도 8은 도 7의 증강현실 표시 단계를 상세하게 설명하는 흐름도이다.
도 9는 본 발명에 따른 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스의 메뉴 구성을 순서대로 보여준다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다. 도 2는 본 발명의 다른 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.

상기 3D 프린팅을 지원하는 단말기(10, 이하 단말기)는 스마트폰, 휴대전화, 타블렛 컴퓨터, 넷북, 피디에이(PDA), 피엠피(PMP), 웨어러블 컴퓨터(wearable computer) 등 다양한 형태의 모바일(mobile) 장치를 모두 포함할 수 있다. 또한, 상기 단말기(10)는 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device), 웨어러블 기기(wearable device) 등 다른 용어로 불릴 수 있다.

또한, 상기 단말기(10)는 운영체제(Operation System; OS)를 기반으로 다양한 응용 프로그램을 실행할 수 있다. 상기 운영체제는 응용 프로그램이 컴퓨터의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, iOS, 안드로이드 OS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 단말기에 탑재할 수 있는 운영체제를 모두 포함할 수 있다.

상기 응용 프로그램은 컴퓨터를 이용하여 특정한 작업을 수행할 수 있도록 개발된 프로그램으로서, 각종 어플리케이션뿐 아니라 게임, 동영상, 사진 등의 각종 멀티미디어 컨텐츠(contents) 또는 상기 멀티미디어 컨텐츠를 실행하는 이미지 뷰어, 동영상 재생기 등의 실행 프로그램을 모두 포함할 수 있다.

그러나, 이와 다르게 상기 단말기(10)는 고정된 데스크 탑 컴퓨터, 모니터, 스마트 TV, 서버(server) 또는 엔진(engine)의 형태일 수 있다.

도 1을 참조하면, 본 발명에 따른 상기 단말기(10)는 대상 제품을 자동으로 인식하고, 프린트 가능한 모델을 검색 및 추천하여 적합도를 평가하고, 증강현실로 시뮬레이션 하여 원클릭으로 3D 프린팅 주문까지 가능하다. 이를 위해, 상기 단말기(10)는 제품 인식부(110), 웹 자원 활용부(130), 적합도 계산부(150), 전송부(190) 및 표시부(200)를 포함한다. 본 발명의 다른 실시예로서, 도 2를 참조하면, 증강현실 가시화부(170)를 더 포함할 수 있다.

본 발명의 상기 단말기(10)에는 3D 프린팅을 지원하는 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, 상기 제품 인식부(110) 등의 구성은 상기 단말기(10)에서 실행되는 상기 3D 프린팅을 지원하는 소프트웨어에 의해 제어될 수 있다. 또한, 상기 제품 인식부(110) 등의 구성은 하나의 모듈로 통합되어 형성될 수 있고, 이와 다르게 각각 별개의 모듈로 형성될 수도 있다.

상기 표시부(200)는 상기 단말기(10)에서 진행되는 3D 프린팅 소프트웨어가 진행되는 일련의 과정을 표시하며, 이와 관계된 입력 메뉴, 선택 메뉴, 부가 메뉴 등을 포함하는 사용자 인터페이스를 제공한다.

상기 표시부(200)는 액정 디스플레이(Liquid Crystal Display; LCD) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel; PDP), 유기발광 다이오드(Organic Light-Emitting Diode; OLED) 디스플레이 패널, 안경형 표시장치 등을 모두 포함할 수 있다. 또한, 모바일 패드, 스마트 폰, 웨어러블 컴퓨터 등 모바일 디스플레이 장치일 수도 있다.

일 실시예에서, 사용자의 입력을 가능하게 하는 사용자 인터페이스는 터치 스크린 기능이 포함된 상기 표시부(200) 상에 제공될 수 있다. 이에 따라, 사용자는 상기 표시부(200)에 표시된 영상 상에 직접 손이나 전자펜을 이용하여 입력할 수 있다. 또한, 상기 표시부(200)에는 키패드, 키보드, 마우스, 조이스틱, 터치 패드, 버튼 등과 같은 다양한 입력 수단이 구현될 수 있다.

상기 제품 인식부(110)는 사용자가 요청하는 제품을 인식한다. 상기 제품 인식부(110)는 상기 단말기(10)가 포함하는 기능을 활용하여 다양한 방법으로 제품을 인식할 수 있다.

예를 들어, 상기 제품 인식부(110)는 상기 단말기(10)가 포함하는 카메라를 이용하여 상기 제품에 부착된 바코드를 통하여 제품을 인식할 수 있다. 현재 유통되고 있는 대부분의 제품은 산업계에서 통용되고 있는 바코드 체계를 통해 제품정보를 인식할 수 있다.

상기 제품 인식부(110)는 상기 단말기(10)의 카메라로부터 바코드를 인식하고, 인식된 바코드를 Product DB 서버와 연동하여 해당 제품의 정확한 제품명을 얻을 수 있다. 바코드에 대한 제품명은 Google API, Amazon API, SearchUPC 등의 웹 API를 통해 방대한 양의 제품정보를 매쉬업하여 데이터베이스를 구축할 수 있다.

다른 예로써, 카메라에 의한 영상에서 제품명을 직접 획득할 수도 있다. 또는, 사용자가 상기 단말기(10)에 직접 제품의 고유 번호나 제품명 등을 입력하여 상기 제품 인식부(110)가 제품을 인식하도록 할 수도 있다. 또 다른 예로써, 상기 제품 인식부(110)는 상기 단말기(10)의 카메라로부터 제품의 이미지 또는 형상정보를 직접 인식하여 제품 정보를 인식할 수도 있다.

또한, 상기 제품 인식부(110)는 Product DB 내의 제품명을 키워드로 이용하여 인식된 제품의 프린트 가능한 3D 모델들을 검색하여 아이템 리스트(Item List)를 상기 표시부(200)에 표시할 수 있다. 이를 통해, 사용자는 검색 히스토리 및 검색 결과를 쉽게 확인할 수 있다.

상기 웹 자원 활용부(130)는 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공한다. 다시 말해, 상기 제품 인식부(110)에서 획득한 제품명을 이용하여 제품과 관련하여 3D 프린트가 가능한 모델들을 웹 자원으로부터 수집한다.

상기 웹 자원 활용부(130)는 웹 상에 존재하는 3D 모델 자원을 활용함과 동시에 부가적인 서비스를 사용자에게 제공하기 위해 프록시 서버를 제공할 수 있다. 예를 들어, Thingiverse, Yeggi 등과 같은 3D 프린터블 모델의 warehouse 검색을 통하여 현재 존재하는 약 12만 여 개의 모델 중 사용자가 요청하는 제품과 관련된 3D 모델들에 대한 정보를 제공할 수 있다.

이 경우, 사용자가 검색한 검색어에 대한 결과를 프록시 서버에 저장하고, 검색 결과에 포함된 이미지와 STL 파일을 미리 캐싱하여 사용자의 대기 시간을 줄여줄 수 있다. 또한, 상기 웹 자원 활용부(130)에서 필요한 정보만 간추려 제공해 오버로드를 줄일 수 있다.

또한, 상기 웹 자원 활용부(130)는 웹 상에 존재하는 제품의 인식 정보를 제공할 수 있다. 다시 말해, 상기 제품 인식부(110)가 제품을 인식하는데 필요한 제품 고유의 정보를 웹 상에 존재하는 정보로부터 수집하여 제공할 수 있다.

상기 적합도 계산부(150)는 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 한다. 이에 따라, 사용자는 프린트할 3D 모델이 DIY를 하고자 하는 제품과 호환성을 어느 정도 갖고 있는지 여부를 판단해주는 부가적인 서비스를 제공받을 수 있다.

제품과 3D 모델 간의 적합성은 제품과 3D 모델의 형상 정보를 기반으로 조립이 가능한지 판단하는 과정으로 이루어진다. 적합성 판단 결과는 프록시 서버로 전달되어 프린트할 3D 모델의 호환성을, 예를 들어, 좋음, 보통, 나쁨의 3가지 상태로 반환하여 사용자에게 제공할 수 있다. 프록시 서버는 반환된 호환성 판단 결과를 우수한 정도에 따라 정렬하여 인식된 제품에 따른 결과를 아래의 표 1의 경량 데이터 교환 형식인 JSON(JavaScript Object Notation) 형태로 반환할 수 있다.

Field 명	Field 설명
Title	제목
Desc	상세 설명
Thumb	썸네일 이미지
Like	다른 사용자가 해당 3D 모델을 선호한 횟수
Collect	업로드한 사용자가 담아두기 위한 다른 3D 모델 collection
Fit	적합성 평가도
Target	타겟에 대한 정보
URL	3D 모델 정보를 받아온 URL
Feasibility	업로드한 3D 모델 파일의 실행 가능 여부
ID	업로드한 파일의 ID
Image	업로드한 사진
File_name	업로드한 3D 모델 파일명
Model	업로드한 3D 모델 파일
Filesize	업로드한 3D 모델 파일 크기

상기 증강현실 가시화부(170)는 깊이 카메라를 이용하여, 상기 제품 인식부(110)에서 인식된 제품 및 상기 웹 자원 활용부(130)에서 검색된 3D 모델을 증강현실로 표시한다. 상기 증강현실 가시화부(170)는 해당 제품에 대해 선별된 3D 모델로부터 최종 모델의 선택을 돕기 위해, 증강현실을 이용하여 사용자의 제품과 3D 프린터블 모델을 함께 가시화한다. 이에 따라, 사용자는 선별된 3D 모델의 정보를 효율적으로 취득할 수 있게 된다.

이를 위해, 도 3을 참조하면, 상기 검색된 3D 모델을 다운로드 하는 다운로드부(171), 상기 검색된 3D 모델을 3차원으로 분석하는 3차원 뷰어부(173) 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 증강현실 제어부(175)를 포함한다.

상기 다운로드부(171)는 3D 프린터 표준 파일 형식인 STL 파일을 포함한 3D 모델 파일을 웹 URL을 통해 실시간으로 로드 할 수 있다. STL 파일 로더는 바이너리 방식과 아스키 방식 모두를 지원하고, 로드된 파일 정보를 이용하여 3차원으로 랜더링 할 수 있다.

상기 3차원 뷰어부(173)는 깊이 카메라를 이용하여 컬러와 깊이를 동시에 활용 가능한 3차원 영상을 분석한다. 상기 증강현실 제어부(175)는 프린팅 될 3D 모델을 제품과 함께 증강현실로 사용자에게 보여줌으로써 제품과의 적합도 및 적용 방법에 대한 정보를 제공한다. 이는 3D 프린팅 결과물로부터 발생할 수 있는 예측 가능한 문제들을 미리 고려하여 최종 3D 모델을 선택할 수 있도록 한다.

상기 3차원 뷰어부(173) 및 상기 증강현실 제어부(175)는 깊이 카메라의 컬러-깊이(RGB-D) 영상을 사용한다. 상기 3차원 뷰어부(173)는 상기 증강현실 제어부(175)를 통해 원 제품과 함께 프린팅 되어 제품에 체결될 3D 모델을 증강하기 위하여 상기 단말기(10)에 장착된 컬러-깊이(RGB-D) 카메라를 이용할 수 있다. 상기 깊이 카메라는 적외선을 통해 제품의 3차원 기하학 정보를 취득하는 기능을 한다.

이러한 깊이 카메라는 상기 단말기(10)에 통합되어 형성되거나, 상기 단말기(10)와 별도로 형성될 수 있다. 상기 깊이 카메라가 상기 단말기(10)와 별도의 모듈 또는 장치로 형성되는 경우, 양자간에 유선 또는 무선 통신으로 영상을 송수신 할 수 있다.

이와 다르게, 컬러-깊이 카메라는 상기 단말기(10)에 독립적으로 장착되어 별도의 연결 없이 간편하게 사용할 수 있다. 이러한 컬러-깊이 카메라 기기를 기반으로 하는 본 발명은 종래의 카메라 기반 시스템과 비교하여 다음과 같은 장점을 갖는다.

첫째, 종래의 전통적인 컴퓨터 비전에서 3차원 정보 추정은 하나 이상의 2차원 컬러 영상으로부터 복잡한 일련의 과정(특징 추출 및 매칭, 강체/비강체 변환)을 거쳐야 하지만, 본 발명과 같이 깊이 카메라를 사용할 경우, 별도의 처리 없이 실시간으로 3차원 정보를 취득하므로 3차원 분석에 용이하다.

둘째, 본 발명은 모바일 단말기에 장착된 카메라를 이용하기 때문에 종래의 데스크 탑 용 카메라 기반 시스템과 달리 이동성에 제약이 없다. 또한, 입력된 데이터에 대한 입출력 처리가 모바일 기기에서 독립적으로 동작하기 때문에 별도의 처리 없이 실시간으로 3차원 데이터 분석의 결과를 확인할 수 있다.

셋째, 종래의 컬러-깊이 영상의 응용 3D 스캔 및 3D 모델 복원(reconstruction) 사례들은 대부분 고수준의 하드웨어 리소스를 활용한 피사체의 표면 스캐닝과 같은 3차원 CAD 모델링이 대부분이다. 본 발명은 컬러-깊이를 반영한 증강현실 기술을 통해 3D 모델을 3D 프린트 전에 미리 확인 가능한 새로운 형태의 프로덕션 모델이다.

도 4 및 도 5를 참조하면, 상기 증강현실 제어부(175)는 제품과 이에 적절한 3D 모델을 증강하여 사용자에게 실시간으로 제공 하기 위해 전처리부(1751), 제품 검출부(1753) 및 포즈 분석부(1755)를 포함한다.

상기 전처리부(1751)는 상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거한다. 입력된 컬러-깊이 영상에 대한 노이즈 제거 및 영상 개선 등을 통해 이후 제품 검출 및 포즈 분석 단계에서 개선된 결과를 얻기 위한 전처리를 수행한다. 이를 위해 스무딩, 홀 필링(hole filling) 연산을 통해 개선된 데이터를 생성할 수 있다.

도 5(a)는 제품의 깊이 영상의 예시이고, 도 5(b)는 제품의 컬러 영상의 예시이다. 도 5(c)는 도 5(a)로부터 전처리된 깊이 영상을 보여준다.

상기 제품 검출부(1753)는 상기 컬러-깊이 영상으로부터 전경(foreground)을 추출한다. 취득된 컬러-깊이 영상을 이용하여, 제품에 대한 3차원 영역을 분할 및 획득한다. 이를 위해 검출할 제품 표면의 곡률을 포함한 기하학적 정보와 카메라로부터 근거리에 위치한 제품을 검출한다. 색상 정보를 깊이 영상의 분할에 동시에 사용하여 3차원의 제품 영역을 정확하게 검출한다. 도 5(d)는 제품 검출 결과를 보여준다.

상기 포즈 분석부(1755)는 상기 제품과 상기 3D 모델의 포즈를 추정한다. 상기 제품 검출부(1753)로부터 정의된 3차원의 제품 영역으로부터 제품의 포즈를 추정하고 이를 기반으로 3D 모델의 포즈를 정의한다. 제품의 포즈는 카메라 좌표계를 기준으로 3차원의 제품 영역 분석을 통해 계산된 상대적인 좌표계로 정의된다. 미리 정의된 제품과 모델과의 결합부로 이동된 제품 좌표계를 3D 모델의 포즈로 정의하고, 이를 상기 증강현실 제어부(175)의 3D 모델 증강에 활용한다.

도 5(e)는 제품 포즈의 추정 결과의 예시이고, 도 5(f)는 3D 모델의 포즈의 추정 결과의 예시이다.

상기 전송부(190)는 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송한다. 일례로, 상기 전송부(190)는 상기 3D 모델 정보를 클라우드 3D 프린팅 대행 업체로 전송할 수 있다. 상기 전송부(190)를 통해 사용자가 클라우드 3D 프린팅 대행 서비스를 선택하였을 경우, i.materialise, sculpteo, shapeways 및 3D HUBS 등의 클라우드 3D 프린팅 대행 서비스와 연결할 수 있다.

따라서, 본 발명에 따라 간편하게 3D 프린팅 대행 서비스와 연결을 통하여 3D 프린팅 가능한 모델을 전달하고, 사용자는 프린팅된 3D 모델을 제공받을 수 있다.

다른 예로, 상기 전송부(190)는 상기 3D 모델 정보를 로컬 3D 프린터로 전송할 수 있다. 사용자가 로컬 3D 프린터를 선택하였을 경우, 선택한 프린터에 3D 모델과 필요한 정보를 전송하여 해당 모델을 생산한다. 본 발명과 로컬 3D 프린터 간의 연결은 무선 통신을 이용하여 클라우드 프린트와 같이 어디에서나 편리하게 이루어질 수 있다.

도 6은 본 발명에 따른 3D 프린팅을 지원하는 시스템(1) 구성도의 한 예시이다.

도 6을 참조하면, 시스템(1) 구성도의 세 계층으로서, 웹 기반의 증강현실 플랫폼(300), 본 발명의 3D 프린팅을 지원하는 방법의 런타임 시에 진행되는 과정들을 나타내는 블록(100) 및 웹 상에 존재하는 블록(500)을 나타낸다.

본 발명의 3D 프린팅을 지원하는 방법은 HTML5 기반의 증강현실 콘텐츠 저작 플랫폼의 증강현실 웹 어플리케이션(AR Web App) 형태로 구현할 수 있다. HTML5 기반의 증강현실 플랫폼은 HTML, CSS, JavaScript와 같은 Web 기반 기술로 개발하였기 때문에 웹의 특징인 단순성과 모듈화, 분산화의 장점 모두를 가짐과 동시에 하이퍼링크와 URI로 다양한 미디어 리소스의 재사용이 가능하다.

본 발명은 종래의 발명에 비하여 tracking engine을 확장하여 Structure sensor를 이용한 정밀한 6자유도 트래킹 기능을 추가함으로써 제품인식의 정확도를 높였고, Situated Renderer의 WebGL renderer를 이용하여 사용자에게 증강현실로 보여줌으로써 모델의 저작의도와 적용방법에 대한 사용자의 이해를 도와준다.

도 7은 본 발명의 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법을 설명하는 흐름도이다. 도 8은 도 7의 증강현실 표시 단계를 상세하게 설명하는 흐름도이다.

본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 도 1 또는 도 2의 단말기(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1 또는 도 2의 단말기(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.

또는, 본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 단말기를 이용하여 3D 프린팅을 지원하기 위한 소프트웨어(어플리케이션)에 의해 실행될 수 있다.

도 7을 참조하면, 본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 사용자의 요청에 따라 제품을 인식한다(단계 S10). 상기 제품의 인식은, 단말기가 포함하거나 단말기와 연결된 카메라를 이용하여 상기 제품에 표시된 바코드를 통하여 이루어 질 수 있다. 또한 상기 제품의 인식은, 단말기가 포함하거나 단말기와 연결된 카메라를 이용하여 상기 제품에 대한 영상으로부터 이루어 질 수 있다.

제품이 인식되면 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공한다(단계 S30). 이때, 웹 상에 존재하는 3D 모델 자원을 활용함과 동시에 부가적인 서비스를 사용자에게 제공하기 위해 프록시 서버를 제공할 수 있다.

제품이 검색되면, 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 한다(단계 S50). 이에 따라, 사용자는 프린트할 3D 모델이 DIY를 하고자 하는 제품과 호환성을 어느 정도 갖고 있는지 여부를 판단해주는 부가적인 서비스를 제공받을 수 있다.

또한, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하여(단계 S70), 사용자가 해당 제품에 대해 선별된 3D 모델로부터 최종 모델의 선택을 하는데 도움을 줄 수 있다.

도 8을 참고하면, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계(단계 S70)는, 상기 검색된 3D 모델을 다운로드 하는 단계(단계 S71), 상기 검색된 3D 모델을 3차원으로 분석하는 단계(단계 S73) 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계(단계 S75)를 포함할 수 있다.

상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계(단계 S75)는 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계, 상기 컬러-깊이 영상으로부터 전경을 추출하는 단계 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 단계를 포함할 수 있다.

상기 시뮬레이션 단계(단계 S50) 또는 상기 증강현실 표시 단계(단계 S70)에서 사용자는 프린팅할 3D 모델을 선택할 수 있고, 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송한다(단계 S90).

이때, 사용자의 선택에 따라, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.

본 발명에 따른 3D 프린팅을 지원하는 방법은 단말기, 특히 모바일 환경에 서 구동되어 사용자가 원하는 제품을 쉽게 검색할 뿐만 아니라 정확하게 인식하고 트래킹이 가능하다. 또한, 제품 인식부터 선택한 3D 모델을 3D 프린터 또는 대행 업체로 전송하는 과정까지 하나의 프로세스로 진행되어 3D 프린팅의 사용성과 기능성을 증대시킬 수 있다.

이러한 3D 프린팅을 지원하는 방법은 소프트웨어(어플리케이션)으로 구현될 수 있다.

도 9는 본 발명에 따른 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스의 메뉴 구성의 한 실시예를 순서대로 보여준다. 예를 들어, A사 청소기의 흡입구가 망가져서, A사 청소기의 몸체에 B사 청소기의 흡입구를 호환하려고 할 때, 두 구성 간에 호환을 위한 커넥터를 3D 프린팅 하려는 경우이다.

도 9를 참조하면, 바코드를 통해 제품을 검색한다(단계 S100). 3D 프린팅을 지원하는 응용 프로그램(어플리케이션)의 실행 첫 단계로서, 사용자가 관심 있는 제품과 관련된 3D 모델들을 검색하기 위하여 바코드를 인식한다. 보조선 또는 가이드를 이용하여 사용자가 바코드를 알맞은 위치로 가져가 제품을 쉽게 스캔하도록 유도할 수 있다. 또한, 바코드 인식 시 효과음을 통해 사용자에게 실제 바코드 리더를 사용할 때와 유사한 경험을 제공하여, 초보자도 쉽게 접근하여 제품을 검색하도록 할 수 있다.

이때, 검색 히스토리 메뉴를 제공할 수 있다(단계 S200). 단말기(10)의 표시부(200)의 오른쪽에 있는 히스토리 메뉴는 과거 사용자가 검색한 바코드들과 제품명에 대한 정보를 제공할 수 있다. 이러한 히스토리 정보를 통해 정보 접근 경로가 단축되므로, 사용자는 이전에 검색했던 제품에 대해 다시 바코드를 인식해야 하는 수고를 덜 수 있다.

바코드가 검색되면, 바코드 검색 결과를 보여 준다(단계 S300). 바코드에 맞는 제품명이 검색되면, 검색된 제품을 상단 부분에 표시해줌과 동시에, 그 제품에 대한 3D 프린팅이 가능한 모델들을 검색할지 다른 제품을 검색할지 선택할 수 있다. 3D 프린팅이 가능한 모델들을 찾는 버튼을 누르면, 현재 웹 상에 존재하는 자원들을 검색하는 과정이 진행되고 있다는 것에 대해서 프로그래스 바(progress bar)를 통해서 보여줄 수 있다.

해당 제품에 대한 3D 프린팅이 가능한 모델들을 검색하고, 이에 대한 결과를 보여준다(단계 S400). 서버에서 정보를 받아오는 것이 완료되면 아이템 메뉴가 활성화되면서 검색결과들을 리스트로 보여줄 수 있다. 리스트 중 어느 한 항목을 선택할 경우 그에 대한 자세한 정보를 제공해줄 수 있다.

또한, 3D 모델과 증강 대상의 적합도 판별 서비스를 제공할 수 있다. 리스트의 각 항목에는 모델 이름, 인기정도(예를 들어, 하트 표시), 적합도(fit)에 대한 정보를 제공하고, 결정된 적합도는 3D 모델을 프린팅 했을 때, 대상 물체에 얼마나 정확하게 맞을지에 대한 정보이다. 이 정보를 통해 사용자는 적합하다고 판별된 3D 모델 정보들을 우선적으로 받아볼 수 있고, 잘못된 3D 모델 프린팅을 미연에 방지하여 3D 프린트 비용 절감이 가능하다.

이어, 선택된 3D 모델의 상세 정보를 제공한다(단계 S500). 크라우드 소싱(crowd sourcing)을 통한 3D 모델의 상세 정보를 제공하는 단계로서, 상세 정보에는 리스트 상에 나타난 대표 3D 외에 같은 항목에 존재하는 다른 3D 모델들에 대한 정보를 확인할 수 있다. 또한, 선택한 항목에 대한 다른 사용자들의 평가들을 함께 제공할 수 있다.

이 경우, 3D 모델의 정보를 다양한 방법으로 제공할 수 있다. 예를 들어, 선택한 3D 모델을 증강된 상태가 아닌 360도 회전하면서 보고 싶은 사용자는 3D View 버튼을 누른 후 터치 인터랙션을 통해 3D 모델을 살펴볼 수 있다. 또한, AR View 버튼을 눌러 항목 내 존재하는 여러 개의 3D 모델들 중 원하는 3D 모델을 증강하여 보여줄 수 있다. 또한, 제품의 상세 정보의 출처에 대해 알고 싶어하는 사용자를 위해 3D 모델을 가져온 웹 페이지로 이동하는 버튼을 제공할 수 있다.

나아가, 증강현실을 이용한 실감적인 3D 모델을 확인할 수도 있다(단계 S600). 3D 모델을 제품에 증강하여 보여주는 화면에서 좌측 상단에 다른 제품의 바코드를 검색할 수 있는 3D 프린팅을 지원하는 응용 프로그램(어플리케이션)의 실행 첫 단계의 화면으로 갈 수 있는 버튼을 제공할 수 있다. 또한, 상단 가운데 부분에는 현재 증강을 하고 있는 3D 모델의 이름과 대상과의 적합도 정보를 단계별로 표현하여 한눈에 인지할 수 있도록 하고, 좌측 하단에는 현재 보고 있는 3D 모델을 프린팅 하기 위한 버튼을 제공할 수 있다.

마지막으로 증강현실을 이용하여 최종 확인한 3D 모델을 프린트 할 수 있는 메뉴를 제공한다(단계 S700). 출력할 3D 모델에 대한 사진 정보와 이름을 좌측에서 다시 한번 사용자에게 알려주고, 연결할 수 있는 3D 프린터들과 출력을 의뢰할 수 있는 서비스 회사들을 우측에서 선택할 수 있도록 제공할 수 있다. 또한, 편집 버튼을 제공하여 3D 프린트나 서비스 회사에 대한 설정을 편집하도록 할 수 있다.

그러나, 도 9 및 이에 대한 설명에서 제시한 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스는 예시에 불과하므로, 이에 한정되지 않고 필요에 따라 구성 및 변경할 수 있다.

이와 같은, 단말기에서 3D 프린팅을 지원하는 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에서 제공하는 제품 인식 및 호환 가능한 3D 프린터블 모델 검색과 증강은 특정 제품군에 한정되지 않고 소비자에게 다양한 활용 가치를 제공할 수 있다. 소비자의 측면에서, 3D printable warehouse에 존재하는 다양한 분야의 프린팅 가능한 3D 모델들과 적합도 정보를 활용하여 가전 제품 등에 대한 DIY를 도울 뿐만 아니라, 자동차, 레져 등 다양한 분야의 DIY 경우에도 사용할 수 있다.

1인 기업 측면에서, 3D 모델 개발자는 스스로 제작한 3D 모델들에 대해서 3D printable warehouse에 유료 모델로 업로드를 할 수 있다. 대량생산이 어려운 특정 목적을 위한 커스텀 부분품들과 소비자 개개인의 특성을 고려하여 제작되는 모델들을 유료로 제공함으로 다품종 소량생산의 비즈니스 모델이 성립하게 된다.

산업체의 입장에서, 설비의 유지보수에 대한 비용을 줄이는데 도움을 줄 수 있으며, 유지보수가 필요한 상황에서 부품의 인식 및 증강 현실 기술을 활용하여 문제 해결을 위한 시각화된 매뉴얼을 제공한다. 따라서, 숙련되지 않은 사용자라도 쉽게 제품의 유지 보수가 가능하다.

또한, 생활가전, 리빙, 홈데코, 오피스, 자동차, 레져, 패션 등과 같은 다양한 분야의 제품군에 대한 제품 정보 DB 및 적합도 정보를 In-App purchase 형태로 제공하여 분야 별 대상 제품군 서비스 및 DIY를 원하는 사용자에게 In-App purchase를 통해 실시간 조립 검사 기능을 제공할 수 있고, 유료 3D 모델 개발자는 제작한 3D 모델들을 3D printable warehouse에서 판매를 함으로써, 사용자가 In-App purchase의 형태로 손쉽게 구매할 수 있는 부가적인 서비스를 창출할 수 있다.

10: 단말기 110: 제품 인식부
130: 웹 자원 활용부 150: 적합도 계산부
170: 증강현실 가시화부 171: 다운로드부
173: 3차원 뷰어부 175: 증강현실 제어부
1751: 전처리부 1753: 제품 검출부
1755: 포즈 분석부 190: 전송부
200: 표시부 1: 3D 프린팅을 지원하는 시스템

Claims (16)

1. 객체와 관련된 이미지 정보를 획득하는 카메라;
   상기 이미지 정보에 기반하여, 객체를 인식하고 인식된 객체와 매칭되는 이미 존재하는 제품을 인식하는 제품 인식부;
   인식된 제품과 관련된, 웹 상에 존재하는 3D 모델들을 검색하여 제공하는 웹 자원 활용부;
   상기 인식된 제품 및 검색된 3D 모델들의 형상 정보를 기반으로, 상기 인식된 제품과 검색된 3D 모델 간의 조립이 가능한지에 대한 적합성을 계산하여 시뮬레이션 하는 적합도 계산부 - 상기 적합성 계산을 위해 사용되는 3D 모델들은 상기 인식된 제품에 조립 가능한 부품의 3D 모델을 포함함;
   사용자가 표시된 3D 모델을 선택할 수 있도록, 계산된 적합성에 기반하여 상기 인식된 제품, 상기 검색된 부품의 3D 모델 및 상기 시뮬레이션 결과를 표시하는 표시부;
   상기 인식된 제품의 형상과 선택된 부품의 3D 모델의 결합부로 상기 인식된 제품의 좌표계를 이동시켜, 상기 선택된 부품의 3D 모델의 포즈가 상기 인식된 제품의 포즈를 트래킹하도록 상기 인식된 제품의 위에 상기 선택된 부품의 3D 모델을 증강현실로 제공하는 증강현실 가시화부; 및
   상기 선택된 부품의 3D 모델을 생산하기 위해 상기 선택된 3D 모델 정보를 3D 프린터에 전송하는 전송부를 포함하되,
   상기 증강현실을 위해 상기 선택된 부품의 3D 모델이 결합되는 상기 인식된 제품의 형상은 컬러-깊이 영상으로부터 취득된 상기 인식된 제품의 3차원 기하학 정보에 기초한 것을 특징으로 하는, 3D 프린팅을 지원하는 단말기.
   
2. 제1항에 있어서,
   상기 증강현실 가시화부는,
   상기 선택된 부품의 3D 모델을 다운로드 하는 다운로드부;
   상기 선택된 부품의 3D 모델을 깊이 카메라를 이용하여 3차원으로 분석하는 3차원 뷰어부; 및
   상기 선택된 부품의 3D 모델을 상기 인식된 제품과 함께 증강현실로 제공하는 증강현실 제어부를 포함하는, 3D 프린팅을 지원하는 단말기.
   
3. 제2항에 있어서,
   상기 깊이 카메라는,
   상기 단말기에 통합되어 형성되어 있거나, 또는 상기 단말기와 별도로 형성된, 3D 프린팅을 지원하는 단말기.
   
4. 삭제
5. 제2항에 있어서,
   상기 증강현실 제어부는,
   상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 전처리부;
   상기 컬러-깊이 영상으로부터 전경을 추출하는 제품 검출부; 및
   상기 인식된 제품과 상기 선택된 부품의 3D 모델의 포즈를 추정하는 포즈 분석부를 포함하는, 3D 프린팅을 지원하는 단말기.
   
6. 제1항에 있어서,
   상기 전송부는,
   상기 부품의 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송하는, 3D 프린팅을 지원하는 단말기.
   
7. 제1항에 있어서,
   상기 표시부는,
   3D 프린팅을 지원하기 위한 사용자 인터페이스를 제공하는, 3D 프린팅을 지원하는 단말기.
   
8. 객체와 관련된 이미지 정보에 기반하여, 상기 객체와 매칭되는 이미 존재하는 제품을 인식하는 단계;
   인식된 제품과 관련된, 웹 상에 존재하는 3D 모델들을 검색하여 제공하는 단계;
   상기 인식된 제품 및 검색된 3D 모델의 형상 정보를 기반으로, 상기 인식된 제품과 검색된 3D 모델 간의 조립이 가능한지에 대한 적합성을 계산하여 시뮬레이션 하는 단계 - 상기 적합성 계산을 위해 사용되는 3D 모델들은 상기 인식된 제품에 조립 가능한 부품의 3D 모델을 포함함;
   사용자가 표시된 3D 모델을 선택할 수 있도록, 계산된 적합성에 기반하여 상기 인식된 제품, 상기 검색된 부품의 3D 모델 및 상기 시뮬레이션 결과를 표시하는 단계;
   상기 인식된 제품의 형상과 선택된 부품의 3D 모델의 결합부로 상기 인식된 제품의 좌표계를 이동시켜, 상기 선택된 부품의 3D 모델의 포즈가 상기 인식된 제품의 포즈를 트래킹하도록 상기 인식된 제품의 위에 상기 선택된 부품의 3D 모델을 증강현실로 제공하는 단계; 및
   상기 선택된 부품의 3D 모델을 생산하기 위해 상기 선택된 3D 모델 정보를 3D 프린터에 전송하는 단계를 포함하되,
   상기 증강현실을 위해 상기 선택된 부품의 3D 모델이 결합되는 상기 인식된 제품의 형상은 컬러-깊이 영상으로부터 취득된 상기 인식된 제품의 3차원 기하학 정보에 기초한 것을 특징으로 하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
   
9. 제8항에 있어서,
   상기 인식된 제품 위에 상기 선택된 부품의 3D 모델을 증강현실로 제공하는 단계는,
   웹 상에서 상기 단말기로 상기 선택된 부품의 3D 모델을 다운로드 하는 단계;
   상기 선택된 부품의 3D 모델을 상기 컬러-깊이 영상을 이용하여 3차원으로 분석하는 단계; 및
   상기 선택된 부품의 3D 모델을 상기 인식된 제품과 함께 증강현실로 제공하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
   
10. 제9항에 있어서,
    상기 선택된 부품의 3D 모델을 상기 인식된 제품과 함께 증강현실로 제공하는 단계는,
    깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계;
    상기 컬러-깊이 영상으로부터 전경을 추출하는 단계; 및
    상기 인식된 제품과 상기 선택된 부품의 3D 모델의 포즈를 추정하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
    
11. 제8항에 있어서,
    상기 제품을 인식하는 단계는,
    상기 단말기의 카메라를 이용하여 상기 객체의 바코드를 인식하거나, 또는 상기 객체의 영상으로부터 제품을 인식하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
    
12. 제8항에 있어서,
    상기 3D 모델 정보를 3D 프린터에 전송하는 단계는,
    상기 부품의 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
    
13. 제8항에 있어서,
    3D 프린팅을 지원하기 위한 인터페이스를 제공하는 단계를 더 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
    
14. 제8항 내지 제13항 중 어느 하나의 항에 따라 하드웨어와 결합되어 상기 3D 프린팅을 지원하는 방법을 수행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
15. 삭제
16. 삭제

Images