KR20160121477A - Terminal and method for surpporting 3d printing, computer program for performing the method - Google Patents

Terminal and method for surpporting 3d printing, computer program for performing the method Download PDF

Info

Publication number
KR20160121477A
KR20160121477A KR1020160128319A KR20160128319A KR20160121477A KR 20160121477 A KR20160121477 A KR 20160121477A KR 1020160128319 A KR1020160128319 A KR 1020160128319A KR 20160128319 A KR20160128319 A KR 20160128319A KR 20160121477 A KR20160121477 A KR 20160121477A
Authority
KR
South Korea
Prior art keywords
product
model
printing
terminal
augmented reality
Prior art date
Application number
KR1020160128319A
Other languages
Korean (ko)
Other versions
KR102159236B1 (en
Inventor
유병현
안상철
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160128319A priority Critical patent/KR102159236B1/en
Publication of KR20160121477A publication Critical patent/KR20160121477A/en
Application granted granted Critical
Publication of KR102159236B1 publication Critical patent/KR102159236B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06K9/20

Abstract

A method for supporting 3d printing includes a step of recognizing products; a step of searching a 3D model existing on a web related to the recognized products and providing; a step of calculating and simulating validity between the recognized products and searched 3D models, based on the recognized products and the information of the searched 3D model; and a step of transmitting 3D model information for producing a 3D model to a 3D printer. So, a technique for actively using a 3D printing technique such as various fields of DIY, business models can be suggested.

Description

3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램{TERMINAL AND METHOD FOR SURPPORTING 3D PRINTING, COMPUTER PROGRAM FOR PERFORMING THE METHOD}TECHNICAL FIELD [0001] The present invention relates to a terminal and method for supporting 3D printing, a computer program for performing the method,

본 발명은 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 모바일 환경의 증강 현실을 이용한 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 관한 것이다.The present invention relates to a terminal and method for supporting 3D printing, a computer program for performing the method, and more particularly to a terminal and method for supporting 3D printing using an augmented reality of a mobile environment, To a computer program.

최근, 3D 프린팅 기술은 제품 개발에 있어서 기념비적인 변화를 야기하고 있다. 오픈소스 하드웨어는 첨삭가공 기술과 함께 일반인들의 제품 설계/제작 대중화를 견인하는 제3의 산업혁명으로 주목 받고 있다. 과거 일방적인 소비자의 역할을 하던 사용자들은 3D 프린터를 이용하여, 새로운 용도의 제품이나 유지보수를 위한 부품을 직접 디자인하고 생산하고 있다. 또한, 무료로 사용할 수 있는 3D 프린터블 모델이 이미 12만 여 개를 넘어 비약적으로 증가하고 있다. 이와 같이 3D 프린터와 오픈소스 하드웨어의 보급에 따라 소비자에 의한 DIY(do it yourself)가 대중화되고 있다.Recently, 3D printing technology has caused monumental changes in product development. Open-source hardware is attracting attention as a third industrial revolution that leads to popularization of product design / production by the general public along with the addition processing technology. In the past, users who have played a role as unilateral consumers have used 3D printers to design and manufacture new-use products and parts for maintenance. In addition, there are already more than 120,000 3D printer models that can be used for free. As 3D printers and open source hardware become popular, DIY (do it yourself) is popularized by consumers.

또한, 웹은 오픈소스 소프트웨어에 대한 지식뿐만 아니라 오픈소스 하드웨어에 대한 지식을 공유하는 플랫폼의 역할을 해오고 있다. 정보의 공유와 더불어 공유경제의 가치에 대한 공감대의 형성은 3D 프린터의 대중화와 함께 실생활에서 사용할 수 있는 제품의 3차원 모델을 오픈소스 하드웨어로 공유하는 가치를 실현하고 있다. 이에 따라, 웹, 크라우드 소싱, 소셜 네트워크 및 공유경제 등의 공감대를 형성할 수 있다. In addition, the Web has become a platform for sharing knowledge of open source hardware as well as knowledge of open source software. With the sharing of information, the creation of a consensus on the value of the shared economy is realizing the value of sharing 3D models of products that can be used in real life with open source hardware, along with the popularization of 3D printers. This can create a consensus on the web, crowdsourcing, social networks and shared economies.

한편, 스마트폰의 보급으로 종래의 워크스테이션에서 가능하던 작업이 손 안의 스마트폰에서 가능해졌다. 구글(Google)은 3D 카메라(깊이 카메라)를 장착한 스마트폰과 타블렛 컴퓨터의 프로토타입을 탱고(Tango) 프로젝트를 통하여 선보이고 있다. 이러한 변화는 증강현실 기술의 현실화를 앞당기고 있으며 모바일 단말기가 물체의 인식과 실세계에 대한 정보를 더욱 쉽고 빠르게 취득할 수 있게 한다. 또한, DIY를 위한 제품의 인식과 증강현실을 위한 6자유도 부품의 트래킹을 모바일 디바이스에서 실현할 수 있게 되었다.On the other hand, with the spread of smart phones, work that was possible in conventional workstations has become possible in smart phones. Google is prototyping a smartphone and tablet computer with a 3D camera (depth camera) through the Tango project. This change accelerates the realization of augmented reality technology and enables the mobile terminal to acquire information on the object recognition and the real world more easily and quickly. In addition, the recognition of products for DIY and the tracking of 6 DOF components for augmented reality can be realized in mobile devices.

그러나, 3D 프린터의 대중화의 이면에는 생산적인 활용에 대한 문제가 남아있다. 프린터를 구입할 수 있는 소비자의 대다수는 프린터에 공급할 3D 모델을 생성할 모델링 과정의 기술적 이해에 대해 관심이 없으며 사용자 친화적 방법을 원한다. 따라서, 개개인의 수요에 맞는 개인화된 커스텀 제품에 대한 수요는 높아지고 있지만 이를 충족할 3차원 모델의 수급 방법이 필요한 실정이다.However, behind the popularization of 3D printers, there remains a problem of productive utilization. The majority of consumers who can purchase printers are not interested in the technical understanding of the modeling process to create a 3D model to supply to the printer and want a user-friendly way. Therefore, there is a growing demand for personalized custom products to meet individual needs, but there is a need for a supply and demand method for a three-dimensional model to meet such demand.

또한, 실생활에서 발생하는 간단한 DIY 수요의 대부분은 소비자가 보유한 제품의 유지보수 및 개조와 관련된 것들인데, 사용자의 의도에 맞는 DIY 부품을 제작하기 위해서는 대상 제품에 대한 물리적 정보에 따라 알맞은 DIY 부품을 제시하여 주는 간편한 서비스가 요구된다.In addition, most of the simple DIY demand that occurs in real life is related to the maintenance and remodeling of the products owned by the consumer. In order to manufacture the DIY parts according to the user's intention, appropriate DIY parts are presented according to the physical information about the target product A simple service is required.

또한, 스마트 모바일 디바이스의 보급에 따라 터치패드나 타블렛을 위한 모델링 방법이 개발되어 왔으나, 소비자는 이러한 기술적 모델링 방법에 관심을 기울이지 않기 때문에, 모델링 자체를 해결해 주거나 이를 대체할 지식공유 방식의 대체설계 방법이 요구된다.In addition, modeling methods for touch pads and tablets have been developed according to the spread of smart mobile devices. However, since consumers do not pay attention to such technical modeling methods, alternative design methods of knowledge sharing methods .

나아가, 3D 프린터의 대중화에도 불구하고 초기투자비용은 소비자의 3D 프린터에 대한 실제 사용을 방해하고 있다. 초기투자비용이 없는 생산 방법 제공으로 손쉬운 DIY를 유도하기 위해, 적은 비용으로 쉽게 이용할 수 있는 서비스 형태의 3D 프린팅 환경 조성이 요구된다.Furthermore, despite the popularity of 3D printers, the initial investment cost is hampering the actual use of consumer 3D printers. In order to induce easy DIY by providing production method without initial investment cost, it is required to create 3D printing environment of service type that can be easily used at low cost.

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 사용자가 쉽고 편리하게 사용할 수 있는 3D 프린팅을 지원하는 단말기를 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a terminal supporting 3D printing which can be easily and conveniently used by a user.

본 발명의 다른 목적은 사용자가 쉽고 편리하게 사용할 수 있는 3D 프린팅을 지원하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method for supporting 3D printing that is easy and convenient for a user to use.

본 발명의 또 다른 목적은 하드웨어와 결합되어 상기 3D 프린팅을 지원하는 방법을 수행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.It is still another object of the present invention to provide a computer program stored in a recording medium for performing a method of supporting 3D printing in combination with hardware.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3D 프린팅을 지원하는 단말기는, 제품을 인식하는 제품 인식부; 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 웹 자원 활용부; 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 적합도 계산부; 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 전송부; 및 상기 인식된 제품, 상기 검색된 3D 모델 및 상기 시뮬레이션 결과를 표시하는 표시부를 포함한다.According to another aspect of the present invention, there is provided a terminal for supporting 3D printing, comprising: a product recognition unit for recognizing a product; A web resource utilization unit searching and providing a 3D model existing on the web related to the recognized product; A fitness calculator for calculating and simulating conformity between the recognized product and the retrieved 3D model based on the recognized product and information of the retrieved 3D model; A transmitting unit for transmitting the 3D model information to the 3D printer to produce the 3D model; And a display unit displaying the recognized product, the retrieved 3D model, and the simulation result.

본 발명의 실시예에서, 상기 3D 프린팅을 지원하는 단말기는, 깊이 카메라를 이용하여, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 증강현실 가시화부를 더 포함할 수 있다.In an exemplary embodiment of the present invention, the terminal supporting 3D printing may further include an augmented reality visualization unit that displays the recognized product and the searched 3D model as an augmented reality using a depth camera.

본 발명의 실시예에서, 상기 깊이 카메라는, 상기 단말기에 통합되어 형성되어 있거나, 또는 상기 단말기와 별도로 형성될 수 있다.In an embodiment of the present invention, the depth camera is integrally formed in the terminal, or may be formed separately from the terminal.

본 발명의 실시예에서, 상기 증강현실 가시화부는, 상기 검색된 3D 모델을 다운로드 하는 다운로드부; 상기 검색된 3D 모델을 3차원으로 분석하는 3차원 뷰어부; 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 증강현실 제어부를 포함할 수 있다.In an exemplary embodiment of the present invention, the augmented reality visualization unit may include: a download unit that downloads the retrieved 3D model; A 3D viewer unit for analyzing the searched 3D model in three dimensions; And an augmented reality controller for providing the 3D model together with the searched product to an augmented reality.

본 발명의 실시예에서, 상기 증강현실 제어부는, 상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 전처리부; 상기 컬러-깊이 영상으로부터 전경을 추출하는 제품 검출부; 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 포즈 분석부를 포함할 수 있다.In an embodiment of the present invention, the augmented reality controller includes a preprocessor for removing noise of the color-depth image provided by the depth camera; A product detector for extracting a foreground from the color-depth image; And a pose analyzing unit for estimating a pose of the product and the 3D model.

본 발명의 실시예에서, 상기 제품 인식부는, 상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나 또는 제품의 영상으로부터 제품을 인식할 수 있다.In an embodiment of the present invention, the product recognition unit may recognize the barcode of the product or recognize the product from the image of the product using the camera of the terminal.

본 발명의 실시예에서, 상기 전송부는, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.In an embodiment of the present invention, the transmitting unit may transmit the 3D model information to a local 3D printer or to a cloud 3D printing agency.

본 발명의 실시예에서, 상기 표시부는, 3D 프린팅을 지원하기 위한 사용자 인터페이스를 제공할 수 있다.In an embodiment of the present invention, the display unit may provide a user interface for supporting 3D printing.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 제품을 인식하는 단계; 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 단계; 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 단계; 및 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of supporting 3D printing using a terminal, the method comprising: recognizing a product; Searching and presenting a 3D model existing on the web related to the recognized product; Calculating and simulating conformity between the recognized product and the retrieved 3D model based on the recognized product and information of the retrieved 3D model; And transmitting the 3D model information to the 3D printer to produce the 3D model.

본 발명의 실시예에서, 상기 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계를 더 포함할 수 있다.In an embodiment of the present invention, the method of supporting 3D printing using the terminal may further include displaying the recognized product and the searched 3D model as an augmented reality.

본 발명의 실시예에서, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계는, 상기 검색된 3D 모델을 다운로드 하는 단계; 상기 검색된 3D 모델을 3차원으로 분석하는 단계; 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계를 포함할 수 있다.In an embodiment of the present invention, the step of displaying the recognized product and the retrieved 3D model as an augmented reality comprises: downloading the retrieved 3D model; Analyzing the searched 3D model in three dimensions; And providing the 3D model to the augmented reality together with the searched product.

본 발명의 실시예에서, 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계는, 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계; 상기 컬러-깊이 영상으로부터 전경을 추출하는 단계; 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 단계를 포함할 수 있다.In an embodiment of the present invention, the step of providing the 3D model to an augmented reality together with the searched product includes removing noise of a color-depth image provided by a depth camera; Extracting a foreground from the color-depth image; And estimating a pose of the product and the 3D model.

본 발명의 실시예에서, 상기 제품을 인식하는 단계는, 상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나, 또는 제품의 영상으로부터 제품을 인식할 수 있다.In the embodiment of the present invention, the step of recognizing the product may recognize the barcode of the product using the camera of the terminal or recognize the product from the image of the product.

본 발명의 실시예에서, 상기 3D 모델 정보를 3D 프린터에 전송하는 단계는, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.In an embodiment of the present invention, transmitting the 3D model information to the 3D printer may transmit the 3D model information to a local 3D printer or to a cloud 3D printing agency.

본 발명의 실시예에서, 상기 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 3D 프린팅을 지원하기 위한 인터페이스를 제공하는 단계를 더 포함할 수 있다.In an embodiment of the present invention, a method of supporting 3D printing using the terminal may further include providing an interface for supporting 3D printing.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 기록 매체에 저장된 컴퓨터 프로그램은, 단말기를 이용하여 3D 프린팅을 지원하는 방법을 수행할 수 있다. The computer program stored in the recording medium according to an embodiment of the present invention for realizing the above-described present invention can perform a method of supporting 3D printing using a terminal.

이와 같은 3D 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램에 따르면, DIY 시장의 당면 과제를 해결할 수 있는 방법론을 제시함으로써 3D 프린터를 이용한 DIY의 현실화 가능성을 제시하며, 모바일 장치의 카메라 영상을 이용한 제품인식 기술과 깊이 카메라를 이용한 부품인식기술 및 3차원 프린터블 모델을 실시간으로 증강할 수 있는 6자유도 트래킹(tracking)기술을 제시한다. According to a terminal and method for supporting 3D printing and a computer program for performing the method, a possibility of realizing DIY using a 3D printer is suggested by suggesting a methodology for solving the problems of the DIY market, We propose a 6-degree-of-freedom tracking technology that can enhance real-time product recognition technology using camera images, part recognition technology using depth cameras, and 3D printerable models.

이를 통하여 제품인식 및 증강현실, 그리고 3D 프린팅을 연계한 통합 DIY 유지보수가 가능하며, 소비자가 일상생활에서 사용하는 제품군에 적용할 수 있고, 오픈소스 하드웨어 지식 공유의 가치와 증강현실과 3D 프린팅 기술의 시너지를 통해 실용적이며 사업화가 가능하다. This enables integrated DIY maintenance that connects product recognition, augmented reality, and 3D printing. It can be applied to the product family used by consumers in everyday life. It can be applied to the value of open source hardware knowledge sharing, augmented reality and 3D printing technology It is practical and commercialized through synergy.

또한, 본 발명은 에프터 서비스의 공백을 대체하여 제품 생애주기의 연장뿐 아니라 타 제조사 사이의 기능 공유 등과 같은 부가서비스 발굴을 위한 플랫폼의 역할을 수행할 수 있다.In addition, the present invention can serve as a platform for discovering additional services such as function sharing among other manufacturers as well as extending the product life cycle by replacing the blank of the after-sales service.

도 1은 본 발명의 일 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.
도 3은 도 2의 증강현실 가시화부의 상세 블록도이다.
도 4는 도 3의 증강현실 제어부의 상세 블록도이다.
도 5는 도 3의 증강현실 제어부에 따른 깊이 영상 및 3D 모델의 영상들의 예시이다.
도 6은 본 발명의 3D 프린팅을 지원하는 시스템의 한 실시예를 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법을 설명하는 흐름도이다.
도 8은 도 7의 증강현실 표시 단계를 상세하게 설명하는 흐름도이다.
도 9는 본 발명에 따른 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스의 메뉴 구성을 순서대로 보여준다.
1 is a block diagram of a terminal supporting 3D printing according to an embodiment of the present invention.
2 is a block diagram of a terminal supporting 3D printing according to another embodiment of the present invention.
3 is a detailed block diagram of the augmented reality visualization unit of Fig.
4 is a detailed block diagram of the augmented reality controller shown in Fig.
5 is an illustration of depth images and 3D model images according to the augmented reality controller of FIG.
6 is a block diagram illustrating an embodiment of a system supporting 3D printing of the present invention.
7 is a flowchart illustrating a method for supporting 3D printing using a terminal according to an exemplary embodiment of the present invention.
FIG. 8 is a flowchart illustrating the augmented reality display step of FIG. 7 in detail.
FIG. 9 shows a menu structure of a user interface provided in order to implement a method for supporting 3D printing according to the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다. 도 2는 본 발명의 다른 실시예에 따른 3D 프린팅을 지원하는 단말기의 블록도이다.1 is a block diagram of a terminal supporting 3D printing according to an embodiment of the present invention. 2 is a block diagram of a terminal supporting 3D printing according to another embodiment of the present invention.

상기 3D 프린팅을 지원하는 단말기(10, 이하 단말기)는 스마트폰, 휴대전화, 타블렛 컴퓨터, 넷북, 피디에이(PDA), 피엠피(PMP), 웨어러블 컴퓨터(wearable computer) 등 다양한 형태의 모바일(mobile) 장치를 모두 포함할 수 있다. 또한, 상기 단말기(10)는 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device), 웨어러블 기기(wearable device) 등 다른 용어로 불릴 수 있다. The terminal 10 supporting the 3D printing may be a mobile device of various types such as a smart phone, a mobile phone, a tablet computer, a netbook, a PDA, a PMP, a wearable computer, . ≪ / RTI > Also, the terminal 10 may be a device, an apparatus, a terminal, a user equipment (UE), a mobile station (MS), a mobile terminal (MT), a user terminal (UT) a mobile device, a station, a wireless device, a personal digital assistant (PDA), a wireless modem, a handheld device, a wearable device, and the like.

또한, 상기 단말기(10)는 운영체제(Operation System; OS)를 기반으로 다양한 응용 프로그램을 실행할 수 있다. 상기 운영체제는 응용 프로그램이 컴퓨터의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, iOS, 안드로이드 OS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 단말기에 탑재할 수 있는 운영체제를 모두 포함할 수 있다.Also, the terminal 10 can execute various application programs based on an operating system (OS). The OS is a system program for allowing an application program to use the hardware of a computer and includes all operating systems that can be installed in a mobile terminal such as iOS, Android OS, Windows Mobile OS, Sea OS, Symbian OS, Blackberry OS .

상기 응용 프로그램은 컴퓨터를 이용하여 특정한 작업을 수행할 수 있도록 개발된 프로그램으로서, 각종 어플리케이션뿐 아니라 게임, 동영상, 사진 등의 각종 멀티미디어 컨텐츠(contents) 또는 상기 멀티미디어 컨텐츠를 실행하는 이미지 뷰어, 동영상 재생기 등의 실행 프로그램을 모두 포함할 수 있다.The application program is a program developed to perform a specific task using a computer. The application program can be used not only in various applications but also in various multimedia contents such as games, moving pictures, photographs or the like, or an image viewer, Of the execution program of the program.

그러나, 이와 다르게 상기 단말기(10)는 고정된 데스크 탑 컴퓨터, 모니터, 스마트 TV, 서버(server) 또는 엔진(engine)의 형태일 수 있다. Alternatively, however, the terminal 10 may be in the form of a fixed desktop computer, a monitor, a smart TV, a server, or an engine.

도 1을 참조하면, 본 발명에 따른 상기 단말기(10)는 대상 제품을 자동으로 인식하고, 프린트 가능한 모델을 검색 및 추천하여 적합도를 평가하고, 증강현실로 시뮬레이션 하여 원클릭으로 3D 프린팅 주문까지 가능하다. 이를 위해, 상기 단말기(10)는 제품 인식부(110), 웹 자원 활용부(130), 적합도 계산부(150), 전송부(190) 및 표시부(200)를 포함한다. 본 발명의 다른 실시예로서, 도 2를 참조하면, 증강현실 가시화부(170)를 더 포함할 수 있다.Referring to FIG. 1, the terminal 10 according to the present invention automatically recognizes a target product, evaluates suitability by searching for and recommending a printable model, simulates it as an augmented reality, and orders 3D printing with one click Do. The terminal 10 includes a product recognition unit 110, a web resource utilization unit 130, a fitness calculation unit 150, a transmission unit 190, and a display unit 200. As another embodiment of the present invention, referring to FIG. 2, the augmented reality visualization unit 170 may be further included.

본 발명의 상기 단말기(10)에는 3D 프린팅을 지원하는 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, 상기 제품 인식부(110) 등의 구성은 상기 단말기(10)에서 실행되는 상기 3D 프린팅을 지원하는 소프트웨어에 의해 제어될 수 있다. 또한, 상기 제품 인식부(110) 등의 구성은 하나의 모듈로 통합되어 형성될 수 있고, 이와 다르게 각각 별개의 모듈로 형성될 수도 있다.The terminal 10 of the present invention can be installed with software (application) supporting 3D printing, and the configuration of the product recognition unit 110 and the like supports the 3D printing executed in the terminal 10 Can be controlled by software. In addition, the configuration of the product recognition unit 110 and the like may be integrated into one module, or may be formed as separate modules.

상기 표시부(200)는 상기 단말기(10)에서 진행되는 3D 프린팅 소프트웨어가 진행되는 일련의 과정을 표시하며, 이와 관계된 입력 메뉴, 선택 메뉴, 부가 메뉴 등을 포함하는 사용자 인터페이스를 제공한다.The display unit 200 displays a series of processes of 3D printing software progressed in the terminal 10 and provides a user interface including an input menu, a selection menu, and an additional menu related thereto.

상기 표시부(200)는 액정 디스플레이(Liquid Crystal Display; LCD) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel; PDP), 유기발광 다이오드(Organic Light-Emitting Diode; OLED) 디스플레이 패널, 안경형 표시장치 등을 모두 포함할 수 있다. 또한, 모바일 패드, 스마트 폰, 웨어러블 컴퓨터 등 모바일 디스플레이 장치일 수도 있다.The display unit 200 includes all of a liquid crystal display (LCD) panel, a plasma display panel (PDP), an organic light-emitting diode (OLED) display panel, can do. It may also be a mobile display device such as a mobile pad, a smart phone, or a wearable computer.

일 실시예에서, 사용자의 입력을 가능하게 하는 사용자 인터페이스는 터치 스크린 기능이 포함된 상기 표시부(200) 상에 제공될 수 있다. 이에 따라, 사용자는 상기 표시부(200)에 표시된 영상 상에 직접 손이나 전자펜을 이용하여 입력할 수 있다. 또한, 상기 표시부(200)에는 키패드, 키보드, 마우스, 조이스틱, 터치 패드, 버튼 등과 같은 다양한 입력 수단이 구현될 수 있다.In one embodiment, a user interface enabling user input may be provided on the display 200 including a touch screen function. Accordingly, the user can directly input the image displayed on the display unit 200 by using the hand or the electronic pen. Also, various input means such as a keypad, a keyboard, a mouse, a joystick, a touchpad, a button, and the like may be implemented in the display unit 200.

상기 제품 인식부(110)는 사용자가 요청하는 제품을 인식한다. 상기 제품 인식부(110)는 상기 단말기(10)가 포함하는 기능을 활용하여 다양한 방법으로 제품을 인식할 수 있다. The product recognition unit 110 recognizes a product requested by the user. The product recognition unit 110 can recognize a product using various functions by using the functions included in the terminal 10.

예를 들어, 상기 제품 인식부(110)는 상기 단말기(10)가 포함하는 카메라를 이용하여 상기 제품에 부착된 바코드를 통하여 제품을 인식할 수 있다. 현재 유통되고 있는 대부분의 제품은 산업계에서 통용되고 있는 바코드 체계를 통해 제품정보를 인식할 수 있다. For example, the product recognition unit 110 can recognize a product through a barcode attached to the product using a camera included in the terminal 10. Most of the products currently in circulation can recognize the product information through the barcode system which is commonly used in the industry.

상기 제품 인식부(110)는 상기 단말기(10)의 카메라로부터 바코드를 인식하고, 인식된 바코드를 Product DB 서버와 연동하여 해당 제품의 정확한 제품명을 얻을 수 있다. 바코드에 대한 제품명은 Google API, Amazon API, SearchUPC 등의 웹 API를 통해 방대한 양의 제품정보를 매쉬업하여 데이터베이스를 구축할 수 있다. The product recognition unit 110 recognizes the barcode from the camera of the terminal 10 and obtains an accurate product name of the product by interlocking the recognized barcode with the product DB server. The product name for the barcode can build a database by mashing up a huge amount of product information through Web API such as Google API, Amazon API, and SearchUPC.

다른 예로써, 카메라에 의한 영상에서 제품명을 직접 획득할 수도 있다. 또는, 사용자가 상기 단말기(10)에 직접 제품의 고유 번호나 제품명 등을 입력하여 상기 제품 인식부(110)가 제품을 인식하도록 할 수도 있다. 또 다른 예로써, 상기 제품 인식부(110)는 상기 단말기(10)의 카메라로부터 제품의 이미지 또는 형상정보를 직접 인식하여 제품 정보를 인식할 수도 있다.As another example, a product name may be obtained directly from an image by a camera. Alternatively, the user may input the unique number of the product or the name of the product directly to the terminal 10 so that the product recognition unit 110 recognizes the product. As another example, the product recognition unit 110 may directly recognize the image or shape information of the product from the camera of the terminal 10 to recognize the product information.

또한, 상기 제품 인식부(110)는 Product DB 내의 제품명을 키워드로 이용하여 인식된 제품의 프린트 가능한 3D 모델들을 검색하여 아이템 리스트(Item List)를 상기 표시부(200)에 표시할 수 있다. 이를 통해, 사용자는 검색 히스토리 및 검색 결과를 쉽게 확인할 수 있다.In addition, the product recognition unit 110 can display the item list on the display unit 200 by searching for printable 3D models of the recognized product using the product name in the product DB as a keyword. In this way, the user can easily check the search history and search results.

상기 웹 자원 활용부(130)는 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공한다. 다시 말해, 상기 제품 인식부(110)에서 획득한 제품명을 이용하여 제품과 관련하여 3D 프린트가 가능한 모델들을 웹 자원으로부터 수집한다.The web resource utilization unit 130 searches for and provides a 3D model existing on the web related to the recognized product. In other words, using the product name obtained by the product recognition unit 110, 3D printable models related to the product are collected from the web resources.

상기 웹 자원 활용부(130)는 웹 상에 존재하는 3D 모델 자원을 활용함과 동시에 부가적인 서비스를 사용자에게 제공하기 위해 프록시 서버를 제공할 수 있다. 예를 들어, Thingiverse, Yeggi 등과 같은 3D 프린터블 모델의 warehouse 검색을 통하여 현재 존재하는 약 12만 여 개의 모델 중 사용자가 요청하는 제품과 관련된 3D 모델들에 대한 정보를 제공할 수 있다. The web resource utilization unit 130 may provide a proxy server to utilize 3D model resources existing on the web and to provide additional services to users. For example, through a warehouse search of 3D printable models such as Thingiverse, Yeggi, etc., it is possible to provide information about 3D models related to a product requested by users among about 120,000 existing models.

이 경우, 사용자가 검색한 검색어에 대한 결과를 프록시 서버에 저장하고, 검색 결과에 포함된 이미지와 STL 파일을 미리 캐싱하여 사용자의 대기 시간을 줄여줄 수 있다. 또한, 상기 웹 자원 활용부(130)에서 필요한 정보만 간추려 제공해 오버로드를 줄일 수 있다.In this case, the result of the search word retrieved by the user can be stored in the proxy server, and the image and the STL file included in the retrieval result can be cached in advance to reduce the waiting time of the user. In addition, the web resource utilization unit 130 can reduce unnecessary overhead by providing only necessary information.

또한, 상기 웹 자원 활용부(130)는 웹 상에 존재하는 제품의 인식 정보를 제공할 수 있다. 다시 말해, 상기 제품 인식부(110)가 제품을 인식하는데 필요한 제품 고유의 정보를 웹 상에 존재하는 정보로부터 수집하여 제공할 수 있다.In addition, the web resource utilization unit 130 may provide identification information of a product existing on the web. In other words, the product recognition unit 110 may collect product-specific information necessary for recognizing the product from information existing on the web and provide the product-specific information.

상기 적합도 계산부(150)는 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 한다. 이에 따라, 사용자는 프린트할 3D 모델이 DIY를 하고자 하는 제품과 호환성을 어느 정도 갖고 있는지 여부를 판단해주는 부가적인 서비스를 제공받을 수 있다. The fitness calculating unit 150 calculates and simulates fitness between the recognized product and the searched 3D model based on the recognized product and the information of the searched 3D model. Accordingly, the user can be provided with an additional service for determining whether the 3D model to be printed has compatibility with the product to be DIY.

제품과 3D 모델 간의 적합성은 제품과 3D 모델의 형상 정보를 기반으로 조립이 가능한지 판단하는 과정으로 이루어진다. 적합성 판단 결과는 프록시 서버로 전달되어 프린트할 3D 모델의 호환성을, 예를 들어, 좋음, 보통, 나쁨의 3가지 상태로 반환하여 사용자에게 제공할 수 있다. 프록시 서버는 반환된 호환성 판단 결과를 우수한 정도에 따라 정렬하여 인식된 제품에 따른 결과를 아래의 표 1의 경량 데이터 교환 형식인 JSON(JavaScript Object Notation) 형태로 반환할 수 있다.The compatibility between the product and the 3D model is determined by determining whether the product and the 3D model can be assembled based on the shape information. The compatibility determination result is transmitted to the proxy server, and the compatibility of the 3D model to be printed can be returned to the user in three states, for example, good, normal, and bad. The proxy server can sort the returned compatibility judgment result according to the superiority and return the result according to the recognized product in the form of JSON (JavaScript Object Notation) of the lightweight data exchange format shown in Table 1 below.

Field 명Field name Field 설명Field Description TitleTitle 제목title DescDesc 상세 설명detailed description ThumbThumb 썸네일 이미지Thumbnail image LikeLike 다른 사용자가 해당 3D 모델을 선호한
횟수
If another user prefers the 3D model
Number of times
CollectCollect 업로드한 사용자가 담아두기 위한 다른
3D 모델 collection
Other for uploaded users
3D model collection
FitFit 적합성 평가도Conformity assessment chart TargetTarget 타겟에 대한 정보About your target URLURL 3D 모델 정보를 받아온 URLURL from which 3D model information was received FeasibilityFeasibility 업로드한 3D 모델 파일의 실행 가능 여부Is the uploaded 3D model file executable? IDID 업로드한 파일의 IDID of uploaded file ImageImage 업로드한 사진Uploaded photos File_nameFile_name 업로드한 3D 모델 파일명Uploaded 3D model file name ModelModel 업로드한 3D 모델 파일3D model file uploaded FilesizeFilesize 업로드한 3D 모델 파일
크기
3D model file uploaded
size

상기 증강현실 가시화부(170)는 깊이 카메라를 이용하여, 상기 제품 인식부(110)에서 인식된 제품 및 상기 웹 자원 활용부(130)에서 검색된 3D 모델을 증강현실로 표시한다. 상기 증강현실 가시화부(170)는 해당 제품에 대해 선별된 3D 모델로부터 최종 모델의 선택을 돕기 위해, 증강현실을 이용하여 사용자의 제품과 3D 프린터블 모델을 함께 가시화한다. 이에 따라, 사용자는 선별된 3D 모델의 정보를 효율적으로 취득할 수 있게 된다.The augmented reality visualization unit 170 displays a product recognized by the product recognition unit 110 and a 3D model retrieved from the web resource utilization unit 130 as an augmented reality by using a depth camera. The augmented reality visualization unit 170 visualizes the user's product and the 3D printable model together with the augmented reality to help select the final model from the selected 3D model for the product. Thus, the user can efficiently obtain the information of the selected 3D model.

이를 위해, 도 3을 참조하면, 상기 검색된 3D 모델을 다운로드 하는 다운로드부(171), 상기 검색된 3D 모델을 3차원으로 분석하는 3차원 뷰어부(173) 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 증강현실 제어부(175)를 포함한다.3, a download unit 171 for downloading the searched 3D model, a three-dimensional viewer unit 173 for analyzing the searched 3D model in three dimensions, and a 3D viewer unit 173 for enhancing the 3D model together with the searched product And an augmented reality control unit 175 that provides the real world.

상기 다운로드부(171)는 3D 프린터 표준 파일 형식인 STL 파일을 포함한 3D 모델 파일을 웹 URL을 통해 실시간으로 로드 할 수 있다. STL 파일 로더는 바이너리 방식과 아스키 방식 모두를 지원하고, 로드된 파일 정보를 이용하여 3차원으로 랜더링 할 수 있다.The download unit 171 can load a 3D model file including an STL file, which is a 3D printer standard file format, in real time via a Web URL. The STL file loader supports both binary and ASCII formats and can be rendered in three dimensions using the loaded file information.

상기 3차원 뷰어부(173)는 깊이 카메라를 이용하여 컬러와 깊이를 동시에 활용 가능한 3차원 영상을 분석한다. 상기 증강현실 제어부(175)는 프린팅 될 3D 모델을 제품과 함께 증강현실로 사용자에게 보여줌으로써 제품과의 적합도 및 적용 방법에 대한 정보를 제공한다. 이는 3D 프린팅 결과물로부터 발생할 수 있는 예측 가능한 문제들을 미리 고려하여 최종 3D 모델을 선택할 수 있도록 한다.The three-dimensional viewer 173 analyzes a three-dimensional image that can simultaneously use color and depth using a depth camera. The augmented reality controller 175 provides the augmented reality together with the product to the user to display the 3D model to be printed, thereby providing information on the fitness with the product and the application method. This enables the user to select the final 3D model by considering the predictable problems that may arise from the 3D printing result.

상기 3차원 뷰어부(173) 및 상기 증강현실 제어부(175)는 깊이 카메라의 컬러-깊이(RGB-D) 영상을 사용한다. 상기 3차원 뷰어부(173)는 상기 증강현실 제어부(175)를 통해 원 제품과 함께 프린팅 되어 제품에 체결될 3D 모델을 증강하기 위하여 상기 단말기(10)에 장착된 컬러-깊이(RGB-D) 카메라를 이용할 수 있다. 상기 깊이 카메라는 적외선을 통해 제품의 3차원 기하학 정보를 취득하는 기능을 한다. The 3D viewer unit 173 and the augmented reality controller 175 use color depth (RGB-D) images of the depth camera. The 3D viewer unit 173 may receive the color depth RGB-D attached to the terminal 10 to enhance the 3D model to be printed on the product together with the original product through the augmented reality controller 175, The camera can be used. The depth camera functions to acquire three-dimensional geometric information of the product through infrared rays.

이러한 깊이 카메라는 상기 단말기(10)에 통합되어 형성되거나, 상기 단말기(10)와 별도로 형성될 수 있다. 상기 깊이 카메라가 상기 단말기(10)와 별도의 모듈 또는 장치로 형성되는 경우, 양자간에 유선 또는 무선 통신으로 영상을 송수신 할 수 있다. The depth camera may be integrally formed with the terminal 10, or may be formed separately from the terminal 10. When the depth camera is formed of a module or a device separate from the terminal 10, it is possible to transmit and receive images between the both by wire or wireless communication.

이와 다르게, 컬러-깊이 카메라는 상기 단말기(10)에 독립적으로 장착되어 별도의 연결 없이 간편하게 사용할 수 있다. 이러한 컬러-깊이 카메라 기기를 기반으로 하는 본 발명은 종래의 카메라 기반 시스템과 비교하여 다음과 같은 장점을 갖는다.Alternatively, the color-depth camera may be independently mounted on the terminal 10 and used without any additional connection. The present invention based on such a color-depth camera device has the following advantages in comparison with a conventional camera-based system.

첫째, 종래의 전통적인 컴퓨터 비전에서 3차원 정보 추정은 하나 이상의 2차원 컬러 영상으로부터 복잡한 일련의 과정(특징 추출 및 매칭, 강체/비강체 변환)을 거쳐야 하지만, 본 발명과 같이 깊이 카메라를 사용할 경우, 별도의 처리 없이 실시간으로 3차원 정보를 취득하므로 3차원 분석에 용이하다.First, in a conventional conventional computer vision, 3D information estimation has to go through a complicated series of processes (feature extraction and matching, rigid / non-rigid transformation) from one or more two-dimensional color images. However, Since it acquires 3D information in real time without any special processing, it is easy to perform 3D analysis.

둘째, 본 발명은 모바일 단말기에 장착된 카메라를 이용하기 때문에 종래의 데스크 탑 용 카메라 기반 시스템과 달리 이동성에 제약이 없다. 또한, 입력된 데이터에 대한 입출력 처리가 모바일 기기에서 독립적으로 동작하기 때문에 별도의 처리 없이 실시간으로 3차원 데이터 분석의 결과를 확인할 수 있다.Second, since the present invention uses a camera mounted on a mobile terminal, unlike a conventional desktop camera-based system, there is no restriction on mobility. In addition, since the input / output process for the input data operates independently in the mobile device, the result of the three-dimensional data analysis can be confirmed in real time without any additional processing.

셋째, 종래의 컬러-깊이 영상의 응용 3D 스캔 및 3D 모델 복원(reconstruction) 사례들은 대부분 고수준의 하드웨어 리소스를 활용한 피사체의 표면 스캐닝과 같은 3차원 CAD 모델링이 대부분이다. 본 발명은 컬러-깊이를 반영한 증강현실 기술을 통해 3D 모델을 3D 프린트 전에 미리 확인 가능한 새로운 형태의 프로덕션 모델이다.Third, application of conventional color depth image Most of the cases of 3D scanning and 3D model reconstruction are 3D CAD modeling such as surface scanning of a subject using high level hardware resources. The present invention is a new type of production model that can preview 3D models before 3D printing through the augmented reality technology reflecting color depth.

도 4 및 도 5를 참조하면, 상기 증강현실 제어부(175)는 제품과 이에 적절한 3D 모델을 증강하여 사용자에게 실시간으로 제공 하기 위해 전처리부(1751), 제품 검출부(1753) 및 포즈 분석부(1755)를 포함한다.4 and 5, the augmented reality controller 175 includes a preprocessing unit 1751, a product detecting unit 1753, and a pose analyzing unit 1755 to enhance a product and a 3D model suitable for the product, ).

상기 전처리부(1751)는 상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거한다. 입력된 컬러-깊이 영상에 대한 노이즈 제거 및 영상 개선 등을 통해 이후 제품 검출 및 포즈 분석 단계에서 개선된 결과를 얻기 위한 전처리를 수행한다. 이를 위해 스무딩, 홀 필링(hole filling) 연산을 통해 개선된 데이터를 생성할 수 있다. The preprocessor 1751 removes the noise of the color depth image provided by the depth camera. And performs preprocessing to obtain improved results in subsequent product detection and pose analysis through noise reduction and image enhancement on input color depth images. For this, improved data can be generated by smoothing and hole filling operations.

도 5(a)는 제품의 깊이 영상의 예시이고, 도 5(b)는 제품의 컬러 영상의 예시이다. 도 5(c)는 도 5(a)로부터 전처리된 깊이 영상을 보여준다. 5 (a) is an example of a depth image of a product, and Fig. 5 (b) is an example of a color image of a product. Fig. 5 (c) shows the depth image preprocessed from Fig. 5 (a).

상기 제품 검출부(1753)는 상기 컬러-깊이 영상으로부터 전경(foreground)을 추출한다. 취득된 컬러-깊이 영상을 이용하여, 제품에 대한 3차원 영역을 분할 및 획득한다. 이를 위해 검출할 제품 표면의 곡률을 포함한 기하학적 정보와 카메라로부터 근거리에 위치한 제품을 검출한다. 색상 정보를 깊이 영상의 분할에 동시에 사용하여 3차원의 제품 영역을 정확하게 검출한다. 도 5(d)는 제품 검출 결과를 보여준다.The product detecting unit 1753 extracts a foreground from the color-depth image. Using the acquired color-depth image, the 3D region for the product is segmented and acquired. For this, geometric information including the curvature of the surface of the product to be detected and the product located near the camera are detected. The color information is simultaneously used for dividing the depth image, thereby accurately detecting the three-dimensional product area. 5 (d) shows the result of product detection.

상기 포즈 분석부(1755)는 상기 제품과 상기 3D 모델의 포즈를 추정한다. 상기 제품 검출부(1753)로부터 정의된 3차원의 제품 영역으로부터 제품의 포즈를 추정하고 이를 기반으로 3D 모델의 포즈를 정의한다. 제품의 포즈는 카메라 좌표계를 기준으로 3차원의 제품 영역 분석을 통해 계산된 상대적인 좌표계로 정의된다. 미리 정의된 제품과 모델과의 결합부로 이동된 제품 좌표계를 3D 모델의 포즈로 정의하고, 이를 상기 증강현실 제어부(175)의 3D 모델 증강에 활용한다.The pose analyzer 1755 estimates the pose of the product and the 3D model. The pose of the product is estimated from the three-dimensional product area defined by the product detecting unit 1753 and the pose of the 3D model is defined based on the pose. The pose of the product is defined as the relative coordinate system calculated through the 3D product area analysis based on the camera coordinate system. A product coordinate system shifted to a combination of a predefined product and a model is defined as a pose of the 3D model and utilized for the 3D model enhancement of the augmented reality controller 175. [

도 5(e)는 제품 포즈의 추정 결과의 예시이고, 도 5(f)는 3D 모델의 포즈의 추정 결과의 예시이다.FIG. 5 (e) is an example of the estimation result of the product pose, and FIG. 5 (f) is an example of the estimation result of the pose of the 3D model.

상기 전송부(190)는 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송한다. 일례로, 상기 전송부(190)는 상기 3D 모델 정보를 클라우드 3D 프린팅 대행 업체로 전송할 수 있다. 상기 전송부(190)를 통해 사용자가 클라우드 3D 프린팅 대행 서비스를 선택하였을 경우, i.materialise, sculpteo, shapeways 및 3D HUBS 등의 클라우드 3D 프린팅 대행 서비스와 연결할 수 있다. The transmitting unit 190 transmits the 3D model information to the 3D printer to produce the 3D model. For example, the transmitting unit 190 may transmit the 3D model information to the cloud 3D printing agent. When the user selects the cloud 3D printing proxy service through the transmission unit 190, it can connect with the cloud 3D printing proxy service such as i.materialize, sculpteo, shapeways, and 3D HUBS.

따라서, 본 발명에 따라 간편하게 3D 프린팅 대행 서비스와 연결을 통하여 3D 프린팅 가능한 모델을 전달하고, 사용자는 프린팅된 3D 모델을 제공받을 수 있다.Accordingly, in accordance with the present invention, a 3D printable model can be easily delivered through connection with a 3D printing proxy service, and a user can receive a printed 3D model.

다른 예로, 상기 전송부(190)는 상기 3D 모델 정보를 로컬 3D 프린터로 전송할 수 있다. 사용자가 로컬 3D 프린터를 선택하였을 경우, 선택한 프린터에 3D 모델과 필요한 정보를 전송하여 해당 모델을 생산한다. 본 발명과 로컬 3D 프린터 간의 연결은 무선 통신을 이용하여 클라우드 프린트와 같이 어디에서나 편리하게 이루어질 수 있다.As another example, the transmitting unit 190 may transmit the 3D model information to a local 3D printer. When the user selects a local 3D printer, the 3D model and necessary information are transmitted to the selected printer to produce the corresponding model. The connection between the present invention and a local 3D printer can conveniently be done anywhere, such as in a cloud print, using wireless communication.

도 6은 본 발명에 따른 3D 프린팅을 지원하는 시스템(1) 구성도의 한 예시이다.6 is an example of a configuration diagram of a system 1 supporting 3D printing according to the present invention.

도 6을 참조하면, 시스템(1) 구성도의 세 계층으로서, 웹 기반의 증강현실 플랫폼(300), 본 발명의 3D 프린팅을 지원하는 방법의 런타임 시에 진행되는 과정들을 나타내는 블록(100) 및 웹 상에 존재하는 블록(500)을 나타낸다.Referring to FIG. 6, three layers of the system (1) configuration diagram are shown, including a web-based augmented reality platform 300, a block 100 that represents the processes that are performed at runtime of a method supporting 3D printing of the present invention, ≪ / RTI > represents a block 500 present on the web.

본 발명의 3D 프린팅을 지원하는 방법은 HTML5 기반의 증강현실 콘텐츠 저작 플랫폼의 증강현실 웹 어플리케이션(AR Web App) 형태로 구현할 수 있다. HTML5 기반의 증강현실 플랫폼은 HTML, CSS, JavaScript와 같은 Web 기반 기술로 개발하였기 때문에 웹의 특징인 단순성과 모듈화, 분산화의 장점 모두를 가짐과 동시에 하이퍼링크와 URI로 다양한 미디어 리소스의 재사용이 가능하다. The method of supporting 3D printing of the present invention can be implemented in the form of an AR Web App of an HTML5-based augmented reality contents authoring platform. Since the HTML5-based augmented reality platform is developed with web-based technologies such as HTML, CSS, and JavaScript, it has both the merits of simplicity, modularization, and decentralization that are characteristic of the web, and enables reuse of various media resources with hyperlinks and URIs .

본 발명은 종래의 발명에 비하여 tracking engine을 확장하여 Structure sensor를 이용한 정밀한 6자유도 트래킹 기능을 추가함으로써 제품인식의 정확도를 높였고, Situated Renderer의 WebGL renderer를 이용하여 사용자에게 증강현실로 보여줌으로써 모델의 저작의도와 적용방법에 대한 사용자의 이해를 도와준다.The present invention expands the tracking engine in comparison with the conventional invention and improves the accuracy of the product recognition by adding a precise 6-degree tracking function using the structure sensor. Helps users understand how to write and how to apply.

도 7은 본 발명의 일 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법을 설명하는 흐름도이다. 도 8은 도 7의 증강현실 표시 단계를 상세하게 설명하는 흐름도이다.7 is a flowchart illustrating a method for supporting 3D printing using a terminal according to an exemplary embodiment of the present invention. FIG. 8 is a flowchart illustrating the augmented reality display step of FIG. 7 in detail.

본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 도 1 또는 도 2의 단말기(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1 또는 도 2의 단말기(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The method of supporting 3D printing using the terminal according to the present embodiment may be performed in substantially the same configuration as the terminal 10 of FIG. 1 or FIG. Therefore, the same constituent elements as those of the terminal 10 of FIG. 1 or FIG. 2 are denoted by the same reference numerals, and a repeated description thereof is omitted.

또는, 본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 단말기를 이용하여 3D 프린팅을 지원하기 위한 소프트웨어(어플리케이션)에 의해 실행될 수 있다.Alternatively, the method for supporting 3D printing using the terminal according to the present embodiment may be executed by software (application) for supporting 3D printing using the terminal.

도 7을 참조하면, 본 실시예에 따른 단말기를 이용하여 3D 프린팅을 지원하는 방법은, 사용자의 요청에 따라 제품을 인식한다(단계 S10). 상기 제품의 인식은, 단말기가 포함하거나 단말기와 연결된 카메라를 이용하여 상기 제품에 표시된 바코드를 통하여 이루어 질 수 있다. 또한 상기 제품의 인식은, 단말기가 포함하거나 단말기와 연결된 카메라를 이용하여 상기 제품에 대한 영상으로부터 이루어 질 수 있다.Referring to FIG. 7, a method of supporting 3D printing using a terminal according to an exemplary embodiment of the present invention recognizes a product according to a user's request (step S10). The recognition of the product may be performed through a barcode displayed on the product using a camera included in the terminal or connected to the terminal. Also, the recognition of the product may be performed from the image of the product using the camera included in the terminal or connected to the terminal.

제품이 인식되면 인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공한다(단계 S30). 이때, 웹 상에 존재하는 3D 모델 자원을 활용함과 동시에 부가적인 서비스를 사용자에게 제공하기 위해 프록시 서버를 제공할 수 있다.If the product is recognized, the 3D model existing on the web related to the recognized product is retrieved and provided (step S30). At this time, a proxy server may be provided to utilize the 3D model resources existing on the web and provide additional services to the users.

제품이 검색되면, 상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 한다(단계 S50). 이에 따라, 사용자는 프린트할 3D 모델이 DIY를 하고자 하는 제품과 호환성을 어느 정도 갖고 있는지 여부를 판단해주는 부가적인 서비스를 제공받을 수 있다.When the product is found, the compatibility between the recognized product and the retrieved 3D model is calculated and simulated based on the recognized product and information of the retrieved 3D model (step S50). Accordingly, the user can be provided with an additional service for determining whether the 3D model to be printed has compatibility with the product to be DIY.

또한, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하여(단계 S70), 사용자가 해당 제품에 대해 선별된 3D 모델로부터 최종 모델의 선택을 하는데 도움을 줄 수 있다.In addition, the recognized product and the searched 3D model may be displayed as an augmented reality (step S70) to help the user to select the final model from the selected 3D model for the product.

도 8을 참고하면, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계(단계 S70)는, 상기 검색된 3D 모델을 다운로드 하는 단계(단계 S71), 상기 검색된 3D 모델을 3차원으로 분석하는 단계(단계 S73) 및 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계(단계 S75)를 포함할 수 있다.Referring to FIG. 8, the step of displaying the recognized product and the searched 3D model as an augmented reality (step S70) includes a step of downloading the searched 3D model (step S71), a step of analyzing the searched 3D model in three dimensions (Step S73) and providing the 3D model together with the searched product to the augmented reality (step S75).

상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계(단계 S75)는 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계, 상기 컬러-깊이 영상으로부터 전경을 추출하는 단계 및 상기 제품과 상기 3D 모델의 포즈를 추정하는 단계를 포함할 수 있다.The step of providing the 3D model to the augmented reality together with the searched product (step S75) includes the steps of removing the noise of the color-depth image provided by the depth camera, extracting the foreground from the color- And estimating a pose of the 3D model.

상기 시뮬레이션 단계(단계 S50) 또는 상기 증강현실 표시 단계(단계 S70)에서 사용자는 프린팅할 3D 모델을 선택할 수 있고, 상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송한다(단계 S90).In the simulation step (step S50) or the augmented reality display step (step S70), the user can select a 3D model to be printed and transmits the 3D model information to the 3D printer to produce the 3D model (step S90) .

이때, 사용자의 선택에 따라, 상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송할 수 있다.At this time, the 3D model information may be transmitted to a local 3D printer or transmitted to a cloud 3D printing agency according to a user's selection.

본 발명에 따른 3D 프린팅을 지원하는 방법은 단말기, 특히 모바일 환경에 서 구동되어 사용자가 원하는 제품을 쉽게 검색할 뿐만 아니라 정확하게 인식하고 트래킹이 가능하다. 또한, 제품 인식부터 선택한 3D 모델을 3D 프린터 또는 대행 업체로 전송하는 과정까지 하나의 프로세스로 진행되어 3D 프린팅의 사용성과 기능성을 증대시킬 수 있다.The method for supporting 3D printing according to the present invention is operated in a terminal, especially a mobile environment, so that a user can easily search for a desired product, and accurately recognize and track the product. In addition, the process of transferring the selected 3D model from the product recognition to the 3D printer or the agency can be performed as a single process, thereby increasing the usability and functionality of 3D printing.

이러한 3D 프린팅을 지원하는 방법은 소프트웨어(어플리케이션)으로 구현될 수 있다.A method for supporting such 3D printing can be implemented by software (application).

도 9는 본 발명에 따른 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스의 메뉴 구성의 한 실시예를 순서대로 보여준다. 예를 들어, A사 청소기의 흡입구가 망가져서, A사 청소기의 몸체에 B사 청소기의 흡입구를 호환하려고 할 때, 두 구성 간에 호환을 위한 커넥터를 3D 프린팅 하려는 경우이다.FIG. 9 shows an embodiment of a menu structure of a user interface provided for implementing a method for supporting 3D printing according to the present invention in order. For example, when the suction port of the A-type cleaner is broken and the suction port of the B-type cleaner is intended to be compatible with the A-type cleaner body, it is a case where the connector for compatibility between the two configurations is to be 3D-printed.

도 9를 참조하면, 바코드를 통해 제품을 검색한다(단계 S100). 3D 프린팅을 지원하는 응용 프로그램(어플리케이션)의 실행 첫 단계로서, 사용자가 관심 있는 제품과 관련된 3D 모델들을 검색하기 위하여 바코드를 인식한다. 보조선 또는 가이드를 이용하여 사용자가 바코드를 알맞은 위치로 가져가 제품을 쉽게 스캔하도록 유도할 수 있다. 또한, 바코드 인식 시 효과음을 통해 사용자에게 실제 바코드 리더를 사용할 때와 유사한 경험을 제공하여, 초보자도 쉽게 접근하여 제품을 검색하도록 할 수 있다.Referring to FIG. 9, a product is searched through a barcode (step S100). As a first step in the execution of an application (application) that supports 3D printing, the user recognizes the barcode to retrieve 3D models associated with the product of interest. By using an auxiliary line or a guide, the user can bring the barcode to an appropriate position and guide the user to easily scan the product. In addition, through the effect sound when recognizing a barcode, the user can experience an experience similar to that of using an actual barcode reader, so that even a novice can easily search for a product.

이때, 검색 히스토리 메뉴를 제공할 수 있다(단계 S200). 단말기(10)의 표시부(200)의 오른쪽에 있는 히스토리 메뉴는 과거 사용자가 검색한 바코드들과 제품명에 대한 정보를 제공할 수 있다. 이러한 히스토리 정보를 통해 정보 접근 경로가 단축되므로, 사용자는 이전에 검색했던 제품에 대해 다시 바코드를 인식해야 하는 수고를 덜 수 있다.At this time, a search history menu may be provided (step S200). The history menu on the right side of the display unit 200 of the terminal 10 can provide information on bar codes and product names searched by past users. Since the information access path is shortened through the history information, the user can reduce the trouble of recognizing the barcode again with respect to the previously searched product.

바코드가 검색되면, 바코드 검색 결과를 보여 준다(단계 S300). 바코드에 맞는 제품명이 검색되면, 검색된 제품을 상단 부분에 표시해줌과 동시에, 그 제품에 대한 3D 프린팅이 가능한 모델들을 검색할지 다른 제품을 검색할지 선택할 수 있다. 3D 프린팅이 가능한 모델들을 찾는 버튼을 누르면, 현재 웹 상에 존재하는 자원들을 검색하는 과정이 진행되고 있다는 것에 대해서 프로그래스 바(progress bar)를 통해서 보여줄 수 있다.If the barcode is found, the barcode search result is displayed (step S300). When a product name corresponding to a bar code is searched, the searched product can be displayed at the top, and a user can select whether to search for models capable of 3D printing for the product or search for another product. If you click on the button to find 3D printing capable models, you can show the process of searching the existing web resources through the progress bar.

해당 제품에 대한 3D 프린팅이 가능한 모델들을 검색하고, 이에 대한 결과를 보여준다(단계 S400). 서버에서 정보를 받아오는 것이 완료되면 아이템 메뉴가 활성화되면서 검색결과들을 리스트로 보여줄 수 있다. 리스트 중 어느 한 항목을 선택할 경우 그에 대한 자세한 정보를 제공해줄 수 있다.The 3D printing capable models for the product are searched and the results are displayed (step S400). Once the information is received from the server, the item menu is activated and the search results can be displayed as a list. If you select any item in the list, you can provide more information about it.

또한, 3D 모델과 증강 대상의 적합도 판별 서비스를 제공할 수 있다. 리스트의 각 항목에는 모델 이름, 인기정도(예를 들어, 하트 표시), 적합도(fit)에 대한 정보를 제공하고, 결정된 적합도는 3D 모델을 프린팅 했을 때, 대상 물체에 얼마나 정확하게 맞을지에 대한 정보이다. 이 정보를 통해 사용자는 적합하다고 판별된 3D 모델 정보들을 우선적으로 받아볼 수 있고, 잘못된 3D 모델 프린팅을 미연에 방지하여 3D 프린트 비용 절감이 가능하다.Also, it is possible to provide a 3D model and a fitness determination service for augmentation object. Each item in the list provides information about the model name, popularity (for example, heart representation), and fitness, and the determined fitness is information about how precisely fit the target object when the 3D model is printed . Through this information, the user can preferentially receive the 3D model information determined to be appropriate, and it is possible to reduce the 3D printing cost by preventing the inadvertent 3D model printing.

이어, 선택된 3D 모델의 상세 정보를 제공한다(단계 S500). 크라우드 소싱(crowd sourcing)을 통한 3D 모델의 상세 정보를 제공하는 단계로서, 상세 정보에는 리스트 상에 나타난 대표 3D 외에 같은 항목에 존재하는 다른 3D 모델들에 대한 정보를 확인할 수 있다. 또한, 선택한 항목에 대한 다른 사용자들의 평가들을 함께 제공할 수 있다. Next, detailed information of the selected 3D model is provided (step S500). Providing detailed information of a 3D model through crowd sourcing. In detail information, information on other 3D models existing in the same item as the representative 3D displayed on the list can be confirmed. It can also provide other users' evaluations of the selected item.

이 경우, 3D 모델의 정보를 다양한 방법으로 제공할 수 있다. 예를 들어, 선택한 3D 모델을 증강된 상태가 아닌 360도 회전하면서 보고 싶은 사용자는 3D View 버튼을 누른 후 터치 인터랙션을 통해 3D 모델을 살펴볼 수 있다. 또한, AR View 버튼을 눌러 항목 내 존재하는 여러 개의 3D 모델들 중 원하는 3D 모델을 증강하여 보여줄 수 있다. 또한, 제품의 상세 정보의 출처에 대해 알고 싶어하는 사용자를 위해 3D 모델을 가져온 웹 페이지로 이동하는 버튼을 제공할 수 있다.In this case, the information of the 3D model can be provided in various ways. For example, a user who wants to view a selected 3D model at 360 degrees instead of augmented state can click the 3D View button and then look at the 3D model through touch interaction. Also, by pressing the AR View button, a desired 3D model among a plurality of 3D models existing in the item can be augmented and displayed. It also provides a button to navigate to a web page from which a 3D model has been imported for a user who wants to know the source of the detailed information of the product.

나아가, 증강현실을 이용한 실감적인 3D 모델을 확인할 수도 있다(단계 S600). 3D 모델을 제품에 증강하여 보여주는 화면에서 좌측 상단에 다른 제품의 바코드를 검색할 수 있는 3D 프린팅을 지원하는 응용 프로그램(어플리케이션)의 실행 첫 단계의 화면으로 갈 수 있는 버튼을 제공할 수 있다. 또한, 상단 가운데 부분에는 현재 증강을 하고 있는 3D 모델의 이름과 대상과의 적합도 정보를 단계별로 표현하여 한눈에 인지할 수 있도록 하고, 좌측 하단에는 현재 보고 있는 3D 모델을 프린팅 하기 위한 버튼을 제공할 수 있다.Further, a realistic 3D model using the augmented reality may be confirmed (step S600). A button to go to the screen of the first stage of execution of an application program (application) supporting 3D printing, which can search for a barcode of another product, can be provided on the upper left corner of the screen showing the 3D model on the product. In addition, in the upper middle part, the name of the 3D model currently being augmented and the fitness information of the object are displayed step by step so as to be recognized at a glance, and a button for printing the 3D model currently being displayed is provided in the lower left .

마지막으로 증강현실을 이용하여 최종 확인한 3D 모델을 프린트 할 수 있는 메뉴를 제공한다(단계 S700). 출력할 3D 모델에 대한 사진 정보와 이름을 좌측에서 다시 한번 사용자에게 알려주고, 연결할 수 있는 3D 프린터들과 출력을 의뢰할 수 있는 서비스 회사들을 우측에서 선택할 수 있도록 제공할 수 있다. 또한, 편집 버튼을 제공하여 3D 프린트나 서비스 회사에 대한 설정을 편집하도록 할 수 있다.Finally, a menu for printing a finalized 3D model using the augmented reality is provided (step S700). From the left side, you can inform the user of the photo information and name of the 3D model to be output once again, and provide the right selection of 3D printers that can connect and service companies that can request the output. In addition, an edit button may be provided to edit settings for the 3D printing or service company.

그러나, 도 9 및 이에 대한 설명에서 제시한 3D 프린팅을 지원하는 방법을 구현하기 위해 제공되는 사용자 인터페이스는 예시에 불과하므로, 이에 한정되지 않고 필요에 따라 구성 및 변경할 수 있다.However, the user interface provided to implement the method for supporting 3D printing shown in Fig. 9 and the description thereof is merely an example, and thus it is not limited thereto and can be configured and changed as needed.

이와 같은, 단말기에서 3D 프린팅을 지원하는 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a method of supporting 3D printing in a terminal may be implemented in an application or implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the computer-readable recording medium may be ones that are specially designed and configured for the present invention and are known and available to those skilled in the art of computer software.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.

본 발명에서 제공하는 제품 인식 및 호환 가능한 3D 프린터블 모델 검색과 증강은 특정 제품군에 한정되지 않고 소비자에게 다양한 활용 가치를 제공할 수 있다. 소비자의 측면에서, 3D printable warehouse에 존재하는 다양한 분야의 프린팅 가능한 3D 모델들과 적합도 정보를 활용하여 가전 제품 등에 대한 DIY를 도울 뿐만 아니라, 자동차, 레져 등 다양한 분야의 DIY 경우에도 사용할 수 있다.The product recognition and compatible 3D printable model search and enhancement provided by the present invention is not limited to a specific product group but can provide various utility values to consumers. In terms of consumer, it can be used not only for DIY of home appliances but also for DIY of various fields such as automobile and leisure by utilizing printing 3D models and matching information in various fields existing in 3D printable warehouse.

1인 기업 측면에서, 3D 모델 개발자는 스스로 제작한 3D 모델들에 대해서 3D printable warehouse에 유료 모델로 업로드를 할 수 있다. 대량생산이 어려운 특정 목적을 위한 커스텀 부분품들과 소비자 개개인의 특성을 고려하여 제작되는 모델들을 유료로 제공함으로 다품종 소량생산의 비즈니스 모델이 성립하게 된다.On the one-person side, 3D model developers can upload their own 3D models to the 3D printable warehouse as a paid model. By providing customized parts for specific purposes, which are difficult to mass-produce, and models that are produced considering the characteristics of individual consumers, it is possible to establish a business model of small quantity production.

산업체의 입장에서, 설비의 유지보수에 대한 비용을 줄이는데 도움을 줄 수 있으며, 유지보수가 필요한 상황에서 부품의 인식 및 증강 현실 기술을 활용하여 문제 해결을 위한 시각화된 매뉴얼을 제공한다. 따라서, 숙련되지 않은 사용자라도 쉽게 제품의 유지 보수가 가능하다.From the industry standpoint, it can help reduce the cost of maintenance of the facility, and provides a visualized manual for problem solving, utilizing part recognition and augmented reality technology in situations where maintenance is required. Therefore, it is possible to maintain the product easily even for an untrained user.

또한, 생활가전, 리빙, 홈데코, 오피스, 자동차, 레져, 패션 등과 같은 다양한 분야의 제품군에 대한 제품 정보 DB 및 적합도 정보를 In-App purchase 형태로 제공하여 분야 별 대상 제품군 서비스 및 DIY를 원하는 사용자에게 In-App purchase를 통해 실시간 조립 검사 기능을 제공할 수 있고, 유료 3D 모델 개발자는 제작한 3D 모델들을 3D printable warehouse에서 판매를 함으로써, 사용자가 In-App purchase의 형태로 손쉽게 구매할 수 있는 부가적인 서비스를 창출할 수 있다.In addition, it provides product information DB and fitness information about various product categories such as household appliances, living, home decor, office, automobile, leisure, fashion, etc. in the form of In-App purchase, In-App purchase can provide the real-time assembly inspection function. And the paid 3D model developer sells the 3D models produced in the 3D printable warehouse, so that the user can easily purchase additional form of in-app purchase Service can be created.

10: 단말기 110: 제품 인식부
130: 웹 자원 활용부 150: 적합도 계산부
170: 증강현실 가시화부 171: 다운로드부
173: 3차원 뷰어부 175: 증강현실 제어부
1751: 전처리부 1753: 제품 검출부
1755: 포즈 분석부 190: 전송부
200: 표시부 1: 3D 프린팅을 지원하는 시스템
10: terminal 110: product recognition unit
130: Web resource utilization unit 150: fitness calculation unit
170: augmented reality visualization unit 171:
173: 3D viewer unit 175: Augmented reality control unit
1751: preprocessor 1753: product detector
1755: pose analysis unit 190:
200: Display unit 1: System supporting 3D printing

Claims (16)

제품을 인식하는 제품 인식부;
인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 웹 자원 활용부;
상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 적합도 계산부;
상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 전송부; 및
상기 인식된 제품, 상기 검색된 3D 모델 및 상기 시뮬레이션 결과를 표시하는 표시부를 포함하는, 3D 프린팅을 지원하는 단말기.
A product recognition unit for recognizing the product;
A web resource utilization unit searching and providing a 3D model existing on the web related to the recognized product;
A fitness calculator for calculating and simulating conformity between the recognized product and the retrieved 3D model based on the recognized product and information of the retrieved 3D model;
A transmitting unit for transmitting the 3D model information to the 3D printer to produce the 3D model; And
And a display unit for displaying the recognized product, the retrieved 3D model, and the simulation result.
제1항에 있어서,
깊이 카메라를 이용하여, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 증강현실 가시화부를 더 포함하는, 3D 프린팅을 지원하는 단말기.
The method according to claim 1,
Further comprising an augmented reality visualization unit for displaying the recognized product and the searched 3D model as an augmented reality using a depth camera.
제2항에 있어서, 상기 깊이 카메라는,
상기 단말기에 통합되어 형성되어 있거나, 또는 상기 단말기와 별도로 형성된, 3D 프린팅을 지원하는 단말기.
The depth camera according to claim 2,
Wherein the terminal is formed integrally with the terminal or separately formed from the terminal.
제2항에 있어서, 상기 증강현실 가시화부는,
상기 검색된 3D 모델을 다운로드 하는 다운로드부;
상기 검색된 3D 모델을 3차원으로 분석하는 3차원 뷰어부; 및
상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 증강현실 제어부를 포함하는, 3D 프린팅을 지원하는 단말기.
3. The apparatus of claim 2, wherein the augmented reality visualization unit comprises:
A downloading unit for downloading the retrieved 3D model;
A 3D viewer unit for analyzing the searched 3D model in three dimensions; And
And an augmented reality controller for providing the 3D model together with the searched product to an augmented reality.
제4항에 있어서, 상기 증강현실 제어부는,
상기 깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 전처리부;
상기 컬러-깊이 영상으로부터 전경을 추출하는 제품 검출부; 및
상기 제품과 상기 3D 모델의 포즈를 추정하는 포즈 분석부를 포함하는, 3D 프린팅을 지원하는 단말기.
5. The apparatus of claim 4, wherein the augmented reality controller comprises:
A preprocessing unit for removing noise of a color depth image provided by the depth camera;
A product detector for extracting a foreground from the color-depth image; And
And a pose analyzer for estimating a pose of the product and the 3D model.
제1항에 있어서, 상기 제품 인식부는,
상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나, 또는 제품의 영상으로부터 제품을 인식하는, 3D 프린팅을 지원하는 단말기.
The product recognition system according to claim 1,
Wherein the terminal recognizes the barcode of the product using the camera of the terminal or recognizes the product from the image of the product.
제1항에 있어서, 상기 전송부는,
상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송하는, 3D 프린팅을 지원하는 단말기.
2. The apparatus according to claim 1,
A terminal supporting 3D printing, which transmits the 3D model information to a local 3D printer or transmits it to a cloud 3D printing agency.
제1항에 있어서, 상기 표시부는,
3D 프린팅을 지원하기 위한 사용자 인터페이스를 제공하는, 3D 프린팅을 지원하는 단말기.
The display device according to claim 1,
A terminal that supports 3D printing, providing a user interface for supporting 3D printing.
제품을 인식하는 단계;
인식된 제품과 관련된 웹 상에 존재하는 3D 모델을 검색하여 제공하는 단계;
상기 인식된 제품 및 검색된 3D 모델의 정보를 기반으로, 상기 인식된 제품 및 상기 검색된 3D 모델 간의 적합성을 계산하여 시뮬레이션 하는 단계; 및
상기 3D 모델을 생산하기 위해 상기 3D 모델 정보를 3D 프린터에 전송하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
Recognizing the product;
Searching and presenting a 3D model existing on the web related to the recognized product;
Calculating and simulating conformity between the recognized product and the retrieved 3D model based on the recognized product and information of the retrieved 3D model; And
And transmitting the 3D model information to a 3D printer to produce the 3D model.
제9항에 있어서,
상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계를 더 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
10. The method of claim 9,
Further comprising displaying the recognized product and the retrieved 3D model as an augmented reality.
제10항에 있어서, 상기 인식된 제품 및 상기 검색된 3D 모델을 증강현실로 표시하는 단계는,
상기 검색된 3D 모델을 다운로드 하는 단계;
상기 검색된 3D 모델을 3차원으로 분석하는 단계; 및
상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
11. The method of claim 10, wherein displaying the recognized product and the retrieved 3D model as an augmented reality comprises:
Downloading the retrieved 3D model;
Analyzing the searched 3D model in three dimensions; And
And providing the 3D model to an augmented reality together with the searched product.
제11항에 있어서, 상기 3D 모델을 상기 검색된 제품과 함께 증강현실로 제공하는 단계는,
깊이 카메라에서 제공하는 컬러-깊이 영상의 잡음을 제거하는 단계;
상기 컬러-깊이 영상으로부터 전경을 추출하는 단계; 및
상기 제품과 상기 3D 모델의 포즈를 추정하는 단계를 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
12. The method of claim 11, wherein providing the 3D model to an augmented reality together with the searched product comprises:
Removing noise of the color-depth image provided by the depth camera;
Extracting a foreground from the color-depth image; And
And estimating a pose of the product and the 3D model.
제9항에 있어서, 상기 제품을 인식하는 단계는,
상기 단말기의 카메라를 이용하여 상기 제품의 바코드를 인식하거나, 또는 제품의 영상으로부터 제품을 인식하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
10. The method of claim 9,
A method for supporting 3D printing using a terminal, the method comprising: recognizing a barcode of the product using a camera of the terminal; or recognizing a product from an image of the product.
제9항에 있어서, 상기 3D 모델 정보를 3D 프린터에 전송하는 단계는,
상기 3D 모델 정보를 로컬 3D 프린터로 전송하거나, 또는 클라우드 3D 프린팅 대행 업체로 전송하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
The method of claim 9, wherein the transmitting the 3D model information to the 3D printer comprises:
And transmitting the 3D model information to a local 3D printer or to a cloud 3D printing agency.
제9항에 있어서,
3D 프린팅을 지원하기 위한 인터페이스를 제공하는 단계를 더 포함하는, 단말기를 이용하여 3D 프린팅을 지원하는 방법.
10. The method of claim 9,
Further comprising providing an interface to support 3D printing. ≪ RTI ID = 0.0 > 31. < / RTI >
제9항 내지 제15항 중 어느 하나의 항에 따른 하드웨어와 결합되어 상기 3D 프린팅을 지원하는 방법을 수행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored on a recording medium for performing a method of supporting 3D printing in combination with hardware according to any one of claims 9 to 15.
KR1020160128319A 2016-10-05 2016-10-05 Terminal and method for surpporting 3d printing, computer program for performing the method KR102159236B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160128319A KR102159236B1 (en) 2016-10-05 2016-10-05 Terminal and method for surpporting 3d printing, computer program for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160128319A KR102159236B1 (en) 2016-10-05 2016-10-05 Terminal and method for surpporting 3d printing, computer program for performing the method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140107733A Division KR20160022086A (en) 2014-08-19 2014-08-19 Terminal and method for surpporting 3d printing, computer program for performing the method

Publications (2)

Publication Number Publication Date
KR20160121477A true KR20160121477A (en) 2016-10-19
KR102159236B1 KR102159236B1 (en) 2020-09-23

Family

ID=57250601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160128319A KR102159236B1 (en) 2016-10-05 2016-10-05 Terminal and method for surpporting 3d printing, computer program for performing the method

Country Status (1)

Country Link
KR (1) KR102159236B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358334A (en) * 2001-06-04 2002-12-13 A I Soft Inc Printing system for three-dimensional image
KR20110062870A (en) * 2009-12-04 2011-06-10 한국전자통신연구원 Apparatus for search of 3d model data
KR20120017320A (en) * 2010-08-18 2012-02-28 (주)성삼 Exercise system and method using augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358334A (en) * 2001-06-04 2002-12-13 A I Soft Inc Printing system for three-dimensional image
KR20110062870A (en) * 2009-12-04 2011-06-10 한국전자통신연구원 Apparatus for search of 3d model data
KR20120017320A (en) * 2010-08-18 2012-02-28 (주)성삼 Exercise system and method using augmented reality

Also Published As

Publication number Publication date
KR102159236B1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US10234847B2 (en) Terminal and method for supporting 3D printing, and computer program for performing the method
US11422671B2 (en) Defining, displaying and interacting with tags in a three-dimensional model
US10943403B2 (en) Object preview in a mixed reality environment
El Ammari et al. Remote interactive collaboration in facilities management using BIM-based mixed reality
AU2016299874C1 (en) System integrating a mobile device application creation, editing and distribution system with a website design system
Langlotz et al. Next-generation augmented reality browsers: rich, seamless, and adaptive
CN102027504B (en) Lightweight three-dimensional display
KR102138389B1 (en) Three-dimensional object browsing in documents
US20150070347A1 (en) Computer-vision based augmented reality system
CN102411614A (en) Display Of Image Search Results
US10282904B1 (en) Providing augmented reality view of objects
US10796032B2 (en) Method and system for space design
KR102159236B1 (en) Terminal and method for surpporting 3d printing, computer program for performing the method
US20180232125A1 (en) Contextual Linking of Digital Representations of Objects with Documents
KR101242878B1 (en) Method and system for extracting and providing item having annotation on electronic book
JP2021022355A (en) Electronic device, interactive information display method and computer readable recording medium
Grubert et al. Annotate that: Preparing event posters for augmentation
KR101388327B1 (en) Method and system for discussing for contents on electronic book

Legal Events

Date Code Title Description
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant