KR20200047975A

KR20200047975A - Apparatus for Tridimensionality Data Service and Driving Method Thereof

Info

Publication number: KR20200047975A
Application number: KR1020180129522A
Authority: KR
Inventors: 신종우
Original assignee: 신한대학교 산학협력단
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2020-05-08
Also published as: KR102151461B1

Abstract

The present invention relates to an apparatus for a three-dimensional data service capable of enhancing a desire to learn or read, and a driving method of the apparatus thereof. According to an embodiment of the present invention, the apparatus for the three-dimensional data service may comprise: a storage unit matching and storing modeling data generated by modeling an object in illustration and identification information for identifying the object; and a control unit generating the modeling data searching and outputting modeling data matching an image based on an analysis result of a provided image and the identification information when the illustration or the object is photographed by a user device and the illustration or the object is provided as the image.

Description

Apparatus for Tridimensionality Data Service and Driving Method Thereof}

본 발명은 입체물데이터서비스장치 및 그 장치의 구동방법에 관한 것으로서, 송더 상세하게는 가령 동화책이나 각종 책에 포함되는 삽화 내의 객체들을 입체물로 간편하게 습득할 수 있도록 하는 입체물데이터서비스장치 및 그 장치의 구동방법에 관한 것이다.The present invention relates to a three-dimensional object data service device and a driving method of the device, and more specifically, a three-dimensional object data service device and a driving device for easily acquiring objects in an illustration included in a fairy tale book or various books as a three-dimensional object It's about how.

최근 들어 아이들의 학습 교재들은 온오프라인을 통합하여 아이들의 학습에 흥미를 유도함과 동시에 효과를 극대화하기 위한 방향으로 진행되고 있다. 하지만, 현재까지의 학습교재들은 대부분 책과 무선 통신망을 이용한 온라인을 결합한 것이 대부분이다. 이러한 온오프라인 통합 교육은 실제 제품을 손으로 만질 수 없기 때문에 그 (사용)목적이 제한적일 수밖에 없다.In recent years, children's learning materials have been progressed toward integrating online and offline to induce interest in children's learning and to maximize their effectiveness. However, most of the learning materials to date have combined books and online using wireless communication networks. This online and offline integrated training cannot be touched with the actual product, so its (use) purpose is limited.

한편, 아이들이 손으로 만지는 교구의 경우 별도로 교육 완구로 판매되고 있으며, 책은 이를 사용하는 방법 등의 보충교재로 활용되고 있는 것이 대부분이다. 하지만, 아이들의 경우 오감이 발전하고 있는 상태이므로 책에 포함된 사진 등을 통해 시각으로만 정보를 받아들이는 것보다는 실물을 만져보고 느끼는 것에 더 흥미와 교육의 효과를 높이는 경우도 있을 수 있을 것이다. 예컨대 동화책에 포함된 이미지(예: 공룡, 공주, 동물 등)나 각종 책에 포함된 실사 사진, 더 정확하게는 실사 사진 내의 객체를 아이들이 가지고 싶어하는 경우 그 책과는 별도로 구매하여야 하는 번거로움이 있다.On the other hand, children's hand-touched teaching aids are sold separately as educational toys, and books are mostly used as supplements such as how to use them. However, since the five senses are developing for children, there may be cases in which the interest and education are more effective in touching and feeling the real thing than in accepting information only through the pictures included in the book. For example, if children want to have images in a fairy tale book (eg dinosaurs, princesses, animals, etc.) or live-action photos contained in various books, and more accurately, objects in the live-action photos, there is a hassle to purchase separately from the book. .

한국등록특허공보 제10-1409795호(2014.06.13.)Korean Registered Patent Publication No. 10-1409795 (2014.06.13.) 한국공개특허공보 제10-2015-0125239호(2015.11.09.)Korean Patent Publication No. 10-2015-0125239 (2015.11.09.)

본 발명의 실시예는, 가령 동화책이나 각종 책에 포함되는 삽화 내의 객체들을 입체물로 간편하게 습득할 수 있도록 하는 입체물을 제공하는 입체물데이터서비스장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.An object of the present invention is to provide a three-dimensional object data service device and a method for driving the device, for example, to provide a three-dimensional object that allows objects to be easily learned as three-dimensional objects in a picture book or various books.

본 발명의 실시예에 따른 입체물데이터서비스장치는, 삽화 내의 객체를 모델링하여 생성한 모델링 데이터와 상기 객체를 식별하기 위한 식별정보를 매칭시켜 저장하는 저장부, 및 상기 모델링 데이터를 생성하며, 사용자장치에 의해 상기 삽화 또는 상기 객체가 촬영되어 이미지로 제공되면, 상기 제공된 이미지의 분석 결과와 상기 식별정보를 근거로 상기 이미지에 매칭되는 모델링 데이터를 검색해 출력하는 제어부를 포함한다.The three-dimensional object data service apparatus according to an embodiment of the present invention generates a modeling data generated by modeling an object in an illustration and a storage unit for matching and storing identification information for identifying the object, and generates the modeling data, and a user device And a control unit that searches for and outputs modeling data matching the image based on the analysis result of the provided image and the identification information when the illustration or the object is photographed and provided as an image.

상기 제어부는, 상기 삽화 또는 상기 객체에 관련된 2D 데이터가 입력되면 3D 데이터로 변환하여 상기 모델링 데이터를 생성할 수 있다.When the 2D data related to the artwork or the object is input, the controller may convert the 3D data to generate the modeling data.

상기 저장부는, 상기 식별정보로서 상기 객체의 특징점 정보를 저장하며, 상기 제어부는, 상기 제공된 이미지에서 객체의 특징점을 상기 분석 결과로서 추출하여 상기 저장한 특징정 정보와 비교할 수 있다.The storage unit stores the feature point information of the object as the identification information, and the control unit can extract the feature point of the object from the provided image as the analysis result and compare it with the stored feature information.

상기 제어부는, 상기 비교한 결과에 따른 모델링 데이터가 미검색되면 상기 사용자장치로 상기 객체와 유사한 유사 객체의 모델링 데이터를 이용할지 문의할 수 있다.When the modeling data according to the comparison result is not searched, the control unit may inquire whether to use modeling data of a similar object similar to the object to the user device.

상기 제어부는, 상기 검색한 모델링 데이터를 출력한 후 지정된 시간이 경과하면 상기 출력한 모델링 데이터를 자동 삭제시킬 수 있다.The controller may automatically delete the output modeling data when a specified time elapses after outputting the searched modeling data.

또한, 본 발명의 실시예에 따른 입체물데이터서비스장치의 구동방법은, 저장부 및 제어부를 포함하는 입체물데이터서비스장치의 구동방법으로서, 삽화 내의 객체를 모델링하여 생성한 모델링 데이터와 상기 객체를 식별하기 위한 식별정보를 매칭시켜 상기 저장부에 저장하는 단계, 및 상기 제어부가, 상기 모델링 데이터를 생성하며, 사용자장치에 의해 상기 삽화 또는 상기 객체가 촬영되어 이미지로 제공되면, 상기 제공된 이미지의 분석 결과와 상기 식별정보를 근거로 상기 이미지에 매칭되는 모델링 데이터를 검색해 출력하는 단계를 포함한다.In addition, a method of driving a stereoscopic data service apparatus according to an embodiment of the present invention is a driving method of a stereoscopic data service apparatus including a storage unit and a control unit, and identifies modeling data generated by modeling objects in an illustration and the objects. Matching identification information for storing in the storage unit, and the control unit generates the modeling data, and when the artwork or the object is photographed and provided as an image by a user device, an analysis result of the provided image and And searching and outputting modeling data matching the image based on the identification information.

상기 생성하는 단계는, 상기 삽화 또는 상기 객체에 관련된 2D 데이터가 입력되면 3D 데이터로 변환하여 상기 모델링 데이터를 생성할 수 있다.In the generating step, when 2D data related to the artwork or the object is input, the modeling data may be generated by converting 2D data into 3D data.

상기 저장하는 단계는, 상기 식별정보로서 상기 객체의 특징점 정보를 저장하며, 상기 검색하는 단계는, 상기 제공된 이미지에서 객체의 특징점을 상기 분석 결과로서 추출하여 상기 저장한 특징점 정보와 비교하여 비교 결과에 따른 상기 모델링 데이터를 검색할 수 있다. The storing step stores the feature point information of the object as the identification information, and the searching step extracts the feature point of the object from the provided image as the analysis result and compares the stored feature point information to a comparison result. The modeling data can be searched.

상기 구동방법은, 상기 비교한 결과에 따른 모델링 데이터가 미검색되면 상기 사용자장치로 상기 객체와 유사한 유사 객체의 모델링 데이터를 이용할지 문의하는 단계를 더 포함할 수 있다.The driving method may further include inquiring whether to use the modeling data of a similar object similar to the object to the user device when the modeling data according to the comparison result is not searched.

상기 구동방법은, 상기 검색한 모델링 데이터를 출력한 후 지정된 시간이 경과하면 상기 출력한 모델링 데이터를 자동 삭제시키는 단계를 포함할 수 있다.The driving method may include automatically deleting the output modeling data when a specified time elapses after outputting the searched modeling data.

본 발명의 실시예에 따르면, 가령 아이들이 학습을 수행하거나 동화책을 읽던 중에 관심을 보이는 삽화 속 객체들을 직접 손으로 만져볼 수 있게 함으로써 학습이나 독서 욕구를 고양시킬 수 있을 것이다.According to an embodiment of the present invention, for example, by allowing children to directly touch objects in illustrations that show interest while performing learning or reading a fairy tale book, the desire for learning or reading may be enhanced.

도 1은 본 발명의 실시예에 따른 입체물데이터제공시스템을 나타내는 도면,
도 2 및 도 3은 본 발명의 실시예에 따른 입체물데이터제공과정을 설명하기 위한 도면,
도 4는 도 1의 입체물데이터서비스장치의 구조를 나타내는 블록다이어그램,
도 5는 도 1의 입체물데이터서비스장치의 다른 구조를 나타내는 블록다이어그램, 그리고
도 6은 본 발명의 실시예에 따른 입체물데이터서비스과정의 흐름도이다.1 is a view showing a three-dimensional object data providing system according to an embodiment of the present invention,
2 and 3 are views for explaining the process of providing three-dimensional data according to an embodiment of the present invention,
Figure 4 is a block diagram showing the structure of the three-dimensional object data service device of Figure 1,
5 is a block diagram showing another structure of the stereoscopic data service device of FIG. 1, and
6 is a flowchart of a three-dimensional object data service process according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 입체물데이터제공시스템을 나타내는 도면이며, 도 2 및 도 3은 본 발명의 실시예에 따른 입체물데이터제공과정을 설명하기 위한 도면이다.1 is a view showing a three-dimensional object data providing system according to an embodiment of the present invention, Figures 2 and 3 are views for explaining the three-dimensional object data providing process according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 입체물데이터제공시스템(90)은 프린터(100), 사용자장치(110), 통신망(120) 및 입체물데이터서비스장치(130)의 일부 또는 전부를 포함한다.As shown in FIG. 1, the stereoscopic data providing system 90 according to an embodiment of the present invention is a part or all of the printer 100, the user device 110, the communication network 120, and the stereoscopic data service device 130. It includes.

여기서, "일부 또는 전부를 포함한다"는 것은 프린터(100)나 통신망(120)과 같은 일부 구성요소가 생략되어 입체물데이터제공시스템(90)이 구성되거나 입체물데이터서비스장치(130)와 같은 일부 구성요소가 통신망(120) 내의 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components, such as the printer 100 or the communication network 120, are omitted, so that the three-dimensional data providing system 90 is configured or some components such as the three-dimensional data service device 130 are configured. It means that the elements can be integrated and configured in a network device (for example, a wireless switching device, etc.) in the communication network 120, and it is described as including all to help the understanding of the invention.

프린터(100)는 2D, 3D 프린터를 포함한다. 본 발명의 실시예에 따라 프린터(100)는 3D 프린터인 것이 바람직하다. 프린터(100)는 가정 즉 집에 비치될 수 있지만, 3D 출력물을 제작해 판매하는 특정 업체에 비치될 수도 있다. 예컨대, 입체물데이터서비스장치(130)의 운영업체는 사용자장치(110)를 통해 동화책 속 삽화 또는 삽화의 특정 객체(이하, 객체로 설명함)에 대한 출력 요청이 있는 경우, 직접 고객으로부터 요청받은 삽화 속 객체에 대한 3D 출력물을 프린팅하여 고객에게 제공하거나, 제휴를 맺은 업체에 의뢰하여 고객에게 제공할 수 있다. 가령 입체물데이터서비스장치(130)의 운영업체는 사용자장치(110)를 통해 출력을 요청한 요청자에게 3D 출력물을 제공할 수 있다. 물론 이의 과정에서 입체물데이터서비스장치(130)는 해당 객체와 관련한 기생성된 모델링 데이터를 제공할 수도 있다. 프린터(100)가 가정에 비치된 경우, 사용자는 사용자장치(110)에서 프린터(100)를 지정해 줌으로써 입체물데이터서비스장치(130)에서 프린터(100)로 해당 객체와 관련한 객체 모델링 데이터를 제공해 3D 출력물이 출력되도록 할 수 있다. 만약 가정에 프린터(100)가 없는 경우에는 USB 등의 저장매체로서 사용자장치(110)에 해당 객체 관련 모델링 데이터를 저장한 후 이를 활용할 수 있을 것이다.The printer 100 includes 2D and 3D printers. It is preferred that the printer 100 is a 3D printer according to an embodiment of the present invention. The printer 100 may be provided at home or at home, but may also be provided at a specific company that manufactures and sells 3D prints. For example, when the operator of the stereoscopic data service device 130 requests to print a specific object (hereinafter, referred to as an object) of an artwork or an illustration in a fairy tale book through the user device 110, the artwork directly requested from the customer The 3D printout of the object inside can be printed and provided to the customer, or it can be provided to the customer by requesting an affiliated company. For example, the operator of the stereoscopic data service device 130 may provide a 3D print to the requester who requested the print through the user device 110. Of course, in this process, the three-dimensional object data service device 130 may provide parasitic modeling data related to the corresponding object. When the printer 100 is provided at home, the user designates the printer 100 in the user device 110 to provide object modeling data related to the object from the stereoscopic data service device 130 to the printer 100 to provide 3D output. Can be output. If the printer 100 is not in the home, the object-related modeling data may be stored in the user device 110 as a storage medium such as USB and then utilized.

사용자장치(110)는 도 3에 도시한 스마트폰(110') 등의 모바일장치, USB 등의 저장매체를 포함하며, 카메라와 같은 촬영장치나 저장매체가 연결되는 포트(port)를 포함하는 랩탑컴퓨터, 태블릿PC, 데스크탑 컴퓨터 및 웨어러블장치 등을 더 포함할 수 있다. 여기서, 웨어러블장치는 국내 S사의 갤럭*기어와 같이 손목에 착용하는 장치를 포함할 수 있다. 사용자장치(110)가 저장매체라면 위의 컴퓨팅 장치들은 특히 유용하게 활용될 수 있을 것이다.The user device 110 includes a mobile device such as a smartphone 110 'shown in FIG. 3, a storage medium such as a USB, and a laptop computer including a port to which a storage device or a recording device such as a camera is connected. , A tablet PC, a desktop computer, and a wearable device. Here, the wearable device may include a device worn on a wrist, such as a domestic S company's Gallag * gear. If the user device 110 is a storage medium, the above computing devices may be particularly useful.

예를 들어, 부모가 어린 자녀와 함께 책을 읽던 중이라고 가정해 보자. 물론 도 2에서와 같은 동화책(200)에는 삽화가 삽입되어 있을 것이다. 도 2에서는 설명의 흥미를 돋우기 위해 입체적으로 예시하였지만, 본 발명의 실시예에서는 어떠한 형태이어도 무관하다. 이러한 동화책(200) 속의 삽화에 대한 아이들의 반응은 대단히 열광적일 수 있다. 아이가 해당 삽화 속 객체 가령 등장인물이나 동물에 대하여 관심을 보이는 경우, 특히 이와 관련한 장난감 등을 사 달라며 재촉하는 경우에는 부모들은 자신이 소지하는 사용자장치(110)를 활용하여 이의 상황에 적절히 대처할 수 있다. 이로 인해 아이의 독서나 학습 욕구를 더욱 고양시킬 수 있다.For example, suppose a parent is reading a book with a young child. Of course, illustrations will be inserted into the fairy tale book 200 as in FIG. 2. Although illustrated in FIG. 2 in three dimensions to enhance the interest of the description, any form may be used in the embodiment of the present invention. Children's reaction to the illustrations in the fairy tale book 200 can be very enthusiastic. If a child shows interest in an object in the illustration, such as a character or an animal, especially when urging him to buy a toy, etc., parents can use the user's own device (110) in their possession to properly cope with the situation. have. This can further enhance the child's desire to read or learn.

사용자장치(110)로서 부모들은 도 3에서와 같은 스마트폰(110')을 이용하여 동화책(200) 속의 객체를 촬영한 후 도 1의 입체물데이터서비스장치(130)로 촬영된 객체의 이미지를 제공하여 3D 출력물 또는 관련 데이터의 출력을 요청할 수 있다. 물론 도 3에서는 촬영된 객체를 조금 과장되게 표현하였으나, 도 3에서와 같이 스마트폰(110')의 화면에 잡힌 객체가 촬영되면, 이때 사용자 가령 아이의 부모는 객체와 함께 화면에 표시된 요청버튼을 선택하여 객체에 대한 3D 출력물 즉 입체물에 대한 출력을 요청할 수 있다. 만약 3D 프린터가 집에 비치된 경우라면 도 1의 프린터(100)는 사용자장치(110)에서의 지정에 따라 요청 객체와 관련한 모델링 데이터를 제공받아 입체물을 출력할 수 있을 것이다.As the user device 110, parents photograph an object in the fairy tale book 200 using the smartphone 110 'as shown in FIG. 3 and then provide an image of the object photographed with the stereoscopic data service device 130 of FIG. You can request the output of 3D prints or related data. Of course, in FIG. 3, the photographed object is slightly exaggerated, but when the object captured on the screen of the smartphone 110 'is photographed as in FIG. 3, the user's parent, for example, presses the request button displayed on the screen with the object. You can select and request 3D output for an object, that is, 3D output. If the 3D printer is provided at home, the printer 100 of FIG. 1 may output modeling data by receiving modeling data related to a request object according to a designation from the user device 110.

물론 도 3에서와 같이, 스마트폰(110')을 이용해 삽화에서 하나의 객체를 선택하여 촬영하는 경우에는 사용자가 하나의 출력물을 제공받을 수 있을 것이고, 도 2에서와 같이 2개의 객체를 만약 동시에 또는 삽화를 촬영한 경우라면 사용자가 가령 각 객체의 이미지마다 오버랩되어 표시되는 또는 주변에 표시되는 요청버튼을 각각 선택함으로써 복수의 객체에 대한 출력물을 요청할 수도 있다. 가령 삽화 내에 2개의 객체에 대한 모델링 데이터의 제공이 가능하다면 각 객체마다 요청버튼을 표시하도록 하여 화면상에는 총 2개의 요청버튼이 표시되는 것이다. 상기와 같은 UX/UI 부문은 프로그램적으로 다양한 설계가 가능하므로 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다.Of course, as shown in FIG. 3, when a user selects and shoots one object from an illustration using the smartphone 110 ′, the user may be provided with one output, and as shown in FIG. 2, if two objects are simultaneously Alternatively, in the case of photographing an artwork, the user may request outputs for a plurality of objects, for example, by selecting a request button displayed overlapping or around each object. For example, if it is possible to provide modeling data for two objects in an illustration, a request button is displayed for each object, and a total of two request buttons are displayed on the screen. Since the UX / UI section as described above can be variously designed programmatically, embodiments of the present invention will not be particularly limited to the above.

만약, 사용자장치(110)로부터 특정 완성품(예: 자동차조립완구 등)에 대하여 부분 출력을 요청한 경우를 가정해 보자. 이의 경우, 입체물데이터서비스장치(130)는 해당 이미지의 전체 모델링에서 각각의 부분을 분리(예: 바퀴, 차문, 트렁크 등)하여 출력해 제공할 수 있고, 또한 각 부분의 체결이 가능하도록 연결을 위한 부품 또는 3D 출력물로 제공하도록 하여 아이들의 호기심을 더욱 자극시킬 수 있다. 물론 사용자장치(110)에서 어떻게 주문하느냐의 여부는 시스템 설계자의 의도에 따라 지정 방식대로 이루어지겠지만, 가령 사용자장치(110)에서 자동차 이미지를 책에서 촬영했다고 하면, UI창을 화면에 팝업시켜 부분 출력을 요청하는지를 물으면 되는 것이다. 물론 이러한 방식은 프로그램적으로 설계된다고 볼 수 있다.Suppose that a partial output is requested from a user device 110 for a specific finished product (for example, an automobile assembly toy, etc.). In this case, the three-dimensional object data service device 130 may be provided by separating each part from the entire modeling of the corresponding image (for example, wheels, car doors, trunks, etc.), and also providing connection to enable fastening of each part. It can be stimulated by children's curiosity by providing them as parts or 3D prints. Of course, how to order from the user device 110 will be done according to the design method according to the intention of the system designer, but if the user device 110 has taken a car image in a book, for example, the UI window pops up on the screen to partially print it. You can ask if you are asking. Of course, this method can be considered to be designed programmatically.

시나리오를 하나 제시해보면, 사용자장치(110)는 입체물데이터서비스장치(130)의 서비스를 이용하기 위하여 가령 모바일서비스를 이용하기 위해 입체물데이터서비스장치(130)에서 제공하는 애플리케이션을 다운로드받아 저장하고, 그에 따라 바탕화면에 아이콘이 표시될 수 있다. 사용자장치(110)의 사용자는 해당 애플리케이션을 실행하여 원하는 삽화 또는 삽화 속 객체를 선별해 촬영한 후 모두 출력할지 또는 부분 출력할지를 선택하여 이를 입체물데이터서비스장치(130)에 제공할 수 있다. 이러한 과정은 프로그램적으로 설계된 애플리케이션의 지정 방식에 따라 입체물데이터서비스장치(130)와 연동하는 것이다. 이는 프로그래밍 분야에서 프론트엔드(front end) 기술로 구현된다. 물론 본 발명의 실시예에서는 설명의 편의를 위해 애플리케이션을 예로 들었지만, 그것에 특별히 한정하지는 않을 것이다.To present a scenario, the user device 110 downloads and stores an application provided by the stereoscopic data service device 130 to use, for example, a mobile service in order to use the service of the stereoscopic data service device 130, and stores Accordingly, an icon may be displayed on the desktop. The user of the user device 110 may execute a corresponding application, select a desired artwork or an object in the artwork, photograph it, select whether to output all or partial output, and provide it to the stereoscopic data service device 130. This process is to interwork with the stereoscopic data service device 130 according to the designation method of the program designed programmatically. This is implemented in the programming field with front end technology. Of course, in the embodiment of the present invention, an application is exemplified for convenience of description, but it will not be particularly limited.

통신망(120)은 유무선 통신망을 모두 포함한다. 가령 통신망(120)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(120)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G 통신망 등에 사용될 수 있다. 가령, 통신망(120)이 유선 통신망인 경우 통신망(120) 내의 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS SupportNode)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.The communication network 120 includes both wired and wireless communication networks. For example, a wired / wireless Internet network may be used or interlocked as the communication network 120. Here, the wired network includes an internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), Wibro network, etc. It includes meaning. Of course, the communication network 120 according to an embodiment of the present invention is not limited thereto, and may be used as a cloud computing network under a cloud computing environment, a 5G communication network, etc. as a connection network of a next-generation mobile communication system to be implemented in the future. For example, if the communication network 120 is a wired communication network, it is possible to connect to a switching center of a telephone station in the communication network 120. However, in the case of a wireless communication network, data can be processed by accessing SGSN or Gateway GPRS SupportNode (GGSN) operated by a communication company, or BTS (Base Station Transmission), NodeB, e-NodeB can be connected to various repeaters to process data.

통신망(120)은 액세스포인트(AP)를 포함한다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 프린터(100)나 사용자장치(110) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 프린터(100)나 사용자장치(110)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 입체물데이터서비스장치(130)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.The communication network 120 includes an access point (AP). Access points include small base stations, such as femto or pico base stations, which are often installed in buildings. Here, the femto or pico base station is classified according to the maximum number of the printer 100 or the user device 110, etc. according to the classification of the small base station. Of course, the access point includes a short-range communication module for performing short-range communication such as ZigBee and Wi-Fi with the printer 100 or the user device 110. The access point can use TCP / IP or RTSP (Real-Time Streaming Protocol) for wireless communication. Here, the short-range communication may be performed in various standards such as radio frequency (RF) and ultra-wideband communication (UWB), such as Bluetooth, Zigbee, infrared (IrDA), UHF (Ultra High Frequency) and VHF (Very High Frequency), in addition to Wi-Fi. Can be. Accordingly, the access point can extract the location of the data packet, designate the best communication path for the extracted location, and deliver the data packet to the next device, such as the stereoscopic data service device 130, along the designated communication path. An access point may share multiple lines in a typical network environment, and may include, for example, routers, repeaters, and repeaters.

입체물데이터서비스장치(130)는 사용자장치(110)에서의 요청시 입체물 즉 3D 출력물에 관련되는 데이터 서비스를 제공한다. 여기서, "3D 출력물에 관련되는 데이터 서비스"란 사용자장치(110)에서 제공되는 촬영 이미지를 기반으로 DB(130a)를 검색하여 해당 촬영 이미지에 포함된 객체와 관련한 (객체) 모델링 데이터를 제공하거나 별도의 오프라인을 통해 3D 출력물을 제공하기 위하여 추출된 모델링 데이터를 활용하여 독서나 학습 효과를 증대시키는 서비스를 의미한다. 모델링 데이터를 이용해 3D 출력물을 출력하도록 함으로써 해당 3D 출력물을 독서나 학습에 이용하도록 하는 것이다. 출력물은 아이들의 놀이를 위해 이용될 수도 있을 것이다.The stereoscopic data service device 130 provides a data service related to a stereoscopic object, that is, a 3D output, upon request from the user device 110. Here, the term "data service related to 3D output" searches for DB 130a based on the captured image provided from the user device 110 and provides (object) modeling data related to the object included in the captured image or separately It means a service that increases reading or learning effect by using the extracted modeling data to provide 3D output through offline. By using the modeling data to output 3D output, the 3D output is used for reading or learning. The printout may be used for children's play.

서비스를 수행하기 위하여 입체물데이터서비스장치(130)는 지정된 책의 삽화에 들어가는 객체와 관련한 모델링 데이터를 구축하는 동작을 선행할 수 있다. 객체의 이미지 분석 결과로서, 가령 해당 객체의 특징점 정보가 식별정보로서 사용될 수 있다. 이와 같이 객체의 식별정보가 확보되면 해당 객체와 관련한 3D 모델링 데이터를 생성하여 DB(130a)에 카테고리별로 구분하여 저장한다. 여기서, 카테고리는 특정 출판사, 특정 책, 삽화의 식별정보 및 객체의 식별정보 등이 될 수 있다. 이러한 분류는 다양한 형태로 이루어질 것이므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.In order to perform the service, the three-dimensional object data service device 130 may precede an operation of constructing modeling data related to an object entering an illustration of a designated book. As an image analysis result of the object, for example, feature point information of the object may be used as identification information. When the identification information of the object is secured in this way, 3D modeling data related to the object is generated and classified and stored in the DB 130a by category. Here, the category may be identification information of a specific publisher, a specific book, or artwork, and identification information of an object. Since this classification will be made in various forms, the embodiment of the present invention will not be particularly limited to any one form.

상기의 내용에 근거해 볼 때, 입체물데이터서비스장치(130)는 모델링 데이터 생성을 위한 생성모듈을 포함하는 것이 바람직하다. 만약 입체물데이터서비스장치(130)가 객체와 관련한 데이터를 2D 형태로 수신하였다면 2D 데이터를 3D 데이터로 변환하기 위한 데이터변환모듈을 포함할 수도 있다. 통상 3D는 2D와 비교해 볼때, 깊이정보를 더 갖는다고 볼 수 있다. 따라서, 변환모듈은 2D 데이터가 수신되면, 수신된 데이터에 별도의 깊이 정보를 부가하면서 3D 데이터를 생성할 수 있다. 다시 말해 2D 데이터로서 가령 2D 이미지의 객체를 각도를 변경해 가면서 또는 회전시키면서 입체화된 객체를 형성하고, 형성된 입체화된 객체를 통해 3D 데이터를 확보하는 것이다. 물론 본 발명의 실시예에 따른 모델링 데이터는 별도의 서드파티업체(3rd party)로부터 제공받아 DB(130a)에 저장할 수도 있다. 뿐만 아니라, 제휴업체의 서버로 필요한 시점에 바로 접속하여 제공받을 수도 있다. 이와 같이, 사용하고자 하는 모델링 데이터의 확보에는 다양한 방식이 가능할 수 있다.Based on the above, it is preferable that the three-dimensional object data service device 130 includes a generation module for generating modeling data. If the stereoscopic data service apparatus 130 receives data related to an object in 2D format, it may include a data conversion module for converting 2D data into 3D data. Normally, 3D has more depth information when compared to 2D. Therefore, when the 2D data is received, the conversion module may generate 3D data while adding additional depth information to the received data. In other words, as 2D data, for example, while changing or rotating an object of a 2D image, a three-dimensional object is formed, and 3D data is secured through the formed three-dimensional object. Of course, the modeling data according to the embodiment of the present invention may be provided from a separate third party company and stored in the DB 130a. In addition, it can be provided by directly accessing the necessary time with the server of the affiliate. As such, various methods may be possible to secure modeling data to be used.

요약해 보면, 입체물데이터서비스장치(130)가 사용자장치(110)로부터 특정 객체에 대한 이미지를 수신한다고 가정할 때, 수신한 이미지의 객체에 대한 분석 결과는 어떠한 형태로 또 어떻게 이용하느냐가 관건일 수 있다. 예컨대, 분석 결과로서 화소값의 분포 등을 이용할 수 있고, 해당 이미지에 숨겨진 워터마크를 이용할 수도 있으며, 나아가서는 특징점을 이용할 수도 있을 것이다. 그 가운데 모든 유형의 객체와 그 특정 유형의 객체를 구분짖는 가장 쉬운 방법은 특정 객체의 특징점을 이용하는 방식이 정확도 측면에서 가장 수월할 수 있다. 연산처리 측면에서도 유리할 수 있다. 가령, 지문 인식기술에서 모든 사람들의 지문의 특징점이 다른 것과 마찬가지로, 출판사마다 출간하는 책의 삽화와 그 삽화에 들어가는 객체는 분명 다를 것이므로, 그 객체만의 특별한 특징을 찾는 것이다. 이는 화소분석을 통해 가능할 수 있다. 픽셀마다 R, G, B의 화소값을 찾아 그를 통해 특정 부분의 경계를 찾고, 그 경계에서 특정 객체의 특이사항이 발견되면 해당 정보를 이용하는 것이다. 가령, 정보가 취득되면 기존에 구축된 데이터와 비교하여 일치하는 데이터가 있는지 확인하여 최종적으로 특징점 정보를 확정하여 저장할 수 있을 것이다.In summary, assuming that the three-dimensional object data service device 130 receives an image for a specific object from the user device 110, it is a matter of what form and how to use the analysis result of the object of the received image. Can be. For example, a distribution of pixel values may be used as an analysis result, a watermark hidden in the corresponding image may be used, and furthermore, a feature point may be used. Among them, the easiest way to distinguish all types of objects from objects of a specific type may be the easiest method in terms of accuracy. It can also be advantageous in terms of computational processing. For example, in the fingerprint recognition technology, as the characteristics of fingerprints of all people are different, the illustrations of the books published by each publisher and the objects included in the illustrations will be different, so it is to find the unique characteristics of the objects. This may be possible through pixel analysis. For each pixel, the pixel values of R, G, and B are searched to find the boundary of a specific part, and when the specificity of a specific object is found at the boundary, the information is used. For example, when information is acquired, it is possible to confirm whether there is matching data in comparison with previously constructed data and finally to store and store the feature point information.

이러한 과정에서 가령, 입체물데이터서비스장치(130)는 사용자장치(110)로부터 특정 삽화의 객체에 대하여 부분 출력 요청이 있는지 판단하여 부분 출력을 요청하였다면 해당 모델링 데이터를 부분별로 순차적으로 제공해 줄 수 있다. 물론 입체물데이터서비스장치(130)는 모델링 데이터의 생성시 부분 출력 서비스를 제공하기 위하여 별도로 부분 출력을 위한 모델링 데이터를 생성하여 저장해 둘 수 있다. 이의 경우, 해당 데이터를 제공해 주면 되는 것이다. 다양한 형태가 가능하므로 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.In this process, for example, the stereoscopic data service apparatus 130 may determine whether there is a partial output request for an object of a specific artwork from the user apparatus 110 and, if requested, output the corresponding modeling data sequentially. Of course, the stereoscopic data service device 130 may separately generate and store modeling data for partial output in order to provide a partial output service when generating modeling data. In this case, you only need to provide the data. Since various forms are possible, the embodiment of the present invention will not be particularly limited to any one method.

구체적으로, 입체물데이터서비스장치(130)는 사용자장치(110)에서 가령 애플리케이션을 실행하는 시점에 사용자장치(110)가 서비스에 접속한 것을 인지한다. 따라서, 사용자장치(110)에서 특정 객체가 촬영되면 사용자장치(110)는 애플리케이션을 통해 장치식별정보와 함께 입체물데이터서비스장치(130)로 이의 사실을 제공할 수 있다. 그러면 입체물데이터서비스장치(130)는 특정 객체가 촬영된 시점에 해당 이미지의 화면에 출력요청이나 부분출력요청과 같은 (UI)버튼이 표시되도록 애플리케이션을 통해 사용자장치(110)를 제어할 수 있고, 이때 부분출력요청이 있으면 해당 정보를 확인해 관련 모델링 데이터를 제공해 줄 수 있다. 만약 이의 과정에서 사용자장치(110)에서 가령 가정에 비치된 프린터(100)를 지정한 경우라면 입체물데이터서비스장치(130)는 프린터(100)의 식별정보를 확인하여 DB(120a)에서 추출된 모델링 데이터를 전송해준다.Specifically, the stereoscopic data service device 130 recognizes that the user device 110 accesses the service at the time when the user device 110 executes an application, for example. Accordingly, when a specific object is photographed by the user device 110, the user device 110 may provide the fact to the stereoscopic data service device 130 together with the device identification information through the application. Then, the three-dimensional object data service device 130 may control the user device 110 through an application such that an (UI) button such as an output request or a partial output request is displayed on the screen of the corresponding image at the time the specific object is photographed, At this time, if there is a partial output request, the relevant information can be checked and relevant modeling data can be provided. If the user device 110, for example, designates the printer 100 provided in the home during the process, the three-dimensional data service device 130 checks the identification information of the printer 100 and modeling data extracted from the DB 120a Send it.

상기의 구성 결과, 가령 아이들이 동화책(200) 속의 등장인물이나 동물 등의 객체에 대하여 관심을 보일 때 필요하면 3D 출력물을 함께 소유할 수 있게 해줌으로써 학습이나 독서의 욕구를 고양시켜 효과를 극대화할 수 있을 것이다.As a result of the above configuration, for example, when children show interest in objects such as characters or animals in the fairy tale book 200, if necessary, they can possess 3D prints together to enhance the desire for learning or reading to maximize the effect. Will be able to.

도 4는 도 1의 입체물데이터서비스장치의 구조를 나타내는 블록다이어그램이다.4 is a block diagram showing the structure of the three-dimensional object data service device of FIG.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 입체물데이터서비스장치(130)는 통신 인터페이스부(400) 및 입체물데이터처리부(410)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.As shown in FIG. 4, the three-dimensional data service apparatus 130 according to an embodiment of the present invention includes some or all of the communication interface 400 and the three-dimensional data processing unit 410, where "some or all of "Including" is the same as the previous meaning.

통신 인터페이스부(400)는 입체물데이터처리부(410)의 제어하에 도 1의 통신망(120)을 경유하여 프린터(100) 및 사용자장치(110)와 통신한다. 이의 과정에서 통신 인터페이스부(400)는 변/복조, 코딩/디코딩, 먹싱/디먹싱 및 스케일링 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 자세한 설명은 생략한다.The communication interface unit 400 communicates with the printer 100 and the user device 110 via the communication network 120 of FIG. 1 under the control of the stereoscopic data processing unit 410. In the process of this, the communication interface unit 400 may perform operations such as modulation / demodulation, coding / decoding, muxing / demuxing, and scaling, which are obvious to those skilled in the art, and thus detailed description will be omitted.

통신 인터페이스부(400)는 프린터(100)와의 통신에 의해 프린터(100)로 사용자장치(110)에서 요청한 특정 객체에 대한 3D 프린팅을 요청할 수 있다. 이를 위하여 통신 인터페이스부(400)는 3D 프린팅을 위한 특정 객체에 대한 모델링 데이터를 제공할 수 있다. 물론 여기서 객체는 사용자장치(110)에서 촬영하여 제공한 이미지 내의 객체에 해당된다. The communication interface 400 may request 3D printing of a specific object requested by the user device 110 to the printer 100 through communication with the printer 100. To this end, the communication interface 400 may provide modeling data for a specific object for 3D printing. Of course, the object here corresponds to an object in an image photographed and provided by the user device 110.

또한, 통신 인터페이스부(400)는 사용자장치(110)와의 통신에 따라 입체물을 이용한 데이터서비스를 제공하게 된다. 좀더 구체적으로, 통신 인터페이스부(400)는 가령 사용자장치(110)에서 애플리케이션을 실행하면 이때 사용자장치(110)의 식별정보를 입체물데이터처리부(410)에 제공할 수 있다. 이의 과정에서 사용자장치(110)에서 삽화 또는 삽화 내의 객체에 대한 촬영이 이루어지면 확인요청을 받기 위한 확인버튼 등이 화면이 표시되도록 요청할 수 있다. 물론 이는 입체물데이터처리부(410)에 제어에 의해 이루어진다. 이에 따라 사용자장치(110)에서 촬영된 이미지에 대한 3D 출력물의 요청이 있으면 이를 입체물데이터처리부(410)에 전달하여 3D 출력물의 프린팅을 위한 동작을 수행하게 되는 것이다.In addition, the communication interface 400 provides a data service using a stereoscopic object according to communication with the user device 110. More specifically, the communication interface 400 may provide identification information of the user device 110 to the stereoscopic data processing unit 410, for example, when an application is executed on the user device 110. In the process, when the user device 110 photographs an object or an object in the artwork, a confirmation button for receiving a confirmation request may be requested to display the screen. Of course, this is achieved by controlling the stereoscopic data processing unit 410. Accordingly, if there is a request for 3D output for the image photographed by the user device 110, it is transmitted to the stereoscopic data processing unit 410 to perform an operation for printing the 3D output.

물론 이의 과정에서 통신 인터페이스부(400)는 사용자장치(110)로부터 삽화 내의 특정 객체에 대한 부분 출력을 요청할 수도 있으므로, 입체물데이터처리부(410)와의 연계에 따라 해당 부분 출력 요청에 대한 동작을 적절히 처리하게 된다. 다시 말해, 촬영된 특정 객체의 이미지를 제공하면서 부분출력요청 정보를 전송하면 이를 입체물데이터처리부(410)에 전달하여 그에 따른 동작이 이루어지도록 하는 것이다. 여기서 "그에 따른 동작"이란 만약 도 1의 DB(130a)상에 부분 출력을 위한 모델링 데이터를 별도로 구축한 상태라면 해당 DB(130a)를 검색하여 3D 부분출력을 수행할 수 있도록 하는 것 등을 의미한다고 볼 수 있다.Of course, in this process, the communication interface 400 may request a partial output for a specific object in the illustration from the user device 110, and accordingly, the operation for the corresponding partial output request is properly processed according to the connection with the stereoscopic data processing unit 410 Is done. In other words, when the partial output request information is transmitted while providing the image of the specific object photographed, it is transmitted to the stereoscopic data processing unit 410 so that the operation is performed accordingly. Here, "action according to it" means that, if the modeling data for partial output is separately built on the DB 130a of FIG. 1, it is possible to search for the DB 130a and perform 3D partial output. It can be seen that.

입체물데이터처리부(410)는 도 1의 사용자장치(110)에서 요청하는 삽화 내의 객체에 대한 3D 출력물의 습득을 가능케 하는 동작을 수행한다. 예를 들어, 사용자장치(110)에서, 더 정확하게는 본 발명의 실시예에 따른 서비스를 이용하기 위하여 회원가입이 되어있는 회원의 사용자장치(110)에서 특정 출판사의 특정 책에 삽입되어 있는 삽화의 일부, 가령 객체를 촬영하여 이미지로 제공하면 이에 대한 3D 출력물의 출력 여부를 판단하여 모델링 데이터를 제공하거나 한다. 다시 말해, DB(130a)에 구축되어 있는 객체에 대한 3D 출력물의 습득을 요청하면 해당 객체에 대한 모델링 데이터를 제공하면 되지만, 만약 구축된 데이터가 없는 경우에는 이를 사용자장치(110)로 통지해 줄 수 있을 것이다. 물론 구축된 데이터가 없다면 유사 객체를 판별하여 그에 관련된 모델링 데이터를 제공할 수는 있을 것이다.The stereoscopic data processing unit 410 performs an operation that enables the acquisition of 3D output for objects in the artwork requested by the user device 110 of FIG. 1. For example, in the user device 110, more precisely, in the user device 110 of a member who has been registered as a member in order to use the service according to the embodiment of the present invention, an illustration inserted in a specific book of a specific publisher In some cases, for example, when an object is photographed and provided as an image, modeling data is provided by determining whether to output 3D output. In other words, when requesting to acquire a 3D output for an object built in the DB 130a, modeling data for the object may be provided, but if there is no constructed data, the user device 110 will be notified. Will be able to. Of course, if there is no constructed data, it is possible to determine similar objects and provide modeling data related to them.

예컨대, 도 2에서 볼 때, 개와 우산을 쓴 소녀에 대하여 3D 출력물을 습득하고 싶다는 의사를 밝히면, 입체물데이터처리부(410)는 도 1의 DB(130a)를 검색하여 해당 객체들과 관련한 모델링 데이터가 있는지를 검색하게 된다. 이때 입체물데이터처리부(410)는 각 객체의 특징점을 비교하여 DB(130a)를 검색할 수 있다. 이는 시스템 구축시 어떠한 식별정보로 모델링 데이터를 구축하느냐에 관계되는 것이므로, 다양한 분석결과를 통해 검색이 이루어지도록 하는 것이 얼마든지 가능하다. 다만, 이미지에서 객체의 유형이나 동일 유형의 객체에 대하여 객체를 서로 구분하기 위하여는 특징점 정보를 이용하는 것이 수월할 수 있을 것이다. 이와 관련해서는 이미 화소값 등을 이용할 수 있다는 것을 설명한 바 있다.For example, as shown in FIG. 2, if a doctor wants to learn 3D output for a girl with an umbrella, the stereoscopic data processing unit 410 searches the DB 130a of FIG. 1 for modeling data related to the corresponding objects. Will be searched. At this time, the stereoscopic data processing unit 410 may search the DB 130a by comparing the feature points of each object. This is related to what kind of identification information is used to build modeling data when constructing the system, so it is possible to make a search through various analysis results. However, it may be easier to use feature point information in order to distinguish objects from each other with respect to objects of the same type or objects in an image. In this regard, it has already been explained that pixel values and the like can be used.

물론 서비스를 제공함에 있어서, 입체물데이터처리부(410)는 사용자장치(110)에서 요청한 객체에 직접 매칭되는 모델링 데이터가 생성되어 있지 않다 하더라도 입체물데이터처리부(410)는 DB(130a)를 통해 유사도가 높은 객체의 모델링 데이터를 검색해 사용자에게 제공할 수도 있을 것이다. 이의 경우 입체물데이터처리부(410)는 사용자장치(110)로 요청한 객체에 대한 프린팅이 불가함을 알리고, 동시에 유사한 객체에 대하여 출력을 요청할지를 물을 수 있다. 유사도는 우선 동일 유형(예: 개, 우산 등)이어야 하는 것은 분명하며, 동일 유형일 때 모양이나 색깔 등을 더 판단하여 이를 근거로 관련 모델링 데이터를 제공할 수 있다. 이를 위하여 입체물데이터처리부(410)는 모델링 데이터의 구축시, 특징점 정보 이외에도 위의 다양한 정보를 얻기 위하여 삽화 이미지 내의 객체에 대하여 많은 데이터를 구축할 수 있을 것이다.Of course, in providing the service, the stereoscopic data processing unit 410 has a high degree of similarity through the DB 130a even though modeling data that directly matches the object requested by the user device 110 is not generated. The modeling data of the object may be retrieved and provided to the user. In this case, the stereoscopic data processing unit 410 may inform the user device 110 that printing of the requested object is not possible, and at the same time, may ask whether to request output for a similar object. It is clear that the similarity must first be of the same type (eg, dog, umbrella, etc.), and when it is the same type, shape or color can be further determined to provide relevant modeling data based on this. To this end, when constructing modeling data, the stereoscopic data processing unit 410 may construct a lot of data on objects in the illustration image in order to obtain various information above in addition to feature point information.

요약하면, 입체물데이터처리부(410)는 가령 아이가 독서나 학습 중에 책 내에 포함되어 있는 삽화 또는 삽화 내의 특정 객체에 대한 3D 출력물을 습득하고 싶어할 때, 아이의 부모는 사용자장치(110)를 통해 이를 촬영하여 이미지를 전송하고, 입체물데이터처리부(410)는 수신된 이미지의 객체를 판별하여 판별 결과에 매칭되는 모델링 데이터를 검색 및 추출하게 된다. 그리고 그 추출된 데이터를 이용하게 되는 것이다. 만약 이러한 과정에서 가령 프린팅을 요청한 객체의 데이터가 없으면 유사도를 더 판별하여 유사도가 기준값 이상인 객체가 발견되면 이를 사용자장치(110)로 알려, 아이가 대체물을 습득할 수 있도록 할 수도 있다. 이러한 동작은 시스템 설계자의 의도에 따라 다양하게 이루어질 수 있으므로, 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다. 가령, 유사도가 얼마가 되어야 하느냐는 설계자가 지정하기 나름이지만, 동일 유형의 객체이어야 하는 것은 분명하며, 동일 객체 내에서도 동물의 경우에는 동일 종에 속하는 것이 바람직하며, 모양과 색깔도 유사하면 더욱 바람직할 수 있을 것이다.In summary, the three-dimensional data processing unit 410, for example, when the child wants to learn a 3D print for a particular object in an illustration or an illustration included in a book during reading or learning, the parent of the child through the user device 110 By photographing this, the image is transmitted, and the stereoscopic data processing unit 410 determines the object of the received image, and searches and extracts modeling data matching the discrimination result. Then, the extracted data is used. If, in this process, for example, there is no data of the object requesting printing, similarity is further determined, and if an object having a similarity level higher than the reference value is found, the user device 110 may be notified to allow the child to acquire a substitute. Since this operation may be variously performed according to the intention of the system designer, the embodiment of the present invention will not be particularly limited to the above. For example, it is up to the designer to specify how much the similarity should be, but it is obvious that it should be an object of the same type, and within the same object, it is preferable to belong to the same species in the case of animals. Will be able to.

도 5는 도 1의 입체물데이터서비스장치의 다른 구조를 나타내는 블록다이어그램이다.5 is a block diagram showing another structure of the three-dimensional data service device of FIG.

도 5에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 입체물데이터서비스장치(130')는 통신 인터페이스부(500), 제어부(510), 입체물데이터실행부(520) 및 저장부(530)의 일부 또는 전부를 포함한다.As shown in FIG. 5, the stereoscopic data service device 130 'according to another embodiment of the present invention includes a communication interface unit 500, a control unit 510, a stereoscopic data execution unit 520, and a storage unit 530. Includes all or part of.

여기서, "일부 또는 전부를 포함한다"는 것은 통신 인터페이스부(500) 및/또는 저장부(530)와 같은 일부 구성요소가 생략되어 입체물데이터서비스장치(130')가 구성되거나 입체물데이터실행부(520)와 같은 일부 구성요소가 제어부(510)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components such as the communication interface unit 500 and / or the storage unit 530 are omitted, so that the stereoscopic data service apparatus 130 'is configured or the stereoscopic data execution unit ( It means that some components, such as 520) may be integrated with other components, such as the control unit 510, and the like, and all of them are included to help the understanding of the invention.

도 5의 입체물데이터서비스장치(130')를 도 4의 입체물데이터서비스장치(130)와 비교해 볼 때, 도 4의 입체물데이터처리부(410)가 도 5의 제어부(510) 및 입체물데이터실행부(520)로 이원화되어 구성될 수 있다는 데에 그 차이가 있다고 볼 수 있다. 물론 그 구분은 소프트웨어, 하드웨어 또는 그 조합에 의하여 구분되는 것을 의미한다. 상기의 구성에 따라, 제어부(510)는 입체물데이터서비스장치(130')의 제어동작만을 담당하고, 입체물데이터실행부(520)는 본 발명의 실시예에 따라 3D 출력물의 습득을 위한 서비스를 제공하게 된다.When comparing the three-dimensional object data service device 130 'of FIG. 5 with the three-dimensional object data service device 130 of FIG. 4, the three-dimensional object data processing unit 410 of FIG. 4 is the control unit 510 and the three-dimensional object data execution unit of FIG. It can be seen that there is a difference in that it can be configured to be dualized as 520). Of course, the division means that it is classified by software, hardware, or a combination thereof. According to the above configuration, the control unit 510 is only in charge of the control operation of the three-dimensional data service device 130 ', and the three-dimensional data execution unit 520 provides a service for acquiring 3D output according to an embodiment of the present invention. Is done.

간략히 살펴보면, 제어부(510)는 입체물데이터서비스장치(130')를 구성하는 통신 인터페이스부(500), 입체물데이터실행부(520) 및 저장부(530)의 전반적인 동작을 제어한다. 가령, 제어부(510)는 통신 인터페이스부(500)를 통해 사용자장치(110)로부터 촬영이미지가 제공되면 이를 입체물데이터실행부(520)에 전달하여 이미지 분석 동작이 이루어지도록 할 수 있다. 만약 분석 결과가 입체물데이터실행부(520)로 특징점 정보 등의 형태로 다시 제공되면, 제어부(510)는 통신 인터페이스부(500)를 제어하여 해당 정보를 DB(130a)로 제공하여 제공된 해당 정보를 기반으로 검색이 이루어지도록 할 수 있다. 또한, 검색에 의해 모델링 데이터가 추출되면, 이를 가령 사용자장치(110)에서 프린터(100)를 지정하였다면 해당 프린터(100)로 전송되도록 통신 인터페이스부(500)를 제어할 수 있다. 이러한 내용 이외에도 제어부(510)는 다양한 동작을 수행할 수 있지만, 앞서 충분히 설명하였으므로 그 내용들로 대신하고 한다.In brief, the control unit 510 controls the overall operation of the communication interface 500, the stereoscopic data execution unit 520, and the storage unit 530 constituting the stereoscopic data service device 130 '. For example, when a photographed image is provided from the user device 110 through the communication interface 500, the control unit 510 may transmit the image to the stereoscopic data execution unit 520 to perform an image analysis operation. If the analysis result is provided again in the form of feature point information, etc. to the stereoscopic data execution unit 520, the control unit 510 controls the communication interface unit 500 to provide the information to the DB 130a to provide the corresponding information. Search can be made based on. In addition, when modeling data is extracted by searching, if the printer 100 is designated by the user device 110, for example, the communication interface 500 may be controlled to be transmitted to the corresponding printer 100. In addition to these contents, the control unit 510 may perform various operations, but since it has been sufficiently described above, the contents are replaced.

또한, 입체물데이터실행부(520)는 크게 모델링 데이터의 구축 동작과 구축된 모델링 데이터를 기반으로 데이터서비스가 이루어지도록 동작할 수 있다. 예를 들어, 특정 출판사의 특정 책 내에 삽입되는 삽화에 대한 이미지가 확보되면 해당 이미지를 분석하여 객체를 식별하기 위한 특징점 정보 등의 식별정보에 매칭하여 관련 모델링 데이터를 저장한다. 물론 저장은 도 1에서와 같은 DB(130a)에 카테고리별로 구분하여 저장시킬 수 있다. 여기서, 모델링 데이터는 2D 데이터를 변환하여 3D 데이터를 생성하는 변환모듈을 사용하여 이루어질 수 있다. 물론 변환모듈은 입체물데이터실행부(520) 내에 포함되는 프로그램의 일부일 수 있다. 이외에도 입체물데이터실행부(520)는 생성된 모델링 데이터를 다시 특정 부분별로 분리하여 객체의 3D 출력물에 대하여 부분 출력이 가능하도록 저장할 수 있다.In addition, the three-dimensional object data execution unit 520 may operate to perform a data service based on the modeling data construction operation and the constructed modeling data. For example, when an image of an artwork inserted into a specific book of a specific publisher is secured, the corresponding modeling data is stored by matching the identification information such as feature point information for identifying the object by analyzing the corresponding image. Of course, the storage may be divided into categories and stored in the DB 130a as shown in FIG. 1. Here, the modeling data may be made using a conversion module that converts 2D data to generate 3D data. Of course, the conversion module may be part of a program included in the stereoscopic data execution unit 520. In addition, the stereoscopic data execution unit 520 may separate the generated modeling data into specific parts and store the 3D output of the object so that it can be partially output.

입체물데이터실행부(520)는 상기와 같은 데이터 구축 동작이 완료되면, 제어부(510)로부터 전달된 객체의 이미지를 분석하여 분석 결과를 추출해 낸다. 그리고, 해당 분석 결과로서 가령 특징점 정보를 제어부(510)에 제공해 주면, 제어부(510)는 해당 정보를 근거로 DB(130a)에서 검색이 이루어지도록 동작한다. 만약 제어부(510)가 사용자장치(110)로부터 부분출력요청 정보를 수신한 경우라면 이를 기반으로 부분 출력용 모델링 데이터가 검색되도록 DB(120a)로 요청할 수 있다.When the above-described data construction operation is completed, the stereoscopic data execution unit 520 analyzes the image of the object transferred from the control unit 510 and extracts an analysis result. Then, if the feature point information is provided to the control unit 510 as a result of the analysis, the control unit 510 operates to perform a search in the DB 130a based on the information. If the control unit 510 receives the partial output request information from the user device 110, it may request the DB 120a to search for modeling data for partial output based on this.

상기한 내용 이외에 기타, 도 5의 통신 인터페이스부(500), 제어부(510), 입체물데이터실행부(520) 및 저장부(530)와 관련한 자세한 내용은 도 1의 입체물데이터서비스장치(130)나 도 4의 통신 인터페이스부(400) 및 입체물데이터처리부(410)의 내용과 크게 다르지 않으므로 그 내용들로 대신하고자 한다.In addition to the above, for more information related to the communication interface unit 500, the control unit 510, the stereoscopic data execution unit 520 and the storage unit 530 of FIG. 5, the stereoscopic data service device 130 of FIG. Since the contents of the communication interface unit 400 and the stereoscopic data processing unit 410 of FIG. 4 are not significantly different, the contents will be replaced.

한편, 본 발명의 또 다른 실시예로서, 도 5의 제어부(510)는 CPU와 메모리를 포함하여 구성될 수 있다. 여기서, CPU는 제어기능을 담당하는 제어회로, 연산부(ALU), 명령어해석부, 레지스트리 등을 포함할 수 있다. 제어회로는 제어동작을 담당하고, 연산부는 비트정보의 연산처리에 관여하며, 명령어해석부는 기계어 해석 동작을 수행한다. 다시 말해, 비트정보를 해석하여 어떠한 동작을 수행해야 할지를 판단하는 것이다. 레지스트리는 데이터의 일시적인 저장에 관여할 수 있다. 상기의 구성에 따라, CPU는 입체물데이터서비스장치(130')의 초기 구동시 입체물데이터실행부(520)에 저장되어 있는 프로그램을 메모리에 로딩하여 저장한 후 이를 실행시킴으로써 데이터 연산처리 속도를 빠르게 증가시킬 수 있게 될 것이다.Meanwhile, as another embodiment of the present invention, the control unit 510 of FIG. 5 may include a CPU and a memory. Here, the CPU may include a control circuit in charge of a control function, an operation unit (ALU), an instruction analysis unit, a registry, and the like. The control circuit is in charge of the control operation, the operation unit is involved in the processing of the bit information, and the instruction analysis unit performs the machine language analysis operation. In other words, the bit information is interpreted to determine what operation should be performed. The registry may be involved in the temporary storage of data. According to the above configuration, the CPU loads and stores the program stored in the stereoscopic data execution unit 520 when the initial driving of the stereoscopic data service device 130 'is stored in memory, and then executes it to rapidly increase the data processing speed. You will be able to

도 6은 본 발명의 실시예에 따른 입체물데이터서비스과정의 흐름도이다.6 is a flowchart of a three-dimensional object data service process according to an embodiment of the present invention.

설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 입체물데이터서비스장치(130)는 삽화 내의 객체를 모델링하여 생성한 모델링 데이터와, 객체를 식별하기 위한 식별정보를 매칭시켜 저장한다(S600). 예를 들어, 특정 출판사에서 출판한 책의 삽화에 대한 이미지 데이터가 제공되면, 입체물데이터서비스장치(130)는 특정 객체에 대해 지정된 방식에 따라 이미지 분석을 수행하여 모델링 데이터를 확보한다. 물론 이러한 데이터가 3D 데이터로 제공되면 이의 데이터에서 화소분석을 통해 특징점을 찾아 특징점정보를 모델링 데이터와 매칭하여 저장할 수 있을 것이다. 만약, 2D 데이터를 제공받는다면 3D의 모델링 데이터를 생성하기 위한 동작을 추가로 수행하여 데이터를 생성해 저장할 수 있다. 위의 내용들에 대하여 앞서 충분히 설명하였으므로 그 내용들로 대신한다.Referring to FIG. 6 together with FIG. 1 for convenience of description, the stereoscopic data service apparatus 130 according to an embodiment of the present invention matches modeling data generated by modeling an object in an illustration and identification information for identifying an object Save (S600). For example, when image data for an artwork of a book published by a specific publisher is provided, the stereoscopic data service device 130 acquires modeling data by performing image analysis according to a specific method for a specific object. Of course, if such data is provided as 3D data, the feature points may be found through pixel analysis in the data, and the feature point information may be matched with modeling data and stored. If 2D data is provided, data may be generated and stored by additionally performing an operation for generating 3D modeling data. The above contents have been sufficiently explained above, so the contents are replaced.

또한, 입체물데이터서비스장치(130)는 모델링 데이터를 생성하는 것은 물론 사용자장치(110)에 의해 삽화 또는 객체가 촬영되어 이미지로 제공되면, 제공된 이미지의 분석 결과와 식별정보를 근거로 이미지에 매칭되는 모델링 데이터를 검색해 출력한다(S610). 가령 입체물데이터서비스장치(130)가 이미지의 분석 결과를 얻기 위해 특징점을 추출하였다면 그 특징점에 매칭되는 식별정보의 모델링 데이터를 추출할 수 있다. 여기서, 검색은 DB 전체를 특정 카테고리별로 순차적으로, 또는 영역을 특정하여 비교하는 과정이라면, 추출은 비교 결과에 따라 특정 데이터를 선별하는 과정이라 볼 수 있다.In addition, the stereoscopic data service device 130 generates modeling data, and when an artwork or object is photographed and provided as an image by the user device 110, it is matched to the image based on the analysis result and identification information of the provided image The modeling data is retrieved and output (S610). For example, if the feature data service device 130 extracts a feature point to obtain an analysis result of an image, modeling data of identification information matching the feature point can be extracted. Here, if the search is a process of sequentially comparing the entire DB by a specific category or by specifying an area, extraction can be regarded as a process of selecting specific data according to the comparison result.

상기한 내용 이외에도 입체물데이터서비스장치(130)는 다양한 동작을 추가로 수행할 수 있으므로, 본 발명의 실시예에서는 위의 내용에 특별히 한정하지 않으며 기타 자세한 내용은 앞서의 내용들로 대신하고자 한다.In addition to the above, the three-dimensional data service device 130 may perform a variety of operations, so the embodiment of the present invention is not particularly limited to the above, and other details will be replaced by the above.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, that all components constituting the embodiments of the present invention are described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, if it is within the scope of the present invention, all of the components may be selectively combined and operated. In addition, all of the components may be implemented by one independent hardware, but a part or all of each component is selectively combined to perform a combined function of some or all functions in one or a plurality of hardware. It may be implemented as a computer program having a. The codes and code segments constituting the computer program can be easily deduced by those skilled in the art of the present invention. Such a computer program is stored in a computer-readable non-transitory computer readable media and read and executed by a computer, thereby realizing an embodiment of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory. . Specifically, the above-described programs may be stored and provided on a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and it is usually in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. It is of course possible to perform various modifications by a person having knowledge of, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

100: 프린터 110: 사용자장치
110': 스마트폰 120: 통신망
130, 130': 입체물데이터서비스장치 400, 500: 통신 인터페이스부
410: 입체물데이터처리부 510: 제어부
520: 입체물데이터실행부 530: 저장부100: printer 110: user equipment
110 ': smartphone 120: communication network
130, 130 ': 3D data service device 400, 500: communication interface unit
410: stereoscopic data processing unit 510: control unit
520: stereoscopic data execution unit 530: storage unit

Claims

A storage unit that matches and stores modeling data generated by modeling an object in an artwork and identification information for identifying the object; And
A control unit for generating the modeling data and searching for and outputting modeling data matching the image based on the analysis result of the provided image and the identification information when the artwork or the object is photographed and provided as an image by a user device; To
A three-dimensional object data service device including.

According to claim 1,
The controller, when 2D data related to the artwork or the object is input, converts it into 3D data to generate the modeling data.

According to claim 1,
The storage unit stores the feature point information of the object as the identification information,
The control unit extracts a feature point of an object from the provided image as the analysis result and compares it with the stored feature information.

According to claim 3,
When the modeling data according to the comparison result is not searched, the controller inquires whether to use modeling data of similar objects similar to the object to the user device.

According to claim 1,
The control unit is a stereoscopic data service device that automatically deletes the output modeling data when a specified time has elapsed after outputting the searched modeling data.

As a driving method of a three-dimensional data service apparatus including a storage unit and a control unit,
Matching the modeling data generated by modeling the objects in the illustrations and the identification information for identifying the objects and storing them in the storage unit; And
When the controller generates the modeling data and the artwork or the object is photographed and provided as an image by a user device, the modeling data matching the image is searched based on the analysis result of the provided image and the identification information. Outputting;
Method of driving a three-dimensional object data service device comprising.