KR102013622B1

KR102013622B1 - Apparatus and system for projection mapping

Info

Publication number: KR102013622B1
Application number: KR1020180017148A
Authority: KR
Inventors: 박상현
Original assignee: 박상현
Priority date: 2018-02-12
Filing date: 2018-02-12
Publication date: 2019-08-26
Also published as: KR20190098293A

Abstract

본 발명은 프로젝션 매핑 장치 및 시스템에 관한 것으로서, 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템에 관한 것이다.
본 발명에 따른 프로젝션 매핑 장치는 인쇄물에 포함된 마커를 촬영하는 촬영부; 상기 촬영부에서 촬영된 마커에 포함된 마커정보를 인식하여 상기 마커정보에 대응되는 출력정보를 생성하는 제어부; 및 상기 제어부로부터 출력정보를 전달받아 상기 인쇄물 또는 임의의 공간에 상기 출력정보에 대응되는 컨텐츠를 프로젝션방식으로 출력하는 출력부; 를 포함한다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a projection mapping apparatus and system, and more particularly, to an apparatus and system for recognizing a marker included in a printed matter and outputting corresponding content on the printed matter in a projection manner.
Projection mapping apparatus according to the present invention comprises a photographing unit for photographing the marker included in the printed matter; A controller configured to recognize marker information included in the marker photographed by the photographing unit and to generate output information corresponding to the marker information; And an output unit which receives the output information from the controller and outputs the content corresponding to the output information in the printed matter or any space in a projection method. It includes.

Description

Projection mapping device and system {APPARATUS AND SYSTEM FOR PROJECTION MAPPING}

본 발명은 프로젝션 매핑 장치 및 시스템에 관한 것으로서, 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a projection mapping apparatus and system, and more particularly, to an apparatus and system for recognizing a marker included in a printed matter and outputting corresponding content on the printed matter in a projection manner.

디지털 미디어가 발달함에 따라 전자책, 웹툰 등 기존 매체의 스토리텔링에서 확장된 디지털스토리텔링이라는 새로운 개념이 등장하였다.As digital media developed, a new concept of digital storytelling, which was extended from the storytelling of existing media such as e-books and webtoons, appeared.

그러나 이러한 디지털 미디어의 발달에도 불구하고 여전히 대부분의 사람들은 종이책을 이용해 정보를 취득하고 독서를 수행하고 있으며, 이러한 종이책은 인쇄물이라는 한정성에 의해 그 내용에 따라 다양한 컨텐츠를 즐기지 못하는 한계가 있다.However, despite the development of digital media, most people still use paper books to acquire information and perform reading, and these paper books have limitations in that they cannot enjoy various contents according to their contents due to the limitation of printed matter.

한국등록특허 제10-1301501호Korea Patent Registration No. 10-1301501 한국공개특허 제10-2016-0021391호Korean Patent Publication No. 10-2016-0021391

이에 본 발명은 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템을 제공하여 사용자로 하여금 인쇄물의 내용에 따라 다양한 화상 컨텐츠를 즐길 수 있도록 하는데 그 목적이 있다.Accordingly, an object of the present invention is to provide an apparatus and a system for recognizing a marker included in a printed matter and outputting corresponding contents on the printed matter by a projection method so that a user can enjoy various image contents according to the printed matter.

본 발명에 따른 프로젝션 매핑 장치는 인쇄물에 포함된 마커를 촬영하는 촬영부; 상기 촬영부에서 촬영된 마커에 포함된 마커정보를 인식하여 상기 마커정보에 대응되는 출력정보를 생성하는 제어부; 및 상기 제어부로부터 출력정보를 전달받아 상기 인쇄물 또는 임의의 공간에 상기 출력정보에 대응되는 컨텐츠를 프로젝션방식으로 출력하는 출력부; 를 포함함한다.Projection mapping apparatus according to the present invention comprises a photographing unit for photographing the marker included in the printed matter; A controller configured to recognize marker information included in the marker photographed by the photographing unit and to generate output information corresponding to the marker information; And an output unit which receives the output information from the controller and outputs the content corresponding to the output information in the printed matter or any space in a projection method. It includes.

본 발명에 따른 프로젝션 매핑 장치는 다수의 마커정보와 상기 마커정보에 대응되는 출력정보를 저장하는 저장부; 를 더 포함하고, 상기 제어부는 상기 마커정보를 인식하여 상기 저장부에 저장된 다수의 마커정보 중 상기 인식된 마커정보에 대응되는 마커정보와 출력정보를 추출한다.Projection mapping apparatus according to the present invention comprises a storage unit for storing a plurality of marker information and output information corresponding to the marker information; Further, the control unit recognizes the marker information and extracts marker information and output information corresponding to the recognized marker information from the plurality of marker information stored in the storage unit.

본 발명에 따른 프로젝션 매핑 장치는 상기 제어부에서 인식된 마커정보를 외부의 서버로 전송하고, 상기 서버로부터 상기 마커정보에 해당하는 출력정보를 수신받아 상기 제어부에 전달하는 통신부; 를 더 포함한다.The projection mapping apparatus according to the present invention includes a communication unit which transmits the marker information recognized by the controller to an external server, receives output information corresponding to the marker information from the server, and transmits the output information to the controller; It further includes.

본 발명에서 상기 마커정보는 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호를 포함하고, 상기 출력정보는 상기 마커정보에 포함된 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호에 대응되는 컨텐츠로 상기 인쇄물 페이지에 표시되어야 할 이미지, 영상, 텍스트 중 적어도 하나를 포함한다.In the present invention, the marker information includes the printed matter identifier and the printed page number, and the output information includes an image to be displayed on the printed page as content corresponding to the printed matter identifier and the printed page number included in the marker information. And at least one of an image and a text.

본 발명에서 상기 마커는 상기 인쇄물에 직접 인쇄되거나 상기 인쇄물에 스티커 형태로 부착가능하다.In the present invention, the marker may be directly printed on the printed matter or attached to the printed matter in the form of a sticker.

본 발명에서 상기 마커는 상기 인쇄물 또는 상기 스티커 형태에 적외선 잉크로 인쇄되며, 상기 촬영부는 적외선 영상 촬영장치로 구성된다.In the present invention, the marker is printed with infrared ink on the printed matter or the sticker form, and the photographing unit is composed of an infrared image photographing apparatus.

본 발명에서 상기 마커정보는 상기 인쇄물에서 출력정보가 표시되어야 할 위치와 방향정보를 포함하고, 상기 출력부는 상기 출력정보에 대응되는 컨텐츠를 상기 마커정보에 포함된 상기 위치와 방향정보에 따라 출력한다.In the present invention, the marker information includes position and direction information on which output information should be displayed in the printed matter, and the output unit outputs content corresponding to the output information according to the position and direction information included in the marker information. .

본 발명에 따른 프로젝션 매핑 장치는 상기 인쇄물을 구독하는 사용자를 촬영하여 시선은 인식하는 시선인식부; 를 더 포함하고, 상기 출력부는 상기 시선인식부에서 인식된 사용자의 시선을 이용하여 상기 사용자의 시선에서 3차원 컨텐츠가 정방향으로 표시되도록 상기 출력정보에 대응되는 컨텐츠를 영상처리하여 출력한다.Projection mapping apparatus according to the present invention comprises a gaze recognition unit for recognizing the gaze by photographing the user to subscribe to the printed matter; The output unit may further include image processing and outputting content corresponding to the output information such that three-dimensional content is displayed in the forward direction using the user's gaze recognized by the gaze recognition unit.

본 발명에서 상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물이 움직이면 상기 제어부는 상기 촬영부에서 촬영된 인쇄물의 움직임에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력한다.In the present invention, the photographing unit photographs the printed matter in a state in which the content is output from the output unit, and when the printed matter is moved, the controller transmits a predetermined output command to the output unit according to the movement of the printed matter photographed by the photographing unit. The output unit dynamically converts and outputs content being output to the printed matter according to the output command.

본 발명에서 상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물에 기설정된 또 다른 마커가 추가되면, 상기 제어부는 상기 촬영부에서 촬영된 상기 또 다른 마커에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력한다.In the present invention, the photographing unit photographs the printed matter in a state in which the content is output from the output unit, and if another preset marker is added to the printed matter, the control unit is configured according to the another marker photographed by the photographing unit. The output command is set to the output unit, and the output unit dynamically converts and outputs the content being output to the printed matter according to the output command.

본 발명에서 상기 프로젝션 매핑 장치는 스탠드 장치의 내부에 구비되며, 상기 스탠드 장치는 스탠드 갓, 스탠드 암, 스탠드 지지대로 구성되며, 상기 스탠드 갓 안쪽에는 상기 촬영부, 상기 출력부 및 적외선 광원을 조사하는 조명부가 구비되고, 상기 스탠드 암은 상기 스탠드 갓과 상기 스탠드 지지대 사이를 연결하며, 상기 스탠드 갓의 각도를 조절할 수 있는 형태로 구비되고, 상기 스탠드 지지대에는 상기 제어부 및 통신부와 상기 프로젝션 매핑 장치 및 조명부에 전원을 공급하는 전원부가 구비된다.In the present invention, the projection mapping device is provided in the interior of the stand device, the stand device is composed of a stand shade, stand arm, stand support, the inside of the stand shade for irradiating the photographing unit, the output unit and the infrared light source A lighting unit is provided, and the stand arm is connected between the stand shade and the stand support, and is provided in a form capable of adjusting the angle of the stand shade, and the stand support includes the control unit and the communication unit, the projection mapping unit, and the lighting unit. It is provided with a power supply unit for supplying power.

본 발명에 따른 프로젝션 매핑 시스템은 프로젝션 매핑 장치; 상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 다수의 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버; 및 다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 를 포함한다.Projection mapping system according to the present invention comprises a projection mapping device; A server connected to the communication unit through a communication network to receive the marker information from the communication unit, search for output information corresponding to the marker information in a plurality of pre-stored mapping data, and transmit the retrieved output information to the communication unit; And a database for mapping a plurality of marker information and output information corresponding to the marker information, respectively, and storing the mapping information as the mapping data. It includes.

본 발명에 따른 프로젝션 매핑 시스템은 프로젝션 매핑 장치; 상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버; 다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 및 상기 서버와 통신망을 통해 연결되어 상기 데이터베이스에 저장된 상기 다수의 마커정보에 대응되는 출력정보를 생성하거나 수정하는 사용자단말; 를 포함한다.Projection mapping system according to the present invention comprises a projection mapping device; A server connected to the communication unit through a communication network to receive the marker information from the communication unit, search for output information corresponding to the marker information in pre-stored mapping data, and transmit the retrieved output information to the communication unit; A database for mapping a plurality of marker information and output information corresponding to the marker information and storing the mapping information as the mapping data; And a user terminal connected to the server through a communication network to generate or modify output information corresponding to the plurality of marker information stored in the database. It includes.

본 발명에서 상기 매핑데이터에는 상기 마커정보에 대응되는 상기 인쇄물 페이지의 요약정보가 더 포함되며, 상기 사용자단말은 상기 서버를 통해 상기 데이터버이스에 저장된 상기 다수의 마커정보와 상기 마커정보에 대응되는 요약정보를 수신받아 표시한다.In the present invention, the mapping data further includes summary information of the printed page corresponding to the marker information, and the user terminal corresponds to the plurality of marker information and the marker information stored in the data base through the server. Receive and display summary information.

본 발명에서 상기 사용자단말은 상기 다수의 마커정보 중 어느 하나의 마커정보가 선택되면, 상기 마커정보에 대응되는 출력정보를 상기 요약정보를 참조하여 수정 또는 설정할 수 있는 출력설정메뉴를 제공한다.In the present invention, when any one of the plurality of marker information is selected, the user terminal provides an output setting menu for modifying or setting the output information corresponding to the marker information with reference to the summary information.

본 발명에서 상기 출력설정메뉴는 컨텐츠의 종류로 이미지, 영상, 텍스트 중 어느 하나를 선택할 수 있는 메뉴와, 선택된 컨텐츠의 종류에 따라 컨텐츠를 입력할 수 있는 메뉴를 포함한다.In the present invention, the output setting menu includes a menu for selecting any one of an image, an image, and text as a type of content, and a menu for inputting content according to the type of the selected content.

본 발명에 따르면 사용자는 인쇄물의 마커를 통해 다양한 화상 컨텐츠를 즐길 수 있으며, 인쇄물의 내용에 따라 그리고 인쇄물의 움직임이나 부가되는 마커에 따라 화상 컨텐츠를 부가적으로 제어할 수 있도록 하여 실제현실에 가상현실을 혼합한 혼합현실(MR, Mixed Reality) 컨텐츠를 즐길 수 있도록 할 수 있다.According to the present invention, the user can enjoy various image contents through the markers of the printed matter, and can additionally control the image contents according to the contents of the printed matter and the movement of the printed matter or the added markers. It is possible to enjoy a mixed reality (MR, mixed reality) content.

또한 인쇄물에 표시될 화상 컨텐츠를 사용자 단말을 통해 사용자가 직접 설정하거나 편집할 수 있도록 하여 사용자가 능동적으로 개입할 수 있고, 이를 통해 사용자 맞춤형의 컨텐츠를 제공할 수도 있다.In addition, by allowing the user to directly set or edit the image content to be displayed on the printed material, the user can actively intervene, thereby providing a user-customized content.

도 1은 본 발명의 일 실시 예에 따른 프로젝션 매핑 시스템의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 실시 예이다.
도 3은 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 동적 변환 출력에 대한 예시이다.
도 4는 본 발명의 다른 실시예에 따른 프로젝션 매핑 장치의 동적 변환 출력에 대한 예시이다.1 is a schematic diagram of a projection mapping system according to an exemplary embodiment.
2 is an embodiment of a projection mapping apparatus according to an embodiment of the present invention.
3 is an illustration of a dynamic transform output of a projection mapping apparatus according to an embodiment of the present invention.
4 is an illustration of a dynamic transform output of a projection mapping apparatus according to another embodiment of the present invention.

이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. Further, in describing the present invention, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시 예에 따른 프로젝션 매핑 시스템의 개략적인 구성도이다.1 is a schematic diagram of a projection mapping system according to an exemplary embodiment.

도 1을 참조하면 프로젝션 매핑 시스템(1000)은 촬영부(110), 제어부(120), 출력부(140), 통신부(130)를 포함하는 프로젝션 매핑 장치(100)와 서버(200), 데이터베이스(210), 사용자단말(220)을 포함하여 구성된다.Referring to FIG. 1, the projection mapping system 1000 may include a projection mapping apparatus 100 including a photographing unit 110, a control unit 120, an output unit 140, and a communication unit 130, a server 200, and a database ( 210, the user terminal 220 is configured.

프로젝션 매핑 장치(100)는 인쇄물(10)에 포함된 마커(11)를 인식하여 해당하는 컨텐츠를 인쇄물(10)에 프로젝션 방식으로 출력하는 구성으로, 인쇄물(10)이라는 실제세계에 프로젝션 방식의 컨텐츠라는 가상현실을 제공하여 사용자에게 혼합현실을 제공하는 구성이다.The projection mapping apparatus 100 is a component that recognizes the marker 11 included in the printed matter 10 and outputs the corresponding content to the printed matter 10 in a projection manner, and the content of the projection type in the real world called the printed matter 10. It is a configuration that provides mixed reality to the user by providing a virtual reality called.

인쇄물(10)은 책이나 잡지 뿐 아니라 신문, 개별 출력물, 홍보물, 교육용 카드 등을 포함할 수 있다.The printed matter 10 may include not only books or magazines but also newspapers, individual printed matters, promotional materials, educational cards, and the like.

먼저 촬영부(110)는 인쇄물(10)에 포함된 마커(11)를 촬영하는 구성으로, 카메라 또는 캠코더 등의 영상 촬영 장치가 적용된다.First, the photographing unit 110 is configured to photograph the marker 11 included in the printed matter 10, and an image photographing apparatus such as a camera or a camcorder is applied.

촬영부(110)는 인쇄물(10)의 상단에 배치되어 인쇄물(10)에 포함된 마커(11)를 촬영해야 하므로, 인쇄물(10)이 놓여지는 공간의 상단에서 하단의 인쇄물(10)을 향하도록 배치되는 것이 바람직하며, 인쇄물(10)이 놓여지는 공간 예컨대 책상의 경우 책상 상단의 전 영역을 촬영할 수 있는 화각을 제공하는 것이 바람직하다.Since the photographing unit 110 should be photographed at the top of the substrate 10 to photograph the marker 11 included in the substrate 10, the photographing unit 110 faces the substrate 10 at the bottom of the space where the substrate 10 is placed. It is preferable to arrange the object so as to provide an angle of view for capturing the entire area of the top of the desk, for example, a space in which the printed matter 10 is placed.

촬영부(110)는 인쇄물(10)이 놓여진 공간 전체를 촬영하게 되는데 촬영부(110)에서 촬영이 이루어지면, 다음으로 제어부(120)는 촬영된 영상에서 마커(11)의 형태를 구별하여 마커(11)를 인식하고 마커(11)에서 마커정보를 추출한다. 마커(11)는 예컨대 QR코드나 바코드의 형태로 구현되어 코드 내에 특정 정보를 포함하고 있다.The photographing unit 110 photographs the entire space in which the printed matter 10 is placed. When photographing is performed by the photographing unit 110, the controller 120 distinguishes the shape of the marker 11 from the photographed image. Recognizing (11) and extracting marker information from the marker (11). The marker 11 is implemented in the form of a QR code or a barcode, for example, to include specific information in the code.

이러한 마커(11)는 일반 잉크로 인쇄될 수도 있으나, 적외선 잉크로 인쇄될 수 있으며, 적외선 잉크로 인쇄되어 잇는 경우, 마커(11)를 촬영하는 촬영부(110)는 적외선 촬영에 특화된 카메라를 적용해야하며, 이때 촬영부(110)는 적외선 영역만을 촬영하게 되므로 가시광선 영역에 해당하는 인쇄물의 내용이나 출력부(140)에서 출력되는 컨텐츠들은 촬영부(110)에서 촬영되지 않는다.The marker 11 may be printed with general ink, but may be printed with infrared ink, and when printed with infrared ink, the photographing unit 110 for photographing the marker 11 applies a camera specialized for infrared photographing. In this case, since the photographing unit 110 photographs only the infrared region, the contents of the printed matter corresponding to the visible light region or the contents output from the output unit 140 are not photographed by the photographing unit 110.

마커정보는 책의 종류 및 페이지에 대한 정보를 포함하는 것으로, 인쇄물 식별자와 인쇄물 페이지번호를 포함하게 된다.The marker information includes information on the type of book and page, and includes a print identifier and a print page number.

따라서 제어부(120)는 촬영부(110)에서 촬영된 마커(11)로부터 인쇄물(10)의 종류를 식별하고 해당 페이지를 식별할 수 있는 마커정보를 얻을 수 있게 된다.Therefore, the controller 120 can identify the type of the printed matter 10 from the marker 11 photographed by the photographing unit 110 and obtain marker information for identifying the corresponding page.

제어부(120)가 마커정보를 인식하면 이러한 마커정보에 대응되는 출력정보를 생성하여 출력부(140)에 전달하게 된다.When the controller 120 recognizes the marker information, the controller 120 generates output information corresponding to the marker information and transmits the output information to the output unit 140.

출력정보는 출력부(140)를 통해 프로젝션 방식으로 인쇄물(10)에 출력하게 되는 컨텐츠에 대한 정보이며, 이러한 출력정보는 제어부(120) 내부 또는 외부에 구성된 저장부(미도시)에 저장되어 있을 수 있는데 저장부에는 다수의 마커정보와 각각의 마커정보에 대응되는 출력정보가 저장되어 있다.The output information is information on the content to be output to the printout 10 in the projection method through the output unit 140, such output information may be stored in a storage unit (not shown) configured inside or outside the control unit 120. The storage unit stores a plurality of marker information and output information corresponding to the respective marker information.

제어부(120)는 마커정보를 인식하면 저장부에 저장된 다수의 마커정보 중 인식된 마커정보를 추출하여 추출된 마커정보에 대응되어 저장된 출력정보를 추출하여 출력부(140)에 전송하게 된다.When the controller 120 recognizes the marker information, the controller 120 extracts the recognized marker information from the plurality of marker information stored in the storage unit, extracts output information corresponding to the extracted marker information, and transmits the output information to the output unit 140.

예를 들어 저장부에 마커정보 "어린왕자, 33페이지"에 대응되는 출력정보 "장미꽃 이미지"가 저장되어 있고, "어린왕자, 40페이지"에 대응되는 출력정보 "비행기 영상 이미지"가 저장되어 있을 때, 제어부(120)가 인식한 마커정보가 "어린왕자, 40페이지"라면 제어부(120)는 이에 대응되는 출력정보 "비행기 영상 이미지"를 출력부(140)에 전송하게 되는 것이다.For example, the output information "rose flower image" corresponding to the marker information "Little Prince, page 33" is stored in the storage unit, and the output information "plane image image" corresponding to the "Little Prince, page 40" is stored. When the marker information recognized by the controller 120 is "Young Prince, 40 pages", the controller 120 transmits the corresponding output information "plane image image" to the output unit 140.

그러나 도 1의 실시예에서는 제어부(120)는 마커정보에 대응되는 출력정보를 저장부로부터 검색하는 것이 아니라 별도로 구성된 서버(210)를 통해 수신받게 된다.However, in the embodiment of FIG. 1, the control unit 120 receives the output information corresponding to the marker information from the storage unit, instead of receiving the information through the server 210.

이때 필요한 구성이 통신부(130)이며, 제어부(120)는 마커(11)로부터 인식된 마커정보를 통신부(130)에 전달하고 통신부(130)는 통신망을 통해 연결된 외부의 서버(210)에 마커정보를 전달하게 된다.At this time, the necessary configuration is the communication unit 130, the control unit 120 transmits the marker information recognized from the marker 11 to the communication unit 130 and the communication unit 130 to the external server 210 connected through the communication network marker information Will be delivered.

서버(210)는 마커정보를 수신하면 마커정보에 대응되는 출력정보를 기저장된 다수의 매핑데이터에서 검색하게 되는데 이때 매핑데이터는 별도로 구성된 데이터베이스(220)에 저장된다.When the server 210 receives the marker information, the server 210 retrieves output information corresponding to the marker information from a plurality of pre-stored mapping data, in which the mapping data is stored in a separately configured database 220.

데이터베이스(220)는 다수의 마커정보에 대응되는 출력정보를 각각 매핑하여 저장하게 되는데 서버(210)는 마커정보를 수신하면 데이터베이스(220)의 매핑데이터를 검색하여 수신된 마커정보에 대응되는 출력정보를 추출하게 된다.The database 220 maps and stores output information corresponding to a plurality of marker information, respectively. When the server 210 receives the marker information, the server 210 searches for mapping data of the database 220 and outputs information corresponding to the received marker information. Will be extracted.

서버(210)는 추출된 출력정보를 통신망을 통해 다시 통신부(130)에 전송하고, 통신부(130)는 수신된 출력정보를 제어부(120)에 전달하게 된다.The server 210 transmits the extracted output information to the communication unit 130 again through a communication network, and the communication unit 130 transmits the received output information to the control unit 120.

제어부(120)가 출력정보를 얻게되면 출력부(140)에 전달하게 되고, 출력부(140)는 출력정보에 대응되는 컨텐츠를 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 출력하게 된다.When the control unit 120 obtains the output information, the control unit 120 transmits the output information to the output unit 140, and the output unit 140 outputs the content corresponding to the output information to the printout 10 or an arbitrary space in a projection method.

출력부(140)는 출력정보에 대응되는 컨텐츠를 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 출력하기 위해 프로젝션 장치인 프로젝터로 구현된다.The output unit 140 is implemented as a projector that is a projection device to output the content corresponding to the output information to the printout 10 or any space in a projection method.

프로젝터는 영상을 확대하여 스크린 등에 투영하기 기기를 말하며, CRT 프로젝터, LCD 프로젝터, DLP 프로젝터 등의 다양한 종류가 있다.A projector refers to a device for enlarging an image and projecting it on a screen. There are various types of projectors such as a CRT projector, an LCD projector, and a DLP projector.

최근에는 투사된 영상에 터치 등의 입력을 통해 다양한 조작이 가능하여 디지터 화이트 보드처럼 사용가능한 인터렉티브 프로젝터가 등장하였으며, 이러한 인터렉티브 프로젝터의 경우, 펜 또는 손가락 터치로 투사된 영상의 이미지를 이동 및 조작하고 메모를 삽입하는 등의 기능을 추가로 제공할 수도 있다.In recent years, an interactive projector that can be used as a digital whiteboard by using a touch or the like on a projected image has been introduced. In the case of such an interactive projector, an image of a projected image by a pen or a finger touch is moved and manipulated. You can also provide additional features such as inserting notes.

이러한 다양한 프로젝터 중에서 사용자는 사용자의 환경에 적합한 프로젝터를 선택하여 출력부(140)를 구성할 수 있으며, 출력부(140)로 적용된 프로젝터의 영상 투영하는 방식에 따라 인쇄물(10)의 전면, 측면 및 천장에 설치가 가능하고 간편하게 스탠드 형태로 구성할 수 있다.Among the various projectors, the user can configure the output unit 140 by selecting a projector suitable for the user's environment, and according to the method of projecting the image of the projector applied as the output unit 140, the front, side, and It can be installed on the ceiling and can be easily configured in the form of a stand.

일반적인 정면 투사방식의 프로젝터가 출력부(140)로 적용된 경우, 출력부(140)에서 영상이 송출되는 렌즈가 인쇄물(10)을 향하도록 인쇄물(10)의 전면이나 천장에 설치하는 것이 바람직하고, 단초점 방식의 프로젝터가 출력부(140)로 적용된 경우, 출력부(140)의 렌즈가 인쇄물(10)에 영상을 투사할 수 있을정도의 근거리에 측면으로 설치할 수도 있다.When the projector of the general front projection type is applied to the output unit 140, it is preferable to install it on the front or ceiling of the printed matter 10 such that the lens from which the image is output from the output 140 faces the printed matter 10. When the projector of the short focus type is applied to the output unit 140, the lens of the output unit 140 may be installed laterally near enough to project the image on the printed matter 10.

또한 출력부(140)가 스탠드 형태로 구성되어 스탠드 헤드에 렌즈가 구비된 경우, 스탠드 헤드의 위치를 조절하여 인쇄물(10)에 영상을 투사하는 것이 바람직하다.In addition, when the output unit 140 is configured in the form of a stand and a lens is provided in the stand head, it is preferable to adjust the position of the stand head to project an image on the printed matter 10.

이러한 출력부(140)는 인쇄물(11)위에 컨텐츠를 투사할때 컨텐츠가 표시되어야 할 정확한 위치에 컨텐츠를 출력해야하며, 이를 위해 마커정보에는 인쇄물(11)에서 출력정보가 표시되어야 할 위치와 방향정보가 포함될 수 있다.The output unit 140 should output the content at the correct position where the content should be displayed when projecting the content on the print 11. For this purpose, the marker information indicates the position and direction in which the print information should be displayed in the print 11. Information may be included.

즉, 출력부(140)가 컨텐츠를 투사하여 표시할 수 있는 전체영역 중 인쇄물(11)이 놓여진 위치에 대한 좌표 및 해당 인쇄물(11)에서 컨텐츠가 표시될 공간에 대한 좌표가 미리 마커(10)에 포함되어 있는것이며, 출력부(140)는 이러한 마커정보에 포함된 출력정보 표시 위치 및 방향정보를 분석하여 인쇄물(11) 위의 정확한 위치에 출력정보를 표시하도록 한다.That is, the coordinates of the position where the printed material 11 is placed and the coordinates of the space where the content is displayed on the printed material 11 are displayed in advance. The output unit 140 analyzes the output information display position and direction information included in the marker information to display the output information at the correct position on the printed matter 11.

또 다른 실시예에서 출력부(140)는 인쇄물(11)위에 컨텐츠를 정확하게 투사하기 위해 마커(10)의 틀어짐 또는 일그러짐 상태를 감지하여 이를 통해 인쇄물(11)의 틀어짐과 굴곡을 유추한 후 출력부(140)에서 투사해야할 출력정보를 이에 맞게 보정할 수 있다.In another embodiment, the output unit 140 detects the twisted or distorted state of the marker 10 in order to accurately project the contents on the printed material 11, and infers the twisted and curved of the printed material 11 through the output unit. The output information to be projected at 140 may be corrected accordingly.

인쇄물(11)은 인쇄물의 두께와 펼침 상태에 따라 굴곡이 생길 수 있으며, 이러한 굴곡에 의해 일그러짐이 심한 경우, 출력부(140)에서 정상적으로 출력정보를 투사하더라고 그 형상이 함께 일그러져 출력정보가 왜곡될 수도 있다.The printed matter 11 may be curved according to the thickness and spread state of the printed matter. If the distortion is severe, the shape of the printed material 11 may be distorted and the output information may be distorted. It may be.

따라서 이러한 출력정보의 왜곡을 방지하기 위해 , 제어부(120)는 촬영부(110)에서 촬영된 마커(10)의 틀어짐 또는 일그러짐 상태를 파악하여, 인쇄물(11)의 틀어짐과 굴곡을 유추한 후, 출력부(140)에서 투사될 출력정보를 역으로 일그러트린 상태로 보정하여, 출력부(140)에서 인쇄물(11)에 최종적으로 투사된 영상이 왜곡없이 사용자의 눈에 정상적으로 보이도록 한다.Therefore, in order to prevent the distortion of the output information, the controller 120 detects the distortion or distortion state of the marker 10 photographed by the photographing unit 110, and then infers the distortion and curvature of the printed matter 11. The output information to be projected by the output unit 140 is corrected in a distorted state so that the image finally projected on the printed matter 11 by the output unit 140 is normally visible to the user's eyes without distortion.

또한 출력부(140)는 사람의 시선을 인식하여 시선이 향하는 방향에 맞게 3차원 입체 영상을 출력할 수도 있다.In addition, the output unit 140 may recognize a line of sight of a person and output a 3D stereoscopic image according to a direction in which the line of sight is directed.

이를 위해 프로젝션 매핑 장치(100)는 인쇄물(10)을 구독하는 사용자를 촬영하여 사용자의 시선을 인식하는 시선인식부(미도시)를 더 포함하게 되며, 출력부(140)는 미리 시선인식부에서 촬영되는 영역에 대한 좌표와 촬영부(140)에서 컨텐츠가 출력되는 공간의 좌표 관계를 매칭시켜, 시선인식부에서 인식된 시선의 좌표 및 방향에 따라 3차원 컨텐츠가 정방향으로 사용자의 시선에 인식될 수 있도록 출력정보에 대응되는 컨텐츠의 영상처리를 수행하게 된다.To this end, the projection mapping apparatus 100 may further include a gaze recognition unit (not shown) that recognizes the gaze of the user by photographing the user who subscribes to the printed matter 10, and the output unit 140 may be configured by the gaze recognition unit in advance. By matching the coordinates of the area to be photographed with the coordinates of the space in which the content is output from the photographing unit 140, three-dimensional content is recognized in the user's gaze in the forward direction according to the coordinates and the direction of the gaze recognized by the gaze recognition unit. Image processing of the content corresponding to the output information is performed.

또한 시선인식부는 사용자의 시선을 실시간으로 추적하고, 출력부(140)는 실시간으로 변화되는 사용자의 시선방향에 대응되도록 3차원의 컨텐츠의 출력방향을 변화시켜 사용자의 움직임에 따라 동적으로 변화되는 3차원 입체 컨텐츠의 출력이 가능하도록 한다.In addition, the gaze recognition unit tracks the gaze of the user in real time, and the output unit 140 changes the output direction of the three-dimensional content so as to correspond to the gaze direction of the user that is changed in real time. Allows output of dimensional stereoscopic content.

또한 출력부(140)는 실시예에 따라 스피커를 포함하여 영상에 부가되는 음성을 함께 출력할 수도 있다. 스피커는 출력부(140)에 프로젝터와 함께 구비되거나 또는 별도로 제공될 수 있으며, 스피커가 별도로 구비되는 경우, 출력부(140)에는 스피커와 유무선으로 연결되어 음성정보를 송수신하는 구성이 포함된다.Also, according to an embodiment, the output unit 140 may include a speaker and output a voice added to an image. The speaker may be provided with the projector in the output unit 140 or may be separately provided. When the speaker is provided separately, the speaker 140 may be connected to the speaker via a wired or wireless connection to transmit and receive voice information.

도 1에서 출력부(140)는 인쇄물(10)의 전면에 설치되어 별의 이미지를 인쇄물(10)에 출력하고 있는데 출력부(140)에서 출력되는 컨텐츠는 이미지 뿐 아니라 움직이는 영상 또는 텍스트 중 적어도 하나를 포함할 수 있다.In FIG. 1, the output unit 140 is installed on the front surface of the printed matter 10 and outputs a star image to the printed matter 10. It may include.

한편 인쇄물(10)에 포함된 마커(11)는 인쇄물(10)에 직접 인쇄되는 형태로 제공될 수도 있지만 인쇄물(10)에 스티커 형태로 부착되거나 카드에 인쇄되어 인쇄물(10) 상단에 임의의 지점에 놓여지는 형태로 제공될 수도 있다.On the other hand, the marker 11 included in the print 10 may be provided in the form of being directly printed on the print 10, but is attached to the print 10 in the form of a sticker or printed on the card to any point on the top of the print (10) It may be provided in the form of being placed in.

마커(11)가 인쇄물(10)에 직접 인쇄되는 경우, 마커정보를 변경하는 것이 불가능하지만, 스티커에 인쇄하여 인쇄물(10)에 부착하거나 카드에 인쇄되어 인쇄물(10)에 놓여지는 경우, 인쇄물(10)에 적용되는 마커정보를 수정하는 것이 가능하기 때문에 사용자의 요구사항에 맞는 마커(11)를 만들어낼 수 있어 응용 범위를 넓힐 수 있다.When the marker 11 is directly printed on the printed matter 10, it is impossible to change the marker information. However, when the marker 11 is printed on a sticker and attached to the printed matter 10 or printed on a card and placed on the printed matter 10, the printed matter ( Since it is possible to modify the marker information applied to 10) it is possible to create a marker 11 that meets the requirements of the user can be broadened the application range.

서버(210)와 데이터베이스(220)를 제외한 프로젝션 매핑 장치(100)는 스탠드의 형태로 구성될 수 있는데 이러한 형태의 실시 예를 도 2에 나타내었다.The projection mapping apparatus 100 except for the server 210 and the database 220 may be configured in the form of a stand, which is illustrated in FIG. 2.

도 2는 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 실시 예이다.2 is an embodiment of a projection mapping apparatus according to an embodiment of the present invention.

도 2를 참조하면 책상의 일측에 놓여진 스탠드 장치의 형태로 프로젝션 매핑 장치(100)가 구비된 것을 알 수 있으며, 스탠드는 프로젝션 매핑 장치(100)의 출력부(140)에 구비된 프로젝터를 통해 인쇄물(10)에 광원을 제공한다.Referring to Figure 2 it can be seen that the projection mapping device 100 is provided in the form of a stand device placed on one side of the desk, the stand is printed through the projector provided in the output unit 140 of the projection mapping device 100 Provide a light source at 10.

스탠드 장치는 스탠드 갓(101), 스탠드 암(102), 스탠드 지지대(103)로 구성되는데 스탠드 갓(101) 내부에 촬영부(110)와 출력부(140)를 함께 구비되어 출력부(140)로 인쇄물(10)에 광을 조사함과 함께 촬영부(110)가 인쇄물(10)에 포함된 마커(11)를 촬영하여 인식하고, 인식된 마커정보에 대응되는 출력정보에 따라 출력부(140)가 컨텐츠를 인쇄물(10)에 출력하도록 하는 구조를 가지고 있다.The stand device includes a stand shade 101, a stand arm 102, and a stand support 103. The stand portion 101 is provided with a photographing unit 110 and an output unit 140 inside the stand shade 101. While irradiating light onto the printed matter 10, the photographing unit 110 photographs and recognizes the marker 11 included in the printed matter 10, and outputs 140 according to output information corresponding to the recognized marker information. ) Outputs the content to the printed matter 10.

이러한 구성에서 스탠드 갓(101)내부에는 적외선 광원을 조사하는 조명부(150)가 설치될 수 있다. 인쇄물(11)에 마커(10)가 적외선 잉크로 인쇄된 경우, 이러한 마커(10)를 인식하기 위해서는 적외선 광원이 필요하게 되며, 이를 위해 스탠드 갓(101)내부에 적외선 광원을 조사하는 광원(150)부를 설치하여 마커(10)를 인식하기 위한 시점에 조명부(150)의 적외선 광원은 on하여 촬영부(110)로 하여금 적외선으로 표시되는 마커(10)를 촬영하도록 한다.In this configuration, the inside of the stand shade 101 may be provided with an illumination unit 150 for irradiating an infrared light source. When the marker 10 is printed on the print 11 with infrared ink, an infrared light source is required to recognize the marker 10, and for this, a light source 150 irradiating an infrared light source inside the stand shade 101 is provided. At the time to recognize the marker 10 by installing the unit, the infrared light source of the lighting unit 150 is turned on so that the photographing unit 110 photographs the marker 10 displayed in infrared light.

이에 따라 촬영부(110)는 적외선 영역 촬영에 특화된 장치가 적용되도록 하며, 출력부(140)에서 출력되는 컨텐츠에 의해 적외선으로 표시되는 마커(10)가 변형되는 일이 없도록 출력부(140)에는 IR-cut(Infrared Ray cut) 필터를 추가하여 최대한 가시광 영역의 컨텐츠만 투사될 수 있도록 한다.Accordingly, the photographing unit 110 may apply a device specialized for infrared region photographing, and the output unit 140 may not deform the marker 10 displayed in the infrared light by the content output from the output unit 140. Add an IR-cut (Infrared Ray cut) filter to ensure that only the content in the visible region is projected as much as possible.

이러한 프로젝션 매핑 장치(100)에 있어서, 마커(11)가 적외선 잉크로 인쇄되는 경우, 사용자의 육안으로는 마커가 인식되지 않기때문에 사용자는 이질감없이 인쇄물(10)에 인쇄된 정보를 인식하여 일상적인 독서나 작업을 수행할 수 있으며, 출력부(140)에서 출력되는 영상이나 이미지의 간섭없이 마커(11)를 인식할 수 있도록 한다.In the projection mapping apparatus 100, when the marker 11 is printed with infrared ink, since the marker is not recognized by the naked eye of the user, the user recognizes the information printed on the printed matter 10 without any sense of mind, Reading or working may be performed, and the marker 11 may be recognized without interference of an image or an image output from the output unit 140.

스탠드 암(102)은 스탠드 갓(101)과 스탠드 지지대(103) 사이를 연결하며, 벤딩이 가능한 형태로 구성되어 스탠드 갓(101)의 각도를 조절할 수 있도록 한다.The stand arm 102 connects between the stand shade 101 and the stand support 103, and is configured to be bent to adjust the angle of the stand shade 101.

또한 도 2에는 도시되지 않았으나 스탠드 지지대(103)의 내부에는 제어부(120)와 통신부(130)를 구비하여 외부의 서버(210)와 통신을 수행할 수 있도록 하며, 또한 전원부(미도시)를 구비하여 스탠드 장치에 구비된 프로젝션 매핑 장치(100)와 조명부(150)에 전원을 공급할 수 있도록 한다.In addition, although not shown in FIG. 2, the control unit 120 and the communication unit 130 are provided inside the stand support 103 to communicate with an external server 210, and a power unit (not shown) is provided. In order to supply power to the projection mapping apparatus 100 and the lighting unit 150 provided in the stand apparatus.

이를 위해 스탠드 지지대(103)에는 전원선과 함께 통신선을 구비하여 외부로부터 전원을 공급받을 수 있도록 하며 외부의 통신망과 연결될 수 있도록 한다.To this end, the stand support 103 is provided with a communication line together with a power line to receive power from the outside and to be connected to an external communication network.

이러한 스탠드 장치 형태의 프로젝션 매핑 장치(100)는 본원발명의 일실시 예에 불과하며, 반드시 스탠드 형태로 구성될 필요는 없다.The projection mapping apparatus 100 in the form of a stand apparatus is only an embodiment of the present invention, and is not necessarily configured in the form of a stand.

한편 프로젝션 매핑 장치(100)의 촬영부(110)는 출력부(140)에서 컨텐츠가 실시간으로 출력되는 상태에서도 인쇄물(10)을 지속적으로 촬영하고 이때 인쇄물(10)이 기설정된 패턴으로 움직이거나 또 다른 마커(미도시)가 추가적으로 인식되면, 제어부(120)는 이를 감지하여 인쇄물(10)의 기설정된 패턴이나 추가된 마커(미도시)에 대응되는 출력명령을 생성하여 출력부(140)에 전달하고 출력부(140)는 이에 따라 현재 출력중인 컨텐츠를 동적으로 변환시켜 출력한다.Meanwhile, the photographing unit 110 of the projection mapping apparatus 100 continuously photographs the printed matter 10 even when the output unit 140 outputs the contents in real time, and the printed matter 10 moves or moves in a predetermined pattern. If another marker (not shown) is additionally recognized, the controller 120 detects this and generates an output command corresponding to a predetermined pattern or an added marker (not shown) of the printed material 10 and transmits it to the output unit 140. The output unit 140 dynamically converts and outputs the content currently being output.

예를 들어, 도 1에서와 같이 인쇄물(10)에 별 이미지가 출력되고 있는 상태에서 인쇄물(10)의 상단이 들어올려져 5도 이상 기울어지면, 제어부(120)는 촬영부(110)를 통해 인쇄물(10)의 변화된 움직임을 감지하고, 5도 이상 기울어지는 상태변경에 른 출력명령 예컨대 이미지를 오른쪽으로 이동시키는 출력명령을 출력부(140)에 전달하고, 출력부(140)는 출력명령에 따라 이미 출력되고 있는 별 이미지를 오른쪽으로 이동시키는 출력을 수행한다.For example, when the top of the print 10 is inclined more than 5 degrees while the star image is being output to the print 10 as shown in FIG. 1, the controller 120 prints the prints through the photographing unit 110. Detects the changed movement of 10, and transmits to the output unit 140 an output command corresponding to a state change inclined by 5 degrees or more, for example, an output command for moving the image to the right, and the output unit 140 according to the output command. Performs the output to move the star image already to the right.

즉, 제어부(120)는 촬영부(110)를 통해 인쇄물(10)의 수직 또는 수평 키스톤을 인식하여 이에 따라 기설정된 별도의 출력명령을 부가하여 프로젝션 영상에 상호작용을 부가할 수 있는 것이다. That is, the controller 120 may recognize the vertical or horizontal keystone of the printed matter 10 through the photographing unit 110, and thus add interaction to the projected image by adding a predetermined output command.

이러한 동적 변환 출력에 대한 예시를 도 3과 도 4에 나타내었다.Examples of such dynamic conversion outputs are shown in FIGS. 3 and 4.

도 3을 참조하면 먼저 도 3의 (a)에는 인쇄물(10)의 하단에 동화의 내용이 인쇄되어 있는 상태이며 좌측상단에 QR코드로 마커(11)가 표시되어 있는것을 알 수 있다.Referring to FIG. 3, first, in FIG. 3A, the contents of the moving picture are printed on the lower end of the printed matter 10, and the marker 11 is displayed on the upper left side by a QR code.

이러한 상태에서 촬영부(110)가 마커(11)를 촬영한 후 마커정보를 인식하면 도 3의 (b)와 같이 출력정보에 대응되는 동화의 삽화를 출력부(140)를 통해 인쇄물(10)에 프로젝션방식으로 출력하게 된다.In this state, when the photographing unit 110 captures the marker 11 and recognizes the marker information, the printed image 10 is outputted through the output unit 140 as an illustration of the moving picture corresponding to the output information as shown in FIG. Will be output in the projection method.

이상태에서 사용자가 인쇄물(10)의 하단을 들어올려 도 3의 (c)와 같이 인쇄물(10)이 기울어지면 촬영부(110)는 인쇄물(10)의 수직 또는 수평 변화를 통해 키스톤의 변화를 인식하여 이에 따라 기설정된 별도의 출력명령을 부가하여 도 4의 (d)에 표시된 것처럼 출력부(140)에서 출력되는 삽화의 등장인물을 하단으로 이동시켜 출력하게 된다.In this state, when the user lifts the bottom of the print 10 and the print 10 is inclined as shown in FIG. 3C, the photographing unit 110 recognizes the change of the keystone through the vertical or horizontal change of the print 10. As a result, a separate output command is added, and as shown in FIG. 4 (d), the characters of the artwork output from the output unit 140 are moved to the lower end and output.

또한 도 4를 참조하면 도 4의 (a)와 도 4의 (b)는 도 3(a)와 도3(b)와 같은 과정을 보이고 있다.4 (a) and 4 (b) show the same process as that of FIGS. 3 (a) and 3 (b).

도 4의 (b)와 같이 출력부(140)가 마커(11)에 따른 출력정보를 출력하는 상황에서 도 4의 (c)와 같이 사용자가 인쇄물(10)의 일측에 또다른 마커(11a)를 놓게되면 촬영부(110)는 또다른 마커(11a)의 마커정보를 인식하게 되고, 제어부(120)는 마커정보에 대응되는 출력정보인 삽화의 인물 이동명령을 생성하여 출력부(140)에 전달하게 된다.In the situation where the output unit 140 outputs the output information according to the marker 11 as shown in (b) of FIG. 4, the user has another marker 11a on one side of the printed matter 10 as shown in (c) of FIG. 4. When the photographing unit 110 releases the marker information of another marker 11a, the control unit 120 generates a person movement command of the illustration, which is output information corresponding to the marker information, and outputs the output unit 140. Will be delivered.

출력부(140)는 제어부(120)로부터 추가된 마커(11a)에 대한 출력정보를 전달받으면 도 4의 (d)에 표시된 것처럼 출력되는 삽화의 등장인물을 하단으로 이동시켜 출력하게 되는 것이다.When the output unit 140 receives the output information about the marker 11a added from the controller 120, the output unit 140 moves the characters of the illustrated output to the lower end as shown in FIG.

이러한 동적 변환 기능의 예시는 본원발명의 실시예에 한정되지 않으며 또 다른 실시 예에서는 인쇄물(10)에 투사된 캐릭터가 인쇄물(10)위를 걸어다니게 하거나 인쇄물(10) 내용의 다음 장면에 해당하는 컨텐츠를 출력하도록 하는 컨텐츠를 부가 할 수 있어 사용자와의 상호작용을 극대화시킬 수 있다.An example of such a dynamic conversion function is not limited to the embodiment of the present invention, and in another embodiment, the character projected on the print 10 may walk on the print 10 or correspond to the next scene of the content of the print 10. Content can be added to output the content to maximize the interaction with the user.

한편 도 1에서 프로젝션 매핑 시스템(1000)은 서버(210)와 통신을 수행하는 사용자단말(230)을 포함하고 있는데, 사용자단말(230)은 서버(210)와 통신망을 통해 연결되어 데이터베이스(220)에 저장된 다수의 마커정보에 대응되는 출력정보를 생성하거나 수정할 수 있는 구성이다.Meanwhile, in FIG. 1, the projection mapping system 1000 includes a user terminal 230 that communicates with the server 210, and the user terminal 230 is connected to the server 210 through a communication network and thus has a database 220. The configuration may generate or modify output information corresponding to a plurality of marker information stored in the.

데이터베이스(220)에 저장된 매핑데이터는 다수의 마커정보에 각각 출력정보가 매핑되어 저장되는데 이러한 매핑데이터에는 마커정보에 각각 대응되는 요약정보가 추가로 포함될 수 있다.The mapping data stored in the database 220 is stored with output information mapped to a plurality of marker information, respectively. The mapping data may further include summary information corresponding to the marker information.

요약정보는 마커정보가 가리키는 인쇄물(10)의 페이지에 어떤 내용이 포함되어 있는지에 대한 정보이며, 서버(210)와 연결된 사용자단말(230)에는 서버(210)를 통해 데이터베이스(220)에 저장된 다수의 마커정보와 각각에 대응되는 요약정보가 표시된다.The summary information is information about what content is included in the page of the printed matter 10 indicated by the marker information, and the user terminal 230 connected to the server 210 is stored in the database 220 through the server 210. The marker information of and the summary information corresponding to each is displayed.

즉, 사용자는 사용자단말(230)을 통해 인쇄물(10)의 각 페이지별 내용에 대한 요약정보를 확인할 수 있는 것이며, 사용자는 이러한 요약정보를 통해 각 인쇄물(10)의 페이지에 어떠한 컨텐츠가 출력되는 것이 좋은지 판단할 수 있고 이에 따라 출력되어야 할 컨텐츠를 설정하거나 편집할 수 있는 것이다.That is, the user can check the summary information on the contents of each page of the printed matter 10 through the user terminal 230, and the user can see what content is output on the page of each printed matter 10 through the summary information. You can determine if it is good and set or edit the content to be output accordingly.

사용자단말(230)에 표시된 마커정보 중 어느 하나의 마커정보가 선택되면, 마커정보에 대응되는 출력정보를 수정 또는 설정할 수 있는 출력설정메뉴가 표시된다.When any one of the marker information displayed on the user terminal 230 is selected, an output setting menu for modifying or setting output information corresponding to the marker information is displayed.

출력설정메뉴에는 컨텐츠의 종류를 선택하고, 컨텐츠의 출력조건을 선택하며, 컨텐츠를 입력할 수 있는 메뉴가 표시되며, 사용자는 컨텐츠의 종류에서 이미지, 영상, 텍스트 중 어느 하나를 선택한다.In the output setting menu, a menu for selecting a content type, selecting a content output condition, and inputting a content is displayed, and a user selects one of an image, an image, and a text from the content type.

선택이 완료되면 컨텐츠를 입력할 수 있는 메뉴에서 직접 컨텐츠를 입력하거나 선택된 조건에 맞는 다수의 기저장된 컨텐츠 중 어느 하나의 컨텐츠를 선택하여 입력하도록 한다.When the selection is completed, the content may be directly input from a menu for inputting content, or one of a plurality of pre-stored contents corresponding to a selected condition may be selected and input.

예를 들어 사용자가 사용자단말(230)에 표시된 출력설정메뉴에서 영상을 이미지, 영상, 텍스트 중에서 영상을 선택하면, 사용자단말(230)에는 컨텐츠를 입력할 수 있는 메뉴가 표시되고, 여기서 사용자는 사용자단말(230)에 기저장된 영상 중 인쇄물(11)에 표시하고 싶은 영상을 선택하면 선택된 영상이 사용자단말(230)에 표시된 마커정보에 대응되는 출력정보로 설정되어 데이터베이스(22)에 저장된다.For example, when a user selects an image from among an image, an image, and a text from an output setting menu displayed on the user terminal 230, a menu for inputting content is displayed on the user terminal 230, where the user is a user. When an image to be displayed on the printed material 11 is selected among the images previously stored in the terminal 230, the selected image is set as output information corresponding to the marker information displayed on the user terminal 230 and stored in the database 22.

즉, 사용자는 사용자단말(230)을 통해 각 마커(11)에 대응되는 출력정보를 설정 및 편집할 수 있으므로 사용자가 컨텐츠에 적극적으로 개입하여 사용자의 취향에 맞게 인쇄물(10)에 표시될 컨텐츠를 제작할 수 있게 된다.That is, the user can set and edit the output information corresponding to each marker 11 through the user terminal 230 so that the user can actively intervene in the content to display the content to be displayed on the printed matter 10 according to the user's taste. I can produce it.

이러한 기능을 적용하면 교육용 인쇄물에 표시될 컨텐츠를 학습자의 지식수준에 맞도록 설정하고 편집하는 것이 가능하며, 자녀에게 읽어줄 동화책에 표시될 컨텐츠를 자녀의 취향에 맞추어 색감이나 등장하는 캐릭터를 변경하여 표시할 수 있게된다.By applying this function, it is possible to set and edit the content to be displayed in the educational printout to suit the learner's knowledge level, and change the color or the character that appears in the fairy tale book to read to the child's taste. It can be displayed.

즉, 이러한 구성을 통해 사용자 맞춤형 컨텐츠 제공이 가능하게 되는 것이다.In other words, the user-customized contents can be provided through such a configuration.

이처럼 프로젝션 매핑 시스템(1000)은 프로젝션 매핑 장치(100)와 서버(210), 데이터베이스(220) 및 사용자단말(230)의 구성을 통해 인쇄물(10)에 포함된 마커(11)를 인식하여 마커(11)에 대응되는 컨텐츠를 검색하여 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 투사가 가능하며, 마커(11)에 대응되는 컨텐츠를 설정하거나 편집하여 사용자에 맞게는 컨텐츠를 제공할 수 있도록 하고, 인쇄물(10)의 움직임이나 추가되는 마커에 따라 컨텐츠가 동적으로 변환되도록 하는 기능을 제공한다.As such, the projection mapping system 1000 recognizes the marker 11 included in the printed matter 10 through the configuration of the projection mapping apparatus 100, the server 210, the database 220, and the user terminal 230. 11) by searching the content corresponding to the projection can be projected on the printed material 10 or any space in a projection method, and to set or edit the content corresponding to the marker 11 to provide the content to the user In addition, the present invention provides a function of dynamically converting the content according to the movement of the printout 10 or the added marker.

이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention described above has been described in detail through the preferred embodiments, the present invention is not limited to the content of these embodiments. Those skilled in the art to which the present invention pertains, although not shown in the embodiments, can be imitated or improved for various inventions within the scope of the appended claims, all of which fall within the technical scope of the present invention. Belonging will be too self-evident. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

1000 : 프로젝션 매핑 시스템
100 : 프로젝션 매핑 장치 110 : 촬영부
120 : 제어부 130 : 통신부
140 : 출력부 150 : 조명부
210 : 서버 220 : 데이터베이스
230 : 사용자단말 101 : 스탠드 갓
102 : 스탠드 암 103 : 스탠드 지지대
10 : 인쇄물 11, 11a : 마커1000: projection mapping system
100: projection mapping device 110: the photographing unit
120: control unit 130: communication unit
140: output unit 150: lighting unit
210: server 220: database
230: user terminal 101: stand lamp
102: stand arm 103: stand support
10: print 11, 11a: marker

Claims

Photographing the marker included in the printed matter, recognizing the marker information included in the photographed marker, generating output information corresponding to the marker information, and projecting the content corresponding to the output information in the printed matter or an arbitrary space in a projection manner. A projection mapping device for outputting;
The projection mapping apparatus is connected to the projection mapping apparatus through a communication network, receives the marker information from the projection mapping apparatus, and retrieves output information corresponding to the marker information from a plurality of stored mapping data and transmits the retrieved output information to the projection mapping apparatus. Server;
A database for mapping a plurality of marker information and output information corresponding to the marker information and storing the mapping information as the mapping data; And
And a user terminal connected to the server through a communication network to generate or modify output information corresponding to the plurality of marker information stored in the database.
The mapping data further includes summary information of the printed page corresponding to the marker information.
The user terminal receives and displays the plurality of marker information and summary information corresponding to the marker information stored in the database through the server, and when any one marker information is selected from the plurality of marker information, the marker information It provides an output setting menu that can modify or set the output information corresponding to the summary information,
The output setting menu includes a menu for selecting any one of an image, an image, and a text as a type of content, and a menu for inputting content according to the type of the selected content.
When the user of the user terminal selects an image to be displayed on the printed matter among the previously stored images, the selected image is set as output information corresponding to the marker information displayed on the user terminal and stored in the database.
And the projection mapping apparatus tracks the gaze of the user in real time, and outputs the image corresponding to the output information by outputting the image corresponding to the output information such that 3D content is displayed in the forward direction in the gaze of the user that is changed in real time.

The method of claim 1,
The projection mapping device
A photographing unit photographing a marker included in the printed matter;
A controller configured to recognize marker information included in the marker photographed by the photographing unit and to generate output information corresponding to the marker information;
An output unit which receives the output information from the control unit and outputs the content corresponding to the output information in the printed matter or an arbitrary space in a projection method; And
And a storage unit which stores a plurality of marker information and output information corresponding to the marker information.
And the control unit recognizes the marker information and extracts marker information and output information corresponding to the recognized marker information among a plurality of marker information stored in the storage unit.

The method of claim 2,
The projection mapping apparatus may further include: a communication unit which transmits marker information recognized by the controller to the server, receives output information corresponding to the marker information from the server, and transmits the output information to the controller; Projection mapping system further comprising.

The method of claim 3, wherein
The marker information includes a print identifier and a print page number, and the output information includes an image corresponding to the print identifier and the print page number included in the marker information. A projection mapping system comprising at least one.

The method of claim 4, wherein
And the marker is directly printable on the print or attachable to the print in the form of a sticker.

The method of claim 4, wherein
And the marker is printed on the printed matter or a sticker with infrared ink, and the photographing unit comprises an infrared image photographing apparatus.

The method of claim 4, wherein
The marker information includes position and direction information on which output information should be displayed in the printed matter, and the output unit outputs a content corresponding to the output information according to the position and direction information included in the marker information. .

The method of claim 4, wherein
The projection mapping apparatus may include: a gaze recognition unit configured to photograph a user who subscribes to the printed matter and recognize a gaze; More,
And the output unit is configured to image-process and output content corresponding to the output information such that 3D content is displayed in the forward direction from the gaze of the user using the gaze of the user recognized by the gaze recognition unit.

The method of claim 4, wherein
The photographing unit photographs the printed matter in a state in which the content is output from the output unit, and when the printed matter moves, the controller transmits a predetermined output command to the output unit according to the movement of the printed matter photographed by the photographing unit. And an output unit dynamically converts and outputs content being output to the printed matter according to the output command.

The method of claim 4, wherein
The photographing unit photographs the printed matter in a state in which the content is output from the output unit, and when another preset marker is added to the printed matter, the controller outputs a preset output command according to the another marker photographed by the photographing unit. To the output unit, wherein the output unit dynamically converts and outputs the content being output to the printed matter according to the output command.

The method of claim 4, wherein
The projection mapping device is provided inside the stand device,
The stand device is composed of a stand shade, stand arm, stand support,
Inside the stand shade is provided with an illumination unit for irradiating the photographing unit, the output unit and the infrared light source,
The stand arm is connected between the stand shade and the stand support, and is provided in a form that can adjust the angle of the stand shade,
And a power supply unit for supplying power to the control unit, the communication unit, the projection mapping device, and the lighting unit.

delete