KR102027477B1 - Media image contents compilation and display apparatus for various object - Google Patents

Media image contents compilation and display apparatus for various object Download PDF

Info

Publication number
KR102027477B1
KR102027477B1 KR1020190049081A KR20190049081A KR102027477B1 KR 102027477 B1 KR102027477 B1 KR 102027477B1 KR 1020190049081 A KR1020190049081 A KR 1020190049081A KR 20190049081 A KR20190049081 A KR 20190049081A KR 102027477 B1 KR102027477 B1 KR 102027477B1
Authority
KR
South Korea
Prior art keywords
user
image
shape
control server
image content
Prior art date
Application number
KR1020190049081A
Other languages
Korean (ko)
Inventor
고은채
Original Assignee
고은채
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고은채 filed Critical 고은채
Priority to KR1020190049081A priority Critical patent/KR102027477B1/en
Application granted granted Critical
Publication of KR102027477B1 publication Critical patent/KR102027477B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

The present invention relates to a media image content processing and reproducing apparatus applicable to various shapes of objects. A media image content processing and reproducing apparatus according to an aspect of the present invention comprises a user terminal which provides shape information about an object having a circular or polygonal screen surface on which image content is output, and selects image content to be reproduced in the object; and a control server which recognizes the shape and size of the object through the shape information provided through the user terminal, and processes the selected image content according to the shape and size of the object when the image content is selected through the user terminal, and provides the processed image content to the video transmitter of a user and reproduces it on the object. It is possible to easily reproduce video content at low cost.

Description

다양한 형상의 오브젝트에 적용가능한 미디어 영상 콘텐츠 가공 및 재생장치{Media image contents compilation and display apparatus for various object}Media image contents compilation and display apparatus applicable to various shapes of objects

본 발명은 다양한 형상의 오브젝트에 적용가능한 미디어 영상 콘텐츠 가공 및 재생장치에 관한 것으로, 보다 구체적으로는, 다양한 형상과 사이즈를 갖는 오브젝트에 송출가능하도록 영상 콘텐츠를 가공하여 제공하는 미디어 영상 콘텐츠 가공 및 재생장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a media image content processing and reproducing apparatus applicable to objects of various shapes, and more particularly, to processing and reproducing media image contents for processing and providing image contents to be sent out to objects having various shapes and sizes. Relates to a device.

최근 컴퓨터 그래픽 기술의 발달과 디지털 미디어 산업의 발달로 다양한 미디어 영상 콘텐츠들이 생성되고 보급되고 있다. 이러한 미디어 영상 콘텐츠들은 스크린 면을 가지는 오브젝트에 투사되어 재생되게 된다.Recently, with the development of computer graphics technology and the development of the digital media industry, various media image contents have been created and spread. Such media image contents are projected onto an object having a screen surface and played back.

하지만, 이러한 미디어 영상 콘텐츠들은 고가의 비용이 들어 자치단체 혹은 대기업, 기관들의 주도하에 단발성의 이벤트적 성격으로 사용되는 것에 그치고 있으며, 미디어 아트 콘텐츠의 개발에 많은 시간과 장비, 기술 인력이 투여됨에 따라 일반인이 자유롭게 사용하고 즐길 수 없다는 문제점이 있다.However, these media video contents are only used as one-time event characteristics under the leadership of local governments, large corporations, and institutions at high cost, and as much time, equipment, and technical personnel are invested in the development of media art contents, There is a problem that the public can not use and enjoy freely.

또한 다양한 형상의 오브젝트가 존재하고 다양한 미디어 영상 콘텐츠가 존재하고는 있으나, 오브젝트가 존재하는 경우에는 이에 대응되어 재생가능한 미디어 영상 콘텐츠를 구하기 어렵고, 특정 미디어 영상 콘텐츠가 존재하는 경우에는 이를 재생할 수 있는 오브젝트가 한정되어 있어, 사용자의 다양한 취향이나 필요에 대응하여 다양한 형상의 오브젝트에 원하는 미디어 영상 콘텐츠를 재생할 수 없다는 문제점이 있다.In addition, although objects of various shapes exist and various media image contents exist, it is difficult to obtain playable media image contents in response to the presence of objects, and objects that can reproduce the contents when specific media image contents exist. There is a problem that the desired media image content cannot be reproduced in various shapes of objects in response to various tastes and needs of the user.

대한민국 공개특허공보 제10-2012-0097785호(2012.09.05.)Republic of Korea Patent Publication No. 10-2012-0097785 (2012.09.05.)

따라서, 본 발명의 목적은 상기한 종래의 문제점을 극복할 수 있는 미디어 영상 콘텐츠 가공 및 재생장치를 제공하는 데 있다.Accordingly, it is an object of the present invention to provide an apparatus for processing and reproducing media image contents that can overcome the above-mentioned conventional problems.

본 발명의 다른 목적은 사용자가 원하는 형상 및 사이즈의 오브젝트에 사용자가 원하는 영상 콘텐츠를 재생하는 것이 가능하므로, 사용자 맞춤형 영상 콘텐츠 의 재생이 가능하고, 시간과 장소에 구애됨이 없이 저비용으로 손쉽게 적용할 수 있는 미디어 영상 콘텐츠 가공 및 재생장치를 제공하는 데 있다. Another object of the present invention is that the user can play the video content desired by the user to the object of the desired shape and size, it is possible to play the user-customized video content, it is easy to apply at low cost without regard to time and place To provide a media image content processing and playback apparatus.

상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 구체화에 따라, 본 발명에 따른 미디어 영상 콘텐츠 가공 및 재생장치는, 영상 콘텐츠가 출력되는 원형 또는 다각형의 스크린면을 구비하는 오브젝트에 대한 형상정보를 제공하고, 상기 오브젝트에 재생될 영상 콘덴츠를 선택하는 사용자 단말기와; 상기 사용자 단말기를 통해 제공되는 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식하고, 사용자단말기를 통해 영상콘텐츠가 선택되면 선택된 영상콘텐츠를 상기 오브젝트의 형상 및 사이즈에 맞게 가공하고, 가공된 영상콘텐츠를 사용자의 영상송출기에 제공하여 상기 오브젝트에 재생되도록 하는 제어서버를 구비한다.According to an embodiment of the present invention for achieving some of the above technical problems, the media image content processing and playback apparatus according to the present invention, the shape information for the object having a circular or polygonal screen surface on which the image content is output A user terminal for providing an image and selecting image content to be reproduced in the object; Recognize the shape and size of the object through the shape information provided through the user terminal, and if the image content is selected through the user terminal, the selected image content is processed according to the shape and size of the object, the processed image content It is provided with a control server for providing to the user's video transmitter to be reproduced on the object.

상기 사용자 단말기는 내장된 카메라를 이용하여 상기 오브젝트를 촬영한 촬영 영상을 상기 형상정보로서 상기 제어서버에 제공하고, 상기 제어서버는 OpenCV 프로그램 및 딥러닝을 적용하여, 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식할 수 있다.The user terminal provides a captured image of the object by using a built-in camera as the shape information to the control server, and the control server applies an OpenCV program and deep learning to control the object through the shape information. The shape and size can be recognized.

상기 사용자 단말기의 전용 어플리케이션 프로그램을 통해 제공되는 원형, 삼각형 또는 직사각형의 형상체를 이용하여 사용자가 원하는 가상의 오브젝트가 제작되면, 제작된 가상의 오브젝트에 대한 정보가 상기 형상정보로서 제공되고, 상기 제어서버는 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식할 수 있다. When a virtual object desired by a user is manufactured using a circular, triangular, or rectangular shape provided through a dedicated application program of the user terminal, information about the manufactured virtual object is provided as the shape information, and the control The server may recognize the shape and size of the object through the shape information.

상기 제어서버는 상기 가상의 오브젝트가 제작되면, 상기 가상의 오브젝트에 상기 사용자에 의해 선택된 영상 콘텐츠가 재생되도록 하여, 상기 가상의 오브젝트에 재생되는 영상콘텐츠를 사용자가 확인할 수 있도록 할 수 있다.When the virtual object is manufactured, the control server may play back the video content selected by the user on the virtual object, so that the user can check the video content played on the virtual object.

상기 사용자 단말기는 원하는 형상의 오브젝트를 도시한 도면파일을 상기 오브젝트에 대한 상기 형상정보로서 상기 제어서버에 제공하고, 상기 제어서버는 상기 도면파일을 인식함에 의해 상기 오브젝트의 형상 및 사이즈를 인식할 수 있다.The user terminal may provide a drawing file showing an object of a desired shape as the shape information of the object to the control server, and the control server may recognize the shape and size of the object by recognizing the drawing file. have.

상기 도면파일은 3D 도면파일일 수 있다.The drawing file may be a 3D drawing file.

상기 제어서버는 상기 사용자 단말기를 통해 상기 도면파일이 제공되면, 제공된 도면파일을 상기 제어서버에 연결된 3D 프린터에 전송하여 상기 3D 프린터를 통해 상기 오브젝트가 제작되도록 할 수 있다.When the drawing file is provided through the user terminal, the control server may transmit the provided drawing file to a 3D printer connected to the control server so that the object is produced through the 3D printer.

상기 사용자에 의해 선택되는 영상콘텐츠는, 상기 제어서버에 저장된 복수의 영상콘텐츠들 중 사용자에 의해 선택된 영상콘텐츠이거나 사용자에 의해 별도로 제공된 영상콘텐츠일 수 있다.The video content selected by the user may be a video content selected by the user or a video content separately provided by the user from among a plurality of video contents stored in the control server.

상기 제어서버는, 사용자에 의해 선택된 영상콘텐츠를 상기 오브젝트의 형상 및 사이즈에 맞게 가공하되, 상기 영상콘텐츠에서 상기 오브젝트의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하여, 상기 오브젝트의 형상 및 사이즈에 대응되는 영상부분 만이 재생될 수 있도록 영상콘텐츠를 가공할 수 잇다.The control server processes the image content selected by the user according to the shape and size of the object, but masks the remaining portions of the image content except for the image portion corresponding to the shape and size of the object, thereby forming the shape of the object. And image content so that only an image portion corresponding to the size can be reproduced.

상기 제어서버는, 사용자에게 제공될 복수의 영상 콘텐츠들 및 사용자에 의해 제공된 영상콘텐츠를 저장하고, 사용자에 의해 선택된 영상 콘텐츠를 제공하기 위한 미디어 서버와; 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식하고, 사용자에 의해 선택되어 상기 미디어 서버에서 제공된 영상 콘텐츠에서 상기 오브젝트의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하는 방식으로 영상콘텐츠를 가공하여, 가공된 영상콘텐츠를 제공하는 프로그램 서버와; 상기 프로그램 서버에서 제공되는 가공된 영상콘텐츠를 사용자의 영상송출기에 제공하여 상기 오브젝트에 재생되도록 하는 송출 서버를 구비할 수 있다. The control server includes a media server for storing a plurality of video contents to be provided to a user and video contents provided by the user, and providing the video contents selected by the user; Image contents by recognizing the shape and size of the object through the shape information, and masking the remaining portion except for the image portion corresponding to the shape and size of the object in the image content selected by the user and provided by the media server A program server for processing the and providing the processed video content; It may be provided with a transmission server for providing the processed video content provided from the program server to the user's video transmitter to be reproduced in the object.

본 발명에 따르면, 사용자가 원하는 형상 및 사이즈의 오브젝트에 사용자가 원하는 영상 콘텐츠를 재생하는 것이 가능하므로, 사용자 맞춤형 영상 콘텐츠 재생이 가능한 장점이 있다. 또한 시간과 장소에 구애됨이 없이 적용이 가능하고, 저비용으로 손쉽게 조성할 수 있는 장점이 있다. According to the present invention, since it is possible to reproduce the video content desired by the user in the object of the shape and size desired by the user, there is an advantage that can be reproduced by the user customized video content. In addition, it can be applied without regard to time and place, there is an advantage that can be easily created at low cost.

도 1은 본 발명에 따른 미디어 영상 콘텐츠 가공 및 재생장치의 블록도이고,
도 2는 도 1의 미디어 영상 콘텐츠 가공 및 재생장치의 제1실시예의 동작순서도이고,
도 3은 도 1의 미디어 영상 콘텐츠 가공 및 재생장치의 제2실시예의 동작순서도이고,
도 4는 도 1의 미디어 영상 콘텐츠 가공 및 재생장치의 제3실시예의 동작순서도이고,
도 5는 영상콘텐츠가 재생되는 오브젝트의 다양한 형상 예를 도시한 것이다. 1 is a block diagram of a media image content processing and playback apparatus according to the present invention;
FIG. 2 is an operation flowchart of a first embodiment of the media image content processing and reproducing apparatus of FIG. 1;
3 is a flowchart of a second embodiment of the apparatus for processing and reproducing a media image content of FIG. 1;
4 is an operation flowchart of a third embodiment of the media image content processing and reproducing apparatus of FIG.
5 illustrates various shapes of an object in which image content is reproduced.

이하에서는 본 발명의 바람직한 실시예가, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 철저한 이해를 제공할 의도 외에는 다른 의도 없이, 첨부한 도면들을 참조로 하여 상세히 설명될 것이다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, without any other intention than to provide a thorough understanding of the present invention to those skilled in the art.

도 1은 본 발명에 따른 미디어 영상 콘텐츠 가공 및 재생장치의 블록도이다.1 is a block diagram of a media image content processing and playback apparatus according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 미디어 영상 콘텐츠 가공 및 재생장치(100)는 사용자 단말기(110), 제어서버(120) 및 오브젝트(140)에 영상을 투사하는 영상 송출기(130)를 구비한다. As shown in FIG. 1, the apparatus 100 for processing and reproducing media image contents according to the present invention includes an image transmitter 130 for projecting an image onto the user terminal 110, the control server 120, and the object 140. Equipped.

상기 사용자 단말기(110)는 상기 제어서버(120)와 유무선 인터넷망(또는 유무선 통신망)을 통해 서로 연결되며, 상기 사용자 단말기(110)에는 상기 제어서버(120)에서 제공된 전용 어플리케이션 프로그램(이하 '전용앱' 이라 함)이 설치되게 된다. 이하에서 상기 사용자 단말기(110)에서 수행되는 각종 구성들은 사용자 단말기(110)에 설치된 전용앱에 의해 수행되는 구성일 수 있다. 이에 따라 상기 사용자 단말기(110)에 의해 수행된다고 하면 상기 사용자 단말기(110)에 설치된 전용앱에 의해 수행되는 것을 의미할 수도 있다. The user terminal 110 is connected to each other through the control server 120 and a wired or wireless Internet network (or wired or wireless communication network), the user terminal 110 is provided with a dedicated application program provided by the control server 120 (hereinafter 'dedicated' App 'will be installed. Hereinafter, various components performed in the user terminal 110 may be components performed by a dedicated app installed in the user terminal 110. Accordingly, if it is performed by the user terminal 110 may mean that it is performed by a dedicated app installed in the user terminal 110.

상기 사용자 단말기(110)는 스마트폰, 태블릿, PDA 등을 포함하여 통상의 기술자에게 잘 알려진 모바일 단말기가 포함될 수 있다. 또한, 데스크탑PC, 노트북. 씬클라이언트(thin client)용 단말기, 제로클라이언트(zero-client)용 단말기 등을 포함할 수 있다. 여기서 씬클라이언트(thin client)용 단말기는 CPUㆍ메모리 등 필수적인 하드웨어 장치만 탑재한 상태에서 네트워크로 연결된 중앙서버에서 모든 업무를 관리하도록 설계된 업무용 단말기를 일컫는다. 상기 제로클라이언트(zero client)용 단말기는 메모리 등 필수적인 요소도 모두 없애 PC 본체 자체가 필요 없고, 모든 업무를 서버에서 처리하도록 하여 오로지 서버를 연결하는 단말기의 역할만 수행하도록 것을 말한다. 결론적으로, 본 발명에서, 상기 사용자 단말기(110)는 사용자가 사용할 수 있는 유무선 통신이 가능한 모든 단말기들을 지칭할 수 있다.The user terminal 110 may include a mobile terminal well known to those skilled in the art, including a smartphone, tablet, PDA, and the like. In addition, desktop PC, notebook. A thin client terminal, a zero client terminal, and the like may be included. Here, the thin client terminal refers to a business terminal designed to manage all tasks from a central server connected to a network with only essential hardware devices such as a CPU and a memory. The zero client terminal does not need the main body itself, and also removes all essential elements such as memory, and means that only the role of the terminal connecting the server is to be handled by the server. In conclusion, in the present invention, the user terminal 110 may refer to all terminals capable of wired / wireless communication that a user can use.

상기 제어서버(120)는 일반적으로 상기 사용자 단말기(110)와 유무선 인터넷망(또는 유무선 통신망)을 통해 서로 연결되며, 영상 콘텐츠를 제공받거나 영상 컨텐츠를 저장 및 가공하는 서버를 의미할 수 있다.The control server 120 is generally connected to each other through the user terminal 110 and the wired / wireless internet network (or wired / wireless communication network), and may mean a server that receives image content or stores and processes the image content.

본 발명에서 오브젝트(140)는 영상이 투영되는 스크린면을 구비하는 2차원 또는 3차원 형상체를 의미하는 것으로, 도 5의 (a)에 도시된 바와 같은 일반적으로 잘 알려져 있는 직사각형 형상의 스크린면을 갖는 오브젝트. 도 5의 (b)에 도시된 바와 같은 원형의 스크린면을 갖는 오브젝트, 도 5의 (c)에 도시된 바와 같은 정육각형 등의 다각형의 스크린면을 구비하는 오브젝트를 의미할 수 있고, 이외에 도 5의 (d)에 도시된 바와 같이, 원형 또는 다각형의 스크린면이 복수개로 구비되어 3차원 형상을 이루는 구조의 오브젝트를 포함할 수 있다. 그리고 상기 오브젝트는 영상이 투사되는 스크린면과 동일의미일 수 있다.In the present invention, the object 140 refers to a two-dimensional or three-dimensional shape having a screen surface on which an image is projected, and generally a well-known rectangular screen surface as shown in FIG. Object with It may mean an object having a circular screen surface as shown in (b) of FIG. 5, an object having a polygonal screen surface such as a regular hexagon as shown in (c) of FIG. As shown in (d), a plurality of circular or polygonal screen surfaces may be provided to include an object having a three-dimensional shape. The object may have the same meaning as the screen surface on which the image is projected.

상기 사용자 단말기(110)는 상기 제어서버(120)에 접속하여 상기 제어서버(120)에 영상 콘텐츠가 출력되어 투영되기를 원하는 상기 오브젝트(140)에 대한 형상정보를 상기 제어서버(120)에 제공하고, 상기 오브젝트(140)에 재생될 영상 콘덴츠를 선택한다. 여기서 선택되는 영상콘텐츠는, 상기 제어서버(120)에 저장된 복수의 영상콘텐츠들 중 사용자에 의해 선택된 영상콘텐츠이거나 사용자가 사용자 단말기(110)를 통해 상기 제어서버(120)에 별도로 제공된 영상콘텐츠일 수 있다. The user terminal 110 accesses the control server 120 and provides the control server 120 with shape information about the object 140 that the image content is output and projected on the control server 120. The video content to be played on the object 140 is selected. The image content selected here may be image content selected by a user from among a plurality of image contents stored in the control server 120 or image content provided by the user separately to the control server 120 through the user terminal 110. have.

즉 제어서버(120)에 이미 저장되어 있는 복수의 영상콘텐츠들 중에서 어느 하나를 선택하는 것을 포함하여, 사용자 단말기(110)에서 오브젝트(140)에 재생될 영상 콘텐츠를 상기 제어서버(120)에 별도로 제공하는 것도 영상콘텐츠를 선택하는 의미로 사용될 수 있다. That is, the user terminal 110 separately selects the video content to be played on the object 140, including selecting one of the plurality of video contents already stored in the control server 120 to the control server 120. Providing may also be used to select video content.

상기 제어서버(120)는 상기 사용자 단말기(110)를 통해 제공되는 상기 형상정보를 통해 상기 오브젝트(140)의 형상 및 사이즈를 인식하고, 사용자로부터 사용자 단말기(110)를 통해 원하는 영상콘텐츠가 선택되면, 선택된 영상콘텐츠를 상기 오브젝트(140)의 형상 및 사이즈에 맞게 가공하고, 가공된 영상콘텐츠를 사용자의 영상송출기(130)에 제공하여 상기 오브젝트(140)에 재생되도록 하게 된다.The control server 120 recognizes the shape and size of the object 140 through the shape information provided through the user terminal 110, and if the desired image content is selected from the user through the user terminal 110 The image content is processed according to the shape and size of the object 140, and the processed image content is provided to the user's image transmitter 130 to be reproduced in the object 140.

여기서 상기 영상 송출기(130)는 상기 제어서버(120)에 접속하여 상기 제어서버(120)에서 상기 가공된 영상 콘텐츠를 다운로드받아서 상기 오브젝트(140)에 투사하여 재생되도록 한다. 상기 영상 송출기(130)는 서버에 접속하여 영상 콘텐츠를 전송받을 수 있고, 영상 콘텐츠를 상기 오브젝트(140)에 송출(투사)하여 재생되도록 할 수 있는 기기이면 어느 것이나 가능하다. 상기 영상 송출기(130)는 영상데이터 유무선 송수신 기능을 가지는 프로젝터를 포함하는 개념일 수 있다. 또한 상기 영상 송출기(130)는 상기 오브젝트(140)의 스크린 면이 여러개일 경우에는 대응되는 복수의 프로젝터를 통해 서로 동기되고 분할된 영상들을 각각의 스크린 면에 재생하는 것도 가능하다.In this case, the image transmitter 130 accesses the control server 120 to download the processed image content from the control server 120 and to project and reproduce the processed image content on the object 140. The image transmitter 130 may be connected to a server to receive image content, and any device capable of transmitting (projecting) the image content to the object 140 may be used. The image transmitter 130 may be a concept including a projector having image data wired / wireless transmission and reception functions. In addition, when the screen 140 of the object 140 has a plurality of screens, the image transmitter 130 may reproduce images synchronized and divided on each screen through a plurality of corresponding projectors.

이하 본 발명에 따른 미디어 영상 콘텐츠 가공 및 재생장치(100)의 구체적 동작을 각각의 실시예로 나누어 설명하기로 한다.Hereinafter, specific operations of the media image content processing and reproducing apparatus 100 according to the present invention will be described by dividing the embodiments.

도 2는 도 1의 미디어 영상 콘텐츠 가공 및 재생장치(100)의 제1실시예의 동작순서도이다.FIG. 2 is a flowchart of a first embodiment of the media image content processing and reproducing apparatus 100 of FIG. 1.

도 2는 오브젝트(140)가 사용자의 공간에 이미 설치되어 있고, 이 오브젝트(140)에 재생될 영상콘텐츠가 요구되는 경우를 예로 설명한 것이다.2 illustrates an example in which an object 140 is already installed in a user's space and an image content to be reproduced is required for the object 140.

도 2에 도시된 바와 같이, 사용자는 사용자 단말기(110)를 통해 상기 제어서버(120)에 접속한다(S110). As shown in FIG. 2, the user accesses the control server 120 through the user terminal 110 (S110).

사용자 단말기(110)가 접속하면 상기 제어서버(120)에서는 상기 사용자 단말기(110)에 영상콘텐츠를 선택하도록 영상콘텐츠 정보를 제공한다(S122). 즉 제어서버(120)는 사용자가 자신의 영상콘텐츠를 선택하여 제어서버(120)에 전송하거나 제어서버(120)에 저장된 복수의 영상 콘텐츠들 중 어느 하나의 영상콘텐츠를 선택하도록 정보를 제공하게 된다. 이미 설명한 바와 같이, 영상콘텐츠를 선택한다는 의미는 사용자가 가지고 있는 영상 콘텐츠를 상기 제어서버(120)에 전송하는 것과, 상기 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 선택하는 것 모두를 포함하는 의미이다. When the user terminal 110 is connected, the control server 120 provides the image content information to select the image content to the user terminal 110 (S122). That is, the control server 120 provides information for the user to select his own video content and transmit it to the control server 120 or to select one of the plurality of video contents stored in the control server 120. . As described above, selecting the video content means transmitting the video content of the user to the control server 120 and selecting one of a plurality of video contents provided by the control server 120. It is meant to include everything.

이에 따라, 사용자는 사용자 단말기(110)에 저장되어 있는 영상콘텐츠를 선택하여 상기 제어서버(120)에 전송하거나, 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 지정(또는 선택)하는 방식으로 영상콘텐츠를 선택하게 게 된다(S112).Accordingly, the user selects and transmits the video content stored in the user terminal 110 to the control server 120, or designates (or selects) one of a plurality of video contents provided by the control server 120. In the step S112, the video content is selected.

상기 사용자 단말기(110)를 통해 영상콘텐츠가 선택되면(S112), 이에 관련된 정보, 즉 영상 콘텐츠 선택정보가 상기 제어서버(120)로 전송되어, 재생될 영상콘텐츠가 정해지게 된다. When the video content is selected through the user terminal 110 (S112), the information related thereto, that is, the video content selection information is transmitted to the control server 120 to determine the video content to be played.

이후 사용자는 상기 사용자 단말기(110)는 내장된 카메라를 이용하여 상기 오브젝트(140)를 촬영하고(S116), 오브젝트 촬영 영상을 상기 형상정보로서 상기 제어서버(120)에 제공하게 된다(S118). Thereafter, the user terminal 110 photographs the object 140 using a built-in camera (S116), and provides the object photographed image to the control server 120 as the shape information (S118).

상기 제어서버(120)는 OpenCV 프로그램 등을 이용한 외곽선 인식이나, 통상의 기술자에게 잘 알려진 영상인식 프로그램을 이용하여, 상기 오브젝트(140)의 형상을 인식하고, 딥러닝 기술 등 통상의 기술자에게 잘 알려진 사이즈 인식 프로그램 등을 적용하여 상기 오브젝트(140)의 사이즈를 인식하여 저장하게 된다(S124).The control server 120 recognizes the shape of the object 140 using an edge recognition using an OpenCV program or the like, or an image recognition program well known to those skilled in the art, and is well known to those skilled in the art such as deep learning technology. The size of the object 140 is recognized and stored by applying a size recognition program (S124).

여기서, 상기 제어서버(120)에서는 사용자가 사용자 단말기(110)를 통해 전송한 상기 형상정보(촬영영상, 사진)와 인식되는 사이즈 값 사이의 상관관계를 파악하여 추론하는 능력을 학습할 수 있으며, 상기 형상정보와 인식되는 사이즈값을 비교하며 점점 오차를 줄이는 방식으로 정확도를 높여 오브젝트(140)의 실제 사이즈를 알아내는 것이 가능하다. In this case, the control server 120 can learn the ability to infer the correlation between the shape information (photographed image, picture) and the recognized size value transmitted by the user through the user terminal 110, It is possible to find out the actual size of the object 140 by increasing the accuracy by comparing the shape information with the recognized size value and gradually reducing the error.

여기서 오브젝트(140)의 형상이나 사이즈에 대하여 추가정보(예를 들면, 오브젝트(140)와 사용자 단말기(110)와의 거리나 각도 등의 간접정보, 오브젝트(140)의 실제 사이즈 정보 등의 직접정보)가 요구되는 경우나 사이즈 인식이 불가능한 경우, 상기 제어서버(120)는 상기 사용자 단말기(110)에 요청하여 제공받을 수 있다. 경우에 따라서는 구체적인 사이즈에 대한 인식이 필요없이 사이즈 비율(예를 들면, 가로와 세로의 길이비율)에 대한 인식이 필요한 경우도 있을 수 있다. Herein, additional information about the shape and size of the object 140 (for example, indirect information such as the distance and angle between the object 140 and the user terminal 110 and direct information such as actual size information of the object 140). Is required or if size recognition is not possible, the control server 120 may be provided by requesting the user terminal 110. In some cases, it may be necessary to recognize the size ratio (for example, the ratio of the length to the width to the length) without recognizing the specific size.

상기 오브젝트(140)의 형상 및 사이즈가 인식되면, 상기 제어서버(120)에서는 상기 사용자 단말기(110)를 통해 선택된 영상콘텐츠를 상기 오브젝트(140)의 형상 및 사이즈에 맞게 가공한다(S126).When the shape and size of the object 140 are recognized, the control server 120 processes the image content selected through the user terminal 110 to match the shape and size of the object 140 (S126).

영상 콘텐츠 가공은 여러 가지 방법으로 수행될 수 있다. 예를 들면, 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하여, 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분 만이 재생될 수 있도록 가공하는 것이다. 예를 들어, 오브젝트(140)의 형상이 원형인 경우, 원형부분의 영상은 재생되도록 하고, 원형 이외의 부분은 마스킹 처리하여 재생되지 않도록 가공하는 것이다.Image content processing can be performed in various ways. For example, by masking the remaining portions of the image content except the image portion corresponding to the shape and size of the object 140, only the image portion corresponding to the shape and size of the object 140 can be reproduced. It is. For example, when the shape of the object 140 is circular, the image of the circular portion is reproduced, and the portion other than the circular portion is processed so as not to be reproduced by masking.

이외에 선택된 영상콘텐츠를 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분만을 절단하여 절단된 영상부분만이 재생되도록 가공하는 것도 가능하고, 선택된 영상콘텐츠를 원형, 사각형, 삼각형 등을 기본으로 복수로 분할하고 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상으로 매핑하는 가공을 수행하는 것도 가능하다. 이외에 통상의 기술자에게 알려진 다양한 매핑방법 및 가공방법이 사용될 수 있다.In addition, the selected image content may be processed to cut only the image portion corresponding to the shape and size of the object 140 from the image content so that only the cut image portion is reproduced. It is also possible to perform a process of dividing the image into a plurality of bases and mapping them to an image corresponding to the shape and size of the object 140. In addition, various mapping methods and processing methods known to those skilled in the art may be used.

가공된 영상콘텐츠는 상기 제어서버(120)에서 상기 영상 송출기(130)에 스트리밍 방식이나 기타 다양한 방식으로 전송될 수 있으며(S128), 상기 영상송출기(130)에서는 제공되는 영상콘텐츠를 상기 오브젝트(140)에 투사하여 영상콘텐츠가 재생되도록 한다.The processed video content may be transmitted from the control server 120 to the video transmitter 130 in a streaming manner or other various methods (S128), and the video content provided from the video transmitter 130 may be the object 140. ) To play back the image contents.

이를 위해 상기 제어서버(120)는, 미디어 서버, 프로그램 서버, 송출서버를 포함할 수 있다. To this end, the control server 120 may include a media server, a program server, a transmission server.

상기 미디어 서버는, 사용자에게 제공될 복수의 영상 콘텐츠들 및 사용자에 의해 제공된 영상콘텐츠를 저장하고, 사용자에 의해 선택된 영상 콘텐츠를 상기 프로그램서버에 제공한다.The media server stores a plurality of image contents to be provided to the user and image contents provided by the user, and provides the image server selected by the user to the program server.

상기 프로그램 서버는 상기 형상정보를 통해 상기 오브젝트(140)의 형상 및 사이즈를 인식하고, 사용자에 의해 선택되어 상기 미디어 서버에서 제공된 영상 콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하는 방식으로 영상콘텐츠를 가공하여, 가공된 영상콘텐츠를 상기 송출서버에 제공한다.The program server recognizes the shape and size of the object 140 through the shape information, and selects an image portion corresponding to the shape and size of the object 140 from the image content selected by the user and provided from the media server. The video content is processed in a manner of masking the remaining parts except for providing the processed video content to the delivery server.

상기 송출서버는, 상기 프로그램 서버에서 제공되는 가공된 영상콘텐츠를 사용자의 영상송출기(130)에 제공하여 상기 오브젝트(140)에 재생되도록 하게 된다.The transmission server provides the processed image content provided by the program server to the user's image transmitter 130 to be reproduced in the object 140.

도 3은 도 1의 미디어 영상 콘텐츠 가공 및 재생장치(100)의 제2실시예의 동작순서도이다.3 is a flowchart of a second embodiment of the apparatus 100 for processing and reproducing media image contents of FIG.

도 3은 사용자가 제어서버(120)에 접속하여 오브젝트(140)의 형상을 가상으로 제작하거나 이미 완성되어 제공되는 오브젝트들 중 어느 하나를 선택하는 방식으로 오브젝트(140)에 대한 형상정보를 제공하고, 이에 대응되는 영상콘텐츠를 가공하여 영상콘텐츠를 재생하는 경우를 예로 들어 설명한 것이다.FIG. 3 provides shape information about the object 140 in such a manner that a user connects to the control server 120 to virtually form the shape of the object 140 or selects one of the objects that are already completed and provided. For example, the case in which the video content is played by processing the video content corresponding thereto is described.

도 3에 도시된 바와 같이, 사용자는 사용자 단말기(110)를 통해 상기 제어서버(120)에 접속한다(S110). As shown in FIG. 3, the user accesses the control server 120 through the user terminal 110 (S110).

사용자 단말기(110)가 접속하면 상기 제어서버(120)에서는 상기 사용자 단말기(110)에 영상콘텐츠를 선택하도록 영상콘텐츠 정보를 제공한다(S122). 즉 제어서버(120)는 사용자가 자신의 영상콘텐츠를 선택하여 제어서버(120)에 전송하거나 제어서버(120)에 저장된 복수의 영상 콘텐츠들 중 어느 하나의 영상콘텐츠를 선택하도록 정보를 제공하게 된다. 이미 설명한 바와 같이, 영상콘텐츠를 선택한다는 의미는 사용자가 가지고 있는 영상 콘텐츠를 상기 제어서버(120)에 전송하는 것과, 상기 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 선택하는 것 모두를 포함하는 의미이다. When the user terminal 110 is connected, the control server 120 provides the image content information to select the image content to the user terminal 110 (S122). That is, the control server 120 provides information for the user to select his own video content and transmit it to the control server 120 or to select one of the plurality of video contents stored in the control server 120. . As described above, selecting the video content means transmitting the video content of the user to the control server 120 and selecting one of a plurality of video contents provided by the control server 120. It is meant to include everything.

이에 따라, 사용자는 사용자 단말기(110)에 저장되어 있는 영상콘텐츠를 선택하여 상기 제어서버(120)에 전송하거나, 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 지정(또는 선택)하는 방식으로 영상콘텐츠를 선택하게 게 된다(S112).Accordingly, the user selects and transmits the video content stored in the user terminal 110 to the control server 120, or designates (or selects) one of a plurality of video contents provided by the control server 120. In the step S112, the video content is selected.

상기 사용자 단말기(110)를 통해 영상콘텐츠가 선택되면(S112), 이에 관련된 정보, 즉 영상 콘텐츠 선택정보가 상기 제어서버(120)로 전송되어, 재생될 영상콘텐츠가 정해지게 된다. When the video content is selected through the user terminal 110 (S112), the information related thereto, that is, the video content selection information is transmitted to the control server 120 to determine the video content to be played.

이후 상기 제어서버(120)에서는 원형, 삼각형 또는 직사각형의 형상체 등 다양한 모양의 형상체를 상기 사용자 단말기(110)에 제공하여, 이들 형상체를 이용하여 사용자가 원하는 오브젝트의 형상을 가상으로 제작하도록 한다. 즉 사용자는 상기 사용자 단말기(110)의 전용 어플리케이션 프로그램을 통해 제공되는 원형, 삼각형 또는 직사각형의 형상체를 이용하여 사용자가 원하는 가상의 오브젝트를 제작하게 된다(S116a).Thereafter, the control server 120 provides shapes of various shapes such as circular, triangular, or rectangular shapes to the user terminal 110 to virtually form a shape of an object desired by the user using these shapes. do. That is, the user makes a virtual object desired by the user using a circular, triangular, or rectangular shape provided through the dedicated application program of the user terminal 110 (S116a).

상기 제어서버(120)는 상기 가상의 오브젝트가 제작되면, 상기 가상의 오브젝트에 상기 사용자에 의해 선택된 영상 콘텐츠가 재생되도록 하여, 상기 가상의 오브젝트에 재생되는 영상콘텐츠를 사용자가 확인할 수 있도록 할 수 있다. 이때 영상콘텐츠의 가공의 범위, 예를 들면, 마스킹되는 영상의 범위를 정할 수 있으며, 가상의 오브젝트에 대한 수정제작도 가능하도록 할 수 있다.When the virtual object is manufactured, the control server 120 may play the video content selected by the user in the virtual object, so that the user can check the video content played in the virtual object. . In this case, a range of processing of the image content, for example, a range of a masked image may be determined, and modification and production of a virtual object may be possible.

가상의 오브젝트에 대한 제작이 완료되면, 제작된 가상의 오브젝트에 대한 정보가 상기 형상정보로서 상기 제어서버(120)에 제공되게 된다(S118a). When the manufacture of the virtual object is completed, the information on the produced virtual object is provided to the control server 120 as the shape information (S118a).

이때 상기 사용자에 의해 가상으로 제작된 오브젝트 또는 사용자에 의해 선택된 오브젝트는 사용자가 실제 가지고 있는 오브젝트와 동일한 형상일 수 있으나, 동일형상이 아닌 경우에는 실제 실물로 제작되어 오프라인 경로를 통해 미리 사용자에게 제공되는 것도 가능하다. In this case, the object virtually produced by the user or the object selected by the user may have the same shape as the object actually owned by the user. However, if the object is not the same shape, the object is actually made and provided to the user in advance through an offline path. It is also possible.

상기 제어서버(120)에서는 OpenCV 프로그램 등을 이용한 외곽선 인식이나, 통상의 기술자에게 잘 알려진 영상인식 프로그램을 이용하여, 상기 오브젝트(140)의 형상을 인식하고, 딥러닝 기술 등 통상의 기술자에게 잘 알려진 사이즈 인식 프로그램 등을 적용하여 상기 오브젝트(140)의 사이즈를 인식하여 저장할 수 있다(S124). 또한 제1실시예를 통해 설명한 방식이 응용될 수 있다.The control server 120 recognizes the shape of the object 140 using an edge recognition using an OpenCV program, or an image recognition program well known to those skilled in the art, and is well known to those skilled in the art such as deep learning technology. The size of the object 140 may be recognized and stored by applying a size recognition program or the like (S124). In addition, the method described through the first embodiment may be applied.

하지만 제2실시예의 경우는 상기 제어서버(120)에서 제공한 형상체를 이용하여 오브젝트가 제작되었으므로, 상기 제어버서(120)에서는 사용자가 제작한 가상의 오브젝트에 대한 형상이나 사이즈 정보를 이미 가지고 있는 상태이다. 따라서 별도의 인식프로그램을 통한 인식이 필요하지 않을 수 있다. However, in the second embodiment, since the object is manufactured using the shape provided by the control server 120, the control server 120 already has shape or size information about the virtual object produced by the user. It is a state. Therefore, recognition through a separate recognition program may not be necessary.

상기 오브젝트(140)의 형상 및 사이즈가 인식되면(S124), 상기 제어서버(120)에서는 상기 사용자 단말기(110)를 통해 선택된 영상콘텐츠를 상기 오브젝트(140)의 형상 및 사이즈에 맞게 가공한다(S126).If the shape and size of the object 140 is recognized (S124), the control server 120 processes the image content selected through the user terminal 110 to match the shape and size of the object 140 (S126). ).

영상 콘텐츠 가공은 여러 가지 방법으로 수행될 수 있다. 예를 들면, 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하여, 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분 만이 재생될 수 있도록 가공하는 것이다. 예를 들어, 오브젝트(140)의 형상이 원형인 경우, 원형부분의 영상은 재생되도록 하고, 원형 이외의 부분은 마스킹 처리하여 재생되지 않도록 가공하는 것이다.Image content processing can be performed in various ways. For example, by masking the remaining portions of the image content except the image portion corresponding to the shape and size of the object 140, only the image portion corresponding to the shape and size of the object 140 can be reproduced. It is. For example, when the shape of the object 140 is circular, the image of the circular portion is reproduced, and the portion other than the circular portion is processed so as not to be reproduced by masking.

이외에 선택된 영상콘텐츠를 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분만을 절단하여 절단된 영상부분만이 재생되도록 가공하는 것도 가능하고, 선택된 영상콘텐츠를 원형, 사각형, 삼각형 등을 기본으로 복수로 분할하고 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상으로 매핑하는 가공을 수행하는 것도 가능하다. 이외에 통상의 기술자에게 알려진 다양한 매핑방법 및 가공방법이 사용될 수 있다.In addition, the selected image content may be processed to cut only the image portion corresponding to the shape and size of the object 140 from the image content so that only the cut image portion is reproduced. It is also possible to perform a process of dividing the image into a plurality of bases and mapping them to an image corresponding to the shape and size of the object 140. In addition, various mapping methods and processing methods known to those skilled in the art may be used.

가공된 영상콘텐츠는 상기 제어서버(120)에서 상기 영상 송출기(130)에 스트리밍 방식이나 기타 다양한 방식으로 전송될 수 있으며(S128), 상기 영상송출기(130)에서는 제공되는 영상콘텐츠를 상기 오브젝트(140)에 투사하여 영상콘텐츠가 재생되도록 한다.The processed video content may be transmitted from the control server 120 to the video transmitter 130 in a streaming manner or other various methods (S128), and the video content provided from the video transmitter 130 may be the object 140. ) To play back the image contents.

이를 위해 상기 제어서버(120)는, 미디어 서버, 프로그램 서버, 송출서버를 포함할 수 있다. To this end, the control server 120 may include a media server, a program server, a transmission server.

상기 미디어 서버는, 사용자에게 제공될 복수의 영상 콘텐츠들 및 사용자에 의해 제공된 영상콘텐츠를 저장하고, 사용자에 의해 선택된 영상 콘텐츠를 상기 프로그램서버에 제공한다.The media server stores a plurality of image contents to be provided to the user and image contents provided by the user, and provides the image server selected by the user to the program server.

상기 프로그램 서버는 상기 형상정보를 통해 상기 오브젝트(140)의 형상 및 사이즈를 인식하고, 사용자에 의해 선택되어 상기 미디어 서버에서 제공된 영상 콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하는 방식으로 영상콘텐츠를 가공하여, 가공된 영상콘텐츠를 상기 송출서버에 제공한다.The program server recognizes the shape and size of the object 140 through the shape information, and selects an image portion corresponding to the shape and size of the object 140 from the image content selected by the user and provided from the media server. The video content is processed in a manner of masking the remaining parts except for providing the processed video content to the delivery server.

상기 송출서버는, 상기 프로그램 서버에서 제공되는 가공된 영상콘텐츠를 사용자의 영상송출기(130)에 제공하여 상기 오브젝트(140)에 재생되도록 하게 된다.The transmission server provides the processed image content provided by the program server to the user's image transmitter 130 to be reproduced in the object 140.

도 4는 도 1의 미디어 영상 콘텐츠 가공 및 재생장치(100)의 제3실시예의 동작순서도이다.4 is a flowchart of a third embodiment of the media image content processing and reproducing apparatus 100 of FIG. 1.

도 4는 사용자 단말기(110)에서 상기 오브젝트(140)에 대한 도면파일을 상기 형상정보로서 상기 제어서버(120)에 제공하고, 이에 대응되는 영상콘텐츠가 가공도록 하여 영상콘텐츠를 재생하는 경우를 예로 들어 설명한 것이다.FIG. 4 illustrates an example in which a user file 110 provides a drawing file of the object 140 to the control server 120 as the shape information, and reproduces the video content by processing the corresponding video content. It is explained.

도 4에 도시된 바와 같이, 사용자는 사용자 단말기(110)를 통해 상기 제어서버(120)에 접속한다(S110). As shown in FIG. 4, the user accesses the control server 120 through the user terminal 110 (S110).

사용자 단말기(110)가 접속하면 상기 제어서버(120)에서는 상기 사용자 단말기(110)에 영상콘텐츠를 선택하도록 영상콘텐츠 정보를 제공한다(S122). 즉 제어서버(120)는 사용자가 자신의 영상콘텐츠를 선택하여 제어서버(120)에 전송하거나 제어서버(120)에 저장된 복수의 영상 콘텐츠들 중 어느 하나의 영상콘텐츠를 선택하도록 정보를 제공하게 된다. 이미 설명한 바와 같이, 영상콘텐츠를 선택한다는 의미는 사용자가 가지고 있는 영상 콘텐츠를 상기 제어서버(120)에 전송하는 것과, 상기 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 선택하는 것 모두를 포함하는 의미이다. When the user terminal 110 is connected, the control server 120 provides the image content information to select the image content to the user terminal 110 (S122). That is, the control server 120 provides information for the user to select his own video content and transmit it to the control server 120 or to select one of the plurality of video contents stored in the control server 120. . As described above, selecting the video content means transmitting the video content of the user to the control server 120 and selecting one of a plurality of video contents provided by the control server 120. It is meant to include everything.

이에 따라, 사용자는 사용자 단말기(110)에 저장되어 있는 영상콘텐츠를 선택하여 상기 제어서버(120)에 전송하거나, 제어서버(120)에서 제공하는 복수의 영상콘텐츠들 중 어느 하나를 지정(또는 선택)하는 방식으로 영상콘텐츠를 선택하게 게 된다(S112).Accordingly, the user selects and transmits the video content stored in the user terminal 110 to the control server 120, or designates (or selects) one of a plurality of video contents provided by the control server 120. In the step S112, the video content is selected.

상기 사용자 단말기(110)를 통해 영상콘텐츠가 선택되면(S112), 이에 관련된 정보, 즉 영상 콘텐츠 선택정보가 상기 제어서버(120)로 전송되어, 재생될 영상콘텐츠가 정해지게 된다. When the video content is selected through the user terminal 110 (S112), the information related thereto, that is, the video content selection information is transmitted to the control server 120 to determine the video content to be played.

이후 사용자 단말기(110)는 선택된 영상 콘텐츠가 재생될 오브젝트(140)에 대한 형상 및 사이즈에 대한 정보인 형상정보를 상기 제어서버(120)에 제공하게 된다.Thereafter, the user terminal 110 provides the control server 120 with shape information which is information about the shape and size of the object 140 on which the selected image content is to be played.

즉 사용자 단말기(110)를 통해, 원하는 형상의 오브젝트를 도시한 도면파일을 생성하거나 저장된 도면파일을 업로딩하여(S116b), 상기 오브젝트(140)에 대한 상기 형상정보로서 상기 제어서버(120)에 제공하게 된다(S118b). 상기 도면파일은 통상의 기술자에게 잘 알려진 2D파일 또는 3D 파일 형식으로 제공될 수 있고, 캐드(CAD) 파일 형태나 CNC 등에 요구되는 파일형식, 3D 프린터에 요구되는 파일 형식 또는 서버인식용으로 요구되는 파일 형식 등으로 변환되어 제공되는 것도 가능하다. That is, the user terminal 110 generates a drawing file showing an object of a desired shape or uploads a stored drawing file (S116b), and provides the control server 120 as the shape information of the object 140. (S118b). The drawing file may be provided in a 2D file or a 3D file format well known to those skilled in the art, and may be provided in a CAD file format or a file format required for a CNC, a file format required for a 3D printer, or a server recognition. It is also possible to provide a file format converted to.

여기서 상기 도면파일은 사용자에 의해 미리 제작된 오브젝트에 대한 도면파일 일 수도 있으나, 미리 제작되지 아니한 경우에는 실제 실물로 제작되어 오프라인 경로를 통해 미리 사용자에게 제공되는 것도 가능하다. 이 경우, 상기 제어서버(120)는, 상기 도면파일이 제공되면, 제공된 도면파일을 상기 제어서버(120)에 연결된 3D 프린터에 전송하여 상기 3D 프린터를 통해 상기 오브젝트(140)가 실물로 제작되도록 하는 것도 가능하다. Here, the drawing file may be a drawing file for an object previously produced by the user. If the drawing file is not produced in advance, the drawing file may be actually produced and provided to the user in advance through an offline path. In this case, when the drawing file is provided, the control server 120 transmits the provided drawing file to the 3D printer connected to the control server 120 so that the object 140 is actually produced through the 3D printer. It is also possible.

상기 제어서버(120)는 상기 도면파일을 인식함에 의해 상기 오브젝트(140)의 형상 및 사이즈를 인식할 수 있다(S124). 도면파일을 통해 형상이나 사이즈를 인식하는 방법은 통상의 기술자에게 잘 알려져 있다. The control server 120 may recognize the shape and size of the object 140 by recognizing the drawing file (S124). A method of recognizing a shape or a size through a drawing file is well known to those skilled in the art.

상기 오브젝트(140)의 형상 및 사이즈가 인식되면(S124), 상기 제어서버(120)에서는 상기 사용자 단말기(110)를 통해 선택된 영상콘텐츠를 상기 오브젝트(140)의 형상 및 사이즈에 맞게 가공한다(S126).If the shape and size of the object 140 is recognized (S124), the control server 120 processes the image content selected through the user terminal 110 to match the shape and size of the object 140 (S126). ).

영상 콘텐츠 가공은 여러 가지 방법으로 수행될 수 있다. 예를 들면, 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하여, 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분 만이 재생될 수 있도록 가공하는 것이다. 예를 들어, 오브젝트(140)의 형상이 원형인 경우, 원형부분의 영상은 재생되도록 하고, 원형 이외의 부분은 마스킹 처리하여 재생되지 않도록 가공하는 것이다.Image content processing can be performed in various ways. For example, by masking the remaining portions of the image content except the image portion corresponding to the shape and size of the object 140, only the image portion corresponding to the shape and size of the object 140 can be reproduced. It is. For example, when the shape of the object 140 is circular, the image of the circular portion is reproduced, and the portion other than the circular portion is processed so as not to be reproduced by masking.

이외에 선택된 영상콘텐츠를 상기 영상콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분만을 절단하여 절단된 영상부분만이 재생되도록 가공하는 것도 가능하고, 선택된 영상콘텐츠를 원형, 사각형, 삼각형 등을 기본으로 복수로 분할하고 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상으로 매핑하는 가공을 수행하는 것도 가능하다. 이외에 통상의 기술자에게 알려진 다양한 매핑방법 및 가공방법이 사용될 수 있다.In addition, the selected image content may be processed to cut only the image portion corresponding to the shape and size of the object 140 from the image content so that only the cut image portion is reproduced. It is also possible to perform a process of dividing the image into a plurality of bases and mapping them to an image corresponding to the shape and size of the object 140. In addition, various mapping methods and processing methods known to those skilled in the art may be used.

가공된 영상콘텐츠는 상기 제어서버(120)에서 상기 영상 송출기(130)에 스트리밍 방식이나 기타 다양한 방식으로 전송될 수 있으며(S128), 상기 영상송출기(130)에서는 제공되는 영상콘텐츠를 상기 오브젝트(140)에 투사하여 영상콘텐츠가 재생되도록 한다.The processed video content may be transmitted from the control server 120 to the video transmitter 130 in a streaming manner or other various methods (S128), and the video content provided from the video transmitter 130 may be the object 140. ) To play back the image contents.

이를 위해 상기 제어서버(120)는, 미디어 서버, 프로그램 서버, 송출서버를 포함할 수 있다. To this end, the control server 120 may include a media server, a program server, a transmission server.

상기 미디어 서버는, 사용자에게 제공될 복수의 영상 콘텐츠들 및 사용자에 의해 제공된 영상콘텐츠를 저장하고, 사용자에 의해 선택된 영상 콘텐츠를 상기 프로그램서버에 제공한다.The media server stores a plurality of image contents to be provided to the user and image contents provided by the user, and provides the image server selected by the user to the program server.

상기 프로그램 서버는 상기 형상정보를 통해 상기 오브젝트(140)의 형상 및 사이즈를 인식하고, 사용자에 의해 선택되어 상기 미디어 서버에서 제공된 영상 콘텐츠에서 상기 오브젝트(140)의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하는 방식으로 영상콘텐츠를 가공하여, 가공된 영상콘텐츠를 상기 송출서버에 제공한다.The program server recognizes the shape and size of the object 140 through the shape information, and selects an image portion corresponding to the shape and size of the object 140 from the image content selected by the user and provided from the media server. The video content is processed in a manner of masking the remaining parts except for providing the processed video content to the delivery server.

상기 송출서버는, 상기 프로그램 서버에서 제공되는 가공된 영상콘텐츠를 사용자의 영상송출기(130)에 제공하여 상기 오브젝트(140)에 재생되도록 하게 된다.The transmission server provides the processed image content provided by the program server to the user's image transmitter 130 to be reproduced in the object 140.

상술한 바와 같이, 본 발명에 따르면, 사용자가 원하는 형상 및 사이즈의 오브젝트에 사용자가 원하는 영상 콘텐츠를 재생하는 것이 가능하므로, 사용자 맞춤형 영상 콘텐츠 재생이 가능한 장점이 있다. 또한 시간과 장소에 구애됨이 없이 적용이 가능하고, 저비용으로 손쉽게 조성할 수 있는 장점이 있다. As described above, according to the present invention, since it is possible to reproduce the video content desired by the user on an object having a shape and size desired by the user, there is an advantage that the user-customized video content can be reproduced. In addition, it can be applied without regard to time and place, there is an advantage that can be easily created at low cost.

상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다. The description of the above embodiments is merely given by way of example with reference to the drawings for a more thorough understanding of the present invention, and should not be construed as limiting the present invention. In addition, it will be apparent to those skilled in the art that various changes and modifications can be made without departing from the basic principles of the present invention.

110 : 사용자 단말기 120 : 제어서버
130 : 영상송출기 140 : 오브젝트 110: user terminal 120: control server
130: image transmitter 140: object

Claims (10)

미디어 영상 콘텐츠 가공 및 재생장치에 있어서:
영상 콘텐츠가 출력되는 원형 또는 다각형 형상으로 구성되는 복수의 스크린면들을 구비하는 오브젝트에 대한 형상정보를 제공하고, 상기 오브젝트에 재생될 영상 콘덴츠가 선택되는 사용자 단말기와;
상기 사용자 단말기를 통해 제공되는 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식하고, 사용자단말기를 통해 영상콘텐츠가 선택되면 선택된 영상콘텐츠를 상기 오브젝트의 형상 및 사이즈에 맞게 가공하고, 가공된 영상콘텐츠를 사용자의 영상송출기에 제공하여 상기 오브젝트에 재생되도록 하는 제어서버를 구비하고,
상기 형상정보는, 상기 사용자 단말기에 내장된 카메라를 이용하여 상기 오브젝트를 촬영한 촬영영상으로 제공되는 형상정보, 상기 사용자 단말기의 전용 어플리케이션 프로그램을 통해 제공되는 원형, 삼각형 또는 직사각형의 형상체를 이용하여 사용자에 의해 제작되는 가상의 오브젝트에 대한 형상정보, 사용자가 원하는 형상의 오브젝트를 도시한 도면파일로서 제공되는 형상정보 중 어느 하나이고,
상기 제어서버는 OpenCV 프로그램 및 딥러닝을 적용하여, 상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식하며,
상기 오브젝트는 원형 또는 다각형의 스크린면이 복수개로 구비되어 3차원 형상을 이루는 구조의 오브젝트이고,
상기 제어서버는 상기 선택된 영상콘텐츠를 원형, 사각형, 삼각형을 기본으로 복수로 분할하고 상기 오브젝트의 형상 및 사이즈에 대응되는 영상으로 매핑하는 가공을 수행하고,
상기 영상 송출기는 상기 오브젝트의 복수의 스크린 면들에 대하여, 대응되는 복수의 프로젝터를 통해 서로 동기되고 분할된 영상들을 각각의 스크린 면에 재생하는 것을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.In the media image content processing and playback device:
A user terminal providing shape information on an object having a plurality of screen surfaces configured in a circular or polygonal shape in which image content is output, and selecting image content to be reproduced in the object;
Recognize the shape and size of the object through the shape information provided through the user terminal, and if the image content is selected through the user terminal, the selected image content is processed according to the shape and size of the object, the processed image content It is provided with a control server for providing to the user's video transmitter to be reproduced on the object,
The shape information may be formed by using shape information provided as a captured image photographing the object using a camera built in the user terminal, and a circular, triangular, or rectangular shape provided through a dedicated application program of the user terminal. One of the shape information of the virtual object produced by the user and the shape information provided as a drawing file showing an object of a desired shape,
The control server recognizes the shape and size of the object through the shape information by applying an OpenCV program and deep learning,
The object is an object of a structure having a plurality of circular or polygonal screen surface to form a three-dimensional shape,
The control server divides the selected image content into a plurality of circles, rectangles, and triangles based on the plurality, and performs a process of mapping the image content into an image corresponding to the shape and size of the object.
And the image transmitter reproduces, on each screen side, images synchronized and divided with each other through a plurality of projectors corresponding to the plurality of screen surfaces of the object. 삭제delete 삭제delete 청구항 1에 있어서,
상기 제어서버는 상기 가상의 오브젝트가 제작되면, 상기 가상의 오브젝트에 상기 사용자에 의해 선택된 영상 콘텐츠가 재생되도록 하여, 상기 가상의 오브젝트에 재생되는 영상콘텐츠를 사용자가 확인할 수 있도록 하는 것을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.The method according to claim 1,
When the virtual object is produced, the control server causes the virtual object to play the video content selected by the user, so that the user can check the video content played in the virtual object. Image content processing and playback device. 삭제delete 청구항 1에 있어서,
상기 도면파일은 3D 도면파일임을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.The method according to claim 1,
And the drawing file is a 3D drawing file. 청구항 6에 있어서,
상기 제어서버는 상기 사용자 단말기를 통해 상기 도면파일이 제공되면, 제공된 도면파일을 상기 제어서버에 연결된 3D 프린터에 전송하여 상기 3D 프린터를 통해 상기 오브젝트가 제작되도록 함을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.The method according to claim 6,
When the drawing file is provided through the user terminal, the control server transmits the provided drawing file to a 3D printer connected to the control server so that the object is produced through the 3D printer. Playback device. 청구항 1에 있어서,
상기 사용자에 의해 선택되는 영상콘텐츠는, 상기 제어서버에 저장된 복수의 영상콘텐츠들 중 사용자에 의해 선택된 영상콘텐츠이거나 사용자에 의해 별도로 제공된 영상콘텐츠임을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.The method according to claim 1,
And the video content selected by the user is a video content selected by the user from among a plurality of video contents stored in the control server or a video content separately provided by the user. 삭제delete 청구항 8에 있어서,
상기 제어서버는,
사용자에게 제공될 복수의 영상 콘텐츠들 및 사용자에 의해 제공된 영상콘텐츠를 저장하고, 사용자에 의해 선택된 영상 콘텐츠를 제공하기 위한 미디어 서버와;
상기 형상정보를 통해 상기 오브젝트의 형상 및 사이즈를 인식하고, 사용자에 의해 선택되어 상기 미디어 서버에서 제공된 영상 콘텐츠에서 상기 오브젝트의 형상 및 사이즈에 대응되는 영상부분을 제외한 나머지 부분을 마스킹하는 방식으로 영상콘텐츠를 가공하여, 가공된 영상콘텐츠를 제공하는 프로그램 서버와;
상기 프로그램 서버에서 제공되는 가공된 영상콘텐츠를 사용자의 영상송출기에 제공하여 상기 오브젝트에 재생되도록 하는 송출 서버를 구비함을 특징으로 하는 미디어 영상 콘텐츠 가공 및 재생장치.The method according to claim 8,
The control server,
A media server for storing a plurality of image contents to be provided to the user and image contents provided by the user, and providing the image contents selected by the user;
Image contents by recognizing the shape and size of the object through the shape information, and masking the remaining portion except for the image portion corresponding to the shape and size of the object in the image content selected by the user and provided by the media server A program server for processing the and providing the processed video content;
And a transmission server for providing the processed image contents provided from the program server to a user's image transmitter to be reproduced on the object.
KR1020190049081A 2019-04-26 2019-04-26 Media image contents compilation and display apparatus for various object KR102027477B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190049081A KR102027477B1 (en) 2019-04-26 2019-04-26 Media image contents compilation and display apparatus for various object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049081A KR102027477B1 (en) 2019-04-26 2019-04-26 Media image contents compilation and display apparatus for various object

Publications (1)

Publication Number Publication Date
KR102027477B1 true KR102027477B1 (en) 2019-10-01

Family

ID=68207360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049081A KR102027477B1 (en) 2019-04-26 2019-04-26 Media image contents compilation and display apparatus for various object

Country Status (1)

Country Link
KR (1) KR102027477B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943292B1 (en) * 2009-08-07 2010-02-23 (주)옴니레이저 Image projection system and method for projection image using the same
KR20120097785A (en) 2011-02-25 2012-09-05 주식회사 틴로봇 Interactive media mapping system and method thereof
JP2016218175A (en) * 2015-05-18 2016-12-22 株式会社サカワ Electronic blackboard system
JP2017028430A (en) * 2015-07-21 2017-02-02 日本電信電話株式会社 Projection method, projection apparatus, and projection program
KR20170102749A (en) * 2016-03-02 2017-09-12 한국전자통신연구원 Apparatus and Method for Generating 3D Model using Mobile Device
JP2018156408A (en) * 2017-03-17 2018-10-04 マクセル株式会社 Image recognizing and capturing apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943292B1 (en) * 2009-08-07 2010-02-23 (주)옴니레이저 Image projection system and method for projection image using the same
KR20120097785A (en) 2011-02-25 2012-09-05 주식회사 틴로봇 Interactive media mapping system and method thereof
JP2016218175A (en) * 2015-05-18 2016-12-22 株式会社サカワ Electronic blackboard system
JP2017028430A (en) * 2015-07-21 2017-02-02 日本電信電話株式会社 Projection method, projection apparatus, and projection program
KR20170102749A (en) * 2016-03-02 2017-09-12 한국전자통신연구원 Apparatus and Method for Generating 3D Model using Mobile Device
JP2018156408A (en) * 2017-03-17 2018-10-04 マクセル株式会社 Image recognizing and capturing apparatus

Similar Documents

Publication Publication Date Title
US11334687B2 (en) Systems and methods for authenticating photographic image data
US8644467B2 (en) Video conferencing system, method, and computer program storage device
CN105981368B (en) Picture composition and position guidance in an imaging device
US9760976B2 (en) Image processing apparatus and image processing method
JP2023512410A (en) Project, control, and manage user device applications using connection resources
US20220044705A1 (en) Controlling capture of content using one or more client electronic devices
US10051196B2 (en) Projecting light at angle corresponding to the field of view of a camera
US9560314B2 (en) Interactive and shared surfaces
CN114402204A (en) Computing device
CN110770785B (en) Screen sharing for display in VR
KR101725884B1 (en) Automatic processing of images
JP6300792B2 (en) Enhancing captured data
JP6705097B2 (en) Communication protocol between platform and image device
US11871147B2 (en) Adjusting participant gaze in video conferences
US9384384B1 (en) Adjusting faces displayed in images
KR20100120191A (en) N-way multimedia collaboration system
KR102641738B1 (en) Image processing method and electronic device supporting the same
US10860166B2 (en) Electronic apparatus and image processing method for generating a depth adjusted image file
US10573277B2 (en) Display device, display system, and non-transitory recording medium, to adjust position of second image in accordance with adjusted zoom ratio of first image
US7970833B2 (en) Image capture method, system and apparatus
US11206294B2 (en) Method for separating local and remote content in a camera-projector based collaborative system
KR102027477B1 (en) Media image contents compilation and display apparatus for various object
US10530970B2 (en) Automatic output metadata determination based on output device and substrate
EP3048524B1 (en) Document display support device, terminal, document display method, and computer-readable storage medium for computer program
US20210352206A1 (en) Digital media frame and method for configuring a field of view of a digital media frame

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant