KR20220079060A - Resource database device for document-based video resource matching and multimedia conversion content production - Google Patents
Resource database device for document-based video resource matching and multimedia conversion content production Download PDFInfo
- Publication number
- KR20220079060A KR20220079060A KR1020200168469A KR20200168469A KR20220079060A KR 20220079060 A KR20220079060 A KR 20220079060A KR 1020200168469 A KR1020200168469 A KR 1020200168469A KR 20200168469 A KR20200168469 A KR 20200168469A KR 20220079060 A KR20220079060 A KR 20220079060A
- Authority
- KR
- South Korea
- Prior art keywords
- resource
- data
- content
- information
- database
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 44
- 238000004519 manufacturing process Methods 0.000 title claims description 36
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/289—Object oriented databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Abstract
본 발명의 실시 예에 따른 방법은, 영상, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보를 포함하는 리소스 콘텐츠를 입력받거나, 외부 네트워크를 통해 수집하여 저장하는 데이터 저장부; 물리 환경 관리부에서 물리적으로 저장된 데이터 저장부의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리하는 메타스토어 데이터베이스; 메타스토어 데이터베이스를 통해 리소스 콘텐츠를 분류 저장 및 관리하는 논리 모델 관리부; 및 리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행하는 인터페이스부를 포함한다.A method according to an embodiment of the present invention includes: a data storage unit for receiving resource content including video, animation, background image, sound, font (font), and layout information, or collecting and storing it through an external network; a metastore database for storing and managing metadata for indexing the big data-based content data of the data storage unit physically stored in the physical environment management unit; a logical model management unit that classifies, stores, and manages resource contents through a metastore database; and an interface unit for performing distributed input/output interface processing of resource content data.
Description
본 발명은 서비스 제공 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 변환 데상 데이터에 영상 리소스 매칭하여 멀티미디어 변환 콘텐츠 제작하기 위한 문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치에 관한 것이다.The present invention relates to a service providing method and an apparatus therefor. More specifically, the present invention relates to a resource database apparatus for producing a document-based multimedia conversion content for producing a multimedia conversion content by matching an image resource to the converted representation data.
최근 영상 및 콘텐츠 제작기술의 발달로, 개인화된 다양한 멀티미디어 콘텐츠들이 제작되고 있으며, 소셜 네트워킹 서비스 등을 통해 유통 및 소비되고 있다. 유튜브로 대표되는 멀티미디어 콘텐츠 공유 서비스는 그 제작자 및 사용자가 기하급수적으로 증가되고 있으며, 영상 콘텐츠 제작을 위한 다양한 전문화 툴 또한 사용자 편의성 측면에서 개발되고 있다.With the recent development of video and content production technology, various personalized multimedia contents are being produced and distributed and consumed through social networking services. In the multimedia content sharing service represented by YouTube, its creators and users are increasing exponentially, and various specialized tools for video content production are also being developed in terms of user convenience.
그러나, 아직까지도 이러한 전문화 툴의 사용이 편리하지만은 못한 실정이다. 고품질의 멀티미디어 콘텐츠 제작을 위하여는, 전문화 툴을 잘 사용하는 전문가의 시간 및 기술 인력이 투입되어야 하며, 제작을 위한 자료 공수의 어려움 및 이에 따른 제작 비용이 소요되고 있는 실정이다.However, it is still not convenient to use these specialized tools. In order to produce high-quality multimedia contents, the time and technical manpower of experts who use specialized tools well must be input, and the difficulty of material handling for production and production costs are incurred accordingly.
특히, 이러한 문제점은 기존의 텍스트 포맷 문서들을 정보전달력을 높이기 위해 멀티미디어 콘텐츠로 전환하는 작업에서 더욱 크게 나타난다. 통상의 보고서와 같은 텍스트 문서를 영상 콘텐츠로 제작하려면, 관련 영상 자료의 수집, 전문화 툴의 사용, 전문가의 기술 인력 및 시간 비용이 과도하게 소요되게 된다.In particular, this problem is more pronounced in the work of converting existing text format documents into multimedia contents in order to enhance information delivery power. In order to produce a text document such as a normal report as video content, collection of related video data, use of specialized tools, technical personnel and time costs of experts are excessively required.
본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 멀티미디어 콘텐츠 포맷이 아닌 통상의 문서와 같은 대상 데이터를 사전 설정 및 학습된 분석 프로세스에 따라 리소스 매칭, 변환 및 가공 처리하여, 별도의 전문적인 툴 또는 전문가 참여 없이도 쉽고 용이하면서 빠르게 대상 데이터 기반의 멀티미디어 변환 콘텐츠를 제작할 수 있도록 하는 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치의 리소스 데이터 베이스 구축방법 및 그 장치를 제공하는데 그 목적 있다.The present invention has been devised to solve the above problems, and by matching, converting, and processing target data such as a normal document, not a multimedia content format, resource matching, conversion and processing according to a preset and learned analysis process, An object of the present invention is to provide a method for constructing a resource database of a multimedia conversion content production service providing device that enables easy, easy and fast production of multimedia conversion content based on target data without the participation of tools or experts, and an apparatus thereof.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 변환 대상 데이터의 요소 정보에 대응되는 리소스 콘텐츠를 리소스 데이터 베이스로부터 획득하고 매칭시켜 멀티미디어 콘텐츠 합성 및 변환하는 서비스 제공장치의 리소스 데이터 베이스 구축방법에 있어서, 영상, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보를 포함하는 리소스 콘텐츠를 입력받거나, 외부 네트워크를 통해 수집하여 데이터 저장부에 저장하는 데이터 저장단계; 물리 환경 관리부에서 물리적으로 저장된 데이터 저장부의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리하는 메타스토어 데이터베이스 저장관리단계; 메타스토어 데이터베이스를 통해 리소스 콘텐츠를 분류 저장 및 관리하는 논리 모델 관리 단계; 및 리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행하는 인터페이스 단계를 포함한다.In a method according to an embodiment of the present invention for solving the above-described problem, a resource content corresponding to element information of data to be converted is obtained from a resource database and matched to a resource of a service providing apparatus for synthesizing and converting multimedia content A method for constructing a database, comprising: a data storage step of receiving resource content including video, animation, background image, sound, font (font), and layout information, or collecting it through an external network and storing it in a data storage unit; A metastore database storage management step of storing and managing metadata for indexing the big data-based content data of the physically stored data storage unit in the physical environment management unit; Logical model management step of classifying, storing and managing resource contents through a metastore database; and an interface step of performing distributed input/output interface processing of resource content data.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 서비스 제공장치는, 변환 대상 데이터가 입력되는 입력부; 상기 대상 데이터로부터 요소 정보를 추출하는 요소 정보 추출부; 상기 요소 정보에 대응하는 영상 리소스 매칭을 기반으로 제작 인터페이스를 제공하는 인터페이스 제공부; 상기 제작 인터페이스에 대한 사용자 입력에 따라, 멀티미디어 콘텐츠 합성 및 변환 처리를 수행하여, 멀티미디어 변환 콘텐츠를 획득하는 콘텐츠 합성 변환부; 및 상기 멀티미디어 변환 콘텐츠를 출력하는 출력부를 포함한다.In addition, a service providing apparatus according to an embodiment of the present invention for solving the above-described problems, the input unit to which conversion target data is input; an element information extraction unit for extracting element information from the target data; an interface providing unit that provides a production interface based on image resource matching corresponding to the element information; a content synthesizing/converting unit configured to obtain multimedia converted content by performing multimedia content synthesizing and converting processing according to a user input to the production interface; and an output unit for outputting the multimedia conversion content.
본 발명에 의한 리소스 데이터 베이스는, 변환 대상 데이터의 요소 정보에 대응되는 리소스 콘텐츠를 리소스 데이터 베이스로부터 획득하고 매칭시켜 멀티미디어 콘텐츠 합성 및 변환하는 서비스 제공장치의 리소스 데이터 베이스에 있어서, 영상, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보를 포함하는 리소스 콘텐츠를 입력받거나, 외부 네트워크를 통해 수집하여 저장하는 데이터 저장부와; 물리 환경 관리부에서 물리적으로 저장된 데이터 저장부의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리하는 메타스토어 데이터베이스와; 메타스토어 데이터베이스를 통해 리소스 콘텐츠를 분류 저장 및 관리하는 논리 모델 관리부와; 리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행하는 인터페이스부; 를 포함한다.The resource database according to the present invention is a resource database of a service providing apparatus for synthesizing and converting multimedia content by acquiring and matching resource content corresponding to element information of data to be converted from the resource database, image, animation, background a data storage unit that receives resource contents including images, sounds, fonts (fonts) and layout information, or collects and stores them through an external network; a metastore database for storing and managing metadata for indexing the big data-based content data of the data storage unit physically stored in the physical environment management unit; a logical model management unit for classifying, storing, and managing resource contents through a metastore database; an interface unit for performing distributed input/output interface processing of resource content data; includes
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램 및 상기 프로그램이 기록된 기록 매체로 구현될 수 있다.On the other hand, the method according to an embodiment of the present invention for solving the above problems may be implemented as a program for executing the method in a computer and a recording medium in which the program is recorded.
본 발명의 실시 예에 따르면, 변환 대상 데이터가 입력되면, 대상 데이터로부터 요소 정보를 추출하고, 요소 정보에 대응하는 영상 리소스 매칭을 기반으로 제작 인터페이스를 제공할 수 있으며, 제작 인터페이스에 대한 사용자 입력에 따라, 멀티미디어 콘텐츠 합성 및 변환 서비스를 수행함으로써, 대상 데이터로부터 변환되는 멀티미디어 영상 변환 콘텐츠 제작을 편리하게 한다.According to an embodiment of the present invention, when conversion target data is input, element information can be extracted from the target data, and a production interface can be provided based on image resource matching corresponding to the element information, and a user input to the production interface can be provided. Accordingly, by performing multimedia content synthesis and conversion service, it is convenient to produce multimedia image conversion content converted from target data.
이에 따라, 본 발명의 실시 예에 따른 서비스 제공 장치는, 멀티미디어 콘텐츠 포맷이 아닌 통상의 문서와 같은 대상 데이터를 사전 설정 및 학습된 분석 프로세스에 따라 리소스 매칭, 변환 및 가공 처리할 수 있으며, 별도의 전문적인 툴 또는 전문가 참여 없이도 쉽고 용이하면서 빠르게 대상 데이터 기반의 멀티미디어 변환 콘텐츠를 제작할 수 있게 한다.Accordingly, the service providing apparatus according to an embodiment of the present invention may perform resource matching, conversion, and processing of target data such as a normal document, which is not a multimedia content format, according to a preset and learned analysis process, and separate It enables easy, easy, and fast creation of multimedia conversion content based on target data without professional tools or expert participation.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 합성 변환된 영상 멀티미디어 콘텐츠 예시도이다.
도 5는 본 발명의 실시 예에 따른 입력 데이터로부터 멀티미디어 콘텐츠 데이터로 변환되는 과정을 예시적으로 설명하기 위한 도면이다.
도 6 내지 도 7은 본 발명의 실시 예에 따른 리소스 데이터베이스를 설명하기 위한 도면이다.
도 9은 본 발명의 실시 예에 따른 제작 인터페이스를 보다 구체적으로 설명하기 위한 도면이다.1 is a conceptual diagram schematically illustrating an entire system according to an embodiment of the present invention.
2 is a block diagram illustrating a service providing apparatus according to an embodiment of the present invention in more detail.
3 is a flowchart illustrating an operation of a service providing apparatus according to an embodiment of the present invention.
4 is an exemplary diagram of synthesized-converted video multimedia content according to an embodiment of the present invention.
5 is a diagram for explaining a process of converting input data into multimedia content data according to an embodiment of the present invention.
6 to 7 are diagrams for explaining a resource database according to an embodiment of the present invention.
9 is a diagram for describing a manufacturing interface according to an embodiment of the present invention in more detail.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. Further, it is to be understood that all conditional terms and examples listed herein are, in principle, expressly intended solely for the purpose of enabling the concept of the present invention to be understood, and not limited to the specifically enumerated embodiments and states as such. should be
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.Moreover, it is to be understood that all detailed description reciting the principles, aspects, and embodiments of the invention, as well as specific embodiments, are intended to cover structural and functional equivalents of such matters. It should also be understood that such equivalents include not only currently known equivalents, but also equivalents developed in the future, i.e., all devices invented to perform the same function, regardless of structure.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein are to be understood as representing conceptual views of illustrative circuitry embodying the principles of the present invention. Similarly, all flowcharts, state transition diagrams, pseudo code, etc. may be tangibly embodied on computer-readable media and be understood to represent various processes performed by a computer or processor, whether or not a computer or processor is explicitly shown. should be
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.In addition, the clear use of terms presented as processor, control, or similar concepts should not be construed as exclusively referring to hardware having the ability to execute software, and without limitation, digital signal processor (DSP) hardware, ROM for storing software. It should be understood to implicitly include (ROM), RAM (RAM) and non-volatile memory. Other common hardware may also be included.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. The above objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating an entire system according to an embodiment of the present invention.
도 1을 참조하면 본 발명의 일 실시 예에 따른 시스템은, 서비스 제공 장치(100), 사용자 단말(200) 및 멀티미디어 콘텐츠 서버(300)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment of the present invention may include a service providing apparatus 100 , a
본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 사용자 단말(200)로부터의 변환 대상 데이터를 입력 데이터로 처리하고, 이에 대응하는 요소 정보의 리소스 매칭 기반 멀티미디어 콘텐츠 변환을 수행할 수 있으며, 변환된 멀티미디어 콘텐츠는 멀티미디어 콘텐츠 서버(300)로 출력되어 하나 이상의 서비스 이용자 단말로 배포될 수 있다.The service providing apparatus 100 according to an embodiment of the present invention may process the conversion target data from the
이를 위해, 보다 구체적으로, 서비스 제공 장치(100)는, 사용자 단말(200)로부터 변환 대상 데이터가 입력되면, 상기 대상 데이터로부터 요소 정보를 추출하고, 상기 요소 정보에 대응하는 영상 리소스 매칭을 기반으로 사용자 단말(200)로의 제작 인터페이스를 제공하며, 상기 제작 인터페이스에 대한 사용자 입력에 따라, 멀티미디어 콘텐츠 합성 및 변환 처리를 수행하여, 멀티미디어 변환 콘텐츠를 획득하며, 상기 멀티미디어 변환 콘텐츠를 멀티미디어 콘텐츠 서버(300)로 출력한다.To this end, more specifically, the service providing apparatus 100, when the conversion target data is input from the
이에 따라, 입력 대상 데이터로부터 변환 출력된 멀티미디어 변환 콘텐츠는 멀티미디어 콘텐츠 서버(300)를 통해 하나 이상의 다른 사용자 단말로 배포될 수 있으며, 멀티미디어 콘텐츠 서버(300)는 멀티미디어 변환 콘텐츠 기반의 다양한 정보 제공 서비스를 처리할 수 있다.Accordingly, the multimedia converted content converted from the input target data may be distributed to one or more other user terminals through the multimedia content server 300, and the multimedia content server 300 provides various information providing services based on the multimedia converted content. can be processed
이러한 사용자 단말(200), 서비스 제공 장치(100) 및 멀티미디어 콘텐츠 서버(300)는 네트워크를 통해 유선 또는 무선으로 연결될 수 있으며, 네트워크간 상호간 통신을 위해 각 사용자 단말(200), 서비스 제공 장치(100) 및 멀티미디어 콘텐츠 서버(300)는 인터넷 네트워크, LAN, WAN, PSTN(Public Switched Telephone Network), PSDN(Public Switched Data Network), 케이블 TV 망, WIFI, 이동 통신망 및 기타 무선 통신망 등을 통하여 데이터를 송수신할 수 있다. 사용자 단말(200), 서비스 제공 장치(100) 및 멀티미디어 콘텐츠 서버(300)는 각 통신망에 상응하는 프로토콜로 통신하기 위한 각각의 통신 모듈을 포함할 수 있다.The
그리고, 본 명세서에서 설명되는 사용자 단말(200)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있으나, 본 발명은 이에 한정되지 아니하며 그 이외에 사용자 입력 및 정보 표시 등이 가능한 다양한 장치일 수 있다.In addition, the
이와 같은 시스템에 있어서, 사용자 단말(200)은 서비스 제공 장치(100)로부터 입력 데이터의 리소스 매칭 기반 멀티미디어 콘텐츠 변환 서비스를 제공받을 수 있으며, 변환된 멀티미디어 콘텐츠 데이터에 기반한 부가 정보 서비스를 제공받을 수 있다.In such a system, the
특히, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 요소 정보 추출에 있어서, 사전 설정된 자연어 처리 알고리즘에 따라, 변환 대상 입력 데이터의 패턴 및 통계적 유사성에 따른 핵심 요소 정보를 텍스트 기반으로 추출할 수 있으며, 추출된 텍스트 기반의 요소 정보를 이용한 영상, 이미지, 텍스트, 애니메이션, 글꼴(색상, 크기, 폰트) 및 오디오를 프레임 병합 레이어별로 최적화 매칭시키는 리소스 매칭 처리를 수행할 수 있으며, 매칭 처리된 요소 정보를 이용한 제작 인터페이스 제공 및 사용자 입력에 따른 상기 프레임 병합 레이어 기반의 최적화된 멀티미디어 변환 콘텐츠를 생성할 수 있다.다양한 포맷의 시장 보고서, 통계 보고서, 기업 소개서, 상업 광고지, 이력서, 자기 소개서 등과 같은 일반적 문서나 이미지 데이터In particular, in extracting element information, the service providing apparatus 100 according to an embodiment of the present invention extracts core element information according to a pattern and statistical similarity of input data to be converted based on text according to a preset natural language processing algorithm. resource matching processing that optimizes matching video, image, text, animation, font (color, size, font), and audio for each frame merge layer using the extracted text-based element information, and matching processing It is possible to provide a production interface using the element information and create optimized multimedia conversion contents based on the frame merge layer according to user input. Market reports, statistical reports, company introductions, commercial flyers, resumes, self-introductions, etc. in various formats General document or image data such as
이에 따라, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 가 입력되더라도, 요소 분석을 통해 추출된 요소 정보와 영상 콘텐츠 리소스 매칭을 처리함으로써, 최적화된 프레임 병합에 의한 멀티미디어 영상 콘텐츠가 쉽고 빠르게 제작될 수 있는 바, 멀티미디어 영상 콘텐츠 제작에 소요되는 전문인력과 비용, 시간 등을 크게 절감할 수 있으며, 영상 편집에 대한 비전문가라 하더라도 서비스 제공 장치(100)의 매칭 제안에 따른 일반 문서 기반의 멀티미디어 영상 콘텐츠 제작을 가능하게 한다.Accordingly, the service providing apparatus 100 according to an embodiment of the present invention processes the element information extracted through element analysis and image content resource matching even when is input, so that multimedia image content by optimized frame merging is easy Since it can be produced quickly, it is possible to greatly reduce the professional manpower, cost, and time required for the production of multimedia video content, and even non-experts in video editing can use the general document-based method according to the matching suggestion of the service providing device 100 It enables the creation of multimedia video contents.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.2 is a block diagram for explaining in more detail an apparatus for providing a service according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 대상 데이터 입력부(110), 요소 정보 추출부(120), 영상 리소스 매칭부(130), 제작 인터페이스 제공부(140), 콘텐츠 합성 변환부(150), 학습 데이터베이스(160), 리소스 데이터베이스(180) 및 출력부(170)를 포함한다.Referring to FIG. 2 , the service providing apparatus 100 according to an embodiment of the present invention includes a target
먼저, 입력부(110)는, 멀티미디어 콘텐츠 변환을 위한 대상 데이터를 사용자 단말(200)로부터 입력받아 요소 정보 추출부(120)로 전달한다.First, the
입력부(110)는, 사용자 단말(200)로부터 대상 데이터를 입력받기 위한 하나 이상의 입력 인터페이스를 포함할 수 있다. 예를 들어, 상기 대상 데이터는 사용자 단말(200)로부터 입력된 문서 데이터일 수 있으며, 보고서, 기업 소개서, 자기 소개서, 상업 광고문서 등 다양한 포맷의 데이터를 포함할 수 있다. 나아가 대상 데이터는 특정 사이트로부터 추출되는 뉴스 기사 문서이거나, 소셜 미디어(SNS) 문서 등도 포함될 수 있다.The
그리고, 입력부(110)는, 사용자 단말(200)로부터 입력된 대상 데이터의 포맷식별을 처리할 수 있으며, 포맷 식별 정보는 요소 정보 추출부(120)로 전달될 수있다. 포맷 식별 정보는 예를 들어, 문서 타입을 나타낼 수 있으며, 소설, 수필, 뉴스 기사, 기안서, 기획서, 계획서, 영업보고서, 결산보고서, 회의 보고서 등의 다양한 문서 타입이 예시될 수 있다.In addition, the
또한, 입력부(110)는 대상 데이터에 대응하는 주요 요소 데이터를 더 입력받을 수도 있다. 주요 요소 데이터는 예를 들어, 사용자 단말(200)에서 입력된 핵심 키워드, 보고서 종류, 기업 특성 정보, 주요 기업명, 주요 회사명, 주요 인물명 등이 예시될 수 있으며, 요소 정보 추출부(120)의 요소 정보 추출시 주요 요소 데이터에 대응하는 가중치가 할당될 수 있다.Also, the
요소 정보 추출부(120)는, 입력된 대상 데이터를 영상 리소스가 매칭 가능한 하나 이상의 요소 데이터로 구분하기 위한 요소 정보를 추출할 수 있다.The element
여기서, 요소 정보 추출은 사전 설정된 자연어 처리 알고리즘을 이용하여, 대상 데이터로부터 텍스트 포맷의 요소 데이터를 추출하고, 추출된 요소 정보를 영상 리소스 매칭부(130)로 전달한다.Here, the element information extraction extracts element data in a text format from the target data using a preset natural language processing algorithm, and transmits the extracted element information to the image
특히, 요소 정보 추출부(120)는, 대상 데이터의 주요 요소 데이터와 포맷 식별 정보에 기초하여, 영상 리소스에 매칭하기 위한 상기 대상 데이터의 자연어 처리 프로세스를 결정할 수 있다. 여기서, 상기 자연어 처리 프로세스는 딥러닝 프로세스에 의해 사전 학습된 텍스트 요약 프로세스가 예시될 수 있다.In particular, the
이에 따라, 요소 정보 추출부(120)는 텍스트 요약 프로세스를 수행하여, 대상 데이터로부터 중요한 문장 또는 단어를 추출하고, 하나 이상의 요약 문장을 합성하여 요소 정보로서 출력할 수 있다.Accordingly, the element
또한, 요소 정보 추출부(120)는, 텍스트 요약 프로세스를 결정함에 있어서, 대상 데이터의 포맷 식별 정보에 따라 서로 다른 하나 이상의 언어모델을 적용할 수 있다. 언어모델은 추출 모델 또는 합성 모델이 예시될 수 있으며, 기업 특성 및 문서의 종류에 따라 서로 다른 모델이 결정될 수 있다.Also, in determining the text summary process, the
예를 들어, 요소 정보 추출부(120)는, 대상 데이터에 대응하여 입력된 주요 요소 정보에 대기업이나 중견기업 정보가 포함된 경우, 보고서 또는 약관과 같은 대량 문서의 포맷 식별 정보에 대응하여, 대상 데이터에 대한 추출 모델을 적용하여, 원문에서의 중요한 문장 정보를 요소 정보로서 그대로 추출할 수 있다.For example, the element
또한, 요소 정보 추출부(120)는, 대상 데이터에 대응하여 입력된 주요 요소 정보에 소상공인, 스타트업 또는 크리에이터 정보 등이 포함된 경우, 뉴스칼럼, 강의자료, 라이프스타일 자료 등과 같은 소량 문서의 포맷 식별 정보에 대응하여, 대상 데이터에 대한 합성 모델을 적용하여, 원문에서의 중요한 키워드 정보가 선별되어 하나의 요약 문장으로서 합성된 문장 정보를 요소 정보로서 추출할 수도 있다.In addition, the element
이에 따라, 본 발명의 실시 예에 따른 요소 정보는 대상 데이터로부터 추출 또는 합성 언어 모델에 기초하여 획득되는 하나 이상의 중요 문장 정보를 포함할 수 있다. 이러한 문장 정보는 하나의 영상 리소스 매칭 프레임의 레이어 단위에 대응할 수 있으며, 각 문장 정보별로 적절한 리소스 매칭이 처리되어 하나의 영상 프레임 레이어 단위를 구성할 수 있다.Accordingly, element information according to an embodiment of the present invention may include one or more important sentence information extracted from target data or obtained based on a synthetic language model. Such sentence information may correspond to a layer unit of one image resource matching frame, and appropriate resource matching may be processed for each sentence information to constitute one image frame layer unit.
그리고, 영상 리소스 매칭부(130)는, 학습 데이터베이스(160) 및 리소스 데이터베이스(180)에 기초하여, 상기 요소 정보에 대응하여 최적화된 리소스 매칭 처리를 수행하며, 리소스 매칭 정보를 콘텐츠 합성 변환부(150) 및 제작 인터페이스 제공부(140)로 전달한다.And, the image
보다 구체적으로, 영상 리소스 매칭부(130)는, 요소 정보에 대응하는 콘텐츠 합성 변환을 위한 리소스 매칭 처리를 수행하는 바, 콘텐츠 합성 변환을 위한 리소스는 사전 설정된 프레임 레이어 단위 내에서 처리되는 배경 영상, 배경 이미지, 배경 음악, 레이아웃, 모션, 애니메이션 등의 다양한 콘텐츠를 포함할 수 있고, 리소스 데이터베이스(180)에서 사전 저장되어 있을 수 있다.More specifically, the image
또한, 리소스 데이터베이스(180)는 외부 네트워크를 통해 연결된 다양한 콘텐츠 서버로부터 수신되는 리소스 콘텐츠 데이터를 저장 및 관리할 수도 있다. 여기서 리소스 콘텐츠 데이터는 콘텐츠 속성 정보, 콘텐츠 식별 정보, 콘텐츠 링크 정보 및 콘텐츠 데이터 정보 중 적어도 하나를 포함할 수 있으며, 매칭된 리소스 정보는 제작 인터페이스 제공부(140) 또는 콘텐츠 합성 변환부(150)로 전달될 수 있다.In addition, the
또한, 영상 리소스 매칭부(130)는 리소스 데이터베이스(180)로부터 요소 정보에 대응하는 보다 적절한 콘텐츠를 매칭시키기 위해, 학습 데이터베이스(160)를 구축 및 활용할 수 있다. 학습 데이터베이스(160)는 리소스 콘텐츠와 요소 정보간 관계 정보를 학습하는 관계 학습 모델을 구축할 수 있으며, 특히 대상 데이터의 종류 및 주요 요소 정보에 대응하여 보다 적합한 리소스 콘텐츠가 매칭될 수 있도록 하는 가중치 변수가 설정될 수 있다. 이에 따라, 영상 리소스 매칭부(130)는 학습 데이터베이스(160)를 활용하여, 요소 정보에 대응하는 최적의 리소스 콘텐츠가 매칭되는 매칭 정보를 산출할 수 있으며, 산출된 매칭 정보는 제작 인터페이스 제공부(140) 및 콘텐츠 합성 변환부(150)로 전달될 수 있다.In addition, the image
예를 들어, 영상 리소스 매칭부(130)는, 요소 정보의 문장 정보에 대응하여, 일정 시간 단위로 구분되는 영상 프레임 레이어 단위별 배경, 음향, 글자 유형 등을 학습 데이터베이스(160)에 기초하여 사전 구축된 리소스 데이터베이스(180)와 매칭할 수 있다.For example, the image
학습 데이터베이스(160)는 각 문장 정보의 대분류 카테고리와 세부 분류 카테고리를 정의할 수 있으며, 대분류와 세부 분류의 딥러닝 학습 결과의 연관성을 분석하여, 상기 매칭된 배경, 음향 또는 글자 유형이 대상 문서의 포맷에 대응하는 비즈니스 목적 등과 확률적으로 얼마나 연관성을 가지고 있는지를 산술적으로 분석할 수 있다.The
이에 따라, 영상 리소스 매칭부(130)는 가장 최적화된 연관성이 산출되는 배경, 음향, 글자 유형 등의 리소스 콘텐츠들을 상기 영상 프레임 레이어 단위에 매칭하는 매칭 정보로서 획득할 수 있게 된다.Accordingly, the image
또한, 예를 들어, 본 발명의 실시 예에 따른 영상 리소스 매칭부(130)는, 요소 정보의 문장을 묘사하는 이미지 또는 오디오 리소스 콘텐츠를 직접 생성하거나, 리소스 데이터베이스(180)에서 검색할 수 있으며, 생성 또는 검색된 리소스 콘텐츠는 제작 인터페이스 제공부(140) 및 콘텐츠 합성 변환부(150)로 전달될 수 있다.Also, for example, the video
그리고, 제작 인터페이스 제공부(140)는, 매칭 정보에 기초하여 영상 리소스 매칭부(130)에서 매칭된 콘텐츠를 합성 변환할 수 있는 제작 인터페이스를 구성하고, 사용자 단말(200)로 제공한다.In addition, the production
제작 인터페이스 제공부(140)는, 사용자 단말(200)에서 실행되는 인터페이스 어플리케이션으로 상기 리소스 콘텐츠 데이터 및 리소스 매칭 정보를 전달하거나, 별도의 API를 통해 상기 리소스 콘텐츠 데이터 및 리소스 매칭 정보를 사용자 단말(200)로 전달하거나, 상기 리소스 콘텐츠 데이터 및 리소스 매칭 정보에 기초한 실시간 웹 제작 인터페이스를 구성하여 사용자 단말(200)로 제공할 수도 있다.The production
이에 따라, 사용자 단말(200)에서는 자신이 입력한 대상 데이터에 대응하여, 요소 정보가 추출되어 영상 리소스가 매칭된 리소스 콘텐츠를 확인할 수 있으며, 적절한 편집 및 가공을 처리하고, 합성 변환 명령을 입력할 수 있다. 또한, 사용자 단말(200)의 설정에 따라서는 사용자 단말(200)에서의 별도의 편집이나 가공 없이 바로 콘텐츠 합성 변환부(150)로의 변환 요청이 입력될 수도 있다.Accordingly, in the
콘텐츠 합성 변환부(150)는, 리소스 콘텐츠 데이터 및 리소스 매칭 정보와, 사용자 단말(200)의 입력 정보에 기초하여 상기 대상 데이터를 멀티미디어 변환 콘텐츠로 합성 및 변환 처리한다.The content synthesis and
이에 따라, 멀티미디어 변환 콘텐츠는, 대상 데이터에 대응하여 영상, 음향, 이미지, 애니메이션, 자막, 폰트 중 적어도 하나가 합성 및 변환 처리된 멀티미디어 데이터를 포함할 수 있다. 합성 및 변환 처리된 멀티미디어 변환 콘텐츠는 제작 인터페이스 제공부(140)로 제공될 수 있으며, 제작 인터페이스 제공부(140)의 확인 또는 업로드 입력에 따라 출력부(170)로 전달될 수 있다.Accordingly, the multimedia conversion content may include multimedia data in which at least one of an image, a sound, an image, an animation, a subtitle, and a font is synthesized and converted in response to the target data. The synthesized and converted multimedia content may be provided to the production
출력부(170)는, 최종적으로 결정된 멀티미디어 변환 콘텐츠를 대상 데이터의 변환 콘텐츠로서 출력할 수 있으며, 이는 멀티미디어 콘텐츠 서버(300)로 제공되어, 대상 데이터 기반의 다양한 정보 제공 서비스에 이용될 수 있고, 소셜 네트워크 서비스를 통해 하나 이상의 다른 사용자 단말들로 공유될 수도 있다.The
예를 들어, 정보 제공 서비스는, 뉴스 기사, 보고서, 소설, 수필, 블로그 등의 다양한 문서 데이터를 활용한 멀티미디어 콘텐츠 변환 서비스를 포함할 수 있으며, 이에 기초한 멀티미디어 콘텐츠 스트리밍 서비스 등이 예시될 수 있다.For example, the information providing service may include a multimedia content conversion service utilizing various document data such as news articles, reports, novels, essays, and blogs, and a multimedia content streaming service based thereon may be exemplified.
또한, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는 장문의 내용으로 구성된 보고서 데이터뿐만 아니라, 비교적 단문들로 구성된 각종의 소식지나 온라인 댓글, SNS 데이터 등도 요소 정보 추출에 따른 영상 리소스 매칭 처리를 통해 멀티미디어 콘텐츠로 합성 변환할 수도 있다.In addition, the service providing apparatus 100 according to an embodiment of the present invention processes image resource matching according to element information extraction not only for report data composed of long sentences, but also various newsletters composed of relatively short sentences, online comments, SNS data, etc. It can also be synthesized and converted into multimedia content through
도 3은 본 발명의 실시 예에 따른 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.3 is a flowchart illustrating an operation of a service providing apparatus according to an embodiment of the present invention.
도 3을 참조하면, 먼저 서비스 제공 장치(100)는 변환 대상 데이터를 사용자 단말(200)로부터 입력받는다(S101).Referring to FIG. 3 , first, the service providing apparatus 100 receives conversion target data from the user terminal 200 ( S101 ).
그리고, 서비스 제공 장치(100)는 대상 데이터로부터 요소 정보를 추출한다(S103).Then, the service providing apparatus 100 extracts element information from the target data (S103).
이후, 서비스 제공 장치(100)는, 요소 정보에 대응하는 영상 리소스 매칭을 처리한다(S105).Thereafter, the service providing apparatus 100 processes image resource matching corresponding to the element information (S105).
그리고, 서비스 제공 장치(100)는, 매칭된 영상 리소스 콘텐츠에 기반한 제작 인터페이스를 사용자 단말(200)로 제공한다(S107).Then, the service providing apparatus 100 provides a production interface based on the matched image resource content to the user terminal 200 (S107).
이후, 서비스 제공 장치(100)는 제작 인터페이스에 대한 사용자 입력에 따라 미디어 콘텐츠 합성 및 변환 처리를 수행한다(S109).Thereafter, the service providing apparatus 100 performs media content synthesis and conversion processing according to a user input to the production interface (S109).
그리고, 서비스 제공 장치(100)는 변환된 멀티미디어 콘텐츠를 출력 및 배포한다(S111).Then, the service providing apparatus 100 outputs and distributes the converted multimedia content (S111).
도 4는 본 발명의 실시 예에 따른 합성 변환된 영상 멀티미디어 콘텐츠 예시도이며, 도 5는 본 발명의 실시 예에 따른 입력 데이터로부터 멀티미디어 콘텐츠 데이터로 변환되는 과정을 예시적으로 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating synthesis-converted video multimedia content according to an embodiment of the present invention, and FIG. 5 is a diagram for explaining a process of converting input data into multimedia content data according to an embodiment of the present invention.
먼저, 도 4를 참조하면, 앞서 설명한 바와 같이, 요소 정보 추출부(120)는, 대상 데이터로부터 주요 문장으로서 "멋진 바닷가에 가서 해변 모래 바위 위의 물개들과 멋진 배들을 보았다"와 같은 문장을 요소 정보로서 추출할 수 있다.First, referring to FIG. 4 , as described above, the element
그리고, 영상 리소스 매칭부(130)는, 각 요소 정보의 단어 키워드에 대응하는 가장 적합한 리소스 콘텐츠를 학습 데이터베이스(160)에 기초하여 리소스 데이터베이스(180)로부터 획득할 수 있다. 예를 들어, 바닷가 키워드에 대응하는 해변 영상 리소스와, 해변 모래 바위 키워드에 대응하는 바위 영상 리소스와, 물개 키워드에 대응하는 물개 영상 리소스와, 배 키워드에 대응하는 배 영상 리소스가 매칭될 수 있다.In addition, the image
또한, 영상 리소스 매칭부(130)는 요소 정보의 문장 정보에 대응하는 자막, 글꼴 및 폰트 리소스를 매칭할 수 있으며, 상기 문장 정보를 음성 변환한 오디오를 음향 리소스로서 매칭 처리할 수 있다. 또한, 영상 리소스 매칭부(130)는 문장 정보에 대응하는 애니메이션 정보를 매칭 처리할 수 있다.In addition, the image
이에 따라, 콘텐츠 합성 변환부(150)는, 사전 설정된 시간 구간의 영상 프레임 레이어 단위에 대응하여, 상기 영상 리소스, 자막, 글꼴 및 폰트 리소스, 음향 리소스가 레이아웃 및 애니메이션 정보에 따라 매칭 및 변환된 영상 멀티미디어 콘텐츠를 생성할 수 있게 되는 것이다.Accordingly, the content synthesis and
예를 들어, 프레임 레이어 단위 구간의 영상에는 자막으로 출력되는 하나의 문장과 관련된 멀티미디어 콘텐츠가 재생될 수 있으며, 콘텐츠 합성 변환부(150)는, 프레임 레이어 단위 구간의 영상 내에 자막, 영상 및 이미지들을 함께 배열하며, 사전 설정된 타이밍에 음향이 출력되도록 합성 및 변환할 수 있다. 영상 리소스 매칭부(130)는, 머신 러닝 기술, 딥러닝 기술 등을 통해 콘텐츠 합성 변환부(150)의 적절한 콘텐츠 데이터 조합, 애니메이션 효과 및 배열을 매칭할 수 있다.For example, multimedia content related to one sentence output as a caption may be reproduced in an image of a frame layer unit section, and the content synthesis and
이러한 매칭 프로세스는 도 5를 참조하면 보다 구체적으로 이해될 수 있다. 도 5(A)에 도시된 바와 같이, 텍스트로 구성된 대상 데이터는 입력부(110)로 입력되어 요소 정보 추출부(120)에 의한 요소 정보 추출 처리가 수행될 수 있다.This matching process may be understood in more detail with reference to FIG. 5 . As shown in FIG. 5A , target data composed of text is input to the
요소 정보 추출 처리에 따라, 도 5(B)에 도시된 바와 같이 하나 이상의 핵심 문장 데이터들이 요소 정보로서 추출될 수 있는 바, 영상 리소스 매칭부(130)는, 추출된 요소 정보에 대응하여 도 4에 도시된 바와 같은 매칭 프로세스를 바탕으로 도 5(C)와 같이 리소스 데이터베이스(180)에 저장 또는 링크된 하나 이상의 영상, 음향 또는 이미지와의 리소스 콘텐츠 매칭을 처리할 수 있다.According to the element information extraction process, one or more core sentence data may be extracted as element information as shown in FIG. 5(B), and the image
여기서, 리소스 데이터베이스(180)는 서비스 제공 장치(100) 내부 또는 외부 데이터베이스일 수 있으며, 도 5(C)와 같이 잘 알려진 서비스 업체들의 리소스 콘텐츠 서비스 제공 서버들을 이용할 수도 있다.Here, the
그리고, 도 5(D)에 도시된 바와 같이, 영상 리소스 매칭부(130)의 매칭 정보에 기초하여 콘텐츠 합성 변환부(150)에서 합성 변환된 멀티미디어 콘텐츠는 출력부(170)를 통해 멀티미디어 콘텐츠 서버(300)로 전달될 수 있으며, 다른 사용자들에게 배포 및 공유될 수 있다.And, as shown in FIG. 5(D), the multimedia content synthesized and converted in the content
도 6 내지 도 7은 본 발명의 실시 예에 따른 리소스 데이터베이스를 설명하기 위한 도면이다.6 to 7 are diagrams for explaining a resource database according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 실시 예에 따른 리소스 데이터베이스(180)는, 인터페이스부(185), 논리 모델 관리부(181), 물리 환경 관리부(183), 메타스토어 데이터베이스(183) 및 데이터 저장부(184)를 포함한다.Referring to FIG. 6 , the
리소스 데이터 베이스 구축 방법은, 변환 대상 데이터의 요소 정보에 대응되는 리소스 콘텐츠를 리소스 데이터 베이스로부터 획득하고 매칭시켜 멀티미디어 콘텐츠 합성 및 변환하는 서비스 제공장치의 리소스 데이터 베이스 구축방법에 있어서,영상, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보를 포함하는 리소스 콘텐츠를 입력받거나, 외부 네트워크를 통해 수집하여 데이터 저장부에 저장하는 데이터 저장단계; 물리 환경 관리부에서 물리적으로 저장된 데이터 저장부의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리하는 메타스토어 데이터베이스 저장관리단계; 메타스토어 데이터베이스를 통해 리소스 콘텐츠를 분류 저장 및 관리하는 논리 모델 관리 단계; 및 리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행하는 인터페이스 단계를 포함한다.In the resource database construction method of a service providing apparatus for synthesizing and transforming multimedia content by acquiring and matching resource content corresponding to element information of data to be converted from a resource database, Image, animation, background a data storage step of receiving resource contents including images, sounds, fonts (fonts), and layout information, or collecting them through an external network and storing them in a data storage unit; A metastore database storage management step of storing and managing metadata for indexing the big data-based content data of the physically stored data storage unit in the physical environment management unit; Logical model management step of classifying, storing and managing resource contents through a metastore database; and an interface step of performing distributed input/output interface processing of resource content data.
본 발명의 실시 예에 따르면, 리소스 데이터베이스(180)는 메타 정보를 기반으로 하는 미디어 콘텐츠 데이터를 분류 및 라벨링 처리하여, 학습 데이터베이스(160)에서 분석할 수 있는 형태로 로드하게 할 수 있으며, 리소스 콘텐츠 데이터의 공유를 용이하게 한다.According to an embodiment of the present invention, the
이를 위해, 리소스 데이터베이스(180)는 리소스 콘텐츠 데이터의 전처리를 통해 중복데이터 제거, 누락데이터 보정 및 이상데이터 감지를 수행할 수 있으며, 전처리된 데이터의 스케일링 프로세스를 수행하고, 잘 알려진 Long Short-Term Memory models(LSTM) 등의 알고리즘을 이용한 학습 데이터베이스(160)를 구축할 수 있도록 하는 데이터 분류 처리를 수행할 수 있다.To this end, the
보다 구체적으로, 인터페이스부(185)는 각 관리부(181, 182)에서 분류 및 저장된 리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행한다.More specifically, the
논리 모델 관리부(181)는 메타스토어 데이터베이스(183)를 통해 리소스 콘텐츠를 분류 저장 및 관리할 수 있다. 여기서, 메타스토어 데이터베이스(183)는 물리 환경 관리부(182)에서 물리적으로 저장된 데이터 저장부(184)의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리할 수 있다. 메타데이터는 예를 들어, 사용자별 분류 정보, 기능별 분류 정보 또는 저장 분류 정보 중 적어도 하나를 포함할 수 있으며, 각 분류 정보는 물리적으로 분산 저장된 데이터 저장부(184)의 저장구조에 대응될 수 있다.The logical model management unit 181 may classify, store, and manage resource contents through the
예를 들어, 데이터 저장부(184)는 리소스 콘텐츠로서, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보 등이 저장될 수 있다.For example, the
도 7은 본 발명의 실시 예에 따라 저장되는 리소스 콘텐츠 포맷의 예시로서, 비디오, 음향, 이미지 등의 데이터 종류 정보, 식별자 정보, 태그 정보, URL 정보, 가상 호스팅 URL 정보 등을 포함하는 것을 예시하고 있다.7 is an example of a resource content format stored according to an embodiment of the present invention, illustrating that data type information such as video, sound, image, etc., identifier information, tag information, URL information, virtual hosting URL information, and the like are included. have.
메타스토어 데이터베이스(183)는 아래의 표 1과 같은 메타데이터를 분류 정보로서 저장 및 관리할 수 있다. The
표 1에 도시된 바와 같이, 데이터 구분에 따라 메타 정보는 각 분류 정보들에 의해 구분될 수 있으며, 따라서 필요한 리소스는 메타 정보를 이용하여 색인될 수 있다.As shown in Table 1, according to data classification, meta information may be classified by each classification information, and thus, necessary resources may be indexed using meta information.
이에 따라, 본 발명의 실시 예에 따른 리소스 데이터베이스(180)는, 물리적으로 분산 저장되는 빅데이터 구조의 데이터 저장부(184)를 관리할 수 있으며, 필요한 리소스 콘텐츠를 메타스토어 데이터베이스(183)의 메타 정보를 이용하여 색인할 수 있다.Accordingly, the
따라서, 본 발명의 실시 예에 따른 리소스 데이터베이스(180)는 저장만을 목적으로 하는 것이 아니라, 저장된 데이터를 분석할 수 있는 형태로 로드하고 다양한 분석환경에서 필요데이터를 공유하는 측면을 고려하여 구축될 수 있으며, 나아가 SQL 기반으로의 데이터 정보 조회를 가능하게 하여 그 데이터 접근의 편의성 및 신속성을 높일 수 있다.Therefore, the
도 9은 본 발명의 실시 예에 따른 제작 인터페이스를 보다 구체적으로 설명하기 위한 도면이다.9 is a diagram for describing a manufacturing interface according to an embodiment of the present invention in more detail.
도 9를 참조하면 본 발명의 실시 예에 따른 제작 인터페이스는, 사용자 단말(200)을 통해 출력되는 그래픽 유저 인터페이스를 포함할 수 있으며, 대상 데이터 입력 인터페이스(201)와, 영상 편집 인터페이스(204)와, 자막 편집 인터페이스와(202), 음원 편집 인터페이스(203)를 포함할 수 있다.Referring to FIG. 9 , the production interface according to an embodiment of the present invention may include a graphic user interface output through the
그리고, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 대상 데이터 입력 인터페이스(201)를 통해 특정 문서의 텍스트 데이터를 입력받을 수 있으며, 입력된 텍스트 데이터는 요약하기 버튼 입력 등에 따라, 요소 정보 추출부(120)에서의 요소 정보 추출 처리에 이용될 수 있다.In addition, the service providing apparatus 100 according to an embodiment of the present invention may receive text data of a specific document through the target
그리고, 추출된 요소 정보에 기초한 영상 리소스 매칭부(130)의 매칭 처리에 따른 추천 리소스 콘텐츠가 각 영상 편집 인터페이스(204)와, 자막 편집 인터페이스와(102), 음원 편집 인터페이스(103)에 추천 아이템으로서 제안될 수 있다. 사용자 단말(200)에서는 이에 따라, 추천받은 리소스 콘텐츠를 선택함으로써 멀티미디어 변환 콘텐츠를 생성하게 할 수 있다.Then, the recommended resource content according to the matching process of the video
사용자 단말(200) 사용자는 각 편집 인터페이스들에서 리소스 콘텐츠를 선택하고, 출력 인터페이스(205)를 통해 영상 변환 및 SNS 업로드를 입력할 수 있으며, 이에 따라, 콘텐츠 합성 변환부(150)에서의 변환 처리가 수행되고, 그 결과가 사용자 단말(200)로 출력되거나, 멀티미디어 콘텐츠 서버(300)에 업로드되어, 사전 설정된 SNS 계정을 통해 공유될 수 있다.A user of the
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. 이에 따라, 사용자 단말(100)은 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드할 수 있다.Meanwhile, the above-described method according to various embodiments of the present invention may be implemented as a program and provided to each server or device while being stored in various non-transitory computer readable media. Accordingly, the user terminal 100 may access the server or device to download the program.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device. Specifically, the various applications or programs described above may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
Claims (5)
영상, 애니메이션, 배경이미지, 음향, 폰트(글꼴), 레이아웃 정보를 포함하는 리소스 콘텐츠를 입력받거나, 외부 네트워크를 통해 수집하여 저장하는 데이터 저장부;
물리 환경 관리부에서 물리적으로 저장된 데이터 저장부의 빅데이터 기반 콘텐츠 데이터를 색인하기 위한 메타데이터를 저장 및 관리하는 메타스토어 데이터베이스부;
메타스토어 데이터베이스를 통해 리소스 콘텐츠를 분류 저장 및 관리하는 논리 모델 관리부; 및
리소스 콘텐츠 데이터의 분산 입출력 인터페이스 처리를 수행하는 인터페이스부;
문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치.In the resource database apparatus of a service providing apparatus for synthesizing and converting multimedia content by obtaining and matching resource content corresponding to element information of conversion target data from a resource database,
a data storage unit that receives resource content including video, animation, background image, sound, font (font), and layout information, or collects and stores it through an external network;
a metastore database unit for storing and managing metadata for indexing the big data-based content data of the data storage unit physically stored in the physical environment management unit;
a logical model management unit that classifies, stores, and manages resource contents through a metastore database; and
an interface unit for performing distributed input/output interface processing of resource content data;
Resource database device for document-based multimedia conversion content production.
상기 메타데이터는, 사용자별 분류 정보, 기능별 분류 정보 또는 저장 분류 정보 중 적어도 하나를 포함하고, 각 분류 정보는 물리적으로 분산 저장된 데이터 저장부의 저장구조에 대응되는
문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치.The method of claim 1,
The metadata includes at least one of classification information for each user, classification information for each function, and storage classification information, and each classification information corresponds to a storage structure of a physically distributed and stored data storage unit.
Resource database device for document-based multimedia conversion content production.
상기 리소스 데이터베이스는,
메타 정보를 기반으로 하는 미디어 콘텐츠 데이터를 분류 및 라벨링 처리하여, 학습 데이터베이스에서 분석할 수 있는 형태로 로드하여 리소스 콘텐츠 데이터의 공유할 수 있도록 리소스 데이터를 저장 관리하는
문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치.The method of claim 1,
The resource database is
It classifies and labels media content data based on meta information, loads it in a form that can be analyzed in the learning database, and stores and manages resource data so that resource content data can be shared.
Resource database device for document-based multimedia conversion content production.
상기 리소스 데이터베이스는,
리소스 콘텐츠 데이터의 전처리를 통해 중복데이터 제거, 누락데이터 보정 및 이상데이터 감지를 수행하며, 전처리된 데이터의 스케일링 프로세스를 수행하고, Long Short-Term Memory models(LSTM) 알고리즘을 이용한 학습 데이터베이스를 구축할 수 있도록 하는 데이터 분류 처리를 수행하는
문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치.The method of claim 1,
The resource database is
Through pre-processing of resource content data, it is possible to remove duplicate data, correct missing data and detect abnormal data, perform the scaling process of pre-processed data, and build a learning database using Long Short-Term Memory models (LSTM) algorithm. to perform data classification processing to enable
Resource database device for document-based multimedia conversion content production.
상기 리소스 데이터베이스는,
리소스 콘텐츠 포맷으로서, 비디오, 음향, 이미지를 포함하는 데이터 종류 정보, 식별자 정보, 태그 정보, URL 정보, 가상 호스팅 URL 정보를 분류정보로 색인하여 물리적으로 분산 저장되는 빅데이터 구조의 데이터 저장부에 저장 관리하는
문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치.The method of claim 1,
The resource database is
As a resource content format, data type information including video, sound, and image information, identifier information, tag information, URL information, and virtual hosting URL information are indexed as classification information and stored in a data storage unit of a big data structure that is physically distributed and stored to manage
Resource database device for document-based multimedia conversion content production.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200168469A KR20220079060A (en) | 2020-12-04 | 2020-12-04 | Resource database device for document-based video resource matching and multimedia conversion content production |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200168469A KR20220079060A (en) | 2020-12-04 | 2020-12-04 | Resource database device for document-based video resource matching and multimedia conversion content production |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220079060A true KR20220079060A (en) | 2022-06-13 |
Family
ID=81984423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200168469A KR20220079060A (en) | 2020-12-04 | 2020-12-04 | Resource database device for document-based video resource matching and multimedia conversion content production |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220079060A (en) |
-
2020
- 2020-12-04 KR KR1020200168469A patent/KR20220079060A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112749326B (en) | Information processing method, information processing device, computer equipment and storage medium | |
CN112231563B (en) | Content recommendation method, device and storage medium | |
CN116975615A (en) | Task prediction method and device based on video multi-mode information | |
KR102575507B1 (en) | Article writing soulution using artificial intelligence and device using the same | |
KR20220079073A (en) | Production interface device for multimedia conversion content production service providing device | |
KR20220130863A (en) | Apparatus for Providing Multimedia Conversion Content Creation Service Based on Voice-Text Conversion Video Resource Matching | |
CN114662002A (en) | Object recommendation method, medium, device and computing equipment | |
KR102347228B1 (en) | A method for providing a producing service of transformed multimedia contents using matching of video resources and an apparatus using it | |
KR20220079060A (en) | Resource database device for document-based video resource matching and multimedia conversion content production | |
KR20220079057A (en) | Method for building a resource database of a multimedia conversion content production service providing device | |
CN111814496B (en) | Text processing method, device, equipment and storage medium | |
KR20220079029A (en) | Method for providing automatic document-based multimedia content creation service | |
KR20220079055A (en) | System for providing services to provide multimedia content conversion services | |
KR20220079042A (en) | Program recorded medium for providing service | |
KR20220079034A (en) | Program for providing service | |
KR20220079026A (en) | A apparatus for providing general document-based multimedia image content production service | |
KR20220079024A (en) | Program recording medium for providing services that convert documents into multimedia contents | |
KR20220079012A (en) | A method for providing producing content service of transform documents into multimedia contents | |
KR20220079019A (en) | A program for providing multimedia contents production service | |
US20230308731A1 (en) | Method for providing service of producing multimedia conversion content by using image resource matching, and apparatus thereof | |
KR20220130859A (en) | A method of providing a service that converts voice information into multimedia video contents | |
KR20220130861A (en) | Method of providing production service that converts audio into multimedia content based on video resource matching | |
KR20220130864A (en) | A system for providing a service that produces voice data into multimedia converted contents | |
KR20220130862A (en) | A an apparatus for providing a producing service of transformed multimedia contents | |
KR20220130860A (en) | A method of providing a service that converts voice information into multimedia video contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |