KR102402600B1 - Method for creating multidedia content through reconstruction of sound and content managing server - Google Patents

Method for creating multidedia content through reconstruction of sound and content managing server Download PDF

Info

Publication number
KR102402600B1
KR102402600B1 KR1020210018485A KR20210018485A KR102402600B1 KR 102402600 B1 KR102402600 B1 KR 102402600B1 KR 1020210018485 A KR1020210018485 A KR 1020210018485A KR 20210018485 A KR20210018485 A KR 20210018485A KR 102402600 B1 KR102402600 B1 KR 102402600B1
Authority
KR
South Korea
Prior art keywords
information
sound
content
voice
file
Prior art date
Application number
KR1020210018485A
Other languages
Korean (ko)
Other versions
KR20210088455A (en
Inventor
이상훈
Original Assignee
이상훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상훈 filed Critical 이상훈
Priority to KR1020210018485A priority Critical patent/KR102402600B1/en
Publication of KR20210088455A publication Critical patent/KR20210088455A/en
Application granted granted Critical
Publication of KR102402600B1 publication Critical patent/KR102402600B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버를 개시한다. 상기 콘텐츠 관리 서버에 의해 수행되는 멀티미디어 콘텐츠 생성 방법에 있어서, 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제1 정보를 포함하는 제1 콘텐츠를 수신하는 단계; 상기 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제2 정보를 포함하는 제2 콘텐츠를 수신하는 단계; 상기 제1 콘텐츠로부터 상기 제1 정보를 추출하고 상기 제2 콘텐츠로부터 상기 제1 정보의 적어도 일부분에 대응하는 상기 제2 정보를 추출하는 단계; 상기 제2 정보에 대해 사운드 밸런스를 조정하는 단계; 상기 제1 콘테츠에 상기 제1 정보에 대응하여 상기 제2 정보를 삽입하여 상기 제1 정보와 상기 제2 정보를 매칭시켜 새로운 제3 콘텐츠를 생성하는 단계;를 포함하되, 상기 제1 정보는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 상기 제2 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어질 수 있다.The present invention discloses a method for generating multimedia content through sound reconstruction and a content management server. In the multimedia content creation method performed by the content management server, the method comprising: receiving first content including first information selected according to selection of the user terminal from among a plurality of content according to an upload request by a user terminal; receiving, by the user terminal, second content including second information selected according to the selection of the user terminal from among a plurality of content according to the upload request; extracting the first information from the first content and extracting the second information corresponding to at least a portion of the first information from the second content; adjusting a sound balance with respect to the second information; Inserting the second information in response to the first information into the first content to match the first information and the second information to generate new third content; including, wherein the first information includes: The information may include at least one of voice, image, and text, and the second information may include voice information corresponding to the first information.

Description

사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버{METHOD FOR CREATING MULTIDEDIA CONTENT THROUGH RECONSTRUCTION OF SOUND AND CONTENT MANAGING SERVER}Method for creating multimedia content through sound reconstruction and content management server

본 발명은 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버에 관한 것으로, 더욱 상세하게는, 업로드 요청된 동영상 파일에서 제1 사운드 정보를 추출하고, 업로드 요청된 음성 파일에서 제2 사운드 정보를 추출하고, 제1 사운드 정보 및 제2 사운드 정보 각각의 사운드 밸런스를 조정하고, 제1 사운드 정보와 제2 사운드 정보를 결합하여 제3 사운드 정보를 생성하고, 제1 사운드 정보 대신에 제3 사운드 정보를 삽입한 동영상 파일을 생성함으로써, 사운드 밸런스 조정을 통해 음성 구간에서 사용자 음성 소리가 부각되고, 호흡 구간에서 배경음이 부각되도록 사운드를 재구성한 멀티미디어 콘텐츠를 생성하는 방법 및 서버에 관한 것이다.The present invention relates to a method of generating multimedia content through sound reconstruction and a content management server, and more particularly, extracting first sound information from a video file requested to be uploaded, and extracting second sound information from a voice file requested to be uploaded. and adjust the sound balance of each of the first sound information and the second sound information, combine the first sound information and the second sound information to generate third sound information, and use the third sound information instead of the first sound information The present invention relates to a method and a server for generating multimedia content in which sound is reconstructed so that a user's voice sound is emphasized in a voice section and a background sound is emphasized in a breathing section by adjusting the sound balance by generating an inserted video file.

최근, 스마트 장치의 보급화와 통신망의 발달로 인해, 동영상 스트리밍 서비스의 이용이 급증하고 있다.Recently, due to the spread of smart devices and the development of communication networks, the use of video streaming services is rapidly increasing.

특히, 유튜브 등의 디지털 플랫폼을 통한 동영상 시청이 증가하고 있으며, 소비자의 직접적인 참여로 동영상 제작도 점점 활성화되어 가고 있는 상태이다.In particular, video viewing through digital platforms such as YouTube is increasing, and video production is also increasingly active with the direct participation of consumers.

하지만, 동영상과 같은 콘텐츠를 제작하는데 있어, 콘텐츠를 편집하기 위한 전용 툴이 필요하고, 전용 툴을 사용하기 위해서는 일정 수준의 교육이 필요하기 때문에, 초보자가 콘텐츠를 제작하여 공유하는데 한계가 있는 문제가 있다.However, in producing content such as video, a dedicated tool for editing the content is required, and a certain level of education is required to use the dedicated tool, so there is a problem in that beginners have limitations in creating and sharing content. have.

따라서, 소비자들이 콘텐츠를 제작하고 이를 공유하고자 하는 요구가 증대됨에 따라, 소비자들이 쉽게 콘텐츠를 제작하고 이를 업로드 할 수 있도록 함으로써, 다채로운 콘텐츠의 생산 활동을 할 수 있는 환경을 조성하여, 다양한 콘텐츠를 편리하게 생성할 수 있는 방안이 시급한 실정이다.Therefore, as consumers' desire to produce and share content increases, by enabling consumers to easily create and upload content, it creates an environment where various content production activities can be performed and various content is conveniently provided. There is an urgent need to come up with a way to make it happen.

본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 사운드를 재구성한 멀티미디어 콘텐츠를 생성하는 방법 및 서버를 제공하기 위한 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention is to solve the problems of the prior art, and an object of the present invention is to provide a method and a server for generating multimedia content in which sound is reconstructed.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood from the description below.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 콘텐츠 관리 서버에 의해 수행되는 멀티미디어 콘텐츠 생성 방법에 있어서, 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제1 정보를 포함하는 제1 콘텐츠를 수신하는 단계; 상기 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제2 정보를 포함하는 제2 콘텐츠를 수신하는 단계; 상기 제1 콘텐츠로부터 상기 제1 정보를 추출하고 상기 제2 콘텐츠로부터 상기 제1 정보의 적어도 일부분에 대응하는 상기 제2 정보를 추출하는 단계; 상기 제2 정보에 대해 사운드 밸런스를 조정하는 단계; 상기 제1 콘테츠에 상기 제1 정보에 대응하여 상기 제2 정보를 삽입하여 상기 제1 정보와 상기 제2 정보를 매칭시켜 새로운 제3 콘텐츠를 생성하는 단계;를 포함하되, 상기 제1 정보는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 상기 제2 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어질 수 있다.According to an embodiment of the present invention for achieving the above object, in a multimedia content creation method performed by a content management server, a plurality of contents selected according to the selection of the user terminal according to an upload request by the user terminal receiving first content including first information; receiving, by the user terminal, second content including second information selected according to the selection of the user terminal from among a plurality of content according to the upload request; extracting the first information from the first content and extracting the second information corresponding to at least a portion of the first information from the second content; adjusting a sound balance with respect to the second information; Inserting the second information in response to the first information into the first content to match the first information and the second information to generate new third content; including, wherein the first information includes: The information may include at least one of voice, image, and text, and the second information may include voice information corresponding to the first information.

본 발명의 일 실시예에 있어서, 상기 제1 콘텐츠로부터 제3 정보를 추출하는 단계; 및 상기 제3 정보에 대해 사운드 밸런스를 조정하는 단계;를 포함하고, 상기 제3 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어질 수 있다.In an embodiment of the present invention, extracting third information from the first content; and adjusting a sound balance with respect to the third information, wherein the third information may include voice information corresponding to the first information.

본 발명의 일 실시예에 있어서, 상기 제2 정보와 상기 제3 정보를 결합한 제4 정보를 생성하는 단계; 및 상기 제4 정보를 상기 제3 정보 대신 삽입하여 상기 제1 정보와 상기 제4 정보를 매칭시켜 새로운 제4 콘텐츠를 생성하는 단계;를 포함할 수 있다.In an embodiment of the present invention, generating fourth information by combining the second information and the third information; and inserting the fourth information instead of the third information to match the first information and the fourth information to generate new fourth content.

또한, 상술한 과제를 해결하기 위한 본 발명의 다른 일실시예에 따른 멀티미디어 콘텐츠를 생성하는 콘텐츠 관리 서버는, 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제1 정보를 포함하는 제1 콘텐츠와, 제2 정보를 포함하는 제2 콘텐츠를 수신하고, 수신된 상기 제1 콘텐츠로부터 상기 제1 정보를 추출하고 상기 제2 콘텐츠로부터 상기 제1 정보의 적어도 일부분에 대응하는 상기 제2 정보를 추출한 후, 상기 제2 정보에 대해 사운드 밸런스를 조정하고, 상기 제1 콘테츠에 상기 제1 정보에 대응하여 상기 제2 정보를 삽입하여 상기 제1 정보와 상기 제2 정보를 매칭시켜 새로운 제3 콘텐츠를 생성하는 콘텐츠 관리 서버;를 포함하고, 상기 제1 정보는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 상기 제2 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어질 수 있다.In addition, the content management server for generating multimedia content according to another embodiment of the present invention for solving the above-described problems, the first selected according to the selection of the user terminal from among a plurality of contents in response to an upload request by the user terminal Receive first content including information and second content including second information, extract the first information from the received first content, and correspond to at least a portion of the first information from the second content after extracting the second information, the sound balance is adjusted for the second information a content management server that generates new third content by matching the It may consist of voice information.

본 발명의 일실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 멀티미디어 콘텐츠 생성 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.The program according to an embodiment of the present invention is combined with a computer, which is hardware, and is stored in a computer-readable recording medium to perform the method for generating multimedia contents.

삭제delete

본 발명의 일 실시예에 따르면, 동영상 파일과 음성 파일만 업로드 하면, 사운드 재구성을 통해 멀티미디어 콘텐츠를 새로 생성할 수 있으므로, 소비자들이 콘텐츠를 쉽게 생성할 수 있어 다양한 콘텐츠의 제작으로 콘텐츠 공유를 활성화시킬 수 있다.According to an embodiment of the present invention, if only a video file and an audio file are uploaded, multimedia content can be newly created through sound reconstruction, so that consumers can easily create content, thereby activating content sharing through the production of various content. can

또한, 본 발명의 일 실시예에 따르면, 사운드 재구성을 통해 멀티미디어 콘텐츠를 생성하는데 있어, 음성 구간에서는 사용자 음성이 재생되기 때문에 제2 사운드 정보의 소리 세기를 증폭시켜 사용자 음성 소리가 부각될 수 있도록 사운드 밸런스를 조정하고, 호흡 구간에서는 사용자 음성이 재생되지 않기 때문에 제1 사운드 정보의 소리 세기를 증폭시켜 배경음이 부각될 수 있도록 사운드 밸런스를 조정함으로써, 사용자 음성과 배경음이 완벽하게 조화된 콘텐츠를 용이하게 생성할 수 있다.In addition, according to an embodiment of the present invention, in generating multimedia content through sound reconstruction, since the user's voice is reproduced in the voice section, the sound intensity of the second sound information is amplified so that the user's voice can be emphasized. By adjusting the balance and adjusting the sound balance so that the background sound is emphasized by amplifying the sound intensity of the first sound information because the user's voice is not reproduced in the breathing section, content in which the user's voice and the background sound are perfectly harmonized easily can create

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above-described effects, and include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠를 제공하기 위한 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 관리 서버의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사운드의 재구성을 통해 멀티미디어 콘텐츠를 생성하는 과정을 순서도로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 음성이 재생되는 음성 구간을 선별하여 구분하는 과정을 나타내는 도면이다.1 is a diagram schematically showing the configuration of a system for providing multimedia content according to an embodiment of the present invention.
2 is a block diagram illustrating the configuration of a content management server according to an embodiment of the present invention.
3 is a flowchart illustrating a process of generating multimedia content through sound reconstruction according to an embodiment of the present invention.
4 is a diagram illustrating a process of selecting and classifying a voice section in which a user's voice is reproduced according to an embodiment of the present invention.

이하에서 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be embodied in several different forms, and thus is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠를 제공하기 위한 시스템의 구성을 개략적으로 나타내는 도면이다.1 is a diagram schematically showing the configuration of a system for providing multimedia content according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 복수의 사용자 단말(100) 및 콘텐츠 관리 서버(200)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment of the present invention may include a plurality of user terminals 100 and a content management server 200 capable of communicating with each other through a communication network.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 예를 들어, 3G, 4G 등의 이동 통신망으로 구성되어, 서버와 단말 간의 통신이 수행되도록 통신 서비스를 제공할 수 있다.First, the communication network can be configured regardless of its communication mode, such as wired and wireless, for example, it is composed of a mobile communication network such as 3G, 4G, etc., so that communication between the server and the terminal is performed, communication service can be provided. .

복수의 사용자 단말(100) 각각은 통신 기능을 갖춘 연산 장치로 구현될 수 있으며, 예를 들면, 휴대전화기, 데스크톱 PC, 랩탑 PC, 태블릿 PC, 스마트폰 등으로 구현될 수 있으나, 이에 제한되지는 않으며, 외부 서버와 연결될 수 있는 다양한 형태의 통신 장치로 구현될 수도 있다.Each of the plurality of user terminals 100 may be implemented as a computing device having a communication function, for example, it may be implemented as a mobile phone, a desktop PC, a laptop PC, a tablet PC, a smart phone, etc., but is not limited thereto Also, it may be implemented as various types of communication devices that can be connected to an external server.

복수의 사용자 단말(100) 각각에는 웹 브라우저, 애플리케이션 등의 프로그램이 설치되어 있으며, 해당 프로그램을 통해 다양한 온라인 서비스가 제공될 수 있다.A program such as a web browser and an application is installed in each of the plurality of user terminals 100 , and various online services may be provided through the program.

복수의 사용자 단말(100)은 온라인 상에서 콘텐츠를 생산하고 업로드하여 공유하고자 하는 사용자들이 이용하는 단말일 수 있으며, 제1 사용자가 이용하는 제1 사용자 단말(110), 제2 사용자가 이용하는 제2 사용자 단말(120) 등을 포함할 수 있다.The plurality of user terminals 100 may be terminals used by users who want to produce, upload, and share content online, and may include a first user terminal 110 used by a first user, a second user terminal used by a second user ( 120) and the like.

이하에서는 설명의 편의상, 제1 사용자 단말(110)의 동작을 위주로 설명하지만, 제1 사용자 단말(110) 이외에 다른 사용자 단말에서 제1 사용자 단말(110)의 동작을 수행할 수 있는 것은 물론이다.Hereinafter, for convenience of description, the operation of the first user terminal 110 will be mainly described, but of course, the operation of the first user terminal 110 may be performed in another user terminal other than the first user terminal 110 .

제1 사용자 단말(110)은 애플리케이션, 웹 브라우저 등을 통해 콘텐츠 관리 서버(200)에 접속하여, 동영상 파일 업로드, 음성 파일 업로드, 동영상 파일 재생성 등 콘텐츠와 관련된 다양한 기능이 수행되도록 요청하여 처리할 수 있다. 이때, 동영상 파일은 음성 정보, 이미지 정보, 텍스트 정보 중 적어도 하나 이상의 정보로 이루어질 수 있지만, 이에 한정하는 것은 아니다. 또한, 음성 파일은 동영상 파일의 적어도 일부분에 대응하는 음성 정보일 수 있지만, 이에 한정하지 않는다.The first user terminal 110 accesses the content management server 200 through an application, a web browser, etc., and requests and processes various functions related to content such as video file upload, audio file upload, and video file regeneration to be performed. have. In this case, the video file may include at least one of voice information, image information, and text information, but is not limited thereto. In addition, the audio file may be audio information corresponding to at least a part of the video file, but is not limited thereto.

동영상 파일 업로드 시, 제1 사용자 단말(110)은 제1 사용자 요청으로 선택된 동영상 파일이 업로드 되도록 요청할 수 있다. 즉, 제1 사용자 단말(110)은 복수개의 동영상 중 제1 사용자의 요청에 의해 동영상 파일을 선택할 수 있다.When uploading a video file, the first user terminal 110 may request that the video file selected by the first user request be uploaded. That is, the first user terminal 110 may select a video file at the request of the first user from among the plurality of videos.

구체적으로, 제1 사용자 단말(110)은 제1 사용자 단말(110) 내에 포함된 메모리 또는 제1 사용자 단말(110)과 연결된 외장형 메모리에 저장되어 있는 동영상 파일에 대해 업로드를 요청할 수 있고, 온라인 상에 게시된 동영상의 URL 주소를 통해 동영상 파일의 업로드를 요청할 수도 있다.Specifically, the first user terminal 110 may request upload of a video file stored in a memory included in the first user terminal 110 or an external memory connected to the first user terminal 110, and You can also request to upload a video file through the URL address of the video posted on .

음성 파일 업로드 시, 제1 사용자 단말(110)은 제1 사용자 음성이 녹음된 음성 파일이 업로드 되도록 요청할 수 있다.When uploading the voice file, the first user terminal 110 may request that the voice file in which the first user's voice is recorded be uploaded.

구체적으로, 제1 사용자 단말(110)은 제1 사용자 단말(110) 내에 포함된 메모리 또는 제1 사용자 단말(110)과 연결된 외장형 메모리에 저장되어 있는 음성 파일에 대해 업로드를 요청할 수 있고, 제1 사용자 단말(110)의 입력 장치(예를 들면, 마이크)에 입력되는 동영상 파일의 적어도 일부분에 대응하는 음성 정보를 녹음하여 음성 파일을 새로 생성한 후, 생성된 음성 파일의 업로드를 요청할 수도 있다.Specifically, the first user terminal 110 may request upload of a voice file stored in a memory included in the first user terminal 110 or an external memory connected to the first user terminal 110, and the first After creating a new voice file by recording voice information corresponding to at least a portion of a video file input to the input device (eg, a microphone) of the user terminal 110 , upload of the generated voice file may be requested.

제1 사용자 단말(110)은 동영상 파일 및 음성 파일이 업로드 되면, 선택한 동영상 파일과 선택된 동영상 파일의 적어도 일부분에 대응하는 음성 정보가 포함된 음성 파일을 이용하여 사운드의 재구성을 통한 동영상 파일의 재생성을 요청할 수 있으며, 동영상 파일 및 음성 파일을 기초로, 사운드 재구성을 통한 동영상 파일이 새로 생성되면, 생성된 동영상 파일을 콘텐츠 관리 서버(200)로부터 제공받아 재생할 수 있다.When the video file and the audio file are uploaded, the first user terminal 110 may reproduce the video file through sound reconstruction using the selected video file and the audio file including voice information corresponding to at least a part of the selected video file. It can be requested, and when a video file is newly created through sound reconstruction based on the video file and the audio file, the generated video file can be provided from the content management server 200 and played.

제1 사용자 단말(110)은 사운드 재구성을 통해 새로 생성된 동영상 파일이 공유되도록 요청할 수 있는데, 예를 들어, 동영상 파일이 제1 사용자의 SNS 상에 업로드 되어 공유될 수 있도록 요청할 수 있으며, 콘텐츠 관리 서버(200)에서 제공하는 웹 페이지 상에 업로드 되어 공유될 수 있도록 요청할 수도 있다.The first user terminal 110 may request that the newly created video file be shared through sound reconstruction, for example, may request that the video file be uploaded and shared on the first user's SNS, and content management It may be requested to be uploaded and shared on a web page provided by the server 200 .

즉, 사운드 재구성을 통해 새로 생성된 동영상 파일의 공유 요청 시, SNS 뿐만 아니라 애플리케이션, 웹 페이지 등 다양한 방식을 통해 동영상 파일이 업로드 되어 공유될 수 있도록 요청할 수 있다.That is, when requesting sharing of a newly created video file through sound reconstruction, it is possible to request that the video file be uploaded and shared through various methods such as applications and web pages as well as SNS.

콘텐츠 관리 서버(200)는 텍스트 파일, 이미지 파일, 음성 파일, 동영상 파일 등 다양한 형태로 구현된 멀티미디어 콘텐츠를 데이터베이스에 저장하여 관리할 수 있다.The content management server 200 may store and manage multimedia content implemented in various forms, such as text files, image files, voice files, and video files, in a database.

콘텐츠 관리 서버(200)는 복수의 사용자 단말(100)로부터 수신되는 다양한 서비스 요청에 따라, 해당 서비스에 대한 절차를 수행할 수 있다.The content management server 200 may perform a procedure for a corresponding service according to various service requests received from the plurality of user terminals 100 .

구체적으로, 콘텐츠 관리 서버(200)는 복수의 사용자 단말(100) 중 어느 하나인 제1 사용자 단말(110)로부터 동영상 파일에 대한 업로드 요청이 수신되면, 업로드 요청된 동영상 파일을 획득할 수 있으며, 획득된 동영상 파일에서 비디오 정보 및 제1 사운드 정보를 추출할 수 있다. 즉, 콘텐츠 관리 서버(200)는 제1 사용자 단말(110)로부터 선택된 동영상 파일을 이용하여 음성 파일에서 추출된 제2 사운드 정보에 대응하는 제1 사운드 정보를 추출할 수 있다. 여기서, 비디오 정보는 동영상 파일로부터 추출된 정보로써, 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 제1 사운드 정보는 동영상 파일로부터 추출된 정보로써, 비디오 정보에 대응하는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 제2 사운드 정보는 음성 파일에서 추출된 정보로써, 제1 사운드 정보의 적어도 일부분에 대응하는 정보를 포함할 수 있지만, 이에 한정하지 않는다.Specifically, when an upload request for a video file is received from the first user terminal 110, which is one of the plurality of user terminals 100, the content management server 200 may acquire the requested video file, Video information and first sound information may be extracted from the obtained moving picture file. That is, the content management server 200 may extract the first sound information corresponding to the second sound information extracted from the voice file by using the video file selected from the first user terminal 110 . Here, the video information is information extracted from a moving picture file, and may consist of at least one of voice, image, and text, and the first sound information is information extracted from the moving picture file, and includes voice, image, and video information corresponding to the video information. It may consist of at least one piece of information among texts, and the second sound information is information extracted from a voice file, and may include information corresponding to at least a portion of the first sound information, but is not limited thereto.

콘텐츠 관리 서버(200)는 복수의 사용자 단말(100) 중 어느 하나인 제1 사용자 단말(110)로부터 동영상 파일에 대응하는 음성 파일에 대한 업로드 요청이 수신되면, 업로드 요청된 음성 파일을 획득할 수 있으며, 획득된 음성 파일에서 제2 사운드 정보를 추출할 수 있다.When the content management server 200 receives an upload request for a voice file corresponding to a video file from the first user terminal 110, which is any one of the plurality of user terminals 100, the upload requested voice file can be obtained. In addition, the second sound information may be extracted from the acquired voice file.

콘텐츠 관리 서버(200)는 제1 사운드 정보 및 제2 사운드 정보 각각의 사운드 밸런스를 조정하고, 제1 사운드 정보 및 제2 사운드 정보를 결합한 제3 사운드 정보를 생성할 수 있다. 즉, 콘텐츠 관리 서버(200)는 동영상 파일을 이용하여 생성된 제1 사운드 정보와 동영상 파일에 대응하는 음성 파일로부터 생성된 제2 사운드 정보를 서로 매칭시켜 새로운 제3 사운드 정보를 생성할 수 있다. 이에 따라, 콘텐츠 관리 서버(200)는 동영상 파일에 비디오 정보에 대응하는 제1 사운드 정보 대신 제3 사운드 정보를 삽입하여 새로운 동영상 파일을 생성하여 제1 사용자 단말(110)로 제공할 수 있다.The content management server 200 may adjust the sound balance of each of the first sound information and the second sound information, and generate third sound information by combining the first sound information and the second sound information. That is, the content management server 200 may generate new third sound information by matching the first sound information generated using the moving picture file with the second sound information generated from the voice file corresponding to the moving picture file. Accordingly, the content management server 200 may generate a new video file by inserting the third sound information instead of the first sound information corresponding to the video information in the video file, and provide it to the first user terminal 110 .

즉, 콘텐츠 관리 서버(200)는 제1 사용자 단말(110)에서 업로드 요청한 동영상 파일로부터 추출된 비디오 정보 및 제1 사운드 정보와, 동영상 파일에 대응하는 음성 파일로부터 추출된 제2 사운드 정보를 이용하여 사운드의 재구성을 통해 동영상 파일을 재생성함으로써, 새로운 멀티미디어 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있다.
실시예에 따라, 콘텐츠 관리 서버(200)는 동영상 파일이 비디오 정보로만 이루어진 경우, 동영상 파일에 대응하는 음성 파일로부터 추출된 제2 사운드 정보를 이용하여 사운드의 재구성을 통해 동영상 파일을 재생성함으로써, 새로운 멀티미디어 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있다.That is, the content management server 200 uses video information and first sound information extracted from a video file requested to be uploaded by the first user terminal 110 and second sound information extracted from a voice file corresponding to the video file. By regenerating a video file through sound reconstruction, new multimedia content may be provided to the first user terminal 110 .
According to an embodiment, when the video file is made of only video information, the content management server 200 regenerates the video file through sound reconstruction using the second sound information extracted from the audio file corresponding to the video file. The multimedia content may be provided to the first user terminal 110 .

도 2는 본 발명의 일 실시예에 따른 콘텐츠 관리 서버(200)의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of a content management server 200 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 관리 서버(200)는 파일 수신부(210), 사운드 추출부(220), 사운드 조정부(230), 사운드 결합부(240) 및 파일 제공부(250)를 포함할 수 있다.Referring to FIG. 2 , the content management server 200 according to an embodiment of the present invention includes a file receiving unit 210 , a sound extracting unit 220 , a sound adjusting unit 230 , a sound combining unit 240 , and a file providing unit. 250 may be included.

파일 수신부(210), 사운드 추출부(220), 사운드 조정부(230), 사운드 결합부(240) 및 파일 제공부(250)는 외부 장치와 통신할 수 있는 프로그램 모듈 또는 하드웨어들일 수 있다. 이러한 프로그램 모듈 또는 하드웨어는 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 콘텐츠 관리 서버(200) 또는 이와 통신 가능한 다른 장치에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈 또는 하드웨어들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않으며 다양한 형태로 구현될 수도 있다.The file receiving unit 210 , the sound extracting unit 220 , the sound adjusting unit 230 , the sound combining unit 240 , and the file providing unit 250 may be program modules or hardware capable of communicating with an external device. These program modules or hardware may be included in the content management server 200 or other devices capable of communicating therewith in the form of an operating system, application program modules, and other program modules, and may be physically stored in various known storage devices. have. On the other hand, these program modules or hardware include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types to be described later according to the present invention, but are not limited thereto. It may be implemented in the form.

파일 수신부(210)는 복수의 사용자 단말(100)로부터 업로드 요청된 동영상 파일 및 음성 파일을 획득할 수 있다.The file receiving unit 210 may acquire a video file and an audio file requested to be uploaded from the plurality of user terminals 100 .

구체적으로, 파일 수신부(210)는 복수의 사용자 단말(100) 중 어느 하나인 제1 사용자 단말(110)로부터 비디오 및 사운드로 구성된 동영상 파일의 업로드가 요청되면, 업로드 요청된 동영상 파일을 획득하고, 제1 사용자 단말(110)로부터 사용자 음성이 녹음된 동영상 파일에 대응하는 음성 파일의 업로드가 요청되면, 업로드 요청된 음성 파일을 획득할 수 있다. 이때, 비디오와 사운드는 서로 대응하는 정보를 포함할 수 있다.Specifically, when the file receiving unit 210 requests to upload a video file composed of video and sound from the first user terminal 110, which is any one of the plurality of user terminals 100, the file receiving unit 210 obtains the requested video file, When an upload of a voice file corresponding to a video file in which a user's voice is recorded is requested from the first user terminal 110 , the upload-requested voice file may be acquired. In this case, the video and the sound may include information corresponding to each other.

동영상 파일 획득 시, 제1 사용자 단말(110) 내에 포함된 메모리 또는 제1 사용자 단말(110)과 연결된 외장형 메모리에 저장되어 있는 동영상 파일에 대해 업로드가 요청되면, 파일 수신부(210)는 제1 사용자 단말(110)로부터 동영상 파일을 수신하여 업로드 요청된 동영상 파일을 획득할 수 있다.When acquiring a video file, when uploading is requested for a video file stored in a memory included in the first user terminal 110 or an external memory connected to the first user terminal 110 , the file receiving unit 210 is the first user By receiving a video file from the terminal 110 , it is possible to obtain a video file requested to be uploaded.

또한, 온라인 상에 게시된 동영상의 URL 주소를 통해 동영상 파일의 업로드가 요청되면, 파일 수신부(210)는 동영상의 URL 주소에 상응하는 외부 서버로부터 동영상 파일을 수신하여 업로드 요청된 동영상 파일을 획득할 수 있다.In addition, when uploading of a video file is requested through the URL address of a video posted online, the file receiving unit 210 receives the video file from an external server corresponding to the URL address of the video to obtain the requested video file. can

음성 파일 획득 시, 제1 사용자 단말(110) 내에 포함된 메모리 또는 제1 사용자 단말(110)과 연결된 외장형 메모리에 저장되어 있는 음성 파일에 대해 업로드가 요청되면, 파일 수신부(210)는 제1 사용자 단말(110)로부터 음성 파일을 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.When acquiring a voice file, when uploading is requested for a voice file stored in a memory included in the first user terminal 110 or an external memory connected to the first user terminal 110, the file receiving unit 210 is the first user A voice file requested to be uploaded may be obtained by receiving the voice file from the terminal 110 .

또한, 제1 사용자 단말(110)의 입력 장치를 통해 음성 정보가 녹음되면서 녹음되는 음성 파일에 대한 업로드가 요청되면, 파일 수신부(210)는 제1 사용자 단말(110)로부터 실시간으로 녹음되는 음성 파일을 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.In addition, when a request for uploading a voice file recorded while voice information is recorded through the input device of the first user terminal 110 is requested, the file receiving unit 210 receives a voice file recorded in real time from the first user terminal 110 . may be received to obtain a voice file requested to be uploaded.

사운드 추출부(220)는 파일 수신부(210)에서 획득한 동영상 파일에서 제1 사운드 정보를 추출하고, 파일 수신부(210)에서 획득한 음성 파일에서 제1 사운드 정보에 대응하는 제2 사운드 정보를 추출할 수 있다.The sound extraction unit 220 extracts first sound information from the moving picture file obtained by the file receiving unit 210 , and extracts second sound information corresponding to the first sound information from the audio file obtained by the file receiving unit 210 . can do.

예를 들어, 사운드 추출부(220)는 동영상 파일에서 비디오 정보를 제외한 사운드 정보를 제1 사운드 정보로 추출할 수 있으며, 음성 파일에서 사용자 음성이 포함된 구간의 사운드 정보를 제2 사운드 정보로 추출할 수 있다. 이때, 제1 사운드 정보는 비디오 정보에 대응할 수 있다.
실시예에 따라, 사운드 추출부(220)는 동영상 파일에 비디오 정보가 포함된 경우, 비디오 정보만을 추출할 수 있다.For example, the sound extractor 220 may extract sound information excluding video information from a moving picture file as first sound information, and extract sound information of a section including a user's voice from the voice file as second sound information. can do. In this case, the first sound information may correspond to video information.
According to an embodiment, when the video information is included in the moving picture file, the sound extractor 220 may extract only the video information.

사운드 조정부(230)는 사운드 추출부(220)에서 추출한 제1 사운드 정보 및 제2 사운드 정보 각각에 대해 사운드 밸런스를 조정할 수 있다.The sound adjusting unit 230 may adjust a sound balance for each of the first sound information and the second sound information extracted by the sound extracting unit 220 .

사운드 밸런스 조정 시, 사운드 조정부(230)는 동영상 파일에서 추출된 제1 사운드 정보와 사용자 음성이 녹음된 제2 사운드 정보가 결합될 때, 제1 사운드가 배경음이 되고 제2 사운드가 돋보일 수 있도록, 제1 사운드 정보 및 제2 사운드 정보 각각에 대한 사운드 밸런스를 자동으로 조정할 수 있다.When adjusting the sound balance, when the first sound information extracted from the moving picture file and the second sound information in which the user's voice is recorded are combined, the sound adjusting unit 230 is configured such that the first sound becomes a background sound and the second sound stands out; A sound balance for each of the first sound information and the second sound information may be automatically adjusted.

사운드 조정부(230)는 사운드 밸런스를 조정하기 위해, 제2 사운드 정보를 분석하여 사용자 음성이 재생되는 음성 구간과 사용자 음성이 재생되지 않는 호흡 구간을 선별하여 구분할 수 있다.In order to adjust the sound balance, the sound adjustment unit 230 may analyze the second sound information to select and classify a voice section in which the user voice is reproduced and a breathing section in which the user voice is not reproduced.

이후, 사운드 조정부(230)는 음성 구간에서 제1 사운드 정보의 소리 세기를 기준치 이하로 감소시키도록 사운드 밸런스를 조정하고, 음성 구간에서 제2 사운드 정보의 소리 세기를 기준치 이상으로 증폭시키도록 사운드 밸런스를 조정할 수 있다.Thereafter, the sound adjustment unit 230 adjusts the sound balance to reduce the sound intensity of the first sound information to a reference value or less in the voice section, and the sound balance to amplify the sound intensity of the second sound information in the voice section to more than the reference value can be adjusted.

즉, 사운드 조정부(230)는 음성이 나오는 음성 구간에서 제1 사운드 정보의 소리 세기를 최소화하고, 제2 사운드 정보의 소리 세기를 상대적으로 증폭시킴으로써, 음성 구간에서는 사용자 음성이 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.That is, the sound adjustment unit 230 minimizes the sound intensity of the first sound information in the voice section in which the voice is emitted and relatively amplifies the sound intensity of the second sound information, thereby balancing the sound so that the user's voice can be emphasized in the voice section. can be adjusted.

또한, 사운드 조정부(230)는 호흡 구간에서 제1 사운드 정보의 소리 세기를 기준치 이상으로 증폭시키도록 사운드 밸런스를 조정할 수 있다.In addition, the sound adjustment unit 230 may adjust the sound balance to amplify the sound intensity of the first sound information to a reference value or more in the breathing section.

즉, 사운드 조정부(230)는 음성이 나오지 않는 호흡 구간에서 제1 사운드 정보의 소리 세기를 증폭시킴으로써, 호흡 구간에서는 사용자 음성이 나오지 않기 때문에 배경음이 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.That is, the sound adjustment unit 230 amplifies the sound intensity of the first sound information in the breathing section in which the voice does not come out, so that the user's voice does not come out in the breathing section, so that the sound balance can be adjusted so that the background sound is emphasized.

일 실시예에 따르면, 사운드 조정부(230)는 음성 구간에서 제1 사운드 정보의 소리 세기를 기준치 이하로 감소시킨 상태에서, 음성 구간이 호흡 구간으로 전환되면, 제1 사운드 정보의 소리 세기를 기준치 이상으로 증폭시켜야 하는데, 이때, 제1 사운드 정보의 소리 세기가 점차적으로 커지도록 증폭시킬 수 있다.According to an exemplary embodiment, the sound adjusting unit 230 reduces the sound intensity of the first sound information in the voice section to a reference value or less, and when the voice section is converted to a breathing section, the sound intensity of the first sound information is higher than the reference value to be amplified, and in this case, the sound intensity of the first sound information may be amplified to gradually increase.

반대로, 사운드 조정부(230)는 호흡 구간에서 제1 사운드 정보의 소리 세기를 기준치 이상으로 증폭시킨 상태에서, 호흡 구간이 음성 구간으로 전환되면, 제1 사운드 정보의 소리 세기를 기준치 이하로 감소시켜야 하는데, 이때, 제1 사운드 정보의 소리 세기가 점차적으로 작아지도록 감소시킬 수 있다.
실시예에 따라, 사운드 조정부(230)는 동영상 파일에서 제1 사운드 정보가 추출되지 않은 경우, 제2 사운드 정보를 분석하여 사용자 음성이 재생되는 음성 구간과 사용자 음성이 재생되지 않는 호흡 구간을 선별하여 사운드 밸런스를 조정할 수 있다.Conversely, when the sound adjustment unit 230 amplifies the sound intensity of the first sound information in the breathing section to a reference value or more, and the breathing section is converted to a voice section, the sound intensity of the first sound information must be reduced below the reference value. , in this case, the sound intensity of the first sound information may be decreased to gradually decrease.
According to an embodiment, when the first sound information is not extracted from the video file, the sound adjustment unit 230 analyzes the second sound information to select a voice section in which the user voice is reproduced and a breathing section in which the user voice is not reproduced. You can adjust the sound balance.

사운드 결합부(240)는 사운드 조정부(230)에서 사운드 밸런스를 조정한 제1 사운드 정보 및 제2 사운드 정보를 기초로, 제1 사운드 정보 및 제2 사운드 정보를 결합하여 제3 사운드 정보를 생성함으로써, 배경음으로 사용되는 제1 사운드 정보와 사용자 음성이 녹음된 제2 사운드 정보를 하나의 사운드로 결합시킬 수 있다.The sound combining unit 240 generates third sound information by combining the first sound information and the second sound information based on the first sound information and the second sound information adjusted for the sound balance by the sound adjusting unit 230 . , the first sound information used as the background sound and the second sound information in which the user's voice is recorded may be combined into one sound.

즉, 사운드 결합부(240)는 음성 구간에서 소리 세기가 감소된 제1 사운드 정보와 상대적으로 소리 세기가 증폭된 제2 사운드 정보를 결합하여, 음성 구간에서 사용자 음성이 부각된 제3 사운드 정보를 생성할 수 있다.That is, the sound combining unit 240 combines the first sound information in which the sound intensity is reduced in the voice section and the second sound information in which the sound intensity is relatively amplified in the voice section to obtain the third sound information in which the user's voice is emphasized in the voice section. can create

또한, 사운드 결합부(240)는 호흡 구간에서 소리 세기가 증폭된 제1 사운드 정보와 음성이 나오지 않아 소리 세기를 조정하지 않은 제2 사운드 정보를 결합하여, 호흡 구간에서 배경음이 부각된 제3 사운드 정보를 생성할 수 있다.In addition, the sound combining unit 240 combines the first sound information in which the sound intensity is amplified in the breathing section and the second sound information in which the sound intensity is not adjusted because the voice does not come out, and the third sound in which the background sound is emphasized in the breathing section information can be created.

파일 제공부(250)는 파일 수신부(210)에서 획득한 동영상 파일에서 비디오 정보에 대응하는 제1 사운드 정보 대신에 제3 사운드 정보를 삽입하여, 사운드의 재구성을 통해 동영상 파일을 새로 생성할 수 있으며, 새로 생성된 동영상 파일을 제1 사용자 단말(110)로 제공할 수 있다.The file providing unit 250 inserts the third sound information instead of the first sound information corresponding to the video information in the moving picture file obtained by the file receiving unit 210, and may create a new moving picture file through sound reconstruction. , the newly created video file may be provided to the first user terminal 110 .

즉, 최초 동영상 파일에 비디오 정보와 제1 사운드 정보가 포함되어 있는데, 파일 제공부(250)는 제1 사운드 정보 대신에 제3 사운드 정보를 삽입하여, 비디오 정보와 제3 사운드 정보를 결합함으로써, 새로운 사운드가 삽입된 동영상 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있다.
실시예에 따라, 최초 동영상 파일에 비디오 정보와 제2 사운드 정보를 삽입하여 새로운 사운드가 삽입된 동영상 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있다.That is, video information and first sound information are included in the first moving picture file, and the file providing unit 250 inserts third sound information instead of the first sound information and combines the video information and the third sound information, The video content in which the new sound is inserted may be provided to the first user terminal 110 .
According to an embodiment, by inserting video information and second sound information into the first moving picture file, moving picture content in which a new sound is inserted may be provided to the first user terminal 110 .

도 3은 본 발명의 일 실시예에 따른 사운드의 재구성을 통해 멀티미디어 콘텐츠를 생성하는 과정을 순서도로 나타낸 도면이다.3 is a flowchart illustrating a process of generating multimedia content through sound reconstruction according to an embodiment of the present invention.

먼저, 동영상 파일 업로드 단계(S301)에서, 복수의 사용자 단말(100) 중 어느 하나인 제1 사용자 단말(110)은 콘텐츠 관리 서버(200)에 접속하여 비디오 및 사운드로 구성된 동영상 파일이 업로드 되도록 요청할 수 있으며, 콘텐츠 관리 서버(200)는 업로드 요청된 동영상 파일을 획득할 수 있다.First, in the video file upload step ( S301 ), the first user terminal 110 , which is any one of the plurality of user terminals 100 , accesses the content management server 200 and requests that a video file composed of video and sound be uploaded. In addition, the content management server 200 may acquire a video file requested to be uploaded.

일 실시예에 따르면, 제1 사용자 단말(110)은 제1 사용자 단말(110)에 저장된 동영상 파일에 대해 직접 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 업로드 요청된 동영상 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 동영상 파일을 획득할 수 있다.According to an embodiment, the first user terminal 110 may directly request to upload a video file stored in the first user terminal 110 , and the content management server 200 transmits the requested video file to the first user. It is possible to obtain a video file requested to be uploaded by receiving it from the terminal 110 .

다른 실시예에 따르면, 제1 사용자 단말(110)은 온라인 상에 게시된 동영상의 URL 주소를 통해 동영상 파일에 대한 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 동영상의 URL 주소에 접속하여 업로드 요청된 동영상 파일을 획득할 수 있다.According to another embodiment, the first user terminal 110 may request an upload of a video file through a URL address of a video posted online, and the content management server 200 accesses the URL address of the video and uploads the video. The requested video file can be obtained.

음성 파일 업로드 단계(S302)에서, 제1 사용자 단말(110)은 콘텐츠 관리 서버(200)에 접속하여 제1 사용자 음성이 녹음된 음성 파일이 업로드 되도록 요청할 수 있으며, 콘텐츠 관리 서버(200)는 업로드 요청된 음성 파일을 획득할 수 있다. 이때, 음성 파일은 동영상 파일의 적어도 일부분에 대응할 수 있지만, 이에 한정하지 않는다.In the voice file upload step (S302), the first user terminal 110 may access the content management server 200 and request that a voice file in which the first user's voice is recorded be uploaded, and the content management server 200 uploads The requested voice file can be obtained. In this case, the audio file may correspond to at least a part of the video file, but is not limited thereto.

일 실시예에 따르면, 제1 사용자 단말(110)은 제1 사용자 단말(110)에 저장된 음성 파일에 대해 직접 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 업로드 요청된 음성 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.According to an embodiment, the first user terminal 110 may directly request an upload of a voice file stored in the first user terminal 110 , and the content management server 200 transmits the requested voice file to the first user. A voice file requested to be uploaded may be obtained by receiving it from the terminal 110 .

다른 실시예에 따르면, 제1 사용자 단말(110)은 제1 사용자 단말(110)의 입력 장치에 입력되는 음성 정보를 실시간으로 녹음하여 음성 파일을 새로 생성한 후, 생성된 음성 파일이 업로드 되도록 요청할 수 있으며, 콘텐츠 관리 서버(200)는 실시간으로 녹음된 음성 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.According to another embodiment, the first user terminal 110 creates a new voice file by recording voice information input to the input device of the first user terminal 110 in real time, and then requests that the generated voice file be uploaded. In addition, the content management server 200 may receive a voice file recorded in real time from the first user terminal 110 to obtain a voice file requested to be uploaded.

비디오 정보 추출 단계(S303)에서, 콘텐츠 관리 서버(200)는 S301 단계에서 업로드 요청에 따라 획득된 동영상 파일에서 비디오 정보를 추출할 수 있으며, 제1 사운드 정보 추출 단계(S304)에서, 콘텐츠 관리 서버(200)는 S301 단계에서 업로드 요청에 따라 획득된 동영상 파일에서 비디오 정보에 대응하는 제1 사운드 정보를 추출할 수 있다.In the video information extraction step (S303), the content management server 200 may extract video information from the video file obtained according to the upload request in the step S301, and in the first sound information extraction step (S304), the content management server 200 may extract the first sound information corresponding to the video information from the video file obtained according to the upload request in step S301.

즉, 콘텐츠 관리 서버(200)는 제1 사용자 단말(110)의 업로드 요청에 따라 획득된 동영상 파일에서 비디오 정보와 사운드 정보를 구분하여 각각 추출할 수 있다.That is, the content management server 200 may separate and extract video information and sound information from a video file obtained according to the upload request of the first user terminal 110 .

제2 사운드 정보 추출 단계(S305)에서, 콘텐츠 관리 서버(200)는 S302 단계에서 업로드 요청에 따라 획득된 음성 파일에서 제2 사운드 정보를 추출할 수 있다.In the second sound information extraction step (S305), the content management server 200 may extract the second sound information from the voice file obtained according to the upload request in step S302.

제2 사운드 정보 추출 시, 콘텐츠 관리 서버(200)는 음성 파일을 분석하여, 음성 파일에 사용자 음성과 배경음이 섞여 있는 경우, 사용자 음성 부분을 제2 사운드 정보로 추출할 수 있으며, 음성 파일에 사용자 음성만 있는 경우, 음성 파일 자체를 제2 사운드 정보로 추출할 수 있다.When extracting the second sound information, the content management server 200 analyzes the voice file, and when the voice file contains a user voice and a background sound, the user voice part may be extracted as the second sound information, and the voice file contains the user voice. When there is only the voice, the voice file itself may be extracted as the second sound information.

음성 및 호흡 구간 구분 단계(S306)에서, 콘텐츠 관리 서버(200)는 S305 단계에서 추출된 제2 사운드 정보를 분석하여 사용자 음성이 재생되는 음성 구간과 사용자 음성이 재생되지 않는 호흡 구간을 선별하여 구분할 수 있다.In the voice and breathing section division step (S306), the content management server 200 analyzes the second sound information extracted in step S305 to select and classify a voice section in which the user voice is reproduced and a breathing section in which the user voice is not reproduced. can

제1 사운드 정보 사운드 밸런스 조정 단계(S307)에서, 콘텐츠 관리 서버(200)는 S304 단계에서 추출된 제1 사운드 정보에 대해 S306 단계에서 구분된 음성 및 호흡 구간에 따라 사운드 밸런스를 조정할 수 있다.In the first sound information sound balance adjustment step (S307), the content management server 200 may adjust the sound balance according to the voice and breathing sections divided in step S306 for the first sound information extracted in step S304.

즉, 콘텐츠 관리 서버(200)는 음성 구간에서 제1 사운드 정보의 소리 세기를 기준치 이하로 감소시키고, 호흡 구간에서 제1 사운드 정보의 소리 세기를 기준치 이상으로 증폭시켜, 호흡 구간에서만 제1 사운드 정보의 소리가 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.That is, the content management server 200 reduces the sound intensity of the first sound information in the voice section to less than the reference value, and amplifies the sound intensity of the first sound information in the breathing section to more than the reference value, and only the first sound information in the breathing section You can adjust the sound balance so that the sound of

제2 사운드 정보 사운드 밸런스 조정 단계(S308)에서, 콘텐츠 관리 서버(200)는 S305 단계에서 추출된 제2 사운드 정보에 대해 306 단계에서 구분된 음성 및 호흡 구간에 따라 사운드 밸런스를 조정할 수 있다.In the second sound information sound balance adjustment step (S308), the content management server 200 may adjust the sound balance according to the voice and breathing sections divided in step 306 for the second sound information extracted in step S305.

즉, 콘텐츠 관리 서버(200)는 음성 구간에서 제2 사운드 정보의 소리 세기를 기준치 이하로 증폭시켜, 음성 구간에서 제2 사운드 정보의 소리가 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.That is, the content management server 200 may amplify the sound intensity of the second sound information to a reference value or less in the voice section, and adjust the sound balance so that the sound of the second sound information can be emphasized in the voice section.

제3 사운드 정보 생성 단계(S309)에서, 콘텐츠 관리 서버(200)는 S307 단계에서 사운드 밸런스가 조정된 제1 사운드 정보와 S308 단계에서 사운드 밸런스가 조정된 제2 사운드 정보를 결합하여, 제3 사운드 정보를 생성할 수 있다.In the third sound information generation step (S309), the content management server 200 combines the first sound information whose sound balance is adjusted in step S307 and the second sound information whose sound balance is adjusted in step S308, and the third sound information can be created.

즉, 콘텐츠 관리 서버(200)는 음성 구간에서 소리 세기가 감소된 제1 사운드 정보와 소리 세기가 증폭된 제2 사운드 정보를 결합하여, 음성 구간에서는 사용자 음성이 부각된 제3 사운드 정보를 생성할 수 있다.That is, the content management server 200 combines the first sound information with the reduced sound intensity and the second sound information with the amplified sound intensity in the voice section to generate third sound information in which the user's voice is emphasized in the voice section. can

또한, 콘텐츠 관리 서버(200)는 호흡 구간에서 소리 세기가 증폭된 제1 사운드 정보와 음성이 나오지 않아 소리 세기를 조정하지 않은 제2 사운드 정보를 결합하여, 호흡 구간에서는 배경음이 부각된 제3 사운드 정보를 생성할 수 있다.In addition, the content management server 200 combines the first sound information in which the sound intensity is amplified in the breathing section and the second sound information in which the sound intensity is not adjusted because the voice does not come out, and the third sound in which the background sound is emphasized in the breathing section information can be created.

동영상 파일 생성 단계(S310)에서, 콘텐츠 관리 서버(200)는 S303 단계에서 추출된 비디오 정보와 S309 단계에서 생성된 제3 사운드 정보를 결합하여, 사운드 재구성을 통해 멀티미디어 콘텐츠인 동영상 파일을 새로 생성할 수 있다.In the video file creation step (S310), the content management server 200 combines the video information extracted in step S303 and the third sound information generated in step S309 to create a new video file that is multimedia content through sound reconstruction. can

즉, S301 단계에서 업로드 요청에 따라 획득된 동영상 파일에 비디오 정보와 제1 사운드 정보가 포함되어 있는데, 콘텐츠 관리 서버(200)는 비디오 정보는 그대로 두고 제1 사운드 정보 대신에 제3 사운드 정보를 삽입하여, 사운드 재구성을 통해 새로운 사운드가 삽입된 동영상 파일을 생성할 수 있다.
실시예에 따라, 동영상 파일가 비디오 정보로만 이루어진 경우, 제2 사운드 정보를 동영상 파일에 삽입하여 사운드 재구성을 통해 새로운 사운드가 삽입된 동영상 파일을 생성할 수 있다.That is, video information and first sound information are included in the video file obtained according to the upload request in step S301, and the content management server 200 inserts the third sound information instead of the first sound information while leaving the video information as it is. Thus, it is possible to create a video file in which a new sound is inserted through sound reconstruction.
According to an embodiment, when the moving picture file consists of only video information, a moving picture file in which a new sound is inserted may be generated through sound reconstruction by inserting the second sound information into the moving picture file.

도 4는 본 발명의 일 실시예에 따른 사용자 음성이 재생되는 음성 구간을 선별하여 구분하는 과정을 나타내는 도면이다.4 is a diagram illustrating a process of selecting and classifying a voice section in which a user's voice is reproduced according to an embodiment of the present invention.

먼저, 제1 사용자 단말(110)은 애플리케이션, 웹 브라우저 등을 통해 콘텐츠 관리 서버(200)에 접속하여, 다양한 서비스 요청에 따라 해당 서비스를 이용할 수 있는 페이지를 화면에 표시할 수 있으며, 예를 들어, 사운드의 재구성을 통한 멀티미디어 콘텐츠를 생성하기 위해 동영상 파일 업로드, 음성 파일 업로드 등의 메뉴를 포함하는 페이지를 화면에 표시할 수 있다.First, the first user terminal 110 may access the content management server 200 through an application, a web browser, or the like, and display a page that can use the corresponding service according to various service requests on the screen, for example, , a page including menus such as video file upload and audio file upload can be displayed on the screen to create multimedia content through sound reconstruction.

도 4의 (a)에 도시된 바와 같이, 제1 사용자 단말(110)은 동영상 파일의 업로드를 위한 Video 메뉴 창과 음성 파일의 업로드를 위한 Voice 메뉴 창을 포함하는 페이지를 화면에 표시할 수 있다.As shown in (a) of FIG. 4 , the first user terminal 110 may display a page including a Video menu window for uploading a video file and a Voice menu window for uploading a voice file on the screen.

Video 메뉴 창에는 동영상 URL 주소를 입력하기 위한 인터페이스와 동영상 파일의 저장 위치를 선택하는 인터페이스가 포함될 수 있으며, Voice 메뉴 창에는 사용자 음성을 녹음하기 위한 인터페이스와 음성 파일의 저장 위치를 선택하는 인터페이스가 포함될 수 있다.The Video menu window may include an interface for inputting a video URL address and an interface for selecting a storage location for a video file, and the Voice menu window may include an interface for recording a user's voice and an interface for selecting a storage location for a voice file. can

Video 메뉴 창을 통해 동영상 파일을 업로드 하는 방법으로는 동영상 URL 주소 입력, 동영상 파일 직접 업로드 등의 방법이 있다.To upload a video file through the Video menu window, there are methods such as entering a video URL address or directly uploading a video file.

동영상 URL 주소 입력을 통해 동영상 파일을 업로드 하는 과정에 대해 설명해보면, Video 메뉴 창에서 동영상 URL 주소의 입력 인터페이스를 통해 동영상의 URL 주소가 입력되면, 제1 사용자 단말(110)은 인터페이스를 통해 입력된 동영상의 URL 주소를 통해 동영상 파일에 대한 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 동영상의 URL 주소에 접속하여 업로드 요청된 동영상 파일을 획득할 수 있다.When explaining the process of uploading a video file through the video URL address input, when the URL address of the video is input through the video URL address input interface in the Video menu window, the first user terminal 110 is inputted through the interface. The upload of the video file may be requested through the URL address of the video, and the content management server 200 may access the URL address of the video to obtain the requested video file.

동영상 파일을 직접 업로드 하는 과정에 대해 설명해보면, Video 메뉴 창에서 동영상 파일의 저장 위치 선택 인터페이스를 통해 동영상 파일의 저장 위치가 선택되면, 제1 사용자 단말(110)은 인터페이스를 통해 선택된 동영상 파일에 대해 직접 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 업로드 요청된 동영상 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 동영상 파일을 획득할 수 있다.When explaining the process of directly uploading a video file, when a storage location of the video file is selected through the video file storage location selection interface in the Video menu window, the first user terminal 110 responds to the video file selected through the interface. The upload may be requested directly, and the content management server 200 may receive the upload-requested video file from the first user terminal 110 to obtain the upload-requested video file.

Voice 메뉴 창을 통해 음성 파일을 업로드 하는 방법으로는 음성 녹음을 통한 업로드, 음성 파일 직접 업로드 등의 방법이 있다.There are two methods for uploading a voice file through the Voice menu window, such as uploading through voice recording or directly uploading a voice file.

음성 녹음을 통해 음성 파일을 업로드 하는 과정에 대해 설명해보면, Voice 메뉴 창에서 사용자 음성을 녹음하기 위한 인터페이스가 선택되면, 도 4의 (b)에 도시된 바와 같이, 사용자 음성 정보를 녹음하기 위한 녹음 시작 버튼, 녹음 정지 버튼, 다시 녹음 버튼, 확인 버튼 등이 제1 사용자 단말(110)의 화면에 표시될 수 있다.When explaining the process of uploading a voice file through voice recording, when an interface for recording a user's voice is selected in the Voice menu window, as shown in (b) of FIG. 4, a recording for recording user voice information A start button, a recording stop button, a re-recording button, a confirmation button, etc. may be displayed on the screen of the first user terminal 110 .

예를 들어, 녹음 시작 버튼이 선택된 후부터 녹음 정지 버튼이 선택될 때까지 제1 사용자 단말(110)의 입력 장치에 입력되는 음성 정보가 녹음되어 음성 파일이 생성될 수 있으며, 확인 버튼이 선택되면, 제1 사용자 단말(110)은 음성 녹음을 통해 생성된 음성 파일에 대한 업로드를 자동으로 요청할 수 있으며, 콘텐츠 관리 서버(200)는 업로드 요청된 음성 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.For example, from the time the recording start button is selected until the recording stop button is selected, voice information input to the input device of the first user terminal 110 may be recorded to generate a voice file, and when the OK button is selected, The first user terminal 110 may automatically request an upload of a voice file generated through voice recording, and the content management server 200 receives and uploads a voice file requested to be uploaded from the first user terminal 110 . The requested voice file can be obtained.

음성 파일을 직접 업로드 하는 과정에 대해 설명해보면, Video 메뉴 창에서 음성 파일의 저장 위치 선택 인터페이스를 통해 음성 파일의 저장 위치가 선택되면, 제1 사용자 단말(110)은 인터페이스를 통해 선택된 음성 파일에 대해 직접 업로드를 요청할 수 있고, 콘텐츠 관리 서버(200)는 업로드 요청된 음성 파일을 제1 사용자 단말(110)로부터 수신하여 업로드 요청된 음성 파일을 획득할 수 있다.When explaining the process of directly uploading the voice file, when the storage location of the voice file is selected through the audio file storage location selection interface in the Video menu window, the first user terminal 110 responds to the voice file selected through the interface. The upload may be requested directly, and the content management server 200 may receive the upload-requested voice file from the first user terminal 110 to obtain the upload-requested voice file.

상술한 바와 같이, 콘텐츠 관리 서버(200)는 동영상 파일의 업로드 요청을 통해 동영상 파일을 획득할 수 있고, 음성 파일의 업로드 요청을 통해 음성 파일을 획득할 수 있으며, 동영상 파일에서 제1 사운드 정보를 추출하고, 음성 파일에서 제2 사운드 정보를 추출할 수 있다.As described above, the content management server 200 may obtain a video file through a request for uploading a video file, may obtain a voice file through a request for uploading a voice file, and obtain the first sound information from the video file. and extract the second sound information from the voice file.

이후, 콘텐츠 관리 서버(200)는 제2 사운드 정보를 분석하여, 도 4의 (c)에 도시된 바와 같이, 사용자 음성이 재생되는 구간의 데시벨을 선별하여 음성 구간으로 구분할 수 있으며, 사용자 음성이 재생되지 않는 구간의 데시벨을 선별하여 호흡 구간으로 구분할 수 있다.Thereafter, the content management server 200 may analyze the second sound information, select decibels of a section in which the user voice is reproduced, as shown in FIG. The decibels of the non-regenerating section can be selected and divided into respiration sections.

이후, 콘텐츠 관리 서버(200)는 음성 구간과 호흡 구간 별로 제1 사운드 정보 및 제2 사운드 정보에 대해 사운드 밸런스를 조정할 수 있다.Thereafter, the content management server 200 may adjust the sound balance for the first sound information and the second sound information for each voice section and breathing section.

음성 구간의 사운드 밸런스 조정 시, 콘텐츠 관리 서버(200)는 음성 구간에서 제1 사운드 정보의 소리 세기를 기준치 이하로 감소시키고, 제2 사운드 정보의 소리 세기를 기준치 이상으로 증폭시킬 수 있다.When adjusting the sound balance of the voice section, the content management server 200 may reduce the sound intensity of the first sound information to a reference value or less in the voice section and amplify the sound intensity of the second sound information to a value higher than the reference value.

예를 들어, 콘텐츠 관리 서버(200)는 음성 구간에서 제1 사운드 정보의 소리 세기를 20 데시벨로 낮춰서 배경음이 부각되지 않도록 처리할 수 있으며, 제2 사운드 정보의 소리 세기를 상대적으로 증폭시켜 사용자 음성 소리가 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.For example, the content management server 200 may lower the sound intensity of the first sound information to 20 decibels in the voice section so that the background sound is not emphasized, and the user voice by relatively amplifying the sound intensity of the second sound information. You can adjust the sound balance to make the sound stand out.

호흡 구간의 사운드 밸런스 조정 시, 콘텐츠 관리 서버(200)는 호흡 구간에서 제1 사운드 정보의 소리 세기를 기준치 이상으로 증폭시킬 수 있다.When adjusting the sound balance of the breathing section, the content management server 200 may amplify the sound intensity of the first sound information in the breathing section to a reference value or more.

예를 들어, 콘텐츠 관리 서버(200)는 음성 구간에서 제1 사운드 정보의 소리 세기를 낮춰서 배경음이 부각되지 않도록 처리하였으나, 호흡 구간에서 제1 사운드 정보의 소리 세기를 오히려 증폭시켜 배경음이 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.For example, the content management server 200 lowers the sound intensity of the first sound information in the voice section so that the background sound is not emphasized, but the background sound can be emphasized by amplifying the sound intensity of the first sound information in the breathing section. You can adjust the sound balance so that

즉, 음성 구간에서는 사용자 음성이 재생되기 때문에 제2 사운드 정보의 소리 세기를 증폭시켜 사용자 음성 소리가 부각될 수 있도록 사운드 밸런스를 조정하고, 호흡 구간에서는 사용자 음성이 재생되지 않기 때문에 제1 사운드 정보의 소리 세기를 증폭시켜 배경음이 부각될 수 있도록 사운드 밸런스를 조정할 수 있다.That is, since the user's voice is reproduced in the voice section, the sound balance is adjusted so that the user's voice sound can be emphasized by amplifying the sound intensity of the second sound information, and since the user's voice is not reproduced in the breathing section, the first sound information You can adjust the sound balance so that the background sound stands out by amplifying the sound intensity.

이후, 콘텐츠 관리 서버(200)는 사운드 밸런스가 조정된 제1 사운드 정보와 제2 사운드 정보를 결합하여 제3 사운드 정보를 생성할 수 있으며, 제1 사운드 정보 대신에 제3 사운드 정보를 삽입한 동영상 파일을 생성함으로써, 음성 구간에서 사용자 음성 소리가 부각되고, 호흡 구간에서 배경음이 부각되도록 사운드를 재구성한 멀티미디어 콘텐츠를 생성할 수 있게 된다.Thereafter, the content management server 200 may generate third sound information by combining the sound balance-adjusted first sound information and the second sound information, and a video in which the third sound information is inserted instead of the first sound information. By creating the file, it is possible to create multimedia content in which the sound is reconstructed so that the user's voice is emphasized in the voice section and the background sound is emphasized in the breathing section.

본 발명의 일 실시예에 따르면, 콘텐츠 관리 서버(200)는 음성 파일에서 추출된 제2 사운드 정보를 통해 사용자 인증이 완료되어야만, 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 과정을 수행할 수 있다.According to an embodiment of the present invention, the content management server 200 may perform the multimedia content creation process through sound reconstruction only when user authentication is completed through the second sound information extracted from the voice file.

이를 위해, 콘텐츠 관리 서버(200)는 사용자 음성이 특성이 분석된 음성 특성 정보(예를 들어, 음성의 파동, 주파수 등)를 사용자 정보로 등록하여 관리하고 있을 수 있다.To this end, the content management server 200 may register and manage voice characteristic information (eg, voice wave, frequency, etc.) in which the characteristics of the user's voice are analyzed as user information.

즉, 콘텐츠 관리 서버(200)는 제1 사용자 단말(110)로부터 업로드 요청된 음성 파일을 획득하여, 획득된 음성 파일에서 제2 사운드 정보를 추출한 후, 추출된 제2 사운드 정보를 기초로 제1 사용자에 대한 음성의 특성을 분석할 수 있으며, 제1 사용자의 음성 특정 정보와 미리 등록된 사용자 정보의 음성 특성 정보를 비교하여, 일치하는 경우, 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 과정을 수행할 수 있다.That is, the content management server 200 obtains a voice file requested to be uploaded from the first user terminal 110 , extracts second sound information from the acquired voice file, and then, based on the extracted second sound information, first It is possible to analyze the characteristics of the user's voice, compare the voice specific information of the first user with the voice characteristic information of the pre-registered user information and, if they match, perform a multimedia content creation process through sound reconstruction .

한편, 제1 사용자 단말(110)에서 업로드 요청된 동영상 파일의 제작자와 음성 파일의 제작자가 상이한 경우, 사운드 재구성을 통해 새로 생성된 동영상 파일에 대한 수익은 일정 비율에 따라 자동으로 분배될 수 있다.On the other hand, when the producer of the video file requested to be uploaded by the first user terminal 110 and the producer of the audio file are different, the revenue for the video file newly created through sound reconstruction may be automatically distributed according to a certain ratio.

예를 들어, 최초 동영상 파일을 생산한 제작자는 제2 사용자이고, 사용자 음성을 녹음하여 동영상 파일에 대응하는 음성 파일을 생산한 제작자는 제1 사용자인 경우, 사운드 재구성을 통해 새로 생성된 동영상 파일에는 제2 사용자 제작한 비디오 정보와 제1 사용자의 음성이 녹음된 제3 사운드 정보가 모두 포함되어 있으므로, 동영상 파일에 제3 사운드 정보를 삽입하여 사운드 재구성을 통해 새로 생성된 새로운 동영상 파일에 대한 수익은 제1 사용자 및 제2 사용자에게 일정 비율로 분배되어 지급될 수 있다.For example, if the producer who initially produced the video file is the second user, and the producer who recorded the user's voice and produced the audio file corresponding to the video file is the first user, the video file newly created through sound reconstruction contains Since both the video information produced by the second user and the third sound information in which the voice of the first user is recorded are included, the revenue for the new video file newly created through sound reconstruction by inserting the third sound information into the video file is It may be distributed and paid to the first user and the second user at a predetermined rate.

이에 따라, 기존의 비디오 정보는 유지하면서 사용자 음성이 녹음된 사운드 정보만 변경하여 다양한 멀티미디어 콘텐츠를 생성할 수 있으므로, 동일한 비디오에 대해 다양한 버전의 사운드가 삽입된 멀티미디어 콘텐츠를 생성하고 공유할 수 있어 사용자 흥미를 증대시킬 수 있다. Accordingly, various multimedia contents can be created by changing only the sound information in which the user's voice is recorded while maintaining the existing video information. can increase interest.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention.

100 : 복수의 사용자 단말
110 : 제1 사용자 단말
120 : 제2 사용자 단말
200 : 콘텐츠 관리 서버
210 : 파일 수신부
220 : 사운드 추출부
230 : 사운드 조정부
240 : 사운드 결합부
250 : 파일 제공부100: a plurality of user terminals
110: first user terminal
120: second user terminal
200: content management server
210: file receiving unit
220: sound extraction unit
230: sound control unit
240: sound coupling unit
250: file providing unit

Claims (5)

콘텐츠 관리 서버에 의해 수행되는 멀티미디어 콘텐츠 생성 방법에 있어서,
사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제1 정보를 포함하는 제1 콘텐츠를 수신하는 단계;
상기 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제2 정보를 포함하는 제2 콘텐츠를 수신하는 단계;
상기 제1 콘텐츠로부터 상기 제1 정보를 추출하고 상기 제2 콘텐츠로부터 상기 제1 정보의 적어도 일부분에 대응하는 상기 제2 정보를 추출하는 단계;
상기 제2 정보에 대해 사운드 밸런스를 조정하는 단계;
상기 제1 콘테츠에 상기 제1 정보에 대응하여 상기 제2 정보를 삽입하여 상기 제1 정보와 상기 제2 정보를 매칭시켜 새로운 제3 콘텐츠를 생성하는 단계;를 포함하되,
상기 제1 정보는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 상기 제2 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어지고,
상기 제1 콘텐츠로부터 제3 정보를 추출하는 단계; 및
상기 제3 정보에 대해 사운드 밸런스를 조정하는 단계;를 포함하고,
상기 제3 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어지며,
상기 제2 정보와 상기 제3 정보를 결합한 제4 정보를 생성하는 단계; 및
상기 제4 정보를 상기 제3 정보 대신 삽입하여 상기 제1 정보와 상기 제4 정보를 매칭시켜 새로운 제4 콘텐츠를 생성하는 단계;를 포함하는, 멀티미디어 콘텐츠 생성 방법.In the multimedia content creation method performed by the content management server,
receiving, by the user terminal, first content including first information selected according to the selection of the user terminal from among a plurality of content according to the upload request;
receiving, by the user terminal, second content including second information selected according to the selection of the user terminal from among a plurality of content according to the upload request;
extracting the first information from the first content and extracting the second information corresponding to at least a portion of the first information from the second content;
adjusting a sound balance with respect to the second information;
Including; inserting the second information in response to the first information in the first content to match the first information and the second information to create new third content;
The first information may include at least one of voice, image, and text information, and the second information may include voice information corresponding to the first information,
extracting third information from the first content; and
Including; adjusting the sound balance with respect to the third information;
The third information consists of voice information corresponding to the first information,
generating fourth information by combining the second information and the third information; and
and inserting the fourth information instead of the third information to match the first information with the fourth information to generate new fourth content. 삭제delete 삭제delete 사용자 단말에 의해 업로드 요청에 따라 복수개의 콘텐츠 중 상기 사용자 단말의 선택에 따라 선택된 제1 정보를 포함하는 제1 콘텐츠와, 제2 정보를 포함하는 제2 콘텐츠를 수신하고, 수신된 상기 제1 콘텐츠로부터 상기 제1 정보를 추출하고 상기 제2 콘텐츠로부터 상기 제1 정보의 적어도 일부분에 대응하는 상기 제2 정보를 추출한 후, 상기 제2 정보에 대해 사운드 밸런스를 조정하고, 상기 제1 콘테츠에 상기 제1 정보에 대응하여 상기 제2 정보를 삽입하여 상기 제1 정보와 상기 제2 정보를 매칭시켜 새로운 제3 콘텐츠를 생성하는 콘텐츠 관리 서버;를 포함하고,
상기 제1 정보는 음성, 이미지 및 텍스트 중 적어도 하나의 정보로 이루어질 수 있고, 상기 제2 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어지고,
상기 콘텐츠 관리 서버는 제1 콘텐츠로부터 제3 정보를 추출하고, 생성된 상기 제3 정보에 대해 사운드 밸런스를 조정하고, 상기 제2 정보와 상기 제3 정보를 결합한 제4 정보를 생성하고, 생성된 상기 제4 정보를 상기 제3 정보 대신 삽입하여 상기 제1 정보와 상기 제4 정보를 매칭시켜 새로운 제4 콘텐츠를 생성하고,
상기 제3 정보는 상기 제1 정보에 대응하는 음성 정보로 이루어지는, 멀티미디어 콘텐츠를 생성하는 콘텐츠 관리 서버.Receive a first content including first information selected according to a selection of the user terminal from among a plurality of contents according to an upload request by the user terminal and second content including second information, and the received first content After extracting the first information from and extracting the second information corresponding to at least a part of the first information from the second content, a sound balance is adjusted for the second information, and the a content management server that inserts the second information in response to the first information to match the first information and the second information to generate new third content;
The first information may include at least one of voice, image, and text information, and the second information may include voice information corresponding to the first information,
The content management server extracts third information from the first content, adjusts a sound balance for the generated third information, generates fourth information combining the second information and the third information, inserting the fourth information instead of the third information to match the first information and the fourth information to create a new fourth content;
The third information is composed of voice information corresponding to the first information, a content management server for generating multimedia content. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium in combination with a computer, which is hardware, to perform the method of claim 1.
KR1020210018485A 2020-01-06 2021-02-09 Method for creating multidedia content through reconstruction of sound and content managing server KR102402600B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210018485A KR102402600B1 (en) 2020-01-06 2021-02-09 Method for creating multidedia content through reconstruction of sound and content managing server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200001334A KR102349180B1 (en) 2020-01-06 2020-01-06 Method for creating multidedia content through reconstruction of sound and content managing server
KR1020210018485A KR102402600B1 (en) 2020-01-06 2021-02-09 Method for creating multidedia content through reconstruction of sound and content managing server

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001334A Division KR102349180B1 (en) 2020-01-06 2020-01-06 Method for creating multidedia content through reconstruction of sound and content managing server

Publications (2)

Publication Number Publication Date
KR20210088455A KR20210088455A (en) 2021-07-14
KR102402600B1 true KR102402600B1 (en) 2022-05-25

Family

ID=76862946

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200001334A KR102349180B1 (en) 2020-01-06 2020-01-06 Method for creating multidedia content through reconstruction of sound and content managing server
KR1020210018485A KR102402600B1 (en) 2020-01-06 2021-02-09 Method for creating multidedia content through reconstruction of sound and content managing server

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200001334A KR102349180B1 (en) 2020-01-06 2020-01-06 Method for creating multidedia content through reconstruction of sound and content managing server

Country Status (1)

Country Link
KR (2) KR102349180B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4488091B2 (en) * 2008-06-24 2010-06-23 ソニー株式会社 Electronic device, video content editing method and program
KR20110095113A (en) * 2010-02-16 2011-08-24 윤재민 Digital video recorder system displaying sound fields and application method thereof
KR20120050689A (en) * 2010-11-11 2012-05-21 주식회사 케이티 Method and apparatus for producing user creative contents
KR102472801B1 (en) * 2016-10-12 2022-12-01 천종윤 Distributed Multimedia editing System and Method

Also Published As

Publication number Publication date
KR20210088455A (en) 2021-07-14
KR102349180B1 (en) 2022-01-07
KR20210088163A (en) 2021-07-14

Similar Documents

Publication Publication Date Title
KR102096077B1 (en) Storyboard-directed video production from shared and individualized assets
US9055193B2 (en) System and method of a remote conference
US8266119B2 (en) Contents management system, image processing device in contents management system, and link information generating method of image processing device
US9402050B1 (en) Media content creation application
CN112261416A (en) Cloud-based video processing method and device, storage medium and electronic equipment
KR20160079936A (en) System and method for visual selection of elements in video content
US20190191224A1 (en) Eyes free entertainment
US20190199763A1 (en) Systems and methods for previewing content
US9251850B2 (en) Nonlinear proxy-based editing system and method having improved audio level controls
JP2014082582A (en) Viewing device, content provision device, viewing program, and content provision program
US11425142B2 (en) Location based authentication
KR102253524B1 (en) Method and system for applying loudness normalization
US12010161B1 (en) Browser-based video production
KR102402600B1 (en) Method for creating multidedia content through reconstruction of sound and content managing server
KR101421066B1 (en) System and method for providing Multi-media contents with audio file, computer readable medium having computer program recorded therefor
KR101565139B1 (en) Method for serving learning resources for multi channel in smart learning
JP2004077966A (en) Digital stenographic system
KR102711306B1 (en) Apparatus for Assets and Videos Sharing Service and Driving Method Thereof
KR102615377B1 (en) Method of providing a service to experience broadcasting
JP6856883B2 (en) Information processing device, control method and control program of information processing device
CN102148823B (en) Reproduction device and reproduction system
KR20160096575A (en) Media File Sharing Mehtod, and Managing Server Used Therein
KR101565142B1 (en) Smart learning system using multi channel based on learning resource adaptation
KR20170088255A (en) A system and method of an electronic scenario offer for the actor's script reading based on on-line
WO2021084718A1 (en) Voice playback program, voice playback method, and voice playback system

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant