KR102161080B1 - 동영상의 배경음악 생성 장치, 방법 및 프로그램 - Google Patents

동영상의 배경음악 생성 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR102161080B1
KR102161080B1 KR1020190175959A KR20190175959A KR102161080B1 KR 102161080 B1 KR102161080 B1 KR 102161080B1 KR 1020190175959 A KR1020190175959 A KR 1020190175959A KR 20190175959 A KR20190175959 A KR 20190175959A KR 102161080 B1 KR102161080 B1 KR 102161080B1
Authority
KR
South Korea
Prior art keywords
video
music
background music
unit
user
Prior art date
Application number
KR1020190175959A
Other languages
English (en)
Inventor
정현후
채진욱
채승욱
Original Assignee
주식회사 에스엠알씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스엠알씨 filed Critical 주식회사 에스엠알씨
Priority to KR1020190175959A priority Critical patent/KR102161080B1/ko
Application granted granted Critical
Publication of KR102161080B1 publication Critical patent/KR102161080B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

본 발명은 동영상의 배경음악 생성 장치에 관한 것으로, 동영상 내 장면의 움직이는 속도 정보와 동영상 내 등장하는 각종 오브젝트를 분석하고, 복수 개의 음악패턴을 추출하여 연결함으로써, 동영상에 최적화된 배경음악을 생성하는 효과를 발휘한다.

Description

동영상의 배경음악 생성 장치, 방법 및 프로그램 {Device, method and program of generating background music of video}
본 발명은 사용자로부터 입력받은 동영상의 배경음악을 생성하는 장치에 관한 것이다.
최근 들어, 영상을 촬영하거나 제작, 편집할 수 있는 기술, 프로그램이 발달하고 대중화됨에 따라서 영상을 제작하는 것이 일반인에게도 어렵지 않은 일이 되었다.
하지만, 영상에서 중요한 것 중 하나가 배경음악을 입히는 것인데, 일반인이 음악을 작곡하는 것은 거의 불가능에 가깝고 심지어 영상에 잘 어울리는 배경음악을 설정하는 것도 일반 사람들에게는 쉽지 않은 일이다.
이러한 점 때문에, 동영상을 분석하고 동영상에 어울리는 배경음악을 생성해주는 기술이 필요한 상황이지만, 동영상의 재생 내용과 사용자의 음악적 취향까지 분석하여 배경음악을 생성해주는 기술은 현재로서는 공개되어 있지 않은 실정이다.
대한민국 등록특허공보 제10-0658869호 (2006.12.11)
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 동영상 내 장면의 움직이는 속도 정보와 동영상 내 등장하는 오브젝트를 분석하고, 이를 이용하여 작곡DB 내에서 음악패턴을 추출할 그룹을 결정하고자 한다.
또한, 본 발명은 결정된 그룹에서 음악패턴을 추출하고, 추출된 음악패턴들을 연결하여 배경음악을 생성하고자 한다.
또한, 본 발명은 사용자의 SNS 계정, 사용자가 이용하는 음악 서비스 애플리케이션으로부터 각종 정보들을 수집하여 사용자 선호정보를 수집하고, 이를 배경음악 생성에 반영하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 동영상의 배경음악 생성 장치는, 사용자 단말로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 상기 동영상 내 등장하는 하나 이상의 오브젝트를 분석하고, 분석 결과를 이용하여 상기 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하는 동영상 분석부; 상기 동영상 분석 결과를 이용하여 작곡DB 내 복수의 그룹 중에서 음악패턴을 추출할 그룹을 결정하는 그룹 결정부; 상기 복수 개의 동영상 블록을 분석하여, 상기 결정된 그룹에서 각 동영상 블록에 해당하는 음악패턴을 추출하는 추출부; 및 상기 추출부를 통해 추출된 음악패턴을 연결하여 배경음악을 완성하는 패턴 연결부를 포함하고, 상기 작곡DB는 복수의 그룹이 존재하고, 각 그룹에는 복수의 음악패턴이 저장되어 있으며, 상기 작곡DB의 동일 그룹 내에 저장된 복수의 음악패턴들은 음악 장르, 리듬, 선율, 화성, 템포, 박자, 사용된 악기 중 적어도 하나의 공통점을 갖고 있으며, 이로 인해 동일 그룹 내에 할당되어 있는 복수의 음악패턴은 서로 연결될 수 있는 연결성을 갖고 있는 것을 특징으로 한다.
삭제
또한, 상기 동영상 분석부는, 상기 동영상 내 장면 간의 전환속도, 명도 및 채도 변화를 검출하고, 상기 동영상 내 등장하는 오브젝트의 등장, 사라짐, 상태변화를 검출하여 상기 동영상을 분석하는 것을 특징으로 한다.
또한, 상기 그룹 결정부는, 상기 동영상 분석 결과와 수집부를 통해 수집된 사용자 선호정보를 이용하여 작곡DB 내에서 음악패턴을 추출할 그룹을 결정하는 것을 특징으로 한다.
또한, 상기 수집부는, 사용자의 SNS 계정에 게시된 하나 이상의 게시물 정보, 배경음악 정보를 수집하고, 사용자가 이용하는 음악 서비스 애플리케이션의 플레이리스트, 선호 음악 리스트, 선호 아티스트 리스트 중 적어도 하나를 수집하여 사용자 선호정보를 수집하는 것을 특징으로 한다.
또한, 상기 동영상의 배경음악 생성 장치는, 상기 사용자 단말로 상기 패턴 연결부를 통해 완성된 배경음악을 제공하는 정보 제공부; 상기 사용자 단말로부터 입력받은 정보를 반영하여 상기 배경음악을 편집하는 편집부를 더 포함한다.
또한, 상기 편집부는, 상기 배경음악의 사운드 크기, 상기 배경음악의 동영상 블록별 재편집, 전체 배경음악의 재편집, 추가 배경음악 생성, 배경음악 내 특수효과의 삽입 중 적어도 하나의 기능을 제공하는 것을 특징으로 한다.
또한, 상기 편집부는, 사용자 정보를 이용하여 도출된 사용자 선호정보를 이용하여 적어도 하나의 추천 동영상 블록을 도출하고, 사용자가 상기 완성된 배경음악 편집에 이용하도록 제공하는 것을 특징으로 한다.
또한, 상기 동영상의 배경음악 생성 장치는, 사용자 단말로부터 상기 동영상을 입력받고, 사용자로부터 사용자 선호정보를 적어도 하나의 해시태그로 입력받는 수집부를 더 포함하는 것을 특징으로 한다.
또한, 상기 패턴 연결부를 통해 완성된 배경음악을 상기 동영상에 병합하고, 상기 사용자 단말을 통해 상기 동영상 재생에 따른 배경음악의 재생정보를 시각정보로 생성하여 시계열적으로 표시하는 정보 제공부를 더 포함한다.
또한, 사용자 선호정보를 이용하여 상기 배경음악의 각 블록 구간에 사용자의 만족도를 예측하여 함께 표시해주는 만족도 산출모듈을 더 포함한다.
또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 동영상의 배경음악 생성 방법은, 동영상의 배경음악 생성장치에 의해 수행되는 방법으로, 사용자 단말로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 상기 동영상 내 등장하는 하나 이상의 오브젝트를 분석하고, 분석 결과를 이용하여 상기 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하는, 동영상 분석 단계; 상기 동영상 분석 결과를 이용하여 작곡DB 내 복수의 그룹 중에서 음악패턴을 추출할 그룹을 결정하는 단계; 상기 복수 개의 동영상 블록을 분석하여, 상기 결정된 그룹에서 각 동영상 블록에 해당하는 음악패턴을 추출하는 단계; 및 상기 추출된 음악패턴을 연결하여 배경음악을 완성하는 단계를 포함하고, 상기 작곡DB는 복수의 그룹이 존재하고, 각 그룹에는 복수의 음악패턴이 저장되어 있으며, 상기 작곡DB의 동일 그룹 내에 저장된 복수의 음악패턴들은 음악 장르, 리듬, 선율, 화성, 템포, 박자, 사용된 악기 중 적어도 하나의 공통점을 갖고 있으며, 이로 인해 동일 그룹 내에 할당되어 있는 복수의 음악패턴은 서로 연결될 수 있는 연결성을 갖고 있는 것을 특징으로 한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 동영상 내 장면의 움직이는 속도 정보를 이용하여 작곡 DB 내에서 음악패턴을 추출할 그룹을 결정하기 때문에 동영상 내 장면 변화에 따라 템포, 분위기를 고려하여 배경음악을 생성하는 효과를 발휘하게 된다.
또한, 본 발명에 따르면, 동영상 내 등장하는 각종 오브젝트들을 분석하고, 이를 이용하여 작곡 DB 내에서 음악패턴을 추출할 그룹을 결정하기 때문에 동영상 내에서 등장하는 등장인물, 사물, 배경 등을 고려하여 배경음악을 생성하는 효과를 발휘하게 된다.
또한, 본 발명은 사용자의 SNS 계정, 사용자가 이용하는 음악 서비스 애플리케이션으로부터 각종 정보들을 수집하여 사용자의 선호정보를 수집하고, 이를 배경음악 생성에 반영하기 때문에 각종 정보들을 통해 사용자의 음악적 취향에 대한 정보를 도출하고, 이를 배경음악 생성에 반영하는 효과를 발휘하게 된다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치의 입력화면이다.
도 3은 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치에서 작곡DB를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치가 동영상을 분석하여 시간단위의 복수 개의 동영상 블록으로 분할한 것을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 동영상의 배경음악 생성 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)의 블록도이고, 도 2는 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치의 입력화면이고, 도 3은 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)에서 작곡DB(160)를 예시한 도면이며, 도 4는 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)가 동영상을 분석하여 시간단위의 복수 개의 동영상 블록으로 분할한 것을 예시한 도면이고, 도 5는 본 발명의 실시예에 따른 동영상의 배경음악 생성 방법의 흐름도이다.
다만, 몇몇 실시예에서 서버는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
도 1 내지 도 4를 참조하여, 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)에 대해서 설명하도록 한다.
본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)는, 수집부(110), 동영상 분석부(120), 그룹 결정부(130), 추출부(140), 패턴 연결부(150), 작곡DB(160), 편집부(170), 정보 제공부(180), 만족도 산출모듈(190)을 포함한다.
본 발명의 실시예에서 동영상의 배경음악 생성 장치(10)는, 정보처리수단을 의미할 수 있으며, 통신부(미도시)를 포함하는 서버로 구현될 수 있다.
이 경우, 서버는 사용자 단말(200)에 설치될 수 있는 서비스 애플리케이션을 제공하여 서버와 사용자 단말(200)이 본 발명을 수행할 수 있다.
수집부(110)는 사용자 단말(200)로부터 입력된 동영상을 수집하고, 사용자 선호정보를 수집한다.
이때, 수집부(110)는 사용자 단말(200)로부터 동영상의 파일을 직접 입력, 전송받아 수신, 수집할 수도 있고, 사용자 단말(200)로부터 동영상의 출처, URL을 입력받고 이로부터 동영상을 수집할 수도 있다.
이와 함께, 도 2를 참조하면 수집부(110)는 사용자 단말(200)을 통해 사용자로부터 동영상에 대한 정보를 입력받을 수 있으며, 예컨대 동영상에 대한 정보는 동영상의 제목, 설명, 종류, 목적과 같은 정보들이 포함될 수도 있으며, 적어도 하나의 해시태그로 입력받을 수도 있다.
이 밖에, 수집부(110)는 사용자의 선호정보를 파악하기 위해, 사용자가 이용하는 SNS 계정 주소, 음악 서비스 애플리케이션의 계정 주소를 포함하는 사용자 정보를 입력받을 수도 있고, SNS 애플리케이션, 음악 서비스 애플리케이션과의 연동 서비스를 통해 SNS 애플리케이션, 음악 서비스 애플리케이션으로부터 각종 사용자 정보를 전달 받을 수 있다.
보다 상세하게는, 수집부(110)는 사용자의 SNS 계정에 게시된 하나 이상의 게시물 정보, 배경음악 정보를 수집하고, 사용자가 이용하는 음악 서비스 애플리케이션의 플레이리스트, 선호 음악 리스트, 선호 아티스트 리스트 중 적어도 하나를 수집하여 사용자의 선호정보를 수집할 수 있다.
이때, 동영상의 배경음악 생성 장치(10)는 수집부(110)를 통해 수집된 각종 정보들에서 사용자의 음악적 취향을 추출하는 선호정보 도출부(미도시)를 더 포함할 수 있다. 예컨대, 선호정보 도출부(미도시)는 수집된 정보를 바탕으로 사용자가 선호하는 리듬, 선율, 화성, 장르 또는 악기 등과 같은 사용자의 음악적 취향을 도출할 수 있다.
일 실시예로, 수집부(110)는 사용자 단말(200)을 통해 사용자로부터 사용자 선호정보를 적어도 하나의 해시태그로 입력받을 수도 있다.
이는, 위와 같이 수집부(110)가 사용자의 각종 정보를 분석하여 사용자의 선호정보를 분석하는 것 이외에도, 사용자로부터 직접 사용자의 선호정보를 입력받는 것을 의미한다.
동영상 분석부(120)는 사용자 단말(200)로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 동영상 내 등장하는 하나 이상의 오브젝트를 분석한다.
보다 상세하게는, 동영상 분석부(120)는 동영상 내 장면 간의 전환속도, 명도 및 채도 변화를 검출하여 동영상 내 장면의 움직이는 속도 정보를 분석할 수 있다. 몇몇 실시예에서 동영상 분석부(120)는 영상의 RGB 또는 투명도 등의 파라미터를 추출하고 이러한 파라미터의 변화에 기초하여 영상의 변화로서, 동영상 내 장면 간의 움직이는 속도 정보를 산출할 수 있으며, 몇몇 실시예에서 동영상 분석부(120)는 영상의 자막 변화에 기초하여 영상의 변화로서, 동영상 내 장면 간의 움직이는 속도 정보를 산출할 수도 있다.
이때, 동영상 내 장면의 움직이는 속도 정보는 장면 전환 속도를 의미하여 이것은 동영상 내에서 스토리가 전개되는 속도, 템포를 의미할 수 있다.
예를 들어, 동영상 내 등장하는 등장인물들이 하나의 장소에서 계속 머무르며 앉아있거나 걸으면서 대화를 나누는 장면이 대부분이라면, 해당 동영상 내 장면의 움직이는 속도 정보, 즉 장면 전환속도는 느린편인 것으로 판단될 수 있다.
반대로, 동영상 내 장면이 빠르게 변화하고, 동영상 내 장면들의 명도, 채도 변화가 자주 발생하는 것으로 검출되면 위의 경우보다 장면 전환속도가 빠른 편인 것으로 판단될 수 있다.
한편, 동영상 분석부(120)는 동영상 내 등장하는 하나 이상의 오브젝트를 분석할 수 있으며, 구체적으로 오브젝트의 등장, 사라짐, 상태, 또는 상태 변화 등을 분석할 수 있다. 예컨대, 오브젝트가 사람인 경우, 오브젝트의 상태로서 사람의 얼굴 표정 변화를 분석할 수도 있다.
한편, 동영상 분석부(120)가 동영상 내의 오브젝트를 분석하는 과정에서 기계 학습에 기반한 영상 인식 기법이 적용될 수 있다.
그룹 결정부(130)는 동영상 분석부(120)의 동영상 분석 결과를 이용하여 작곡DB(160) 내에서 음악패턴을 추출할 그룹을 결정한다. 예컨대, 그룹 결정부(130)는 동영상 전 영역을 고려하여 작곡DB(160) 내에서 음악패턴을 추출할 그룹을 결정할 수 있다. 몇몇 실시예에서 동영상 분석부(120)는 동영상 전 영역에 대하여 각 분석 요소마다 수치화된 동영상 분석 결과를 산출하고, 각 그룹 중 해당 동영상 분석 결과가 해당되는 그룹이 그룹 결정부(130)에 의해 결정될 수 있다.
추출부(140)는 그룹 결정부(130)에서 결정된 그룹에서 음악패턴을 추출한다.
도 2를 참조하면, 작곡DB(160)에는 복수의 그룹이 존재하고, 또 각 그룹에는 복수의 음악패턴들이 저장되어 있다.
예를 들어, 작곡DB(160) 내에 각 그룹에는 장면의 전환속도, 동영상 내 등장하는 오브젝트에 따라 서로 다른 태그가 기록되어 있고 이와 관련된 각종 음악패턴들이 저장되어 있다. 즉, 각 그룹은 복수의 음악패턴을 포함한다.
여기서, 음악패턴이란 리듬, 선율 및 화성을 가지는 소정길이의 음악파일을 의미하며, 예컨대 각각의 음악패턴은 특정 음악분야의 음악으로 특정 템포, 박자, 그리고 특정 악기를 이용한 음악의 파일일 수 있다.
동일 그룹 내에 할당된 복수의 음악패턴들은 음악 장르, 리듬, 선율, 화성, 템포, 박자, 사용된 악기 중 적어도 하나의 공통점을 갖고 있으며, 이로 인해 동일 그룹 내에 할당되어 있는 복수의 음악패턴은 서로 연결될 수 있는 연결성을 갖고 있다.
즉, 동일 그룹 내에서 무작위로 추출된 2개의 음악패턴을 연결하더라도 사람이 듣기에 서로 자연스럽게 연결될 수 있다. 따라서 본 발명은 위와 같이 동일 그룹 내에 복수 개의 음악패턴들은 서로 간의 연결성이 보장되어 자연스러운 배경음악을 완성할 수 있다.
동일 그룹 내에 포함되는 음악패턴의 연결성을 확보하기 위해, 머신러닝을 통해 연결성을 학습시킨 후 이에 기반하여 음악패턴을 생성함으로써, 작곡DB(160)를 구성할 수 있다.
일 실시예로, 동일 그룹 내에 저장된 음악패턴들은 같은 음악 장르에 해당하고, 서로 다른 템포, 박자의 음악파일을 의미할 수 있고, 일 실시예로, 동일 그룹 내에 저장된 음악패턴들은 같은 템포, 박자이며, 서로 다른 악기를 사용한 음악파일을 의미할 수 있지만, 이에 제한되지 않는다.
몇몇 실시예로, 그룹 결정부(130)는 동영상 분석 결과뿐만 아니라 수집부(110)를 통해 수집된 사용자 선호정보를 이용하여 작곡DB(160) 내에서 음악패턴을 추출할 그룹을 결정할 수 있다.
또한, 동영상 분석부(120)는 동영상 분석 결과를 이용하여 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하거나, 미리 정해진 시간단위로 복수 개의 동영상 블록으로 분할할 수 있다.
그리고, 추출부(140)는 복수 개의 동영상 블록을 분석하여, 그룹 결정부(130)를 통해 결정된 그룹 내에서 각 동영상 블록에 해당하는 음악패턴을 추출하는 것을 특징으로 한다. 여기서, 동영상 분석부(120)는 각 동영상 블록역에 대하여 각 분석 요소마다 수치화된 동영상 분석 결과를 산출하고, 각 음악패턴 중 해당 동영상 분석 결과가 해당되는 음악패턴이 추출부(140)에 의해 결정될 수 있다.
이때, 동영상 분석부(120)가 동영상 분석 결과를 이용하여 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하는 것은, 장면의 급격한 변화, 시간의 변화, 동영상 내 등장하는 오브젝트의 변화에 따라 분할이 설정될 수 있다.
도 4에서는 10분짜리의 동영상이 8개의 블록으로 분할된 것이 예시되어 있고, 이것들의 시간은 일정하지 않다. 이것은 곧 동영상 내 각종 조건들에 따라서 동영상이 8개의 블록으로 분할된 것을 의미한다.
예를 들어, 동영상의 장면이 학교에서 백화점으로 변경되는 경우, 동영상 내 등장하고 있는 A, B의 등장인물이 사라지고 C, D의 등장인물이 등장하는 경우, 동영상의 배경이 여름에서 겨울로 변화된 경우, 동영상의 배경이 점심에서 밤으로 변화된 경우 등과 같이 다양한 경우의 수가 적용될 수 있다.
패턴 연결부(150)는 추출부(140)를 통해 추출된 음악패턴을 연결하여 배경음악을 완성한다.
상술한 내용들을 종합하여 예를 들면, 사용자 단말(200)을 통해 동영상을 입력받았고, 동영상 분석부(120)의 분석 결과를 이용하여 그룹 결정부(130)가 작곡DB(160) 내에서 음악패턴을 추출할 그룹으로 그룹3을 결정하게 되면, 추출부(140)는 그룹3 내에서 음악패턴을 추출하게 된다.
이때, 동영상 분석부(120)가 동영상 분석 결과를 이용하여 동영상을 3개의 동영상 블록으로 분할하게 되고, 추출부(140)는 블록#1에 음악패턴#2를, 블록#2에 음악패턴#10을, 블록#3에 음악패턴#19를 각각 추출하게 된다.
그리고, 패턴 연결부(150)는 음악패턴#2, #10, #19를 연결하여 배경음악을 완성하게 된다.
몇몇 실시예에서 패턴 연결부(150)는 추출부(140)를 통해 추출된 음악패턴을 연결하는 과정에서 연결성을 강화하여 배경음악의 완성도를 높이기 위해 각 음악패턴의 일부 요소를 수정할 수 있다. 예컨대, 패턴 연결부(150)는 음악패턴의 리듬, 선율, 화성, 장르, 특정 템포, 박자, 악기의 구성 중 적어도 하나를 변경할 수 있다.
정보 제공부(180)는 사용자 단말(200)로 패턴 연결부(150)를 통해 완성된 배경음악을 제공한다. 정보 제공부(180)는 동영상에 배경음악을 포함시켜 사용자에게 배경음악을 제공하거나, 동영상과 별개로 배경음악을 제공할 수도 있다.
그리고, 편집부(170)는 사용자 단말(200)로부터 입력받은 정보를 반영하여 배경음악을 편집한다.
이때, 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)는 편집부(170)를 통해서 사용자가 직접 완성되어 제공된 배경음악을 편집할 수 있도록 편집UI를 제공한다.
이때, 편집부(170)의 편집UI는 배경음악의 사운드 크기, 배경음악의 동영상 블록별 재편집, 전체 배경음악의 재편집, 추가 배경음악의 생성, 배경음악 내 특수효과의 삽입 중 적어도 하나의 기능을 제공하는 것을 특징으로 한다.
이때, 특수효과의 삽입은 사용자의 임의의 경고음, 특수음, 이벤트 사운드 등과 같은 것을 삽입하는 것을 의미한다. 상술한 것들 이외에도, 사용자는 편집UI를 이용하여 배경음악에서 사용되는 악기를 변경, 제거 또는 추가하는 등 세부적인 사항들을 편집할 수 있다.
일 실시예로, 편집부(170)는 사용자 선호정보를 이용하여 적어도 하나의 추천 동영상 블록을 도출하고, 사용자가 상기 완성된 배경음악의 편집에 이용할 수 있도록 제공할 수 있다.
대부분의 사람들은 대략적으로 본인이 어떠한 음악을 즐겨듣는지는 알고 있지만, 본인의 정확한 음악적 취향에 대해서는 모르고 있다.
본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)는, 사용자의 SNS, 음악 애플리케이션 등을 분석하여 사용자의 선호정보를 도출함으로써 사용자의 음악적 취향을 정확하게 파악하여 알고 있으므로, 사용자의 선호정보(음악적 취향)에 최적화된 동영상 블록을 도출해줌으로써, 사용자가 이를 참고하여 배경음악을 편집할 수 있도록 돕게 된다.
일 실시예로, 정보 제공부(180)는 패턴 연결부(150)를 통해 완성된 배경음악을 동영상에 병합하고, 사용자 단말(200)을 통해 동영상 재생에 따른 배경음악의 재생정보를 시각정보로 생성하여 시계열적으로 표시할 수 있다.
이때, 재생정보를 시각정보로 생성하여 표시하는 것은 배경음악의 리듬, 선율, 화성, 템포, 박자, 음량, 사용된 악기를 시각정보로 생성하여 시계열적으로 표시해주는 것을 의미한다.
예를 들어, 음악적 전문성이 떨어지는 사용자는 완성된 배경음악을 듣더라도 어떠한 템포, 박자로 배경음악이 완성되었고, 배경음악의 부분마다 어떠한 악기가 사용되어 배경음악이 연주되고 있는지 파악할 수 없다.
따라서, 정보 제공부(180)가 이를 시각정보로 생성하여 표시해줌으로써 사용자가 배경음악의 리듬, 선율, 화성, 템포, 박자, 음량, 사용된 악기 등의 정보를 눈으로 확인할 수 있도록 하는 것을 의미한다. 또한, 편집부(170)에 의해 사용자는 시각정보로 표시된 사항을 자유롭게 수정할 수 있다.
만족도 산출모듈(190)은 사용자 선호정보를 이용하여 배경음악의 각 블록 구간에 사용자의 만족도를 예측하여 함께 표시해준다.
예를 들어, 도 4와 같이 8개의 블록으로 분할되어 있는 동영상에 배경음악이 완성되면 각각의 블록에 배경음악에 대한 사용자의 만족도를 예측하고 함께 표시해주는 것을 의미한다. 이와 함께, 사용자의 선호정보에 기초하여 해당 블록에 어울리는 다른 음악패턴도 추천되어 사용자는 편집부(170)를 이용하여 해당 블록의 음악패턴을 수정할 수 있다.
일 실시예로, 본 발명의 실시예에 따른 동영상의 배경음악 생성장치의 수집부(110)는 사용자 단말(200)로부터 동영상 내 등장하는 오브젝트 중 적어도 하나를 주요 등장인물로 입력받을 수 있다.
그리고, 편집부(170)는 사용자 단말(200)로부터 입력받은 주요 등장인물이 동영상 내 등장하고 사라지는 타이밍을 이용하여, 동영상의 기승전결을 결정하고 배경음악의 클라이맥스(Climax)와 후렴구 위치를 재조정하는 것을 특징으로 한다.
이를 위해서, 수집부(110)는 동영상을 분석하여 동영상 내 등장하는 오브젝트의 목록을 사용자 단말(200)로 표시해줄 수 있으며, 사용자로부터 이중 적어도 하나를 주요 등장인물로 입력받을 수 있다.
이와 같은 기능을 통해서, 본 발명의 실시예에 따른 동영상의 배경음악 생성 장치(10)는 동영상의 기승전결을 결정하고, 배경음악의 클라이맥스와 후렴구의 위치를 재조정함으로써, 동영상의 시청자가 배경음악이 동영상의 흐름과 관련이 깊다는 느낌이 들게 하는 효과를 발휘하게 된다.
도 5는 본 발명의 실시예에 따른 동영상의 배경음악 생성 방법의 흐름도이다.
도 5를 참조하여 본 발명의 실시예에 따른 동영상의 배경음악 생성 방법에 대해서 설명하도록 한다.
먼저, 수집부(110)가 사용자 단말(200)로부터 입력된 동영상을 수집하고, 사용자 선호정보를 수집한다. (S100단계)
동영상 분석부(120)가 사용자 단말(200)로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 동영상 내 등장하는 하나 이상의 오브젝트를 분석한다. (S200단계)
그룹 결정부(130)가 동영상 분석 결과를 이용하여 작곡DB(160) 내에서 음악패턴을 추출할 그룹을 결정한다. (S300단계)
추출부(140)가 그룹 결정부(130)를 통해 결정된 그룹에서 음악패턴을 추출한다. (S400단계)
패턴 연결부(150)가 추출부(140)를 통해 추출된 음악패턴을 연결하여 배경음악을 완성한다. (S500단계)
정보 제공부(180)가 완성된 배경음악을 동영상에 병합하고, 사용자 단말(200)을 통해 동영상 재생에 따른 배경음악의 재생정보를 시각정보로 생성하여 시계열적으로 표시하여 제공한다. (S600단계)
이때, S600단계는 만족도 산출모듈(190)이 사용자 선호정보를 이용하여 배경음악의 각 블록 구간에 사용자의 만족도를 예측하여 함께 표시하는 단계를 더 포함할 수 있다. (S650단계)
사용자 단말(200)을 통해 완성된 배경음악을 제공하고, 편집UI를 통해 사용자로부터 편집정보를 입력받는다. (S700단계)
이상으로 설명한 본 발명의 실시예에 따른 동영상의 배경음악 생성 방법은 도 1 내지 도 4를 통해 설명한 동영상의 배경음악 생성 장치와 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 동영상의 배경음악 생성 장치
110: 수집부 120: 동영상 분석부
130: 그룹 결정부 140: 추출부
150: 패턴 연결부 160: 작곡DB
170: 편집부 180: 정보 제공부
190: 만족도 산출모듈 200: 사용자 단말

Claims (13)

  1. 사용자 단말로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 상기 동영상 내 등장하는 하나 이상의 오브젝트를 분석하고, 분석 결과를 이용하여 상기 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하는 동영상 분석부;
    상기 동영상 분석 결과를 이용하여 작곡DB 내 복수의 그룹 중에서 음악패턴을 추출할 그룹을 결정하는 그룹 결정부;
    상기 복수 개의 동영상 블록을 분석하여, 상기 결정된 그룹에서 각 동영상 블록에 해당하는 음악패턴을 추출하는 추출부;
    상기 추출부를 통해 추출된 음악패턴을 연결하여 배경음악을 완성하는 패턴 연결부; 및
    상기 사용자 단말로부터 입력된 정보를 반영하여 상기 배경음악을 편집하는 편집부를 포함하고,
    상기 작곡DB는 복수의 그룹이 존재하고, 각 그룹에는 복수의 음악패턴이 저장되어 있으며,
    상기 작곡DB의 동일 그룹 내에 저장된 복수의 음악패턴들은 음악 장르, 리듬, 선율, 화성, 템포, 박자, 사용된 악기 중 적어도 하나의 공통점을 갖고 있으며, 이로 인해 동일 그룹 내에 할당되어 있는 복수의 음악패턴은 서로 연결될 수 있는 연결성을 갖고 있고,
    상기 동영상 분석부는 상기 동영상 내 장면 간의 전환속도, 명도 및 채도 변화 중 적어도 하나를 검출하고, 상기 동영상 내 등장하는 오브젝트의 등장, 사라짐 및 상태변화를 검출하여 상기 동영상을 분석하되, 상기 오브젝트가 사람인 경우 상기 오브젝트의 상태로서 사람의 얼굴 표정 변화를 분석하고,
    상기 동영상의 분석에 따라 상기 동영상 내 등장하는 오브젝트의 목록을 상기 사용자 단말로 제공하고,
    상기 편집부는 상기 사용자 단말로부터 상기 동영상 내 등장하는 오브젝트 중 적어도 하나가 주요 등장인물로 선택되면, 상기 선택된 주요 등장인물이 상기 동영상 내 등장하고 사라지는 타이밍을 이용하여, 상기 동영상의 기승전결을 결정하고 상기 배경음악의 클라이맥스(Climax)와 후렴구의 위치를 재조정하는, 동영상의 배경음악 생성 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 그룹 결정부는,
    상기 동영상 분석 결과와 수집부를 통해 수집된 사용자 선호정보를 이용하여 작곡DB 내에서 음악패턴을 추출할 그룹을 결정하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  5. 제4항에 있어서,
    상기 수집부는,
    사용자의 SNS 계정에 게시된 하나 이상의 게시물 정보, 배경음악 정보를 수집하고, 사용자가 이용하는 음악 서비스 애플리케이션의 플레이리스트, 선호 음악 리스트, 선호 아티스트 리스트 중 적어도 하나를 수집하여 사용자 선호정보를 수집하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  6. 제1항에 있어서,
    상기 동영상의 배경음악 생성 장치는,
    상기 사용자 단말로 상기 패턴 연결부를 통해 완성된 배경음악을 제공하는 정보 제공부; 및
    상기 사용자 단말로부터 입력받은 정보를 반영하여 상기 배경음악을 편집하는 편집부를 더 포함하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  7. 제6항에 있어서,
    상기 편집부는,
    상기 배경음악의 사운드 크기, 상기 배경음악의 동영상 블록별 재편집, 전체 배경음악의 재편집, 추가 배경음악 생성, 배경음악 내 특수효과의 삽입 중 적어도 하나의 기능을 제공하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  8. 제7항에 있어서,
    상기 편집부는,
    사용자 정보를 이용하여 도출된 사용자 선호정보를 이용하여 적어도 하나의 추천 동영상 블록을 도출하고, 사용자가 상기 완성된 배경음악 편집에 이용하도록 제공하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  9. 제1항에 있어서,
    상기 동영상의 배경음악 생성 장치는,
    사용자 단말로부터 상기 동영상을 입력받고, 사용자로부터 사용자 선호정보를 적어도 하나의 해시태그로 입력받는 수집부를 더 포함하는 것을 특징으로 하는, 동영상의 배경음악 생성 장치.
  10. 제1항에 있어서,
    상기 패턴 연결부를 통해 완성된 배경음악을 상기 동영상에 병합하고, 상기 사용자 단말을 통해 상기 동영상 재생에 따른 배경음악의 재생정보를 시각정보로 생성하여 시계열적으로 표시하는 정보 제공부를 더 포함하는, 동영상의 배경음악 생성 장치.
  11. 제10항에 있어서,
    사용자 선호정보를 이용하여 상기 배경음악의 각 블록 구간에 사용자의 만족도를 예측하여 함께 표시해주는 만족도 산출모듈을 더 포함하는, 동영상의 배경음악 생성 장치.
  12. 동영상의 배경음악 생성장치에 의해 수행되는 방법으로,
    동영상 분석부가 사용자 단말로부터 입력받은 동영상 내 장면의 움직이는 속도 정보와 상기 동영상 내 등장하는 하나 이상의 오브젝트를 분석하고, 분석 결과를 이용하여 상기 동영상을 시간단위의 복수 개의 동영상 블록으로 분할하는, 동영상 분석 단계;
    상기 동영상 분석 결과를 이용하여 작곡DB 내 복수의 그룹 중에서 음악패턴을 추출할 그룹을 결정하는 단계;
    상기 복수 개의 동영상 블록을 분석하여, 상기 결정된 그룹에서 각 동영상 블록에 해당하는 음악패턴을 추출하는 단계; 및
    상기 추출된 음악패턴을 연결하여 배경음악을 완성하는 단계를 포함하고,
    상기 작곡DB는 복수의 그룹이 존재하고, 각 그룹에는 복수의 음악패턴이 저장되어 있으며,
    상기 작곡DB의 동일 그룹 내에 저장된 복수의 음악패턴들은 음악 장르, 리듬, 선율, 화성, 템포, 박자, 사용된 악기 중 적어도 하나의 공통점을 갖고 있으며, 이로 인해 동일 그룹 내에 할당되어 있는 복수의 음악패턴은 서로 연결될 수 있는 연결성을 갖고 있고,
    상기 동영상 분석부는 상기 동영상 내 장면 간의 전환속도, 명도 및 채도 변화 중 적어도 하나를 검출하고, 상기 동영상 내 등장하는 오브젝트의 등장, 사라짐 및 상태변화를 검출하여 상기 동영상을 분석하되, 상기 오브젝트가 사람인 경우 상기 오브젝트의 상태로서 사람의 얼굴 표정 변화를 분석하고,
    상기 동영상의 분석에 따라 상기 동영상 내 등장하는 오브젝트의 목록을 상기 사용자 단말로 제공하고, 상기 사용자 단말로부터 상기 동영상 내 등장하는 오브젝트 중 적어도 하나가 주요 등장인물로 선택되면, 상기 선택된 주요 등장인물이 상기 동영상 내 등장하고 사라지는 타이밍을 이용하여, 상기 동영상의 기승전결을 결정하고 상기 배경음악의 클라이맥스(Climax)와 후렴구의 위치를 재조정하는 단계를 더 포함하는, 동영상의 배경음악 생성 방법.
  13. 하드웨어인 컴퓨터와 결합되어, 제12항의 방법을 실행시키기 위하여 매체에 저장된, 동영상의 배경음악 생성 프로그램.
KR1020190175959A 2019-12-27 2019-12-27 동영상의 배경음악 생성 장치, 방법 및 프로그램 KR102161080B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190175959A KR102161080B1 (ko) 2019-12-27 2019-12-27 동영상의 배경음악 생성 장치, 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175959A KR102161080B1 (ko) 2019-12-27 2019-12-27 동영상의 배경음악 생성 장치, 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR102161080B1 true KR102161080B1 (ko) 2020-09-29

Family

ID=72661289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175959A KR102161080B1 (ko) 2019-12-27 2019-12-27 동영상의 배경음악 생성 장치, 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR102161080B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191671A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 전자 장치 및 이의 제어 방법
CN115103232A (zh) * 2022-07-07 2022-09-23 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质
CN115484400A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频数据处理方法及电子设备
KR20230061735A (ko) * 2021-10-29 2023-05-09 주식회사 뮤즈블라썸 배경 음원 추천 및 결합 시스템 및 방법
KR102579715B1 (ko) 2022-11-21 2023-09-19 오창록 빅데이터에 기반하여 사용자 감성 자극 및 사용성을 높이는 그래픽 오브젝트의 동작 제어 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050116254A (ko) * 2004-06-07 2005-12-12 김용신 사용자 취향에 맞춘 영화 관련 미디어 리스트 및 서비스 제공 시스템
KR100658869B1 (ko) 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
KR20170085027A (ko) * 2016-01-07 2017-07-21 주식회사 엠에프유 음악의 분절별 동영상 재생 방법 및 장치
KR101982853B1 (ko) * 2018-12-21 2019-05-27 장혜수 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법
KR20190108027A (ko) * 2018-03-13 2019-09-23 주식회사 루나르트 영상과 어울리는 음악을 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050116254A (ko) * 2004-06-07 2005-12-12 김용신 사용자 취향에 맞춘 영화 관련 미디어 리스트 및 서비스 제공 시스템
KR100658869B1 (ko) 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
KR20170085027A (ko) * 2016-01-07 2017-07-21 주식회사 엠에프유 음악의 분절별 동영상 재생 방법 및 장치
KR20190108027A (ko) * 2018-03-13 2019-09-23 주식회사 루나르트 영상과 어울리는 음악을 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101982853B1 (ko) * 2018-12-21 2019-05-27 장혜수 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191671A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 전자 장치 및 이의 제어 방법
CN115484400A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频数据处理方法及电子设备
CN115484400B (zh) * 2021-06-16 2024-04-05 荣耀终端有限公司 一种视频数据处理方法及电子设备
KR20230061735A (ko) * 2021-10-29 2023-05-09 주식회사 뮤즈블라썸 배경 음원 추천 및 결합 시스템 및 방법
KR102649599B1 (ko) * 2021-10-29 2024-03-20 주식회사 뮤즈블라썸 배경 음원 추천 및 결합 시스템 및 방법
CN115103232A (zh) * 2022-07-07 2022-09-23 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质
CN115103232B (zh) * 2022-07-07 2023-12-08 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质
KR102579715B1 (ko) 2022-11-21 2023-09-19 오창록 빅데이터에 기반하여 사용자 감성 자극 및 사용성을 높이는 그래픽 오브젝트의 동작 제어 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102161080B1 (ko) 동영상의 배경음악 생성 장치, 방법 및 프로그램
US11238900B2 (en) Event reel generator for video content
US8542982B2 (en) Image/video data editing apparatus and method for generating image or video soundtracks
US6928233B1 (en) Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
Hanjalic Adaptive extraction of highlights from a sport video based on excitement modeling
US7027124B2 (en) Method for automatically producing music videos
US8204317B2 (en) Method and device for automatic generation of summary of a plurality of images
Hua et al. Optimization-based automated home video editing system
US20050123886A1 (en) Systems and methods for personalized karaoke
CN108064406A (zh) 用于多媒体播放为音乐声频片段的交叉淡变的节奏性同步
US20070157239A1 (en) Sports video retrieval method
US20030063130A1 (en) Reproducing apparatus providing a colored slider bar
Hua et al. Automatic music video generation based on temporal pattern analysis
KR20070121810A (ko) 복합 뉴스 스토리 합성
JP2008533580A (ja) オーディオ及び／又はビジュアルデータの要約
JP2011234226A (ja) 映像編集装置、映像編集方法及びプログラム
WO2011125322A1 (en) Apparatus and method for identifying a still image contained in moving image contents
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
CN114073854A (zh) 基于多媒体文件的游戏方法和系统
Mulhem et al. Pivot vector space approach for audio-video mixing
KR20180080642A (ko) 음원과 동기화되는 동영상을 편집하는 방법
KR20170130729A (ko) 동영상 데이터와 음성 데이터의 자동 편집 방법 및 컴퓨터-판독가능 매체
US9990911B1 (en) Method for creating preview track and apparatus using the same
KR102324579B1 (ko) 댄스 매칭 방법 및 시스템
Lehane et al. Indexing of fictional video content for event detection and summarisation

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant