KR102233186B1 - 오디오에 수반되는 비디오 프레젠테이션 생성 - Google Patents

오디오에 수반되는 비디오 프레젠테이션 생성 Download PDF

Info

Publication number
KR102233186B1
KR102233186B1 KR1020217003326A KR20217003326A KR102233186B1 KR 102233186 B1 KR102233186 B1 KR 102233186B1 KR 1020217003326 A KR1020217003326 A KR 1020217003326A KR 20217003326 A KR20217003326 A KR 20217003326A KR 102233186 B1 KR102233186 B1 KR 102233186B1
Authority
KR
South Korea
Prior art keywords
video
tempo
audio
music
segments
Prior art date
Application number
KR1020217003326A
Other languages
English (en)
Other versions
KR20210016080A (ko
Inventor
윌슨 해런
카메론 오브리 서머스
Original Assignee
그레이스노트, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그레이스노트, 인코포레이티드 filed Critical 그레이스노트, 인코포레이티드
Priority to KR1020217008575A priority Critical patent/KR102278304B1/ko
Publication of KR20210016080A publication Critical patent/KR20210016080A/ko
Application granted granted Critical
Publication of KR102233186B1 publication Critical patent/KR102233186B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 예시적인 방법들 및 시스템들이 설명된다. 오디오 트랙에 수반되는 비디오 프레젠테이션은 하나 이상의 비디오 시퀀스들로부터 생성된다. 일부 예시적인 실시예들에서, 비디오 시퀀스들은 프레임들 사이의 불연속에 대응하는 비디오 세그먼트들로 분할된다. 비디오 세그먼트들은 오디오 트랙이 추가되는 비디오 프레젠테이션을 형성하기 위해 연접된다. 일부 예시적인 실시예들에서, 오디오 트랙 내의 음악의 정수 비트와 동일한 듀레이션을 갖는 비디오 세그먼트들만이 비디오 프레젠테이션을 형성하는데 사용된다. 이러한 예시적인 실시예들에서, 오디오 트랙에 수반되는 비디오 프레젠테이션에서의 비디오 세그먼트들 사이의 전환들은 음악의 비트들에 맞춰 정렬된다.

Description

오디오에 수반되는 비디오 프레젠테이션 생성{GENERATING A VIDEO PRESENTATION TO ACCOMPANY AUDIO}
본 명세서에 개시된 주제는 일반적으로 오디오/비디오 프레젠테이션에 관한 것이다. 구체적으로, 본 발명은 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 시스템 및 방법을 다룬다.
(특허문헌 1) US2017-0026719 A1
(특허문헌 2) US2010-0040349 A1
(특허문헌 3) US2009-0150781 A1
(특허문헌 4) US2006-0204214 A1
(특허문헌 5) US2012-0014673 A1
본 발명에 따른 시스템은, 명령어들을 저장하는 메모리; 복수의 음악 트랙들 및 복수의 비디오 시퀀스들을 저장하는 하나 이상의 데이터베이스들; 및 동작들을 수행하도록 상기 명령어들에 의해 구성되는 하나 이상의 프로세서들을 포함한다. 상기 동작들은, 상기 하나 이상의 데이터베이스들로부터 제 1 음악 트랙에 액세스하는 동작 - 상기 제 1 음악 트랙은 제 1 템포(tempo)를 가짐 -; 상기 하나 이상의 데이터베이스들로부터 제 2 음악 트랙에 액세스하는 동작 - 상기 제 2 음악 트랙은 상기 제 1 템포와 다른 제 2 템포를 가짐 -; 상기 제 1 및 제 2 음악 트랙이 공유된 템포를 갖도록 상기 제 1 템포 또는 상기 제 2 템포 중 적어도 하나를 수정하는 동작; 상기 하나 이상의 데이터베이스들로부터 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스에 액세스하는 동작; 상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 복수의 비디오 세그먼트들 중 제 1 비디오 세그먼트의 듀레이션(duration)에 기초하여, 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 1 비디오 세그먼트는 상기 제 1 비디오 시퀀스로부터의 것임 -; 선택된 상기 제 1 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작; 상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 상기 복수의 비디오 세그먼트들 중 제 2 비디오 세그먼트의 듀레이션에 기초하여, 상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 2 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 2 비디오 세그먼트는 상기 제 2 비디오 시퀀스로부터의 것임 -; 선택된 상기 제 2 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작; 및 상기 비디오 세그먼트들의 세트 및 상기 제 1 및 제 2 음악 트랙을 포함하는 오디오/비디오 시퀀스를 생성하는 동작을 포함한다.
일부 실시예들이 예로서 도시되어 있으며 첨부 도면들의 도시에 의해 제한되지 않는다.
도 1은 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 네트워크 환경을 도시하는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 데이터베이스를 도시하는 블록도이다.
도 3은 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 세그먼트화된 비디오 데이터 및 세그먼트화되지 않은 비디오 데이터를 도시하는 블록도이다.
도 4는 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션에서의 오디오 트랙과 비디오 세그먼트들과의 정렬을 나타내는 블록도이다.
도 5는 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스를 나타내는 흐름도이다.
도 6은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스를 나타내는 흐름도이다.
도 7은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스를 나타내는 흐름도이다.
도 8은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 사용자 인터페이스를 나타내는 블록도이다.
도 9는 일부 예시적인 실시예들에 따른, 머신 판독가능 매체로부터 명령어들을 판독하여 본 명세서에 설명된 방법들 중 임의의 하나 이상을 수행할 수 있는 머신의 컴포넌트들을 나타내는 블록도이다.
오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 예시적인 방법들 및 시스템들이 설명된다. 오디오 트랙은 명시적 또는 암시적으로 선택된다. 오디오 트랙은 사용자가 이용 가능한 오디오 트랙들의 세트로부터 오디오 트랙을 선택함으로써 명시적으로 선택될 수 있다. 오디오 트랙은 오디오 트랙의 무드, 오디오 트랙의 장르, 오디오 트랙의 템포, 또는 이들의 임의의 적절한 조합에 기초하여, 오디오 트랙들의 세트로부터 오디오 트랙을 자동으로 선택함으로써 암시적으로 선택될 수도 있다.
오디오 트랙에 수반되는 비디오 프레젠테이션은 하나 이상의 비디오 시퀀스들로부터 생성된다. 비디오 시퀀스들은 사용자에 의해 명시적으로 선택되거나 검색 기준을 사용하여 비디오 시퀀스들의 데이터베이스로부터 선택될 수 있다. 일부 예시적인 실시예들에서, 비디오 시퀀스들은 프레임들 사이의 불연속에 대응하는 비디오 세그먼트들로 분할된다. 비디오 세그먼트들은 오디오 트랙이 추가되는 비디오 프레젠테이션을 형성하기 위해 연접된다.
일부 예시적인 실시예들에서, 오디오 트랙 내의 음악의 정수 비트와 동일한 듀레이션을 갖는 비디오 세그먼트들만이 비디오 프레젠테이션을 형성하는데 사용된다. 이러한 예시적인 실시예들에서, 오디오 트랙에 수반되는 비디오 프레젠테이션에서 비디오 세그먼트들 사이의 전환들은 음악의 비트들에 맞춰 정렬된다.
다음의 설명에서는, 설명의 목적으로, 예시적인 실시예들의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 본 발명은 이러한 특정 세부 사항 없이도 실시될 수 있다는 것이 당업자에게는 명백할 것이다.
도 1은 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 네트워크 환경(100)을 도시하는 네트워크 다이어그램이다. 네트워크 환경(100)은 네트워크(140)에 의해 연결된 서버 시스템(110) 및 클라이언트 디바이스(150 또는 160)를 포함할 수 있다. 서버 시스템(110)은 비디오 데이터베이스(120) 및 오디오 데이터베이스(130)를 포함한다.
클라이언트 디바이스(150 또는 160)는 미디어 컨텐츠의 스트림(예를 들어, 텔레비전, 제 2 셋탑 박스, 랩탑 또는 다른 개인용 컴퓨터(PC), 태블릿 또는 다른 모바일 모바일 디바이스, 디지털 비디오 레코더(DVR) 또는 게임 장치)을 수신 및 프레젠테이션할 수 있는 임의의 디바이스이다. 클라이언트 디바이스(150 또는 160)는 또한 생성된 비디오 프레젠테이션을 디스플레이하도록 구성된 디스플레이 또는 다른 사용자 인터페이스를 포함할 수 있다. 디스플레이는 플랫-패널 스크린, 플라즈마 스크린, 발광 다이오드(LED) 스크린, 음극선관(CRT), 액정 디스플레이(LCD), 프로젝터, 또는 이들의 임의의 적절한 조합일 수 있다. 클라이언트 디바이스(150 또는 160)의 사용자는 애플리케이션 인터페이스(170) 또는 브라우저 인터페이스(180)를 통해 클라이언트 디바이스와 상호 작용할 수 있다.
네트워크(140)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 네트워크) 등과 같은 디바이스들 간의 통신을 가능하게 하는 임의의 네트워크일 수 있다. 네트워크(140)는 사설 네트워크(예를 들어, 케이블 텔레비전 네트워크 또는 위성 텔레비전 네트워크), 공공 네트워크(예를 들어, 오버-더-에어 브로드캐스트 채널 또는 인터넷)를 구성하는 하나 이상의 부분을 포함할 수 있다.
일부 예시적인 실시예들에서, 클라이언트 디바이스(150 또는 160)는 네트워크(140)를 통해 서버 시스템(110)에 요청을 전송한다. 이 요청은 비디오 컨텐츠 및 음악 장르에 대한 검색 쿼리를 식별한다. 음악 장르에 기초하여, 서버 시스템(110)은 오디오 데이터베이스(130)로부터 오디오 트랙을 식별한다. 비디오 컨텐츠에 대한 검색 쿼리에 기초하여, 서버 시스템(110)은 비디오 데이터베이스(120)로부터 하나 이상의 비디오 시퀀스를 식별한다. 본 명세서에 개시된 방법들을 사용하여, 서버 시스템(110)은 하나 이상의 식별된 비디오 시퀀스들로부터 식별된 오디오 트랙 및 비디오 세그먼트들을 포함하는 비디오 프레젠테이션을 생성한다. 서버 시스템(110)은 생성된 비디오 프레젠테이션을 클라이언트 디바이스(150 또는 160)에 전송하여 클라이언트 디바이스와 관련된 디스플레이 디바이스 상에 프레젠테이션할 수 있다.
도 1에 도시된 바와 같이, 서버 시스템(110)은 비디오 데이터베이스(120) 및 오디오 데이터베이스(130)를 포함한다. 일부 예시적인 실시예들에서, 비디오 데이터베이스(120), 오디오 데이터베이스(130) 또는 둘 모두는 서버 시스템(110)에 의해 액세스 가능한 별도의 컴퓨터 시스템(예를 들어, 네트워크(140) 또는 다른 네트워크를 통해)으로 구현된다.
도 1에 도시된 임의의 머신, 데이터베이스 또는 디바이스는 해당 머신에 대하여 본 명세서에서 설명되는 기능들을 수행하기 위해 특수 목적 컴퓨터가 되도록 소프트웨어에 의해 수정(예를 들어, 구성 또는 프로그래밍)되는 범용 컴퓨터에서 구현될 수 있다. 예를 들어, 본 명세서에서 설명되는 방법들 중 하나 이상을 구현할 수 있는 컴퓨터 시스템은 도 9와 관련하여 아래에서 논의된다. 본 명세서에서 사용되는, "데이터베이스"는 데이터 저장 리소스이며 텍스트 파일, 테이블, 스프레드 시트, 관계형 데이터베이스, 문서 저장소, 키-값 저장소, 트리플 저장소 또는 이들의 임의의 적절한 조합으로 구성되는 데이터를 저장할 수 있다. 또한, 도 1에 도시된 머신들 중의 임의의 둘 이상의 머신은 단일 머신로 결합될 수 있으며, 임의의 단일 머신에 대해 본 명세서에서 설명되는 기능들은 다수의 머신으로 세분화될 수 있다.
또한, 임의의 모듈, 시스템 및/또는 데이터베이스가 도 1에 도시된 임의의 머신, 데이터베이스 또는 디바이스에 위치될 수 있다. 예를 들어, 클라이언트 디바이스(150)는 다른 구성들 중에서, 비디오 데이터베이스(120) 및 오디오 데이터베이스(130)를 포함하며, 식별된 비디오 및 오디오 데이터를 서버 시스템(110)에 송신할 수 있다.
도 2는 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 데이터베이스 스키마(200)를 도시하는 블록도이다. 데이터베이스 스키마(200)는 비디오 데이터 테이블(210) 및 오디오 데이터 테이블(240)을 포함한다. 비디오 데이터 테이블(210)은 필드들(220)을 사용하여, 타이틀, 키워드, 생성자 및 테이블의 각 행(예를 들어, 행(230A-230D))에 대한 데이터를 제공한다. 비디오 데이터는 MPEG(Moving Pictures Expert Group)-4 Part 14(MP4), AVI(Audio Video Interleaved) 또는 QT(QuickTime)와 같은 다양한 포맷일 수 있다.
오디오 데이터 테이블(240)은 필드들(250)을 사용하여, 타이틀, 장르, 템포 및 테이블의 각 행(예를 들어, 행(260A-260D))에 대한 데이터를 제공한다. 오디오 데이터는 MP3(MPEG-3), WMA(Windows Media Audio), AAC(Advance Audio Coding) 또는 WAV(Windows Wave)와 같은 다양한 포맷일 수 있다.
도 3은 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션을 생성하기에 적합한 세그먼트화된 비디오 데이터 및 세그먼트화되지 않은 비디오 데이터를 도시하는 블록도이다. 세그먼트화되지 않은 비디오 데이터(310)는 1 분 24 초의 듀레이션을 갖는 것으로 도시되어 있다. 세그먼트화된 비디오 데이터(320)는 동일한 비디오 컨텐츠를 포함하며, 다양한 개별 듀레이션의 9개의 세그먼트들로 나뉘지만, 여전히 1 분 24 초의 동일한 총 듀레이션을 갖는다. 일부 예시적인 실시예들에서, 비디오 데이터의 세그먼트들은 세그먼트화되지 않은 비디오 데이터의 순차적 프레임들 사이의 차이들에 기초하여 식별된다. 예를 들어, 연속적인 프레임들 사이의 거리 측정치가 미리 결정된 임계값과 비교될 수 있다. 거리 측정치가 임계값을 초과할 경우, 연속적인 프레임들은 상이한 세그먼트들의 일부인 것으로 결정될 수 있다. 거리 측정치의 일 예는 RGB 공간에서 대응하는 픽셀들 간의 차이의 절대값 합이다. 예를 들어, 1080 × 1920 고화질 프레임에서, (2,073,600 픽셀 중) 대응하는 픽셀들의 각 쌍 사이의 RGB 값들의 차이가 결정되고, 절대값이 취해져서, 2,073,600개의 결과 값들이 합산된다. 거리가 0일 경우, 두 프레임은 동일한 것이다.
도 4는 일부 예시적인 실시예들에 따른, 오디오에 수반되는 비디오 프레젠테이션에서의 비디오 세그먼트들과 오디오 트랙의 정렬을 나타내는 블록도(400)이다. 블록도(400)는 오디오 트랙(410), 비트들(420) 및 비디오 세그먼트들(430A, 430B 및 430C)을 포함한다. 비트들(420)은 비트들이 발생하는 오디오 트랙(410) 내의 시점들을 나타낸다. 예를 들어, 오디오 트랙(410)의 음악이 120 BPM의 템포를 갖는 경우, 비트들(420)은 0.5 초 간격으로 이격된다. 비디오 세그먼트들(430A-430C)은 비트들(420)에 맞춰 정렬된다. 따라서, 비디오 세그먼트(430A)와 비디오 세그먼트(430B) 사이의 전환(transition)이 비트 상에서 발생한다. 비디오 세그먼트들(430A-430C)은 상이한 비디오 시퀀스들(예를 들어, 비디오 데이터 테이블(210))로부터 또는 단일 비디오 시퀀스로부터 얻어질 수 있다. 또한, 비디오 세그먼트들(430A-430C)은 비디오 세그먼트들이 원래 비디오 시퀀스들(예를 들어, 도 3의 비디오 시퀀스) 내에 존재하는 것과 동일한 순서로 또는 상이한 순서로 오디오 트랙(410)과 정렬될 수 있다.
일부 예시적인 실시예들에서, 장면 전환 이외의 이벤트들은 오디오 트랙(410)의 비트들(420)에 맞춰 정렬된다. 예를 들어, 복싱에서의 녹아웃(knockout)의 컴파일에서, 각각의 비디오 세그먼트들(430A-430C)은 녹아웃 블로우의 랜딩 타이밍이 비트 상에 있게 되도록, 오디오 트랙(410)에 맞춰 정렬될 수 있다.
비트들(420)은 오디오 트랙(410)의 비트들의 서브세트를 나타낼 수 있다. 예를 들어, 비트들(420)은 음악의 강한 비트 또는 다운 비트로 제한될 수 있다. 이 강한 비트는 각각의 비트에서 노래의 강도 또는 에너지를 검출하고 가장 높은 에너지를 갖는 비트를 식별함으로써 검출될 수 있다. 예를 들어, 4/4 박자를 사용하는 음악에서는, 4 비트의 각 그룹 중 하나 또는 두 개가 다른 비트들보다 높은 에너지를 가질 수 있다. 따라서, 정렬에 사용되는 비트들(420)은 4개의 비트의 각 그룹 중 하나 또는 두 개로 제한될 수 있다.
일부 예시적인 실시예들에서, 오디오 트랙(410)의 전환점들은 비트들(420) 이외의 오디오 신호에 의해 식별될 수 있다. 예를 들어, 음악 대신 달리는 말의 레코딩을 포함하는 오디오 트랙은 말의 부딪히는 발굽 비트들에 의해 식별되는 전환점들을 가질 수 있다. 다른 예로서, 영화 또는 텔레비전 쇼의 오디오의 일부를 포함하는 오디오 트랙은 사람들의 고함, 총소리, 마이크에 가까워지는 차량, 또는 이들의 임의의 적절한 조합과 같은 임계값을 초과하는 오디오 에너지에 의해 식별되는 전환점들을 가질 수 있다.
도 5는 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스(500)를 나타내는 흐름도이다. 제한이 아닌 예로서, 프로세스(500)의 동작들은 데이터베이스 스키마(200)를 사용하여, 도 1의 시스템들 및 디바이스들에 의해 수행되는 것으로 설명된다.
동작 510에서, 서버 시스템(110)은 템포를 갖는 음악 트랙에 액세스한다. 예를 들어, 행(260A)의 음악 트랙은 오디오 데이터 테이블(240)로부터 액세스될 수 있다. 일부 예시적인 실시예들에서, 클라이언트 디바이스(150 또는 160)는 애플리케이션 인터페이스(170) 또는 브라우저 인터페이스(180)를 통해 사용자에게 사용자 인터페이스를 프레젠테이션한다. 프레젠테이션된 사용자 인터페이스는 사용자가 템포를 선택할 수 있는 옵션(예를 들어, 숫자 템포를 입력하기 위한 텍스트 필드, 미리 정의된 템포의 드롭 다운 목록, 텍스트 필드와 드롭 다운 목록을 포함하는 콤보 박스, 또는 이들의 임의의 적절한 조합)을 포함한다. 클라이언트 디바이스(150 또는 160)는 수신된 템포를 서버 시스템(110)으로 송신하고, 서버 시스템(110)은 그 템포에 기초하여 액세스된 음악 트랙을 선택한다. 예를 들어, 선택된 템포를 갖는(또는 선택된 템포의 미리 결정된 범위 내, 예를 들어, 선택된 템포의 5 BPM 내) 행들을 식별하기 위해 오디오 데이터베이스(130)의 오디오 데이터 테이블(240)에 대해 쿼리가 실행될 수 있다.
다른 예시적인 실시예들에서, 사용자 인터페이스는 사용자가 장르를 선택할 수 있게 하는 옵션을 포함한다. 클라이언트 디바이스는 수신된 장르를 서버 시스템(110)으로 송신하고, 서버 시스템(110)은 그 장르에 기초하여 액세스된 음악 트랙을 선택한다. 예를 들어, 선택된 장르를 갖는 행들을 식별하기 위해 오디오 데이터베이스(130)의 오디오 데이터 테이블(240)에 대해 쿼리가 실행될 수 있다. 추가적으로 또는 대안적으로, 사용자는 오디오 트랙을 선택하기 위해 무드(mood)를 선택할 수 있다. 예를 들어, 오디오 데이터 테이블(240)은 각 노래에 대한 하나 이상의 무드 및 동작 510에서 사용된 사용자 선택 무드와 매칭되는 행들을 포함하는 것으로 확장될 수 있다. 일부 예시적인 실시예들에서, 오디오 트랙의 무드는 템포(예를 들어, 느리게는 슬픈 것에 대응하고, 빠르게는 화난 것에 대응하고, 중간 빠르기는 행복한 것에 대응함), 키(예를 들어, 메이저 키의 음악은 행복이고, 마이너 키의 음악은 슬픔임), 악기(예를 들어, 베이스는 우울한 것이고, 피콜로는 쾌활한 것임), 키워드(예를 들어, 행복, 슬픔, 화남, 또는 이들의 적절한 조합), 또는 이들의 적절한 조합에 기초하여 결정된다.
서버 시스템(110)은, 동작 520에서, 복수의 비디오 세그먼트들을 갖는 비디오 트랙에 액세스한다. 예를 들어, 행(230A)의 비디오 시퀀스는 세그먼트화된 비디오 데이터(320)에 도시된 바와 같이 비디오 세그먼트들과 함께, 비디오 데이터 테이블(210)로부터 액세스될 수 있다. 비디오 시퀀스는 사용자에 의해(예를 들어, 이용 가능한 비디오 시퀀스들의 목록으로부터) 또는 자동적으로 선택될 수 있다. 예를 들어, 오디오 트랙의 무드와 매칭되는 무드를 갖는 비디오 트랙이 자동적으로 선택될 수 있다. 일부 예시적인 실시예들에서, 비디오 트랙의 무드는 얼굴 인식(예를 들어, 웃는 얼굴은 행복한 것이고, 우는 얼굴은 슬픈 것이고, 심각한 얼굴은 우울한 것임), 색상(예를 들어, 밝은 색상은 행복한 것이고, 채도가 낮은 색상은 슬픈 것임), 인식된 객체(예를 들어, 비는 슬픈 것이고, 무기는 공격적인 것이고, 장난감은 행복한 것임) 또는 이들의 임의의 적절한 조합에 기초하여 결정된다.
일부 예시적인 실시예들에서, 액세스된 비디오 트랙은 비디오 데이터 테이블(210) 내의 비디오 트랙과 관련된 키워드들 및 템포에 기초하여, 서버 시스템(110)에 의해 선택된다. 예를 들어, 키워드 "하키"와 관련된 비디오 트랙들은 다수의 짧은 비디오 세그먼트들로 구성될 수가 있고, 키워드 "축구"와 관련된 비디오 트랙들은 더 긴 비디오 세그먼트들로 구성될 수가 있다. 따라서, 키워드 "하키"와 관련된 비디오 트랙은 템포가 빠를 때(예를 들어, 110 BPM 초과) 선택될 수 있고, 키워드 "축구"와 관련된 비디오 트랙은 템포가 느릴 때 선택될 수 있다(예를 들어, 80 BPM 미만).
동작 530에서, 음악 트랙의 템포 및 복수의 비디오 세그먼트들의 제 1 비디오 세그먼트의 듀레이션에 기초하여, 서버 시스템(110)은 제 1 비디오 세그먼트를 비디오 세그먼트들의 세트에 추가한다. 예를 들어, 음악 트랙의 비트 주기의 정수배인 듀레이션을 갖는 비디오 시퀀스의 하나 이상의 비디오 세그먼트들이 식별되어 음악 트랙과 동기화될 수 있는 비디오 세그먼트들의 세트에 추가될 수 있다. 예를 들어, 음악 트랙의 템포가 120 BPM인 경우, 음악 트랙의 비트 주기는 0.5 초이며 듀레이션이 0.5 초의 정수배인 비디오 세그먼트들이, 비디오 세그먼트들 사이의 전환들이 음악의 비트와 동기화되어 음악 트랙과 함께 재생될 수 있는 것으로서 식별된다.
일부 예시적인 실시예들에서, 비트 주기의 정수배의 미리 결정된 수의 프레임들 내에 있는 비디오 세그먼트들이 그 비트에 맞춰 정렬되도록 수정되고, 동작 530에서 비디오 세그먼트들의 세트에 추가된다. 예를 들어, 비디오의 프레임 레이트가 초당 30 프레임이고 비트 주기가 0.5 초 또는 15 프레임인 경우, 46 프레임 길이의 비디오 세그먼트는 정렬하기에 너무 긴 하나의 프레임이다. 비디오 세그먼트의 첫 번째 또는 마지막 프레임을 제거함으로써, 동작 540에서 사용될 수 있는 정렬된 비디오 세그먼트가 생성된다. 마찬가지로, 44 프레임 길이의 비디오 세그먼트는 정렬하기에 너무 짧은 하나의 프레임이다. 비디오 세그먼트의 첫 번째 또는 마지막 프레임을 복제함으로써, 정렬된 비디오 세그먼트가 생성된다.
서버 시스템(110)은, 동작 540에서, 비디오 세그먼트들의 세트 및 오디오 트랙을 포함하는 오디오/비디오 시퀀스를 생성한다. 예를 들어, 도 4의 오디오/비디오 시퀀스는 오디오 트랙(410)이 재생되는 동안 재생될 수 있는 3개의 비디오 세그먼트들(430A-430C)을 포함하며, 비디오 세그먼트들(430A-430C) 사이의 전환은 오디오 트랙(410)의 비트에 맞춰 정렬된다. 생성된 오디오/비디오 시퀀스는 나중에 액세스하기 위해 비디오 데이터베이스(120)에 저장되거나, 사용자에게 재생하기 위해 클라이언트 디바이스(150 또는 160)로 송신되거나, 또는 둘 다일 수 있다.
일부 예시적인 실시예들에서, 오디오 트랙의 하나 이상의 부분들이 전체 오디오 트랙 대신에 사용된다. 예를 들어, 오디오 트랙은 코러스와 다수의 구절로 분할될 수 있다. 오디오/비디오 시퀀스는 코러스, 구절의 서브세트, 또는 이들의 임의의 적절한 조합을 사용하여 마련될 수 있다. 그 부분들의 선택은 원하는 길이의 오디오/비디오 시퀀스에 기초할 수 있다. 예를 들어, 노래의 1 분 부분을 선택함으로써 3 분 노래가 1 분 오디오/비디오 시퀀스를 생성하는데 사용될 수 있다. 선택된 1 분은 노래의 첫 번째 분이거나, 노래의 마지막 분이거나, 첫 번째 코러스 시작에서 시작하는 분이거나, 하나 이상의 코러스 반복이거나, 코러스가 없는 하나 이상의 구절이거나, 또는 구절과 코러스의 다른 조합일 수 있다.
일부 예시적인 실시예들에서는, 단일 오디오 트랙 대신에 복수의 오디오 트랙들이 사용된다. 예를 들어, 사용자는 펑크 음악과 함께 5 분 비디오를 요청할 수 있다. 펑크 장르의 다수의 노래들이 오디오 데이터 테이블(240)로부터 액세스될 수 있으며, 이들 각각은 5 분 미만의 길이를 갖는다. 너무 짧은 펑크 트랙들 중 2개 이상이 연접되어 5 분 오디오 트랙을 생성할 수도 있다. 연접될 트랙들은 또한 매칭 템포에 기초하여 선택될 수 있다. 예를 들어, 120BPM의 하나의 노래와 116BPM의 다른 노래 대신에 120BPM의 두 개의 노래가 선택될 수 있다. 대안적으로, 하나 이상의 노래들의 템포가 매칭되도록 조정될 수 있다. 예를 들어, 120BPM의 노래가 118BPM으로 느려지고, 116BPM의 노래가 118BPM으로 속도가 빨라질 수 있다. 이러한 방법들 중 하나는 오디오/비디오 시퀀스의 템포가 도중에 변경될 가능성을 방지한다.
도 6은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스(600)를 도시한 흐름도이다. 제한이 아닌 예로서, 프로세스(600)의 동작들은 데이터베이스 스키마(200)를 사용하여, 도 1의 시스템들 및 장치들에 의해 수행되는 것으로 설명된다.
동작 610에서, 서버 시스템(110)은 템포를 갖는 음악 트랙에 액세스한다. 예를 들어, 음악 트랙(260A)은 오디오 데이터 테이블(240)로부터 액세스될 수 있다.
서버 시스템(110)은, 동작 620에서, 복수의 비디오 세그먼트들을 갖는 비디오 트랙에 액세스한다. 예를 들어, 행(230A)의 비디오 시퀀스는 세그먼트화된 비디오 데이터(320)에 도시된 바와 같은 비디오 세그먼트들과 함께, 비디오 데이터 테이블(210)로부터 액세스될 수 있다.
동작 630에서, 음악 트랙의 템포 및 복수의 비디오 세그먼트들의 비디오 세그먼트의 듀레이션에 기초하여, 서버 시스템(110)은 비디오 세그먼트를 비디오 세그먼트들의 세트에 추가한다. 예를 들어, 음악 트랙의 비트 주기의 정수배인 듀레이션을 갖는 비디오 시퀀스의 비디오 세그먼트가 식별되어 음악 트랙과 동기화될 수 있는 비디오 세그먼트들의 세트에 추가될 수 있다.
서버 시스템(110)은 동작 640에서 비디오 세그먼트들의 세트의 총 듀레이션이 음악 트랙의 듀레이션 이상인지 여부를 결정한다. 예를 들어, 음악 트랙이 1 분 길이이고, 하나의 비디오 세그먼트만이 비디오 세그먼트들의 세트에 추가되었고, 그 비디오 세그먼트가 30 초 길이인 경우, 동작 640은, 총 30 초의 듀레이션이 음악 트랙의 듀레이션 미만인 것으로 결정하게 된다. 총 듀레이션이 음악 트랙의 듀레이션 미만인 경우, 프로세스(600)는 동작들(620-640)을 반복하여, 다른 비디오 세그먼트를 비디오 세그먼트들의 세트에 추가하고, 듀레이션 체크를 반복한다. 비디오 세그먼트들의 세트의 총 듀레이션이 음악 트랙의 듀레이션을 충족시키거나 초과하는 경우, 프로세스(600)는 동작 650로 계속된다.
대안적인 실시예들에서, 동작 640의 비교는 음악 트랙의 듀레이션이 아니라 다른 듀레이션과 비교된다. 예를 들어, 사용자는 오디오/비디오 시퀀스의 듀레이션을 선택할 수 있다. 이 듀레이션은 음악 트랙의 듀레이션보다 짧을 수 있으며, 이 경우 음악 트랙은 선택된 듀레이션으로 절단될 수 있다. 사용자에 의해 선택된 듀레이션은 음악 트랙의 듀레이션보다 길 수 있으며, 이 경우 음악 트랙이 반복되어 선택된 듀레이션에 도달하거나 동일한 템포의 추가 음악 트랙이 오디오 데이터 테이블(240)로부터 검색되어 첫 번째 음악 트랙에 추가될 수 있다.
동작 650에서, 서버 시스템(110)은 음악 세그먼트들의 세트 및 비디오 트랙을 포함하는 오디오/비디오 시퀀스를 생성한다. 예를 들어, 도 4의 오디오/비디오 시퀀스는 오디오 트랙(410)이 재생되는 동안 재생될 수 있는 3개의 비디오 세그먼트들(430A-430C)을 포함하며, 비디오 세그먼트들(430A-430C) 사이의 전환들은 오디오 트랙(410)의 비트에 맞춰 정렬된다. 생성된 오디오/비디오 시퀀스는 나중에 액세스하기 위해 비디오 데이터베이스(120)에 저장되거나, 사용자에게 재생하기 위해 클라이언트 디바이스(150 또는 160)로 송신되거나, 또는 둘 다일 수 있다. 일부 예시적인 실시예들에서, 비디오 세그먼트들의 세트의 총 듀레이션이 음악 트랙의 듀레이션을 초과할 경우, 하나의 비디오 세그먼트(예를 들어, 마지막 비디오 세그먼트)가 듀레이션들을 정렬하기 위해 절단된다.
도 7은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 프로세스(700)를 나타내는 흐름도이다. 제한이 아닌 예로서, 프로세스(700)의 동작들은 데이터베이스 스키마(200)를 사용하여, 도 1의 시스템들 및 장치들에 의해 수행되는 것으로 설명된다.
동작 710에서, 서버 시스템(110)은 비디오 시퀀스에 액세스한다. 예를 들어, 서버 시스템(110)은 클라이언트 디바이스(160)의 브라우저 인터페이스(180)에 렌더링되는 웹 페이지를 제공할 수 있다. 웹 페이지를 사용하여, 사용자는 하나 이상의 키워드를 입력하여 오디오/비디오 프레젠테이션에 사용될 원하는 비디오 시퀀스들을 식별한다. 이 예에서, 서버 시스템(110)은 사용자에 의해 제공된 키워드들과 행(230A)에 저장된 키워드들 사이의 매칭들에 기초하여, 비디오 데이터 테이블(210)로부터 행(230A)의 비디오 시퀀스에 액세스한다.
서버 시스템(110)은 동작 720에서 비디오 시퀀스의 순차적 프레임들 간의 차이들에 기초하여, 비디오 시퀀스 내의 비디오 세그먼트들을 식별한다. 예를 들어, 거리 측정은 각각의 순차적 프레임들의 쌍에 대해 계산될 수 있다. 거리 측정치가 임계값을 초과할 경우, 순차적 프레임들의 쌍은 개별 세그먼트들에 있는 것으로 결정될 수 있다. 거리 측정의 일 예는 두 개의 프레임들에서 해당 픽셀들의 색상 값들의 차이에 대한 절대값들의 합이다. 따라서, 두 개의 동일한 프레임들은 거리 측정치가 0이다.
동작 730에서, 복수의 식별된 비디오 세그먼트들은 프로세스(500) 또는 프로세스(600)에서(예를 들어, 동작 520 또는 동작 620에서) 식별된 비디오 세그먼트들 중 하나 이상 및 및 음악 트랙을 포함하는 오디오/비디오 시퀀스를 생성하는데 사용된다.
도 8은 일부 예시적인 실시예들에서, 오디오에 수반되는 비디오 프레젠테이션을 생성하기 위한 사용자 인터페이스(800)를 도시하는 블록도이다. 사용자 인터페이스(800)는 스포츠 이벤트 선택기(810), 비디오 스타일 선택기(820) 및 비디오 재생 영역(830)을 포함한다. 사용자 인터페이스(800)는 애플리케이션 인터페이스(170) 또는 브라우저 인터페이스(180)에 의해 사용자에게 프레젠테이션될 수 있다.
사용자는 스포츠 이벤트 선택기(810)를 조작하여 스포츠를 선택할 수 있다. 예를 들어, 사용자가 미리 정의된 옵션 세트(예를 들어, 축구, 하키 또는 농구) 중에서 선택할 수 있는 드롭 다운 메뉴가 프레젠테이션될 수 있다. 유사하게, 사용자는 비디오 스타일 선택기(820)를 조작하여 비디오 스타일을 선택할 수 있다. 비디오 스타일은 음악 장르에 대응할 수 있다.
선택된 스포츠 및 비디오 스타일을 수신한 것에 응답하여, 클라이언트 디바이스(150 또는 160)는 이 선택 사항들을 서버 시스템(110)에 전송할 수 있다. 이 선택 사항들에 기초하여, 서버 시스템(110)은 프로세스들(500, 600, 700) 중 하나 이상의 프로세스를 수행하는데 사용될 오디오 데이터베이스(130) 및 비디오 데이터베이스(120)로부터 오디오 및 비디오 데이터를 식별한다. (예를 들어, 프로세스(500 또는 600)를 통해) 오디오에 수반되는 비디오 프레젠테이션을 생성한 후, 서버 시스템(110)은 비디오 재생 영역(830)에 디스플레이하기 위해, 생성된 비디오 프레젠테이션을 네트워크(140)를 통해서 클라이언트 디바이스(150 또는 160)로 송신한다. 클라이언트 디바이스(150 또는 160)는 수신된 비디오 프레젠테이션이 사용자를 위한 비디오 재생 영역(830)에서 재생되게 한다.
다양한 예시적인 실시예들에 따르면, 본 명세서에 설명된 방법들 중 하나 이상의 방법들이 오디오에 수반되는 비디오 프레젠테이션을 생성하는 것을 용이하게 할 수 있다. 따라서, 본 명세서에 설명된 방법들 중 하나 이상의 방법들은 오디오에 수반되는 비디오 프레젠테이션을 생성하는 것과 관련될 수 있는 특정한 노력 또는 리소스들에 대한 필요성을 제거할 수 있다. 하나 이상의 머신들, 데이터베이스들, 또는 디바이스들(예를 들어, 네트워크 환경(100) 내)에 의해 사용되는 컴퓨팅 리소스들은 본 명세서에 설명된 방법들 중의 하나 이상의 방법들을 사용함으로써 감소될 수 있다. 이러한 컴퓨팅 리소스들의 예로는 프로세서 사이클, 네트워크 트래픽, 메모리 사용량, 데이터 저장 용량, 전력 소모 및 냉각 용량을 포함한다.
도 9는 일부 예시적인 실시예들에 따른, 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체, 컴퓨터 판독가능 저장 매체, 또는 이들의 임의의 적절한 조합)로부터 명령어들을 판독할 수 있고, 본 명세서에서 논의된 방법들 중의 하나 이상의 방법들을 전체적으로 또는 부분적으로 수행할 수 있는 머신(900)의 컴포넌트들을 도시한 블록도이다. 구체적으로, 도 9는 그 내에서 머신(900)이 본 명세서에서 논의된 방법들 중 임의의 하나 이상을 수행하게 하는 명령어들(924)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 다른 실행 가능한 코드)이 전체적으로 또는 부분적으로 실행될 수 있는 컴퓨터 시스템의 예시적인 형태로 머신(900)의 개략적인 표현을 도시한 것이다. 대안적인 실시예들에서, 머신(900)은 독립형 장치로서 작동하거나 다른 머신들에 연결(예를 들어, 네트워크로 연결)될 수 있다. 네트워크로 연결된 배치에서, 머신(900)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 역할로 작동하거나, 또는 분산(예를 들어, 피어 투 피어) 네트워크 환경에서 피어 머신으로서 작동할 수 있다. 머신(900)은 서버 컴퓨터, 클라이언트 컴퓨터, PC, 태블릿 컴퓨터, 랩탑 컴퓨터, 네트워크, 셋탑 박스(STB), 스마트 TV, PDA(Personal Digital Assistant), 휴대폰, 스마트 폰, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 해당 머신이 수행할 액션들을 지정하는 명령어들(924)을, 순차적 또는 다른 방식으로 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일 머신만이 도시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 설명된 방법들 중의 하나 이상을 수행하기 위해 명령어들(924)을 개별적으로 또는 공동으로 실행하는 머신들의 집합을 포함하는 것으로 간주되어야 한다.
머신(900)은 버스(908)를 통해 서로 통신하도록 구성되는, 프로세서(902)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP), ASIC, 무선 주파수 집적 회로(RFIC), 또는 이들의 임의의 적절한 조합), 메인 메모리(904) 및 정적 메모리(906)를 포함한다. 머신(900)은 그래픽 디스플레이(910)(예를 들어, 플라즈마 디스플레이 패널(PDP), LED 디스플레이, LCD, 프로젝터 또는 CRT)를 더 포함할 수 있다. 머신(900)은 또한 문자숫자 입력 디바이스(912)(예를 들어, 키보드), 커서 제어 디바이스(914)(예를 들어, 마우스, 터치 패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구), 저장 유닛(916), 하나 이상의 GPU(918) 및 네트워크 인터페이스 디바이스(920)를 포함할 수 있다.
저장 유닛(916)은 본 명세서에서 설명된 방법들 또는 기능들 중 하나 이상을 구현하는 명령어들(924)이 저장되는 머신 판독가능 매체(922)를 포함한다. 명령어들(924)은 또한 머신(900)에 의해 실행되는 동안, 메인 메모리(904) 내에, 프로세서(902) 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 둘 다에 완전히 또는 적어도 부분적으로 상주할 수 있다. 따라서, 메인 메모리(904) 및 프로세서(902)는 머신 판독가능 매체로 간주될 수 있다. 명령어들(924)은 네트워크 인터페이스 디바이스(920)를 통해 네트워크(926)(예를 들어, 도 1의 네트워크(140))를 통해 송신되거나 수신될 수 있다.
본 명세서에서 사용되는 "메모리"라는 용어는 데이터를 일시적 또는 영구적으로 저장할 수 있는 머신 판독가능 매체를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리를 포함하고 이에 한정되지 않을 수 있다. 머신 판독가능 매체(922)가 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "머신 판독가능 매체"라는 용어는 명령어들을 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙식 또는 분산식 데이터베이스, 또는 관련 캐시들 및 서버들)를 포함하는 것으로 간주되어야 한다. "머신 판독가능 매체"라는 용어는 또한 머신의 하나 이상의 프로세서(예를 들어, 프로세서(902))에 의해 실행될 경우, 명령어들이 머신으로 하여금 본 명세서에 설명된 방법들 중 하나 이상을 수행하게 하도록 구성되는, 머신(예를 들어, 머신(900))에 의해 실행되는 명령어들을 저장할 수 있는 임의의 매체 또는 복수의 매체의 조합을 포함하는 것으로 이해되어야 한다. 따라서, "머신 판독가능 매체"는 단일 저장 장치 또는 디바이스뿐만 아니라 복수의 저장 장치 또는 디바이스를 포함하는 "클라우드 기반" 저장 시스템 또는 저장 네트워크를 지칭한다. 따라서, "머신 판독가능 매체"라는 용어는 솔리드-스테이트 메모리, 광학 매체, 자기 매체, 또는 이들의 임의의 적절한 조합 형태의 하나 이상의 데이터 저장소를 포함하며, 이에 제한되지 않는다. "비일시적 머신 판독가능 매체"라는 용어는 머신 판독가능 매체를 지칭하며 신호 자체를 배제한다.
본 명세서 전체에 걸쳐, 복수의 인스턴스들이 단일 인스턴스로서 설명된 컴포넌트들, 동작들 또는 구조들을 구현할 수 있다. 하나 이상의 방법들의 개별 동작들이 별도의 동작으로서 도시되고 설명되었지만, 하나 이상의 개별 동작들이 동시에 수행될 수도 있으며, 그 동작들이 도시된 순서대로 수행될 필요는 없다. 예시적인 구성들에서 개별 컴포넌트들로서 제시된 구조들 및 기능들은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조들 및 기능들은 별도의 컴포넌트들로서 구현될 수도 있다. 이들 및 다른 변형들, 수정들, 추가들 및 개선들이 본 명세서의 발명 범위 내에 포함된다.
특정 실시예들은 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 설명된다. 모듈들이 하드웨어 모듈들을 구성할 수도 있다. "하드웨어 모듈"은 특정 동작들을 수행할 수 있는 유형의 유닛이며 특정 물리적 방식으로 구성 또는 배열될 수 있다. 다양한 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템들(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈들(예를 들어, 프로세서 또는 프로세서 그룹)이 본 명세서에 설명된 바와 같은 특정 동작들을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다.
일부 실시예들에서, 하드웨어 모듈은 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작들을 수행하도록 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 FPGA 또는 ASIC과 같은 특수 목적 프로세서일 수 있다. 하드웨어 모듈은 또한 특정 동작들을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램 가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은 범용 프로세서 또는 다른 프로그램 가능 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용으로 그리고 영구적으로 구성된 회로 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성된)에서 하드웨어 모듈을 구현하는 결정은 비용 및 시간 고려 사항들에 의해 이루어질 수 있음을 이해할 것이다.
따라서, "하드웨어 모듈"이라는 용어는 본 명세서에 설명되는 특정 동작들을 수행하기 위해 또는 특정 방식으로 동작하는 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드 와이어되는) 또는 일시적으로 구성되는(예를 들어, 프로그래밍되는) 엔티티인, 유형의 엔티티를 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용되는 "하드웨어 구현 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그래밍되는) 실시예들을 고려하면, 각각의 하드웨어 모듈들은 임의의 하나의 시간 인스턴스에서 구성되거나 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 모듈이 소프트웨어에 의해 특수 목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 이 범용 프로세서는 상이한 시간들에서의 각각의 상이한 특수 목적 프로세서들(예를 들어, 상이한 하드웨어 모듈들을 포함)로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 어떤 시간 인스턴스에서 특정 하드웨어 모듈을 구성하고 다른 시간 인스턴스에서 다른 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 다른 하드웨어 모듈들과 정보를 송수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신적으로 커플링되는 것으로 간주될 수 있다. 복수의 하드웨어 모듈들이 동시에 존재하는 경우, 통신들은 하드웨어 모듈들 중의 둘 이상 사이의 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예들에서, 이러한 하드웨어 모듈들 간의 통신들은 예를 들어 복수의 하드웨어 모듈들이 액세스하는 메모리 구조들에서의 정보 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈이 일 동작을 수행하고 그 동작의 출력을 통신적으로 커플링된 메모리 장치에 저장할 수 있다. 이후에, 다른 하드웨어 모듈이 메모리 장치에 액세스하여, 저장된 출력을 검색하고 처리할 수 있다. 또한 하드웨어 모듈들은 입력 또는 출력 디바이스들과의 통신을 시작할 수 있으며 리소스에서 작동할 수 있다(예를 들어, 정보 수집).
본 명세서에서 설명되는 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 관련 동작들을 수행하도록 영구적으로 구성되는 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 구성되든 또는 영구적으로 구성되든, 이러한 프로세서들은 본 명세서에서 설명된 하나 이상의 동작들 또는 기능들을 수행하도록 동작하는 프로세서 구현 모듈들을 구성할 수 있다. 본 명세서에서 사용되는 "프로세서 구현 모듈"은 하나 이상의 프로세서를 사용하여 구현되는 하드웨어 모듈을 지칭한다.
유사하게, 본 명세서에서 설명되는 방법들은 적어도 부분적으로 프로세서로 구현될 수 있으며, 프로세서는 하드웨어의 일 예이다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서들 또는 프로세서 구현 모듈들에 의해 수행될 수 있다. 또한, 하나 이상의 프로세서들이 "클라우드 컴퓨팅" 환경 또는 "SaaS(software as a service)"에서 관련 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 적어도 일부 동작들은 컴퓨터 그룹(프로세서들을 포함하는 머신들의 예로서)에 의해 수행될 수 있으며, 이 동작들은 네트워크(예를 들어, 인터넷)를 통해 그리고 하나 이상의 적절한 인터페이스들(예를 들어, API(application program interface)들)을 통해 액세스 가능하다.
특정 동작들의 수행은 단일 머신 내에 상주할뿐만 아니라 여러 머신들에 분배되어 있는 하나 이상의 프로세서들 사이에 분산될 수 있다. 일부 예시적인 실시예들에서, 하나 이상의 프로세서들 또는 프로세서 구현 모듈들은 단일 지리적 위치(예를 들어, 가정 환경, 사무실 환경 또는 서버 팜 내)에 위치될 수 있다. 다른 예시적인 실시예들에서, 하나 이상의 프로세서들 또는 프로세서 구현 모듈들은 다수의 지리적 위치들에 걸쳐 분산될 수 있다.
본 명세서에서 논의된 주제 중의 몇몇 부분들은 머신 메모리(예를 들어, 컴퓨터 메모리) 내에 비트들 또는 이진 디지털 신호들로서 저장된 데이터에 대한 연산들의 알고리즘 또는 심볼 표현의 관점에서 제시될 수 있다. 이러한 알고리즘 또는 심볼 표현은 데이터 처리 분야의 당업자가 자신의 작업의 내용을 다른 당업자에게 전달하기 위해 사용하는 기술의 예이다. 본 명세서에서 사용되는 "알고리즘"은 원하는 결과를 초래하는 일관된 동작 시퀀스 또는 유사한 처리이다. 이와 관련하여, 알고리즘 및 연산은 물리량의 물리적 조작을 포함한다. 통상적으로, 반드시 그러한 것은 아니지만, 이러한 양은 머신에 의해 저장, 접근, 전달, 결합, 비교 또는 조작될 수 있는 전기, 자기 또는 광학 신호들의 형태를 취할 수 있다. 일반적으로 흔히 사용되는 이유로, "데이터", "컨텐츠", "비트", "값", "요소", "심볼", "문자", "용어", "번호", "숫자" 등의 단어를 사용하여 이러한 신호들을 지칭하는 것이 편리하다. 그러나, 이러한 단어들은 단지 편리한 레이블일뿐이며 적절한 물리량과 관련이 있다.
달리 구체적으로 언급되지 않는 한, "처리", "컴퓨팅", "계산", "결정", "제시", "표시" 등과 같은 단어를 사용하는 본 명세서에서의 논의들은 하나 이상의 메모리들(예를 들어, 휘발성 메모리, 비휘발성 메모리 또는 이들의 임의의 적절한 조합), 레지스터들, 또는 정보를 수신, 저장, 송신 또는 표시하는 다른 머신 컴포넌트들 내에서 물리적(예를 들어, 전자적, 자기적 또는 광학적) 수량으로 표현된 데이터를 조작 또는 변환하는 머신(예를 들어, 컴퓨터)의 동작들 또는 프로세스들을 지칭할 수 있다. 또한, 달리 구체적으로 언급되지 않는 한, 단수를 나타내는 용어들은, 특허 문헌들에서 공통적인 바와 같이, 하나보다 많은 인스턴스를 포함하는 것으로 본 명세서에서 사용된다. 마지막으로, 본 명세서에서 사용되는 "또는"이라는 용어는 달리 구체적으로 언급되지 않는 한, 비배타적인 "또는"을 지칭한다.

Claims (20)

  1. 시스템으로서,
    명령어들을 저장하는 메모리;
    복수의 음악 트랙들 및 복수의 비디오 시퀀스들을 저장하는 하나 이상의 데이터베이스들; 및
    동작들을 수행하도록 상기 명령어들에 의해 구성되는 하나 이상의 프로세서들을 포함하며, 상기 동작들은,
    상기 하나 이상의 데이터베이스들로부터 제 1 음악 트랙에 액세스하는 동작 - 상기 제 1 음악 트랙은 제 1 템포(tempo)를 가짐 -;
    상기 하나 이상의 데이터베이스들로부터 제 2 음악 트랙에 액세스하는 동작 - 상기 제 2 음악 트랙은 상기 제 1 템포와 다른 제 2 템포를 가짐 -;
    상기 제 1 및 제 2 음악 트랙이 공유된 템포를 갖도록 상기 제 1 템포 또는 상기 제 2 템포 중 적어도 하나를 수정하는 동작;
    상기 하나 이상의 데이터베이스들로부터 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스에 액세스하는 동작;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 복수의 비디오 세그먼트들 중 제 1 비디오 세그먼트의 듀레이션(duration)에 기초하여, 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 1 비디오 세그먼트는 상기 제 1 비디오 시퀀스로부터의 것임 -;
    선택된 상기 제 1 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 상기 복수의 비디오 세그먼트들 중 제 2 비디오 세그먼트의 듀레이션에 기초하여, 상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 2 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 2 비디오 세그먼트는 상기 제 2 비디오 시퀀스로부터의 것임 -;
    선택된 상기 제 2 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작; 및
    상기 비디오 세그먼트들의 세트 및 상기 제 1 및 제 2 음악 트랙을 포함하는 오디오/비디오 시퀀스를 생성하는 동작
    을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 동작은, 상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 각각의 식별된 비디오 세그먼트의 듀레이션에 기초하여 복수의 비디오 세그먼트들을 식별하는 동작을 더 포함하고,
    상기 제 1 비디오 세그먼트는 상기 식별된 복수의 비디오 세그먼트들로부터 선택되는, 시스템.
  3. 제 1 항에 있어서,
    상기 동작들은, 템포의 선택을 수신하는 동작을 더 포함하고,
    상기 하나 이상의 데이터베이스들로부터 상기 제 1 및 제 2 음악 트랙에 액세스하는 동작은 상기 선택된 템포, 상기 제 1 템포, 및 상기 제 2 템포에 기초하는, 시스템.
  4. 제 1 항에 있어서,
    상기 동작들은, 검색 쿼리에 액세스하는 동작을 더 포함하고,
    상기 하나 이상의 데이터베이스들로부터 상기 제 1 비디오 시퀀스 및 상기 제 2 비디오 시퀀스에 액세스하는 동작은 상기 검색 쿼리에 기초하는, 시스템.
  5. 제 1 항에 있어서,
    상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 동작은, 상기 제 1 비디오 세그먼트의 듀레이션이 상기 제 1 음악 트랙 또는 상기 제 2 음악 트랙의 비트 주기의 정수배인 것에 기초하는, 시스템.
  6. 제 1 항에 있어서,
    상기 오디오/비디오 시퀀스를 생성하는 동작은 미리 결정된 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 동작을 포함하는, 시스템.
  7. 제 1 항에 있어서,
    상기 동작들은, 상기 제 1 및 제 2 음악 트랙을 포함하는 음악 트랙을 생성하는 동작을 더 포함하고,
    상기 오디오/비디오 시퀀스를 생성하는 동작은 상기 음악 트랙의 듀레이션과 동일한 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 동작을 포함하는, 시스템.
  8. 제 1 항에 있어서,
    상기 오디오/비디오 시퀀스를 생성하는 동작은 사용자에 의해 선택된 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 동작을 포함하는, 시스템.
  9. 제 1 항에 있어서,
    상기 동작들은, 상기 제 1 또는 제 2 음악 트랙의 템포에 기초하여, 상기 제 1 또는 제 2 음악 트랙의 무드(mood) 또는 장르(genre)를 결정하는 동작을 더 포함하고,
    상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 및 제 2 비디오 세그먼트를 선택하는 동작은, 상기 제 1 음악 트랙 또는 상기 제 2 음악 트랙의 상기 결정된 무드 또는 장르에 더 기초하는, 시스템.
  10. 방법으로서,
    하나 이상의 프로세서들에 의해서, 오디오 데이터베이스로부터 제 1 음악 트랙에 액세스하는 단계 - 상기 제 1 음악 트랙은 제 1 템포를 가짐 -;
    상기 하나 이상의 프로세서들에 의해서, 상기 오디오 데이터베이스로부터 제 2 음악 트랙에 액세스하는 단계 - 상기 제 2 음악 트랙은 상기 제 1 템포와 다른 제 2 템포를 가짐 -;
    상기 하나 이상의 프로세서들에 의해서, 상기 제 1 및 제 2 음악 트랙이 공유된 템포를 갖도록 상기 제 1 템포 또는 상기 제 2 템포 중 적어도 하나를 수정하는 단계;
    상기 하나 이상의 프로세서들에 의해서, 비디오 데이터베이스로부터 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스에 액세스하는 단계;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 복수의 비디오 세그먼트들 중 제 1 비디오 세그먼트의 듀레이션에 기초하여, 상기 하나 이상의 프로세서들에 의해서, 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 단계 - 선택된 상기 제 1 비디오 세그먼트는 상기 제 1 비디오 시퀀스로부터의 것임 -;
    상기 하나 이상의 프로세서들에 의해서, 선택된 상기 제 1 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 단계;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 상기 복수의 비디오 세그먼트들 중 제 2 비디오 세그먼트의 듀레이션에 기초하여, 상기 하나 이상의 프로세서들에 의해서, 상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 2 비디오 세그먼트를 선택하는 단계 - 선택된 상기 제 2 비디오 세그먼트는 상기 제 2 비디오 시퀀스로부터의 것임 -;
    상기 하나 이상의 프로세서들에 의해서, 선택된 상기 제 2 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 단계; 및
    상기 하나 이상의 프로세서들에 의해서, 상기 비디오 세그먼트들의 세트 및 상기 제 1 및 제 2 음악 트랙을 포함하는 오디오/비디오 시퀀스를 생성하는 단계
    를 포함하는, 방법.
  11. 제 10 항에 있어서,
    템포의 선택을 수신하는 단계를 더 포함하고,
    상기 오디오 데이터베이스로부터 상기 제 1 및 제 2 음악 트랙에 액세스하는 단계는 상기 선택된 템포, 상기 제 1 템포, 및 상기 제 2 템포에 기초하는, 방법.
  12. 제 10 항에 있어서,
    검색 쿼리에 액세스하는 단계를 더 포함하고,
    상기 비디오 데이터베이스로부터 상기 제 1 비디오 시퀀스 및 상기 제 2 비디오 시퀀스에 액세스하는 단계는 상기 검색 쿼리에 기초하는, 방법.
  13. 제 10 항에 있어서,
    상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 단계는, 상기 제 1 비디오 세그먼트의 듀레이션이 상기 제 1 음악 트랙 또는 상기 제 2 음악 트랙의 비트 주기의 정수배인 것에 기초하는, 방법.
  14. 제 10 항에 있어서,
    상기 오디오/비디오 시퀀스를 생성하는 단계는 미리 결정된 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 단계를 포함하는, 방법.
  15. 제 10 항에 있어서,
    상기 방법은 상기 제 1 및 제 2 음악 트랙을 포함하는 음악 트랙을 생성하는 단계를 더 포함하고,
    상기 오디오/비디오 시퀀스를 생성하는 단계는 상기 음악 트랙의 듀레이션과 동일한 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 단계를 포함하는, 방법.
  16. 제 10 항에 있어서,
    상기 오디오/비디오 시퀀스를 생성하는 단계는 사용자에 의해 선택된 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 단계를 포함하는, 방법.
  17. 머신의 하나 이상의 프로세서들에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 비일시적 머신 판독가능 매체로서, 상기 동작들은,
    오디오 데이터베이스로부터 제 1 음악 트랙에 액세스하는 동작 - 상기 제 1 음악 트랙은 제 1 템포를 가짐 -;
    상기 하나 이상의 데이터베이스들로부터 제 2 음악 트랙에 액세스하는 동작 - 상기 제 2 음악 트랙은 상기 제 1 템포와 다른 제 2 템포를 가짐 -;
    상기 제 1 및 제 2 음악 트랙이 공유된 템포를 갖도록 상기 제 1 템포 또는 상기 제 2 템포 중 적어도 하나를 수정하는 동작;
    비디오 데이터베이스로부터 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스에 액세스하는 동작;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 복수의 비디오 세그먼트들 중 제 1 비디오 세그먼트의 듀레이션에 기초하여, 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 1 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 1 비디오 세그먼트는 상기 제 1 비디오 시퀀스로부터의 것임 -;
    선택된 상기 제 1 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작;
    상기 제 1 및 제 2 음악 트랙의 상기 공유된 템포 및 상기 복수의 비디오 세그먼트들 중 제 2 비디오 세그먼트의 듀레이션에 기초하여, 상기 비디오 세그먼트들의 세트에 추가하기 위해 상기 제 2 비디오 세그먼트를 선택하는 동작 - 선택된 상기 제 2 비디오 세그먼트는 상기 제 2 비디오 시퀀스로부터의 것임 -;
    선택된 상기 제 2 비디오 세그먼트를 상기 비디오 세그먼트들의 세트에 추가하는 동작; 및
    상기 비디오 세그먼트들의 세트 및 상기 제 1 및 제 2 음악 트랙을 포함하는 오디오/비디오 시퀀스를 생성하는 동작
    을 포함하는, 비일시적 머신 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 동작들은 템포의 선택을 수신하는 동작을 더 포함하고,
    상기 오디오 데이터베이스로부터 상기 제 1 및 제 2 음악 트랙에 액세스하는 동작은 상기 선택된 템포, 상기 제 1 템포, 및 상기 제 2 템포에 기초하는, 비일시적 머신 판독가능 매체.
  19. 제 17 항에 있어서,
    상기 동작들은 검색 쿼리에 액세스하는 동작을 더 포함하고,
    상기 비디오 데이터베이스로부터 상기 제 1 비디오 시퀀스 및 상기 제 2 비디오 시퀀스에 액세스하는 동작은 상기 검색 쿼리에 기초하는, 비일시적 머신 판독가능 매체.
  20. 제 17 항에 있어서,
    상기 오디오/비디오 시퀀스를 생성하는 동작은 미리 결정된 듀레이션으로 상기 오디오/비디오 시퀀스를 생성하는 동작을 포함하는, 비일시적 머신 판독가능 매체.
KR1020217003326A 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성 KR102233186B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217008575A KR102278304B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/474,305 2017-03-30
US15/474,305 US11915722B2 (en) 2017-03-30 2017-03-30 Generating a video presentation to accompany audio
PCT/US2018/025397 WO2018183845A1 (en) 2017-03-30 2018-03-30 Generating a video presentation to accompany audio

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028694A Division KR102213628B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217008575A Division KR102278304B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성

Publications (2)

Publication Number Publication Date
KR20210016080A KR20210016080A (ko) 2021-02-10
KR102233186B1 true KR102233186B1 (ko) 2021-03-30

Family

ID=63671779

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020237032967A KR20230146096A (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020197028694A KR102213628B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020217008575A KR102278304B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020217021754A KR102386602B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020227011936A KR20220048056A (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020217003326A KR102233186B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020237032967A KR20230146096A (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020197028694A KR102213628B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020217008575A KR102278304B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020217021754A KR102386602B1 (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성
KR1020227011936A KR20220048056A (ko) 2017-03-30 2018-03-30 오디오에 수반되는 비디오 프레젠테이션 생성

Country Status (6)

Country Link
US (2) US11915722B2 (ko)
EP (1) EP3603085A4 (ko)
JP (3) JP6858272B2 (ko)
KR (6) KR20230146096A (ko)
CN (1) CN110495180A (ko)
WO (1) WO2018183845A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756784B (zh) * 2018-12-21 2020-11-17 广州酷狗计算机科技有限公司 音乐播放方法、装置、终端及存储介质
US10915566B2 (en) * 2019-03-01 2021-02-09 Soundtrack Game LLC System and method for automatic synchronization of video with music, and gaming applications related thereto
US11720933B2 (en) * 2019-08-30 2023-08-08 Soclip! Automatic adaptive video editing
WO2021050728A1 (en) * 2019-09-12 2021-03-18 Love Turntable, Inc. Method and system for pairing visual content with audio content
CN112565882A (zh) * 2019-09-26 2021-03-26 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN110797055B (zh) * 2019-10-29 2021-09-03 北京达佳互联信息技术有限公司 多媒体资源合成方法、装置、电子设备及存储介质
CN112822541B (zh) * 2019-11-18 2022-05-20 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN112685592B (zh) * 2020-12-24 2023-05-26 上海掌门科技有限公司 生成运动视频配乐的方法和装置
CN115484400B (zh) * 2021-06-16 2024-04-05 荣耀终端有限公司 一种视频数据处理方法及电子设备
US11785279B2 (en) 2022-03-03 2023-10-10 Dropbox, Inc. Synchronized video viewing using a logical clock
CN115134646B (zh) * 2022-08-25 2023-02-10 荣耀终端有限公司 视频编辑方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US20080316307A1 (en) 2007-06-20 2008-12-25 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Automated method for temporal segmentation of a video into scenes with taking different types of transitions between frame sequences into account
US8855334B1 (en) 2009-05-21 2014-10-07 Funmobility, Inc. Mixed content for a communications device
US20150142147A1 (en) 2013-11-15 2015-05-21 Spring Moves Audio system for rhythm-based activity
US20150160916A1 (en) 2013-12-10 2015-06-11 Google Inc. Providing beat matching
US20170195700A1 (en) 2015-12-31 2017-07-06 Yahoo! Inc. Content-adaptive digital content adjustment method and system

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251637B1 (en) 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
US5668639A (en) * 1995-03-21 1997-09-16 Comunicacion Integral Method for video editing
JP3325809B2 (ja) 1997-08-15 2002-09-17 日本電信電話株式会社 映像制作方法及び装置及びこの方法を記録した記録媒体
JP3895014B2 (ja) 1997-09-19 2007-03-22 パイオニア株式会社 映像再生装置およびカラオケ装置
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP2003228963A (ja) 2002-02-05 2003-08-15 Sony Corp 記録媒体、データ記録装置及び方法並びにデータ編集装置及び方法
US7027124B2 (en) 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
GB0230097D0 (en) 2002-12-24 2003-01-29 Koninkl Philips Electronics Nv Method and system for augmenting an audio signal
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US20060179051A1 (en) 2005-02-09 2006-08-10 Battelle Memorial Institute Methods and apparatus for steering the analyses of collections of documents
US20060204214A1 (en) 2005-03-14 2006-09-14 Microsoft Corporation Picture line audio augmentation
US20140037199A1 (en) 2005-04-04 2014-02-06 Michal Aharon System and method for designing of dictionaries for sparse representation
US8165215B2 (en) 2005-04-04 2012-04-24 Technion Research And Development Foundation Ltd. System and method for designing of dictionaries for sparse representation
US20060242190A1 (en) 2005-04-26 2006-10-26 Content Analyst Comapny, Llc Latent semantic taxonomy generation
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
EP1959428A4 (en) 2005-12-09 2011-08-31 Sony Corp MUSICAL EDITING DEVICE AND METHOD
TW200727170A (en) * 2006-01-09 2007-07-16 Ulead Systems Inc Method for generating a visualizing map of music
KR100717387B1 (ko) 2006-01-26 2007-05-11 삼성전자주식회사 유사곡 검색 방법 및 그 장치
JP4618166B2 (ja) 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4561766B2 (ja) 2007-04-06 2010-10-13 株式会社デンソー 音データ検索支援装置、音データ再生装置、プログラム
US7569761B1 (en) 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US20100040349A1 (en) 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
WO2010034063A1 (en) 2008-09-25 2010-04-01 Igruuv Pty Ltd Video and audio content system
US7915512B2 (en) * 2008-10-15 2011-03-29 Agere Systems, Inc. Method and apparatus for adjusting the cadence of music on a personal audio device
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
EP2234024B1 (en) * 2009-03-24 2012-10-03 Sony Corporation Context based video finder
US8996538B1 (en) * 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
KR20110121830A (ko) 2010-05-03 2011-11-09 삼성전자주식회사 이동통신 단말기에서 자동으로 뮤직비디오를 생성하기 위한 장치 및 방법
US20130205223A1 (en) * 2010-10-14 2013-08-08 Ishlab Inc. Systems and methods for customized music selection and distribution
CN103514182B (zh) * 2012-06-19 2017-05-17 国际商业机器公司 音乐搜索方法与装置
JP6017687B2 (ja) 2012-06-29 2016-11-02 ノキア テクノロジーズ オーユー オーディオ信号分析
US9747949B2 (en) * 2014-02-10 2017-08-29 Google Inc. Providing video transitions
US20150243325A1 (en) * 2014-02-24 2015-08-27 Lyve Minds, Inc. Automatic generation of compilation videos
CN104103300A (zh) 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
GB2528100A (en) * 2014-07-10 2016-01-13 Nokia Technologies Oy Method, apparatus and computer program product for editing media content
CN105530440B (zh) 2014-09-29 2019-06-07 北京金山安全软件有限公司 一种视频的制作方法及装置
US10299016B2 (en) * 2015-06-17 2019-05-21 Lomotif Private Limited Method for generating a composition of audible and visual media
US20170249339A1 (en) 2016-02-25 2017-08-31 Shutterstock, Inc. Selected image subset based search
EP3433858A1 (en) * 2016-03-25 2019-01-30 Tristan Jehan Transitions between media content items
US9838731B1 (en) * 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US10002596B2 (en) * 2016-06-30 2018-06-19 Nokia Technologies Oy Intelligent crossfade with separated instrument tracks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US20080316307A1 (en) 2007-06-20 2008-12-25 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Automated method for temporal segmentation of a video into scenes with taking different types of transitions between frame sequences into account
US8855334B1 (en) 2009-05-21 2014-10-07 Funmobility, Inc. Mixed content for a communications device
US20150142147A1 (en) 2013-11-15 2015-05-21 Spring Moves Audio system for rhythm-based activity
US20150160916A1 (en) 2013-12-10 2015-06-11 Google Inc. Providing beat matching
US20170195700A1 (en) 2015-12-31 2017-07-06 Yahoo! Inc. Content-adaptive digital content adjustment method and system

Also Published As

Publication number Publication date
KR20230146096A (ko) 2023-10-18
US20180286458A1 (en) 2018-10-04
EP3603085A4 (en) 2021-01-27
CN110495180A (zh) 2019-11-22
KR20190119135A (ko) 2019-10-21
KR20210016080A (ko) 2021-02-10
KR20210090734A (ko) 2021-07-20
JP7271590B2 (ja) 2023-05-11
KR20220048056A (ko) 2022-04-19
KR102278304B1 (ko) 2021-07-19
US20240144973A1 (en) 2024-05-02
JP2020512786A (ja) 2020-04-23
EP3603085A1 (en) 2020-02-05
KR102386602B1 (ko) 2022-04-15
JP6858272B2 (ja) 2021-04-14
JP2023099568A (ja) 2023-07-13
JP2021101366A (ja) 2021-07-08
WO2018183845A1 (en) 2018-10-04
KR20210035918A (ko) 2021-04-01
KR102213628B1 (ko) 2021-02-09
US11915722B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
KR102233186B1 (ko) 오디오에 수반되는 비디오 프레젠테이션 생성
US20200366395A1 (en) Modifying playback of content using pre-processed profile information
US11157542B2 (en) Systems, methods and computer program products for associating media content having different modalities
US11636835B2 (en) Spoken words analyzer
US10037380B2 (en) Browsing videos via a segment list
US10762130B2 (en) Method and system for creating combined media and user-defined audio selection
US10341744B2 (en) System and method for controlling related video content based on domain specific language models
US20180139501A1 (en) Optimized delivery of sequential content by skipping redundant segments
US20230052033A1 (en) Systems and methods for recommending content using progress bars
JP5088119B2 (ja) データ生成装置、データ生成プログラムおよび情報処理装置
JP2008299411A (ja) マルチメディア再生機器
US20180322195A1 (en) Method for recommending musing in playlist and apparatus using the same
CN116932809A (zh) 一种音乐信息展示方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant