JP7457804B2 - ビデオ生成方法および装置、電子装置、およびコンピュータ読み取り可能媒体 - Google Patents
ビデオ生成方法および装置、電子装置、およびコンピュータ読み取り可能媒体 Download PDFInfo
- Publication number
- JP7457804B2 JP7457804B2 JP2022528542A JP2022528542A JP7457804B2 JP 7457804 B2 JP7457804 B2 JP 7457804B2 JP 2022528542 A JP2022528542 A JP 2022528542A JP 2022528542 A JP2022528542 A JP 2022528542A JP 7457804 B2 JP7457804 B2 JP 7457804B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- clip
- duration
- sequence
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 239000000463 material Substances 0.000 claims description 158
- 230000004044 response Effects 0.000 claims description 95
- 238000005457 optimization Methods 0.000 claims description 44
- 239000002131 composite material Substances 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本開示の実施形態は、コンピュータ技術の分野に関し、より詳細には、ビデオ生成方法、装置、電子装置、およびコンピュータ読み取り可能媒体に関する。
Claims (18)
- ビデオ生成方法であって:
第1のビデオセットおよびオーディオ素材を取得する段階であって、前記第1のビデオセットは、複数のビデオ素材を含む、段階と;
前記第1のビデオセットにおけるビデオ素材の数に応じて前記オーディオ素材の第1の音楽点を決定する段階であって、前記第1の音楽点は、前記オーディオ素材における、ビートが変化するまたはメロディーが変化する位置であり、前記第1の音楽点は、前記オーディオ素材を複数の第1の音楽クリップに分割するために使用され、第1の音楽点の数は前記第1のビデオセットにおける前記ビデオ素材の数より1少なく、前記第1の音楽クリップの数は、前記第1のビデオセットにおけるビデオ素材の数と同じである、段階と;
前記オーディオ素材における各第1の音楽クリップについて、前記第1のビデオセットにおける前記ビデオ素材のソート順に従って、それぞれ1つのビデオ素材を用いて、1つのビデオクリップを生成して、第1のビデオシーケンスを得る段階であって、前記第1のビデオセットにおける前記ビデオ素材のソート順は、ユーザーが前記ビデオ素材をアップロードする順序または前記ビデオ素材のランダムな順序であり、互いに対応する前記第1の音楽クリップと前記ビデオクリップは、同じ継続時間をもち、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第1の音楽クリップの継続時間より長い場合、前記第1の音楽クリップの継続時間に等しい継続時間をもつ前記ビデオクリップが前記ビデオ素材から切り出され、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第1の音楽クリップの継続時間より短い場合、前記ビデオ素材は継続時間を長くするよう可変速処理にかけられ、次いで前記可変速処理にかけられた前記ビデオ素材が前記第1の音楽クリップに対応する前記ビデオクリップとして使用され、こうして前記ビデオクリップの継続時間を前記第1の音楽クリップの継続時間と等しくする、段階と;
前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得る段階と;
前記第2のビデオシーケンス内のビデオクリップを接合して、前記オーディオ素材をビデオ・オーディオ・トラックとして加えて、コンポジット・ビデオを得る段階とを含む、
方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内のビデオクリップのソート順に対する調整操作を検出することに応答して、前記ビデオクリップの調整されたソート順に従って、前記第1のビデオセットにおけるビデオ素材のソート順を調整し、第2のビデオセットを得る段階であって、前記第1のビデオシーケンス内のビデオクリップのソート順は、前記第1のビデオセットにおける対応するビデオ素材のソート順と同じである、段階と;
前記第2のビデオセットにおけるビデオ素材のソート順に従って、前記オーディオ素材における各第1の音楽クリップについて、それぞれ1つのビデオ素材を用いて、1つのビデオクリップを生成し、前記第2のビデオシーケンスを得る段階であって、互いに対応する前記第1の音楽クリップと前記ビデオクリップは同じ継続時間をもつ、段階とを実行することを含む、
請求項1に記載の方法。 - 前記第1のビデオシーケンス内のビデオクリップのソート順に対する調整操作を検出することに応答して、前記ビデオクリップの調整されたソート順に従って、前記第1のビデオセットにおけるビデオ素材のソート順を調整し、第2のビデオセットを得ることは:
前記第1のビデオシーケンスの第1の提示インターフェースを表示し;
前記第1の提示インターフェースにおいて、前記第1のビデオシーケンスにおけるビデオクリップの識別子を第1のソート位置から第2のソート位置へ移動させる調整操作を検出することに応答して、前記ビデオクリップを第2のソート位置に移動させ、ビデオクリップの調整されたソート順を決定し;
前記第1のビデオセットにおけるビデオ素材のソート順を、前記諸ビデオクリップの調整されたソート順に従って調整して、第2のビデオセットを得ることを含む、
請求項2に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内の第1のビデオクリップに対する削除操作を検出することに応答して、前記第1のビデオセットから第1のビデオ素材を削除して、第3のビデオセットを得る段階であって、前記第1のビデオクリップは、前記第1のビデオ素材に基づいて生成される、段階と;
前記第3のビデオセットにおけるビデオ素材の数に従って前記オーディオ素材の第2の音楽点を決定する段階であって、前記第2の音楽点は、前記オーディオ素材における、ビートが変化するまたはメロディーが変化する位置であり、前記第2の音楽点は、前記オーディオ素材を複数の第2の音楽クリップに分割するために使用され、第2の音楽点の数は前記第3のビデオセットにおける前記ビデオ素材の数より1少なく、前記第2の音楽クリップの数は、前記第3のビデオセットにおけるビデオ素材の数と同じである、段階と;
前記第3のビデオセットにおけるビデオ素材のソート順に従って、前記オーディオ素材における各第2の音楽クリップについて、それぞれ1つのビデオ素材を使って1つのビデオクリップを生成して、前記第2のビデオシーケンスを得る段階であって、互いに対応する前記第2の音楽クリップと前記ビデオクリップは同じ継続時間をもつ、段階とを含み、
前記第3のビデオセットにおける前記ビデオ素材のソート順は、前記第1のビデオ素材が削除された後の前記第1のビデオセットにおける前記ビデオ素材のソート順と同じであり、
前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第2の音楽クリップの継続時間より長い場合、前記第2の音楽クリップの継続時間に等しい継続時間をもつ前記ビデオクリップが前記ビデオ素材から切り出され、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第2の音楽クリップの継続時間より短い場合、前記ビデオ素材は継続時間を長くするよう可変速処理にかけられ、次いで前記可変速処理にかけられた前記ビデオ素材が前記第2の音楽クリップに対応する前記ビデオクリップとして使用され、こうして前記ビデオクリップの継続時間を前記第2の音楽クリップの継続時間と等しくする、
請求項1ないし3のうちいずれか一項に記載の方法。 - 前記第1のビデオシーケンス内の第1のビデオクリップに対する削除操作を検出することに応答して、前記第1のビデオセットから第1のビデオ素材を削除することは:
前記第1のビデオシーケンスの第2の提示インターフェースを表示し;
前記第1のビデオシーケンスの第2の提示インターフェースにおいて前記第1のビデオシーケンス内の第1のビデオクリップに対する選択操作を検出することに応答して、前記第1のビデオ素材からの前記ビデオクリップを切り出すための第1のクリッピング操作インターフェースを表示し;
前記第1のクリッピング操作インターフェースにおける前記削除操作を検出することに応答して、前記第1のビデオ素材を削除することを含む、
請求項4に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内の前記ビデオクリップに対する追加操作を検出することに応答して、第2のビデオ素材を取得し、該第2のビデオ素材を前記第1のビデオセットに追加して第4のビデオセットを得る段階と;
前記第4のビデオセットにおけるビデオ素材の数に応じて、前記オーディオ素材の第3の音楽点を決定する段階であって、前記第3の音楽点は、前記オーディオ素材における、ビートが変化するまたはメロディーが変化する位置であり、前記第3の音楽点は、前記オーディオ素材を複数の第3の音楽クリップに分割するために使用され、第3の音楽点の数は前記第4のビデオセットにおける前記ビデオ素材の数より1少なく、前記第3の音楽クリップの数は、前記第4のビデオセットにおけるビデオ素材の数と同じである、段階と;
前記第4のビデオセットにおけるビデオ素材のソート順に応じて、前記オーディオ素材における各第3の音楽クリップについて、それぞれ1つのビデオ素材を用いて1つのビデオクリップを生成し、前記第2のビデオシーケンスを得る段階であって、互いに対応する前記第3の音楽クリップと前記ビデオクリップは同じ継続時間をもつ、段階とを含み、
前記第4のビデオセットにおける前記ビデオ素材のソート順は、前記第2のビデオ素材が追加された後の前記第1のビデオセットにおける前記ビデオ素材のソート順と同じであり、
前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第3の音楽クリップの継続時間より長い場合、前記第3の音楽クリップの継続時間に等しい継続時間をもつ前記ビデオクリップが前記ビデオ素材から切り出され、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第3の音楽クリップの継続時間より短い場合、前記ビデオ素材は継続時間を長くするよう可変速処理にかけられ、次いで前記可変速処理にかけられた前記ビデオ素材が前記第3の音楽クリップに対応する前記ビデオクリップとして使用され、こうして前記ビデオクリップの継続時間を前記第3の音楽クリップの継続時間と等しくする、
請求項1ないし5のうちいずれか一項に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する追加操作を検出することに応答して、第2のビデオ素材を取得し、該第2のビデオ素材を前記第1のビデオセットに追加して第4のビデオセットを得ることは:
前記第1のビデオシーケンスの第3の提示インターフェースを表示し;
第3の提示インターフェースにおける前記第1のビデオシーケンス内の前記ビデオクリップに対する前記追加操作を検出することに応答して、前記ビデオ素材のブラウズ・インターフェースを表示し;
前記ブラウズ・インターフェースにおける前記第2のビデオ素材に対する選択操作を検出することに応答して、前記第2のビデオ素材を取得し、該第2のビデオ素材を前記第1のビデオセットに追加して、前記第4のビデオセットを得ることを含む、
請求項6に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップは、前記第1のビデオセットにおける前記ビデオ素材から、プリセット開始点位置においてクロップされる、請求項1ないし7のうちいずれか一項に記載の方法。
- 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内の第2のビデオクリップに対する自動最適化操作を検出することに応答して、前記第2のビデオクリップに対応する音楽クリップについての異なる開始点位置からの複数の初期ビデオクリップを、第3のビデオ素材を用いてクロップする段階であって、前記第2のビデオクリップに対応する前記音楽クリップは、前記初期ビデオクリップのそれぞれと同じ継続時間をもち、前記第2のビデオクリップは前記第3のビデオ素材に基づいて生成されており、前記第3のビデオ素材の継続時間が前記第3のビデオ素材に対応する前記第2のビデオクリップに対応する前記音楽クリップの継続時間より長い場合、前記第2のビデオクリップに対応する音楽クリップの継続時間に等しい継続時間をもつ前記初期ビデオクリップが前記第3のビデオ素材から切り出され、前記第3のビデオ素材の継続時間が前記第3のビデオ素材に対応する前記第2のビデオクリップに対応する音楽クリップの継続時間より短い場合、前記第3のビデオ素材は継続時間を長くするよう可変速処理にかけられ、次いで前記可変速処理にかけられた前記第3のビデオ素材が前記第2のビデオクリップに対応する音楽クリップに対応する前記初期ビデオクリップとして使用され、こうして前記第2のビデオクリップの継続時間を前記初期ビデオクリップの継続時間と等しくする、段階と;
それぞれ前記複数の初期ビデオクリップに対してフレーム抽出を実行し、フレーム抽出によって得られた画像に基づいて前記複数の初期ビデオクリップの品質を解析する段階と;
前記複数の初期ビデオクリップのうちから最高の品質をもつ第3のビデオクリップを選択する段階と;
前記第1のビデオシーケンスにおいて前記第2のビデオクリップを前記第3のビデオクリップで置き換えて、前記第2のビデオシーケンスを得る段階とを含む、
請求項8に記載の方法。 - 前記第1のビデオシーケンス内の前記第2のビデオクリップに対する自動最適化操作を検出することに応答して、前記第2のビデオクリップに対応する前記音楽クリップについての異なる開始点位置からの複数の初期ビデオクリップを、前記第3のビデオ素材を用いてクロップすることは:
前記第1のビデオシーケンス内の前記第2のビデオクリップの第4の提示インターフェースを表示する段階であって、前記第4の提示インターフェースは、自動最適化コントロールを含み、前記自動最適化コントロールは、自動最適化をトリガーするために使用される、段階と;
前記第4の提示インターフェースにおける前記自動最適化コントロールに対する自動最適化操作を検出することに応答して、前記第3のビデオ素材を使用することによって、前記第2のビデオクリップに対応する音楽クリップについての異なる開始点位置からの複数の初期ビデオクリップをクロップする段階とを含む、
請求項9に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内の第4のビデオクリップに対する手動最適化操作を検出することに応答して、第4のビデオ素材における前記手動最適化操作によって選択されたクロッピング区間を決定し;
前記クロッピング区間に従って、前記第4のビデオ素材から第5のビデオクリップをクロップし;
前記第1のビデオシーケンスにおいて前記第4のビデオクリップを前記第5のビデオクリップで置き換えて、前記第2のビデオシーケンスを得ることを含む、
請求項8に記載の方法。 - 前記第1のビデオシーケンス内の第4のビデオクリップに対する手動最適化操作を検出することに応答して、前記第4のビデオ素材における前記手動最適化操作によって選択されたクロッピング区間を決定することは:
前記第1のビデオシーケンスの第5の提示インターフェースを表示し;
前記第5の提示インターフェースにおける前記第4のビデオクリップに対する選択操作を検出することに応答して、前記第4のビデオ素材からビデオクリップを切り出すための第2のクリッピング操作インターフェースを表示し;
前記第2のクリッピング操作インターフェースにおける切り出し区間に対する前記選択操作を検出することに応答して、前記第4のビデオ素材において選択されたクロッピング区間を決定することを含む、
請求項11に記載の方法。 - 前記第1のビデオシーケンス内の前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンス内の前記ビデオクリップを調整して第2のビデオシーケンスを得ることは:
前記第1のビデオシーケンス内の第6のビデオクリップに対する回転操作を検出することに応答して、前記第6のビデオクリップを回転させて第7のビデオクリップを得て;
前記第1のビデオシーケンスにおいて前記第6のビデオクリップを前記第7のビデオクリップで置き換えて、前記第2のビデオシーケンスを得ることを含む、
請求項1ないし12のうちいずれか一項に記載の方法。 - 前記第1のビデオシーケンス内の第6のビデオクリップに対する回転操作を検出することに応答して、前記第6のビデオクリップを回転させて第7のビデオクリップを得ることは:
前記第1のビデオシーケンスの第6の提示インターフェースを表示し;
前記第6の提示インターフェースにおいて第6のビデオクリップに対する選択操作を検出することに応答して、前記第6のビデオクリップの回転操作インターフェースを表示し;
前記回転操作インターフェースにおいて前記第6のビデオクリップに対する前記回転操作を検出することに応答して、前記第6のビデオクリップを回転させて、前記第7のビデオクリップを得ることを含む、
請求項13に記載の方法。 - ビデオを生成するための装置であって:
複数のビデオ素材を含む第1のビデオセットおよびオーディオ素材を取得するよう構成された取得ユニットと;
前記第1のビデオセットにおける前記ビデオ素材の数に応じて、前記オーディオ素材の第1の音楽点を決定するよう構成された決定ユニットであって、前記第1の音楽点は、前記オーディオ素材における、ビートが変化するまたはメロディーが変化する位置であり、前記第1の音楽点は、前記オーディオ素材を複数の第1の音楽クリップに分割するために使用され、第1の音楽点の数は前記第1のビデオセットにおける前記ビデオ素材の数より1少なく、前記第1の音楽クリップの数は、前記第1のビデオセットにおける前記ビデオ素材の数と同じである、決定ユニットと;
前記オーディオ素材における各第1の音楽クリップについて、前記第1のビデオセットにおける前記ビデオ素材のソート順に従って、それぞれ1つのビデオ素材を使用して、1つのビデオクリップを生成して、第1のビデオシーケンスを得るように構成された生成ユニットであって、前記第1のビデオセットにおける前記ビデオ素材のソート順は、ユーザーが前記ビデオ素材をアップロードする順序または前記ビデオ素材のランダムな順序であり、互いに対応する前記第1の音楽クリップおよび前記ビデオクリップは同じ継続時間をもち、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第1の音楽クリップの継続時間より長い場合、前記第1の音楽クリップの継続時間に等しい継続時間をもつ前記ビデオクリップが前記ビデオ素材から切り出され、前記ビデオ素材の継続時間が前記ビデオ素材に対応する前記第1の音楽クリップの継続時間より短い場合、前記ビデオ素材は継続時間を長くするよう可変速処理にかけられ、次いで前記可変速処理にかけられた前記ビデオ素材が前記第1の音楽クリップに対応する前記ビデオクリップとして使用され、こうして前記ビデオクリップの継続時間を前記第1の音楽クリップの継続時間と等しくする、生成ユニットと;
前記第1のビデオシーケンスにおける前記ビデオクリップに対する編集操作を検出することに応答して、前記第1のビデオシーケンスにおける前記ビデオクリップを調整して、第2のビデオシーケンスを得るように構成された調整ユニットと;
前記第2のビデオシーケンスにおけるビデオクリップを接合し、前記オーディオ素材をビデオ・オーディオ・トラックとして追加してコンポジット・ビデオを得るように構成された接合ユニットとを有する、
装置。 - 一つまたは複数のプロセッサと;
一つまたは複数のプログラムが記憶されている記憶装置とを有する電子装置であって、
前記一つまたは複数のプログラムが前記一つまたは複数のプロセッサによって実行されると、前記一つまたは複数のプロセッサは、請求項1ないし14のうちいずれか一項に記載される方法を実行する、
電子装置。 - コンピュータ・プログラムが記憶されているコンピュータ読み取り可能な媒体であって、前記プログラムは、プロセッサによって実行されると、請求項1ないし14のうちいずれか一項に記載の方法を実装する、媒体。
- プログラムコードを含むコンピュータ・プログラムであって、コンピュータが前記コンピュータ・プログラムを実行すると、前記プログラムコードは、請求項1ないし14のうちいずれか一項に記載の方法を実行する、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911129727.9A CN112822541B (zh) | 2019-11-18 | 2019-11-18 | 视频生成方法、装置、电子设备和计算机可读介质 |
CN201911129727.9 | 2019-11-18 | ||
PCT/CN2020/129284 WO2021098670A1 (zh) | 2019-11-18 | 2020-11-17 | 视频生成方法、装置、电子设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023501813A JP2023501813A (ja) | 2023-01-19 |
JP7457804B2 true JP7457804B2 (ja) | 2024-03-28 |
Family
ID=75852677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022528542A Active JP7457804B2 (ja) | 2019-11-18 | 2020-11-17 | ビデオ生成方法および装置、電子装置、およびコンピュータ読み取り可能媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11636879B2 (ja) |
EP (1) | EP4047943A4 (ja) |
JP (1) | JP7457804B2 (ja) |
KR (1) | KR20220103112A (ja) |
CN (1) | CN112822541B (ja) |
BR (1) | BR112022009608A2 (ja) |
WO (1) | WO2021098670A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473204B (zh) * | 2021-05-31 | 2023-10-13 | 北京达佳互联信息技术有限公司 | 一种信息展示方法、装置、电子设备及存储介质 |
CN113613067B (zh) * | 2021-08-03 | 2023-08-22 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
CN113676671B (zh) * | 2021-09-27 | 2023-06-23 | 北京达佳互联信息技术有限公司 | 视频剪辑方法、装置、电子设备及存储介质 |
CN113891113B (zh) * | 2021-09-29 | 2024-03-12 | 阿里巴巴(中国)有限公司 | 视频剪辑合成方法及电子设备 |
CN115065840A (zh) * | 2022-06-07 | 2022-09-16 | 北京达佳互联信息技术有限公司 | 一种信息处理方法、装置、电子设备及存储介质 |
CN118573937A (zh) * | 2023-02-28 | 2024-08-30 | 脸萌有限公司 | 视频编辑方法、装置和计算机可读存储介质 |
CN116506694B (zh) * | 2023-06-26 | 2023-10-27 | 北京达佳互联信息技术有限公司 | 视频剪辑方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259302A (ja) | 2002-02-28 | 2003-09-12 | Fuji Xerox Co Ltd | 音楽ビデオ自動的制作のための、方法、情報が記憶されている情報記憶媒体を含む製品およびプログラム |
JP2005268991A (ja) | 2004-03-17 | 2005-09-29 | Seiko Epson Corp | 画像処理装置、画像処理方法およびそのプログラム、記録媒体 |
JP2007066399A (ja) | 2005-08-30 | 2007-03-15 | Ricoh Co Ltd | 映像音声編集システム |
JP2007248895A (ja) | 2006-03-16 | 2007-09-27 | Sony Corp | メタデータ付与方法及び装置 |
WO2008024486A2 (en) | 2006-08-24 | 2008-02-28 | Fliptrack, Inc. | Beat and text based editing and composing systems and methods |
US20130163963A1 (en) | 2011-12-21 | 2013-06-27 | Cory Crosland | System and method for generating music videos from synchronized user-video recorded content |
US20180286458A1 (en) | 2017-03-30 | 2018-10-04 | Gracenote, Inc. | Generating a video presentation to accompany audio |
US20180295427A1 (en) | 2017-04-07 | 2018-10-11 | David Leiberman | Systems and methods for creating composite videos |
CN109257545A (zh) | 2018-08-27 | 2019-01-22 | 咪咕文化科技有限公司 | 一种多源视频剪辑方法、装置及存储介质 |
CN109275028A (zh) | 2018-09-30 | 2019-01-25 | 北京微播视界科技有限公司 | 视频获取方法、装置、终端和介质 |
CN110233976A (zh) | 2019-06-21 | 2019-09-13 | 广州酷狗计算机科技有限公司 | 视频合成的方法及装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3325809B2 (ja) * | 1997-08-15 | 2002-09-17 | 日本電信電話株式会社 | 映像制作方法及び装置及びこの方法を記録した記録媒体 |
US7512886B1 (en) * | 2004-04-15 | 2009-03-31 | Magix Ag | System and method of automatically aligning video scenes with an audio track |
US7877690B2 (en) * | 2006-09-20 | 2011-01-25 | Adobe Systems Incorporated | Media system with integrated clip views |
US7569761B1 (en) * | 2007-09-21 | 2009-08-04 | Adobe Systems Inc. | Video editing matched to musical beats |
US8737815B2 (en) * | 2009-01-23 | 2014-05-27 | The Talk Market, Inc. | Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of personal and professional videos |
US20110142420A1 (en) * | 2009-01-23 | 2011-06-16 | Matthew Benjamin Singer | Computer device, method, and graphical user interface for automating the digital tranformation, enhancement, and editing of personal and professional videos |
US20120195573A1 (en) * | 2011-01-28 | 2012-08-02 | Apple Inc. | Video Defect Replacement |
US20150058709A1 (en) * | 2012-01-26 | 2015-02-26 | Michael Edward Zaletel | Method of creating a media composition and apparatus therefore |
US20140355960A1 (en) * | 2013-05-31 | 2014-12-04 | Microsoft Corporation | Touch optimized design for video editing |
KR101477486B1 (ko) * | 2013-07-24 | 2014-12-30 | (주) 프람트 | 동영상 재생 및 편집을 위한 사용자 인터페이스 장치 및 그 방법 |
CN105530440B (zh) * | 2014-09-29 | 2019-06-07 | 北京金山安全软件有限公司 | 一种视频的制作方法及装置 |
CN105933773A (zh) | 2016-05-12 | 2016-09-07 | 青岛海信传媒网络技术有限公司 | 视频编辑方法及系统 |
CN105959579B (zh) * | 2016-07-18 | 2020-04-17 | 杭州当虹科技股份有限公司 | 一种360度全景视频局部内容更换装置 |
CN106992004B (zh) | 2017-03-06 | 2020-06-26 | 华为技术有限公司 | 一种调整视频的方法及终端 |
CN107770626B (zh) * | 2017-11-06 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 视频素材的处理方法、视频合成方法、装置及存储介质 |
AU2018271424A1 (en) * | 2017-12-13 | 2019-06-27 | Playable Pty Ltd | System and Method for Algorithmic Editing of Video Content |
CN108419035A (zh) * | 2018-02-28 | 2018-08-17 | 北京小米移动软件有限公司 | 图片视频的合成方法及装置 |
CN109168084B (zh) * | 2018-10-24 | 2021-04-23 | 麒麟合盛网络技术股份有限公司 | 一种视频剪辑的方法和装置 |
CN109379643B (zh) * | 2018-11-21 | 2020-06-09 | 北京达佳互联信息技术有限公司 | 视频合成方法、装置、终端及存储介质 |
CN109660867A (zh) | 2019-01-09 | 2019-04-19 | 深圳慧聚智能科技有限公司 | 一种动态视频调整方法及其设备 |
CN110278388B (zh) * | 2019-06-19 | 2022-02-22 | 北京字节跳动网络技术有限公司 | 展示视频的生成方法、装置、设备及存储介质 |
CN110265057B (zh) * | 2019-07-10 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 生成多媒体的方法及装置、电子设备、存储介质 |
CN110336960B (zh) * | 2019-07-17 | 2021-12-10 | 广州酷狗计算机科技有限公司 | 视频合成的方法、装置、终端及存储介质 |
CN110769309B (zh) * | 2019-11-04 | 2023-03-31 | 北京字节跳动网络技术有限公司 | 用于展示音乐点的方法、装置、电子设备和介质 |
-
2019
- 2019-11-18 CN CN201911129727.9A patent/CN112822541B/zh active Active
-
2020
- 2020-11-17 JP JP2022528542A patent/JP7457804B2/ja active Active
- 2020-11-17 WO PCT/CN2020/129284 patent/WO2021098670A1/zh unknown
- 2020-11-17 KR KR1020227016781A patent/KR20220103112A/ko not_active Application Discontinuation
- 2020-11-17 EP EP20889011.1A patent/EP4047943A4/en active Pending
- 2020-11-17 BR BR112022009608A patent/BR112022009608A2/pt unknown
-
2022
- 2022-05-14 US US17/744,671 patent/US11636879B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259302A (ja) | 2002-02-28 | 2003-09-12 | Fuji Xerox Co Ltd | 音楽ビデオ自動的制作のための、方法、情報が記憶されている情報記憶媒体を含む製品およびプログラム |
JP2005268991A (ja) | 2004-03-17 | 2005-09-29 | Seiko Epson Corp | 画像処理装置、画像処理方法およびそのプログラム、記録媒体 |
JP2007066399A (ja) | 2005-08-30 | 2007-03-15 | Ricoh Co Ltd | 映像音声編集システム |
JP2007248895A (ja) | 2006-03-16 | 2007-09-27 | Sony Corp | メタデータ付与方法及び装置 |
WO2008024486A2 (en) | 2006-08-24 | 2008-02-28 | Fliptrack, Inc. | Beat and text based editing and composing systems and methods |
US20130163963A1 (en) | 2011-12-21 | 2013-06-27 | Cory Crosland | System and method for generating music videos from synchronized user-video recorded content |
US20180286458A1 (en) | 2017-03-30 | 2018-10-04 | Gracenote, Inc. | Generating a video presentation to accompany audio |
US20180295427A1 (en) | 2017-04-07 | 2018-10-11 | David Leiberman | Systems and methods for creating composite videos |
CN109257545A (zh) | 2018-08-27 | 2019-01-22 | 咪咕文化科技有限公司 | 一种多源视频剪辑方法、装置及存储介质 |
CN109275028A (zh) | 2018-09-30 | 2019-01-25 | 北京微播视界科技有限公司 | 视频获取方法、装置、终端和介质 |
CN110233976A (zh) | 2019-06-21 | 2019-09-13 | 广州酷狗计算机科技有限公司 | 视频合成的方法及装置 |
Non-Patent Citations (1)
Title |
---|
[自作]PV・MVの作り方[プロモーション・ミュージックビデオ],AviUtlの使い方,2018年02月17日,インターネット <https://aviutl.info/pv-mv/> |
Also Published As
Publication number | Publication date |
---|---|
EP4047943A4 (en) | 2022-11-30 |
JP2023501813A (ja) | 2023-01-19 |
EP4047943A1 (en) | 2022-08-24 |
US11636879B2 (en) | 2023-04-25 |
US20220277775A1 (en) | 2022-09-01 |
BR112022009608A2 (pt) | 2022-08-16 |
CN112822541B (zh) | 2022-05-20 |
WO2021098670A1 (zh) | 2021-05-27 |
KR20220103112A (ko) | 2022-07-21 |
CN112822541A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7457804B2 (ja) | ビデオ生成方法および装置、電子装置、およびコンピュータ読み取り可能媒体 | |
US11887630B2 (en) | Multimedia data processing method, multimedia data generation method, and related device | |
JP7503629B2 (ja) | ビデオを生成する方法および装置、電子デバイス、ならびにコンピュータ読取可能媒体 | |
JP7387891B2 (ja) | 動画ファイルの生成方法、装置、端末及び記憶媒体 | |
US20240107127A1 (en) | Video display method and apparatus, video processing method, apparatus, and system, device, and medium | |
KR102028198B1 (ko) | 동영상 장면과 메타데이터 저작 방법 | |
CN113365134B (zh) | 音频分享方法、装置、设备及介质 | |
US10818058B1 (en) | Analyzing digital image modifications to generate, publish, and present digital image-editing tutorials | |
US11710510B2 (en) | Video generation method and apparatus, electronic device, and computer readable medium | |
US12026362B2 (en) | Video editing application for mobile devices | |
JP2022538702A (ja) | 音声パケット推薦方法、装置、電子機器およびプログラム | |
WO2023142917A1 (zh) | 一种视频生成方法、装置、设备、介质及产品 | |
US20200142572A1 (en) | Generating interactive, digital data narrative animations by dynamically analyzing underlying linked datasets | |
CN110781349A (zh) | 用于短视频生成的方法、设备、客户端装置及电子设备 | |
JP2023538943A (ja) | オーディオデータの処理方法、装置、機器及び記憶媒体 | |
WO2024160128A1 (zh) | 用于生成视频模板的方法、装置和电子设备 | |
KR20240132247A (ko) | 상호 작용 방법, 시스템 및 전자 장치 | |
WO2023273692A1 (zh) | 信息回复方法、装置、电子设备、计算机存储介质和产品 | |
KR102353797B1 (ko) | 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템 | |
WO2024061360A1 (zh) | 文本素材获取方法、装置、设备、介质和程序产品 | |
CN113711575B (zh) | 用于基于表现即时组装视频剪辑的系统和方法 | |
US7610554B2 (en) | Template-based multimedia capturing | |
US11503148B2 (en) | Asynchronous short video communication platform based on animated still images and audio | |
WO2023207981A1 (zh) | 配置文件生成方法、装置、电子设备、介质及程序产品 | |
US12051445B1 (en) | Method and apparatus of video editing, and electronic device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7457804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |