JP7508552B2 - 音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体 - Google Patents

音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体 Download PDF

Info

Publication number
JP7508552B2
JP7508552B2 JP2022525690A JP2022525690A JP7508552B2 JP 7508552 B2 JP7508552 B2 JP 7508552B2 JP 2022525690 A JP2022525690 A JP 2022525690A JP 2022525690 A JP2022525690 A JP 2022525690A JP 7508552 B2 JP7508552 B2 JP 7508552B2
Authority
JP
Japan
Prior art keywords
video
audio
points
musical
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022525690A
Other languages
English (en)
Other versions
JP2022554338A (ja
Inventor
ワン,ヤン
リュウ,シュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022554338A publication Critical patent/JP2022554338A/ja
Application granted granted Critical
Publication of JP7508552B2 publication Critical patent/JP7508552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本出願は、2019年11月4日に願された国特許出願第201911067475.1号に基づく優先権を主張する2020年11月3日に提出された国際特許出願番号PCT/CN2020/126261に基づくものである。前述の出願の全ては、その全体が参照により本明細書に組み込まれる。
技術分野
本開示は、コンピュータ技術の分野に関し、より詳細には、音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体に関する。
マルチメディア技術の発達に伴い、音楽処理アプリケーションが次々と登場し、ユーザの音楽処理アプリケーションに対する要求も日々増加している。現在、ほとんどの音楽処理アプリケーションは、ユーザに音楽の中の音楽点をマーキングすることを要求しているが、ほとんどのユーザは、たとえユーザが音楽点を聞くことができたとしても、多くの時間を要し、音楽点を聞くことができない。
本開示の目的は、音楽点、電子デバイス、及び媒体を表示する方法及び装置を提供して、前述の背景セクションで述べたような技術的問題を解決することである。
第1の態様では、本開示は、音楽点(music points)を表示するための方法を開示しており、この方法は、オーディオ素材を取得するステップと、オーディオ素材中の初期音楽点を分析するステップと、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップと、を含む。初期音楽点は、オーディオ素材中のビート点及び/又はスタート点を備え、ターゲット音楽点は初期音楽点のうちの一部又は全部である。
いくつかの実施形態では、方法はさらに、ビデオクリッピングのためのビデオ素材を取得するステップと、上記のターゲット音楽点から整列された音楽点を決定するステップと、上記の操作インタフェース上の第1ユーザ操作を検出することに応答して、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップと、クリップタイムライン上の上記のオーディオ素材の位置及び上記のオーディオ素材中の上記のビデオクリップに対応するオーディオクリップの位置にしたがって、上記のクリップタイムライン上の上記のビデオクリップを表示するステップと、を含む。ビデオ素材は、以下のアイテムのうちの少なくとも1つを含む:画像素材及びビデオ素材。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。相互に対応するオーディオクリップ及びビデオクリップは、同じ継続時間又は期間(duration)を有する。
いくつかの実施形態では、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、上記のビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するステップと、を含む。
いくつかの実施形態では、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するステップは、ビデオ素材数にしたがってビデオ素材数に対応するオーディオクリップ数を決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するステップと、ハイからローまでの音楽点の優先度の順序及び/又はオーディオ素材中に出現する音楽点の瞬間の順序(the order of moments of the music points appearing in the audio material)にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第1ターゲット数を選択するステップと、を含む。一次ストレスビート点の優先度は二次ストレスビート点の優先度より高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。
いくつかの実施形態では、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第2ターゲット数を決定するステップを含む。第2ターゲット数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。
いくつかの実施形態では、ビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定するステップと、ビデオ素材を使用することによって前記オーディオクリップに対して1つのビデオクリップを生成するステップと、を含む。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。
いくつかの実施形態では、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、上記のビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、上記のビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップ、を含む。
いくつかの実施形態では、上記の方法はさらに、操作インタフェース中の第1ビデオクリップ上の第2ユーザ操作を検出することに応答して、第1ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示するステップと、決定すること、ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、クリッピング間隔にしたがって、第2ビデオクリップとしてビデオ素材から素材をクリッピングするステップと、を含む。
いくつかの実施形態では、オーディオ素材中の初期音楽点を分析するステップは、音楽表示インタフェースの操作インタフェース上の第1制御部への第3ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定するステップと、音楽表示インタフェース上の第2制御部への第4ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定するステップと、音楽表示インタフェース上の第3制御部への第5ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定するステップと、を含む。音楽表示インタフェースは操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して表示される。
いくつかの実施形態では、上記の方法はさらに、操作インタフェース上の第3ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するステップを含む。第3ユーザ操作は、以下のアイテムのうちの少なくとも1つを含む:音楽点の追加操作(add operation)及び音楽点の削除操作(delete operation)。
いくつかの実施形態では、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップは、クリップタイムライン上でオーディオ素材のオーディオ波形を表示するステップと、オーディオ波形の対応する位置内の前記ターゲット音楽点の識別子を表示するステップと、を含む。
第2の態様において、本開示のいくつかの実施形態は、音楽点を表示する装置を提供し、装置は、取得ユニットと、分析ユニットと、表示ユニットと、を備える。取得ユニットは、オーディオ素材を取得するように構成されている。分析ユニットは、オーディオ素材中の初期音楽点を分析するように構成されている。初期音楽点は、オーディオ素材中のビート点及び/又はスタート点を含む。表示ユニットは、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するように構成されている。ターゲット音楽点は前記初期音楽点のうちの一部又は全部である。
いくつかの実施形態では、上記の装置はさらに、第1取得ユニットと、決定ユニットと、生成ユニットと、第1表示ユニットと、を備える。第1取得ユニットは、ビデオクリッピングのためのビデオ素材を取得するように構成されている。ビデオ素材は以下のアイテムのうちの少なくとも1つを含む:画像素材及びビデオ素材。決定ユニットは、上記のターゲット音楽点から整列された音楽点を決定するように構成されている。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。生成ユニットは、操作インタフェース上の第1ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ように構成されている。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する、ステップと、第1表示ユニットは、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するように構成されている。
いくつかの実施形態では、装置の決定ユニットはさらに第1決定サブユニットと、第2の決定ユニットと、を備える。第1決定サブユニットは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するように構成されている。第2決定ユニットは、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するように構成されている。
いくつかの実施形態では、上記の装置の決定ユニットの第2の決定ユニットはさらに、ビデオ素材数にしたがって上記のビデオ素材数に対応するオーディオクリップ数を決定し、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定し、ハイからローまでの音楽点の優先度の順序及び/又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第1ターゲット数を選択する、ように構成されている。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。
いくつかの実施形態では、上記の装置の決定ユニットはさらに、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第1数を決定するように構成されている。第1数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。
いくつかの実施形態では、装置の生成ユニットはさらに、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定し、ビデオ素材を使用することによってオーディオクリップに対して1つのビデオクリップを生成する、ように構成されている。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。
いくつかの実施形態では、装置の生成ユニットはさらに、ビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、ビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ように構成されている。
いくつかの実施形態では、装置はさらに、操作インタフェース中の第1ビデオクリップ上の第2ユーザ操作を検出することに応答して、第1ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示し、ビデオ素材の調整インタフェース上のビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定し、クリッピング間隔にしたがって、第2ビデオクリップとしてビデオ素材から素材をクリッピングする、ように構成されている。
いくつかの実施形態では、装置の分析ユニットはさらに、操作インタフェース上の第1制御部への第3ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定し、操作インタフェース上の第2制御部への第4ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定し、操作インタフェース上の第3制御部への第5ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する、ように構成されている。
いくつかの実施形態では、上記の装置はさらに、操作インタフェース上の第3ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するように構成されている。第3ユーザ操作は、以下のアイテムのうちの少なくとも1つを含む:音楽点の追加操作及び音楽点の削除操作。
いくつかの実施形態では、装置の表示ユニットはさらに、クリップタイムライン上でオーディオ素材のオーディオ波形を表示し、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示する、ように構成されている。
第3態様では、本開示のいくつかの実施形態は、電子デバイスを提供し、電子デバイスは、1つ以上のプロセッサと、1つ以上のプログラムが保存された保存装置と、を備える。1つ以上のプログラムは、1つ以上のプロセッサによって実行されるときに、1つ以上のプロセッサに第1態様による方法のいずれかを実行させる。
第4態様では、本開示のいくつかの実施形態は、コンピュータプログラムが保存されたコンピュータ可読媒体を提供する。プログラムは、プロセッサによって実行されると、第1態様による方法のいずれかを実行する。
第5態様では、本開示のいくつかの実施形態は、プログラムコードを含むコンピュータプログラムを提供する。コンピュータがコンピュータプログラムを実行するときに、プログラムコードは第1態様による方法のいずれかを実行する。
本開示の上述の各実施形態の一実施形態は、オーディオ素材のビート及びメロディを分析することによって、音楽点を決定し、クリップタイムライン上に同じ音楽点を表示して、ユーザがオーディオ素材上の音楽点に自身でマーキングしなくてもよくなる。そうすると、ユーザは、マーキングされた音楽点にしたがってビデオクリッピング操作を実行することができ、例えば、表示された音楽点にしたがってビデオクリップのスイッチング点を選択することができる。従って、ユーザ操作はより便利であり、ツールの柔軟性も保証される。
図1は、本開示のいくつかの実施形態による音楽点を表示する方法のアプリケーションシナリオの概略図である。 図2Aは、本開示による音楽点を表示する方法のいくつかの実施形態のフローチャートである。 図2Bは、本開示のいくつかの実施形態による制御部を表示するためのいくつかのアプリケーションシナリオの概略図である。 図2Cは、本開示のいくつかの実施形態による音楽点を表示するためのいくつかのアプリケーションシナリオの概略図である。 図3A及び図3Bは、本開示のいくつかの実施形態による音楽点を表示する方法の他のアプリケーションシナリオの概略図である。 図3A及び図3Bは、本開示のいくつかの実施形態による音楽点を表示する方法の他のアプリケーションシナリオの概略図である。 図4Aは、本開示による音楽点を表示する方法のいくつかの他の実施形態のフローチャートである。 図4B及び図4Cは、本開示のいくつかの実施形態によるビデオクリップを調整するためのいくつかのアプリケーションシナリオの概略図である。 図4B及び図4Cは、本開示のいくつかの実施形態によるビデオクリップを調整するためのいくつかのアプリケーションシナリオの概略図である。 図5は、本開示による音楽点を表示するための装置のいくつかの実施形態の概略構造図である。 図6は、本開示のいくつかの実施形態を実施するのに適した電子デバイスの構造的な概略図である。
本開示の実施形態は、添付の図面を参照して、以下により詳細に説明される。本開示の特定の実施形態が図面に示されているが、本開示は、様々な形態で実施することができ、本明細書に記載された実施形態に限定されるものと解釈されるべきではないことは理解されるべきである。むしろ、これらの実施形態は、本開示の全体的かつ完全な理解のために提供される。本開示の図面及び実施形態は、例示的な目的のためのものに過ぎず、本開示の保護範囲を制限することを意図するものではないことを理解されたい。
なお、図面には、説明の便宜上、当該発明に係る部分のみを示していることに留意する。本開示の実施形態及び実施形態の特徴は、矛盾することなく互いに組み合わされ得る。
なお、本開示で言及した「第1の」及び「第2の」のような概念は、異なる装置、モジュール又はユニットを区別するためにのみ使用され、これらの装置、モジュール又はユニットによって実行される機能の順序又はそれらの相互依存性を制限するために使用されるものではない。
本開示において言及されているような「1つの(a)」及び「複数(a plurality)」の修飾は、限定的ではなく例示的なものであり、文脈において別段の明確な指示がない限り、それらは「1つ以上」として理解されるべきであることを、当業者が理解すべきであることに留意されたい。
本開示の実施形態に従った複数の装置間で交換されるメッセージ又は情報の名称は、例示的な目的のためのものに過ぎず、これらのメッセージ又は情報の保護範囲を制限するものではない。
本開示は、添付の図面を参照し、実施形態に関連して、以下に詳細に説明される。
図1は、本開示のいくつかの実施形態による音楽点を表示する方法のアプリケーションシナリオの概略図である。図1のアプリケーションシナリオに示すように、まず、端末デバイス101(図1では携帯電話として図示されている)は、オーディオ素材1011を取得する。オーディオ素材1011は、アプリケーションデフォルトのオーディオであってもよく、ユーザが選択するオーディオであってもよい。端末デバイス101は、オーディオ素材1011を分析し、オーディオ素材1011内の初期音楽点1012~1014を得る。端末デバイス101は、音楽点1012に対する対応する音楽点識別子10121を生成する。端末デバイス101は、音楽点1013に対する対応する音楽点識別子10131を生成する。端末デバイス101は、音楽点1014に対する対応する音楽点識別子10141を生成する。端末デバイス101は、ビデオクリッピングのために、操作インタフェース103上のオーディオ素材1011のクリップタイムライン102に、音楽点識別子10121、音楽点識別子10131、及び音楽点識別子10141を表示する。
音楽点を表示する方法は、端末デバイス101によって実行されてもよく、又は他のデバイスによって実行されてもよく、又は種々のソフトウェアプログラムによって実行されてもよいことが理解されよう。端末デバイス101は、例えば、スマートフォン、タブレットパーソナルコンピュータ、電子書籍リーダ、ラップトップ、デスクトップ等を含むが、これらに限定されない、表示画面を有する種々の電子デバイスであってもよい。さらに、実行体は、サーバ、ソフトウェアなどとして具体化することもできる。なお、実行体がソフトウェアの場合、上記の電子デバイスに搭載してもよい。これは、例えば、分散サービスを供給するための複数のソフトウェア又はソフトウェアモジュールとして実装されてもよく、又は、本明細書では特に限定されない単一個のソフトウェア又はソフトウェアモジュールとして実装されてもよい。
図1におけるスマートフォンの数は、単に例示的なものであることを理解されたい。実装のニーズに応じて、任意の数のスマートフォンが存在する可能性がある。
ビデオクリッピングのプロセスにおいて、ユーザはビデオクリップ間の切り替え点を決定する必要があり、音楽をビデオと協調させるために、通常、ビート点及びメロディ点等の音楽点をビデオクリップの切り替え点として使用することができる。これは、ユーザが音楽点を見つけるために、ユーザ自身が音楽を聴くことを必要とする。しかしながら、多くのユーザが音楽点を自ら聴くことは困難であり、音楽点を聴くことができたとしても、音楽点を探すために音楽を繰り返し聴くことは非常に時間と労力がかかる。ビデオクリッピングの速度を改善し、ユーザの時間を節約するために、図2Aを参照されたい。図2Aは、本開示による音楽点を表示する方法のいくつかの実施形態のフロー200を示す。音楽点の表示方法には、以下のステップが含まれる:
ステップ201:オーディオ素材を取得する。
いくつかの実施形態では、、音楽点を表示する方法の実行体(例えば、図1に示す端末デバイス101)は、有線接続又は無線接続を介してオーディオ素材を取得することができる。上述のオーディオ素材は、ユーザによってローカルに記憶された音楽又はネットワーク上の音楽であることができる。
ステップ202:オーディオ素材中の初期音楽点を分析する。
いくつかの実施形態では、実行体は、オーディオ素材の初期音楽点を決定することができる。ここで、初期音楽点は、オーディオ素材中のビート点及び/又はスタート点を含む。
例えば、初期音楽点が、設定された音楽性が変更されるオーディオ素材内の位置にある場合である。音楽性を変更する位置には、ビートを変更する位置、メロディを変更する位置などが含まれる。これに基づいて、初期音楽点は、以下のモードで決定することができる:実行体は、オーディオ素材を分析し、その中のビート点及び音符開始点(note starting point)を決定することができる。ビート点はビートが変更される位置であり、音符開始点はメロディが変更される位置である。具体的には、一方では、ディープラーニングに基づくビート解析アルゴリズムを用いて、オーディオ素材を解析して、オーディオ素材内のビート点と、ビート点が位置するタイムスタンプとを得ることができ、他方では、オーディオ素材上で短時間スペクトル解析を実行し、オーディオ素材内の音符開始点と、音符開始点が位置するタイムスタンプとを得ることができる。ここで、注目すべき出発点は、オンセット検出器によって得ることができる。その後、2つのモードで得られたビート点と音符開始点とを統一し、ビート点と音符開始点とを組み合わせて重複させて、それによって初期音楽点を得る。
別の例として、図2Bに示すように、音楽表示インタフェース211上の第1制御部212上の第3ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定する。第1制御部212は、通常、オーディオ素材中の一次ストレスビートを決定するトリガに使用される。音楽表示インタフェースは操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して表示される。一次ストレスビートは通常、強いビートを指す。音楽では、ビートは、強いビートと弱いビートとに分類され、強いビートは通常、強い音楽的な強さを有するビートである。例えば4つの第4ビートにおいて、ビートの強さは、第1ビートは強いビート、第2ビートは弱いビート、第3ビートは2番目に強いビート、第4ビートは弱いビート、として表す。4つの第4ビートは、4分の1の音符をビートとして取り、各小節は4ビートの時間があります。第3ユーザ操作は、第1制御部212上のクリック操作を指す。音楽表示インタフェース211上の第2制御部213上の第4ユーザ操作を検出することに応答して、オーディオ素材中のビート点が初期音楽点として決定され、第2制御部213が通常、オーディオ素材中のビートの決定をトリガするために使用される。第4ユーザ操作は、第2制御部213上のユーザのクリック操作を参照することができる。音楽表示インタフェース211上の第3制御部214への第5ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する。第3制御部214は、通常、オーディオ素材のアクセントを決定するトリガために使用される。アクセントは、音楽のより強い音を指し得る。アクセント点は、音符開始点でメロディが強くなる位置であり得、楽譜では、アクセントマークが付いたビートがあり、アクセントマークには、以下の項目の少なくとも1つが含まれる:「>」及び「^」。「>」及び「^」が同時に現れる場合は、「^」は、より強いアクセントを示す。第5ユーザ操作は、第3制御部214上のユーザのクリック操作を指すことができる。
ステップ203:ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップ。
いくつかの実施形態では、実行体は、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示する。ターゲット音楽点は初期音楽点のうちの一部又は全部である。
例えば、分析された初期音楽点は、全てターゲット音楽点として表示され得る。例えば、3つの初期音楽点、即ち、音楽点a、音楽点b、及び音楽点cがあり;ターゲット音楽点は、上記のように、音楽点a、音楽点b、及び音楽点cであり得る。
他の実施例として、操作インタフェース上の第3ユーザ操作を検出することに応答して、表示のための初期音楽点からのターゲット音楽点が選択され得る。第3ユーザ操作は、以下のアイテムのうちの少なくとも1つを含む:音楽点の追加操作、及び音楽点の削除操作。例えば、音楽点a、音楽点b、音楽点cの3つの初期音楽点があると仮定すると、ユーザが音楽点dを追加したときに、ターゲット音楽点は、上記のように、音楽点a、音楽点b、音楽点c、及び音楽点dとなり得る。別の実施例では、ユーザが音楽点bを削除する場合、ターゲット音楽点は音楽点aと音楽点cであり得る。上述の識別子は、プリセットアイコン、例えば、三角形、円、星などであり得る。
いくつかの実施形態のいくつかの任意の実装では、図2Cに示すように、オーディオ素材のオーディオ波形をクリップタイムライン225に表示し、ターゲット音楽点の識別子222~224をオーディオ波形の対応する位置に表示することができる。上述のオーディオ波形は、通常、波形図の形式で表示されるオーディオの画像を指す。上記画像上の対応する音楽点の位置によって、ターゲット音楽点の識別子が画像上に表示される。
上述の例から分かるように、ユーザがオーディオ素材内の音楽点を手動で決定すると、多くの時間がかかり得る。オーディオ素材中の初期音楽点を分析することにより、音楽点の決定効率を向上させることができる。音楽点の識別子がクリップのタイムラインに表示され、ユーザが音楽点を選択しやすくなる。
図3A及び図3Bを参照すると、これらは、本開示のいくつかの実施形態による、音楽点を表示する方法の別の適用シナリオの概略図である。第1に、図3Aの適用シナリオに示すように、ユーザは、端末デバイス301のアップロードページ3017上で複数のビデオ素材を選択し得る。例えば、画像3011、ビデオ3012、画像3013、画像3014は、アップロードページ3017に示されている。ユーザは、参照サイン3015及び参照サイン3018によって示される位置をクリックして、ピクチャ3011及びビデオ3012を選択する。ユーザは、「次へ」ボタン3016をクリックし、端末デバイス301は、選択された画像3011に基づいてビデオ素材304を生成し、ビデオ素材305としてビデオ3012を使用する。得られたビデオ素材302の数(図中に2として示されている)によって、整列された音楽点307は、ターゲット音楽点10121、ターゲット音楽点10131、及びターゲット音楽点10141から決定される。一方、整列した音楽点307は、実際に音楽クリップAと音楽クリップBとにオーディオ素材を分割し得る。音楽クリップAの継続時間と音楽クリップBの継続時間とによって、ビデオ素材304とビデオ素材305とをそれぞれ処理して、音楽クリップAと音楽クリップBとにそれぞれ対応するビデオクリップ3041とビデオクリップ3051とを得る。その後、オーディオ素材内の音楽クリップA及び音楽クリップBの位置によって、ビデオクリップ3041及びビデオクリップ3051を、ビデオクリッピングのために操作インタフェース313のクリップタイムライン312に表示し得る。
音楽点を表示する方法は、端末デバイス301によって実行されてもよいし、他のデバイスによって実行されてもよいし、種々のソフトウェアプログラムによって実行されてもよいことが理解されよう。端末デバイス301は、例えば、スマートフォン、タブレットパーソナルコンピュータ、電子書籍リーダ、ラップトップ、デスクトップ等を含むが、これらに限定されない、表示画面を有する種々の電子デバイスであり得る。さらに、実行体は、サーバ、ソフトウェアなどとして具体化され得る。なお、実行体がソフトウェアの場合、上記の電子デバイスに搭載し得る。これは、例えば、分散サービスを供給するための複数個のソフトウェア又はソフトウェアモジュールとして実装されてもよく、又は、本明細書では特に限定されない単一ピースのソフトウェア又はソフトウェアモジュールとして実装され得る。
図3Aから図3Bまでのスマートフォンの数は、単に例示的なものであることが理解されるべきである。実装ニーズによって、任意の数のスマートフォンが存在し得る。
図4Aを引き続き参照すると、本開示による音楽点を表示する方法のいくつかの実施形態のフロー400が図示される。音楽点の表示方法には、以下のステップが含まれる:
ステップ401:オーディオ素材を取得するステップ。
ステップ402:オーディオ素材中の初期音楽点を分析するステップ。
ステップ403:ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップ。
いくつかの実施形態では、図2に対応するこれらの実施形態におけるステップ201~203は、ステップ401~403の特定の実施及びもたらされる技術的効果について参照されてもよく、ここでは詳細は繰り返されない。
ステップ404:ビデオクリッピングのためのビデオ素材を取得するステップ。
いくつかの実施形態では、上述の実行体は、まず、ビデオクリッピング用のビデオ素材を取得し、その後、オーディオ素材を取得し得る。
一方、上述の実行体は、まず、オーディオ素材を取得し、その後、ビデオクリッピング用のビデオ素材を取得することもできる。
いくつかの実施形態では、上述の実行体は、有線接続又は無線接続を介してビデオクリッピングのためのビデオ素材を取得し得る。上述のビデオ素材は、以下のアイテムのうちの少なくとも1つを含む:ビデオ素材は画像素材及びビデオ素材。実施例において、上述の画像素材は、ユーザによってローカルに記憶された画像であってもよく、又はユーザによってインターネットからダウンロードされた画像であってもよい。上述のビデオ素材は、ユーザによってアップロードされたビデオ、ユーザによってローカルに記憶されたビデオ、又はユーザによってインターネットからダウンロードされたビデオであってもよい。
ステップ405:ターゲット音楽点から整列された音楽点を決定するステップ。
いくつかの実施形態では、実行体は、まず、ステップ203で決定されたオーディオ素材内のターゲット音楽点を取得し得る。その後、上述した実行体は、取得したそれぞれのターゲット音楽点から、アライメントされた音楽点のターゲット数を選択し得る。上述の整列した音楽点は、ターゲット音楽点の全てであってもよく、又はターゲット音楽点の一部であってもよい。ターゲット番号は、得られたビデオ素材の数によって決定され得る、又はオーディオ素材における強いビートの数によって決定されてもよく、又はユーザによって設定した数でもよい。上述の実行体は、決定された整列した音楽点に基づいて、複数のオーディオクリップを得るためにオーディオ素材を分割する。一実施例として、4つの整列した音楽点が決定される場合、上述したオーディオ素材は、5つの音楽クリップに分割される。
実施例において、ビデオ素材のビデオ素材の数が複数のオーディオクリップの数より少ない場合、ビデオ素材の数と同じ数のオーディオクリップは、ビデオ素材の数によって、複数のオーディオクリップから決定され得;その後、オーディオクリップの数にしたがって、整列された音楽点の数が決定される。一実施例として、5つのビデオ素材が取得された場合、5つのオーディオクリップが必要であると判定され、したがって、整列した4つの音楽点が必要であると判定され得る。ここで、まず、上述の実行体は、ビデオ素材の数に応じて、ビデオ素材の数に対応するオーディオクリップの数を決定することができる。たとえば、ビデオ素材の数が5の場合、対応するオーディオクリップの数も5である。その後、オーディオクリップの数に応じて、整列した音楽点の第1ターゲット数が決定される。たとえば、オーディオクリップの数が5の場合、整列した音楽点の第1ターゲット数は4になるはずである。結局、ハイからローまでの音楽点の優先度の順序及び/又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、音楽点の第1ターゲット数は、整列された音楽点としてターゲット音楽点から選択される。音楽位置の優先権は、プレセットされ得る。例えば、一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高くてもよく、二次ストレスビート点の優先度はアクセント点の優先度より高くてもよい。
他の実施例として、ビデオ素材のビデオ素材数が複数のオーディオクリップの数より大きい場合、ターゲット音楽点及び音楽点の第2ターゲット数を整列された音楽点として決定し、実行体は、先ず、複数のオーディオクリップの数とビデオ素材数との間の差異を計算し得、その後、差異にしたがって第2ターゲット数の値を決定する。例えば、5つのビデオ素材が得られたが、3つのオーディオクリップしかない場合、5つのビデオ素材は、4つの整列した音楽点を必要とし、3つのオーディオクリップのみにしたがって、目下、整列した音楽点が2つのみであると判断され得、この場合、第2のターゲット数の値は2であると判断され得る。つまり、2つ以上の整列した音楽点を決定する必要がある。ここで整列された2つの音楽点は、ユーザによって手動で追加されてもよく、又はオーディオ素材から実行体によって選択された既存の2つの整列された音楽点以外の音楽ビート、例えば、既存のビート点間に挿入された中間ビートであってもよい。
別の実施例として、前記ビデオ素材のビデオ素材数が前記複数のオーディオクリップの数より多い場合に、複数のオーディオクリップの数と同じ数のビデオ素材を選択してもよく、複数のオーディオクリップの数と同じ数のビデオ素材をビデオ素材から決定してもよい。例えば、選択は、ビデオ素材が取得される順序にしたがって実行されてもよい。次に、複数のオーディオクリップの数にしたがって、整列した音楽点の数が決定される。一実施例として、5つのビデオ素材と4つのオーディオクリップを取得する場合、4つのビデオ素材を選択することができ、4つのオーディオクリップにしたがって3つの整列した音楽点が必要であると判断することができる。
ステップ406:操作インタフェース上の第1ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップ。
いくつかの実施形態では、操作インタフェース上の第1ユーザ操作を検出する場合、実行体は、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する。第1ユーザ操作は、通常、複数のオーディオクリップ及び複数のビデオクリップの整列をトリガするために使用される。
一実施例として、オーディオクリップは、ビデオ素材の選択順序にしたがって整列されてもよい。例えば、ビデオ素材1、ビデオ素材2、及びビデオ素材3の3つのビデオ素材が存在する場合、ビデオ素材1は、最初にオーディオ素材に現れるオーディオクリップと整列されてもよい。また、オーディオクリップは、ビデオ素材の継続時間にしたがって整列されてもよい。例えば、最も長いビデオ素材は、最も長いオーディオクリップと整列される。
オーディオ素材中の各オーディオクリップに対して、実行体は、ビデオ素材に基づいて、オーディオクリップのオーディオクリップと同じ継続時間を有する1つのビデオクリップを生成することができる。一実施例として、オーディオ素材が3つのオーディオクリップに分割され、3つのオーディオクリップの持続時間がそれぞれ1秒、2秒、及び3秒であると仮定すると、音楽クリップに対応するビデオクリップの持続時間は、それぞれ1秒、2秒、及び3秒であってもよい。
一実施例として、上述の実行体は、1つのビデオ素材にしたがって複数のビデオクリップを生成することができる。例えば、実行体が10秒のビデオ素材と8秒のオーディオ素材を取得したと仮定すると、実行体は、整列した音楽点にしたがってオーディオ素材を、それぞれ2秒、3秒、3秒の持続時間を有する3つのオーディオクリップに分割し、その後、実行体は、ビデオ素材から、それぞれ2秒、3秒、3秒の持続時間を有する3つの異なるビデオクリップをクリッピングすることができる。
別の実施例として、上述の実行体は、ビデオ素材の継続時間にしたがって、ビデオ素材に対応するオーディオクリップを決定することもできる。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。ビデオ素材を使用することによってオーディオクリップに対して1つのビデオクリップを生成する。例えば、1つのオーディオクリップに対して1つのビデオクリップを生成するために1つのビデオ素材が使用され、ビデオ素材の継続時間がオーディオクリップの継続時間より長い場合、オーディオクリップの継続時間に等しい継続時間を有するビデオクリップは、元のビデオ素材から切り取られることができ、又は、元のビデオ素材の再生スピードは継続時間を短くするためにスピードアップされ、その後、変更されたスピードを有するビデオ素材はビデオクリップとして切り取られ(taken)、その結果、ビデオクリップの継続時間は、オーディオクリップ継続時間に等しい。
別の実施例として、ビデオ素材の継続時間がオーディオクリップの継続時間より短い場合、元のビデオ素材の再生スピードは継続時間を長くするためにスピードダウンされ、その後、変更されたスピードを有するビデオ素材はビデオクリップとして切り取られ、その結果、ビデオクリップの長さは、オーディオクリップの長さに等しい。ビデオ素材中の画像素材について、固定された継続時間、例えば3秒を有する1つのビデオ素材が、画像素材から生成され、その後、ビデオ素材が、音楽クリップのためのビデオクリップを生成するために使用され得ることが理解され得る。
別の実施例として、図4Bに示すように、操作インタフェース411内の第1ビデオクリップ413上の第2ユーザ操作414を検出することに応答して、第1ビデオクリップ413に対応するビデオ素材419の調整インタフェース415が表示される。第1ビデオクリップ413は、通常、ユーザ操作が検出されるビデオクリップである。第2ユーザ操作414は、第1ビデオクリップ413に対応するビデオ素材419の調整インタフェース415に入るための、第1ビデオクリップ413へのユーザのクリック操作であり得る。ビデオ素材419の調整インタフェース415上のビデオ素材419への手動クリッピング操作に応答して、ビデオ素材419内の手動クリッピング操作418によって選択された参照サイン416と参照サイン417との間のクリッピング間隔が決定され、クリッピング間隔は、第1ビデオクリップ413に対応するオーディオクリップの継続時間にしたがって決定される。手動クリッピング操作418は、クリッピング間隔内のビデオクリップ420をユーザが必要とするものにするために、第1ビデオクリップ413に対応するビデオ素材419をスライドさせるユーザであってもよい。上述の実行体は、ビデオクリップ420を第1のビデオクリップ413の位置に整列することができる。クリッピング間隔にしたがって、第2ビデオクリップ420としてビデオ素材から素材をクリッピングする。クリッピング間隔内のビデオクリップは、第2ビデオクリップ420として切り取られる。
ステップ407:クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するステップ。
いくつかの実施形態では、上述の実行体は、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示する。一実施例として、オーディオ素材は、音楽点に応じて連続的に3つのクリップに分割することができ、例えば、クリップAは、0秒から2秒までであり得、クリップBは、2秒から5秒であり得、クリップCは、5秒から10秒であり得る。対応するビデオクリップは、それぞれクリップa、クリップb、及びクリップcである。次に、ビデオクリップの操作インタフェース上に、ビデオクリップa、b、及びcが順番に表示される。
一実施例として、ユーザがビデオクリップのビデオ境界をクリップのタイムライン上でドラッグする場合、及び、ビデオ境界がドラッグされる位置と特定の音楽点との間の距離が予め設定された閾値未満である場合、ビデオクリップのビデオ境界は、音楽点の位置として決定され得る。例えば、図4Cに示すように、ユーザがビデオクリップ4210のビデオ境界4212をインタフェース422に示す位置にドラッグすると、ビデオクリップ4210のビデオ境界4212は、音楽点4214の位置に自動的にスナップされ、ビデオクリップ4210は、対応するビデオクリップ4217を得ることができ、一方、ビデオクリップ4217は、対応するビデオ境界4216も有することができる。
本開示のいくつかの実施形態で開示されている音楽点を表示する方法では、複数のビデオクリップ及び複数の音楽クリップが、取得されたビデオ素材及び決定されたターゲット音楽点にしたがって取得され、複数のビデオクリップが、操作インタフェース上に表示され、これにより、ユーザは、ビデオクリップの再生シーケンス及び再生時間を直感的に見ることができ、それにより、ユーザがビデオをクリッピングするスピードを向上させることができる。
さらに、図5を参照すると、上述の各図におけるそれぞれの方法の実施形態として、本開示は、音楽点を表示するための装置のいくつかの実施形態を提供し、これらの装置の実施形態は、図2において上述した方法の実施形態に対応し、装置は、種々の電子デバイスに具体的に適用され得る。
図5に示すように、いくつかの実施形態による音楽点を表示する装置500は、取得ユニット501、分析ユニット502、及び表示ユニット503を含む。取得ユニット501は、オーディオ素材を取得するように構成され;分析ユニット502は、オーディオ素材内の初期音楽点を分析するように構成され、初期音楽点は、オーディオ素材内のビート点及び/又はノート開始点を含み;表示ユニット503は、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するように構成されており、ターゲット音楽点は初期音楽点のうちの一部又は全部である。
いくつかの実施形態では、音楽点を表示するための装置500はさらに、第1取得ユニットと、決定ユニットと、生成ユニットと、第1表示ユニットと、を備える。第1取得ユニットは、ビデオクリッピングのためのビデオ素材を取得するように構成されており、ビデオ素材は、以下のアイテムのうちの少なくとも1つを含む:画像素材及びビデオ素材。決定ユニットは、ターゲット音楽点から整列された音楽点を決定するように構成されている。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。生成ユニットは、操作インタフェース上の第1ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ように構成されている。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する。第1表示ユニットは、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するように構成されている。
いくつかの実施形態では、音楽点を表示するための装置500は:第1決定サブユニット及び第2決定サブユニットを備える。第1決定サブユニットは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するように構成されている。第2決定ユニットは、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するように構成されている。
いくつかの実施形態では、音楽点を表示するための装置500内の決定ユニット内の第2の決定ユニットはさらに、ビデオ素材数にしたがってビデオ素材数に対応するオーディオクリップ数を決定し、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定し、ハイからローまでの音楽点の優先度の順序及び/又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第1ターゲット数を選択する、ように構成されている。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。
いくつかの実施形態では、音楽点を表示するための装置500内の決定ユニットはさらに、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第1数を決定するように構成されている。第1数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。
いくつかの実施形態では、音楽点を表示するための装置500内の生成ユニットはさらに、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定し、ビデオ素材を使用することによって上述のオーディオクリップに対して1つのビデオクリップを生成する、ように構成されている。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上である。
いくつかの実施形態では、音楽点を表示するための装置500内の生成ユニットはさらに、ビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、音楽クリップの継続時間に等しい継続時間を有するビデオクリップを取得するためのビデオ素材の再生スピードを調整するように構成されている。
いくつかの実施形態では、音楽点を表示するための装置500はさらに、操作インタフェース中の第1ビデオクリップ上の第2ユーザ操作を検出することに応答して、第1ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示し、ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定し、クリッピング間隔にしたがって、第2ビデオクリップとしてビデオ素材から素材をクリッピングする、ように構成されている。
いくつかの実施形態では、音楽点を表示するための装置500内の分析ユニット502はさらに、操作インタフェース上の第1制御部への第3ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定し、操作インタフェース上の第2制御部への第4ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定し、作インタフェース上の第3制御部への第5ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する、ように構成されている。
いくつかの実施形態では、音楽点を表示するための装置500はさらに、操作インタフェース上の第3ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するように構成されている。上述の第3ユーザ操作は、以下の項目のうちの少なくとも1つを含む:音楽点の追加操作、及び音楽点の削除操作。
いくつかの実施形態では、音楽点を表示するための装置500内の表示ユニット503はさらに、クリップタイムライン上でオーディオ素材のオーディオ波形を表示し、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示する、ように構成されている。
上記の実施例から分かるように、ユーザがオーディオ素材内の音楽点を手動で決定すると、多くの時間がかかり得る。オーディオ素材中の初期音楽点を分析することにより、音楽点の決定効率を向上させることができる。音楽点の識別子がクリップのタイムライン上に表示され、ユーザが音楽点を選択しやすくなる。
次に図6を参照すると、図6は、本開示のいくつかの実施形態を実施するのに適した電子デバイス(例えば、図1のサーバ)600の構造概略図を示す。本開示のいくつかの実施形態による端末デバイスは、携帯電話、ラップトップ、デジタル放送受信機、パーソナル・デジタル・アシスタント(PDA)、ポータブル・アンドロイド(登録商標)・デバイス(PAD)、ポータブル・マルチメディア・プレーヤー(PMP)、車載端末(例えば、車載ナビゲーション端末)などの携帯端末、及び、デジタルテレビ、デスクトップコンピュータなどの固定端末を含むことができるが、これらに限定されない。図6に示される端末装置は単なる一実施例であり、本開示の実施形態の機能及び使用範囲にいかなる制限も課すべきではない。
図6に示すように、電子デバイス600は、処理装置(例えば、中央処理装置、グラフィックス・プロセッサなど)601を含むことができ、これは、読み出し専用メモリ602に記憶されたプログラム、又は記憶装置608からランダム・アクセス・メモリ(RAM)603にロードされたプログラムにしたがって、種々の適切な操作及び処理を実行することができる。RAM603はさらに、電子デバイス600の操作に必要な様々なプログラム及びデータを記憶する。処理装置601、ROM602、及びRAM603は、バス604を介して互いに接続される。入出力(I/O)インタフェース605もバス604に結合される。
通常、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置606;例えば、液晶ディスプレイ(LCD)、スピーカ、バイブレータなどを含む出力装置607;例えば、磁気テープ、ハードディスクなどを含む記憶装置608;通信装置609は、I/Oインタフェース605に結合されてもよい。通信装置609は、電子デバイス600が、データを交換するために、他のデバイスと無線又は有線通信を行うことを可能にする。図6は、様々な装置を有する電子デバイス600を示しているが、全ての装置を実装したり、図示する必要はなく、電子デバイス600は、代わりに、より多くの又はより少ない装置を実施するか、または有することができる。図6に示す各ブロックは、1つの装置を表すことができ、又は必要に応じて複数の装置を表すこともできる。
特に、本開示のいくつかの実施形態によれば、フローチャートを参照して上述のようなフローは、コンピュータソフトウェアプログラムとして実装することができる。例えば、本開示のいくつかの実施形態は、コンピュータ読み取り可能媒体に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含む。このような実施形態では、コンピュータプログラムは、通信装置609を介してネットワークからダウンロードされインストールされるか、又は記憶装置608からインストールされるか、又はROM602からインストールされる。処理装置601によって実行されると、コンピュータプログラムは、本開示のいくつかの実施形態に係る方法に限定された上述の機能を実行する。
本開示のいくつかの実施形態では、上述のコンピュータ読取可能媒体は、コンピュータ読取可能な信号媒体又はコンピュータ読取可能な記憶媒体、又は上記2つの任意の組み合わせであってもよいことに留意されたい。コンピュータ読取可能記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、若しくは半導体システム、装置、若しくは装置、又は上記の任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ読取り可能記憶媒体のより具体的な例としては、携帯型コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、1つ以上の導体を有する電気接続;消去可能プログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ);光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD-ROM);光記憶装置;磁気記憶装置;又は上記の任意の適切な組合せ。本開示のいくつかの実施形態において、コンピュータ読取可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、またはそれらと組み合わせて使用され得るプログラムを含むか又は記憶する任意の有形媒体であり得る。むしろ、本開示のいくつかの実施形態では、コンピュータ読取可能な信号媒体は、ベースバンド内で伝搬されるデータ信号又はコンピュータ読取可能なプログラムコードを搬送する搬送波の一部として伝搬されるデータ信号を含み得る。コンピュータ読取可能な信号媒体は、コンピュータ読取可能な記憶媒体以外のコンピュータ読取可能な媒体であってもよく、コンピュータ読取可能な信号媒体は、命令実行システム、装置、又は装置によって、又はそれらと組み合わせて使用するために、プログラムを送信、伝搬、又は転送することができる。コンピュータ読取り可能媒体上に実装されたプログラムコードは、電気ワイヤ、光ケーブル、無線周波数(RF)など、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を使用して送信することができる。
いくつかの実装モードでは、クライアント及びサーバは、ハイパーテキスト転送プロトコル(HTTP)などの、既知の又は将来研究開発されるべき任意のネットワークプロトコルと通信することができ、また、任意の形態又は媒体でデジタルデータと(通信ネットワークを介して)通信し、相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネット、及びエンドツーエンドネットワーク(例えばアドホック・エンドツーエンドネットワーク)、ならびに現在知られているか又は将来研究開発されるネットワークが含まれる。
上述のコンピュータ読取可能媒体は、上述の電子デバイスに含まれてもよいし、電子デバイスに組み込まれることなく単独で存在してもよい。上述のコンピュータ読取可能媒体は、1つ以上のプログラムを搭載し、上述の1つ以上のプログラムが電子デバイスによって実行される場合、電子デバイスは、オーディオ素材;上述のクリップタイムライン上の上述のターゲット音楽点の識別子、を取得する。上述の初期音楽点は、上述のオーディオ素材内のビート点及び/又はノート出発点を含み、ターゲット音楽点は、上述の初期音楽点の一部又は全部である。
本開示のいくつかの実施形態による操作を実行するためのコンピュータプログラムコードは、1つ以上のプログラミング言語又はそれらの組み合わせで書かれることができ、上述のプログラミング言語は、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語を含み、「C」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、かつ部分的にリモートコンピュータ上で、又は全体的にリモートコンピュータ若しくはサーバ上で、実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、又は、(例えば、インターネットサービスプロバイダを使用するインターネットを介して)外部コンピュータに接続されてもよい。
添付の図面のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能性、及び操作を示す。この点に関し、フローチャート又はブロック図の各ブロックは、指定された(1つ以上の)論理機能を実装するための1つ以上の実行可能な命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。また、いくつかの代替的な実装において、ブロックに示された機能は、添付の図面に示された順序から外れてもよいことにも留意されたい。例えば、連続して示される2つのブロックは、実際には、実質的に同時に実行されてもよく、又は、関連する機能に応じて、ブロックは逆の順序で実行されてもよい。また、ブロック図及び/又はフローチャートの各ブロック、及びブロック図及び/又はフローチャートのブロックの組み合わせは、指定された機能を実行する特殊目的のハードウェアベースのシステムによって実装されてもよく、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実装されてもよいことに留意されたい。
本開示のいくつかの実施形態に記載されるユニットは、ソフトウェアによって実施されてもよく、又はハードウェアによって実施されてもよい。記載されたユニットはまた、プロセッサ内に設けられてもよく、プロセッサは、例えば、取得ユニット、分析ユニット及び表示ユニットを含むプロセッサとして記載されてもよい。これらのユニットの名称は、ユニットそのものに限定されるものではなく、例えば、取得ユニットを「オーディオ素材を取得するためのユニット」と呼ぶ場合もある。
上述の機能は、少なくとも部分的に、1つ以上のハードウェア論理コンポーネントによって実行することができる。例えば、限定されるものではないが、利用可能なハードウェア論理コンポーネントの例示的なタイプは:フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複合プログラマブル・ロジカル・デバイス(CPLD)などを含む。
本開示の一つ以上の実施例によれば、音楽点を示す方法が提供される。方法は、オーディオ素材を取得するステップと、オーディオ素材中の初期音楽点を分析するステップと、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップと、を含む。初期音楽点は、オーディオ素材中のビート点及び/又はスタート点を備え、ターゲット音楽点は初期音楽点のうちの一部又は全部である。
本開示の1つ以上の実施形態によれば、方法はさらに、ビデオクリッピングのためのビデオ素材を取得するステップと、ターゲット音楽点から整列された音楽点を決定するステップと、操作インタフェース上の第1ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップと、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するステップと、を含む。ビデオ素材は以下のアイテムのうちの少なくとも1つを含む:画像素材及びビデオ素材。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する。
本開示の1つ以上の実施形態によれば、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材の数にしたがって、上記の複数のオーディのクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第1ターゲット数を決定するステップと、を含む。
本開示の1つ以上の実施形態によれば、ビデオ素材数にしたがって、整列された音楽点の数を決定するステップは、ハイからローまでの音楽点の優先度の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第1ターゲット数を選択する、ステップを含む。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。
1つ以上の実施形態によれば、システムが提供される。ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第1数を決定するステップを含む。第1数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。
本開示の1つ以上の実施形態によれば、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定するステップと、ビデオ素材を使用することによって前記オーディオクリップに対して1つのビデオクリップを生成するステップと、を含む。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。
本開示の1つ以上の実施形態によれば、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、デオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、ビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップを含む。
本開示の1つ以上の実施形態によれば、方法はさらに、操作インタフェース中の第1ビデオクリップ上の第2ユーザ操作を検出することに応答して、第1ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示するステップと、ビデオ素材の調整インタフェース上のビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、クリッピング間隔にしたがって、第2ビデオクリップとしてビデオ素材から素材をクリッピングするステップと、を含む。
本開示の1つ以上の実施形態によれば、オーディオ素材中の初期音楽点を分析するステップは、操作インタフェース上の第1制御部への第3ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定するステップと、操作インタフェース上の第2制御部への第4ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定するステップと、操作インタフェース上の第3制御部への第5ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定するステップと、
を含む。
本開示の1つ以上の実施形態によれば、方法はさらに、操作インタフェース上の第3ユーザ操作を検出することに応答して、上記の初期音楽点からオーディオ素材のターゲット音楽点を決定するステップと、第3ユーザ操作は、以下のアイテムのうちの少なくとも1つを含む:音楽点の追加操作及び音楽点の削除操作。
本開示の1つ以上の実施形態によれば、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の上記のオーディオ素材の位置及び上記のオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上の上記のターゲット音楽点の識別子を表示するステップは、クリップタイムライン上でオーディオ素材のオーディオ波形を表示するステップと、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示するステップと、を含む。
本開示の1つ以上の実施形態によれば、装置は、取得ユニットと、分析ユニットと、表示ユニットと、を備える。取得ユニットは、オーディオ素材を取得するように構成されている。分析ユニットは、オーディオ素材中の初期音楽点を分析し、初期音楽点は、オーディオ素材中のビート点及び/又はスタート点を含む。表示ユニットは、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示し、ターゲット音楽点は上記の初期音楽点のうちの一部又は全部である、ように構成されている。
本開示の1つ以上の実施形態によれば、1つ以上のプロセッサと、1つ以上のプログラムが保存された保存装置と、を含む電子デバイスが提供される。1つ以上のプロセッサによって実行されるときに、1つ以上のプログラムは1つ以上のプロセッサに上記の実施形態のいずれかによる方法を実行させる。
本開示の1つ以上の実施形態によれば、コンピュータプログラムが保存されたコンピュータ可読媒体を提供される。プログラムは、プロセッサによって実行されるときに、上記の実施形態による方法を実行する。
本開示の1つ以上の実施形態によれば、プログラムコードを有するコンピュータプログラムが提供される。コンピュータがコンピュータプログラムを実行するときに、プログラムコードは上記の実施形態による方法を実行する。
上記の説明は、本開示のいくつかの好ましい実施形態及びそれに適用される技術的原理の説明にすぎない。当業者は、本開示の実施形態に含まれる発明の範囲は、上述の技術的特徴の特定の組み合わせによって形成される技術的解決策に限定されるものではなく、また、上述の発明の概念から逸脱することなく、上述の技術的特徴又はそれらの同等の特徴の任意の組み合わせによって形成される他の技術的解決策をカバーすべきであることを理解するはずである。例えば、技術的解決策は、上述の特徴を、本開示の実施形態において開示されている(ただし、これに限定されるものではない)技術的特徴と、類似の機能とを相互に置き換えることによって形成される。

Claims (14)

  1. 音楽点を表示する方法であって、
    オーディオ素材を取得するステップと、
    前記オーディオ素材中の初期音楽点を分析するステップであって、前記初期音楽点は、前記オーディオ素材中のビート点及び/又はスタート点を備える、ステップと、
    ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、ステップと、
    前記ビデオクリッピングのためのビデオ素材を取得するステップと、
    前記ターゲット音楽点から整列された音楽点を決定するステップであって、前記整列された音楽点は、前記オーディオ素材を複数のオーディオクリップに分割するために使用される、ステップと、を含み、
    前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
    前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第1ターゲット数を決定するステップと、
    ハイからローまでの音楽点の優先度の順序及び前記オーディオ素材中に出現する前記音楽点の瞬間の順序にしたがって、前記整列された音楽点として前記ターゲット音楽点から音楽点の第1ターゲット数を選択するステップであって、一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、前記二次ストレスビート点の優先度はアクセント点の優先度より高い、ステップと、を含む、方法。
  2. 記ビデオ素材は、画像素材及びビデオ素材のうちの少なくとも1つのアイテムを含
    前記方法はさらに、
    前記操作インタフェース上の第1ユーザ操作を検出することに応答して、前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップであって、前記オーディオクリップに対応するオーディオクリップ及びビデオクリップは、同じ継続時間を有する、ステップと、
    前記クリップタイムライン上の前記オーディオ素材の前記位置及び前記オーディオ素材中の前記ビデオクリップに対応する前記オーディオクリップの位置にしたがって、前記クリップタイムライン上の前記ビデオクリップを表示するステップと、
    を含む、請求項1記載の方法。
  3. 前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第1ターゲット数を決定するステップは、
    前記ビデオ素材のうちの前記ビデオ素材数が前記複数のオーディオクリップの数より少ないことに応答して、前記ビデオ素材数にしたがって、前記複数のオーディオクリップから、前記ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、
    前記オーディオクリップ数にしたがって、前記整列された音楽点の第1ターゲット数を決定するステップと、を含む、
    請求項2記載の方法。
  4. 前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
    前記ビデオ素材のビデオ素材数が前記複数のオーディオクリップの数より大きいことに応答して、前記整列された音楽点として前記ターゲット音楽点及び音楽点の第2ターゲット数を決定するステップであって、前記第2ターゲット数は、前記複数のオーディオクリップの数と前記ビデオ素材数との間の差異にしたがって決定される、ステップを含む、
    請求項2又は3記載の方法。
  5. 前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
    前記ビデオ素材の継続時間にしたがって前記ビデオ素材に対応する前記オーディオクリップを決定するステップであって、音楽クリップに対応する前記ビデオ素材の長さは、前記音楽クリップの長さ以上ある、ステップと、
    ビデオ素材を使用することによって前記オーディオクリップに対して1つのビデオクリップを生成するステップと、を含む、
    請求項2乃至4いずれか1項記載の方法。
  6. 前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して1つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
    前記ビデオ素材に対応する音楽クリップの継続時間より短いビデオ素材の継続時間に応答して、前記ビデオ素材の再生スピードを調整し、前記音楽クリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップ、を含む
    請求項2乃至5いずれか1記載の方法。
  7. 前記方法はさらに、
    前記操作インタフェース中の第1ビデオクリップ上の第2ユーザ操作を検出することに応答して、前記第1ビデオクリップに対応する前記ビデオ素材に対する調整インタフェースを表示するステップと、
    前記ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、前記ビデオ素材中の前記手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、
    前記クリッピング間隔にしたがって、第2ビデオクリップとして前記ビデオ素材から素材をクリッピングするステップと、
    を含む、請求項2乃至6いずれか1記載の方法。
  8. 前記オーディオ素材中の初期音楽点を分析するステップは、
    音楽表示インタフェース上の第1制御部への第3ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中の一次ストレスビート点を決定するステップであって、前記操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して、前記音楽表示インタフェースが表示される、ステップと、
    前記音楽表示インタフェース上の第2制御部への第4ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のビート点を決定するステップと、
    音楽表示インタフェース上の第3制御部への第5ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のアクセント点を決定するステップと、を含む、
    請求項1乃至7いずれか1項記載の方法。
  9. 前記方法はさらに、
    前記操作インタフェース上の第3ユーザ操作を検出することに応答して、前記初期音楽点から前記オーディオ素材のターゲット音楽点を決定するステップであって、前記第3ユーザ操作は、音楽点の追加操作及び音楽点の削除操作のうちの少なくとも1つを含む、ステップ
    を含む、請求項1乃至8いずれか1項記載の方法。
  10. ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップは、
    前記クリップタイムライン上で前記オーディオ素材のオーディオ波形を表示するステップと、
    前記オーディオ波形の対応する位置内の前記ターゲット音楽点の識別子を表示するステップと、を含む、
    請求項1乃至9いずれか1項記載の方法。
  11. 音楽点を表示する装置であって、
    オーディオ素材を取得するように構成された取得ユニットと、
    前記オーディオ素材中の初期音楽点を分析するように構成された分析ユニットであって、前記初期音楽点は、前記オーディオ素材中のビート点及び/又はスタート点を備える、分析ユニットと、
    ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するように構成された表示ユニットであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、表示ユニットと、
    前記ビデオクリッピングのためのビデオ素材を取得するように構成された第1取得ユニットと、
    前記ターゲット音楽点から整列された音楽点を決定するように構成された決定ユニットであって、前記整列された音楽点は、前記オーディオ素材を複数のオーディオクリップに分割するために使用される、決定ユニットと、
    を備え、
    前記決定ユニットはさらに、
    前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第1ターゲット数を決定し、
    ハイからローまでの音楽点の優先度の順序及び前記オーディオ素材中に出現する前記音楽点の瞬間の順序にしたがって、前記整列された音楽点として前記ターゲット音楽点から音楽点の第1ターゲット数を選択するように構成されており、
    一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、前記二次ストレスビート点の優先度はアクセント点の優先度より高い、装置。
  12. 電子デバイスであって、
    1つ以上のプロセッサと、
    1つ以上のプログラムが保存された保存装置であって、前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプログラムは前記1つ以上のプロセッサに請求項1乃至10いずれか1項による方法を実行させる、保存装置と、
    を備える電子デバイス。
  13. コンピュータプログラムが保存されたコンピュータ可読媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行されるときに、請求項1乃至10いずれか1項による方法を実行する、
    コンピュータ可読媒体。
  14. プログラムコードを有するコンピュータプログラムであって、
    コンピュータが前記コンピュータプログラムを実行するときに、前記プログラムコードは請求項1乃至10いずれか1項による方法を実行する、
    コンピュータプログラム。
JP2022525690A 2019-11-04 2020-11-03 音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体 Active JP7508552B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911067475.1 2019-11-04
CN201911067475.1A CN110769309B (zh) 2019-11-04 2019-11-04 用于展示音乐点的方法、装置、电子设备和介质
PCT/CN2020/126261 WO2021088830A1 (zh) 2019-11-04 2020-11-03 用于展示音乐点的方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
JP2022554338A JP2022554338A (ja) 2022-12-28
JP7508552B2 true JP7508552B2 (ja) 2024-07-01

Family

ID=69336209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022525690A Active JP7508552B2 (ja) 2019-11-04 2020-11-03 音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体

Country Status (6)

Country Link
US (1) US11587593B2 (ja)
EP (1) EP4044611A4 (ja)
JP (1) JP7508552B2 (ja)
KR (1) KR102868299B1 (ja)
CN (1) CN110769309B (ja)
WO (1) WO2021088830A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320730B (zh) * 2018-01-09 2020-09-29 广州市百果园信息技术有限公司 音乐分类方法及节拍点检测方法、存储设备及计算机设备
CN110769309B (zh) * 2019-11-04 2023-03-31 北京字节跳动网络技术有限公司 用于展示音乐点的方法、装置、电子设备和介质
CN112822541B (zh) * 2019-11-18 2022-05-20 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN113497970B (zh) * 2020-03-19 2023-04-11 字节跳动有限公司 视频处理方法、装置、电子设备及存储介质
CN111432141B (zh) * 2020-03-31 2022-06-17 北京字节跳动网络技术有限公司 一种混剪视频确定方法、装置、设备及存储介质
CN111741233B (zh) * 2020-07-16 2021-06-15 腾讯科技(深圳)有限公司 视频配乐方法、装置、存储介质以及电子设备
CN111857923B (zh) * 2020-07-17 2022-10-28 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质
CN111901626B (zh) * 2020-08-05 2021-12-14 腾讯科技(深圳)有限公司 背景音频确定方法、视频剪辑方法、装置和计算机设备
CN114143587A (zh) * 2020-09-03 2022-03-04 上海哔哩哔哩科技有限公司 一种用于在目标音乐视频中乐谱展示的方法与设备
CN112259062B (zh) * 2020-10-20 2022-11-04 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN112579818B (zh) * 2020-12-29 2021-08-13 玖月音乐科技(北京)有限公司 一种五线谱语音批注方法和系统
CN112822543A (zh) * 2020-12-30 2021-05-18 北京达佳互联信息技术有限公司 视频处理方法及装置、电子设备、存储介质
CN113727038B (zh) * 2021-07-28 2023-09-05 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN114339392B (zh) * 2021-11-12 2023-09-12 腾讯科技(深圳)有限公司 视频剪辑方法、装置、计算机设备及存储介质
USD1089292S1 (en) * 2021-11-22 2025-08-19 Meta Platforms, Inc. Display screen with a graphical user interface
USD1089223S1 (en) * 2021-11-22 2025-08-19 Meta Platforms, Inc. Display screen with a graphical user interface
USD1089222S1 (en) * 2021-11-22 2025-08-19 Meta Platforms, Inc. Display screen with a graphical user interface
CN114898759B (zh) * 2022-04-25 2025-04-29 北京达佳互联信息技术有限公司 音频数据处理方法、装置、电子设备及存储介质
US12167075B2 (en) * 2022-06-27 2024-12-10 Adeia Guides Inc. Methods for conforming audio and short-form video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066399A (ja) 2005-08-30 2007-03-15 Ricoh Co Ltd 映像音声編集システム
WO2008024486A2 (en) 2006-08-24 2008-02-28 Fliptrack, Inc. Beat and text based editing and composing systems and methods

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027124B2 (en) * 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
JP2006127367A (ja) * 2004-11-01 2006-05-18 Sony Corp 情報管理方法、情報管理プログラムおよび情報管理装置
JP5143569B2 (ja) * 2005-01-27 2013-02-13 シンクロ アーツ リミテッド 音響的特徴の同期化された修正のための方法及び装置
GB2422755A (en) * 2005-01-27 2006-08-02 Synchro Arts Ltd Audio signal processing
US7825321B2 (en) * 2005-01-27 2010-11-02 Synchro Arts Limited Methods and apparatus for use in sound modification comparing time alignment data from sampled audio signals
US20070044639A1 (en) * 2005-07-11 2007-03-01 Farbood Morwaread M System and Method for Music Creation and Distribution Over Communications Network
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
CN101587706A (zh) 2009-07-08 2009-11-25 沈阳蓝火炬软件有限公司 流媒体实时音乐节拍分析与舞蹈控制系统及方法
US9613605B2 (en) * 2013-11-14 2017-04-04 Tunesplice, Llc Method, device and system for automatically adjusting a duration of a song
CN104103300A (zh) 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
US9911403B2 (en) * 2015-06-03 2018-03-06 Smule, Inc. Automated generation of coordinated audiovisual work based on content captured geographically distributed performers
GB2581032B (en) * 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal
CN107436921B (zh) * 2017-07-03 2020-10-16 李洪海 视频数据处理方法、装置、设备及存储介质
CN107483843B (zh) * 2017-08-16 2019-11-15 成都品果科技有限公司 音视频匹配剪辑方法及装置
CN107393569B (zh) * 2017-08-16 2019-10-29 成都品果科技有限公司 音视频剪辑方法及装置
CN109429078B (zh) * 2017-08-24 2022-02-22 北京搜狗科技发展有限公司 视频处理方法和装置、用于视频处理的装置
WO2020014223A1 (en) * 2018-07-09 2020-01-16 Tree Goat Media, LLC Systems and methods for transforming digital audio content into visual topic-based segments
US12431112B2 (en) * 2018-07-09 2025-09-30 Tree Goat Media, INC Systems and methods for transforming digital audio content
CN108600825B (zh) * 2018-07-12 2019-10-25 北京微播视界科技有限公司 选择背景音乐拍摄视频的方法、装置、终端设备和介质
CN109545177B (zh) 2019-01-04 2023-08-22 平安科技(深圳)有限公司 一种旋律配乐方法及装置
US10825221B1 (en) * 2019-04-23 2020-11-03 Adobe Inc. Music driven human dancing video synthesis
CN110233976B (zh) * 2019-06-21 2022-09-09 广州酷狗计算机科技有限公司 视频合成的方法及装置
CN110265057B (zh) * 2019-07-10 2024-04-26 腾讯科技(深圳)有限公司 生成多媒体的方法及装置、电子设备、存储介质
CN110336960B (zh) * 2019-07-17 2021-12-10 广州酷狗计算机科技有限公司 视频合成的方法、装置、终端及存储介质
CN110769309B (zh) * 2019-11-04 2023-03-31 北京字节跳动网络技术有限公司 用于展示音乐点的方法、装置、电子设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066399A (ja) 2005-08-30 2007-03-15 Ricoh Co Ltd 映像音声編集システム
WO2008024486A2 (en) 2006-08-24 2008-02-28 Fliptrack, Inc. Beat and text based editing and composing systems and methods

Also Published As

Publication number Publication date
KR20220091500A (ko) 2022-06-30
EP4044611A4 (en) 2022-11-23
KR102868299B1 (ko) 2025-10-02
US11587593B2 (en) 2023-02-21
US20220293136A1 (en) 2022-09-15
EP4044611A1 (en) 2022-08-17
JP2022554338A (ja) 2022-12-28
CN110769309B (zh) 2023-03-31
CN110769309A (zh) 2020-02-07
WO2021088830A1 (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
JP7508552B2 (ja) 音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体
JP7503629B2 (ja) ビデオを生成する方法および装置、電子デバイス、ならびにコンピュータ読取可能媒体
JP7387891B2 (ja) 動画ファイルの生成方法、装置、端末及び記憶媒体
JP7553582B2 (ja) 画像特殊効果の処理方法及び装置
JP7646814B2 (ja) ビデオ処理方法、端末機器及び記憶媒体
US11710510B2 (en) Video generation method and apparatus, electronic device, and computer readable medium
KR102797027B1 (ko) 비디오 생성 방법 및 장치, 전자 장치, 및 컴퓨터 판독가능 매체
JP7581490B2 (ja) オーディオデータの処理方法、装置、機器及び記憶媒体
WO2021135626A1 (zh) 菜单项选择方法、装置、可读介质及电子设备
CN112363790B (zh) 表格的视图显示方法、装置和电子设备
WO2023051293A1 (zh) 一种音频处理方法、装置、电子设备和存储介质
CN117573013A (zh) 图像处理方法、装置、设备、计算机可读存储介质及产品
WO2025185040A1 (zh) 媒体内容的生成方法、装置、电子设备、存储介质和程序产品
CN114584716A (zh) 图片处理方法、装置、设备及存储介质
US20250239275A1 (en) Video processing method, apparatus, electronic device, and storage medium
US20240094883A1 (en) Message selection method, apparatus and device
US12537906B2 (en) Video effect packet generation method and apparatus, device, and storage medium
CN114520928B (zh) 显示信息生成方法、信息显示方法、装置和电子设备
CN112153439A (zh) 互动视频处理方法、装置、设备及可读存储介质
WO2021018176A1 (zh) 文字特效处理方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240619

R150 Certificate of patent or registration of utility model

Ref document number: 7508552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150