WO2022111392A1 - 一种视频处理方法、装置、设备及存储介质 - Google Patents

一种视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2022111392A1
WO2022111392A1 PCT/CN2021/131772 CN2021131772W WO2022111392A1 WO 2022111392 A1 WO2022111392 A1 WO 2022111392A1 CN 2021131772 W CN2021131772 W CN 2021131772W WO 2022111392 A1 WO2022111392 A1 WO 2022111392A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
track
processed
audio data
editing
Prior art date
Application number
PCT/CN2021/131772
Other languages
English (en)
French (fr)
Inventor
何彦
谭志远
麦汉鑫
玉绍祖
曹堃
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Priority to EP21896893.1A priority Critical patent/EP4240020A1/en
Priority to JP2023531526A priority patent/JP2023550187A/ja
Publication of WO2022111392A1 publication Critical patent/WO2022111392A1/zh
Priority to US18/322,221 priority patent/US11871072B2/en
Priority to US18/521,387 priority patent/US20240098328A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Definitions

  • the present disclosure relates to the field of data processing, and in particular, to a video processing method, apparatus, device, and storage medium.
  • video editing not only provides users with the function of adding sounds such as music and special effects, but also provides users with the function of adding stickers, texts, etc. to the video screen, which enriches the user's experience of processing videos.
  • the present disclosure provides a video processing method, apparatus, device and storage medium, when the editing reference track is moved out of the video editing window, the editing reference is redisplayed in the form of a mask Track, reduce the impact on the user's video processing, improve the user experience.
  • the present disclosure provides a video processing method, the method comprising:
  • the editing reference track of the video to be processed moves out of the video editing window, a mask is displayed in the bottom area of the video editing window;
  • the editing reference track includes a video track and/or an audio track;
  • the editing reference track of the to-be-processed video is displayed on the mask layer; wherein, the editing reference track displayed on the mask layer is used to assist the user in Edit the video to be processed in the video editing window.
  • the method further includes:
  • the editing reference track of the video to be processed is displayed on the mask layer based on the timeline on the video editing window, including:
  • the audio track of the video to be processed is displayed on the mask in a preset form.
  • the method before the audio track of the video to be processed is displayed on the mask layer in a preset form based on the timeline on the video editing window, the method further includes:
  • the target audio data includes audio data of music type or audio data of sound effect type
  • a target audio visual line is generated for the audio track of the video to be processed; wherein, the target audio visual line is used to visualize the target audio data in the video to be processed. playback position;
  • the audio track of the video to be processed is displayed in a preset form on the mask layer, including:
  • the target audio visual line is displayed on the mask based on the timeline on the video editing window.
  • the audio track of the video to be processed includes a first audio track and a second audio track
  • the determining the time point at which the target audio data exists in the audio track of the video to be processed includes:
  • generating a target audio visual line for the audio track of the video to be processed based on the time point when the target audio data exists including:
  • a target audio visual line is generated for the video to be processed.
  • the target audio data includes music-type audio data; and before displaying the target audio visual line on the mask layer based on the time axis on the video editing window, the method further includes:
  • the target audio data includes audio data of a sound effect type.
  • the present disclosure provides a video processing device, the device comprising:
  • a first display module configured to display a mask in the bottom area of the video editing window when it is detected that the video track of the video to be processed moves out of the video editing window;
  • a second display module configured to display the editing reference track of the video to be processed on the mask layer based on the timeline on the video editing window; wherein the editing reference track includes a video track and/or an audio track , the editing reference track is used to assist the user to edit the video to be processed in the video editing window.
  • the present disclosure provides a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, and when the instructions are executed on a terminal device, the terminal device is made to implement the above method.
  • the present disclosure provides a device comprising: a memory, a processor, and a computer program stored on the memory and executable on the processor, when the processor executes the computer program, Implement the above method.
  • the embodiment of the present disclosure provides a video processing method, when it is detected that the editing reference track of the video to be processed moves out of the video editing window, a mask layer is displayed in the bottom area of the video editing window; wherein, the editing reference track includes the video track and/or or audio track. Then, based on the timeline on the video editing window, the editing reference track of the video to be processed is displayed on the mask layer; wherein, the editing reference track displayed on the mask layer is used to assist the user in editing the video to be processed in the video editing window .
  • the video processing method provided by the embodiments of the present disclosure can redisplay the editing reference track in the form of a mask when the editing reference track is moved out of the video editing window, thereby reducing the impact on the user's video processing and improving the user experience.
  • FIG. 1 is a flowchart of a video processing method according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of the effect of a video editing window provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of overlapping and merging target audio data on multiple audio tracks according to an embodiment of the present disclosure
  • FIG. 4 is a schematic diagram of the effect of another video editing window provided by an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of a video processing apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a video processing device according to an embodiment of the present disclosure.
  • the video editing window can display more and more video editing functions by means of scroll bars.
  • scrolling based on scroll bars may result in tracks such as video tracks or audio tracks that are used to assist users in video editing. It is then displayed in the video editing window, thereby affecting the user's video editing experience.
  • the present disclosure provides a video processing method. Specifically, when it is detected that the editing reference track of the video to be processed moves out of the video editing window, a mask layer is displayed in the bottom area of the video editing window; wherein the editing reference track includes: video track and/or audio track. Then, based on the time axis on the video editing window, the editing reference track of the video to be processed is displayed on the mask layer; wherein, the editing reference track displayed on the mask layer is used to assist the user in editing the video to be processed in the video editing window. to edit.
  • the video processing method provided by the embodiment of the present disclosure can redisplay the editing reference track in the form of a mask when the editing reference track is moved out of the video editing window, thereby reducing the impact on the user's video processing and improving the user experience.
  • an embodiment of the present disclosure provides a video processing method.
  • a flowchart of a video processing method provided by an embodiment of the present disclosure includes:
  • the editing reference track of the video to be processed moves out of the video editing window, display a mask layer in the bottom area of the video editing window.
  • the editing reference track includes a video track and/or an audio track.
  • the video processing method provided by the embodiments of the present disclosure can be applied to functions such as video editing.
  • the video track and audio track play a certain auxiliary role in the user's video processing process. Therefore, when the user is processing the video to be processed, the video editing window should try to display the video track of the to-be-processed video. and audio tracks to enhance the user's video processing experience.
  • the embodiment of the present disclosure displays the editing reference track moved out of the video editing window in the form of a mask to reduce the impact on the user's video processing.
  • the user may need to scroll up and down the video editing window during the process of processing the video, and during the scrolling up and down process, the editing reference track in the video editing window may be moved out of the video editing window. , which is no longer displayed in the video editing window.
  • an embodiment of the present disclosure displays a mask layer in the bottom area of the video editing window, and redisplays the editing reference track on the mask layer.
  • the bottom area of the video editing window may be a display area determined based on the bottom boundary of the video editing window.
  • the mask layer displayed in the bottom area has a certain degree of transparency. While the editing reference track is displayed on the mask layer, the content display and operation control of the lower layer area covered by the mask layer are not affected. For example, the underlying area covered by the mask will update the display as the video editing window scrolls up and down.
  • a mask layer is displayed in the bottom area of the video editing window.
  • a mask layer is displayed in the bottom area of the video editing window.
  • a mask layer is displayed in the bottom area of the video editing window.
  • a mask layer is displayed in the bottom area of the video editing window.
  • a mask layer is displayed in the bottom area of the video editing window.
  • the video track may include a main video track, or the video track may include a main video track and a picture-in-picture track.
  • S102 Based on the timeline on the video editing window, display the editing reference track of the video to be processed on the mask layer.
  • the editing reference track displayed on the mask layer is used to assist the user to edit the video to be processed in the video editing window.
  • a time axis is displayed on the video editing window, and the editing reference track of the video to be processed is displayed on the mask layer based on the time axis, so that the editing reference track displayed on the mask layer is the same as the time axis displayed in the video editing window. Consistent, easy for users to edit the video to be processed.
  • the editing reference track is always displayed on the mask layer located at the bottom area of the video editing window, so as to facilitate the user to edit the video.
  • the mask layer and the editing reference track displayed on the mask layer can be hidden to avoid redundant display of the editing reference track.
  • the user can edit the video to be processed based on the editing reference track moved back into the video editing window.
  • a mask layer is displayed in the bottom area of the video editing window; wherein the editing reference track includes the video track and/or audio track. Then, based on the timeline on the video editing window, the editing reference track of the video to be processed is displayed on the mask layer; wherein, the editing reference track displayed on the mask layer is used to assist the user in editing the video to be processed in the video editing window .
  • the video processing method provided by the embodiments of the present disclosure can redisplay the editing reference track in the form of a mask when the editing reference track is moved out of the video editing window, thereby reducing the impact on the user's video processing and improving the user experience.
  • the audio track of the video to be processed may be displayed on the mask layer in a preset form.
  • the audio track of the video to be processed may be displayed in the form of visual lines. Specifically, first determine the time point when the target audio data exists in the audio track of the video to be processed, and then, based on the time point when the target audio data exists, generate the target audio visual line for the audio track of the video to be processed.
  • the target audio visual line is used to visualize the playback position of the target audio data in the video to be processed. That is, through the target audio visibility line, it is possible to determine where in the video to be processed the target audio data exists, for example, to determine the playing position of the background music in the video to be processed.
  • FIG. 2 a schematic diagram of the effect of a video editing window provided by an embodiment of the present disclosure, wherein a mask layer is displayed in the bottom area of the video editing window, and a video track and a target audio visual line are simultaneously displayed on the mask layer.
  • the target audio visual line may include at least one line segment
  • the video track may include a main video track and a picture-in-picture track.
  • only the video track may be displayed on the mask layer in the bottom area of the video editing window, or only the target audio visual line may be displayed, which is not limited in this embodiment of the present disclosure.
  • target audio data in this embodiment of the present disclosure may include music-type audio data and/or sound-effect-type audio data.
  • the audio data of the music type is usually electronic music, such as songs, light music, etc.
  • determining the time point when the target audio data exists in the audio track of the video to be processed may include determining the audio track of the video to be processed.
  • the audio track may include at least one audio track of a music type.
  • the audio data of the sound effect type is usually special effect audio, dubbing, text reading, etc., such as special effect audio "meow ⁇ " similar to cat meowing.
  • determining the time point at which the target audio data exists in the audio track of the video to be processed may include determining the time point at which audio data of a sound effect type exists in the audio track of the video to be processed.
  • the audio track may include at least one audio track of a sound effect type.
  • the time point at which the target audio data exists on the audio track is determined as the existence of the target audio data in the audio track of the video to be processed. time point.
  • the audio track containing the target audio data in the video to be processed includes at least two audio tracks
  • the following takes the first audio track and the second audio track as an example, then determine the audio of the video to be processed The time point when the target audio data exists in the track, including:
  • the time points where the target audio data exists on the audio track is merged to obtain the merged time point, and finally, based on the merged time point, the target audio visual line is generated for the video to be processed.
  • FIG. 3 it is a schematic diagram of merging time points when target audio data exists on multiple audio tracks according to an embodiment of the present disclosure, wherein the first audio track includes audio data A and audio data B, and the second audio track includes audio data A and audio data B.
  • Including audio data C after the time points corresponding to audio data A, audio data B and audio data C are merged based on the time axis, the merged time point is obtained, that is, the time when audio data A, audio data B or audio data C exists. point.
  • the time points corresponding to the audio data A, audio data B and audio data C are merged, specifically, the time points at which at least one of the audio data A, audio data B and audio data C exists in the video to be processed are reserved, and use to form the target audio visual line.
  • the target audio data may include audio data of music type and audio data of sound effect type. Therefore, in this embodiment of the present disclosure, corresponding visual lines may be generated for the audio data of music type and the audio data of sound effect type respectively. . Specifically, based on the time point when the audio track of the video to be processed exists the audio data of the music type, a music audio visual line is generated, and at the same time, based on the time point when the audio track of the video to be processed has the audio data of the sound effect type, the sound effect audio is generated. Visible line.
  • FIG. 4 it is a schematic diagram of the effect of another video editing window provided by an embodiment of the present disclosure.
  • the main video track, the picture-in-picture track, the audio visual line L1 of music type and the audio visual line L2 of sound effect type are displayed based on the same time axis.
  • the video processing method provided by the embodiment of the present disclosure can display the time point when the target audio data exists in the audio track for the user in the form of a visual line, and optimize the display effect of the video editing window without affecting the video processing, which is convenient for the user to operate , to improve the user experience.
  • music stepping is an important reference factor. Therefore, in the embodiment of the present disclosure, before displaying the target audio visual line on the mask layer based on the timeline on the video editing window, also It is necessary to determine the music taps of the video to be processed, and then display the music taps, so as to facilitate the user to process the video and improve the user experience.
  • the music stepping point is determined from the time point when the target audio data exists on the audio track of the video to be processed, and then the music stepping point is marked on the music-type audio visual line.
  • the music stepping is used to identify the rhythm, melody, etc. in the music.
  • the music stepping point may be automatically generated in advance or manually determined by the user, which is not limited herein.
  • the music tap on the audio track is determined as the music tap of the video to be processed.
  • the audio track of the music type audio data in the video to be processed includes at least two audio tracks
  • the following takes the third audio track and the fourth audio track as an example
  • the The music stamps on the third audio track and the fourth audio track are superimposed to determine the music stamps in the video to be processed.
  • the music hits have been marked on the audio track of the music genre.
  • the target audio visual line is displayed for the user on the mask layer, but also the music stepping point is displayed for the user, which can optimize the display effect of the video editing window without affecting the video processing, which is convenient for the user.
  • User operation improve user experience.
  • FIG. 5 a schematic structural diagram of a video processing apparatus provided in an embodiment of the present disclosure includes:
  • the first display module 501 is configured to display a mask in the bottom area of the video editing window when detecting that the video track of the video to be processed moves out of the video editing window;
  • the second display module 502 is configured to display the editing reference track of the video to be processed on the mask layer based on the timeline on the video editing window; wherein the editing reference track includes a video track and/or an audio track, and the editing reference track includes a video track and/or an audio track.
  • the reference track is used to assist the user to edit the video to be processed in the video editing window.
  • the above device further includes:
  • the hiding module is used to hide the mask layer and the editing reference track displayed on the mask layer when it is detected that the editing reference track moved out of the video editing window is moved back into the video editing window.
  • the above-mentioned second display module 502 is specifically used for:
  • the audio track of the video to be processed is displayed in a preset form on the mask.
  • the above-mentioned device further includes:
  • the first determination module is used to determine the time point at which target audio data exists on the audio track of the video to be processed; the target audio data includes audio data of music type or audio data of sound effect type;
  • a generation module is used to generate a target audio visual line for the audio track of the video to be processed based on the time point when the target audio data exists; wherein, the target audio visual line is used to visualize the playback position of the target audio data in the video to be processed ;
  • the above-mentioned second display module 502 is specifically used for:
  • the above target audio visual line is displayed on the mask.
  • the audio track of the video to be processed includes a first audio track and a second audio track
  • the first determining module includes:
  • a first determining submodule used to determine the time points at which target audio data exists on the first audio track and the second audio track respectively;
  • a merging submodule for merging the time points when the target audio data exists on this first audio track and this second audio track, to obtain a merged time point
  • the above generation module is specifically used for:
  • a target audio visual line is generated for the video to be processed.
  • the above-mentioned target audio data includes music-type audio data; the above-mentioned device further includes:
  • the marking module is used to mark the music stepping on the above-mentioned target audio visual line.
  • the above-mentioned target audio data includes audio data of a sound effect type.
  • a mask layer is displayed in the bottom area of the video editing window; wherein the editing reference track includes the video track and/or audio track. Then, based on the time axis on the video editing window, the editing reference track of the video to be processed is displayed on the mask layer; wherein, the editing reference track displayed on the mask layer is used to assist the user in the video editing window to be processed. video for editing.
  • the video processing apparatus provided by the embodiment of the present disclosure can redisplay the editing reference track in the form of a mask when the editing reference track is moved out of the video editing window, thereby reducing the impact on the user's video processing and improving the user experience.
  • an embodiment of the present disclosure also provides a computer-readable storage medium, where an instruction is stored in the computer-readable storage medium, and when the instruction is executed on a terminal device, the terminal device can implement the implementation of the present disclosure. Any implementation of the video processing method provided in the example.
  • an embodiment of the present disclosure further provides a video processing device, as shown in FIG. 6 , which may include:
  • Processor 601 , memory 602 , input device 603 and output device 604 The number of processors 601 in the video processing device may be one or more, and one processor is taken as an example in FIG. 6 .
  • the processor 601 , the memory 602 , the input device 603 and the output device 604 may be connected by a bus or in other ways, wherein the connection by a bus is taken as an example in FIG. 6 .
  • the memory 602 can be used to store software programs and modules, and the processor 601 executes various functional applications and data processing of the video processing device by running the software programs and modules stored in the memory 602.
  • the memory 602 may mainly include a stored program area and a stored data area, wherein the stored program area may store an operating system, an application program required for at least one function, and the like. Additionally, memory 602 may include high-speed random access memory, and may also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other volatile solid state storage device.
  • the input device 603 may be used to receive input numerical or character information, and to generate signal input related to user settings and function control of the video processing device.
  • the processor 601 loads the executable files corresponding to the processes of one or more application programs into the memory 602 according to the following instructions, and the processor 601 executes the executable files stored in the memory 602 application program, so as to realize various functions of the above-mentioned video processing device.

Abstract

本公开提供了一种视频处理方法、装置、设备及存储介质，所述方法包括：当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在所述视频编辑窗口的底部区域显示蒙层；所述编辑参考轨道包括视频轨道和/或音频轨道。然后，基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道；其中，在所述蒙层上显示的所述编辑参考轨道用于辅助用户在所述视频编辑窗口中对所述待处理视频进行编辑。可见，本公开实施例提供的视频处理方法，能够在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提高用户体验。

Description

一种视频处理方法、装置、设备及存储介质
本申请要求于2020年11月24日提交中国专利局、申请号为202011329694.5、申请名称为“一种视频处理方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及数据处理领域，尤其涉及一种视频处理方法、装置、设备及存储介质。
背景技术
随着视频处理技术的不断发展，对视频处理的功能也更加多样化。例如，对视频的剪辑不仅为用户提供添加音乐、特效等声音的功能，还为用户提供了在视频画面中添加贴纸、文本等的功能，丰富了用户处理视频的体验。
但是，随着视频处理功能的多样化，视频处理界面上的交互功能越来越繁杂，导致用户在视频处理过程中的操作不便，进而影响了用户的视频处理体验。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视频处理方法、装置、设备及存储介质，在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提高用户体验。
第一方面，本公开提供了一种视频处理方法，所述方法包括：
当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在所述视频编辑窗口的底部区域显示蒙层；所述编辑参考轨道包括视频轨道和/或音频轨道；
基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道；其中，在所述蒙层上显示的所述编辑参考轨道用于辅助用户在所述视频编辑窗口中对所述待处理视频进行编辑。
一种可能的实施方式中，所述方法还包括：
当检测到移出所述视频编辑窗口的所述编辑参考轨道重新移入到所述视频编辑窗口时，隐藏所述蒙层以及所述蒙层上显示的所述编辑参考轨道。
一种可能的实施方式中，所述基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道，包括：
基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述待处理视频的音频轨道。
一种可能的实施方式中，所述基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述待处理视频的音频轨道之前，还包括：
确定所述待处理视频的音频轨道上存在目标音频数据的时间点；所述目标音频数据包括音乐类型的音频数据或音效类型的音频数据；
基于所述存在目标音频数据的时间点，为所述待处理视频的音频轨道生成目标音频可视线；其中，所述目标音频可视线用于可视化所述目标音频数据在所述待处理视频中的播放位置；
相应的，所述基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述 待处理视频的音频轨道，包括：
基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述目标音频可视线。
一种可能的实施方式中，所述待处理视频的音频轨道包括第一音频轨道和第二音频轨道，所述确定所述待处理视频的音频轨道中存在目标音频数据的时间点，包括：
分别确定所述第一音频轨道上存在目标音频数据的时间点和所述第二音频轨道上存在目标音频数据的时间点；
将所述第一音频轨道上存在目标音频数据的时间点和所述第二音频轨道上存在目标音频数据的时间点合并，得到合并后时间点；
相应的，所述基于所述存在目标音频数据的时间点，为所述待处理视频的音频轨道生成目标音频可视线，包括：
基于所述合并后时间点，为所述待处理视频生成目标音频可视线。
一种可能的实施方式中，所述目标音频数据包括音乐类型的音频数据；所述基于所述视频编辑窗口上的时间轴，在所述蒙层上显示目标音频可视线之前，还包括：
在所述目标音频可视线上标记音乐踩点。
一种可能的实施方式中，所述目标音频数据包括音效类型的音频数据。
第二方面，本公开提供了一种视频处理装置，所述装置包括：
第一显示模块，用于在检测到待处理视频的视频轨道移出视频编辑窗口时，在所述视频编辑窗口的底部区域显示蒙层；
第二显示模块，用于基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道；其中，所述编辑参考轨道包括视频轨道和/或音频轨道，所述编辑参考轨道用于辅助用户在所述视频编辑窗口中对所述待处理视频进行编辑。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种视频处理方法，当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层；其中，编辑参考轨道包括视频轨道和/或音频轨道。然后，基于视频编辑窗口上的时间轴，在蒙层上显示待处理视频的编辑参考轨道；其中，在该蒙层上显示的编辑参考轨道用于辅助用户在视频编辑窗口中对待处理视频进行编辑。可见，本公开实施例提供的视频处理方法，能够在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提高用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种视频处理方法的流程图；
图2为本公开实施例提供的一种视频编辑窗口的效果示意图；
图3为本公开实施例提供的一种多条音频轨道上的目标音频数据叠合并的示意图；
图4为本公开实施例提供的另一种视频编辑窗口的效果示意图；
图5为本公开实施例提供的一种视频处理装置的结构示意图；
图6为本公开实施例提供的一种视频处理设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
随着视频处理功能的多样化，视频编辑窗口上的编辑功能越来越繁杂，用户在视频处理过程中可能存在操作不便等情况，影响了用户的使用体验。
实际应用场景中，视频编辑窗口可以通过滚动条的方式显示越来越多的视频编辑功能，但是，基于滚动条的滚动可能导致视频轨道或者音频轨道等用于辅助用户进行视频编辑的轨道，不再显示于视频编辑窗口中，从而影响了用户的视频编辑体验。
为此，本公开提供了一种视频处理方法，具体的，当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层；其中，编辑参考轨道包括视频轨道和/或音频轨道。然后，基于视频编辑窗口上的时间轴，在蒙层上显示待处理视频的编辑参考轨道；其中，在该蒙层上显示的编辑参考轨道用于辅助用户在视频编辑窗口中对该待处理视频进行编辑。
可见，本公开实施例提供的视频处理方法，能够在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提升用户体验。
基于此，本公开实施例提供了一种视频处理方法，参考图1，为本公开实施例提供的一种视频处理方法的流程图，该方法包括：
S101：当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层。其中，编辑参考轨道包括视频轨道和/或音频轨道。
本公开实施例提供的视频处理方法可以应用于视频剪辑等功能中。
实际应用中，视频轨道和音频轨道在用户视频处理的过程中起到一定的辅助作用，因此，在用户对待处理视频进行处理的过程中，在视频编辑窗口上应该尽量显示有待处理视频的视频轨道和音频轨道，以提升用户的视频处理体验。
为此，本公开实施例在检测到待处理视频的编辑参考轨道移出视频编辑窗口时，以蒙 层的形式对移出视频编辑窗口的编辑参考轨道进行显示，以降低对用户视频处理的影响。
一种可能的实施方式中，用户在对视频进行处理的过程中，可能需要对视频编辑窗口进行上下滚动，而在上下滚动的过程中，可能导致视频编辑窗口中的编辑参考轨道移出视频编辑窗口，即不再显示于视频编辑窗口中。为了降低对用户视频处理的影响，本公开实施例在视频编辑窗口的底部区域显示蒙层，并在蒙层上重新显示编辑参考轨道。
其中，视频编辑窗口的底部区域可以为基于视频编辑窗口的底部边界确定的显示区域。在底部区域显示的蒙层具有一定的透明度，在蒙层上显示编辑参考轨道的同时，不影响被蒙层覆盖的下层区域的内容显示以及操作控制。例如，被蒙层覆盖的下层区域会随着视频编辑窗口的上下滚动而更新显示内容。
一种可能的实施方式中，当检测到待处理视频的视频轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层。或者，当检测到待处理视频的音频轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层。或者，当检测到待处理视频的视频轨道和音频轨道均移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层。其中，视频轨道可以包括主视频轨道，或者视频轨道可以包括主视频轨道和画中画轨道。
S102：基于视频编辑窗口上的时间轴，在蒙层上显示待处理视频的编辑参考轨道。其中，在蒙层上显示的编辑参考轨道用于辅助用户在视频编辑窗口中对待处理视频进行编辑。
本公开实施例中，视频编辑窗口上显示有时间轴，基于该时间轴在蒙层上显示待处理视频的编辑参考轨道，使得蒙层上显示的编辑参考轨道与视频编辑窗口中显示的时间轴一致，便于用户对待处理视频进行编辑。
一种可能的实施方式中，在编辑参考轨道移出视频编辑窗口之后，位于视频编辑窗口底部区域的蒙层上始终显示有编辑参考轨道，以便于用户对视频的编辑。而在检测到移出视频编辑窗口的编辑参考轨道重新移入到视频编辑窗口时，可以隐藏蒙层以及蒙层上显示的编辑参考轨道，避免对编辑参考轨道的冗余显示。此时，用户可以基于重新移入视频编辑窗口的编辑参考轨道，对待处理视频进行编辑。
本公开实施例提供的视频处理方法中，当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层；其中，编辑参考轨道包括视频轨道和/或音频轨道。然后，基于视频编辑窗口上的时间轴，在蒙层上显示待处理视频的编辑参考轨道；其中，在该蒙层上显示的编辑参考轨道用于辅助用户在视频编辑窗口中对待处理视频进行编辑。可见，本公开实施例提供的视频处理方法，能够在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提高用户体验。
实际应用中，对于编辑参考轨道包括音频轨道的情况，在蒙层上可以以预设形式显示待处理视频的音频轨道。
一种可能的实施方式中，可以以可视线的形式显示待处理视频的音频轨道。具体的，首先确定待处理视频的音频轨道中存在目标音频数据的时间点，然后，基于该存在目标音频数据的时间点，为该待处理视频的音频轨道生成目标音频可视线。其中，该目标音频可视线用于可视化该待处理视频中该目标音频数据的播放位置。也就是说，通过目标音频可 视线可以确定待处理视频中哪些位置存在目标音频数据，例如确定待处理视频中背景音乐的播放位置。
如图2所示，为本公开实施例提供的一种视频编辑窗口的效果示意图，其中，在视频编辑窗口的底部区域显示有蒙层，在蒙层上同时显示有视频轨道和目标音频可视线。其中，目标音频可视线可以包括至少一条线段，而视频轨道可以包括主视频轨道和画中画轨道。
当然，在一些实施方式中，在视频编辑窗口的底部区域的蒙层上可以仅显示视频轨道，也可以仅显示目标音频可视线，对于此本公开实施例不做限制。
另外，本公开实施例中的目标音频数据可以包括音乐类型的音频数据，和/或，音效类型的音频数据。
具体的，音乐类型的音频数据通常为电子音乐，如歌曲、轻音乐等，本公开实施例中的确定待处理视频的音频轨道中存在目标音频数据的时间点，可以包括确定待处理视频的音频轨道中存在音乐类型的音频数据的时间点。其中，音频轨道可以包括至少一条音乐类型的音频轨道。
而音效类型的音频数据通常为特效音频、配音、文本朗读等，如类似猫叫的特效音频“喵～”。本公开实施例中的确定待处理视频的音频轨道中存在目标音频数据的时间点，可以包括确定待处理视频的音频轨道中存在音效类型的音频数据的时间点。其中，音频轨道可以包括至少一条音效类型的音频轨道。
一种可能的实施方式中，如果待处理视频中存在目标音频数据的音频轨道仅有一条，则将该音频轨道上存在目标音频数据的时间点确定为待处理视频的音频轨道中存在目标音频数据的时间点即可。
另一种可能的实施方式中，如果待处理视频中存在目标音频数据的音频轨道包括至少两条音频轨道，以下以第一音频轨道和第二音频轨道为例，则确定该待处理视频的音频轨道中存在目标音频数据的时间点，具体包括：
首先，分别确定第一音频轨道中存在目标音频数据的时间点和第二音频轨道中存在目标音频数据的时间点；然后，将该第一音频轨道中存在目标音频数据的时间点和该第二音频轨道上存在目标音频数据的时间点合并，得到合并后时间点，最终基于合并后时间点，为该待处理视频生成目标音频可视线。
如图3所示，为本公开实施例提供的一种多条音频轨道上存在目标音频数据的时间点合并的示意图，其中，第一音频轨道包括音频数据A和音频数据B，第二音频轨道包括音频数据C，基于时间轴将音频数据A、音频数据B和音频数据C分别对应的时间点进行合并后，得到合并后时间点，即存在音频数据A、音频数据B或音频数据C的时间点。其中，对音频数据A、音频数据B和音频数据C分别对应的时间点进行合并，具体是将待处理视频中存在音频数据A、音频数据B和音频数据C中至少一个的时间点保留，用于构成目标音频可视线。
一种可能的实施方式中，目标音频数据可以包括音乐类型的音频数据和音效类型的音频数据，因此，本公开实施例可以分别为音乐类型的音频数据和音效类型的音频数据生成对应的可视线。具体的，基于待处理视频的音频轨道上存在音乐类型的音频数据的时间点，生成音乐音频可视线，同时，基于待处理视频的音频轨道上存在音效类型的音频数据的时 间点，生成音效音频可视线。
如图4所示，为本公开实施例提供的另一种视频编辑窗口的效果示意图。其中，在视频编辑窗口的蒙层上，基于同一时间轴显示有主视频轨道、画中画轨道、音乐类型的音频可视线L1和音效类型的音频可视线L2。
本公开实施例提供的视频处理方法，能够以可视线的形式为用户展示音频轨道中存在目标音频数据的时间点，在不影响视频处理的前提下，优化视频编辑窗口的显示效果，便于用户操作，提升用户使用体验。
实际应用中，对视频进行处理的过程中，音乐踩点是其中的一个重要参考因素，因此，本公开实施例在基于视频编辑窗口上的时间轴，在蒙层上显示目标音频可视线之前，还需要确定待处理视频的音乐踩点，然后对音乐踩点进行展示，便于用户对视频的处理，提升用户体验。
具体的，目标音频数据为音乐类型的音频数据时，从待处理视频的音频轨道上存在目标音频数据的时间点中确定音乐踩点，然后，在音乐类型的音频可视线上标记音乐踩点。
其中，音乐踩点用于标识音乐中的节奏、旋律等。音乐踩点可以为预先自动生成的，也可以为用户手动确定的，在此不做限定。
一种可能的实施方式中，如果待处理视频中存在音乐类型的音频数据的音频轨道仅有一条，则将该音频轨道上的音乐踩点，确定为待处理视频的音乐踩点。
另一种可能的实施方式中，如果待处理视频中存在音乐类型的音频数据的音频轨道包括至少两条音频轨道，以下以第三音频轨道和第四音频轨道为例，则可以基于时间轴将第三音频轨道和第四音频轨道上的音乐踩点进行叠加，确定待处理视频中的音乐踩点。如图4所示，音乐类型的音频轨道上已标记出音乐踩点。
本公开实施例提供的视频处理方法中，在蒙层上不仅为用户展示目标音频可视线，还为用户展示音乐踩点，能够在不影响视频处理的前提下，优化视频编辑窗口的显示效果，便于用户操作，提升用户使用体验。
与上述方法实施例基于同一个发明构思，本公开还提供了一种视频处理装置，参考图5，为本公开实施例提供的一种视频处理装置的结构示意图，该装置包括：
第一显示模块501，用于在检测到待处理视频的视频轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层；
第二显示模块502，用于基于该视频编辑窗口上的时间轴，在该蒙层上显示该待处理视频的编辑参考轨道；其中，该编辑参考轨道包括视频轨道和/或音频轨道，该编辑参考轨道用于辅助用户在该视频编辑窗口中对该待处理视频进行编辑。
一种可能的实施方式中，上述装置还包括：
隐藏模块，用于在检测到移出视频编辑窗口的编辑参考轨道重新移入到该视频编辑窗口时，隐藏蒙层以及该蒙层上显示的编辑参考轨道。
一种可能的实施方式中，上述第二显示模块502，具体用于：
基于视频编辑窗口上的时间轴，在蒙层上以预设形式显示待处理视频的音频轨道。
一种可能的实施方式中，上述装置还包括：
第一确定模块，用于确定待处理视频的音频轨道上存在目标音频数据的时间点；该目标音频数据包括音乐类型的音频数据或音效类型的音频数据；
生成模块，用于基于存在目标音频数据的时间点，为待处理视频的音频轨道生成目标音频可视线；其中，该目标音频可视线用于可视化该目标音频数据在该待处理视频中的播放位置；
相应的，上述第二显示模块502，具体用于：
基于视频编辑窗口上的时间轴，在蒙层上显示上述目标音频可视线。
一种可能的实施方式中，上述待处理视频的音频轨道包括第一音频轨道和第二音频轨道，上述第一确定模块，包括：
第一确定子模块，用于分别确定该第一音频轨道和该第二音频轨道上存在目标音频数据的时间点；
合并子模块，用于将该第一音频轨道和该第二音频轨道上存在目标音频数据的时间点合并，得到合并后时间点；
相应的，上述生成模块，具体用于：
基于上述合并后时间点，为待处理视频生成目标音频可视线。
一种可能的实施方式中，上述目标音频数据包括音乐类型的音频数据；上述装置还包括：
标记模块，用于在上述目标音频可视线上标记音乐踩点。
一种可能的实施方式中，上述目标音频数据包括音效类型的音频数据。
本公开实施例提供的视频处理装置中，当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在该视频编辑窗口的底部区域显示蒙层；其中，编辑参考轨道包括视频轨道和/或音频轨道。然后，基于该视频编辑窗口上的时间轴，在该蒙层上显示该待处理视频的编辑参考轨道；其中，在该蒙层上显示的编辑参考轨道用于辅助用户在视频编辑窗口中对待处理视频进行编辑。可见，本公开实施例提供的视频处理装置，能够在编辑参考轨道移出视频编辑窗口时，以蒙层的形式重新显示编辑参考轨道，降低对用户处理视频的影响，提高用户体验。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在终端设备上运行时，使得该终端设备实现本公开实施例提供的视频处理方法的任一实施方式。
另外，本公开实施例还提供了一种视频处理设备，参见图6所示，可以包括：
处理器601、存储器602、输入装置603和输出装置604。视频处理设备中的处理器601的数量可以一个或多个，图6中以一个处理器为例。在本公开的一些实施例中，处理器601、存储器602、输入装置603和输出装置604可通过总线或其它方式连接，其中，图6中以通过总线连接为例。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的 软件程序以及模块，从而执行视频处理设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置603可用于接收输入的数字或字符信息，以及产生与视频处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现上述视频处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

  1. 一种视频处理方法，其特征在于，所述方法包括：
    当检测到待处理视频的编辑参考轨道移出视频编辑窗口时，在所述视频编辑窗口的底部区域显示蒙层；所述编辑参考轨道包括视频轨道和/或音频轨道；
    基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道；其中，在所述蒙层上显示的所述编辑参考轨道用于辅助用户在所述视频编辑窗口中对所述待处理视频进行编辑。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    当检测到移出所述视频编辑窗口的所述编辑参考轨道重新移入到所述视频编辑窗口时，隐藏所述蒙层以及所述蒙层上显示的所述编辑参考轨道。
  3. 根据权利要求1所述的方法，其特征在于，所述基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道，包括：
    基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述待处理视频的音频轨道。
  4. 根据权利要求3所述的方法，其特征在于，所述基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述待处理视频的音频轨道之前，还包括：
    确定所述待处理视频的音频轨道上存在目标音频数据的时间点；所述目标音频数据包括音乐类型的音频数据或音效类型的音频数据；
    基于所述存在目标音频数据的时间点，为所述待处理视频的音频轨道生成目标音频可视线；其中，所述目标音频可视线用于可视化所述目标音频数据在所述待处理视频中的播放位置；
    所述基于所述视频编辑窗口上的时间轴，在所述蒙层上以预设形式显示所述待处理视频的音频轨道，包括：
    基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述目标音频可视线。
  5. 根据权利要求4所述的方法，其特征在于，所述待处理视频的音频轨道包括第一音频轨道和第二音频轨道，所述确定所述待处理视频的音频轨道中存在目标音频数据的时间点，包括：
    分别确定所述第一音频轨道上存在目标音频数据的时间点和所述第二音频轨道上存在目标音频数据的时间点；
    将所述第一音频轨道上存在目标音频数据的时间点和所述第二音频轨道上存在目标音频数据的时间点合并，得到合并后时间点；
    所述基于所述存在目标音频数据的时间点，为所述待处理视频的音频轨道生成目标音频可视线，包括：
    基于所述合并后时间点，为所述待处理视频生成目标音频可视线。
  6. 根据权利要求4或5所述的方法，其特征在于，所述目标音频数据包括音乐类型的音频数据；所述基于所述视频编辑窗口上的时间轴，在所述蒙层上显示目标音频可视线之前，还包括：
    在所述目标音频可视线上标记音乐踩点。
  7. 根据权利要求4或5所述的方法，其特征在于，所述目标音频数据包括音效类型的音频数据。
  8. 一种视频处理装置，其特征在于，所述装置包括：
    第一显示模块，用于在检测到待处理视频的视频轨道移出视频编辑窗口时，在所述视频编辑窗口的底部区域显示蒙层；
    第二显示模块，用于基于所述视频编辑窗口上的时间轴，在所述蒙层上显示所述待处理视频的编辑参考轨道；其中，所述编辑参考轨道包括视频轨道和/或音频轨道，所述编辑参考轨道用于辅助用户在所述视频编辑窗口中对所述待处理视频进行编辑。
  9. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7任一项所述的方法。
  10. 一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的方法。
PCT/CN2021/131772 2020-11-24 2021-11-19 一种视频处理方法、装置、设备及存储介质 WO2022111392A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21896893.1A EP4240020A1 (en) 2020-11-24 2021-11-19 Video processing method and apparatus, and device and storage medium
JP2023531526A JP2023550187A (ja) 2020-11-24 2021-11-19 ビデオ処理方法、装置、機器及び記憶媒体
US18/322,221 US11871072B2 (en) 2020-11-24 2023-05-23 Video processing method and apparatus, and device and storage medium
US18/521,387 US20240098328A1 (en) 2020-11-24 2023-11-28 Video processing method and apparatus, and device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011329694.5 2020-11-24
CN202011329694.5A CN112468864A (zh) 2020-11-24 2020-11-24 一种视频处理方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/322,221 Continuation US11871072B2 (en) 2020-11-24 2023-05-23 Video processing method and apparatus, and device and storage medium

Publications (1)

Publication Number Publication Date
WO2022111392A1 true WO2022111392A1 (zh) 2022-06-02

Family

ID=74798573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/131772 WO2022111392A1 (zh) 2020-11-24 2021-11-19 一种视频处理方法、装置、设备及存储介质

Country Status (5)

Country Link
US (2) US11871072B2 (zh)
EP (1) EP4240020A1 (zh)
JP (1) JP2023550187A (zh)
CN (2) CN117750112A (zh)
WO (1) WO2022111392A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117750112A (zh) 2020-11-24 2024-03-22 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842325A (zh) * 2012-08-28 2012-12-26 深圳市万兴软件有限公司 一种音视频编辑轨道的管理方法和装置
US20140219636A1 (en) * 2013-02-06 2014-08-07 Adobe Systems Inc. Method and apparatus for context-aware automatic zooming of a video sequence
CN106937021A (zh) * 2015-12-31 2017-07-07 上海励丰创意展示有限公司 基于时间轴多轨回放技术的演出集成控制方法
CN110602562A (zh) * 2019-08-30 2019-12-20 杭州影笑科技有限责任公司 一种基于视频编辑的多素材轨道显示方法
CN110971957A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 一种视频编辑方法、装置以及移动终端
CN111757013A (zh) * 2020-07-23 2020-10-09 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN112468864A (zh) * 2020-11-24 2021-03-09 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668639A (en) * 1995-03-21 1997-09-16 Comunicacion Integral Method for video editing
US20100042682A1 (en) * 2008-08-15 2010-02-18 Evan John Kaye Digital Rights Management for Music Video Soundtracks
US8655854B2 (en) * 2010-07-27 2014-02-18 Avid Technology, Inc. Hierarchical multimedia program composition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842325A (zh) * 2012-08-28 2012-12-26 深圳市万兴软件有限公司 一种音视频编辑轨道的管理方法和装置
US20140219636A1 (en) * 2013-02-06 2014-08-07 Adobe Systems Inc. Method and apparatus for context-aware automatic zooming of a video sequence
CN106937021A (zh) * 2015-12-31 2017-07-07 上海励丰创意展示有限公司 基于时间轴多轨回放技术的演出集成控制方法
CN110971957A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 一种视频编辑方法、装置以及移动终端
CN110602562A (zh) * 2019-08-30 2019-12-20 杭州影笑科技有限责任公司 一种基于视频编辑的多素材轨道显示方法
CN111757013A (zh) * 2020-07-23 2020-10-09 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN112468864A (zh) * 2020-11-24 2021-03-09 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117750112A (zh) 2024-03-22
US11871072B2 (en) 2024-01-09
US20230308710A1 (en) 2023-09-28
JP2023550187A (ja) 2023-11-30
US20240098328A1 (en) 2024-03-21
CN112468864A (zh) 2021-03-09
EP4240020A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US8745513B2 (en) Method and apparatus for use in accessing content
JP5752708B2 (ja) 電子テキスト処理及び表示
JP2713330B2 (ja) オブジェクトの複数のマルチメディア表示を提示する方法及びシステム
US20060069997A1 (en) Device and method for processing information
TW200416600A (en) System and method for annotating multi-modal characteristics in multimedia documents
US20160231905A1 (en) Multimedia apparatus and method for providing content
JPH0785243A (ja) データ処理方法
US20240098328A1 (en) Video processing method and apparatus, and device and storage medium
WO2020259130A1 (zh) 精选片段处理方法、装置、电子设备及可读介质
JP2012185323A (ja) 再生装置、再生方法、プログラムおよび記録媒体
US9727547B2 (en) Media interface tools and animations
US20130067410A1 (en) Viewing target output apparatus, and operation method thereof
US20150046957A1 (en) Tvod song playing method and player therefor
TWI741198B (zh) 視頻展示方法及裝置
US10740542B2 (en) Presentation system and method
JPH07282079A (ja) リンク表示方法
KR101853322B1 (ko) 학습 콘텐츠 편집 기능을 가진 학습 애플리케이션 제공 단말 및 그 학습 콘텐츠 편집 방법
JPH08160989A (ja) サウンドデータリンク編集方法
JP2002222053A (ja) 液晶タッチパネルを用いた仮名入力方法
AU2016202713B2 (en) Electronic text manipulation and display
TWI556154B (zh) 觸控資訊時間的記錄方法、裝置、系統及其電腦可讀取媒體
JP2014149736A (ja) 情報処理装置、コンピュータプログラム
JPH08115335A (ja) マルチメディア処理装置
JP2009258867A (ja) 表示装置、プログラム、及び表示方法
US20140289606A1 (en) Systems and Methods For Attribute Indication and Accessibility in Electronics Documents

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21896893

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531526

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021896893

Country of ref document: EP

Effective date: 20230530