WO2020007083A1 - 视频关联信息的处理方法、装置、电子设备及存储介质 - Google Patents

视频关联信息的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2020007083A1
WO2020007083A1 PCT/CN2019/081685 CN2019081685W WO2020007083A1 WO 2020007083 A1 WO2020007083 A1 WO 2020007083A1 CN 2019081685 W CN2019081685 W CN 2019081685W WO 2020007083 A1 WO2020007083 A1 WO 2020007083A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
identification information
information
same
content segment
Prior art date
Application number
PCT/CN2019/081685
Other languages
English (en)
French (fr)
Inventor
陈大伟
刘宝
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to US16/980,700 priority Critical patent/US11250267B2/en
Priority to SG11202011218UA priority patent/SG11202011218UA/en
Publication of WO2020007083A1 publication Critical patent/WO2020007083A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Definitions

  • Embodiments of the present disclosure provide a method, a device, an electronic device, and a storage medium for processing video association information, so that when performing video association, the association relationship between videos can be accurately and comprehensively reflected.
  • an embodiment of the present disclosure provides a method for processing video related information, including:
  • an embodiment of the present disclosure provides a device for processing video related information, including: a storage module, a receiving module, and a sending module;
  • a storage module configured to store an association relationship between the identification information of the first video and the identification information of the second video, wherein the first video and the second video include the same video content segment;
  • the receiving module is configured to receive a video query response message; and in a case where the video query request message includes identification information of the first video, the video query response message includes identification information of a second video associated with the identification information of the first video; In the case where the video query request message includes the identification information of the second video, the video query response message includes the identification information of the first video associated with the identification information of the second video; wherein the first video and the second video Include the same video content clip.
  • an embodiment of the present disclosure further provides an electronic device, including:
  • Memory set to store one or more programs
  • the one or more processors When one or more programs are executed by one or more processors, the one or more processors implement the method for processing video related information according to the foregoing embodiment, and / or, the video related information according to the foregoing embodiment is implemented Query method.
  • an embodiment of the present disclosure further provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, and the computer program implements the video association according to the foregoing embodiment when executed by a processor.
  • FIG. 2 is a schematic flowchart of another method for processing video related information according to an embodiment of the present disclosure
  • FIG. 4 is a schematic structural diagram of a device for processing video related information according to an embodiment of the present disclosure
  • FIG. 5 is a schematic structural diagram of another apparatus for processing video-related information according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a device for querying video related information according to an embodiment of the present disclosure
  • FIG. 7 is a schematic structural diagram of an electronic device according to an embodiment of the present disclosure.
  • the embodiments of the present disclosure provide a method and device for processing video related information, an electronic device, and a storage medium.
  • the video related relationship can be established based on the same video content, the video related method is optimized, and the video related result is more accurate and flexible.
  • This scenario may include a terminal device (such as a smart TV, a mobile phone, etc.) capable of playing a video, a server, or a terminal device and a server.
  • the server may include an application server that provides support for the terminal device, a storage server that stores video resources, or an association server that stores video associations.
  • the storage server and the association server respectively provide a business interface for the application server, so that the application server can respond to one or more instructions input by the user through the terminal device.
  • the storage device and the query device can be association server and application server respectively, and the storage device and query device can be the database module of the application server and the playback control module of the application server, etc., but these also It is only an example, and is not a limitation on the technical solution.
  • S110 Store an association relationship between the identification information of the first video and the identification information of the second video.
  • the association server stores an association relationship between the identification information of the first video and the identification information of the second video in the storage module.
  • the first video and the second video include the same video content segment.
  • the first video and the second video include the same video content segment, which means that a certain length of video content segment included in the first video is also included in the second video, such as the first video and the second video.
  • Both are fragments of a TV series
  • the first video includes a video content of an episode
  • the second video includes the entire video content of the episode
  • the first video and the second video are fragments of a TV series
  • the first video includes a video content of the M-th episode and a video content of the N-th episode
  • the second video includes the entire video content of the M-th episode.
  • the association server may obtain the identification information of the first video and the identification information of the second video in multiple ways. The obtaining methods will be described in the following embodiments.
  • the storage module stores the identification information of the first video. An association relationship with the identification information of the second video.
  • the association relationship server After the association relationship server obtains the association relationship between the identification information of the first video and the identification information of the second video, the association relationship server stores the association between the identification information of the first video and the identification information of the second video in the storage module. relationship.
  • the association relationship between the identification information of the first video and the identification information of the second video may be stored in the same storage module or in different storage modules.
  • the association relationship between the identification information of the first video and the identification information of the second video is stored in the same storage module, the association relationship between the identification information of the first video and the identification information of the second video is stored At this time, a data fusion operation may be adopted to store the association relationship between the identification information of the first video and the identification information of the second video in a predetermined format.
  • association relationship between the obtained identification information of the first video and the identification information of the second video is stored in different storage modules
  • different query interfaces may be provided for different storage modules for querying.
  • the relationship server it can set a unified external service interface to execute S120 and S130 described below.
  • the association server may separately provide external service interfaces by different storage modules.
  • the association server receives a video query request message.
  • the video query request message includes identification information of the first video or identification information of the second video.
  • the video query request message includes the identification information of the first video
  • acquire the identification information of the second video associated with the identification information of the first video and return a video query response message including the identification information of the second video
  • the video query request message includes the identification information of the second video
  • the identification information of the first video associated with the identification information of the second video is acquired, and a video query response message including the identification information of the first video is returned.
  • the identification information of the two videos obtains the identification information of the first video, that is, if the video query request message includes the identification information of the second video, the association server obtains the identification information of the associated first video in the storage module and sends the identification information to the application server.
  • a video query response message including identification information of the first video is returned.
  • a video query request is initiated, and the application server receives the second video associated with the identification information of the first video After the identification information is displayed, the terminal device may be prompted with the prompt information that the second video can be played for selection by the user.
  • the identification information of the first video and the identification information of the second video are stored in the association server as an example, but in fact, those skilled in the art can also use the above
  • the association relationship is stored in the database of the application server, then the above method can be executed between the playback control module and the database module inside the application server, that is, the playback control module initiates a video query request message, and the database module returns a video query response message, and
  • the association relationship may be generated on other devices, and at a certain moment, for example, when the first video or the second video is released, the above association relationship is stored in a database of an application server.
  • the technical solution provided by the embodiment of the present disclosure can more accurately and comprehensively reflect the association relationship between videos than the related art using video names to determine the association relationship between videos, so that the associated videos provided to the application server also Can be more accurate and comprehensive.
  • the method may be to separately set a video content analysis device, which can analyze the video content of at least two videos, and obtain two videos including the same video content segment as the first video, respectively. And the second video to obtain the association between the identification information of the first video and the identification information of the second video, the video content analysis device obtains the identification information of the first video and the identification information of the second video After sending the association relationship, you can send it to the association server to achieve the above association relationship on the association server.
  • the video content analysis device analyzes the video content of the first video, the second video, and the third video to obtain the first video and the second video.
  • the same video content segment is included between videos, the same video content segment is not included between the first video and the third video, and the same video content segment is not included between the second video and the third video. Therefore, the video content analysis device Establish and store an association relationship between the identification information of the first video and the identification information of the second video, and send the association relationship between the identification information of the first video and the identification information of the second video to the association relationship server.
  • the above analysis of at least two video contents to obtain the same video content segment may be frame decimation of the video to be analyzed, obtaining multiple frame images, and then extracting multiple types of each frame image.
  • Image features The type of image features is not limited. At this time, multiple image features capable of characterizing the image can be obtained. Then, the video of the video to be analyzed is determined according to each image feature of the same kind in multiple frame images of the video to be analyzed.
  • the above-mentioned multiple image features can be arranged according to the order of corresponding frame images in the video to obtain video features, so that multiple types of video features can be obtained; finally, the multiple types of video features obtained above are to be analyzed Sequence comparison of videos is performed to obtain the similarity of the video to be analyzed, and a threshold can be set for the similarity. Only when the similarity is greater than a preset threshold, the two videos participating in the analysis are considered to include the same video content segment.
  • the second video may be subjected to video segmentation according to the video segmentation technology to obtain the first video, and the association relationship between the identification information of the first video and the identification information of the second video may be obtained.
  • a video segmentation device can also be provided to perform video segmentation by the video segmentation device.
  • the second video is segmented to obtain the first video. Because the first video is part of the second video, the two must include the same.
  • the video content fragment of the video, the association relationship between the identification information of the first video and the identification information of the second video can be established at the time of segmentation, and the video segmentation device can send the above-mentioned association relationship to the association server to realize the association relationship.
  • the server obtains the above-mentioned association relationship.
  • a video cutting device may be used to perform video segmentation on part of the exciting video part of the second video.
  • the first video It can be seen that the same video content segment must be included between the first video and the second video, and the association between the identification information of the first video and the identification information of the second video can be directly obtained during segmentation and sent.
  • the relationship server To the relationship server.
  • the association between the identification information of the first video and the identification information of the second video may be obtained. For example, when a video uploading user performs a video upload, the uploaded video and an existing video may be input at the same time. Association of resources. For example, when the copyright owner of movie A promotes movie A, they often need to select a part of the wonderful picture for promotion, and the wonderful picture is also a part of the video content segment of the entire movie A. When the copyright owner of the movie A uploads the promotion video, the association relationship between the identification information of the promotion video and the identification information of the movie A may be entered at the same time.
  • the association relationship may be obtained through a video association relationship list.
  • the association relationship list may be formed on other devices, for example, formed and stored on the above-mentioned video segmentation device; or, the association relationship list may be manually viewed a large number of videos, and after understanding the video content, use The association relationship list drawn manually; or, the association relationship list can be obtained directly by the partner, and after the above association relationship list is provided to the association relationship server, the above-mentioned association relationship is obtained after the association relationship server is implemented.
  • the step is performed by taking the association server as an example for description.
  • the database module of the application server may execute the step.
  • the association relationship between videos is determined based on the similarities and differences of video contents, and the association relationship between the first video and the second video including the same video content segment is stored in a storage module,
  • the above-mentioned association relationship can be established in various manners, which can be other independent devices or manual operation input, or the corresponding association relationship function can be integrated on the association server, which is not limited in the embodiments of the present disclosure.
  • the example is also only an exemplary description. Due to business requirements in the application server or terminal device, to obtain the above-mentioned association relationship, a video query request message carrying identification information of any associated video may be sent, and the identification information of another associated video is obtained by querying.
  • the first video and the second video are taken as an example to describe the association relationship, but the actual association relationship also includes the identification information of the first video and the identification information of the plurality of second videos.
  • the identification information of a video is also associated with identification information of multiple first videos, that is, in addition to a one-to-one relationship, there may also be a one-to-many or many-to-many association relationship.
  • the association relationship between the identification information of the first video and the identification information of the second video is stored in the storage module; however, since the first video and the second video include the same Video content clips, the first video, the second video, and the same video content clip have a time or video content association relationship, that is, they can be determined according to a certain playback progress in the same video content clip. Corresponding positions in the video and / or the second video, that is, the location information of each other can be stored in the association server, so that the association server can provide more abundant services.
  • the positioning information of the same video content segment in the first video may also be stored in the storage module, and the positioning information may be synchronously recorded when the association is generated in the above S100. Information; or, storing the positioning information of the same video content segment in the second video in the storage module; or storing the positioning information of the same video content segment in the first video and the positioning in the second video in the storage module information.
  • the positioning information may include at least one of the following: timestamp information, video frame information, and audio frame information, or the positioning information may also be any other information capable of performing positioning operations. Examples do not specifically limit this.
  • the timestamp information includes the temporal correlation between the same video content segment and the first video and / or the second video; the timestamp information may include at least the same video content segment between the first video and / or Or the reference time in the second video, the reference time may be the start time or end time of the video, or other time points that can be used as a reference; that is, the same video content segment in the first video and / or the second video is When did it start?
  • the duration of the second video is 30 minutes
  • the duration of the same video content segment is 2 minutes
  • the same video content segment starts from the 15th minute of the second video.
  • the duration of the first video may be 20 minutes, and the same video content segment starts from the 10th minute in the first video.
  • the same video content segment is the entire content segment of the first video, for example, the length of the same video content segment is 2 minutes, and the duration of the first video is also 2 minutes.
  • the same video content segment starts at the 15th minute of the second video.
  • video frames can also characterize the position of the same video content segment in the first video and the second video; the video frame information includes at least the same video content segment in the first video and / or The reference video frame in the second video.
  • the reference video frame may be a start video frame, an end video frame, or other video frames that can be used as a reference; for example, the total number of video frames of the second video is a positive integer M, The total number of video frames of the same video content segment is a positive integer N, N is less than or equal to M, and the same video content segment starts from the first frame in the second video, where I is a positive integer.
  • the total number of video frames of the first video may be a positive integer L, and the same video content segment starts from the Jth frame in the first video, a positive J integer.
  • the same video content segment is the entire content segment of the first video, for example, the total number of video frames of the same video content segment is a positive integer N, and the total number of the first video is The number of video frames is also a positive integer N. At this time, the same video content segment starts from the first frame in the second video.
  • the audio frame is also an important part of the video content.
  • the position of the same video content segment in the first video and the second video can also be characterized; the audio frame information includes the same video content segment in the first video and / or the first video.
  • the reference audio frame in the second video can be the start audio frame, the end audio frame, or other audio frames that can be used as a reference; for example, the total number of audio frames in the second video is a positive integer M, which is the same.
  • the total number of audio frame frames of the video content segment is a positive integer N, N is less than or equal to M, and the same video content segment starts from the first audio frame in the second video, where I is a positive integer.
  • the total number of audio frames of the first video may be a positive integer L, and the same video content segment starts from the Jth frame in the first video, a positive J integer.
  • the same video content segment is the entire content segment of the first video, for example, the total number of audio frame frames of the same video content segment is a positive integer N, and the The total number of audio frames is also a positive integer N.
  • the same video content segment starts from the audio frame I of the second video.
  • the association relationship therein can be obtained through four possible implementation manners, and for the first implementation manner based on video content analysis, when analyzing and obtaining the same video content segment, Record the above positioning information; for the second implementation method of cutting the video, the above positioning information can also be recorded during the video cutting; and for the third implementation method of the association relationship provided by the operator, and the fourth method by video association
  • the implementation manner of obtaining the relationship list may determine whether to store the positioning information in the storage module according to the actual situation. When it is determined to store the positioning information in the storage module, the positioning information may also be obtained through video analysis and other means for storage.
  • the association provided by the operator can be understood as the association entered by the user who uploaded the video, or the association entered by the background operator.
  • the input time of the association relationship may be input when the video is uploaded, or the association relationship may be inputted at a later stage.
  • the video query response message sent in the above S130 further includes:
  • the positioning information of the same video content segment in the first video and the positioning information in the second video is the positioning information of the same video content segment in the first video and the positioning information in the second video.
  • the application server and the terminal device when the video is played on the terminal device, the application server and the terminal device will interact with the video playback progress in real time.
  • the playback on the application server The control module can detect the playback progress of the first video.
  • the application server sends a video query request to the association server, the query obtains a video query response message including the identification information of the second video, and if the above positioning information is stored in the storage module, the above positioning information may be sent to The application server, and for the application server, the current playback progress of the first video on the terminal device can be obtained in real time.
  • the second video After obtaining the positioning information, the second video can be directly determined based on the current playback progress of the first video and the positioning information. And then can control the terminal device to start playing the second video from the above-mentioned starting playback content, so as to realize the continuous playback according to the current playback progress of the first video.
  • the duration of the above second video is 30 minutes
  • the duration of the same video content segment is 2 minutes
  • the same video content segment starts from the 15th minute of the second video
  • the duration of the first video is 20 minutes
  • the same video content segment starts from the 10th minute in the first video
  • the same video content segment is the entire content segment of the first video
  • only the start time of the same video content segment in the second video is obtained, or the same video content segment is
  • the entire content segment of the second video is obtained, only the start time of the same video content segment in the first video is obtained at this time, and the accurate resuming function when switching between the first video and the second video can be achieved, in other words ,
  • the video content corresponding to the playback progress of the video before switching using the video content as the initial playback content of the switched video, and continuing to play the switched video.
  • the above description uses positioning information as the time stamp information as an example. The same applies to other positioning information, such as video frame information and audio frame information.
  • positioning information such as the same video, is also stored in the storage module. Positioning information of the content segment in the first video; or positioning information of the same video content segment in the second video; or positioning information of the same video content segment in the first video and positioning information in the second video, and
  • a querying device such as an application server initiates a query
  • the above positioning information may be fed back to the querying device such as the application server, so that the querying device such as the application server can determine another one based on the positioning information and the playback progress of an associated video.
  • a query device such as the application server sends a video query request to the storage device Message to obtain the associated video and the positioning information of the same video content segment in the associated video, and then query the side device to calculate and obtain the corresponding positioning information of the playback progress of the playback video in the associated video, based on the playback progress
  • the corresponding positioning information in the associated video can be used to obtain the initial playback content when performing the resume.
  • the method further includes:
  • the video query response message includes Identification information of the second video associated with identification information of the first video, and positioning information of the same video content segment corresponding to the playback progress of the first video in the second video;
  • the method further includes:
  • the video query response message includes the same The identification information of the first video associated with the identification information of the second video, and positioning information of the same video content segment corresponding to the playback progress of the second video in the first video.
  • the method further includes:
  • a storage-side device such as an association server obtains positioning information corresponding to the same video content segment corresponding to the playback progress of the first video in the second video according to the stored positioning information and the playback progress of the first video.
  • the video query response message includes identification information of the second video associated with identification information of the first video, and the same video content segment corresponding to the playback progress of the first video is in the second video The corresponding positioning information is fed back to the application server.
  • the method further includes:
  • a storage device such as an association server obtains, according to the stored positioning information and the playback progress of the second video, the positioning information corresponding to the first video content segment corresponding to the playback progress of the second video in the first video.
  • the query response message includes the identification information of the first video associated with the identification information of the second video, and the same video content segment corresponding to the playback progress of the second video is in the first video. Corresponding positioning information.
  • the query device may also send the above playback progress to the storage device in the video query request message, so that the storage device according to the playback progress and the same video content segment in the first video and / or
  • the positioning information in the second video is used to calculate the positioning information corresponding to the playback progress of the playback video in the associated video, and feedback it back through the video query response message, and then obtain the corresponding positioning information in the associated video based on the playback progress.
  • the initial playback content at the time of broadcast, and the initial playback content is sent to the query-side device through the video query response message, that is, the function of calculating the initial playback content at the time of resume playback can be set on the storage side device, of course, the above content also It is merely an example that the module for calculating the initial playback content may be set on a different server or device, which is not limited in the embodiments of the present disclosure.
  • the same video content segment is a video content segment with a similarity value exceeding a preset threshold.
  • the same video content segment includes one of the following:
  • the video query response message includes identification information of the first video associated with the identification information of the second video, and Positioning information of the same video content segment corresponding to the playback progress of the second video in the first video.
  • the video query response message includes an identification of the second video associated with the identification information of the first video.
  • the video query response message includes identification information of the first video associated with the identification information of the second video, and Positioning information of the same video content segment corresponding to the playback progress of the second video in the first video.
  • the apparatus for querying video related information disclosed in the embodiment of the present disclosure can execute the method shown in FIG. 3 and has the same effect.
  • An embodiment of the present disclosure further provides a video related information query system.
  • the system includes a video related information processing device as shown in FIG. 4 or 5 and a video related information query device as shown in FIG. 6.
  • the query device such as the application server sends it to the storage device A video query request message to obtain the associated video and the positioning information of the same video content fragment in the associated video, and then query the side device to calculate to obtain the starting playback content when the replay is performed.
  • the memory 41 is a computer-readable storage medium, and may be configured to store software programs, computer-executable programs, and modules, such as program instructions / modules corresponding to the method for processing video-related information in the embodiments of the present disclosure.
  • the processor 40 executes one or more functional applications and data processing of the electronic device by running software programs, instructions, and modules stored in the memory 41, that is, a method for processing the video-related information described above.
  • the input device 42 may be configured to receive inputted numeric or character information and generate key signal inputs related to user settings and function control of the electronic device.
  • the output device 43 may include a display device such as a display screen.
  • the electronic device may be a server or a terminal device.
  • An embodiment of the present disclosure also provides a computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the method and / or video for processing video related information provided by the embodiment of the present disclosure is implemented.
  • a method for querying related information This method may be, but is not limited to, the content disclosed in the foregoing embodiments.
  • the computer storage medium of the embodiment of the present disclosure may adopt any combination of one or more computer-readable media.
  • the computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium.
  • the computer-readable storage medium may be, for example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof.
  • Computer-readable storage media includes (non-exhaustive list): electrical connections with one or more wires, portable computer disks, hard disks, Random Access Memory (RAM), Read-Only Memory , ROM), Erasable Programmable Read-Only Memory (EPROM) or flash memory, optical fiber, portable compact disk read-only memory (Compact Disc Read-Only Memory (CD-ROM), optical storage devices, magnetic A memory device, or any suitable combination of the foregoing.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in combination with an instruction execution system, apparatus, or device.
  • the computer-readable signal medium may include a data signal propagated in baseband or transmitted as part of a carrier wave, which carries a computer-readable program code. Such a propagated data signal may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, and the computer-readable medium may send, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device .
  • the multiple units and modules included are only divided according to functional logic, but it is not limited to the above division, as long as the corresponding function can be realized; in addition, the name of each functional unit is also It is only for the convenience of distinguishing from each other, and is not used to limit the protection scope of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文公开了一种视频关联信息的处理方法，包括：存储第一视频的标识信息与第二视频的标识信息之间的关联关系，第一视频和第二视频包括相同的视频内容片段；接收视频查询请求消息；若视频查询请求消息包括第一视频的标识信息，则获取关联的第二视频的标识信息，并返回包括第二视频的标识信息的视频查询响应消息；或者，若视频查询请求消息包括第二视频的标识信息，则获取关联的第一视频的标识信息，并返回包括第一视频的标识信息的视频查询响应消息。本文还公开一种视频关联信息的处理装置、视频关联信息的查询方法及装置、电子设备及存储介质。

Description

视频关联信息的处理方法、装置、电子设备及存储介质
本申请要求在2018年7月4日提交中国专利局、申请号为201810726043.6的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及视频处理技术领域，例如涉及一种视频关联信息的处理方法、装置、电子设备及存储介质。
背景技术
随着互联网和智能终端的发展，多种视频服务丰富了用户的生活、工作和娱乐。
相关技术中，在利用视频播放设备(如智能电视、手机等)为用户播放视频的情况下，通常会存在确定关联视频的场景。然而，相关技术中通常是根据视频的名称或者标签来确定与该视频相关的其他视频。但视频名称或者标签通常都是上传视频的用户确定的，由于用户习惯等原因，使得视频名称或者标签差异较大，导致利用视频名称或者标签无法准确而且全面的确定与该视频相关的其他视频。
发明内容
本公开实施例提供一种视频关联信息的处理方法、装置、电子设备及存储介质，使得在进行视频关联时，能够准确而且全面的反映视频之间的关联关系。
在一实施例中，本公开实施例提供了一种视频关联信息的处理方法，包括：
存储第一视频的标识信息与第二视频的标识信息之间的关联关系，其中，第一视频和第二视频包括相同的视频内容片段；
接收视频查询请求消息，其中，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
在视频查询请求消息包括第一视频的标识信息的情况下，获取与所述第一视频的标识信息关联的第二视频的标识信息，并返回包括第二视频的标识信息 的视频查询响应消息；在视频查询请求消息包括第二视频的标识信息的情况下，获取与所述第二视频的标识信息关联的第一视频的标识信息，并返回包括第一视频的标识信息的视频查询响应消息。
在一实施例中，本公开实施例提供了一种视频关联信息的查询方法，包括：
发送视频查询请求消息，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
接收视频查询响应消息；在视频查询请求消息包括第一视频的标识信息的情况下，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息；在视频查询请求消息包括第二视频的标识信息的情况下，视频查询响应消息包括与第二视频的标识信息关联的第一视频的标识信息，其中，第一视频和第二视频包括相同的视频内容片段。
在一实施例中，本公开实施例提供了一种视频关联信息的处理装置，包括：存储模块，接收模块和发送模块；
存储模块，设置为存储第一视频的标识信息与第二视频的标识信息之间的关联关系,其中，第一视频和第二视频包括相同的视频内容片段；
接收模块，设置为接收视频查询请求消息，其中，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
发送模块，设置为在视频查询请求消息包括第一视频的标识信息的情况下，在存储模块中获取与所述第一视频的标识信息关联的第二视频的标识信息，并返回包括第二视频的标识信息的视频查询响应消息；在视频查询请求消息包括第二视频的标识信息的情况下，在存储模块中获取与所述第二视频的标识信息关联的第一视频的标识信息，并返回包括第一视频的标识信息的视频查询响应消息。
在一实施例中，本公开实施例还提供了一种视频关联信息的查询装置，包括：
发送模块，设置为发送视频查询请求消息，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
接收模块，设置为接收视频查询响应消息；在视频查询请求消息包括所述 第一视频的标识信息的情况下，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息；在视频查询请求消息包括所述第二视频的标识信息的情况下，视频查询响应消息包括与第二视频的标识信息关联的第一视频的标识信息；其中，第一视频和所述第二视频包括相同的视频内容片段。
在一实施例中，本公开实施例还提供了一种视频关联信息的查询系统，包括上述实施例所述的视频关联信息的处理装置，以及上述实施例所述的视频关联信息的查询装置。
在一实施例中，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，设置为存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述实施例所述的视频关联信息的处理方法，和/或，实现上述实施例所述的视频关联信息的查询方法。
在一实施例中，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例所述的视频关联信息的处理方法，和/或，实现上述实施例所述的视频关联信息的查询方法。
附图说明
图1为本公开实施例提供的一种视频关联信息的处理方法的流程示意图；
图2为本公开实施例提供的另一种视频关联信息的处理方法的流程示意图；
图3为本公开实施例提供的一种视频关联信息的查询方法的流程示意图；
图4为本公开实施例提供的一种视频关联信息的处理装置结构示意图；
图5为本公开实施例提供的另一种视频关联信息的处理装置结构示意图；
图6为本公开实施例提供的一种视频关联信息的查询装置的结构示意图；
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开进行说明。此处所描述的实施例仅仅用于解释本公开，而非对本公开的限定。为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
本公开实施例提供一种视频关联信息的处理方法及装置、电子设备及存储介质，能够基于相同的视频内容建立视频关联关系，优化了视频关联方式，使视频关联结果更准确、灵活。
本公开中术语“系统”和“网络”在本文中常被可互换使用。本公开实施例中提到的“和/或”是指”包括一个或更多个相关所列项目的任何和所有组合。本公开的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
本公开下述多个实施例可以单独执行，多个实施例之间也可以相互结合执行，本公开实施例对此不作具体限制。
本公开实施例可适用于实现视频关联的应用场景。该场景可以包括：能够播放视频的终端设备(如智能电视、手机等)、服务器、或者终端设备和服务器。其中，服务器可以包括为终端设备提供支持的应用服务器、存储视频资源的存储服务器、或存储视频关联关系的关联关系服务器。存储服务器和关联关系服务器分别为应用服务器提供业务接口，使得应用服务器能够响应用户通过终端设备输入的一种或多种指令。在实际应用中，存储服务器和关联关系服务器可以集成在一个服务器设备中，也可以分别设置在不同的服务器设备中，或者说关联关系服务器和应用服务器也集成到同一个服务器设备中，也可以分别设置在不同的服务器设备中。本公开实施例对此不作具体限制。本公开实施例涉及的技术方案，用于存储第一视频的标识信息和第二视频的标识信息之间的关联关系的存储端设备，以及查询上述关联关系的查询端设备，根据上述关联关系存储位置的不同，存储端设备和查询端设备可以分别是关联关系服务器和应用服务器，以及存储端设备和查询端设备可以分别是应用服务器的数据库模块和应用服务器的播放控制模块等情况，但这些也仅为举例说明，而并非对技术方案的限制。
实施例一
图1为本公开实施例提供的一种视频关联信息的处理方法的流程示意图， 是在存储端设备上执行的方法，如图1所示，该方法包括S110至S130。
S110、存储第一视频的标识信息与第二视频的标识信息之间的关联关系。
在一实施例中，关联关系服务器在存储模块中存储第一视频的标识信息与第二视频的标识信息之间的关联关系。
其中，第一视频和第二视频包括相同的视频内容片段。
在一实施例中，第一视频和第二视频包括相同的视频内容片段是指第一视频中包含的一定时长的视频内容片段同样也包含在第二视频中，例如第一视频和第二视频均为一部电视剧的片段，第一视频包括一集剧集的一段视频内容，而第二视频包括该剧集的全部视频内容；或者，第一视频和第二视频均为一部电视剧的片段，第一视频包括第M剧集的一段视频内容和第N剧集的一段视频内容，而第二视频包括第M剧集的全部视频内容，本实施例不进行限制，只要二者包括相同的视频内容片段即可。
在一实施例中，关联关系服务器获取第一视频的标识信息与第二视频的标识信息的方式可以为多种，获取方式将在下述实施例中进行描述，存储模块存储第一视频的标识信息与第二视频的标识信息之间的关联关系。
在关联关系服务器获取第一视频的标识信息与第二视频的标识信息之间的关联关系后，关联关系服务器在存储模块中存储第一视频的标识信息与第二视频的标识信息之间的关联关系。
在一实施例中，第一视频的标识信息和第二视频的标识信息之间的关联关系可以存储在同一个存储模块中或者不同存储模块中。
若获取的第一视频的标识信息和第二视频的标识信息之间的关联关系存储在同一个存储模块中，则在存储第一视频的标识信息和第二视频的标识信息之间的关联关系时，可以采用数据融合操作，按照预定格式存储第一视频的标识信息和第二视频的标识信息之间的关联关系。
若获取的第一视频的标识信息和第二视频的标识信息之间的关联关系存储在不同存储模块中，则可以为不同存储模块分别提供不同的查询接口，以进行查询。而对于关联关系服务器，其可以根据需求设置统一的对外服务接口，来执行下述的S120和S130，但在关联关系服务器内部进行查询时，可以分别通过 不同的查询接口进行查询。或者一种可替代方案中，关联关系服务器可以分别由不同的存储模块单独提供对外服务接口。
S120、关联关系服务器接收视频查询请求消息。
其中，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息。
在一实施例中，视频查询请求消息可以为应用服务器或者终端设备等根据业务需求，在要获取视频之间的关联关系时发起，例如应用服务器在检测到终端设备正在播放第一视频时，为了满足用户对与第一视频关联的其他视频的需求，应用服务器可能会向该终端设备推送与第一视频关联的其他视频，以使得用户可以选择关联的其他视频进行播放，为用户提供了更好的观影体验；此时，应用服务器可以选择向关联关系服务器发送视频查询请求消息，该视频查询请求消息包括第一视频的标识消息。此外，若应用服务器要查询与第二视频关联的其他视频，则可以在视频查询请求消息中包括第二视频的标识信息。
S130、在视频查询请求消息包括第一视频的标识信息的情况下，获取与第一视频的标识信息关联的第二视频的标识信息，并返回包括第二视频的标识信息的视频查询响应消息；在视频查询请求消息包括第二视频的标识信息的情况下，获取与第二视频的标识信息关联的第一视频的标识信息，并返回包括第一视频的标识信息的视频查询响应消息。
根据上述S110已知，在关联关系服务器中已经在存储模块中存储了第一视频的标识信息和第二视频的标识信息之间的关联关系，因此，在接收到包括第一视频的标识信息的视频查询请求消息后，可以从存储模块中获取对应的与第一视频的标识信息关联的第二视频的标识信息。同理，因为建立了第一视频的标识信息和第二视频的标识信息之间的关联关系，则使得除了可以根据第一视频的标识信息获取到第二视频的标识信息外，还可以根据第二视频的标识信息获取到第一视频的标识信息，即若视频查询请求消息包括第二视频的标识信息，则关联关系服务器在存储模块中获取关联的第一视频的标识信息，并向应用服务器返回包括第一视频的标识信息的视频查询响应消息。
针对上述S120中的应用服务器由于要向终端设备发送与当前播放的第一视频关联的其他视频的情况而发起视频查询请求，应用服务器在接收到上述与第一视频的标识信息关联的第二视频的标识信息后，则可向终端设备推送可以播 放该第二视频的提示信息，以由用户进行选择。
在上述图1所示的实施例中，其中是针对将第一视频的标识信息和第二视频的标识信息存储在关联关系服务器为例进行说明，但实际上本领域内技术人员也可以将上述关联关系存储到应用服务器的数据库中，则上述方法可以在应用服务器内部的播放控制模块和数据库模块之间执行，即由播放控制模块发起视频查询请求消息，而数据库模块反馈视频查询响应消息，且该关联关系可以在其他设备上生成，而在某个时刻，例如在第一视频或者第二视频发布时，将上述关联关系存储到应用服务器的数据库中。
本公开实施例提供了一种基于相同的视频内容来确定视频之间关联关系的技术方案，从而在接收例如应用服务器发送的视频查询请求消息后，向应用服务器发送包括与第一视频的标识信息关联的第二视频的标识信息，或者是与第二视频的标识信息关联的第一视频的标识信息的视频查询响应消息。
本公开实施例提供的技术方案，相对于相关技术中的利用视频名称来确定视频之间的关联关系，能够更加准确且全面的反映视频之间的关联关系，使得提供给应用服务器的关联视频也能够更加准确且全面。
实施例二
在一实施例中，结合图1，图2为本公开实施例提供的另一种视频关联信息的处理方法的流程示意图，即在S110执行之前，该方法还可以包括S100。
S100、关联关系服务器获取第一视频的标识信息与第二视频的标识信息之间的关联关系。
在一实施例中，本步骤中第一视频的标识信息和第二视频的标识信息之间的关联关系可以在关联关系服务器中建立，也可以是在其他设备上或人工操作输入形成，本步骤中就相当于关联关系服务器从其他设备或输入设备上获取。在一实施例中，上述第一视频的标识信息与第二视频的标识信息之间的关联关系采用如下任意一种或多种可能的实现方式获得：
在第一种实现方式中，根据至少两个视频的视频内容分析结果，将包括相同的视频内容片段的两个视频分别作为第一视频和所述第二视频，并获取第一视频的标识信息和第二视频的标识信息之间的关联关系。在一实施例中，该方 法可以是单独设置视频内容分析设备，该视频内容分析设备能够对至少两个视频的视频内容进行分析，获取包括相同的视频内容片段的两个视频分别作为第一视频和第二视频，以获得第一视频的标识信息和第二视频的标识信息之间的关联关系，该视频内容分析设备在获得上述的第一视频的标识信息和第二视频的标识信息之间的关联关系后，可以将其发送给关联关系服务器，以实现在关联关系服务器上获取上述关联关系。
示例性的，以包括第一视频、第二视频和第三视频为例，视频内容分析设备对第一视频、第二视频和第三视频的视频内容进行分析，得出第一视频和第二视频之间包括相同的视频内容片段，第一视频和第三视频之间不包括相同的视频内容片段，第二视频和第三视频之间不包括相同的视频内容片段，因此，视频内容分析设备建立并存储第一视频的标识信息和第二视频的标识信息之间的关联关系，并将第一视频的标识信息和第二视频的标识信息之间的关联关系发送给关联关系服务器。
在一实施例中，上述的对至少两个视频内容进行分析以获得相同的视频内容片段，可以是对待分析的视频进行抽帧，获得多个帧图像，然后提取每个帧图像的多种类的图像特征，该图像特征的类型不做限制，此时可以获取多个能够表征图像特点的图像特征；然后根据待分析视频的多个帧图像的同种类的每个图像特征确定待分析视频的视频特征，例如，可以将上述多个图像特征按照对应的帧图像在视频中的顺序进行排列，得到视频特征，这样可以获得多种类的视频特征；最后，根据上述获得的多种类的视频特征对待分析视频进行序列对比，获得待分析视频的相似度，且可以给该相似度设置一个阈值，仅当该相似度大于预设阈值时认为参与分析的两个视频包括相同的视频内容片段。
在第二种实现方式中，可以根据视频分割技术对第二视频进行视频分割得到第一视频，并获取第一视频的标识信息和第二视频的标识信息之间的关联关系。即本实现方式也是可以通过设置视频分割设备，由视频分割设备进行视频分割，例如对第二视频进行分割得到第一视频，因为该第一视频为第二视频的一部分，则二者必然包括相同的视频内容片段，此时可以在分割时建立第一视频的标识信息和第二视频的标识信息之间的关联关系，视频分割设备可以将上述的关联关系发送给关联关系服务器，以实现关联关系服务器获取上述关联关系。
示例性的，以第二视频是电影A为例，在获取到电影A的全部视频内容后，为了满足用户的不同播放需求，可以使用视频切割设备对第二视频的部分精彩视频部分进行视频分割，从而得到第一视频。由此可见，第一视频和第二视频之间必然包括相同的视频内容片段，分割时可以直接获取到第一视频的标识信息和第二视频的标识信息之间的关联关系，并将其发送给关联关系服务器。
在第三种实现方式中，可以获取第一视频的标识信息和第二视频的标识信息之间的关联关系，比如，视频上传用户在进行视频上传时，可以同时输入上传的视频与已有视频资源的关联关系。例如，电影A的版权方在对电影A进行推广时，往往要节选一部分精彩画面进行宣传推广，该精彩画面也是整个电影A的一部分视频内容片段。在电影A的版权方将宣传推广视频上传时，可以同时输入该宣传推广视频的标识信息与电影A的标识信息之间的关联关系。
在第四种实现方式中，该关联关系可以通过视频关联关系列表获得。在一实施例中，该关联关系列表可以是在其他设备上形成，例如在上述的视频分割设备形成并存储；或者，该关联关系列表可以是人工观看大量视频，对视频内容进行了解后，采用人工方式绘制的关联关系列表；或者，该关联关系列表可以通过合作方直接获得，将上述关联关系列表提供给关联关系服务器后，即在实现关联关系服务器获取上述的关联关系。
本公开实施例的上述S100中，是以关联关系服务器执行该步骤为例进行说明，对于在应用服务器的数据库模块中存储关联关系的情况，也可以是应用服务器的数据库模块执行该步骤。
通过本公开实施例提供的技术方案，基于视频内容的异同来确定视频之间的关联关系，在存储模块中存储了包括相同的视频内容片段的第一视频和第二视频之间的关联关系，上述关联关系的建立可以有多种方式，可以是其他独立设备或人工操作输入，或者也可以在关联关系服务器上集成相应的建立关联关系的功能，本公开实施例并不对此进行限定，上述实施例也仅为一种示例性描述。在应用服务器或终端设备中由于业务需求，要获取上述的关联关系时，可以发送携带任一关联视频的标识信息的视频查询请求消息，查询得到另一关联视频的标识信息。另外，本实施例中是以第一视频和第二视频为例进行关联关系的说明，但实际的关联关系，也存在第一视频的标识信息和多个第二视频的 标识信息关联，第二视频的标识信息也与多个第一视频的标识信息关联的情况，即除存在一对一的关系外，同样也可以存在一对多，或者多对多的关联关系。
在图1和图2所示的实施例中，在存储模块中存储了第一视频的标识信息和第二视频的标识信息之间的关联关系；然而，由于第一视频和第二视频包括相同的视频内容片段，第一视频、第二视频和相同的视频内容片段之间具有时间或视频内容上的关联关系，即可以根据相同的视频内容片段中的某一播放进度，确定其在第一视频和/或第二视频中的相应位置，即可以在关联关系服务器中存储相互之间的定位信息，使得关联关系服务器可以提供更为丰富的服务。
在一实施例中，在上述S110中，还可以在存储模块中存储相同的视频内容片段在第一视频中的定位信息，该定位信息可以是在上述S100中生成关联关系时，同步记录该定位信息；或者，在存储模块中存储相同的视频内容片段在第二视频中的定位信息；或者，在存储模块中存储相同的视频内容片段在第一视频中的定位信息和第二视频中的定位信息。
在一实施例中，上述定位信息可以包括下述至少一项：时间戳信息、视频帧信息、以及音频帧信息，或者，上述定位信息也可以是其他任何能够实现定位操作的信息，本公开实施例对此不作具体限制。
在一实施例中，时间戳信息包括相同的视频内容片段与第一视频和/或第二视频之间的时间关联性；该时间戳信息至少可以包括相同的视频内容片段在第一视频和/或第二视频中的基准时间，基准时间可以是视频的起始时间、或者结束时间，或者其他能够作为基准的时间点；即相同的视频内容片段在第一视频和/或第二视频中是何时开始的，例如第二视频的时长为30分钟，相同的视频内容片段时长为2分钟，且相同的视频内容片段是从第二视频中第15分钟开始的。示例性地，第一视频的时长可以是20分钟，且相同的视频内容片段是从第一视频中第10分钟开始的。在本公开实施例中，还存在一种特殊情况，即相同的视频内容片段为第一视频的全部内容片段，例如相同的视频内容片段时长为2分钟，第一视频的时长也为2分钟，示例性地，该相同的视频内容片段是从第二视频的第15分钟开始的。
视频帧作为视频内容的重要组成部分，也可以对相同的视频内容片段在第一视频和第二视频中的位置进行表征；该视频帧信息至少包括相同的视频内容 片段在第一视频和/或第二视频中的基准视频帧，基准视频帧可以是视频帧的起始视频帧、或者结束视频帧，或者其他能够作为基准的视频帧；例如第二视频的总视频帧数为正整数M，相同的视频内容片段总视频帧数为正整数N，N小于或等于M，且相同的视频内容片段是从第二视频中第I帧开始的，I为正整数。
在一实施例中，第一视频的总视频帧数可以是正整数L，且相同的视频内容片段是从第一视频中第J帧开始的，J正整数。在本公开实施例中，还存在一种特殊情况，即相同的视频内容片段为第一视频的全部内容片段时，例如相同的视频内容片段总视频帧数为正整数N，第一视频的总视频帧数也为正整数N，此时该相同的视频内容片段是从第二视频中第I帧开始的。
音频帧也是视频内容的重要组成部分，也可以对相同的视频内容片段在第一视频和第二视频中的位置进行表征；该音频帧信息包括相同的视频内容片段在第一视频和/或第二视频中的基准音频帧，基准音频帧可以是音频帧的起始音频帧、或者结束音频帧，或者其他能够作为基准的音频帧；例如第二视频的总音频帧数为正整数M，相同的视频内容片段总音频帧帧数为正整数N，N为小于或等于M，且相同的视频内容片段是从第二视频中第I帧音频帧开始的，I为正整数。
在一实施例中，第一视频的总音频帧数可以是正整数L，且相同的视频内容片段是从第一视频中第J帧开始的，J正整数。在本公开实施例中，还存在一种特殊情况，即相同的视频内容片段为第一视频的全部内容片段时，例如相同的视频内容片段总音频帧帧数为正整数N，第一视频的总音频帧数也为正整数N，此时该相同的视频内容片段是从第二视频的第I帧音频帧开始的。
而考虑到在上述实施例的S100中，其中的关联关系可以通过四种可能的实现方式获取，其中针对第一种基于视频内容分析的实现方式，可以在分析获取相同的视频内容片段时，同时记录上述定位信息；针对第二种对视频进行切割的实现方式，也可以在视频切割时记录上述定位信息；而对于第三种由操作者提供关联关系的实现方式，以及第四种通过视频关联关系列表获得的实现方式，可以根据实际情况确定是否在存储模块存储上述定位信息，当确定在存储模块中存储上述定位信息时，也可以通过视频分析等手段，得到上述定位信息后进行存储。在一实施例中，由操作者提供关联关系，可以理解为由上传视频的用 户输入的关联关系，也可以理解为后台运营人员输入的关联关系。在一实施例中，关联关系的输入时间可以在上传视频时输入，也可以是后期增加输入该关联关系。
针对上述实施例中的S130，当存储模块中存储有定位信息时，则上述S130中发送的视频查询响应消息还包括：
相同的视频内容片段在第一视频中的定位信息；或者，
相同的视频内容片段在第二视频中的定位信息；或者，
相同的视频内容片段在第一视频中的定位信息和第二视频中的定位信息。
在一实施例中，当视频在终端设备上播放时，应用服务器和终端设备之间会实时交互视频的播放进度，对于本实施例中终端设备正在播放第一视频而言，应用服务器上的播放控制模块能够检测到第一视频的播放进度。此时，若应用服务器向关联关系服务器发送视频查询请求，查询获得包括第二视频的标识信息的视频查询响应消息，若在存储模块中存储有上述的定位信息，则可以将上述定位信息发送给应用服务器，而对于应用服务器而言，已经能够实时获得终端设备上第一视频的当前播放进度，在获取上述定位信息后，可以直接根据第一视频的当前播放进度，以及定位信息确定第二视频的起始播放内容，继而能够控制终端设备从上述起始播放内容开始播放第二视频，实现可以根据第一视频的当前播放进度进行续播。
例如，上述的第二视频的时长为30分钟，相同的视频内容片段时长为2分钟，且相同的视频内容片段是从第二视频中第15分钟开始的，第一视频的时长是20分钟，且相同的视频内容片段是从第一视频中第10分钟开始的，则当应用服务器检测到第一视频正在播放第11分钟的视频内容时，可以确定是正在播放相同的视频内容片段的第1分钟的内容，如果在第二视频上进行续播，则应该播放第二视频的第16分钟的视频内容，也就是说利用相同的视频内容片段在第一视频的起始时间和在第二视频的起始时间，可以基于第一视频的当前播放内容推算出第二视频从何时开始进行播放。还存在一种特殊情况，即相同的视频内容片段为第一视频的全部内容片段时，此时只获取相同的视频内容片段在第二视频中的起始时间，或者是相同的视频内容片段为第二视频的全部内容片段时，此时只获取相同的视频内容片段在第一视频中的起始时间，就可以实现 在第一视频和第二视频之间切换时的精准续播功能，换言之，根据切换前视频的播放进度对应的视频内容，将该视频内容作为切换后的视频的起始播放内容，继续播放切换后的视频。以上是以定位信息为时间戳信息为例进行说明，对于其他的定位信息，例如视频帧信息和音频帧信息，同样也适用。
本公开实施例提供的技术方案中，不仅在存储模块中存储第一视频的标识信息和第二视频的标识信息之间的关联关系，而且还会在存储模块中存储定位信息，例如相同的视频内容片段在第一视频中的定位信息；或者相同的视频内容片段在第二视频中的定位信息；或者相同的视频内容片段在第一视频中的定位信息和第二视频中的定位信息，并且在诸如应用服务器等查询端设备发起查询时，可以将上述定位信息反馈给应用服务器等查询端设备，使得应用服务器等查询端设备可以根据上述定位信息，以及一个关联视频的播放进度，确定另一个关联视频在进行续播时的起始播放内容，从而能够达到精准续播的功能。
在本公开实施例中，由于在应用服务器的播放控制模块上可以实时的获取终端设备播放视频的播放进度，在上述实施例中，是由应用服务器等查询端设备向存储端设备发送视频查询请求消息，以获得关联的视频，以及相同的视频内容片段在关联的视频中的定位信息，然后查询侧设备进行计算获得即播放视频的播放进度在关联的视频中对应的定位信息，基于该播放进度在关联的视频中对应的定位信息，可以获取到进行续播时的起始播放内容。
在一种实现方式中，基于所述视频查询请求消息包括所述第一视频的标识信息的情况，所述方法还包括：
获取所述第一视频的播放进度以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
基于所述视频查询请求消息包括所述第二视频的标识信息的情况，所述方法还包括：
获取所述第二视频的播放进度以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息，所述视频查询响应消 息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
在另一种实现方式中，若视频查询请求消息包括所述第一视频的标识信息和第一视频的播放进度，方法还包括：
关联关系服务器等存储端设备根据存储的定位信息和第一视频的播放进度，获取与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，视频查询响应消息包括与第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，以反馈给应用服务器。
若视频查询请求消息包括所述第二视频的标识信息和第二视频的播放进度，方法还包括：
关联关系服务器等存储端设备根据存储的定位信息和第二视频的播放进度，获取与第二视频的播放进度对应的所述相同的视频内容片段在第一视频中对应的定位信息，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
在一实施例中，还可以是查询端设备在视频查询请求消息中将上述播放进度发送给存储端设备，以由存储端设备根据播放进度，以及相同的视频内容片段在第一视频和/或第二视频中的定位信息来计算播放视频的播放进度在关联的视频中对应的定位信息，并将其通过视频查询响应消息反馈回来，然后基于播放进度在关联的视频中对应的定位信息获得续播时的起始播放内容，并通过视频查询响应消息将起始播放内容发送给查询端设备，也就是说计算获得续播时起始播放内容的功能可以设置存储侧设备上，当然以上内容也仅是举例说明书计算起始播放内容的模块可以设置不同的服务器或设备上，本公开实施例中不进行限制。
在一实施例中，相同的视频内容片段为相似度值超过预设阈值的视频内容片段。
在一实施例中，相同的视频内容片段包括下述之一：
所述第一视频的全部内容片段；
所述第二视频的全部内容片段；
所述第一视频的部分内容片段、以及所述第二视频的部分内容片段。
实施例三
图3为本公开实施例提供的一种视频关联信息的查询方法的流程示意图，是在查询侧设备上执行的方法，本实施例是以应用服务器为例进行说明，如图3所示，包括S210至S220。
S210、应用服务器发送视频查询请求消息，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息。
在一实施例中，该视频查询请求可以是发送给关联关系服务器，以由关联关系服务器根据存储的关联关系获取关联的视频的标识信息。
S220、应用服务器接收视频查询响应消息，在视频查询请求消息包括第一视频的标识信息的情况下，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息；或者，在视频查询请求消息包括第二视频的标识信息的情况下，视频查询响应消息包括与第二视频的标识信息关联的第一视频的标识信息；其中，第一视频和第二视频包括相同的视频内容片段。
本实施例公开的技术方案，使得应用服务器能够根据正在播放的第一视频的标识信息，向关联关系服务器查询关联的第二视频的标识信息，或者，根据正在播放的第二视频的标识信息，向关联关系服务器查询关联的第一视频的标识信息，在一种示例性的场景中，控制在终端设备上播放第一视频时，可以提示用户播放与该第一视频关联的第二视频，或者控制在终端设备上播放第二视频时，可以提示用户播放与该第二视频关联的第一视频。
在一实施例中，上述的视频查询响应消息可以还包括所述相同的视频内容片段在第一视频中的定位信息；或者，所述相同的视频内容片段在第二视频中的定位信息；或者，相同的视频内容片段在第一视频中的定位信息和第二视频中的定位信息。本技术方案是针对应用服务器能够获得终端设备正在播放的视频的播放进度的前提下，可以根据播放进度和定位信息实现当前播放内容的续播。
本公开实施例中，适用于终端设备作为查询侧设备，应用服务器作为存储侧设备的场景。
在该场景下的一种实施方式中，基于所述视频查询请求消息包括所述第一视频的标识信息的情况，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
基于所述视频查询请求消息包括所述第二视频的标识信息的情况，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
在一实施例中，可以理解为终端设备发送给应用服务器的视频查询请求消息中可以不携带第一视频的播放进度和/或第二视频的播放进度。由应用服务器获取第一视频的播放进度和/或第二视频的播放进度。
本公开实施例中，也同样适用应用服务器的播放控制模块作为查询侧设备，而应用服务器的数据库模块作为存储侧设备的场景。本公开实施例中，还适用于应用服务器作为查询侧设备，存储服务器和/或关联关系服务器作为存储侧设备的场景。
在这两个场景下的一种实施方式中，还可以是若所述视频查询请求消息包括所述第一视频的标识信息和第一视频的播放进度，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；或者，若所述视频查询请求消息包括所述第二视频的标识信息和第二视频的播放进度，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。即是在上述的视频查询请求消息中包括当前播放视频的播放进度，由关联关系服务器等存储端设备根据播放信息和定位信息计算得出续播的视频的起始播放内容，并将起始播放内容信息通过视频查询响应消息反馈给应用服务器等查询端设备。
在一实施例中，可以理解为应用服务器发送给存储服务器和/或关联关系服 务器的视频查询请求消息中可以携带第一视频的播放进度和/或第二视频的播放进度。应用服务器的播放控制模块发送给应用服务器的数据库模块的视频查询请求消息中可以携带第一视频的播放进度和/或第二视频的播放进度。
实施例四
图4为本公开实施例提供的一种视频关联信息的处理装置的结构示意图，该视频关联信息处理装置相当于上述存储侧设备，可以是上述实施例描述的关联关系服务器的一部分，或者是应用服务器的数据库模块，其中每个功能模块能够执行上述实施例中的对应步骤，该服务器包括：存储模块10，接收模块11和发送模块12。
存储模块10，设置为存储第一视频的标识信息与第二视频的标识信息之间的关联关系，其中，第一视频和第二视频包括相同的视频内容片段；
接收模块11，设置为接收应用服务器发送的视频查询请求消息，其中，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
发送模块12，设置为若视频查询请求消息包括第一视频的标识信息，则在存储模块中获取与所述第一视频的标识信息关联的第二视频的标识信息，并向应用服务器返回包括第二视频的标识信息的视频查询响应消息；若视频查询请求消息包括第二视频的标识信息，则在存储模块中获取与所述第二视频的标识信息关联的第一视频的标识信息，并向应用服务器返回包括第一视频的标识信息的视频查询响应消息。
在一实施例中，结合图4，图5为本公开实施例提供的另一种视频关联信息的处理装置结构示意图，还包括获取模块13。
获取模块13，设置为在存储模块10中存储第一视频的标识信息与第二视频的标识信息之间的关联关系之前，获取第一视频的标识信息与第二视频的标识信息之间的关联关系；
其中，第一视频的标识信息与第二视频的标识信息之间的关联关系的获取方式包括下述至少一项：
根据至少两个视频的视频内容分析结果，将包括相同的视频内容片段的两个视频分别作为第一视频和第二视频，以获得第一视频的标识信息和第二视频 的标识信息之间的关联关系；
根据视频分割技术对第二视频进行视频分割得到第一视频，以获得第一视频的标识信息和第二视频的标识信息之间的关联关系；
第一视频的标识信息和第二视频的标识信息之间的关联关系；通过视频关联关系列表获得，其中，所述视频关联关系列表中包括所述第一视频的标识信息和所述第二视频的标识信息之间的关联关系。
在一实施例中，上述包括相同的视频内容片段的两个视频的相似度值超过预设阈值的视频内容片段。
本公开实施例提供的以上视频关联信息的处理装置，可执行本公开上述方法实施例所提供的视频关联信息的处理方法，具备执行方法相应的功能模块和效果。
实施例五
在图4或图5所示的实施例基础上，其中的存储模块10，还设置为存储相同的视频内容片段在第一视频中的定位信息；或者，存储模块10还设置为存储相同的视频内容片段在第二视频中的定位信息；或者，存储模块10还设置为存储所述相同的视频内容片段在第一视频中的定位信息和第二视频中的定位信息。该定位信息可以是在上述S100中生成关联关系时，同步记录该定位信息
在一实施例中，上述的定位信息包括下述至少一项：时间戳信息、视频帧信息、以及音频帧信息。
在一实施例中，时间戳信息包括相同的视频内容片段在第一视频和/或第二视频中的基准时间，基准时间可以是视频的起始时间、或者结束时间，或者其他能够作为基准的时间点；视频帧信息包括相同的视频内容片段在第一视频和/或第二视频中的基准视频帧，基准视频帧可以是视频帧的起始视频帧、或者结束视频帧，或者其他能够作为基准的视频帧；音频帧信息包括相同的视频内容片段在第一视频和/或第二视频中的基准音频帧，基准音频帧可以是音频帧的起始音频帧、或者结束音频帧，或者其他能够作为基准的音频帧。
在一实施例中，发送模块12发送的视频查询响应消息还包括所述相同的视频内容片段在第一视频中的定位信息；或者，相同的视频内容片段在所述第二 视频中的定位信息；或者，相同的视频内容片段分别在第一视频中的定位信息和第二视频中的定位信息。对应的，接收模块11接收的视频查询请求消息还用于请求相同的视频内容片段在第一视频中的定位信息；或者，相同的视频内容片段在所述第二视频中的定位信息；或者，相同的视频内容片段分别在第一视频中的定位信息和第二视频中的定位信息。
在一实施例中，基于所述视频查询请求消息包括所述第一视频的标识信息的情况，获取模块13，还设置为：
获取所述第一视频的播放进度以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
基于所述视频查询请求消息包括所述第二视频的标识信息的情况，获取模块13，还设置为：
获取所述第二视频的播放进度以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
在一实施例中，若视频查询请求消息包括第一视频的标识信息和第一视频的播放进度，获取模块13，还设置为获取与第一视频的播放进度对应的所述相同的视频内容片段在第二视频中对应的定位信息，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息，以及与第一视频的播放进度对应的所述相同的视频内容片段在第二视频中对应的定位信息；或者，
若视频查询请求消息包括第二视频的标识信息和第二视频的播放进度，获取模块13，还设置为获取与第二视频的播放进度对应的所述相同的视频内容片段在第一视频中对应的定位信息，视频查询响应消息包括与第二视频的标识信息关联的第一视频的标识信息，以及与第二视频的播放进度对应的所述相同的视频内容片段在第一视频中对应的定位信息。
在一实施例中，相同的视频内容片段为第一视频的全部内容片段，或者，相同的视频内容片段为第二视频的全部内容片段，或者，所述相同的视频内容片段为第一视频的部分内容片段、且所述相同的视频内容片段为第二视频的部分内容片段。
本公开实施例提供的视频关联信息的处理装置可执行本公开上述方法实施例所提供的视频关联信息的处理方法，具备执行方法相应的功能模块和效果。
实施例六
图6为本公开实施例提供的一种视频关联信息的查询装置的结构示意图，为上述实施例所述的查询侧设备，可以是应用服务器的一部分，或者是应用服务器的播放控制模块的一部分，如图6所示，该装置包括发送模块21和接收模块22，其中的发送模块21设置为发送视频查询请求消息，视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；接收模块22设置为接收视频查询响应消息，若视频查询请求消息包括所述第一视频的标识信息，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息；或者，若所述视频查询请求消息包括第二视频的标识信息，所述视频查询响应消息包括与所述第二视频的标识信息关联的第一视频的标识信息，其中，第一视频和第二视频包括相同的视频内容片段。
在一实施例中，上述接收模块21接收的视频查询响应消息还包括相同的视频内容片段在第一视频中的定位信息；或者，相同的视频内容片段在第二视频中的定位信息；或者，相同的视频内容片段分别在第一视频中的定位信息和第二视频中的定位信息。
在一实施例中，基于所述视频查询请求消息包括所述第一视频的标识信息的情况，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
基于所述视频查询请求消息包括所述第二视频的标识信息的情况，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
在一实施例中，若视频查询请求消息包括第一视频的标识信息和第一视频的播放进度，视频查询响应消息包括与第一视频的标识信息关联的第二视频的标识信息，以及与第一视频的播放进度对应的所述相同的视频内容片段在第二视频中对应的定位信息；或者，若视频查询请求消息包括第二视频的标识信息和第二视频的播放进度，视频查询响应消息包括与第二视频的标识信息关联的第一视频的标识信息，以及与第二视频的播放进度对应的所述相同的视频内容片段在第一视频中对应的定位信息。
本公开实施例公开的视频关联信息的查询装置可以执行图3所示的方法，且具有相同的效果。
本公开实施例还提供了一种视频关联信息的查询系统，该系统包括如图4或5所示的视频关联信息的处理装置，以及图6所述的视频关联信息的查询装置。另外，在本公开上述实施例中，由于在应用服务器的播放控制模块上可以实时的获取终端设备播放视频的播放进度，在上述实施例中，是由应用服务器等查询端设备向存储端设备发送视频查询请求消息，以获得关联的视频，以及相同的视频内容片段在关联的视频中的定位信息，然后查询侧设备进行计算获得进行续播时的起始播放内容，在另一种实现方式中，还可以是查询端设备在视频查询请求消息中将上述播放进度发送给存储端设备，以由存储端设备根据播放进度，以及定位信息来计算进行续播时的起始播放内容，并通过视频查询响应消息将起始播放内容发送给查询端设备，也就是说计算获得续播时起始播放内容的功能可以设置存储侧设备上，当然以上内容也仅是举例说明书计算起始播放内容的模块可以设置不同的服务器或设备上，本实施例中不进行限制。
实施例七
图7为本公开实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器40、存储器41、输入装置42和输出装置43；电子设备中处理器40的数量可以是一个或多个，图7中以一个处理器40为例；电子设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图7中以通过总线连接为例。总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器41作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本公开实施例中的视频关联信息的处理方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行电子设备的一种或多种功能应用以及数据处理，即实现上述的视频关联信息的处理方法。
存储器41可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、或至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等，例如上述实施例中所涉及的第一视频的标识信息和第二视频的标识信息之间的关联关系，以及相同的视频内容片段在第一视频和/或第二视频中的定位信息等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可以包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可设置为接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
在一实施例中，电子设备可以为服务器或终端设备等。
实施例八
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所提供的一种视频关联信息的处理方法和/或视频关联信息的查询方法，该方法可以但不限于上述实施例所公开的内容。
本公开实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质包括(非穷举的列表)：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器 (Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及通用硬件来实现，也可以通过硬件实现。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算 机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开一个或多个实施例的方法。
上述装置的实施例中，所包括的多个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，每个功能单元的名称也只是为了便于相互区分，并不用于限制本公开的保护范围。

Claims (18)

  1. 一种视频关联信息的处理方法，包括：
    存储第一视频的标识信息与第二视频的标识信息之间的关联关系，其中，所述第一视频和所述第二视频包括相同的视频内容片段；
    接收视频查询请求消息，其中，所述视频查询请求消息包括所述第一视频的标识信息或所述第二视频的标识信息；
    在所述视频查询请求消息包括所述第一视频的标识信息的情况下，获取与所述第一视频的标识信息关联的所述第二视频的标识信息，并返回包括所述第二视频的标识信息的视频查询响应消息；在所述视频查询请求消息包括所述第二视频的标识信息的情况下，获取与所述第二视频的标识信息关联的所述第一视频的标识信息，并返回包括所述第一视频的标识信息的视频查询响应消息。
  2. 根据权利要求1所述的方法，在所述存储第一视频的标识信息与第二视频的标识信息之间的关联关系之前，还包括：
    获取所述第一视频的标识信息与所述第二视频的标识信息之间的关联关系；
    其中，所述关联关系的获取方式包括下述至少一项：
    根据至少两个视频的视频内容分析结果，将包括相同的视频内容片段的两个视频分别作为所述第一视频和所述第二视频，并获取所述第一视频的标识信息和所述第二视频的标识信息之间的关联关系；
    根据视频分割技术对所述第二视频进行视频分割得到所述第一视频，并获取所述第一视频的标识信息和所述第二视频的标识信息之间的关联关系；
    获取所述第一视频的标识信息和所述第二视频的标识信息之间的关联关系；
    通过视频关联关系列表获得，其中，所述视频关联关系列表中包括所述第一视频的标识信息和所述第二视频的标识信息之间的关联关系。
  3. 根据权利要求1所述的方法，还包括下述至少一项：
    存储所述相同的视频内容片段在所述第一视频中的定位信息；
    存储所述相同的视频内容片段在所述第二视频中的定位信息。
  4. 根据权利要求3所述的方法，其中，所述第一视频中的定位信息和所述第二视频中的定位信息均包括下述至少一项：时间戳信息、视频帧信息以及音 频帧信息。
  5. 根据权利要求4所述的方法，其中，所述时间戳信息包括下述至少一项：所述相同的视频内容片段在所述第一视频中的基准时间；以及所述相同的视频内容片段在所述第二视频中的基准时间；
    所述视频帧信息包括下述至少一项：所述相同的视频内容片段在所述第一视频中的基准视频帧；以及所述相同的视频内容片段在所述第二视频中的基准视频帧；
    所述音频帧信息包括下述至少一项：所述相同的视频内容片段在所述第一视频中的基准音频帧；以及所述相同的视频内容片段在所述第二视频中的基准音频帧。
  6. 根据权利要求3所述的方法，其中，所述视频查询响应消息还包括下述至少一项：
    所述相同的视频内容片段在所述第一视频中的定位信息；
    所述相同的视频内容片段在所述第二视频中的定位信息。
  7. 根据权利要求3所述的方法，其中，基于所述视频查询请求消息包括所述第一视频的标识信息的情况，所述方法还包括：
    获取所述第一视频的播放进度以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
    基于所述视频查询请求消息包括所述第二视频的标识信息的情况，所述方法还包括：
    获取所述第二视频的播放进度以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
  8. 根据权利要求3所述的方法，其中：
    基于所述视频查询请求消息包括所述第一视频的标识信息和所述第一视频的播放进度的情况，所述方法还包括：
    获取与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
    基于所述视频查询请求消息包括所述第二视频的标识信息和所述第二视频的播放进度的情况，所述方法还包括：
    获取与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
  9. 根据权利要求1-8任一项所述的方法，其中，所述相同的视频内容片段为相似度值超过预设阈值的视频内容片段。
  10. 根据权利要求6、7或8所述的方法，其中，所述相同的视频内容片段包括下述之一：
    所述第一视频的全部内容片段；
    所述第二视频的全部内容片段；
    所述第一视频的部分内容片段、以及所述第二视频的部分内容片段。
  11. 一种视频关联信息的查询方法，包括：
    发送视频查询请求消息，所述视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
    接收视频查询响应消息；在所述视频查询请求消息包括所述第一视频的标识信息的情况下，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息；在所述视频查询请求消息包括所述第二视频的标识信息的情况下，所述视频查询响应消息包括与所述第二视频的标识信息关联 的所述第一视频的标识信息；其中，所述第一视频和所述第二视频包括相同的视频内容片段。
  12. 根据权利要求11所述的方法，其中，所述视频查询响应消息还包括下述至少一项：
    所述相同的视频内容片段在所述第一视频中的定位信息；所述相同的视频内容片段在所述第二视频中的定位信息。
  13. 根据权利要求12所述的方法，其中：
    基于所述视频查询请求消息包括所述第一视频的标识信息的情况，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
    基于所述视频查询请求消息包括所述第二视频的标识信息的情况，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
  14. 根据权利要求12所述的方法，其中：
    基于所述视频查询请求消息包括所述第一视频的标识信息和所述第一视频的播放进度的情况，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息，以及与所述第一视频的播放进度对应的所述相同的视频内容片段在所述第二视频中对应的定位信息；
    基于所述视频查询请求消息包括所述第二视频的标识信息和第二视频的播放进度的情况，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息，以及与所述第二视频的播放进度对应的所述相同的视频内容片段在所述第一视频中对应的定位信息。
  15. 一种视频关联信息的处理装置，包括：存储模块，接收模块和发送模块；
    所述存储模块，设置为存储第一视频的标识信息与第二视频的标识信息之间的关联关系，其中，所述第一视频和所述第二视频包括相同的视频内容片段；
    所述接收模块，设置为接收视频查询请求消息，其中，所述视频查询请求消息包括所述第一视频的标识信息或所述第二视频的标识信息；
    所述发送模块，设置为在所述视频查询请求消息包括所述第一视频的标识信息的情况下，在所述存储模块中获取与所述第一视频的标识信息关联的所述第二视频的标识信息，并返回包括所述第二视频的标识信息的视频查询响应消息；在所述视频查询请求消息包括所述第二视频的标识信息的情况下，在所述存储模块中获取与所述第二视频的标识信息关联的所述第一视频的标识信息，并返回包括所述第一视频的标识信息的视频查询响应消息。
  16. 一种视频关联信息的查询装置，包括：
    发送模块，设置为发送视频查询请求消息，所述视频查询请求消息包括第一视频的标识信息或第二视频的标识信息；
    接收模块，设置为接收视频查询响应消息；在所述视频查询请求消息包括所述第一视频的标识信息的情况下，所述视频查询响应消息包括与所述第一视频的标识信息关联的所述第二视频的标识信息；在所述视频查询请求消息包括所述第二视频的标识信息的情况下，所述视频查询响应消息包括与所述第二视频的标识信息关联的所述第一视频的标识信息；其中，所述第一视频和所述第二视频包括相同的视频内容片段。
  17. 一种电子设备，包括：
    一个或多个处理器；
    存储器，设置为存储一个或多个程序；
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现下述至少一项：如权利要求1-10中任一项所述的方法；如权利要求11-14中任一项所述的方法。
  18. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现下述至少一项：如权利要求1-10中任一项所述的方法；如权利要求11-14中任一项所述的方法。
PCT/CN2019/081685 2018-07-04 2019-04-08 视频关联信息的处理方法、装置、电子设备及存储介质 WO2020007083A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/980,700 US11250267B2 (en) 2018-07-04 2019-04-08 Method and apparatus for processing information associated with video, electronic device, and storage medium
SG11202011218UA SG11202011218UA (en) 2018-07-04 2019-04-08 Method and apparatus for processing information associated with video, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810726043.6A CN110691256B (zh) 2018-07-04 2018-07-04 视频关联信息的处理方法、装置，服务器及存储介质
CN201810726043.6 2018-07-04

Publications (1)

Publication Number Publication Date
WO2020007083A1 true WO2020007083A1 (zh) 2020-01-09

Family

ID=69060749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/081685 WO2020007083A1 (zh) 2018-07-04 2019-04-08 视频关联信息的处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11250267B2 (zh)
CN (1) CN110691256B (zh)
SG (1) SG11202011218UA (zh)
WO (1) WO2020007083A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222103A (zh) * 2011-06-22 2011-10-19 央视国际网络有限公司 视频内容的匹配关系的处理方法及装置
CN106162351A (zh) * 2016-08-02 2016-11-23 合网络技术（北京）有限公司 一种视频推荐方法及装置
WO2017180199A1 (en) * 2016-04-13 2017-10-19 Google Inc. Video metadata association recommendation
CN107609149A (zh) * 2017-09-21 2018-01-19 北京奇艺世纪科技有限公司 一种视频定位方法和装置
CN107968952A (zh) * 2017-12-19 2018-04-27 聚好看科技股份有限公司 一种推荐视频的方法、装置、服务器和计算机存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1442411A4 (en) * 2001-09-30 2006-02-01 Realcontacts Ltd CONNECTING SERVICE
US9367985B2 (en) * 2003-09-12 2016-06-14 Konami Gaming, Inc. System for providing an interface for a gaming device
US10552819B1 (en) * 2008-10-07 2020-02-04 Amazon Technologies, Inc. Media enhanced mobile payments
US8612426B2 (en) * 2011-06-20 2013-12-17 Conifer Research Llc Systems and methods for arranging participant interview clips for ethnographic research
US9237386B2 (en) * 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
TWI467985B (zh) * 2012-12-06 2015-01-01 Gemtek Technology Co Ltd 支援群組基礎計費制的影片播放系統及相關的電腦程式產品
US9756392B2 (en) * 2013-08-29 2017-09-05 Disney Enterprises, Inc. Non-linear navigation of video content
CN106686441A (zh) * 2016-12-30 2017-05-17 中广热点云科技有限公司 一种视频互动方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222103A (zh) * 2011-06-22 2011-10-19 央视国际网络有限公司 视频内容的匹配关系的处理方法及装置
WO2017180199A1 (en) * 2016-04-13 2017-10-19 Google Inc. Video metadata association recommendation
CN106162351A (zh) * 2016-08-02 2016-11-23 合网络技术（北京）有限公司 一种视频推荐方法及装置
CN107609149A (zh) * 2017-09-21 2018-01-19 北京奇艺世纪科技有限公司 一种视频定位方法和装置
CN107968952A (zh) * 2017-12-19 2018-04-27 聚好看科技股份有限公司 一种推荐视频的方法、装置、服务器和计算机存储介质

Also Published As

Publication number Publication date
CN110691256B (zh) 2021-04-20
CN110691256A (zh) 2020-01-14
SG11202011218UA (en) 2020-12-30
US20210365688A1 (en) 2021-11-25
US11250267B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP6713034B2 (ja) スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム
US10367913B2 (en) Systems and methods for tracking user behavior using closed caption text
EP3255889B1 (en) System and method for testing and certification of media devices for use within a connected media environment
WO2020094034A1 (zh) 用于终端的无线网络连接方法
US9055193B2 (en) System and method of a remote conference
WO2020078300A1 (zh) 一种终端投屏的控制方法和终端
CN104539977A (zh) 直播预览方法及装置
WO2018130173A1 (zh) 配音方法、终端设备、服务器及存储介质
WO2019047878A1 (zh) 语音操控终端的方法、终端、服务器和存储介质
JP2020008854A (ja) 音声要求を処理するための方法および装置
WO2020007082A1 (zh) 视频播放处理方法、终端设备、服务器及存储介质
WO2020155964A1 (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
US10142583B1 (en) Computing system with external speaker detection feature
WO2017113708A1 (zh) 视频播放方法及装置
WO2021218981A1 (zh) 互动记录的生成方法、装置、设备及介质
CN111901695B (zh) 视频内容截取方法、装置和设备及计算机存储介质
JP2019512144A (ja) 限定対話機能を用いたリアルタイムのコンテンツ編集
US20240179372A1 (en) Method and System for Monitoring Playing of Screen Device, and Storage Medium
CN105812845A (zh) 一种媒体资源推送方法、系统和基于Android系统的媒体播放器
KR20180088927A (ko) 채널 변화 기반 트리거 피처를 갖는 컴퓨팅 시스템
JP7058795B2 (ja) ビデオ処理方法、装置、端末及び記憶媒体
CN108882004B (zh) 视频录制方法、装置、设备及存储介质
WO2015089790A1 (zh) 业务处理方法、装置和系统
WO2020007083A1 (zh) 视频关联信息的处理方法、装置、电子设备及存储介质
US10165313B1 (en) Testing set top appliance boxes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19830628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.04.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19830628

Country of ref document: EP

Kind code of ref document: A1