WO2009082934A1 - Procédé de traitement vidéo et système associé - Google Patents

Procédé de traitement vidéo et système associé Download PDF

Info

Publication number
WO2009082934A1
WO2009082934A1 PCT/CN2008/073564 CN2008073564W WO2009082934A1 WO 2009082934 A1 WO2009082934 A1 WO 2009082934A1 CN 2008073564 W CN2008073564 W CN 2008073564W WO 2009082934 A1 WO2009082934 A1 WO 2009082934A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
description file
file
information
function
Prior art date
Application number
PCT/CN2008/073564
Other languages
English (en)
French (fr)
Inventor
Zhiping Meng
Original Assignee
Zhiping Meng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiping Meng filed Critical Zhiping Meng
Publication of WO2009082934A1 publication Critical patent/WO2009082934A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors

Definitions

  • Embodiments of the present invention relate to the field of video technologies, and in particular, to a method and system for processing video. Background technique
  • Network video and various other video formats are rapidly evolving, and the application of video becomes more and more important.
  • Some large-scale video websites have more than 10 million IP traffic per day.
  • Network video has become an efficient and flexible video format, but many technologies, including video advertisements, are still in the process of development, especially for on-demand programming. . Therefore, although the number of people watching videos on the Internet is large, the advertising revenue is very small.
  • Patent No. CN200710097774.0 proposes a method for using an information set in a video resource, which proposes a scheme for interactive operation of video media and other media, but does not propose a specific video for generating a video content description file and a video function file.
  • Approach. Patent No. CN200710123453.3 provides a method for controlling advertisement play by using advertisement description files, but the scheme does not propose the concept of advertisement content description file, nor can it search for video objects, and does not cooperate with database management in function management. Therefore, there is still room for improvement.
  • the embodiments of the present invention propose a method and a related system for processing video more specifically and efficiently. Summary of the invention
  • Embodiments of the present invention provide a method and system for processing video to implement effective processing and management of a video object.
  • a method of processing video comprising the steps of:
  • Processing a video file generating a content description file corresponding to the video content; processing the content description file, adding a function description to one or more records in the content description file, and generating a function description file;
  • the processing the video file, and generating a content description file corresponding to the video content includes the following steps:
  • the content description file may be a separate generated file or a file stored in the memory, and the file may be uploaded to the file in whole or in turn.
  • the content description database is stored.
  • the description information of the specific object in the video includes at least: 1) keyword information of the specific object; 2) start playing and ending playing information of the specific object; starting and ending playing of the specific object
  • the information may be expressed as start frame and end frame information of the occurrence of the specific object and/or start time and end time information of occurrence of the specific object.
  • the description information of the specific object in the video may also include location information and/or area information of the object in the video frame.
  • the processing the content description file, adding a function description to one or more records in the content description file, and generating a function description file includes the following steps:
  • Adding a function description, and forming a function description file wherein the process of adding the function description may be first adding the function description information to the content description database, and then generating a function description file for the corresponding video through the content description database; The process may also first extract the content description file from the content description database, and then generate a function description file for the video in combination with the function description of each record.
  • An editing system for generating a video content description file including a video playing module and a parameter editing module:
  • the editing system of the video content description file has the function of editing a video during video playback by opening a video file, and generating a video content description.
  • the content description file includes at least: keyword information of an object in the video, start and end information of the object in the video;
  • the video playing module includes at least a play video function, and the video play module can sense a click position and/or time information and/or frame position information of the mouse in the video, and save the position and time information in the memory;
  • the parameter editing interface includes at least a keyword area for inputting keyword information corresponding to the video content
  • the editing system of the video content description file generates a keyword information containing at least objects in the video and object start and end information in the video, and the start and end information may be represented by a start time end time or a start end frame.
  • a method for obtaining function description information through a network and generating a function description file includes the following steps:
  • Processing the video file generating a content description file corresponding to the video content; saving the content description file to the content description database according to the record;
  • the user selects an item to be processed, adds a function description to the record according to the user requirement, and saves the added function description to the content description database;
  • the content description database is processed, and a function description file corresponding to the video is generated.
  • a method for object search in a video comprising the following steps:
  • the processed content description file is saved in the content description database according to the record; the user searches for the keyword field in the content description database by using the input keyword method, and returns the hit record.
  • the record of the return hit includes start and end information of a specific object in the video in the video;
  • a method for importing an object in a video into a search engine comprising the steps of: opening a video file;
  • the keyword information of the specific object in the video When the user plays the video, the keyword information of the specific object in the video, the start and end information of the specific object are obtained, and the keyword information is imported into the search engine during the period when the specific object appears in the video to the end, and Returns search results.
  • a player system combining video and webpage including a video playing module, a function description file parsing module, and a browser module:
  • the player system combining the video and the webpage can play the video through the video playing module, and when the video is played, parsing the function description file corresponding to the video through the function description file parsing module, and taking the URL according to the function description file Returning to the webpage and playing the webpage in the browser module;
  • the video playing module specifically includes a video decoding program for parsing and playing the video file
  • the function description file parsing module is configured to parse the function description file and parse the location where the URL needs to be retrieved;
  • the browser module is used to browse web pages retrieved from the URL.
  • the embodiment of the invention has the following advantages:
  • the content description file is generated by analyzing the video, and the entry generated by the content description file is managed by using a database, and then the function description file of the video is generated according to actual requirements, and the function description file can be obtained through the network.
  • the information is automatically generated, which greatly enlarges the process of video processing and improves the efficiency of video processing.
  • the embodiment of the invention also proposes a video object search scheme, which can quickly search for objects appearing in the video, and play the clips of the search object in the video. In this way, video content can be easily extracted, managed effectively, and ads and various functions can be easily set up to make full use of the potential value of the content in the video.
  • the video content description file can be edited by the video content description file, and the video description text can be generated by editing the video efficiently. And can be played by a player system that combines video and web pages. Video becomes a first-level media, and other related media are played on the basis of video and become secondary media.
  • FIG. 1 is a flow chart of a method of processing video in the present invention
  • FIG. 2 is a schematic diagram of a function description file generated by using a website in the present invention
  • FIG. 3 is a flowchart of searching for an object in a video by using a keyword in the present invention
  • FIG. 4 is a flowchart of importing a video description file into a search engine in the present invention
  • 5 is a schematic diagram of a player system combining video and webpage in the present invention
  • FIG. 6 is a schematic diagram of a player interface combining video and webpage in the present invention
  • FIG. 7 is a schematic diagram of an editing system for generating a video content description file in the present invention
  • 8 is a schematic diagram of an editing system interface for generating a video content description file in the present invention
  • FIG. 9 is a schematic diagram of a video object motion trajectory fitting algorithm according to the present invention
  • Figure 10 is a schematic plan view showing the motion of a video object in the present invention. detailed description
  • the basic idea of the present invention is: preprocessing a video, generating a content description file of the video, then loading the content description file into a database for centralized management, and then generating a function description file corresponding to the video according to the actual needs of the video. , this process can be done automatically.
  • content description files and function description files many complex applications can be generated. These applications allow valuable objects in the video to be fully utilized and generate tremendous business value.
  • the flow chart of the method for processing video in the present invention for any file that needs to be edited, it must be opened first, and the part to be edited is transferred into the memory, that is, the video file 110 is opened, and then the video content is opened. Describe the editing system's open video text The piece is edited, and the description information 120 of the specific object in the video is recorded, and the description information forming record of the specific object is saved in the content description file 130.
  • start or end information (including information of time or frame) in which an object appears in a video, and a keyword of an object in the video can be recorded. On this basis, the position or trajectory of the object can be selectively recorded.
  • the first type uses the method of patent number CN200610046026.5 to extract the video object, and uses a rectangular or elliptical method to identify the range of the object in the video, at the inflection point of each motion (ie, when the motion trajectory changes greatly), Add keyframes and then use interpolation to fit the trajectory of the entire object moving in the video;
  • the manual method is used to mark the position of the first frame in the video, and then the tracking algorithm automatically tracks the direction of the object motion to form the trajectory of the object motion.
  • the tracking algorithm automatically tracks the direction of the object motion to form the trajectory of the object motion.
  • Snake video object tracking based on motion compensation can be used. algorithm.
  • the content description file can be loaded into the content description database 140, and the object entries are saved in the database.
  • Obtaining video function description information and generating a function description file 150 by the database for example, automatically generating a function description file of the video by acquiring a function description of the object from the network.
  • the video object can be generated on the website. The start information, video source information, keyword information and other information. If the user who logs in to the website needs to add advertising information to the video object, he can select the video object to be added to the advertisement through the video description database, and then edit the video object.
  • the advertisement and the video object are associated (the associated information here is actually the function description information of the video object), and then the video objects that need to load the advertisement are added one by one, and finally the content description database generates a corresponding for each different video object.
  • the video related function description files and videos are then provided to the video user, and the function description file is parsed to implement a preset function 160, such as an advertisement function.
  • the content description database here is actually a storage for saving content description files. Management concept, in fact the content description database is an optional component. It is entirely possible to generate a content description file for each video. This file can also be edited and added to the function description to form a function description file. The function description file can be added with the function description on the basis of the video description file. The function description can of course also be saved in the generated content description file. The content description file added with the function description is actually the function description file.
  • the concept of two description files of content description file and function description file is proposed here, mainly to separate the two processes of content extraction and function description addition, and the separation of content and function can improve editing efficiency. And convenient features to join.
  • FIG. 2 is a schematic diagram of a function description file generated by using a website in the present invention, and also includes a system structure of the entire system from video production processing to generating a content description file to generating a function description file to an end user.
  • a video resource library 210 eg, a video website, a television station, etc. system having a large amount of video
  • a video content description file editing system 220 e.g., a content description database 240
  • a video function acquisition website 250 eg, a video
  • An ad exchange platform which is connected to a content description database.
  • Advertisers can select video objects on the trading platform that need to add advertisements, and then automatically generate video function description files for automatically advertising when the video is played.), video and webpage combination Player system 270.
  • the service function can be actively added and implemented for the video.
  • the specific steps are as shown in FIG. 2.
  • the video file is extracted from the video resource library 210, and the video file is placed in the video content description file editing system 220, and then the content description file 230 is generated by editing the video file, the content.
  • Description The piece 230 is loaded into the content description database 240, and in which content file each video object is viewed in the content description database 240, and its start and end information and keyword information can be seen.
  • the video object information needs to be posted to the video function acquisition website 250, and the appropriate function is added to the related video object by the method of website input.
  • the car related video object 100 can be found on the video function acquisition website. If the car advertisement is purchased for the 100 objects, the information of the car advertisement is placed in the video function description file 260 of the corresponding video, so that when the video containing the car is playing, if the car object appears, The joined car advertisements are immediately played in the player system 270 in which the video and web pages are combined. It can also be seen from FIG. 2 that the video file and the video function description file 260 corresponding to the video file are transmitted to the player system of the same user's video and webpage during video playback to play the video and implement the function description file definition. The function.
  • the video function obtaining website 250 herein can provide a retrieval operation of the content description database, and provide the retrieved records to the user in the form of a webpage, for example, searching for "car” in the website, and the content of the keyword "car”
  • the record describing the database is returned to the user where it is not described in more detail.
  • FIG. 3 is a flow chart of searching for and playing an object in a video by using a keyword in the present invention.
  • To complete the search for the video object first need to process the video file, record the keyword information of the specific object in the video, the start and end information in the video, and save a record of the specific object in the content description file to generate The video content description file 310; then import the video description file into the content description database 320; Finally, connect to the database interface through a software interface or a web interface, search for an object keyword, and return a search result, where the search result includes the start and end of the video object.
  • Information 330, and the selected object 340 can be played in accordance with the start and end information.
  • the video object search method can only play the entire process of the search object in the video from the beginning to the disappearance of the object, and does not play other video content that does not contain the search object, which can greatly improve the video search and editing efficiency.
  • 4 is a flow chart of importing a video description file into a search engine in the present invention.
  • the video content description file 230 After the video content description file 230 is generated, a correspondence between the video and the video content description file 230 is established, and the video content description file 230 further contains one or more video object records, each video object record containing The key information of the video object and the start of the key information, if the video object in the video content description file 230 is directed to a specific search engine, the result of the keyword search for the video object can be returned.
  • the object record of the content description file 230 is actually imported into the search engine 430 or the knowledge base (Wikipedia) in time series, and the result is returned.
  • the above process can be automatically completed, and the user can watch.
  • the video also gets more relevant information.
  • the video playback module 410 is the same as a normal video player.
  • FIG. 5 is a schematic diagram of a player system combining a video and a webpage according to the present invention.
  • the system includes a video playing module 610, a function description file parsing module 620, and a browser module 630.
  • the video and webpage combined player system 600 can pass the video playing module.
  • the video is played by the 610, and when the video is played, the function description file corresponding to the video is parsed by the function description file parsing module 620, and the webpage is retrieved according to the URL (Uniform Resource Locator) in the function description file, and
  • the webpage is played in the browser module 630;
  • the video playback module 610 specifically includes a video decoding program, configured to parse and play the video file, and is connected to the video resource library through a network; the video resource library is used to store the video; the function description file parsing module 620 is configured to parse the function description file, and parse out The location of the URL needs to be retrieved and connected to the function description file server 520; wherein the function description file server 520 is configured to store the function description file; the function description file parsing module 620 is further connected to the browser module 630, and the URL is input into the browser module 630. ;
  • the browser module 630 is used to browse a web page retrieved from a URL, where the URL can be an advertisement address placed on the advertisement website 530.
  • FIG. 6 is a schematic diagram of a player in the present invention, including a video playing interface 650 and a web interface 640.
  • the biggest feature of the interface is that the player includes a web interface, and the web interface 640 also changes with the continuous change of the video object. This is based on video-driven changes in the Web, and the existing technology is Web-driven to drive video. There are fundamental differences in change.
  • the editing system 700 for generating a video content description file includes a video playing module 710 and a parameter editing module 720:
  • the editing system 700 of the video content description file has the function of editing the video during the video playback by opening the video file, and generating a video content description file; wherein the content description file at least includes: keyword information of the object in the video , the start and end of the object in the video;
  • the video playing module 710 includes at least a play video function, and the video playing module 710 can sense the click position and/or time information and/or frame position information of the mouse in the video, save the position and time information in the memory; and can click The position and/or time information and/or frame position information is displayed in the parameter editing module 720, and the display effect is as shown in FIG.
  • the video playing module 710 is connected to the video resource library 210 for acquiring video, and the video playing module 710 is further connected to the parameter editing module 720, and the obtained in-video parameters are passed to the parameter editing module 720;
  • the parameter editing module 720 includes at least a keyword area for inputting keyword information corresponding to the video content.
  • the parameter editing module 720 can obtain the content description file 230 by acquiring the intra-video parameter and the keyword information from the video playing module 710.
  • the keyword information (out-of-video parameters) is input from the outside of the editing system 700 from the manual input device 730.
  • the generated content description file 230 can be saved in the content description database 240.
  • the content description file can select whether or not to record the relative position of the video object in the video.
  • the algorithm of Fig. 9 can be used to track the motion trajectory of the video object.
  • the video in the video resource library 210 is opened for playing
  • the second step is to find valuable video objects, such as any video object with advertising value, and pause the video playback;
  • the video object appearance information is acquired in the parameter editing module 720, such as time, the keyword information is input to the parameter editing module 720 through the manual input device 730, and then the video is continued to be played until the valuable video object disappears. Pausing again, and acquiring video object end information in the parameter editing module 720;
  • the valuable video objects and keywords and start and end information are saved to the content description file 230 and form a record of the valuable video objects.
  • the video in the video resource library 210 is opened for playing
  • the video object appearance time information is obtained in the parameter editing module 720, and the center position of the video object in the video is clicked, the relative position of the video object in the video is obtained, and the coordinates are saved in the parameter editing module 720;
  • the fourth step continue to play the video, find that the moving direction of the video object changes, pause again, obtain the video object appearance time information, and click on the video object center position in the video, and obtain the relative position of the video object in the video again, and The time information and coordinates are saved to the parameter editing module 720;
  • the keyword information is input to the parameter editing module by manually inputting the device 730.
  • the valuable video object, its location information, keywords, start and end information are saved to the content description file 230 and form a record of the valuable video object.
  • FIG. 8 is a schematic diagram of an interface of an editing system for generating a video content description file according to the present invention.
  • the interface mainly includes two parts, namely a video playing interface 820 (a set of decoding devices in the background) and a parameter editing interface 810.
  • the video playback interface 820 can control video playback through the start, end, and pause buttons.
  • the parameter editing interface 810 is mainly displayed from the video broadcast.
  • the parameters of the video object include information such as the start and end time of the video object, the location of the object, and the like, and the parameter editing interface 810 is also used to input keyword information of the video object. For example, when an object of a car appears in the video, it may be in the keyword. Enter "car”.
  • the parameter editing interface 810 is to complete editing of the video object, at least including video object information such as keywords, object positions, start and end. These object information can then be used to generate a video content description file and ultimately generate a video function description file.
  • video function description information may also be added in the parameter editing interface 810, for example, the information of the URL to be activated, etc., so that the video function description file may be directly generated.
  • FIG. 9 is a schematic diagram of a motion estimation algorithm for a video object according to the present invention.
  • the present invention focuses on the '-position of the object in the video, and the object can be tracked through this central location.
  • Figure 9 shows the process of a rectangle appearing from point A in video frame S1 and moving along point C and point D to point B in frame S2, where A, B, C, and D are the midpoints of the motion rectangle.
  • the XY coordinates represent the frame plane, and the T coordinates represent the time axis. Assuming there are still several frames between S 1 and S2 frames, how can I mark the trajectory of the rectangular motion?
  • Figure 10 is a schematic diagram of the plane projection of the motion trajectory of the video object. Projecting all the central trajectories of the rectangle onto the XT plane will result in a curve formed by the projection of the rectangular motion center along the X-axis direction on the time axis. Similarly, the rectangular center can be projected on the YT plane. Moreover, the time coordinate S3 of the C point (and the position of the S3 frame, since the time difference between the frames is fixed, the position of the frame can determine the relative position of the time), and the time coordinate S4 of the D point can be recorded. Thus the four points of the XT plane in Figure 10 appear:
  • the interpolation formula to fit the above four points into a continuous curve M on the XT plane.
  • Different set effects can be obtained according to the selected content method.
  • the third derivative of the curve is continuous.
  • a continuous curve N on the YT plane can be obtained in the same way.
  • the fitting curve M obtained in XT and the fitting curve N in the YT plane are synthesized in the coordinate system XYT, and a continuous curve L in the XYT coordinate system can be obtained, and L can also roughly represent a rectangular shape. Movement track. Due to the extraction of the motion trajectory, the position of the video object can be perceived by the video during playback.
  • a hotspot area of the tracking video object can be established in the video, and the area is a reference of the video.
  • the techniques described in the embodiments of the present invention may be implemented in hardware, software, or a combination. If executed in software, the technique can be directly directed to a computer readable medium containing program code, which is executed in a device that encodes a video sequence.
  • the computer readable medium may include RAM (Random Access Memory), SDRAM (Synchronous Dynamic RAM), ROM (Read Only Memory), NVRAM (non- Volatile RAM non-volatile random access memory), EEPROM (Electrically-Erasable Programmable Read-Only Memory), FLASH (flash memory), etc.
  • RAM Random Access Memory
  • SDRAM Serial RAM
  • ROM Read Only Memory
  • NVRAM non- Volatile RAM non-volatile random access memory
  • EEPROM Electrically-Erasable Programmable Read-Only Memory
  • FLASH flash memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

一种处理视频的方法及其系统 本申请要求于 2007年 12 月 18 日提交中国专利局， 申请号为 200710172506.0, 发明名称为 "一种处理视频的方法及其系统" 的中 国专利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明实施例涉及视频技术领域，尤其涉及一种处理视频的方法 及其系统。 背景技术
随着网络技术的不断发展，各种各样的基于网页的应用也越来越 多。 网络视频以及各种其它视频形式都在快速发展， 对于视频的应用 也就显得越来越重要了。 现阶段一些大型的视频网站， 每天的流量超 过千万 IP, 网络视频已经成为一种高效和灵活的视频形式，但是包括 视频广告等很多技术还处于发展过程中，特别是针对点播节目的广告 技术。 因此， 虽然网络上看视频的人数众多， 但是广告收入却非常微 薄。
如何让视频在播放时候进行增值就是我们必须考虑的问题。现有 的网络视频广告形式还非常筒单， 主要包括： 播放视频前进行广告利 用緩沖期播放、 播放视频后播放广告、 背景图片等方式。 但这些方式 对于视频广告来说并不理想， 产生广告效率低下、 广告效果不佳的问 题。 例如， 如果采用视频前播放 10秒緩沖广告的方法， 以视频播放 10分钟为例， 广告的时长只占到了整个视频播放时长的 1/60。 如何 改变这种低效率的广告方式，以及改善用户的广告体验成了我们当前 必须解决的问题。
另一方面， 视频搜索成了一个热门的话题， 如何才能准确地搜出 我们关心的视频变得越来越重要。现有的视频搜索方式都离不开视频 名字或视频筒介的搜索， 实际上还是基于视频标题的搜索， 而且很明 显， 视频标题的搜索并不能代表整个视频的内容， 如何才能对视频中 的具体内容或对象进行搜索呢？ 曾经有人提出过对视频或图片中的 对象进行自动识别的方法， 经过了几十年的研究， 现在已经可以对类 似人脸、 指纹等特定的目标物体进行自动识别， 但是根本无法对广义 的任何物体进行识别， 这种做法在短时间内是根本无法实现的。 由于 人工智能（Artificial Intelligence, AI ) 的限制， 计算机还不能想人那 样思考问题， 这也是导致上述方法不能实现的根本原因。
由于视频数量的发展， 视频中对象的商业价值会变得越来越大， 但是现有的自动识别技术还远远达不到对视频中对象进行广泛识别 的要求。 因此有没有可替代的识别方案， 便成为本发明研究的重点。
专利号 CN200710097774.0, 提出了一种在视频资源中使用信息 集的方法， 该方法提出了视频媒体和其它媒体进行互动操作的方案， 但是没有提出生成视频内容描述文件和视频功能文件的具体视频处 理方法。 专利号 CN200710123453.3 , 提供了利用广告描述文件来控 制广告播放的方法， 但是该方案并没有提出广告内容描述文件的概 念， 也不能对视频对象进行搜索， 在功能管理上也没有配合数据库进 行管理， 因此还具有改良的余地。 在以上两个专利的基础上， 本发明 实施例提出了更具体、 高效地处理视频的方法以及相关系统。 发明内容
本发明实施例提供了一种处理视频的方法及其系统，以实现对视 频对象进行有效处理和管理。
为了实现上述目的， 本发明的实施例包括以下方法和相关系统： 一种处理视频的方法， 包括以下步骤：
处理视频文件， 生成和视频内容对应的内容描述文件； 处理所述内容描述文件，为内容描述文件中一条或多条记录添加 功能描述， 生成功能描述文件；
在视频播放前或视频播放中， 解析所述功能描述文件， 实现功能 描述文件内的描述功能。
所述处理视频文件， 生成和视频内容对应的内容描述文件， 包括 以下步骤：
打开视频文件；
记录下视频中具体对象的描述信息；
并把具体对象的描述信息形成记录保存到内容描述文件中； 所述内容描述文件可以是一个单独的生成文件或保存在内存中 的文件，并可以将该文件整体或依次将每条记录上传到内容描述数据 库进行存储。
所述记录下视频中具体对象的描述信息， 至少包括： 1 )所述具 体对象的关键字信息； 2 )所述具体对象的开始播放和结束播放信息； 所述具体对象的开始播放和结束播放信息可以表示为所述具体 对象出现的开始帧和结束帧信息和 /或所述具体对象出现的开始时间 和结束时间信息。
所述记录下视频中具体对象的描述信息，还可以包括对象在视频 帧中的位置信息和 /或区域信息。
所述处理所述内容描述文件，为内容描述文件中一条或多条记录 添加功能描述， 生成功能描述文件， 包括以下步骤：
从内容描述数据库或内容描述文件中找到需要添加功能描述的 记录；
加入功能描述， 并形成功能描述文件； 其中， 所述加入功能描述 的过程可以是先将功能描述信息加入内容描述数据库，然后通过内容 描述数据库为对应的视频产生功能描述文件；所述加入功能描述的过 程也可是先将内容描述文件从内容描述数据库中提取出来，然后结合 每条记录的功能描述为视频生成功能描述文件。
一种生成视频内容描述文件的编辑系统， 包括视频播放模块和参 数编辑模块：
所述视频内容描述文件的编辑系统，其功能在于可以通过打开视 频文件， 在视频播放的过程中对视频进行编辑， 并生成视频内容描述 文件； 所述内容描述文件至少包括： 视频中对象的关键字信息、 视频 中对象的开始和结束信息；
所述视频播放模块至少包括播放视频功能，并且视频播放模块可 以感知鼠标在视频中的点击位置和 /或时间信息和 /或帧位置信息， 并 将位置和时间信息保存在内存中；
所述参数编辑界面至少包括关键字区域，用于输入视频内容对应 的关键字信息；
所述视频内容描述文件的编辑系统会生成一个至少含有视频中 对象的关键字信息和视频中对象开始和结束信息，所述开始和结束信 息可以用开始时间结束时间表示或开始帧结束帧表示。
一种通过网络获取功能描述信息， 并生成功能描述文件的方法， 包括以下步骤：
处理视频文件， 生成和视频内容对应的内容描述文件； 将内容描述文件按记录保存到内容描述数据库中；
通过网页提供内容描述数据库的检索操作，并将被检索到的记录 用网页形式提供给用户；
所述用户选择需要处理的条目，根据用户需求为该记录添加功能 描述， 并将增加的功能描述保存到内容描述数据库中；
处理内容描述数据库， 生成和视频对应的功能描述文件。
一种视频中对象搜索的方法， 包括以下步骤：
处理视频文件， 记录下视频中具体对象的关键字信息、 在视频中 的开始和结束信息，并在内容描述文件中保存一条所述具体对象的记 录；
将处理好的内容描述文件按记录保存在内容描述数据库中； 用户利用输入关键字的方法搜索内容描述数据库中关键字字段， 返回命中的记录。
所述返回命中的记录中包括视频中某一具体对象在视频中的开 始和结束信息；
提取所述具体对象在视频中的开始和结束信息，并播放所述具体 对象在视频中出现到结束的片段。
一种将视频中对象导入搜索引擎的方法， 包括以下步骤： 打开视频文件；
记录下视频中具体对象的关键字信息、在视频中的开始和结束信 息， 并在内容描述文件中保存一条所述具体对象的记录；
用户播放视频时， 获取视频中具体对象的关键字信息、 具体对象 的开始和结束信息，并在所述具体对象在视频中出现到结束的这段时 间内， 将关键字信息导入搜索引擎， 并返回搜索结果。
一种将视频和网页结合的播放器系统， 包括视频播放模块、 功能 描述文件解析模块和浏览器模块：
所述将视频和网页结合的播放器系统，可以通过视频播放模块播 放视频， 并在视频播放的时候， 通过功能描述文件解析模块解析视频 对应的功能描述文件， 并根据功能描述文件中的 URL取回网页， 并 将所述网页在浏览器模块中播放；
视频播放模块具体包括视频解码程序， 用于解析并播放视频文 件；
功能描述文件解析模块用于解析功能描述文件，解析出需要取回 URL的位置；
浏览器模块用于浏览从 URL取回的网页。
与现有技术相比， 本发明实施例具有以下优点：
本发明实施例中， 通过对视频的分析生成内容描述文件， 并通过 数据库的方式来管理内容描述文件生成的表项，然后根据实际需求生 成视频的功能描述文件，该功能描述文件可以通过网络获取的信息自 动生成，这样就大大筒化了对视频处理的流程，提高视频处理的效率。 本发明实施例还提出了视频对象搜索的方案，可以对视频中出现的对 象进行快速搜索， 并播放视频中含有搜索对象的片段。 这样， 视频内 容可以被轻松提取，有效管理，并可以很方便的设置广告和各种功能， 使视频中内容的潜在价值得到充分利用。 通过本发明实施例， 还可以 通过视频内容描述文件编辑系统， 高效的编辑视频生成视频描述文 件， 而且可以通过视频和网页结合的播放器系统进行播放。 视频成为 了一级媒体， 其它的相关媒体在视频的基础上进行播放， 成为二级媒 体。 附图说明
图 1是本发明中处理视频方法的流程图；
图 2是本发明中利用网站生成视频功能描述文件示意图； 图 3是本发明中利用关键字搜索视频中对象并播放的流程图； 图 4是本发明中将视频描述文件导入搜索引擎的流程图； 图 5是本发明中视频和网页结合的播放器系统示意图； 图 6是本发明中视频和网页结合的播放器界面示意图； 图 7是本发明中生成视频内容描述文件的编辑系统示意图； 图 8是本发明中生成视频内容描述文件的编辑系统界面示意图； 图 9是本发明中视频对象运动轨迹拟合算法示意图；
图 10是本发明中视频对象运动轨迹平面投影示意图。 具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描 述。
本发明的基本构思为： 对视频进行预处理， 生成视频的内容描述 文件， 然后将内容描述文件加载到数据库中进行集中管理， 然后再根 据对视频的实际需要， 生成和视频对应的功能描述文件， 这一个过程 可以自动完成。 通过内容描述文件和功能描述文件的生成， 可以产生 很多复杂的应用。这些应用可以让视频中有价值的对象被充分利用起 来， 产生巨大的商业价值。
本发明中处理视频方法的流程图， 如图 1所示， 对于任何一个需 要编辑的文件， 必须先将其打开， 把需要编辑的部分调入内存中， 即 打开视频文件 110, 然后通过视频内容描述编辑系统对打开的视频文 件进行编辑， 并记录下视频中具体对象的描述信息 120, 并把具体对 象的描述信息形成记录保存到内容描述文件中 130。 在本发明的内容 描述文件中， 可以记录视频中对象出现的开始或结束信息（包括时间 或帧的信息）， 视频中对象的关键字。 在此基础上可以选择地记录下 对象出现的位置或轨迹。这里可以采用三种方法来记录视频中对象的 位置或轨迹：
第一种， 采用专利号 CN200610046026.5的方法对视频对象进行 提取， 采用矩形或橢圓的方法来标识视频中对象的范围， 在每次运动 的拐点处（即运动轨迹发生较大改变时）， 加入关键帧， 然后采用内 插的方法来拟合整个对象在视频中运动的轨迹；
第二种， 也可以采用图 9中的改良算法， 更方便地对对象运动的 轨迹进行提取；
第三种，采用人工手动的方法标记视频中对象在出现的第一帧的 位置， 然后通过跟踪算法自动跟踪物体运动的方向， 形成物体运动的 轨迹， 例如可以采用基于运动补偿的 Snake视频对象跟踪算法。
为了能够很好地管理内容描述文件，可以将内容描述文件加载到 内容描述数据库 140, 在数据库中分对象条目进行保存。 获取视频功 能描述信息并由数据库生成功能描述文件 150, 例如通过从网络上获 取对象的功能描述而自动生成视频的功能描述文件， 首先， 通过网站 和内容描述数据库相连， 可以在网站上生成视频对象的开始结束信 息、 视频源信息、 关键字信息等多种信息， 如果登陆网站的用户需要 在视频对象上加入广告信息，则可以通过视频描述数据库选择需要加 入广告的视频对象， 然后把编辑好的广告和视频对象建立关联（这里 的关联信息， 实际上就是视频对象的功能描述信息）， 然后把需要加 载广告的视频对象逐一加好，最后由内容描述数据库针对每一个不同 的视频对象生成一个对应的视频功能描述文件，该文件和视频——对 应。再将视频相关功能描述文件和视频提供给视频用户， 并对功能描 述文件解析， 实现预先设定功能 160, 例如广告功能。
这里的内容描述数据库实际上是一个保存内容描述文件的存储 管理概念， 实际上内容描述数据库是一个可选的部件。 这里完全可以 将每一个视频生成一个内容描述文件， 这一文件同样可以被编辑， 加 入功能描述， 从而形成功能描述文件。 功能描述文件可以在视频描述 文件的基础上添加功能描述而成，功能描述当然也可以保存在生成内 容描述文件中，加入了功能描述的内容描述文件实际上就是功能描述 文件了。这里之所以提出内容描述文件和功能描述文件两个描述文件 的概念，主要是为了将内容的提取和功能描述的添加这两个过程进行 分离，而这种内容和功能的分离，可以提高编辑效率和方便功能加入。
由于自动识别视频中的对象， 在现阶段根本不可行， 因此在利用 视频内容描述文件编辑系统来编辑视频时，需要人工来识别视频中的 对象， 来加入关键字， 例如， 视频中出现"可口可乐"， 则可以添加"饮 料"、 "可口可乐"等相关的关键字到该对象（可口可乐）生成的内容 描述文件的记录中去。 关于对象在视频中的出现和结束， 也需要人工 参与， 但是非常筒单， 只需要几次点击， 然后加入关键字即可， 具体 流程参考图 7和其详细叙述。
对于视频中对象的区域信息生成的具体流程和详细说明参考图 7 和其详细叙述。
图 2为本发明中利用网站生成视频功能描述文件示意图，也包含 整个系统从视频制作加工到生成内容描述文件到生成功能描述文件 到最终用户的系统结构。 总体来说包括这样几个部分， 视频资源库 210 (例如视频网站、 电视台等拥有大量视频的系统）、 视频内容描述 文件编辑系统 220、 内容描述数据库 240、视频功能获取网站 250 (例 如， 一个视频广告交易平台， 该平台和内容描述数据库相连， 广告商 可以在交易平台上选择需要添加广告的视频对象，然后自动生成视频 功能描述文件， 用于在视频播放时自动投放广告）、 视频和网页结合 的播放器系统 270。 通过以上系统及网站的配合， 才能为视频主动添 加并实现服务功能。 具体步骤如图 2所示， 首先， 从视频资源库 210 中提取视频文件，并将视频文件放入视频内容描述文件编辑系统 220 , 然后通过对视频文件的编辑生成内容描述文件 230, 所述内容描述文 件 230被加载到内容描述数据库 240中， 可以在内容描述数据库 240 中查看每一个视频对象是在哪一个视频文件中，并且可以看到其开始 和结束信息及关键字信息。 这时， 需要将视频对象信息发布到视频功 能获取网站 250上， 通过网站输入的方法， 为相关的视频对象添加适 当的功能， 例如， 可以在视频功能获取网站上查到汽车相关的视频对 象 100个， 如果为这 100个对象购买汽车广告， 则会将汽车广告的信 息放入对应视频的视频功能描述文件 260中，这样这 100个含有汽车 的视频在播放时， 如果汽车对象出现， 则会马上在视频和网页结合的 播放器系统 270中播放加入的汽车广告。 由图 2还可以看出， 视频文 件和该视频文件对应的视频功能描述文件 260在视频播放时要传输 到同一个用户的视频和网页结合的播放器系统才能正常播放视频和 实现功能描述文件定义的功能。
这里的视频功能获取网站 250 可以提供内容描述数据库的检索 操作， 并将被检索到的记录用网页形式提供给用户， 例如， 在网站中 搜索"车"， 会将关键字为 "车"的内容描述数据库的记录返回到用户所 在此不作更细致描述。
图 3为本发明中利用关键字搜索视频中对象并播放的流程图。要 完成对视频对象的搜索， 首先需要处理视频文件， 记录下视频中具体 对象的关键字信息、在视频中的开始和结束信息， 并在内容描述文件 中保存一条所述具体对象的记录， 生成视频内容描述文件 310; 然后 将视频描述文件导入内容描述数据库中 320; 最后， 通过软件接口或 网页接口连接数据库接口， 搜索对象关键字， 返回搜索结果， 搜索结 果中包含有视频对象的开始和结束信息 330, 并可以按照开始和结束 信息播放选定的对象 340。 这里面需要应用到对视频中指定时间段或 指定视频帧的播放技术，但是这项技术在含有 "飞梭 "条的视频播放器 中均得到解决， 在此不再赘述。 这种视频对象搜索方式可以只播放视 频中搜索对象从开始出现到对象消失的全部过程，而不播放其它不含 有搜索对象的视频内容， 可以大大提高视频搜索和编辑效率。 图 4为本发明中将视频描述文件导入搜索引擎的流程图。生成视 频内容描述文件 230之后，就会建立起一个视频和该视频内容描述文 件 230的——对应关系，而视频内容描述文件 230中又含有一个或多 个视频对象记录，每一个视频对象记录包含这个视频对象的关键字和 开始结束等关键信息，如果将视频内容描述文件 230中的视频对象指 向某个具体的搜索引擎，就可以回返对这个视频对象关键字搜索的结 果。 对于该方法来说， 实际上就是将内容描述文件 230的对象记录按 时间先后将关键字导入到搜索引擎 430或知识库（Wikipedia ), 并返 回结果， 以上过程可以自动完成， 可以让用户在观看视频同时获取更 多相关信息。 这里视频播放模块 410和普通的视频播放器相同。
图 5为本发明中视频和网页结合的播放器系统示意图，该系统包 括视频播放模块 610、功能描述文件解析模块 620和浏览器模块 630: 视频和网页结合的播放器系统 600可以通过视频播放模块 610播 放视频， 并在视频播放的时候， 通过功能描述文件解析模块 620解析 视频对应的功能描述文件， 并根据功能描述文件中的 URL ( Uniform Resource Locator, 统一资源定位符 )取回网页， 并将所述网页在浏览 器模块 630中播放；
视频播放模块 610具体包括视频解码程序，用于解析并播放视频 文件， 通过网络和视频资源库相连； 其中视频资源库用于存储视频； 功能描述文件解析模块 620用于解析功能描述文件，解析出需要 取回 URL的位置， 并和功能描述文件服务器 520相连； 其中功能描 述文件服务器 520 用于存储功能描述文件； 功能描述文件解析模块 620还和浏览器模块 630相连， 将 URL输入浏览器模块 630;
浏览器模块 630用于浏览从 URL取回的网页，这里 URL可以是 放在广告网站 530中的某条广告地址。
图 6为本发明中播放器示意图， 包含视频播放界面 650和 Web 界面 640,这种界面最大特点就是播放器中含有 Web界面，并且 Web 界面 640还会跟着视频对象的不断变化而变化。这一点是以视频为主 导来驱动 Web的改变的， 和现有的技术以 Web为主导来驱动视频的 改变有根本的区别。
图 7为本发明中生成视频内容描述文件的编辑系统示意图，生成 视频内容描述文件的编辑系统 700包括视频播放模块 710和参数编辑 模块 720:
视频内容描述文件的编辑系统 700, 其功能在于可以通过打开视 频文件， 在视频播放的过程中对视频进行编辑， 并生成视频内容描述 文件； 其中内容描述文件至少包括： 视频中对象的关键字信息、 视频 中对象的开始和结束信息；
视频播放模块 710 至少包括播放视频功能， 并且视频播放模块 710 可以感知鼠标在视频中的点击位置和 /或时间信息和 /或帧位置信 息， 将位置和时间信息保存在内存中； 并可以将点击位置和 /或时间 信息和 /或帧位置信息显示在参数编辑模块 720 中， 显示效果如图 8 中所示。 视频播放模块 710和视频资源库 210相连用于获取视频， 并 且视频播放模块 710还和参数编辑模块 720相连，将获取视频内参数 传递到参数编辑模块 720;
参数编辑模块 720至少包括关键字区域，用于输入视频内容对应 的关键字信息；参数编辑模块 720可以从视频播放模块 710处获取视 频内参数结合关键字信息可以生成内容描述文件 230。 这里关键字信 息（视频外参数）来自手工输入设备 730从编辑系统 700的外部进行 输入。 生成的内容描述文件 230可以保存在内容描述数据库 240中。
利用图 7系统编辑视频生成内容描述文件时， 内容描述文件可以 选择是否记录下视频对象在视频中的相对位置。对于记录下的视频对 象的相对位置的情况， 可以再利用图 9中算法， 跟踪视频对象的运动 轨迹。
对于不需要记录视频对象在视频中位置的情况，编辑时通常按以 下步骤完成：
第一步， 打开视频资源库 210中视频进行播放；
第二步， 发现有价值的视频对象， 例如有广告价值的任何视频对 象， 并暂停播放视频； 第三步，在参数编辑模块 720中获取视频对象出现信息，如时间， 通过手工输入设备 730输入关键字信息到参数编辑模块 720, 然后继 续播放视频， 直到所述有价值的视频对象消失时， 再次暂停， 并在参 数编辑模块 720中获取视频对象结束信息；
第四步，将所述有价值的视频对象和关键字以及开始和结束信息 保存到内容描述文件 230, 并形成关于所述有价值视频对象的一条记 录。
对于需要记录视频对象在视频中位置的情况，编辑时通常按以下 步骤完成：
第一步， 打开视频资源库 210中视频进行播放；
第二步， 发现有价值的视频对象， 例如有广告价值的任何视频对 象， 并暂停播放视频；
第三步， 在参数编辑模块 720中获取视频对象出现时间信息， 并 点击视频中视频对象的中心位置， 获取视频对象在视频中的相对位 置， 并将其坐标保存到参数编辑模块 720中；
第四步， 继续播放视频， 发现视频对象运动方向有改变时， 再次 暂停，获取视频对象出现时间信息，并点击视频中视频对象中心位置， 再次获取视频对象在视频中的相对位置，并将其时间信息和坐标保存 到参数编辑模块 720中；
第五步， 重复第四步， 直到视频对象在视频中消失；
第六步，通过手工输入设备 730输入关键字信息到参数编辑模块
720;
第七步， 将所述有价值的视频对象、 及其位置信息、 关键字、 开 始和结束信息保存到内容描述文件 230, 并形成关于所述有价值视频 对象的一条记录。
图 8为本发明中生成视频内容描述文件的编辑系统界面示意图。 界面主要包括两部分， 分别为视频播放界面 820 (后台有一套解码设 备）和参数编辑界面 810。 视频播放界面 820可以通过开始、 结束和 暂停按钮来控制视频播放。而参数编辑界面 810主要显示来自视频播 放的参数， 包括视频对象开始和结束的时间、 对象位置等信息， 并且 参数编辑界面 810还用来输入视频对象的关键字信息， 例如， 视频中 出现一个车的对象时， 可以在关键字中输入"车"。 总体来说， 参数编 辑界面 810要完成对视频对象的编辑，至少要包括关键字、对象位置、 开始和结束等视频对象信息。然后才能将这些对象信息生成视频内容 描述文件， 并最终生成视频功能描述文件。 如果为了方便起见， 也可 以将视频功能描述信息在参数编辑界面 810中加入， 例如， 需要激活 的 URL的信息等， 这样可以直接生成视频功能描述文件。
例如， 图 8中， 车在时间 0012: 1211时出现在 A ( 30, 100 )位 置， 车在时间 0013: 2019时出现在 B ( 100, 100 )位置， 就可以得 到图 8中参数编辑界面 810所能得到数据。
图 9为本发明中视频对象运动轨迹拟合算法示意图。对于视频对 象的跟踪， 其目的只有一个， 知道视频中对象的位置。 有时候， 对象 的精确轮廓变的没有意义，因此本发明关注的是视频中对象的中' -位 置， 并且可以通过这个中心位置对对象进行跟踪。 图 9中展示了一个 矩形从在视频帧 S1中 A点出现， 并沿 C点、 D点运动到了帧 S2中 B点的过程， 其中 A、 B、 C、 D均为运动矩形的中点。 XY坐标表示 帧平面， T坐标表示时间轴， 假设 S 1到 S2帧之间还有数个帧， 如何 才能标记出矩形运动的轨迹呢？ 本发明使用二次线性内插的方法来 解决。 图 10为视频对象运动轨迹平面投影示意图， 将矩形的全部中 心轨迹投影到 XT平面会得到矩形运动中心沿 X轴方向的投影在时间 轴上构成的曲线。 同理可以得到矩形中心在 YT平面上投影曲线。 而 且可以记录下 C点的时间坐标 S3 (及 S3帧的位置， 由于帧之间的时 间差是一定的， 帧的位置可以决定时间的相对位置）， 以及记录下 D 点的时间坐标 S4。 这样图 10中 XT平面的四个点就出现了：
( Sl、 Ax )、 （S3、 Cx )、 （S4、 Dx )、 （S2、 Bx )
然后采用内插公式将以上四点拟合为一条在 XT平面上的连续曲 线 M, 根据选取的内容方法不同可以得到不同的集合效果， 例如， 曲 线三阶导数连续等。 采用同样的方法可以得到一条在 YT平面上的连续曲线 N。 最后 将 XT中得到的拟合曲线 M和在 YT平面上的拟合曲线 N,在坐标系 XYT中合成， 即可得到一条在 XYT坐标系下连续的曲线 L, L也可 以大概表示出矩形的运动轨迹。 由于这种运动轨迹的提取， 可以使视 频在播放时感知视频对象的位置， 通过对视频的对象的感知， 则可以 在视频中建立跟踪视频对象的热点区域，这个区域为 ^艮多视频的引用 提供的可能， 例如， 视频购物， 我们可以通过点击视频中的对象， 完 成对视频的购买等。 本发明实施例所描述的技术可以用硬件、 软件、 或组合执行。 如 果用软件执行， 则该技术可以直接指包含程序代码的计算机可读介 质，该程序代码在对视频序列进行编码的设备中执行。在该种情况下， 计算机可读介质可以包括 RAM ( Random Access Memory , 随机存储 器）、 SDRAM ( Synchronous Dynamic RAM, 同步动态随机存储器）、 ROM ( Read Only Memory,只读存储器；)、 NVRAM ( non-volatile RAM 非易失性随机存储器）、 EEPROM ( Electrically-Erasable Programmable Read-Only Memory, 电可擦除只读存储器）、 FLASH (闪存）等。
以上公开的仅为本发明的几个具体实施例， 但是， 本发明并非局 限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护 范围。

Claims

权利要求
1、 一种处理视频的方法， 其特征在于， 包括以下步骤： 处理视频文件， 生成和视频内容对应的内容描述文件； 处理所述内容描述文件，为内容描述文件中一条或多条记录添加 功能描述， 生成功能描述文件；
在视频播放前或视频播放中， 解析所述功能描述文件， 实现功能 描述文件内的描述功能。
2、 如权利要求 1所述处理视频的方法， 其特征在于， 所述处理 视频文件， 生成和视频内容对应的内容描述文件， 包括以下步骤： 打开视频文件；
记录下视频中具体对象的描述信息；
并把具体对象的描述信息形成记录保存到内容描述文件中； 所述内容描述文件可以是一个单独的生成文件或保存在内存中 的文件，并可以将该文件整体或依次将每条记录上传到内容描述数据 库进行存储。
3、 如权利要求 2所述处理视频的方法， 其特征在于， 所述记录 下视频中具体对象的描述信息， 至少包括： 1 )所述具体对象的关键 字信息； 2 )所述具体对象的开始播放和结束播放信息；
所述具体对象的开始播放和结束播放信息可以表示为所述具体 对象出现的开始帧和结束帧信息和 /或所述具体对象出现的开始时间 和结束时间信息；
所述记录下视频中具体对象的描述信息，还可以包括对象在视频 帧中的位置信息和 /或区域信息。
4、 一种生成视频内容描述文件的编辑系统， 其特征在于， 包括 视频播放模块和参数编辑模块：
所述视频内容描述文件的编辑系统，其功能在于可以通过打开视 频文件， 在视频播放的过程中对视频进行编辑， 并生成视频内容描述 文件； 所述内容描述文件至少包括： 视频中对象的关键字信息、 视频 中对象的开始和结束信息；
所述视频播放模块至少包括播放视频功能，并且视频播放模块可 以感知鼠标在视频中的点击位置和 /或时间信息和 /或帧位置信息， 并 将位置和时间信息保存在内存中；所述视频播放模块和视频资源库相 连用于获取视频， 并且所述视频播放模块还和参数编辑模块相连， 将 获取视频内参数传递到参数编辑模块；
所述参数编辑模块至少包括关键字区域，用于输入视频内容对应 的关键字信息；所述参数编辑模块可以从视频播放模块处获取视频内 参数结合关键字信息可以生成内容描述文件。
5、 一种通过网络获取功能描述信息， 并生成功能描述文件的方 法， 其特征在于， 包括以下步骤：
处理视频文件， 生成和视频内容对应的内容描述文件； 将内容描述文件按记录保存到内容描述数据库中；
通过网页提供内容描述数据库的检索操作，并将被检索到的记录 用网页形式提供给用户；
所述用户选择需要处理的条目，根据用户需求为该记录添加功能 描述， 并将增加的功能描述保存到内容描述数据库中；
处理内容描述数据库， 生成和视频对应的功能描述文件。
6、 一种视频中对象搜索的方法， 其特征在于， 包括以下步骤： 处理视频文件， 记录下视频中具体对象的关键字信息、在视频中 的开始和结束信息，并在内容描述文件中保存一条所述具体对象的记 录；
将处理好的内容描述文件按记录保存在内容描述数据库中； 用户利用输入关键字的方法搜索内容描述数据库中关键字字段， 返回命中的记录。
7、 如权利要求 6所述视频中对象搜索的方法， 其特征在于， 所 述返回命中的记录中包括视频中某一具体对象在视频中的开始和结 束信息；
提取所述具体对象在视频中的开始和结束信息，并播放所述具体 对象在视频中出现到结束的片段。
8、 一种将视频中对象导入搜索引擎的方法， 其特征在于， 包括 以下步骤：
打开视频文件；
记录下视频中具体对象的关键字信息、在视频中的开始和结束信 息， 并在内容描述文件中保存一条所述具体对象的记录；
用户播放视频时， 获取视频中具体对象的关键字信息、具体对象 的开始和结束信息，并在所述具体对象在视频中出现到结束的这段时 间内， 将关键字信息导入搜索引擎， 并返回搜索结果。
9、 一种将视频和网页结合的播放器系统， 其特征在于， 包括视 频播放模块、 功能描述文件解析模块和浏览器模块：
所述将视频和网页结合的播放器系统，可以通过视频播放模块播 放视频， 并在视频播放的时候， 通过功能描述文件解析模块解析视频 对应的功能描述文件， 并根据功能描述文件中的 URL取回网页， 并 将所述网页在浏览器模块中播放；
视频播放模块具体包括视频解码程序， 用于解析并播放视频文 件， 通过网络和视频资源库相连； 所述视频资源库用于存储视频； 功能描述文件解析模块用于解析功能描述文件，解析出需要取回 URL 的位置， 并和功能描述文件服务器相连； 所述功能描述文件服 务器用于存储功能描述文件；功能描述文件解析模块还和浏览器模块 相连， 将 URL输入浏览器模块；
浏览器模块用于浏览从 URL取回的网页。
10、 一种在视频中跟踪运动对象的算法， 其特征在于， 包括以下 步骤：
获取视频中连续运动对象在多个非连续帧中的参考点坐标，以及 这多个参考点对应帧的时间坐标；
通过内插的方法， 利用参考点坐标和时间参数， 生成穿过所述参 考点的连续曲线； 所述连续曲线具有跟踪所述运动对象的性质。
PCT/CN2008/073564 2007-12-18 2008-12-17 Procédé de traitement vidéo et système associé WO2009082934A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200710172506.0 2007-12-18
CN2007101725060A CN101207807B (zh) 2007-12-18 2007-12-18 一种处理视频的方法及其系统

Publications (1)

Publication Number Publication Date
WO2009082934A1 true WO2009082934A1 (fr) 2009-07-09

Family

ID=39567610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2008/073564 WO2009082934A1 (fr) 2007-12-18 2008-12-17 Procédé de traitement vidéo et système associé

Country Status (2)

Country Link
CN (1) CN101207807B (zh)
WO (1) WO2009082934A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207807B (zh) * 2007-12-18 2013-01-02 孟智平 一种处理视频的方法及其系统
US9684907B2 (en) 2008-08-21 2017-06-20 Dolby Laboratories Licensing Corporation Networking with media fingerprints
CN101489125B (zh) * 2009-01-19 2012-02-15 孟智平 基于xml的视频控制方法及其系统
CN101625696A (zh) * 2009-08-03 2010-01-13 孟智平 一种构造和生成网页中视频元素的方法及系统
CN101895536A (zh) * 2010-06-30 2010-11-24 北京新媒传信科技有限公司 多媒体信息共享方法
KR101431114B1 (ko) * 2010-07-01 2014-08-18 에스케이플래닛 주식회사 컨텐츠 검색 서비스 시스템 및 컨텐츠 검색 서비스 방법
CN102955809A (zh) * 2011-08-26 2013-03-06 吴志刚 媒体文件编辑和播放的方法和系统
CN103020981A (zh) * 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种基于视频运动目标的快速关键帧提取算法
CN102354262B (zh) * 2011-09-30 2014-08-27 奇智软件（北京）有限公司 客户端软件的节电控制方法及装置
TWI528803B (zh) * 2012-04-06 2016-04-01 瑞昱半導體股份有限公司 多媒體系統、多媒體信息顯示裝置及其信息傳送方法
CN102662970B (zh) * 2012-03-09 2016-01-13 杭州海康威视数字技术股份有限公司 基于文本信息的录像搜索和录像采集控制方法及其系统
CN102685554B (zh) * 2012-05-24 2015-09-30 北京国双科技有限公司 视频播放的处理方法和装置
CN103077191B (zh) * 2012-12-21 2015-11-18 中金数据系统有限公司 自适应Web平台音频播放方法和装置
CN104883288A (zh) * 2014-02-27 2015-09-02 北京风行在线技术有限公司 一种提供待发布信息的方法与装置
CN106559678A (zh) * 2015-09-28 2017-04-05 北京视连通科技有限公司 一种对数字视频进行结构化处理的方法
CN106385640B (zh) * 2016-08-31 2020-02-11 北京旷视科技有限公司 视频标注方法及装置
CN108628913A (zh) * 2017-03-24 2018-10-09 上海交通大学 视频的处理方法及装置
CN107027075A (zh) * 2017-05-27 2017-08-08 邓骁磊 一种基于网络平台的在线视频播放器
CN108388584A (zh) * 2018-01-26 2018-08-10 北京览科技有限公司 一种用于信息推荐的方法与装置
CN110309324B (zh) * 2018-03-09 2024-03-22 北京搜狗科技发展有限公司 一种搜索方法及相关装置
CN110909185B (zh) * 2018-09-17 2022-08-05 国家广播电视总局广播电视科学研究院 智能化广播电视节目制作方法及装置
CN111093101B (zh) * 2018-10-23 2023-03-24 腾讯科技（深圳）有限公司 媒体文件的投放方法、装置、存储介质和电子装置
CN112019928B (zh) * 2019-05-30 2022-05-06 杭州海康威视数字技术股份有限公司 一种视频回放方法、装置及电子设备
CN110347869B (zh) * 2019-06-05 2021-07-09 北京达佳互联信息技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN114915745B (zh) * 2021-02-07 2023-11-03 华为技术有限公司 多景录像方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035257A (zh) * 2006-03-10 2007-09-12 孟智平 动态视频二维信息互动同步传输方法及二维网络视讯互动系统
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101154231A (zh) * 2007-07-09 2008-04-02 孟智平 一种应用网页语义的方法和系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010531B1 (en) * 1999-11-24 2006-03-07 Unisys Corporation Method and apparatus for a web application server to create an empty data set in a repository with a specified dataset ID

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035257A (zh) * 2006-03-10 2007-09-12 孟智平 动态视频二维信息互动同步传输方法及二维网络视讯互动系统
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101154231A (zh) * 2007-07-09 2008-04-02 孟智平 一种应用网页语义的方法和系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统

Also Published As

Publication number Publication date
CN101207807A (zh) 2008-06-25
CN101207807B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
WO2009082934A1 (fr) Procédé de traitement vidéo et système associé
US10714145B2 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
US8151298B2 (en) Method and system for embedding information into streaming media
Glass et al. Multi-level acoustic segmentation of continuous speech
JP3310158B2 (ja) 映画を表示しながら販売業者情報の提供と販売業者とのリンクの確立を行うシステムおよび方法
KR101557494B1 (ko) 비디오 인터벌 주석
US20110022589A1 (en) Associating information with media content using objects recognized therein
US20110238495A1 (en) Keyword-advertisement method using meta-information related to digital contents and system thereof
JP5409268B2 (ja) 情報提示装置及び携帯端末
US20050160113A1 (en) Time-based media navigation system
US20160171003A1 (en) An apparatus of providing comments and statistical information for each section of video contents and the method thereof
US9788084B2 (en) Content-object synchronization and authoring of dynamic metadata
JP2003157288A (ja) 情報関連付け方法、端末装置、サーバ装置、プログラム
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US20210117471A1 (en) Method and system for automatically generating a video from an online product representation
US20080288551A1 (en) Method and System for Updating User Profiles
KR20180087970A (ko) 동적 생성된 메타데이터를 이용한 영상 콘텐츠 콘텍스트 변이 추적 장치 및 방법
CN101075233B (zh) 多媒体内容收集部件、系统及其方法
CN102708215B (zh) 一种处理视频的方法及其系统
CN107105030A (zh) 推广内容推送方法及装置
KR101140318B1 (ko) 동영상 정보에 대응되어 저장되는 상업적 태그 등의 메타정보 기반 키워드 광고 서비스 방법 및 그 서비스를 위한시스템
KR20110043568A (ko) 동영상 정보에 대응되어 저장되는 상업적 태그 등의 메타 정보 기반 키워드 광고 서비스 방법 및 그 서비스를 위한 시스템
JP2007037031A (ja) 編集装置及び編集方法
KR101328270B1 (ko) 스마트 ｔｖ의 비디오 어노테이션 및 증강 방법 및 그 시스템
KR20090110764A (ko) 멀티미디어 콘텐츠 정보에 포함된 메타 정보 기반 키워드광고 서비스 방법 및 그 서비스를 위한 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08868550

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08868550

Country of ref document: EP

Kind code of ref document: A1