WO2019144839A1 - 一种用于替换视频中的对象的方法和装置 - Google Patents

一种用于替换视频中的对象的方法和装置 Download PDF

Info

Publication number
WO2019144839A1
WO2019144839A1 PCT/CN2019/072218 CN2019072218W WO2019144839A1 WO 2019144839 A1 WO2019144839 A1 WO 2019144839A1 CN 2019072218 W CN2019072218 W CN 2019072218W WO 2019144839 A1 WO2019144839 A1 WO 2019144839A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
replaced
video scene
content
information
Prior art date
Application number
PCT/CN2019/072218
Other languages
English (en)
French (fr)
Inventor
罗江春
陈锡岩
Original Assignee
北京一览科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京一览科技有限公司 filed Critical 北京一览科技有限公司
Publication of WO2019144839A1 publication Critical patent/WO2019144839A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0264Targeted advertisements based upon schedule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0276Advertisement creation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method and apparatus for replacing an object in a video.
  • a method for replacing an object in a video comprises the steps of:
  • the object suitable for being replaced is replaced with the content to be replaced.
  • an apparatus for replacing an object in a video comprising:
  • Means for replacing the object that is suitable for replacement with the content to be replaced are
  • the present invention has the following advantages: the video scene matching the content to be replaced in the video can be automatically determined according to the content to be replaced, and the object suitable for being replaced in the video scene is determined to be in the video.
  • the object that is suitable for replacement is replaced with the content to be replaced, the process can be performed automatically by the computer device without any human involvement, and can greatly save time cost; and, since only the object suitable for being replaced in the video is Performing the replacement operation, that is, not replacing the object in the video that is not suitable for being replaced, enables efficient promotion of the content to be replaced, and guarantees that the replacement content is not adversely affected, which provides for the content to be replaced.
  • the party is extremely beneficial.
  • FIG. 1 is a schematic flow chart of a method for replacing an object in a video according to an embodiment of the present invention
  • FIG. 2 is a schematic flow chart of a method for replacing an object in a video according to another embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of an apparatus for replacing an object in a video according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of an apparatus for replacing an object in a video according to another embodiment of the present invention.
  • computer device also referred to as “computer” in the context, is meant an intelligent electronic device that can perform predetermined processing, such as numerical calculations and/or logical calculations, by running a predetermined program or instruction, which can include a processor and The memory is executed by the processor to execute a predetermined processing procedure pre-stored in the memory, or is executed by hardware such as an ASIC, an FPGA, a DSP, or the like, or a combination of the two.
  • predetermined processing such as numerical calculations and/or logical calculations
  • a predetermined program or instruction which can include a processor and The memory is executed by the processor to execute a predetermined processing procedure pre-stored in the memory, or is executed by hardware such as an ASIC, an FPGA, a DSP, or the like, or a combination of the two.
  • the computer device includes, for example, a user device and a network device.
  • the user equipment includes but is not limited to a PC, a tablet, a smart phone, a PDA, etc.
  • the network device includes but is not limited to a single network server, a server group composed of multiple network servers, or a cloud computing system.
  • a cloud consisting of a large number of computers or network servers, where cloud computing is a type of distributed computing, a super virtual computer consisting of a cluster of loosely coupled computers.
  • the computer device can be operated separately to implement the present invention, and can also access the network and implement the present invention by interacting with other computer devices in the network.
  • the network in which the computer device is located includes, but is not limited to, the Internet, a wide area network, a metropolitan area network, a local area network, a VPN network, and the like.
  • the user equipment, the network equipment, the network, and the like are merely examples, and other existing or future possible computer equipments, such as those applicable to the present invention, are also included in the scope of the present invention and are cited. The way is included here.
  • FIG. 1 is a schematic flow chart of a method for replacing an object in a video according to an embodiment of the present invention.
  • the method according to the present embodiment includes step S1, step S2, and step S3.
  • step S1 the computer device obtains a video scene in the video that matches the content to be replaced according to the content to be replaced.
  • the content to be replaced includes any content that can be presented in a video, such as a character avatar, food, furniture, and the like.
  • the content to be replaced is an advertisement content provided by an advertiser.
  • One video scene corresponds to one frame or consecutive multiple frames in the video.
  • each frame in the video scene that matches the content to be replaced includes an object that is the same as or associated with the content to be replaced.
  • “identical or related” as used herein means that the categories are the same or related, for example, the category of the content to be replaced is “beer”, and the same object as the content to be replaced is “beer”, and the to-be-replaced
  • the object associated with the content is "fried chicken.”
  • the computer device may pre-store an object associated with the content to be replaced.
  • whether the two objects are associated with each other may be determined based on the degree of matching between the two objects, or the object associated with the content to be replaced is directly specified by the provider of the content to be replaced.
  • the computer device can obtain a video scene in the video that matches the content to be replaced according to the content to be replaced in multiple manners.
  • the computer device determines the degree of correlation between the content of the video and the content to be replaced, and when the degree of relevance is greater than the predetermined value, directly uses the entire video as a video scene that matches the content to be replaced.
  • the computer device selects each frame of the video that includes the same or associated object as the content to be replaced as a video scene that matches the content to be replaced; preferably, in consecutive frames of the video
  • the computer device treats the multi-frame as a video scene that matches the content to be replaced.
  • the computer device obtains video scene information of the video, and determines a video scene in the video that matches the content to be replaced according to the video scene information.
  • step S2 the computer device determines an object suitable for being replaced in the video scene according to the video scene and the content to be replaced.
  • the computer device determines, according to the video scene and the content to be replaced, an implementation manner of the object that is suitable for being replaced in the video scene, including but not limited to:
  • the step S2 further includes a step S21.
  • the computer device obtains at least one object matching the content to be replaced from the video scene according to the video scene and the content to be replaced, and is targeted for the at least one object.
  • Each object does the following:
  • the object is determined to be an object suitable for being replaced in the video scene.
  • the feature information includes any information for indicating a feature of the object in the video scene.
  • the feature information includes but is not limited to at least one of the following:
  • the presentation feature information includes any feature information directly presented by the object in the video scene.
  • the presentation feature information includes, but is not limited to, location information of the object in the video scene, size information of the object in the video scene, and integrity information of the object in the video scene.
  • the location information includes any information indicating a presentation position of the object in the video scene, such as the coordinates or orientation of the object in the video scene, the distance of the object from the center of the video scene, and the like.
  • the video scene is divided into a plurality of regions, and the location information is used to indicate an region in which the object is located; wherein each region may correspond to a different user attention degree.
  • the size information includes any information for indicating the size of the object, such as the size of the object, the size level of the object (such as large, moderate, small, minimal, etc.).
  • the motion trend information includes any information for indicating a motion trend of the object in the video scene, for example, the motion trend information is used to indicate the motion direction and/or motion speed of the object in the video scene, the object and the video. The relative motion trend between other objects in the scene, and so on.
  • the evaluation tendency information includes any information for indicating an evaluation tendency of the object in the video scene, such as information for indicating that the evaluation tendency of the object in the video scene is positive or negative, and a positive level for indicating the evaluation tendency Or negative grade information, etc.
  • the evaluation tendency can be expressed as a numerical value (if the higher the value, the more positive or positive the evaluation tendency) or the grade (if the higher the level, the more positive or positive the evaluation tendency).
  • the predetermined replacement condition includes any predetermined condition for determining whether the object is suitable for replacement.
  • the predetermined replacement condition includes but is not limited to at least one of the following: a condition that the presentation feature of the object in the video scene needs to be satisfied, a condition that the motion trend of the object in the video scene needs to be satisfied, and an evaluation of the object in the video scene.
  • the predetermined replacement condition includes that the object is located in a designated area in the video scene, the object is completely rendered, and the evaluation tendency of the object in the video scene is positive.
  • the computer device determines, according to the video scene information and the at least one predetermined scene type corresponding to the to-be-replaced content, a video scene in the video that matches the content to be replaced.
  • FIG. 3 is a schematic structural diagram of an apparatus for replacing an object in a video according to an embodiment of the present invention.
  • the means for replacing an object in the video (hereinafter simply referred to as "object replacement means") includes a first obtaining means 1, a first determining means 2, and a first replacing means 3.
  • the first obtaining device 1 obtains video scene information of the video, and determines a video scene in the video that matches the content to be replaced according to the video scene information.
  • the preferred embodiment will be described in detail in subsequent embodiments, and details are not described herein again.
  • the first determining means 2 further a second determining means (not shown).
  • the second determining means is configured to obtain, from the video scene, at least one object that matches the content to be replaced according to the video scene and the content to be replaced, and for each object in the at least one object Do the following:
  • the object is determined to be an object suitable for being replaced in the video scene.
  • the location information includes any information indicating a presentation position of the object in the video scene, such as the coordinates or orientation of the object in the video scene, the distance of the object from the center of the video scene, and the like.
  • the video scene is divided into a plurality of regions, and the location information is used to indicate an region in which the object is located; wherein each region may correspond to a different user attention degree.
  • presentation feature information is only an example, and is not a limitation of the present invention. Those skilled in the art should understand that any feature information directly presented by an object in a video scene should be included in the present invention. Within the scope of presenting feature information.
  • the video scene corresponds to consecutive multiple frames in the video
  • the second determining device may obtain motion trend information of the object in the video scene according to the position change of the object in the multiple frame.
  • the trend of the object in the video scene can reflect the user's attention to the object to some extent.
  • the video scene contains multiple cars running, and the fastest car is more likely to be noticed by the user. Large, the car is more suitable to be replaced.
  • the second determining device may determine the evaluation tendency information of the object in the video scene according to the audio feature or the subtitle in the video scene.
  • the video scene includes the food A
  • the second determining device performs semantic analysis on the audio feature in the video scene to determine that the quality of the commentary food A in the video scene is extremely poor, and the second determining device determines that the food A is in the video.
  • the evaluation tendency information in the scene indicates that the evaluation tendency of the food A is negative.
  • the content to be replaced is a travel article
  • the predetermined replacement condition includes that the evaluation tendency of the object in the video scene is positive
  • the second determining device obtains and replaces the video scene from the video scene according to the video scene and the content to be replaced.
  • the feature information indicating that the evaluation tendency of C is negative, then C is considered unsuitable for replacement.
  • the content to be replaced is a mobile phone
  • the replacement requirement information of the mobile phone indicates that the length of time that the replaced mobile phone in the video is continuously presented needs to be greater than 5 seconds
  • the third determining device displays the length of time continuously displayed in the video scene.
  • a mobile phone larger than 5 seconds is suitable for being replaced.
  • the first replacement device 3 replaces the object suitable for replacement in the frame with the content to be replaced to generate new video data.
  • the presentation feature information of the object in the frame includes any feature information directly presented by the object in the frame.
  • the presentation feature information of the object in the frame is similar to the presentation feature information of the foregoing object in the video scene, and details are not described herein again.
  • the second replacing means determines, according to the presentation feature information of the object in the frame, that the size of the object suitable for being replaced in the frame does not match the size of the content to be replaced, the second replacing device adjusts the waiting Replace the size of the content so that the adjusted size is the same as the size of the object in the frame.
  • the negative effect of the object if the object in the video scene is replaced by another object, it is likely to have a negative impact on the other object, especially when the other object is its provider (such as an advertiser) When you want to promote the content, it will not only achieve the promotion effect, but even damage the interests of the provider.
  • the second obtaining means 11 is configured to obtain video scene information of the video.
  • the video scene information includes any information related to a video scene in the video.
  • the video scene information includes but is not limited to at least one of the following: the number of video scenes included in the video, each video scene.
  • a plurality of specific visual objects and a scene type corresponding to each specific visual object are pre-stored, and when it is determined that a specific visual object appears in one frame of the video, the second obtaining means 11 takes the frame as a video scene, and the scene type corresponding to the specific visual object is used as the scene type of the video scene, whereby the second obtaining device 11 can determine video scene information of the video, where the video scene information is used to indicate that the specific visual object is included.
  • the second obtaining device 11 can determine video scene information of the video, where the video scene information is used to indicate that the specific visual object is included.
  • the second obtaining means 11 further comprises a third obtaining means (not shown).
  • the third obtaining means is configured to perform semantic understanding on the video according to the audio feature information and/or the visual feature information of the video to obtain video scene information of the video.
  • the third obtaining device performs semantic understanding on the video according to the audio feature information and/or the visual feature information of the video to determine the meaning of the video (that is, what the video is expressing), and then obtain the video based on the meaning of the video.
  • Video scene information For example, the third obtaining device performs semantic understanding on the video according to the audio feature information and/or the visual feature information of the video to determine the meaning of the video (that is, what the video is expressing), and then obtain the video based on the meaning of the video.
  • Video scene information is included in the third obtaining device.
  • the third obtaining device performs voice recognition on the audio feature information of the video to obtain a text recognition result, and determines, by semantic analysis of the text recognition result, that the video tells a cooking method from the beginning to the end,
  • the third obtaining device determines video scene information of the video, where the video scene information is used to indicate that the video as a whole is a video scene, and the video scene is a gourmet scene.
  • the third obtaining means separately performs semantic understanding on each frame of the video according to the audio feature information and/or the visual feature information of the video, and when there are consecutive multiple frames having the same meaning or similar, the multi-frame is used as the video.
  • the third obtaining device obtains visual feature information of the frame, where the visual feature information indicates that the object presented in the frame includes: a character, a backpack, a tent;
  • the visual feature information is semantically understood to determine that the character in the frame is traveling; then when it is determined that the continuous multi-frame in the video means that the character is traveling, the third obtaining device uses the multi-frame as a video in the video. Scene and determine the video scene as a tourist scene.
  • the third obtaining means can determine other video scenes in the video and their scene types.
  • the fourth determining device 12 determines, according to the video scene information, a video scene in the video that matches the content to be replaced.
  • the fourth determining means 12 further comprises a fifth determining means (not shown).
  • the fifth determining device is configured to obtain, according to the video scene information and the content to be replaced, a video scene that includes an object that is the same or associated with the content to be replaced, and determines the obtained video scene as A video scene that matches the content to be replaced.
  • the content to be replaced is a mobile phone picture provided by the advertiser
  • the fifth determining device obtains at least one video scene in the video according to the video scene information of the video, and then obtains a video scene including the mobile phone from the at least one video scene. As a video scene that matches the content to be replaced.
  • the replacement content is a beer picture provided by an advertiser, wherein “beer” is associated with “fried chicken”, and the fifth determining device obtains at least one video scene in the video according to the video scene information of the video, and then A video scene containing beer or fried chicken is obtained in the at least one video scene as a video scene matching the content to be replaced.
  • the video scene information of the video may be obtained first, and then the video scene matching the content to be replaced in the video is determined, so that the matching degree between the determined video scene and the content to be replaced is higher, Performing the replacement operation in the video scene will result in a better promotion effect;
  • the video is semantically understood according to the audio feature information and/or the visual feature information of the video, and the video scene information of the video is obtained. Further determining a video scene in the video that matches the content to be replaced may further improve the matching degree between the determined video scene and the content to be replaced.
  • the present invention also proposes a computer readable storage medium having stored thereon a computer program, the method of the present invention for replacing an object in a video being executed when the computer program is executed.
  • the present invention can be implemented in software and/or a combination of software and hardware, for example, using an application specific integrated circuit (ASIC), a general purpose computer, or any other similar hardware device.
  • the software program of the present invention may be executed by a processor to implement the steps or functions described above.
  • the software program (including related data structures) of the present invention can be stored in a computer readable recording medium such as a RAM memory, a magnetic or optical drive or a floppy disk and the like.
  • some of the steps or functions of the present invention may be implemented in hardware, for example, as a circuit that cooperates with a processor to perform various steps or functions .
  • a portion of the invention can be applied as a computer program product, such as computer program instructions, which, when executed by a computer, can invoke or provide a method and/or solution in accordance with the present invention.
  • the program instructions for invoking the method of the present invention may be stored in a fixed or removable recording medium and/or transmitted by a data stream in a broadcast or other signal bearing medium, and/or stored in a The working memory of the computer device in which the program instructions are run.
  • an embodiment in accordance with the present invention includes a device including a memory for storing computer program instructions and a processor for executing program instructions, wherein when the computer program instructions are executed by the processor, triggering
  • the apparatus operates based on the aforementioned methods and/or technical solutions in accordance with various embodiments of the present invention.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于替换视频中的对象的方法,其中,该方法包括以下步骤:根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景(S1);根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象(S2);将所述适合被替换的对象替换为所述待替换内容(S3)。根据本方法,能够根据待替换内容来自动判断视频中与待替换内容相匹配的视频场景,并确定所述视频场景中适合被替换的对象,以将视频中适合被替换的对象替换为待替换内容,该过程可完全由计算机设备自动执行,而并不需要任何人工参与,且能够极大地节约时间成本。

Description

一种用于替换视频中的对象的方法和装置
相关申请的交叉引用
本申请享有2018年1月25日提交的专利申请号为201810074372.7、名称为“一种用于替换视频中的对象的方法和装置”的中国专利申请的优先权,该在先申请的内容以引用方式合并于此。
技术领域
本发明涉及计算机技术领域,尤其涉及一种用于替换视频中的对象的方法和装置。
背景技术
现有技术中,当要替换视频中的一个对象时,通常直接人工指定或标记视频中的对象,以采用另一个对象来替换该被指定或标记的对象,这需要花费大量的人力成本和时间成本。
发明内容
本发明的目的是提供一种用于替换视频中的对象的方法和装置。
根据本发明的一个方面,提供一种用于替换视频中的对象的方法,其中,该方法包括以下步骤:
根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景;
根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象;
将所述适合被替换的对象替换为所述待替换内容。
根据本发明的另一个方面,还提供了一种用于替换视频中的对象的装置,该装置包括:
用于根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的装置;
用于根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的装置;
用于将所述适合被替换的对象替换为所述待替换内容的装置。
与现有技术相比,本发明具有以下优点:能够根据待替换内容来自动判断视频中与待替换内容相匹配的视频场景,并确定所述视频场景中适合被替换的对象,以将视频中适合被替换的对象替换为待替换内容,该过程可完全由计算机设备自动执行,而并不需要任何人工参与,且能够极大地节约时间成本;并且,由于仅会对视频中适合被替换的对象执行替换操作,也即并不会去替换视频中并不适合被替换的对象,使得能够实现对待替换内容的高效率推广,且保证不会对待替换内容造成负面影响,这对于待替换内容的提供方来说极为有利。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一个实施例的用于替换视频中的对象的方法的流程示意图;
图2为本发明另一个实施例的用于替换视频中的对象的方法的流程示意图;
图3为本发明一个实施例的用于替换视频中的对象的装置的结构示意图;
图4为本发明另一个实施例的用于替换视频中的对象的装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”,也称为“电脑”,是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的程序指令来执行预定处理过程,或是由ASIC、FPGA、DSP等硬件执行预定处理过程,或是由上述二者组合来实现。
所述计算机设备例如包括用户设备与网络设备。其中,所述用户设备包括但不限于PC机、平板电脑、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任 务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1为本发明一个实施例的用于替换视频中的对象的方法的流程示意图。根据本实施的方法包括步骤S1、步骤S2和步骤S3。
在步骤S1中,计算机设备根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景。
其中,所述待替换内容包括任何能够在视频中呈现的内容,如人物头像、食品、家具等。优选地,所述待替换内容为广告商提供的广告内容。
其中,一个视频场景对应所述视频中的一帧或连续多帧。优选地,与所述待替换内容相匹配的视频场景中的每一帧均包括与所述待替换内容相同或相关联的对象。需要说明的是,此处所指“相同或相关联”表示种类相同或相关联,如待替换内容的种类为“啤酒”,与该待替换内容相同的对象为“啤酒”,与该待替换内容相关联的对象为“炸鸡”。优选地,计算机设备可预先存储有与待替换内容相关联的对象。优选地,可基于两个对象之间的匹配度来确定该两个对象是否向关联,或者,由待替换内容的提供方直接指定与待替换内容相关联的对象。
具体地,计算机设备可采用多种方式根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景。
例如,计算机设备确定视频的内容与待替换内容之间的相关度,当所述相关度大于预定值时,直接将整个视频作为与待替换内容相匹配的视频场景。
又例如,计算机设备将视频中包括与待替换内容相同或相关联的对象的每一帧,均作为与所述待替换内容相匹配的一个视频场景;优选地,当视频的连续多帧中均包含与待替换内容相同或相关联的对象时,计算机设备将该多帧作为与所述待替换内容相匹配的一个视频场景。
作为一种优选方案,计算机设备获得所述视频的视频场景信息,并根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景。该优选方案将在后续实施例中予以详述,在此不再赘述。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的实现方式,均应包 含在本发明的范围内。
在步骤S2中,计算机设备根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象。
具体地,计算机设备根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的实现方式包括但不限于:
1)所述步骤S2进一步包括步骤S21。在所述步骤S21中,计算机设备根据所述视频场景以及所述待替换内容,从所述视频场景中获得与所述待替换内容相匹配的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作:
-获得该对象的与所述视频场景相对应的特征信息;
-当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
其中,所述特征信息包括任何用于指示对象在视频场景中的特征的信息。优选地,所述特征信息包括但不限于以下至少一项:
a)对象在所述视频场景中的呈现特征信息。
其中,所述呈现特征信息包括对象在视频场景中直接呈现出的任何特征信息。优选地,所述呈现特征信息包括但不限于:对象在所述视频场景中的位置信息、对象在所述视频场景中的尺寸信息、对象在所述视频场景中的完整性信息。
其中,所述位置信息包括任何用于指示对象在视频场景中的呈现位置的信息,如对象在视频场景中的坐标或方位、对象距离视频场景中心的远近程度等。优选地,将视频场景划分为多个区域,所述位置信息用于指示对象所位于的区域;其中,每个区域可对应不同的用户关注度。
其中,所述尺寸信息包括任何用于指示对象的尺寸的信息,如对象的尺寸大小、对象的尺寸等级(如较大、适中、较小、极小等)等。
其中,所述完整性信息包括任何用于指示对象在视频场景中的完整性的信息,如用于指示对象是否被完整呈现或者是否被遮挡的信息、对象的完整程度或被遮挡比例等。
需要说明的是,上述呈现特征信息仅为举例,而非对本发明的限制,本领域技术人员应能理解,对象在视频场景中直接呈现出的任何特征信息,均应包含在本发明所述的呈现特征信息的范围内。
b)对象在所述视频场景中的运动趋势信息。
其中,所述运动趋势信息包括任何用于指示对象在视频场景中的运动趋势的信息,例如,所述运动趋势信息用于指示对象在视频场景中的运动方向和/或运动速度、对象与视频场景中的其他对象之间的相对运动趋势等。
其中,视频场景对应视频中的连续多帧,计算机设备可根据对象在该多帧中的位置变化,来获得对象在视频场景中的运动趋势信息。其中,对象在视频场景中的运动趋势能够在一定程度上反应用户对该对象的关注可能性,例如,视频场景中包含在运行的多辆汽车,速度最快的汽车被用户关注的可能性更大,则该汽车更适合被替换。
c)对象在所述视频场景中的评价倾向信息。
其中,所述评价倾向信息包括任何用于指示对象在视频场景中的评价倾向的信息,如用于指示对象在视频场景中的评价倾向为正面或者负面的信息、用于指示评价倾向的正面等级或负面等级的信息等。其中,对象在视频场景中的评价倾向越正面或越积极,该对象越适合被替换,对象在视频场景中的评价倾向越负面或越消极,该对象越不适合被替换。其中,所述评价倾向可表示为数值(如数值越高,则评价倾向越正面或越积极)或等级(如等级越高,则评价倾向越正面或越积极)。
其中,计算机设备可根据所述视频场景中的音频特征或字幕来确定对象在所述视频场景中的评价倾向信息。例如,视频场景中包含食品A,计算机设备对该视频场景中的音频特征进行语义分析,确定该视频场景中在评论食品A的质量极差,则计算机设备确定食品A在该视频场景中的评价倾向信息,该评价倾向信息指示食品A的评价倾向是负面的。
需要说明的是,上述特征信息仅为举例,而得对本发明的限制,本领域技术人员应能理解,任何用于指示对象在视频场景中的特征的信息(如,对象在所述视频场景中的呈现时间长度、对象在所述视频场景中的角度;又如,当对象为人物时,特征信息还可指示该人物在视频场景中呈现出的是正面、侧面还是背面等),均应包含在本发明所述的特征信息的范围内。
其中,所述预定替换条件包括任何预定的用于判断对象是否适合替换的条件。优选地,所述预定替换条件包括但不限于以下至少一项:对象在视频场景中的呈现特征需满足的条件、对象在视频场景中的运动趋势需满足的条件、对象在视频场景中的评价倾向需满足的条件等。例如,所述预定替换条件包括:对象位于视频场景中的指定区域、对象被完整地呈现、对象在视频场景中的评价倾向是正面的。
作为一个示例,待替换内容为旅游用品,预定替换条件包括对象在视频场景中的评价倾向是正面的;则计算机设备根据该视频场景以及待替换内容,从该视频场景中获得与待替换内容相匹配的旅游用品B和C;之后,计算机设备获得B的特征信息,该特征信息指示B的评价倾向是正面的,则B为适合被替换的对象;计算机设备获得C的特征信息,该特征信息指示C的评价倾向是负面的,则C被认为不适合被替换。
2)所述步骤S2进一步包括步骤S22。在所述步骤S22中,计算机设备根据所述视频场景、所述待替换内容以及与所述待替换内容相对应的替换需求信息,确定所述视频场景中适合被替换的对象。
其中,所述替换需求信息包括任何用于指示待替换内容的替换需求的信息,该替换需求是指对被替换的对象的要求,如所述替换需求信息指示被替换的对象在视频场景中被连续呈现的时间长度的最低阈值。优选地,所述替换需求信息包括对被替换的对象在视频场景中的特征的要求,如对被替换的对象的完整性、运动趋势和/或评价倾向的要求。优选地,所述替换需求信息反映的是所述待替换内容的提供 方的需求。例如,由手机的广告商提供该手机的替换需求信息。
作为一个示例,待替换内容为手机,该手机的替换需求信息指示视频中被替换的手机被连续呈现的时间长度需大于5秒钟,则计算机设备将视频场景中被连续呈现的时间长度大于5秒钟的手机作为适合被替换的对象。
基于该实现方式2)的方案,待替换内容的提供方可以灵活地定制针对该待替换内容的替换需求信息。该方案尤其适用于对广告内容的推广,广告商可以根据其广告需求灵活定制该广告内容的替换需求信息,且能够基于广告效应和/或用户对该广告内容的反馈来随时调整广告内容的替换需求信息,以使得达到最优的广告推广效果。
需要说明的是,上述实现方式1)和2)可以相结合,例如,计算机设备根据所述视频场景、所述待替换内容以及与所述待替换内容相对应的替换需求信息,确定所述视频场景中适合被替换的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作:-获得该对象的与所述视频场景相对应的特征信息;-当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的实现方式,均应包含在本发明的范围内。
在步骤S3中,计算机设备将所述适合被替换的对象替换为所述待替换内容。
具体地,对于所述视频场景中的每一帧,计算机设备将该帧中的适合被替换的对象替换为所述待替换内容,以生成新的视频数据。
作为步骤S3的一种优选方案,对于所述视频场景中的每一帧,计算机设备根据所述对象在该帧中的呈现特征信息,对所述待替换内容执行相应调整操作,其中,所述调整操作包括以下至少任一项:
-调整所述待替换内容的尺寸的操作;
-调整所述待替换内容的角度的操作。
其中,对象在该帧中的呈现特征信息包括对象在该帧中直接呈现出的任何特征信息。对象在该帧中的呈现特征信息与前述对象在视频场景中的呈现特征信息相似,在此不再赘述。
作为一个示例,计算机设备根据所述对象在该帧中的呈现特征信息,确定适合被替换的该对象在该帧中的尺寸与待替换内容的尺寸不一致,则计算机设备调整该待替换内容的尺寸,以使调整后的尺寸与该对象在该帧中的尺寸相同。
基于该优选方案,能够避免由于待替换内容与被替换的对象的呈现效果不一致而影响到视频的播放效果,从而使得执行替换操作后获得的新的视频的播放效果与原视频的播放效果保持一致。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何将所述适合被替换的对象替换为所述待替换内容的实现方式,均应包含在本发明的范围内。
现有技术中,当想要替换视频中的一个对象时,通常直接人工指定或标记视频中的对象,以采用另一个对象来替换该被指定或标记的对象,这需要花费大量的人力成本和时间成本。
并且,本发明发现技术中存在以下问题:现有技术在替换视频中的一个对象时,并未意识到在一些场景下对象可能并不适合被替换,或者说,在一些场景下替换对象并没有意义。例如,对象被呈现在视频场景的右下角且大部分被遮挡,用户几乎不会注意到该对象,则在该视频场景中替换该对象并没有实际意义;又例如,一个视频场景中在评价一个对象的负面效果,则若将该视频场景中的该对象替换为另一对象,极大可能会对该另一对象造成负面影响,尤其是当该另一对象为其提供方(如广告商)希望推广的内容时,不仅达不到推广效果,甚至会损害到该提供方的利益。
根据本实施例的方案,能够根据待替换内容来自动判断视频中与待替换内容相匹配的视频场景,并确定所述视频场景中适合被替换的对象,以将视频中适合被替换的对象替换为待替换内容,该过程可完全由计算机设备自动执行,而并不需要任何人工参与,且能够极大地节约时间成本;并且,由于仅会对视频中适合被替换的对象执行替换操作,也即并不会去替换视频中并不适合被替换的对象,使得能够实现对待替换内容的高效率推广,且保证不会对待替换内容造成负面影响,这对于待替换内容的提供方来说极为有利。
图2为本发明另一个实施例的用于替换视频中的对象的方法的流程示意图。根据本实施例的方法包括步骤S1、步骤S2、步骤S3,其中,所述步骤S1进一步包括步骤S11和步骤S12。其中,所述步骤S2和所述步骤S3的实现方式已在参照图1所示实施例中予以详述,在此不再赘述。
在所述步骤S11中,计算机设备获得所述视频的视频场景信息。
其中,所述视频场景信息包括任何与视频中的视频场景相关的信息,优选地,所述视频场景信息包括但不限于以下至少一项:视频中所包含的视频场景的数量、每个视频场景对应的视频帧、每个视频场景对应的帧数或者时间长度、每个视频场景所对应的场景类型(如美食场景、旅游场景、会议场景等)等。
其中,计算机设备可采用多种方式来获得所述视频的视频场景信息。
例如,计算机设备直接根据来自用户的指示信息,确定所述视频的视频场景信息。
又例如,计算机设备的数据库中预先存储有多个特定视觉对象及每个特定视觉对象对应的场景类型,则当判断视频的一帧中出现特定视觉对象时,计算机设备将该帧作为一个视频场景,并将该特定视觉对象对应的场景类型作为该视频场景的场景类型,由此,计算机设备可确定视频的视频场景信息,该视频场景信息用于指示包含特定视觉 对象的每个视频场景及其场景类型。
作为一种优选方案,计算机设备根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息。
其中,所述音频特征信息包括任何与视频的音频特征相关的信息,如音调、音强、音色等。
其中,所述视觉特征信息包括任何与视频的视觉特征相关的信息,如视频的字幕、视频中呈现的对象(如人物、物品等)等。
具体地,计算机设备根据视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,来确定视频含义(也即视频在表达什么),进而基于视频含义,获得所述视频的视频场景信息。
作为一个示例,计算机设备对视频的音频特征信息进行语音识别获得文本识别结果,并通过对该文本识别结果进行语义分析确定该视频从头到尾讲述的是一种美食的制作方法,则计算机设备确定该视频的视频场景信息,该视频场景信息用于指示将该视频整体作为一个视频场景,且该视频场景为美食场景。
优选地,计算机设备根据视频的音频特征信息和/或视觉特征信息,分别对视频的每一帧进行语义理解,当存在含义相同或相近的连续多帧时,将该多帧作为视频中的一个视频场景,并基于该多帧的含义确定该视频场景的场景类型。
作为另一个示例,对于视频中的一帧,计算机设备获得该帧的视觉特征信息,该视觉特征信息指示该帧中呈现的对象包括:人物、背包、帐篷;则计算机设备根据该视觉特征信息进行语义理解,确定该帧中的人物正在旅游;则当判断到视频中的连续多帧的含义均是该人物正在旅游时,计算机设备将该多帧作为视频中的一个视频场景,并确定该视频场景为旅游场景。相类似地,计算机设备可确定视频中的其他视频场景以及其场景类型。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而 非对本发明的限制,本领域技术人员应该理解,任何获得所述视频的视频场景信息的实现方式,均应包含在本发明的范围内。
在步骤S12中,计算机设备根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景。
具体地,计算机设备根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的实现方式包括但不限于:
1)计算机设备根据所述视频场景信息以及所述待替换内容,获得所述视频中包含与所述待替换内容相同或相关联的对象的视频场景,并将所获得的视频场景确定为与所述待替换内容相匹配的视频场景。
作为一个示例,待替换内容为广告商提供的手机图片,则计算机设备根据视频的视频场景信息获得视频中的至少一个视频场景,之后从该至少一个视频场景中获得包含手机的视频场景,作为与待替换内容相匹配的视频场景。
作为另一个示例,替换内容为广告商提供的啤酒图片,其中,“啤酒”与“炸鸡”相关联,则计算机设备根据视频的视频场景信息获得视频中的至少一个视频场景,之后从该至少一个视频场景中获得包含啤酒或炸鸡的视频场景,作为与待替换内容相匹配的视频场景。
2)计算机设备根据所述视频场景信息以及与所述待替换内容相对应的至少一个预定场景类型,确定所述视频中与待替换内容相匹配的视频场景。
作为一个示例,待替换内容为“啤酒”,“啤酒”对应的预定场景类型为美食场景,则计算机设备根据视频的视频场景信息获得视频中的每个视频场景及对应的场景类型,之后根据该预定场景类型,将该视频中所对应的场景类型为美食场景的视频场景,作为与待替换内容相匹配的视频场景。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据所述视频场 景信息,确定所述视频中与所述待替换内容相匹配的视频场景的实现方式,均应包含在本发明的范围内。
根据本实施例的方案,可先获得视频的视频场景信息,进而确定视频中与待替换内容相匹配的视频场景,使得所确定的视频场景与待替换内容之间的匹配度更高,则在该视频场景中执行替换操作将会产生更好的推广效果;此外,根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息,进而确定视频中与待替换内容相匹配的视频场景,可以进一步提高所确定的视频场景与待替换内容之间的匹配度。
图3为本发明一个实施例的用于替换视频中的对象的装置的结构示意图。该用于替换视频中的对象的装置(以下简称为“对象替换装置”)包括第一获得装置1、第一确定装置2和第一替换装置3。
第一获得装置1用于根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景。
其中,所述待替换内容包括任何能够在视频中呈现的内容,如人物头像、食品、家具等。优选地,所述待替换内容为广告商提供的广告内容。
其中,一个视频场景对应所述视频中的一帧或连续多帧。优选地,与所述待替换内容相匹配的视频场景中的每一帧均包括与所述待替换内容相同或相关联的对象。需要说明的是,此处所指“相同或相关联”表示种类相同或相关联,如待替换内容的种类为“啤酒”,与该待替换内容相同的对象为“啤酒”,与该待替换内容相关联的对象为“炸鸡”。优选地,计算机设备可预先存储有与待替换内容相关联的对象。优选地,可基于两个对象之间的匹配度来确定该两个对象是否向关联,或者,由待替换内容的提供方直接指定与待替换内容相关联的对象。
具体地,第一获得装置1可采用多种方式根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景。
例如,第一获得装置1确定视频的内容与待替换内容之间的相关度,当所述相关度大于预定值时,直接将整个视频作为与待替换内容相匹配的视频场景。
又例如,第一获得装置1将视频中包括与待替换内容相同或相关联的对象的每一帧,均作为与所述待替换内容相匹配的一个视频场景;优选地,当视频的连续多帧中均包含与待替换内容相同或相关联的对象时,计算机设备将该多帧作为与所述待替换内容相匹配的一个视频场景。
作为一种优选方案,第一获得装置1获得所述视频的视频场景信息,并根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景。该优选方案将在后续实施例中予以详述,在此不再赘述。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的实现方式,均应包含在本发明的范围内。
第一确定装置2用于根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象。
具体地,第一确定装置2根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的实现方式包括但不限于:
1)第一确定装置2进一步第二确定装置(图未示)。第二确定装置用于根据所述视频场景以及所述待替换内容,从所述视频场景中获得与所述待替换内容相匹配的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作:
-获得该对象的与所述视频场景相对应的特征信息;
-当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
其中,所述特征信息包括任何用于指示对象在视频场景中的特征 的信息。优选地,所述特征信息包括但不限于以下至少一项:
a)对象在所述视频场景中的呈现特征信息。
其中,所述呈现特征信息包括对象在视频场景中直接呈现出的任何特征信息。优选地,所述呈现特征信息包括但不限于:对象在所述视频场景中的位置信息、对象在所述视频场景中的尺寸信息、对象在所述视频场景中的完整性信息。
其中,所述位置信息包括任何用于指示对象在视频场景中的呈现位置的信息,如对象在视频场景中的坐标或方位、对象距离视频场景中心的远近程度等。优选地,将视频场景划分为多个区域,所述位置信息用于指示对象所位于的区域;其中,每个区域可对应不同的用户关注度。
其中,所述尺寸信息包括任何用于指示对象的尺寸的信息,如对象的尺寸大小、对象的尺寸等级(如较大、适中、较小、极小等)等。
其中,所述完整性信息包括任何用于指示对象在视频场景中的完整性的信息,如用于指示对象是否被完整呈现或者是否被遮挡的信息、对象的完整程度或被遮挡比例等。
需要说明的是,上述呈现特征信息仅为举例,而非对本发明的限制,本领域技术人员应能理解,对象在视频场景中直接呈现出的任何特征信息,均应包含在本发明所述的呈现特征信息的范围内。
b)对象在所述视频场景中的运动趋势信息。
其中,所述运动趋势信息包括任何用于指示对象在视频场景中的运动趋势的信息,例如,所述运动趋势信息用于指示对象在视频场景中的运动方向和/或运动速度、对象与视频场景中的其他对象之间的相对运动趋势等。
其中,视频场景对应视频中的连续多帧,第二确定装置可根据对象在该多帧中的位置变化,来获得对象在视频场景中的运动趋势信息。其中,对象在视频场景中的运动趋势能够在一定程度上反应用户对该对象的关注可能性,例如,视频场景中包含在运行的多辆汽车, 速度最快的汽车被用户关注的可能性更大,则该汽车更适合被替换。
c)对象在所述视频场景中的评价倾向信息。
其中,所述评价倾向信息包括任何用于指示对象在视频场景中的评价倾向的信息,如用于指示对象在视频场景中的评价倾向为正面或者负面的信息、用于指示评价倾向的正面等级或负面等级的信息等。其中,对象在视频场景中的评价倾向越正面或越积极,该对象越适合被替换,对象在视频场景中的评价倾向越负面或越消极,该对象越不适合被替换。其中,所述评价倾向可表示为数值(如数值越高,则评价倾向越正面或越积极)或等级(如等级越高,则评价倾向越正面或越积极)。
其中,第二确定装置可根据所述视频场景中的音频特征或字幕来确定对象在所述视频场景中的评价倾向信息。例如,视频场景中包含食品A,第二确定装置对该视频场景中的音频特征进行语义分析,确定该视频场景中在评论食品A的质量极差,则第二确定装置确定食品A在该视频场景中的评价倾向信息,该评价倾向信息指示食品A的评价倾向是负面的。
需要说明的是,上述特征信息仅为举例,而得对本发明的限制,本领域技术人员应能理解,任何用于指示对象在视频场景中的特征的信息(如,对象在所述视频场景中的呈现时间长度、对象在所述视频场景中的角度;又如,当对象为人物时,特征信息还可指示该人物在视频场景中呈现出的是正面、侧面还是背面等),均应包含在本发明所述的特征信息的范围内。
其中,所述预定替换条件包括任何预定的用于判断对象是否适合替换的条件。优选地,所述预定替换条件包括但不限于以下至少一项:对象在视频场景中的呈现特征需满足的条件、对象在视频场景中的运动趋势需满足的条件、对象在视频场景中的评价倾向需满足的条件等。例如,所述预定替换条件包括:对象位于视频场景中的指定区域、对象被完整地呈现、对象在视频场景中的评价倾向是正面的。
作为一个示例,待替换内容为旅游用品,预定替换条件包括对象在视频场景中的评价倾向是正面的;则第二确定装置根据该视频场景以及待替换内容,从该视频场景中获得与待替换内容相匹配的旅游用品B和C;之后,第二确定装置获得B的特征信息,该特征信息指示B的评价倾向是正面的,则B为适合被替换的对象;第二确定装置获得C的特征信息,该特征信息指示C的评价倾向是负面的,则C被认为不适合被替换。
2)第一确定装置2进一步包括第三确定装置(图未示)。第三确定装置根据所述视频场景、所述待替换内容以及与所述待替换内容相对应的替换需求信息,确定所述视频场景中适合被替换的对象。
其中,所述替换需求信息包括任何用于指示待替换内容的替换需求的信息,该替换需求是指对被替换的对象的要求,如所述替换需求信息指示被替换的对象在视频场景中被连续呈现的时间长度的最低阈值。优选地,所述替换需求信息包括对被替换的对象在视频场景中的特征的要求,如对被替换的对象的完整性、运动趋势和/或评价倾向的要求。优选地,所述替换需求信息反映的是所述待替换内容的提供方的需求。例如,由手机的广告商提供该手机的替换需求信息。
作为一个示例,待替换内容为手机,该手机的替换需求信息指示视频中被替换的手机被连续呈现的时间长度需大于5秒钟,则第三确定装置将视频场景中被连续呈现的时间长度大于5秒钟的手机作为适合被替换的对象。
基于该实现方式2)的方案,待替换内容的提供方可以灵活地定制针对该待替换内容的替换需求信息。该方案尤其适用于对广告内容的推广,广告商可以根据其广告需求灵活定制该广告内容的替换需求信息,且能够基于广告效应和/或用户对该广告内容的反馈来随时调整广告内容的替换需求信息,以使得达到最优的广告推广效果。
需要说明的是,上述实现方式1)和2)可以相结合,例如,第一确定装置2根据所述视频场景、所述待替换内容以及与所述待替换 内容相对应的替换需求信息,确定所述视频场景中适合被替换的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作:-获得该对象的与所述视频场景相对应的特征信息;-当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的实现方式,均应包含在本发明的范围内。
第一替换装置3将所述适合被替换的对象替换为所述待替换内容。
具体地,对于所述视频场景中的每一帧,第一替换装置3将该帧中的适合被替换的对象替换为所述待替换内容,以生成新的视频数据。
作为一种优选方案,第一替换装置3还包括第二替换装置(图未示)。第二替换装置用于对于所述视频场景中的每一帧,根据所述对象在该帧中的呈现特征信息,对所述待替换内容执行相应调整操作,其中,所述调整操作包括以下至少任一项:
-调整所述待替换内容的尺寸的操作;
-调整所述待替换内容的角度的操作。
其中,对象在该帧中的呈现特征信息包括对象在该帧中直接呈现出的任何特征信息。对象在该帧中的呈现特征信息与前述对象在视频场景中的呈现特征信息相似,在此不再赘述。
作为一个示例,第二替换装置根据所述对象在该帧中的呈现特征信息,确定适合被替换的该对象在该帧中的尺寸与待替换内容的尺寸不一致,则第二替换装置调整该待替换内容的尺寸,以使调整后的尺寸与该对象在该帧中的尺寸相同。
基于该优选方案,能够避免由于待替换内容与被替换的对象的呈 现效果不一致而影响到视频的播放效果,从而使得执行替换操作后获得的新的视频的播放效果与原视频的播放效果保持一致。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何将所述适合被替换的对象替换为所述待替换内容的实现方式,均应包含在本发明的范围内。
现有技术中,当想要替换视频中的一个对象时,通常直接人工指定或标记视频中的对象,以采用另一个对象来替换该被指定或标记的对象,这需要花费大量的人力成本和时间成本。
并且,本发明发现技术中存在以下问题:现有技术在替换视频中的一个对象时,并未意识到在一些场景下对象可能并不适合被替换,或者说,在一些场景下替换对象并没有意义。例如,对象被呈现在视频场景的右下角且大部分被遮挡,用户几乎不会注意到该对象,则在该视频场景中替换该对象并没有实际意义;又例如,一个视频场景中在评价一个对象的负面效果,则若将该视频场景中的该对象替换为另一对象,极大可能会对该另一对象造成负面影响,尤其是当该另一对象为其提供方(如广告商)希望推广的内容时,不仅达不到推广效果,甚至会损害到该提供方的利益。
根据本实施例的方案,能够根据待替换内容来自动判断视频中与待替换内容相匹配的视频场景,并确定所述视频场景中适合被替换的对象,以将视频中适合被替换的对象替换为待替换内容,该过程可完全由计算机设备自动执行,而并不需要任何人工干预,且能够极大地节约时间成本;并且,由于仅会对视频中适合被替换的对象执行替换操作,也即并不会去替换视频中并不适合被替换的对象,使得能够实现对待替换内容的高效率推广,且保证不会对待替换内容造成负面影响,这对于待替换内容的提供方来说极为有利。
图4为本发明另一个实施例的用于替换视频中的对象的装置的结构示意图。根据本实施例的对象替换装置包括第一获得装置1、第一 确定装置2和第一替换装置3。其中,所述第一获得装置1进一步包括第二获得装置11和第四确定装置12。其中,所述第一确定装置2和第一替换装置3已在参照图3所示实施例中予以详述,在此不再赘述。
第二获得装置11用于获得所述视频的视频场景信息。
其中,所述视频场景信息包括任何与视频中的视频场景相关的信息,优选地,所述视频场景信息包括但不限于以下至少一项:视频中所包含的视频场景的数量、每个视频场景对应的视频帧、每个视频场景对应的帧数或者时间长度、每个视频场景所对应的场景类型(如美食场景、旅游场景、会议场景等)等。
其中,第二获得装置11可采用多种方式来获得所述视频的视频场景信息。
例如,第二获得装置11直接根据来自用户的指示信息,确定所述视频的视频场景信息。
又例如,计算机设备的数据库中预先存储有多个特定视觉对象及每个特定视觉对象对应的场景类型,则当判断视频的一帧中出现特定视觉对象时,第二获得装置11将该帧作为一个视频场景,并将该特定视觉对象对应的场景类型作为该视频场景的场景类型,由此,第二获得装置11可确定视频的视频场景信息,该视频场景信息用于指示包含特定视觉对象的每个视频场景及其场景类型。
作为一种优选方案,第二获得装置11进一步包括第三获得装置(图未示)。第三获得装置用于根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息。
其中,所述音频特征信息包括任何与视频的音频特征相关的信息,如音调、音强、音色等。
其中,所述视觉特征信息包括任何与视频的视觉特征相关的信息,如视频的字幕、视频中呈现的对象(如人物、物品等)等。
具体地,第三获得装置根据视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,来确定视频含义(也即视频在表达什么),进而基于视频含义,获得所述视频的视频场景信息。
作为一个示例,第三获得装置对视频的音频特征信息进行语音识别获得文本识别结果,并通过对该文本识别结果进行语义分析确定该视频从头到尾讲述的是一种美食的制作方法,则第三获得装置确定该视频的视频场景信息,该视频场景信息用于指示将该视频整体作为一个视频场景,且该视频场景为美食场景。
优选地,第三获得装置根据视频的音频特征信息和/或视觉特征信息,分别对视频的每一帧进行语义理解,当存在含义相同或相近的连续多帧时,将该多帧作为视频中的一个视频场景,并基于该多帧的含义确定该视频场景的场景类型。
作为另一个示例,对于视频中的一帧,第三获得装置获得该帧的视觉特征信息,该视觉特征信息指示该帧中呈现的对象包括:人物、背包、帐篷;则第三获得装置根据该视觉特征信息进行语义理解,确定该帧中的人物正在旅游;则当判断到视频中的连续多帧的含义均是该人物正在旅游时,第三获得装置将该多帧作为视频中的一个视频场景,并确定该视频场景为旅游场景。相类似地,第三获得装置可确定视频中的其他视频场景以及其场景类型。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何获得所述视频的视频场景信息的实现方式,均应包含在本发明的范围内。
第四确定装置12根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景。
具体地,第四确定装置12根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的实现方式包括但不限于:
1)第四确定装置12进一步包括第五确定装置(图未示)。第五确定装置用于根据所述视频场景信息以及所述待替换内容,获得所述 视频中包含与所述待替换内容相同或相关联的对象的视频场景,并将所获得的视频场景确定为与所述待替换内容相匹配的视频场景。
作为一个示例,待替换内容为广告商提供的手机图片,则第五确定装置根据视频的视频场景信息获得视频中的至少一个视频场景,之后从该至少一个视频场景中获得包含手机的视频场景,作为与待替换内容相匹配的视频场景。
作为另一个示例,替换内容为广告商提供的啤酒图片,其中,“啤酒”与“炸鸡”相关联,则第五确定装置根据视频的视频场景信息获得视频中的至少一个视频场景,之后从该至少一个视频场景中获得包含啤酒或炸鸡的视频场景,作为与待替换内容相匹配的视频场景。
2)第四确定装置12进一步包括第六确定装置(图未示)。第六确定装置用于根据所述视频场景信息以及与所述待替换内容相对应的至少一个预定场景类型,确定所述视频中与待替换内容相匹配的视频场景。
作为一个示例,待替换内容为“啤酒”,“啤酒”对应的预定场景类型为美食场景,则第六确定装置根据视频的视频场景信息获得视频中的每个视频场景及对应的场景类型,之后根据该预定场景类型,将该视频中所对应的场景类型为美食场景的视频场景,作为与待替换内容相匹配的视频场景。
需要说明的是,上述举例仅为更好地说明本发明的技术方案,而非对本发明的限制,本领域技术人员应该理解,任何根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的实现方式,均应包含在本发明的范围内。
根据本实施例的方案,可先获得视频的视频场景信息,进而确定视频中与待替换内容相匹配的视频场景,使得所确定的视频场景与待替换内容之间的匹配度更高,则在该视频场景中执行替换操作将会产生更好的推广效果;此外,根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息, 进而确定视频中与待替换内容相匹配的视频场景,可以进一步提高所确定的视频场景与待替换内容之间的匹配度。
此外,本发明还提出了一种计算机设备,包括:存储器,用于存储一个或多个程序;一个或多个处理器,与所述存储器相连,当所述一个或多个程序被所述一个或者多个处理器执行时,执行本发明的用于替换视频中的对象的方法。
此外,本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被执行时,本发明的用于替换视频中的对象的方法被执行。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (23)

  1. 一种用于替换视频中的对象的方法,其中,该方法包括以下步骤:
    根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景;
    根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象;
    将所述适合被替换的对象替换为所述待替换内容。
  2. 根据权利要求1所述的方法,其中,所述根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的步骤包括:
    根据所述视频场景以及所述待替换内容,从所述视频场景中获得与所述待替换内容相匹配的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作:
    -获得该对象的与所述视频场景相对应的特征信息;
    -当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
  3. 根据权利要求2所述的方法,其中,所述特征信息包括以下至少一项:
    -对象在所述视频场景中的呈现特征信息;
    -对象在所述视频场景中的运动趋势信息;
    -对象在所述视频场景中的评价倾向信息。
  4. 根据权利要求3所述的方法,其中,所述呈现特征信息包括:
    -对象在所述视频场景中的位置信息;
    -对象在所述视频场景中的尺寸信息;
    -对象在所述视频场景中的完整性信息。
  5. 根据权利要求1所述的方法,其中,所述根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的步骤包括:
    根据所述视频场景、所述待替换内容以及与所述待替换内容相对应的替换需求信息,确定所述视频场景中适合被替换的对象。
  6. 根据权利要求1所述的方法,其中,所述根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的步骤包括:
    获得所述视频的视频场景信息;
    根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景。
  7. 根据权利要求6所述的方法,其中,所述获得所述视频的视频场景信息的步骤包括:
    根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息。
  8. 根据权利要求6所述的方法,其中,所述根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的步骤包括:
    根据所述视频场景信息以及所述待替换内容,获得所述视频中包含与所述待替换内容相同或相关联的对象的视频场景,并将所获得的视频场景确定为与所述待替换内容相匹配的视频场景。
  9. 根据权利要求6所述的方法,其中,所述根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的步骤包括:
    根据所述视频场景信息以及与所述待替换内容相对应的至少一个预定场景类型,确定所述视频中与待替换内容相匹配的视频场景。
  10. 根据权利要求1至9中任一项所述的方法,其中,所述将所述适合被替换的对象替换为所述待替换内容的步骤还包括:
    对于所述视频场景中的每一帧,根据所述对象在该帧中的呈现特征信息,对所述待替换内容执行相应调整操作,其中,所述调整操作包括以下至少任一项:
    -调整所述待替换内容的尺寸的操作;
    -调整所述待替换内容的角度的操作。
  11. 一种用于替换视频中的对象的装置,该装置包括:
    用于根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的装置;
    用于根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的装置;
    用于将所述适合被替换的对象替换为所述待替换内容的装置。
  12. 根据权利要求11所述的装置,其中,所述用于根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的装置包括:
    用于根据所述视频场景以及所述待替换内容,从所述视频场景中获得与所述待替换内容相匹配的至少一个对象,并针对所述至少一个对象中的每个对象执行以下操作的装置:
    -获得该对象的与所述视频场景相对应的特征信息;
    -当所述特征信息满足预定替换条件时,将该对象确定为所述视频场景中适合被替换的对象。
  13. 根据权利要求12所述的装置,其中,所述特征信息包括以下至少一项:
    -对象在所述视频场景中的呈现特征信息;
    -对象在所述视频场景中的运动趋势信息;
    -对象在所述视频场景中的评价倾向信息。
  14. 根据权利要求13所述的装置,其中,所述呈现特征信息包括:
    -对象在所述视频场景中的位置信息;
    -对象在所述视频场景中的尺寸信息;
    -对象在所述视频场景中的完整性信息。
  15. 根据权利要求11所述的装置,其中,所述用于根据所述视频场景以及所述待替换内容,确定所述视频场景中适合被替换的对象的装置包括:
    用于根据所述视频场景、所述待替换内容以及与所述待替换内容相对应的替换需求信息,确定所述视频场景中适合被替换的对象的装置。
  16. 根据权利要求11所述的装置,其中,所述用于根据待替换内容,获得视频中与所述待替换内容相匹配的视频场景的装置包括:
    用于获得所述视频的视频场景信息的装置;
    用于根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的装置。
  17. 根据权利要求16所述的装置,其中,所述用于获得所述视频的视频场景信息的装置包括:
    用于根据所述视频的音频特征信息和/或视觉特征信息,对所述视频进行语义理解,获得所述视频的视频场景信息的装置。
  18. 根据权利要求16所述的装置,其中,所述用于根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的装置包括:
    用于根据所述视频场景信息以及所述待替换内容,获得所述视频中包含与所述待替换内容相同或相关联的对象的视频场景,并将所获得的视频场景确定为与所述待替换内容相匹配的视频场景的装置。
  19. 根据权利要求16所述的装置,其中,所述用于根据所述视频场景信息,确定所述视频中与所述待替换内容相匹配的视频场景的装置包括:
    用于根据所述视频场景信息以及与所述待替换内容相对应的至少一个预定场景类型,确定所述视频中与待替换内容相匹配的视频场景的装置。
  20. 根据权利要求11至19中任一项所述的装置,其中,所述用于将所述适合被替换的对象替换为所述待替换内容的装置还包括:
    用于对于所述视频场景中的每一帧,根据所述对象在该帧中的呈现特征信息,对所述待替换内容执行相应调整操作的装置,其中,所述调整操作包括以下至少任一项:
    -调整所述待替换内容的尺寸的操作;
    -调整所述待替换内容的角度的操作。
  21. 一种计算机可读介质,其上存储有计算机程序,所述计算机程序可被处理器执行如权利要求1至10中任一项所述的方法。
  22. 一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如权利要求1至10中任一项所述的方法被执行。
  23. 一种计算机设备,所述计算机设备包括:
    存储器,用于存储一个或多个计算机程序;
    一个或多个处理器,与所述存储器相连,
    当所述一个或多个计算机程序被所述一个或者多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至10中任一项所述的方法。
PCT/CN2019/072218 2018-01-25 2019-01-17 一种用于替换视频中的对象的方法和装置 WO2019144839A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810074372.7A CN108288249A (zh) 2018-01-25 2018-01-25 一种用于替换视频中的对象的方法和装置
CN201810074372.7 2018-01-25

Publications (1)

Publication Number Publication Date
WO2019144839A1 true WO2019144839A1 (zh) 2019-08-01

Family

ID=62835976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/072218 WO2019144839A1 (zh) 2018-01-25 2019-01-17 一种用于替换视频中的对象的方法和装置

Country Status (2)

Country Link
CN (1) CN108288249A (zh)
WO (1) WO2019144839A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置
CN109729429B (zh) * 2019-01-31 2021-08-17 百度在线网络技术(北京)有限公司 视频播放方法、装置、设备和介质
CN110691261A (zh) * 2019-09-30 2020-01-14 咪咕视讯科技有限公司 多媒体数据交互方法、通信设备及计算机可读存储介质
CN110992251B (zh) * 2019-11-29 2023-11-10 北京金山云网络技术有限公司 视频中logo替换方法、装置及电子设备
CN113709370B (zh) * 2021-08-26 2023-05-09 维沃移动通信有限公司 图像生成方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807393A (zh) * 2010-03-12 2010-08-18 青岛海信电器股份有限公司 Ktv系统及其实现方法、电视机
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN105872588A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 视频中加载广告的方法及装置
CN106507170A (zh) * 2016-10-27 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种视频处理方法及装置
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
EP2960906A1 (en) * 2014-06-26 2015-12-30 Thomson Licensing Method for processing a video scene and corresponding device
CN104902345A (zh) * 2015-05-26 2015-09-09 多维新创(北京)技术有限公司 实现商品交互式广告和销售的方法及系统
WO2017063055A1 (en) * 2015-10-13 2017-04-20 Tzorya Ilan Video advertising by virtual content placement
CN107046651A (zh) * 2016-02-05 2017-08-15 百度在线网络技术(北京)有限公司 用于在视频中呈现展现对象的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807393A (zh) * 2010-03-12 2010-08-18 青岛海信电器股份有限公司 Ktv系统及其实现方法、电视机
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN105872588A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 视频中加载广告的方法及装置
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN106507170A (zh) * 2016-10-27 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种视频处理方法及装置
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置

Also Published As

Publication number Publication date
CN108288249A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
WO2019144839A1 (zh) 一种用于替换视频中的对象的方法和装置
US11356746B2 (en) Dynamic overlay video advertisement insertion
US11418832B2 (en) Video processing method, electronic device and computer-readable storage medium
WO2019144850A1 (zh) 一种基于视频内容的视频搜索方法和视频搜索装置
US20190130185A1 (en) Visualization of Tagging Relevance to Video
KR102457665B1 (ko) 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
US10110933B2 (en) Video file processing
US9224156B2 (en) Personalizing video content for Internet video streaming
US9563983B2 (en) Filtering information within augmented reality overlays
US20170264934A1 (en) Auto video preview within a digital magazine
US20100070860A1 (en) Animated cloud tags derived from deep tagging
US10409901B2 (en) Providing collaboration communication tools within document editor
US11206441B2 (en) Automated media production pipeline for generating personalized media content
US9665965B2 (en) Video-associated objects
US9557951B2 (en) Filtering information within augmented reality overlays
CN112929744A (zh) 用于分割视频剪辑的方法、装置、设备、介质和程序产品
WO2023011094A1 (zh) 视频编辑方法、装置、电子设备以及存储介质
US10191624B2 (en) System and method for authoring interactive media assets
US20170249970A1 (en) Creating realtime annotations for video
WO2017088394A1 (zh) 在线直播视频播放器及方法
US20210065235A1 (en) Content placement method, device, electronic apparatus and storage medium
CN112989112B (zh) 在线课堂内容采集方法及装置
CN111970560A (zh) 视频获取方法、装置、电子设备及存储介质
CA2983580A1 (en) Method and system for providing content by using digital signage, and nontransitory computer-readable recording medium
US20110298816A1 (en) Updating graphical display content

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19743756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 09.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 19743756

Country of ref document: EP

Kind code of ref document: A1