WO2018103622A1 - 信息投放控制方法、装置及存储介质 - Google Patents

信息投放控制方法、装置及存储介质 Download PDF

Info

Publication number
WO2018103622A1
WO2018103622A1 PCT/CN2017/114564 CN2017114564W WO2018103622A1 WO 2018103622 A1 WO2018103622 A1 WO 2018103622A1 CN 2017114564 W CN2017114564 W CN 2017114564W WO 2018103622 A1 WO2018103622 A1 WO 2018103622A1
Authority
WO
WIPO (PCT)
Prior art keywords
group
interest tag
target user
random
user
Prior art date
Application number
PCT/CN2017/114564
Other languages
English (en)
French (fr)
Inventor
符永顺
俞平
邓海龙
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2018103622A1 publication Critical patent/WO2018103622A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements

Definitions

  • the present invention relates to the field of computer technology, and in particular, to an information delivery control method and related apparatus.
  • the user actively pushes information to the user according to the user's interest to implement the targeted push service.
  • the WeChat friend circle advertisement is a user-oriented advertisement, and the specific method is that the advertisement system pushes advertisement information to the user according to the user's interest tag.
  • Interest tags are related phrases used to tag user interest attributes. Generally, one user will correspond to one interest tag group, and the interest tag group includes multiple interest tags. Whether the interest tag achieves an accurate orientation of the user's interest attribute requires effective monitoring of the orientation effect.
  • the control group serves as a reference for the experimental group, and the advertising system randomly assigns the interest tag group offline for the users in the control group;
  • the advertisement system After the user in the experimental group sends an advertisement pull request to the advertisement system, the advertisement system acquires the user's interest tag group from the user portrait tag engine, and retrieves the corresponding advertisement according to the user's interest tag group; After the user sends an advertisement pull request to the advertisement system, the advertisement system searches for the corresponding advertisement according to the interest tag group randomly assigned to the user when offline;
  • the retrieved ads will be returned to the client, which will be exposed to the user, and the user can decide whether to click according to their own preferences.
  • the advertising system can obtain the user's exposure and click behavior to the advertisement, and according to the above behavior, the orientation effect of the whole experimental group (the clickable rate, the conversion rate, etc. can be used to characterize the orientation effect) and the orientation effect of the whole control group, by comparing the experimental group and the comparison
  • the group's targeting effect is used to monitor whether the interest tag orientation is normal.
  • the above advertisement pull request is sent, which in turn triggers the advertisement retrieval and delivery operation.
  • the follow-up advertising system can obtain the user's exposure and click behavior, and then get the orientation effect of the two groups.
  • An object of the embodiments of the present invention is to provide an information delivery control method and related apparatus to solve the above problems.
  • the embodiment of the present invention provides the following solutions:
  • an information delivery control method which is applied to an information delivery control device, and the method includes:
  • the probability that the target user is assigned to the experimental group is equal to the probability that it is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group, and the actual interest tag group is used to mark the interest attribute of the target user;
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set; and the random interest tag set includes multiple users. Actual interest tag group;
  • an embodiment of the present application provides a method for controlling information delivery, including:
  • the target user is a target user associated with the information acquisition request;
  • the actual interest tag group is used to mark the target user's interest;
  • the target user Assigning the target user to an experimental group or a control group; the target user is assigned to an experimental group The probability in is equal to the probability that it is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set; and the random interest tag set includes multiple users. Actual interest tag group;
  • an information delivery control apparatus including:
  • a receiving module configured to receive an information obtaining request, where the information obtaining request is sent by the target user by using the terminal device;
  • the probability that the target user is assigned to the experimental group is equal to the probability that the target user is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group, and the actual interest tag group is used to mark the interest attribute of the target user;
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set; and the random interest tag set includes multiple users. Actual interest tag group;
  • an information delivery control apparatus including:
  • a receiving module configured to receive an information acquisition request
  • An update module configured to update the random interest tag set using a target user's actual interest tag group; the target user is a target user associated with the information acquisition request; the actual interest tag group is used to mark the target User's interest;
  • the probability that the target user is assigned to the experimental group is equal to the probability that the target user is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set;
  • an information delivery control apparatus includes: a processor and a memory, wherein the memory stores program instructions;
  • the information delivery control method in the above aspect is executed when the processor executes the program instructions stored in the memory.
  • a computer readable storage medium storing program instructions for executing the information delivery control method in the above aspect when the processor executes the stored program instructions is further provided.
  • the user who sends the advertisement pull request is assigned to the experimental group or the control group, so that the users in the experimental group and the control group are all users who send the advertisement pull request.
  • the probability that the user is assigned to the control group and the experimental group is equal, so that the number of users in the experimental group and the number of users in the control group are consistent in the same time period and even at the same time. This ensures the comparability between the two groups, which in turn makes the follow-up monitoring based on the two groups more accurate.
  • the random interest tag set is updated by using the actual interest tag group of the user. This can make the distribution of interest tags of the control group and the experimental group generally consistent, thereby further improving the comparability between the two groups, thereby further improving the accuracy of monitoring.
  • FIG. 1 is a schematic diagram of an application scenario according to an embodiment of the present disclosure
  • FIG. 2 is an exemplary schematic diagram of an information delivery control apparatus or an advertisement system according to an embodiment of the present invention
  • FIG. 3 is an exemplary flowchart of a method for controlling information delivery according to an embodiment of the present invention
  • 4a is a schematic diagram of a random interest tag group according to an embodiment of the present invention.
  • FIG. 4b is a schematic diagram of randomly assigning interest tags in a random interest tag set to users in a control group according to an embodiment of the present invention
  • FIG. 5 is another exemplary flowchart of a method for controlling information delivery according to an embodiment of the present invention.
  • FIG. 6 is another schematic diagram of an information delivery control apparatus or an advertisement system according to an embodiment of the present invention.
  • the embodiment of the invention provides an information delivery control method and an information delivery control device, which can monitor whether the interest tag orientation is correct.
  • FIG. 1 shows an exemplary application scenario of the above-described information delivery control apparatus, which includes a user portrait tag engine 101, an advertisement system 102 (including an information delivery control device), and terminal devices C1, C2, and C3.
  • the user portrait tag engine 101 is mainly used to construct a user portrait.
  • the user portrait is a virtual model of the real user. By mining the user's demographic attributes, behavioral attributes, social networks, psychological characteristics, hobbies and other data, after continuous superimposing and updating, abstract the complete information labels, and combine and build a three-dimensional user virtual model, namely user portraits. "Tag" to the user is the core part of the user's portrait.
  • the above information tag includes an interest tag.
  • the interest tag is a related phrase used to mark the user's interest attribute.
  • the interest tag may refer to an interest tag unique to the advertisement system and purchased by the advertiser. Users and ads are associated through an interest tag.
  • the interest tag under the ad serving scenario can also be referred to as a commercial interest tag.
  • the terminal devices C1, C2, C3, etc. may be various handheld devices having communication functions, in-vehicle devices, wearable devices, computing devices, positioning devices or other processing devices connected to the wireless modem, and various forms of user devices (User Equipment, referred to as UE), mobile station (MS), mobile phone, tablet, desktop computer, PDA (Personal Digital Assistant, personal digital assistant) and so on.
  • UE User Equipment
  • MS mobile station
  • PDA Personal Digital Assistant, personal digital assistant
  • FIG. 1 exemplarily shows three terminal devices. In an application scenario, the number of terminal devices is not limited to three, and may be fewer or more.
  • Clients can be deployed on each of the above terminal devices, such as a WeChat client, a Tencent news client, and the like.
  • the terminal device When the user logs in to the client, the terminal device sends an information acquisition request (advertisement pull request) to the advertisement system 102.
  • the advertisement system may use the user's interest tag group or the interest tag group randomly assigned to the user. It pushes recommendation information (advertising).
  • the ad system will serve an ad to the client's ad slot.
  • the ad system can serve ads to each ad slot of the client.
  • the advertisement system 102 or the information delivery control device may be an advertisement server or a server cluster/cloud platform composed of multiple advertisement servers.
  • the user portrait tag engine 101 can be a server or a server cluster/cloud platform composed of multiple servers.
  • the above-described information delivery control device can be applied to an advertisement system or a server in a software or hardware manner.
  • the information delivery control apparatus may include a bus, a processor 1, a memory 2, a communication interface 3, an input device 4, and an output device 5.
  • the processor 1, the memory 2, the communication interface 3, the input device 4, and the output device 5 are connected to each other through a bus. among them:
  • the bus can include a path for communicating information between various components of the computer system.
  • the processor 1 may be a general-purpose processor, such as a general-purpose central processing unit (CPU), a network processor (NP Processor, NP for short, a microprocessor, etc., or an application-specific integrated circuit (ASIC). , or one or more integrated circuits for controlling the execution of the program of the present invention. It can also be a digital signal processor (DSP), an application specific integrated circuit (ASIC), an off-the-shelf programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware components.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA off-the-shelf programmable gate array
  • the memory 2 stores a program for executing the technical solution of the embodiment of the present invention, and can also store an operating system and other key services.
  • the program can include program code, the program code including computer operating instructions.
  • the memory 2 may include a read-only memory (ROM), other types of static storage devices that can store static information and instructions, random access memory (RAM), storable information, and Other types of dynamic storage devices, disks Memory, flash, etc.
  • Communication interface 3 may include devices that use any type of transceiver to communicate with other devices or communication networks, such as Ethernet, Radio Access Network (RAN), Wireless Local Area Network (WLAN), and the like.
  • RAN Radio Access Network
  • WLAN Wireless Local Area Network
  • Input device 4 may include means for receiving data and information input by a user, such as a keyboard, mouse, camera, scanner, light pen, voice input device, touch screen, pedometer or gravity sensor, and the like.
  • Output device 5 may include devices that allow output of information to the user, such as a display screen, speakers, and the like.
  • the processor 1 of the information delivery control device executes the program stored in the memory 2 and calls other devices, and can be used to implement the information delivery control method provided by the present invention.
  • the embodiment of the invention provides an information delivery control method, which is applied to an information delivery control device, and the method may include:
  • the probability that the target user is assigned to the experimental group is equal to the probability that it is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group, and the actual interest tag group is used to mark the interest attribute of the target user;
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set; and the random interest tag set includes multiple users. Actual interest tag group;
  • FIG. 3 is a schematic diagram of an exemplary interaction of the information delivery control method according to an embodiment of the present invention, which is implemented by the user image tag engine 101, the advertisement system 102 (including the information delivery control device), and the terminal device.
  • the above interaction process includes:
  • the target user (e.g., user A) sends an advertisement pull request to the advertising system 102 via the terminal device.
  • WeChat when the user logs in to the WeChat client, the WeChat client sends the advertisement system 102.
  • the ad pull request In the case of WeChat, when the user logs in to the WeChat client, the WeChat client sends the advertisement system 102. The ad pull request.
  • User A can be any user.
  • Section 301 the processor 1 of the information delivery control device reads the actual interest tag group of User A from the User Portrait Tag Engine 101.
  • the processor 1 may send an interest tag request message to the user portrait tag engine 101 via the communication interface 3, the message carrying the user's unique identity (ID).
  • ID the unique identifier
  • the unique identifier can be uin.
  • the user ID may be a mobile phone number, a user account, or the like.
  • the user portrait tag engine 101 can search for the corresponding tag group according to the user ID and return.
  • the processor 1 of the information delivery control device updates the random interest tag set using the actual interest tag group of the user A.
  • the acquired interest tag group can be used to update the random interest tag set.
  • the above random interest tag set includes a plurality of users' actual interest tag groups. For example, an actual interest tag group of 10,000 users may be included.
  • the random interest tag set includes actual interest tag groups of the user 100, the user 143, the user 231, and the like.
  • the actual interest tag group of the user 143 includes tags B and K, and the tags B and K are all obtained from the user portrait tag engine 101.
  • the random interest tag set may be updated.
  • the tag groups in the random interest tag set are randomly assigned to the users in the control group.
  • section 303 the processor 1 of the information delivery control device determines the group of the above-mentioned user A.
  • the group may include an experimental group and a control group.
  • the probability that user A is assigned to the experimental group is equal to The probability that user A is assigned to the control group.
  • user A has a 50% probability of being assigned to the control group, and a 50% probability is assigned to the experimental group. This makes it possible to match the number of users in the experimental group with the number of users in the control group during the same time period and even at the same time. This ensures the comparability between the two groups.
  • section 304 If user A is assigned to the experimental group, the processor 1 of the information delivery control device uses the actual interest tag group of the user A as the target interest tag group; and if the user A is assigned to the control group, the processor of the information delivery control device 1 Randomly obtain an interest tag group from the random interest tag set as the target interest tag group.
  • the actual interest tag group of user 555 includes tags H, N. If the user 555 is assigned to the control group, an interest tag group (including the tags B, K) is randomly acquired from the random interest tag set to replace the original interest tag group of the user 555.
  • section 305 the processor 1 of the information delivery control device retrieves the recommendation information (ie, the advertisement) that matches the target interest tag group, and returns the above recommendation information to the client of the user A via the communication interface 3.
  • the recommendation information ie, the advertisement
  • the processor 1 retrieves the advertisements matching the labels B and K and delivers them to the client of the user 555.
  • Section 306 The client will show ads on the ad slot.
  • the information delivery control device can obtain the exposure and click behavior of the user A on the delivered advertisement (part 307) in real time.
  • the processor 1 of the information delivery control device acquires the first feedback statistics of the experimental group and the second feedback statistics of the control group.
  • the processor 1 may acquire the first feedback statistics and the second feedback statistics periodically (for example, every 15 minutes), or may acquire when a certain predetermined time is reached.
  • the first feedback statistic may be based on the number of behaviors of the advertisements for each user in the experimental group. Calculated according to (such as exposure and click volume);
  • the second feedback statistic is calculated based on behavior data (such as exposure and click amount) of each user in the control group for the delivered advertisement.
  • the first feedback statistics and the second feedback statistics may be, for example, a full set of click rates (CTR), a whole set of conversion rates (CVR), and the like.
  • CTR full set of click rates
  • CVR whole set of conversion rates
  • the CTR of the control group can also be calculated as such.
  • the processor 1 of the information delivery control device performs orientation effect monitoring based on the first feedback statistics and the second feedback statistics.
  • performing the orientation effect monitoring according to the first feedback statistics and the second feedback statistics may further include:
  • A calculating a growth rate of the first feedback statistic relative to the second feedback statistic
  • the monitoring result of the interest tag group can be normal, and the interest tag is obtained.
  • the monitoring result of the group orientation abnormality Assuming a minimum growth rate of 20%, following the previous example, if the CTR of the experimental group is 30% or more than the control group, the monitoring result of the interest tag group can be normal, and the interest tag is obtained. The monitoring result of the group orientation abnormality.
  • interest tag group orientation is normal or abnormal, which means that all users' interest tag groups are oriented normally or abnormally.
  • the user can be extracted into the monitoring process according to a certain extraction method.
  • a random number (which may be called a random number) is calculated for the user, and for convenience, the calculation is performed.
  • the random number can be a fraction greater than 0 and less than 1. Because 10% of the users in the scenario want to enter the monitoring process, the comparison threshold is set to 0.1. If the extracted random number is less than 0.1, the subsequent 302-306 part is executed. Otherwise, the user's interest tag is directly used to retrieve it. The client can push the ad.
  • the extraction of the random number refers to the probability that the user is extracted, so the extraction of the random number may also be referred to as the extraction probability.
  • the purpose of the inbound monitoring process with a selection probability of less than 0.1 is to select from a larger number of users who initiate the ad pull request.
  • the extracted user's interest tag group will be updated to the random interest tag set or updated to the random interest tag set cache in the cache queue.
  • the user who sends the advertisement pull request is assigned to the experiment group or the control group, so that the users in the experiment group and the control group are all users who send the advertisement pull request.
  • the probability that the user is assigned to the control group and the experimental group is equal, so that the number of users in the experimental group and the number of users in the control group are consistent in the same time period and even at the same time. This ensures the comparability between the two groups, which in turn makes the follow-up monitoring based on the two groups more accurate.
  • real user interest tags are constantly updated over time, and new interest tags may be added.
  • the interest tag of the control group user is offline update, which is difficult to ensure the consistency of label distribution between the experimental group and the control group.
  • the interest tags of users in the experimental group are completely new interest tags, while the control users are all old interest tags.
  • the advertisements drawn by different interest tags are different, and the effects of different advertisements are different, which reduces the comparability between the two groups.
  • the user's actual interest tag group is used to update the random interest tag set online. This way, the user’s interest tag for the experiment group will not be completely added.
  • the interest tag, while the control group users are all extreme cases of the old interest tag, which can make the control tag distribution of the control group and the experimental group generally consistent, thereby further improving the comparability between the two groups, thereby further improving the monitoring accuracy. .
  • the random interest tag set is updated offline, it is necessary to pre-populate each user in the control group with a random tag. Since the user's actual interest tag is updated every day, each user in the control group also needs to manually update the random tag set and import the library every day, which leads to an increase in the cost of offline updating the random interest tag set, and the cost is high.
  • the random interest tag set is updated online by the information delivery control device of the advertisement system. It is not affected by the daily update of the user's actual interest label, and the monitoring cost is relatively low.
  • FIG. 5 is a schematic diagram of another exemplary interaction of the information delivery control method according to an embodiment of the present invention.
  • the user image tag engine 101, the advertisement system 102 (including the information delivery control device), and the terminal device interact with each other. achieve.
  • the random interest tag set is cached in the cache queue.
  • the above interaction process includes:
  • the 500-501 part is the same as the 300-301 part and will not be described here.
  • the processor 1 of the information delivery control device calculates the update random number p of the user A;
  • the update random number p can be understood as the update probability p, and the update probability p can be the probability that the user A's interest tag group can be updated into the random interest tag set; in addition, the update probability p can be the user A's interest tag group update.
  • the probability that the random interest tag set is cached in the cache queue.
  • the update probability of the local area is basically the same as the meaning of the foregoing extraction probability, that is, after the user A meets the extraction condition and is extracted, the user A's interest tag group is updated to the random interest tag set or updated to the random interest.
  • the tag set is cached in the cache queue.
  • section 503 the processor 1 of the information delivery control device determines whether the updated random number p is less than a, a is a preset value for deciding whether to update, and if so, proceeds to section 504, otherwise proceeds to section 505.
  • the above a is a set parameter, and the parameter may be a probability threshold.
  • the larger a the more frequent the update operation.
  • a person skilled in the art can design the value of a according to the actual situation, and details are not described herein.
  • the 504 portion may also be entered when the updated random number p is greater than a. I will not repeat them here.
  • the processor 1 of the information delivery control device deletes the interest tag group of the cache queue header and inserts the user A's interest tag group into the queue end of the cache queue.
  • the random interest tag set is updated by using the user's interest tag group; otherwise, the random interest tag is not updated by using the user's interest tag group. set.
  • the label distribution of the control group and the experimental group can be generally consistent, and randomness is guaranteed.
  • the processor 1 of the information delivery control device calculates the packet random number q of the user A;
  • the processor 1 of the information delivery control device determines whether the packet random number q is smaller than the packet threshold b, and if so, enters part 507, otherwise enters part 508;
  • b is the set parameter.
  • a person skilled in the art can design the value of b according to the actual situation.
  • the packet random number q is greater than b
  • the portion 507 is entered, otherwise the portion 508 is entered, and no further details are provided herein.
  • the processor 1 of the information delivery control device assigns the user A to the experimental group, and the target user group's interest tag group is the target interest tag group.
  • the processor 1 of the information delivery control device assigns the user A to the control group, and randomly acquires an interest tag group from the random interest tag set as the target interest tag group.
  • Section 304 For a detailed description of sections 507 and 508, reference is made to Section 304 above, and no further details are provided.
  • Sections 509-511 are the same as those of the aforementioned sections 305-307, and are not described herein.
  • the processor 1 of the information delivery control device periodically acquires the first CTR of the experimental group and the second CTR of the control group.
  • the processor 1 of the information delivery control device calculates the growth rate T of the first CTR relative to the second CTR.
  • section 514 determine if the growth rate T is greater than the minimum growth rate t, and if so, enter section 515, otherwise enter section 516.
  • the minimum growth rate can be flexibly set according to different application scenarios, and will not be described here.
  • Section 515 Get the monitoring results of the interest tag group oriented normal.
  • Section 516 Get the monitoring results of the directional anomaly of the interest tag group.
  • the label generation mode of the user portrait tag engine 101 can be subsequently adjusted.
  • This embodiment proposes an information delivery control method, which is mainly based on an online user portrait service (engine), constructs a cache queue, and puts a random interest tag on the user in the control group in real time, by comparing the orientation effect of the user with the random interest tag. Measure whether the actual interest tag orientation is abnormal, so as to achieve the purpose of monitoring.
  • engine online user portrait service
  • the drop in click-through rate may also be caused by periodic changes in time or external changes, and is not necessarily caused by inaccurate (abnormal) orientation of interest tag groups.
  • control group is set as a reference object of the experimental group, and the interest tag group used by the user in the experimental group is targeted and promoted, and the user in the control group is randomly promoted by using a random interest tag group.
  • feedback statistics of the two groups first feedback statistics and second feedback system
  • Count data to monitor the orientation effect. Compared with the prior art, the monitoring accuracy is stronger.
  • this embodiment has three main benefits:
  • Random tags are online updates that are not affected by the ever-changing commercial tags, and the cost of monitoring is reduced.
  • FIG. 6 is a schematic diagram showing another possible structure of the advertisement system or the information delivery control device involved in the foregoing embodiment, including:
  • a receiving module 601, configured to receive an information acquisition request
  • the update module 602 is configured to update the random interest tag set by using the target user's actual interest tag group; the target user is the target user associated with the information acquisition request.
  • Recommendation module 603 for:
  • the target user is assigned to the experimental group, the above-mentioned actual interest tag group is used as the target interest tag group;
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set;
  • the probability that the target user is assigned to the experimental group is equal to the probability that the target user is assigned to the control group.
  • the recommendation module 603 may be specifically configured to: assign the target user to the experimental group or the control group according to the grouping probability of the target user.
  • the receiving module 601 is configured to receive an information obtaining request, where the information obtaining request is sent by the target user by using the terminal device;
  • Recommendation module 603 for:
  • the probability that the target user is assigned to the experimental group is equal to the probability that the target user is assigned to the control group;
  • the actual interest tag group is used as the target interest tag group.
  • the actual interest tag group is used to mark an interest attribute of the target user;
  • the random interest tag group is used as the target interest tag group; the random interest tag group is randomly obtained from the random interest tag set; and the random interest tag set includes multiple users. Actual interest tag group;
  • the information delivery control device or the advertisement system may further include:
  • the monitoring module 604 is configured to acquire first feedback statistics of the experimental group and second feedback statistics of the control group, and perform orientation effect monitoring according to the first feedback statistics and the second feedback statistics;
  • the first feedback statistic is calculated based on behavior data of all members in the experimental group for their recommendation information; the second feedback statistic is calculated based on behavior data of all members in the control group for their recommendation information.
  • the foregoing update module 602 is further configured to:
  • the operation of updating the random interest tag set using the target user's actual interest tag group is performed after determining that the target user's actual interest tag group is used to update the random interest tag set.
  • the update module 602 may be specifically configured to:
  • the update random number satisfies the update condition, it is determined that the random interest tag set is updated using the actual interest tag group of the target user, otherwise, it is determined that the random interest tag set is not updated using the actual interest tag group of the target user.
  • update module is used to:
  • the update probability satisfies the update condition
  • the actual interest tag group of the target user is used. Update the random interest tag set.
  • the receiving module 601 can be used to execute the 300 portion of the embodiment shown in FIG. 3; in addition, the 500 portion of the embodiment shown in FIG. 5 can also be executed.
  • the update module 602 can be used to perform portions 301-302 of the embodiment shown in FIG. 3; in addition, portions 501-504 of the embodiment shown in FIG. 5 can also be performed.
  • the recommendation module 603 can be used to perform portions 303-305 of the embodiment shown in Figure 3; in addition, portions 505-509 of the embodiment shown in Figure 5 can also be performed.
  • the monitoring module 604 can be used to perform portions 307-309 of the embodiment illustrated in Figure 3; in addition, portions 511-516 of the embodiment illustrated in Figure 5 can also be performed.
  • the steps of a method or algorithm described in connection with the present disclosure may be implemented in a hardware, or may be implemented by a processor executing software instructions.
  • the software instructions may be comprised of corresponding software modules that may be stored in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable hard disk, CD-ROM, or any other form of storage well known in the art.
  • An exemplary storage medium is coupled to the processor to enable the processor to read information from, and write information to, the storage medium.
  • the storage medium can also be an integral part of the processor.
  • the processor and the storage medium can be located in an ASIC. Additionally, the ASIC can be located in the target user equipment.
  • the processor and the storage medium can also exist as discrete components in the target user equipment.
  • the functions described herein can be implemented in hardware, software, firmware, or any combination thereof.
  • the functions may be stored in a computer readable medium or transmitted as one or more instructions or code on a computer readable medium.
  • Computer readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one location to another.
  • a storage medium may be any available media that can be accessed by a general purpose or special purpose computer.

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供信息投放控制方法及相关装置。该方法包括：接收信息获取请求；将目标用户分配至实验组或对照组；目标用户被分配至实验组中的概率等于目标用户被分配至对照组中的概率；若目标用户分配至实验组，将目标用户的实际兴趣标签组作为目标兴趣标签组；若目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；检索并返回与目标兴趣标签组相匹配的推荐信息。在本发明提供的监控方案中，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性。

Description

信息投放控制方法、装置及存储介质
本申请要求于2016年12月8日提交中国专利局、申请号为201611124065.2、发明名称为“信息投放控制方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机技术领域，特别是涉及信息投放控制方法及相关装置。
背景技术
互联网的很多场景下都有根据用户的兴趣主动向用户推送信息，以实现定向推送的业务。例如，微信的朋友圈广告是以用户兴趣定向的广告，其具体做法是广告系统根据用户的兴趣标签向用户推送广告信息。
兴趣标签是用于标记用户兴趣属性的相关短语。一般情况下，一个用户会对应一个兴趣标签组，兴趣标签组中包括多个兴趣标签。兴趣标签是否实现了对用户兴趣属性的准确定向，需要进行有效的定向效果监控。
现有的定向效果监控方式包括：
设置实验组和对照组，为实验组和对照组分配相同数量的用户。对照组作为实验组的参照物，广告系统会为对照组中的用户离线随机分配兴趣标签组；
当实验组中的用户向广告系统发送广告拉取请求后，广告系统从用户画像标签引擎处获取该用户的兴趣标签组，根据该用户的兴趣标签组检索相应的广告；而当对照组中的用户向广告系统发送广告拉取请求后，广告系统根据离线时为该用户随机分配的兴趣标签组检索相应的广告；
检索到的广告会返回到客户端，进而曝光给用户，用户可根据自己的喜好决定是否点击。广告系统可获取用户对广告的曝光和点击行为，并根据上述行为得到整个实验组的定向效果(可用点击率、转化率等表征定向效果)以及整个对照组的定向效果，通过对比实验组和对照组的定向效果来监控兴趣标签定向是否正常。
然而，上述定向效果监控方式有如下缺点：
用户在登陆客户端时会发送上述广告拉取请求，继而会触发广告检索及投放操作。后续广告系统才可获取到用户的曝光和点击行为，进而得到两组的定向效果。
但用户何时登陆是不可控的。因此，虽然为实验组和对照组分配了相同数量的用户，但在某一时间段内，实验组和对照组中发送广告拉取请求的用户的数量却是不相等的。举个极端的例子，在某一时间段内，实验组中可能仅一位用户发送了广告拉取请求，而对照中却有十位用户发送了广告拉取请求。这降低了两组间的可比性，从而降低了监控的准确度。
发明内容
本发明实施例的目的在于提供信息投放控制方法及相关装置，以解决上述问题。
为实现上述目的，本发明实施例提供了如下方案：
一方面提供一种信息投放控制方法，应用于信息投放控制装置，所述方法包括：
接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；
若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组，所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
又一方面，本申请的实施例提供一种信息投放控制方法，包括：
接收信息获取请求；
使用目标用户的实际兴趣标签组更新随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣；
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组 中的概率等于其被分配至对照组中的概率；
若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
本发明实施例又一方面提供一种信息投放控制装置，包括：
接收模块，用于接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
推荐模块，用于：
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；
若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组，所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
本发明实施例又一方面提供一种信息投放控制装置，包括：
接收模块，用于接收信息获取请求；
更新模块，用于使用目标用户的实际兴趣标签组更新所述随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣；
推荐模块，用于：
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；
若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
本发明实施例的又一方面，还提供了一种信息投放控制装置，包括：处理器和存储器，所述存储器中存储有程序指令；
所述处理器执行所述存储器中存储的程序指令时执行上述方面中的信息投放控制方法。
本发明实施例的又一方面，还提供了一种计算机可读存储介质，存储有程序指令，处理器执行所存储的程序指令时执行上述方面中的信息投放控制方法。
在本发明实施例提供的方案中，是将发送广告拉取请求的用户分配至实验组或对照组，这样，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性，进而令后续基于两组的定向效果监控更为准确。
同时，在本发明实施例提供的方案中，是使用用户实际的兴趣标签组来更新随机兴趣标签集。这样可令对照组和实验组的兴趣标签分布总体一致，从而进一步提高了两组间的可比性，从而可进一步提高监控的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的应用场景示意图；
图2为本发明实施例提供的信息投放控制装置或广告系统的一示例性示意图；
图3为本发明实施例提供的信息投放控制方法的一示例性流程图；
图4a为本发明实施例提供的随机兴趣标签组示意图；
图4b为本发明实施例提供的使用随机兴趣标签集中的兴趣标签随机分配给对照组中的用户的示意图；
图5为本发明实施例提供的信息投放控制方法的另一示例性流程图；
图6为本发明实施例提供的信息投放控制装置或广告系统的另一示例性示意图。
具体实施方式
本发明实施例提供了信息投放控制方法及信息投放控制装置，可以监控兴趣标签定向是否正确。
图1示出了上述信息投放控制装置的一种示例性应用场景，在该场景下包括用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备C1、C2和C3。
其中，用户画像标签引擎101主要用于构建用户画像。用户画像是真实用户的虚拟模型。通过挖掘用户的人口属性、行为属性、社交网络、心理特征、兴趣爱好等数据，经过不断叠加、更新，抽象出完整的信息标签，组合并搭建出一个立体的用户虚拟模型，即用户画像。给用户“打标签”是用户画像最核心的部分。
上述信息标签包括兴趣标签。
前已述及，兴趣标签是用于标记用户兴趣属性的相关短语。而在广告投放应用场景下，兴趣标签可指广告系统特有的、广告主购买的兴趣标签。用户和广告通过兴趣标签关联。广告投放应用场景下的兴趣标签还可以称为商业兴趣标签。
终端设备C1、C2和C3等可以是各种具有通信功能的手持设备、车载设备、可穿戴设备、计算设备、定位设备或连接到无线调制解调器的其它处理设备，以及各种形式的用户设备(User Equipment,简称UE)、移动台(Mobile station,简称MS)、手机、平板电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)等等。需要说明的是，图1示例性的显示了3个终端设备，在应用场景中，终端设备数目并不仅局限于3个，其可以更少或更多。
上述各终端设备上可部署客户端，例如微信客户端、腾讯新闻客户端等等。
用户在登陆客户端时，终端设备会向广告系统102发送信息获取请求(广告拉取请求)，在本发明中，广告系统可采用用户的兴趣标签组或随机为用户分配的兴趣标签组，向其推送推荐信息(广告)。
例如：对于微信朋友圈而言，一般具有一个广告位，则广告系统会向客户端的广告位投放一个广告。对于其他应用场景，例如，腾讯新闻客户端，其有多个广告位，则广告系统可向客户端的每一广告位投放广告。
广告系统102或信息投放控制装置可以是一台广告服务器，或多台广告服务器组成的服务器集群/云平台。
同理，用户画像标签引擎101可以是一台服务器，或多台服务器组成的服务器集群/云平台。
在图1所示的广告系统中，上述信息投放控制装置可以软件或硬件的方式应用于广告系统或服务器中。
图2是上述信息投放控制装置的一种示例图，如图2所示，信息投放控制装置的可包括总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(Network Processor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器2中保存有执行本发明实施例技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器2可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘 存储器、flash等等。
通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。
信息投放控制装置的处理器1执行存储器2中所存放的程序，以及调用其他设备，可用于实现本发明所提供的信息投放控制方法。
下面将以图1所示的应用场景为基础，基于上面所述的本发明实施例涉及的共性方面，进行进一步详细说明。
本发明实施例提供一种信息投放控制方法，应用于信息投放控制装置，所述方法可以包括：
接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；
若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组，所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
图3为本发明实施例提供的信息投放控制方法的一种示例性交互示意图，由前述的用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备交互实现。
请参见图3，上述交互流程包括：
在300部分：目标用户(例如用户A)通过终端设备向广告系统102发送广告拉取请求。
以微信为例，用户登陆微信客户端时，微信客户端会向广告系统102发送 广告拉取请求。
用户A可为任一用户。
在301部分：信息投放控制装置的处理器1从用户画像标签引擎101处读取用户A的实际兴趣标签组。
在一个示例中，处理器1可通过通信接口3向用户画像标签引擎101发送兴趣标签请求消息，该消息中携带用户的唯一身份标识(ID)。对于微信用户，其唯一身份标识可为uin。当然，在其他应用场景下，用户ID可为手机号码、用户账号等。
用户画像标签引擎101则可根据用户ID查找相应的兴趣标签组并返回。
在302部分：信息投放控制装置的处理器1使用用户A的实际兴趣标签组更新随机兴趣标签集。
在301部分已经获取了用户A的实际兴趣标签组，在本部分，可使用获取到的兴趣标签组来更新随机兴趣标签集。
上述随机兴趣标签集包括多个用户的实际兴趣标签组。例如，可包括一万个用户的实际兴趣标签组。
请参见图4a，随机兴趣标签集包括用户100、用户143、用户231等的实际兴趣标签组。以用户143的实际兴趣标签组为例，其包括标签B、K，标签B、K均是从用户画像标签引擎101处得到的。
在本实施例中，可在获取用户A的实际兴趣标签组后，即对随机兴趣标签集进行更新。
而在本发明其他实施例中，为了避免频繁更新随机兴趣标签集而带来的系统负担，在执行302部分之前，还可判断是否使用用户A的兴趣标签组更新随机兴趣标签集；若判定使用用户A的兴趣标签组更新随机兴趣标签集，才执行302部分。具体的判断方式，本文后续将进行介绍。
在后续步骤中，会将随机兴趣标签集中的标签组随机分配给对照组中的用户。
在303部分：信息投放控制装置的处理器1确定上述用户A的组别。
其中，组别可包括实验组和对照组。用户A被分配至实验组中的概率等于 用户A被分配至对照组中的概率。
也即，用户A有50％的概率被分配至对照组，有50％的概率被分配至实验组。这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性。
具体的分配方式，本文后续将进行介绍。
在304部分：若用户A分配至实验组，信息投放控制装置的处理器1将用户A的实际兴趣标签组作为目标兴趣标签组；而若用户A分配至对照组，信息投放控制装置的处理器1从随机兴趣标签集中随机获取一个兴趣标签组作为目标兴趣标签组。
例如，请参见图4b，用户555的实际兴趣标签组包括标签H、N。若用户555被分配至对照组，则从随机兴趣标签集中随机获取一个兴趣标签组(包括标签B、K)替换用户555原来的兴趣标签组。
本部分可实现，实验组中的用户采用实际兴趣标签组进行定向，而对照组中的用户采用随机的兴趣标签组进行定向。
在305部分：信息投放控制装置的处理器1检索与目标兴趣标签组相匹配的推荐信息(即广告)，并通过通信接口3向用户A的客户端返回上述推荐信息。
仍以图4b中的用户555为例，处理器1会检索与标签B、K相匹配的广告，投放至用户555的客户端。
在306部分：客户端会在广告位上展示广告。
后续，用户A可根据自己的喜好决定是否点击。信息投放控制装置可实时获取用户A对所投放广告的曝光和点击行为(307部分)。
在308部分：信息投放控制装置的处理器1获取实验组的第一反馈统计数据和对照组的第二反馈统计数据。
处理器1可周期性(例如每15分钟)获取第一反馈统计数据和第二反馈统计数据，也可在到达某一预定时刻时获取。
其中，第一反馈统计数据可根据实验组中各用户针对投放的广告的行为数 据(例如曝光量和点击量)计算得到的；
第二反馈统计数据是根据对照组中各用户针对投放的广告的行为数据(例如曝光量和点击量)计算得到的。
第一反馈统计数据和第二反馈统计数据例如可为整组的点击率(CTR)、整组的转化率(CVR)等。
以CTR为例，CTR＝点击量/曝光量。以微信朋友圈为例，如果在一段时间内(15分钟)，实验组的所有用户进入微信朋友圈的总次数为1000次，而朋友圈广告位上的广告总共被点击了10次，那么，1000为曝光量，10为点击量，CTR为：10/1000＝1％。
同理，对照组的CTR也可如此计算。
在309部分：信息投放控制装置的处理器1根据第一反馈统计数据和第二反馈统计数据进行定向效果监控。
在一个示例中，根据第一反馈统计数据和第二反馈统计数据进行定向效果监控可进一步包括：
A：计算第一反馈统计数据相对于第二反馈统计数据的增长率；
以CTR为例，假定实验组的CTR是0.13，对照组的CTR是0.1，则0.13对应于0.1的增长率是30％。
B：若增长率低于最小增长率，得到兴趣标签组定向异常的监控结果，否则得到兴趣标签组定向正常的监控结果。
假定最小增长率为20％，沿用前例，若实验组的CTR相对于对照组的CTR的增长率为30％，大于20％，则可得到兴趣标签组定向正常的监控结果，反之，得到兴趣标签组定向异常的监控结果。
需要说明的是，这里的兴趣标签组定向正常或异常，指的是所有用户的兴趣标签组定向正常或异常。
以微信应用场景为例，可能会从所有微信用户中抽取100个用户分配至实验组，抽取100个用户分配至对照组。但得到的监控结果却表征的是整个微信用户群体。
此外，还需要说明的是，在本实施例中，并不是任一个用户发送了广告拉 取请求后，均会触发执行302-306部分(进入监控流程)。可按一定抽取方式抽取该用户进入监控流程。
例如，如欲抽取10％的用户进入监控流程，则可在接收到用户的广告拉取请求后，针对该用户计算出一个随机数(可称之为抽取随机数)，为方便起见，计算出的随机数可为大于0小于1的小数。因为该场景中欲抽取10％的用户进入监控流程，所以比对阈值设置为0.1，若该抽取随机数小于0.1，则执行后续的302-306部分，否则，直接采用用户的兴趣标签检索向其客户端推送广告即可。
抽取随机数是指该用户被抽取的概率，所以抽取随机数也可以称为抽取概率。抽取概率取决于当前广告拉取请求的数量，例如：若当前有5个广告拉取请求，则该用户被抽取的概率为1/5＝20％＝0.2，0.2大于0.1，该用户不进入监控流程。若当前有20个用户，则该用户被抽取的概率为1/20＝5％＝0.05,0.05小于0.1，则该用户进入监控流程。选择概率小于0.1的进入监控流程的目的是要从较多的发起广告拉取请求的用户中进行选择。被抽取的用户的兴趣标签组会被更新到到随机兴趣标签集中或者更新到随机兴趣标签集缓存在缓存队列中。
可见，在本发明实施例提供的方案中，是将发送广告拉取请求的用户分配至实验组或对照组，这样，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性，进而令后续基于两组的定向效果监控更为准确。
此外，真实用户的兴趣标签是随时间不断更新的，也可能增加新的兴趣标签。而现有方式中对照组用户的兴趣标签是离线更新，这很难保证实验组和对照组的标签分布一致性。极端情况下，实验组的用户的兴趣标签完全是新增的兴趣标签，而对照组用户全部是旧兴趣标签。不同兴趣标签拉取的广告是不相同的，不同广告的效果又是不一样的，这样降低了两组间的可比性。
而在本发明实施例提供的技术方案中，是使用用户实际的兴趣标签组来在线更新随机兴趣标签集。这样就不会出现实验组的用户的兴趣标签完全是新增 的兴趣标签，而对照组用户全部是旧兴趣标签的极端情况，可令对照组和实验组的兴趣标签分布总体一致，从而进一步提高了两组间的可比性，进而可进一步提高监控的准确度。
此外，以离线的方式更新随机兴趣标签集的话，需要预先为对照组中的每一用户打上随机标签。由于用户实际的兴趣标签每天都会更新，则对照组中每一用户也需要人工每天更新随机标签集并导入库，这样导致离线更新随机兴趣标签集的成本增大，代价较高。
而在本实施例中，是由广告系统的信息投放控制装置在线更新随机兴趣标签集的。其不受用户实际兴趣标签每天更新的影响，监控成本相对较低。
下面，将介绍如何更新随机兴趣标签集。请参见图5，图5为本发明实施例提供的信息投放控制方法的另一种示例性交互示意图，由前述的用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备交互实现。
在本实施例中，随机兴趣标签集缓存在缓存队列中。
上述交互流程包括：
500-501部分与300-301部分相同，在此不作赘述。
在502部分：信息投放控制装置的处理器1计算用户A的更新随机数p；
更新随机数p可以理解为是更新概率p,更新概率p可以是用户A的兴趣标签组可以更新到随机兴趣标签集中的概率；除此之外，更新概率p可以是用户A的兴趣标签组更新到随机兴趣标签集缓存在缓存队列中的概率。
本处的更新概率与前述的抽取概率的含义基本相同，也就是在该用户A符合抽取条件，被抽取后，才会将该用户A的兴趣标签组更新到随机兴趣标签集中或者更新到随机兴趣标签集缓存在缓存队列中。
在503部分：信息投放控制装置的处理器1判断上述更新随机数p是否小于a，a是决定是否要更新的预设值，若是，进入504部分，否则进入505部分。
上述a为设定的参数，该参数可以为概率阈值。a越大，则更新操作越频繁。本领域技术人员可根据实际情况去设计a的取值，在此不作赘述。
当然，在其他实施例中，也可在更新随机数p大于a时，进入504部分。在此不作赘述。
在504部分：信息投放控制装置的处理器1将上述缓存队列头部的兴趣标签组删除，将用户A的兴趣标签组插入缓存队列的队尾。
在本实施例中，可实现若更新随机数满足更新条件(例如大于a或小于a)，则使用用户的兴趣标签组更新随机兴趣标签集，否则，不使用用户的兴趣标签组更新随机兴趣标签集。
使用随机数来判断是否更新随机兴趣标签集，可使对照组和实验组的标签分布总体一致，并保证随机性。
在505部分：信息投放控制装置的处理器1计算用户A的分组随机数q；
按照随机取值的方法，q在一个范围内取值，被取值在中间值之上和之下的概率是相等的。例如：q在[0，1]随机取值时，b＝0.5，q被随机取的值大于0.5和小于0.5的概率是相等的，所以用户A被分到实验组和对照组的概率也是相等的。
在506部分：信息投放控制装置的处理器1判断分组随机数q是否小于分组阈值b，若是，进入507部分，否则进入508部分；
上述b为设定的参数。本领域技术人员可根据实际情况去设计b的取值，为保证用户A等概率分配，可令b位于q的取值范围的中间位置。例如，在q的取值范围为[0，1]时，可令b＝0.5，在q的取值范围为[0，100]时，可令b＝50等等，在此不作赘述。
当然，在其他实施例中，也可在分组随机数q大于b时，进入507部分，否则进入508部分，在此不作赘述。
在507部分：信息投放控制装置的处理器1将用户A分配至实验组，并将目标用户A的兴趣标签组作为目标兴趣标签组。
在508部分：信息投放控制装置的处理器1将用户A分配至对照组，并从随机兴趣标签集中随机获取一个兴趣标签组作为目标兴趣标签组。
507和508部分的细节描述可参见前述的304部分，以此不作赘述。
509-511部分至与前述的305-307部分相同，在此不作赘述。
在512部分：信息投放控制装置的处理器1定期获取实验组的第一CTR和对照组的第二CTR。
相关细节请参见前述的308部分，在此不作赘述。
在513部分：信息投放控制装置的处理器1计算第一CTR相对于第二CTR的增长率T。
相关细节请参见前述的309部分，在此不作赘述。
在514部分：判断增长率T是否大于最小增长率t，若是，进入515部分，否则进入516部分。
最小增长率可根据不同的应用场景进行灵活设定，在此不作赘述。
在515部分：得到兴趣标签组定向正常的监控结果。
相关细节请参见前述的309部分，在此不作赘述。
在516部分：得到兴趣标签组定向异常的监控结果。
相关细节请参见前述的309部分，在此不作赘述。
在得到兴趣标签组定向异常的监控结果后，后续可对用户画像标签引擎101的标签生成方式进行调整。
本实施例提出信息投放控制方法，其主要是基于线上用户画像服务(引擎)，构建缓存队列，实时为对照组的用户打上随机兴趣标签，通过对比带有随机兴趣标签的用户的定向效果来衡量实际的兴趣标签定向是否异常，从而达到监控的目的。
需要说明的是，现有技术中还存在其他的定向效果监控方式，例如，可监控定向效果(例如点击率)随时间的变化趋势，如果点击率表现平稳乃至上升则认为定向效果不变，如果点击率下跌则认为定向效果变差，兴趣标签组异常(即定向不准确)。
但是，点击率下跌也可能是由时间周期性变化或者外界变化导致的，并不一定是由兴趣标签组定向不准确(异常)引起的。
而本发明实施例中，设置对照组作为实验组的参照物，对实验组中的用户采用的兴趣标签组进行定向推广，对对照组中的用户采用随机的兴趣标签组进行定向推广。再根据两个组的反馈统计数据(第一反馈统计数据和第二反馈统 计数据)来对定向效果进行监控。相较于现有技术，其监控的准确性更强。
综上，本实施例有三个主要的有益效果：
定向效果监控不受时间因素等的波动影响；
实验组和对照组的标签分布一致，因此对比更加公平；
随机标签是线上更新，不受商业标签不断变化的影响，监控成本降低。
图6示出了上述实施例中所涉及的广告系统或信息投放控制装置的另一种可能的结构示意图，包括：
接收模块601，用于接收的信息获取请求；
更新模块602，用于使用目标用户的实际兴趣标签组更新随机兴趣标签集；目标用户为与所述信息获取请求相关联的目标用户。
推荐模块603，用于：
将目标用户分配至实验组或对照组；
若目标用户分配至实验组，将上述实际兴趣标签组作为目标兴趣标签组；
若目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；
检索并返回与目标兴趣标签组相匹配的推荐信息。
其中，目标用户被分配至实验组中的概率等于目标用户被分配至对照组中的概率。
在将目标用户分配至实验组或对照组方面，推荐模块603可具体用于：根据所述目标用户的分组概率将所述目标用户分配至实验组或对照组。
该投放控制装置的另一实施例还可以是：
接收模块601，用于接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
推荐模块603，用于：
将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；
若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组， 所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
检索并返回与所述目标兴趣标签组相匹配的推荐信息。
具体细节请参见本文前述记载，在此不作赘述。
在本发明其他实施例中，仍请参见图6，上述信息投放控制装置或广告系统还可包括：
监控模块604，用于获取实验组的第一反馈统计数据和对照组的第二反馈统计数据，根据第一反馈统计数据和第二反馈统计数据进行定向效果监控；
第一反馈统计数据是根据实验组中所有成员针对其推荐信息的行为数据计算得到的；第二反馈统计数据是根据对照组中所有成员针对其推荐信息的行为数据计算得到的。
在本发明其他实施例中，上述更新模块602还可用于：
在使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，判断是否使用目标用户的实际兴趣标签组更新随机兴趣标签集；
使用目标用户的实际兴趣标签组更新随机兴趣标签集的操作，是在判定使用目标用户的实际兴趣标签组更新随机兴趣标签集后执行的。
具体细节请参见本文前述记载，在此不作赘述。
进一步的，在判断是否使用目标用户的实际兴趣标签组更新随机兴趣标签集方面，更新模块602可具体用于：
计算目标用户的更新随机数；
若更新随机数满足更新条件，则判定使用目标用户的实际兴趣标签组更新随机兴趣标签集，否则，判定不使用目标用户的实际兴趣标签组更新随机兴趣标签集。
还可以是：所述更新模块用于：
获取所述目标用户的更新概率；
若所述更新概率满足更新条件，则使用所述目标用户的实际兴趣标签组 更新所述随机兴趣标签集。
其中，接收模块601可用于执行图3所示实施例的300部分；此外，还可执行图5所示实施例的500部分。
更新模块602可用于执行图3所示实施例的301-302部分；此外，还可执行图5所示实施例的501-504部分。
推荐模块603可用于执行图3所示实施例的303-305部分；此外，还可执行图5所示实施例的505-509部分。
监控模块604可用于执行图3所示实施例的307-309部分；此外，还可执行图5所示实施例的511-516部分。
结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于目标用户设备中。当然，处理器和存储介质也可以作为分立组件存在于目标用户设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

  1. 一种信息投放控制方法，其特征在于，包括：
    接收信息获取请求；
    使用目标用户的实际兴趣标签组更新随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
    将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；
    若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；
    若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
    检索并返回与所述目标兴趣标签组相匹配的推荐信息。
  2. 如权利要求1所述的方法，在所述使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，还包括：
    判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集；
    如果是，执行所述使用目标用户的实际兴趣标签组更新随机兴趣标签集。
  3. 如权利要求2所述的方法，
    所述判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集包括：
    计算所述目标用户的更新随机数；
    若所述更新随机数满足更新条件，则判定使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集，否则，判定不使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  4. 如权利要求1所述的方法，在所述使用目标用户的实际兴趣标签组更新所述随机兴趣标签集之前，还包括：
    获取所述目标用户的更新随机数；
    若所述更新随机数满足更新条件，则使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  5. 如权利要求1所述的方法，在所述使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，还包括：
    获取所述目标用户的更新概率；
    若所述更新概率满足更新条件，则使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  6. 如权利要求2所述的方法，在所述使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集之前，还包括：
    从用户画像标签引擎处读取所述目标用户的实际兴趣标签组。
  7. 如权利要求1-6任一所述的方法，所述将所述目标用户分配至实验组或对照组包括：
    根据所述目标用户的分组随机数将所述目标用户分配至实验组或对照组。
  8. 如权利要求1-6任一所述的方法，还包括：
    获取所述实验组的第一反馈统计数据和所述对照组的第二反馈统计数据；所述第一反馈统计数据是根据所述实验组中各用户针对其推荐信息的行为数据计算得到的；所述第二反馈统计数据是根据所述对照组中各用户针对其推荐信息的行为数据计算得到的；
    根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控。
  9. 如权利要求8所述的方法，所述根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控包括：
    计算所述第一反馈统计数据相对于第二反馈统计数据的增长率；
    若所述增长率低于最小增长率，得到兴趣标签组定向异常的监控结果；
    否则得到兴趣标签组定向正常的监控结果。
  10. 一种信息投放控制装置，其特征在于，包括：
    接收模块，用于接收信息获取请求；
    更新模块，用于使用目标用户的实际兴趣标签组更新所述随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标 签组用于标记所述目标用户的兴趣属性；
    推荐模块，用于：
    将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；
    若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；
    若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
    检索并返回与所述目标兴趣标签组相匹配的推荐信息。
  11. 如权利要求10所述的装置，所述更新模块还用于：
    在所述使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集；
    如果是，执行所述使用目标用户的实际兴趣标签组更新随机兴趣标签集。
  12. 如权利要求11所述的装置，在所述判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集方面，所述更新模块具体用于：
    计算所述目标用户的更新随机数；
    若所述更新随机数满足更新条件，则判定使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集，否则，判定不使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  13. 如权利要求10所述的装置，所述更新模块用于：
    获取所述目标用户的更新随机数；
    若所述更新随机数满足更新条件，则使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  14. 如权利要求10所述的装置，所述更新模块用于：
    获取所述目标用户的更新概率；
    若所述更新概率满足更新条件，则使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。
  15. 如权利要求10所述的装置，所述更新模块还用于：在所述使用所述 目标用户的实际兴趣标签组更新所述随机兴趣标签集之前，从用户画像标签引擎处读取所述目标用户的实际兴趣标签组。
  16. 如权利要求11-15任一所述的装置，在所述将所述目标用户分配至实验组或对照组方面，所述推荐模块具体用于：根据所述目标用户的分组随机数将所述目标用户分配至实验组或对照组。
  17. 如权利要求11-15任一所述的装置，还包括：
    监控模块，用于获取所述实验组的第一反馈统计数据和所述对照组的第二反馈统计数据，根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控；
    所述第一反馈统计数据是根据所述实验组中各用户针对其推荐信息的行为数据计算得到的；所述第二反馈统计数据是根据所述对照组中各用户针对其推荐信息的行为数据计算得到的。
  18. 根据权利要求17所述的装置，所述监控模块用于：
    计算所述第一反馈统计数据相对于第二反馈统计数据的增长率；
    若所述增长率低于最小增长率，得到兴趣标签组定向异常的监控结果；
    否则得到兴趣标签组定向正常的监控结果。
  19. 一种信息投放控制方法，应用于信息投放控制装置，所述方法包括：
    接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
    将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；
    若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组，所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
    若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
    检索并返回与所述目标兴趣标签组相匹配的推荐信息。
  20. 一种信息投放控制装置，包括：
    接收模块，用于接收信息获取请求，所述信息获取请求为目标用户通过终端设备发送的；
    推荐模块，用于：
    将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；
    若所述目标用户分配至实验组，将实际兴趣标签组作为目标兴趣标签组，所述实际兴趣标签组用于标记所述目标用户的兴趣属性；
    若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；
    检索并返回与所述目标兴趣标签组相匹配的推荐信息。
  21. 一种信息投放控制装置，包括：处理器和存储器，所述存储器中存储有程序指令；
    所述处理器执行所述存储器中存储的程序指令时执行根据权利要求1至9、19中任一项所述的方法。
  22. 一种计算机可读存储介质，存储有程序指令，处理器执行所存储的程序指令时执行根据权利要求1至9、19中任一项所述的方法。
PCT/CN2017/114564 2016-12-08 2017-12-05 信息投放控制方法、装置及存储介质 WO2018103622A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611124065.2 2016-12-08
CN201611124065.2A CN106530015B (zh) 2016-12-08 2016-12-08 信息投放控制方法及装置

Publications (1)

Publication Number Publication Date
WO2018103622A1 true WO2018103622A1 (zh) 2018-06-14

Family

ID=58342395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/114564 WO2018103622A1 (zh) 2016-12-08 2017-12-05 信息投放控制方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN106530015B (zh)
WO (1) WO2018103622A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288273A (zh) * 2019-04-19 2019-09-27 平安科技（深圳）有限公司 一种信息提示方法、装置、电子设备及存储介质
CN111522828A (zh) * 2020-04-23 2020-08-11 中国农业银行股份有限公司 一种用户画像标签值分析方法及装置
CN112149029A (zh) * 2019-06-26 2020-12-29 北京百度网讯科技有限公司 用户价值观标签的确定方法及装置
CN113297287A (zh) * 2021-04-28 2021-08-24 上海淇玥信息技术有限公司 用户策略自动部署方法、装置及电子设备
CN113791975A (zh) * 2021-08-25 2021-12-14 网易（杭州）网络有限公司 一种游戏测试方法、装置、计算机设备及存储介质
CN114064445A (zh) * 2020-08-04 2022-02-18 腾讯科技（深圳）有限公司 一种测试方法、装置、设备及计算机可读存储介质
CN114501105A (zh) * 2022-01-29 2022-05-13 腾讯科技（深圳）有限公司 视频内容的生成方法、装置、设备、存储介质及程序产品
CN114826682A (zh) * 2022-03-30 2022-07-29 京东科技信息技术有限公司 信息投放管理的方法、装置和系统
CN115248890A (zh) * 2021-04-27 2022-10-28 百度国际科技（深圳）有限公司 用户兴趣画像的生成方法、装置、电子设备以及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530015B (zh) * 2016-12-08 2020-02-11 腾讯科技（深圳）有限公司 信息投放控制方法及装置
CN110147481B (zh) * 2017-08-24 2023-03-17 腾讯科技（北京）有限公司 媒体内容推送方法、装置及存储介质
CN111353795A (zh) * 2018-12-20 2020-06-30 北京沃东天骏信息技术有限公司 广告效果的衡量方法、装置、介质及设备
CN109831488A (zh) * 2019-01-08 2019-05-31 上海上湖信息技术有限公司 信息推荐方法及系统、可读存储介质
CN111865753B (zh) * 2019-04-26 2022-05-20 腾讯科技（深圳）有限公司 媒体信息的参数确定方法和装置、存储介质、电子装置
CN112053176B (zh) * 2019-06-05 2024-04-12 腾讯科技（深圳）有限公司 一种信息投放数据的分析方法、装置、设备及存储介质
CN110266879B (zh) * 2019-06-11 2020-12-18 王佳一 播放界面显示方法、装置、终端及存储介质
CN110601922B (zh) * 2019-09-18 2021-01-22 北京三快在线科技有限公司 一种对照实验的实现方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2763421A1 (en) * 2013-02-01 2014-08-06 Krea Icerik Hizmetleri Ve Produksiyon Anonim Sirketi A personalized movie recommendation method and system
CN104965890A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机系统有限公司 广告推荐的方法和装置
CN105243006A (zh) * 2015-09-30 2016-01-13 百度在线网络技术（北京）有限公司 基于流量实验的流量层设置及流量实验的实现方法和装置
CN105279204A (zh) * 2014-07-25 2016-01-27 阿里巴巴集团控股有限公司 信息推送方法和装置
CN105956872A (zh) * 2016-04-18 2016-09-21 乐视控股（北京）有限公司 基于人群行业的精准广告投放方法及装置
CN106530015A (zh) * 2016-12-08 2017-03-22 腾讯科技（深圳）有限公司 信息投放控制方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537115B (zh) * 2015-01-21 2019-07-16 北京字节跳动科技有限公司 用户兴趣的探索方法和装置
CN105989004B (zh) * 2015-01-27 2020-04-14 阿里巴巴集团控股有限公司 一种信息投放的预处理方法和装置
CN106169140A (zh) * 2016-02-02 2016-11-30 华扬联众数字技术股份有限公司 广告投放方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2763421A1 (en) * 2013-02-01 2014-08-06 Krea Icerik Hizmetleri Ve Produksiyon Anonim Sirketi A personalized movie recommendation method and system
CN105279204A (zh) * 2014-07-25 2016-01-27 阿里巴巴集团控股有限公司 信息推送方法和装置
CN104965890A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机系统有限公司 广告推荐的方法和装置
CN105243006A (zh) * 2015-09-30 2016-01-13 百度在线网络技术（北京）有限公司 基于流量实验的流量层设置及流量实验的实现方法和装置
CN105956872A (zh) * 2016-04-18 2016-09-21 乐视控股（北京）有限公司 基于人群行业的精准广告投放方法及装置
CN106530015A (zh) * 2016-12-08 2017-03-22 腾讯科技（深圳）有限公司 信息投放控制方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288273A (zh) * 2019-04-19 2019-09-27 平安科技（深圳）有限公司 一种信息提示方法、装置、电子设备及存储介质
CN110288273B (zh) * 2019-04-19 2024-03-22 平安科技（深圳）有限公司 一种信息提示方法、装置、电子设备及存储介质
CN112149029A (zh) * 2019-06-26 2020-12-29 北京百度网讯科技有限公司 用户价值观标签的确定方法及装置
CN112149029B (zh) * 2019-06-26 2023-07-07 北京百度网讯科技有限公司 用户价值观标签的确定方法及装置
CN111522828A (zh) * 2020-04-23 2020-08-11 中国农业银行股份有限公司 一种用户画像标签值分析方法及装置
CN111522828B (zh) * 2020-04-23 2023-08-01 中国农业银行股份有限公司 一种用户画像标签值分析方法及装置
CN114064445A (zh) * 2020-08-04 2022-02-18 腾讯科技（深圳）有限公司 一种测试方法、装置、设备及计算机可读存储介质
CN115248890B (zh) * 2021-04-27 2024-04-05 百度国际科技（深圳）有限公司 用户兴趣画像的生成方法、装置、电子设备以及存储介质
CN115248890A (zh) * 2021-04-27 2022-10-28 百度国际科技（深圳）有限公司 用户兴趣画像的生成方法、装置、电子设备以及存储介质
CN113297287A (zh) * 2021-04-28 2021-08-24 上海淇玥信息技术有限公司 用户策略自动部署方法、装置及电子设备
CN113791975B (zh) * 2021-08-25 2023-09-12 网易（杭州）网络有限公司 一种游戏测试方法、装置、计算机设备及存储介质
CN113791975A (zh) * 2021-08-25 2021-12-14 网易（杭州）网络有限公司 一种游戏测试方法、装置、计算机设备及存储介质
CN114501105A (zh) * 2022-01-29 2022-05-13 腾讯科技（深圳）有限公司 视频内容的生成方法、装置、设备、存储介质及程序产品
CN114501105B (zh) * 2022-01-29 2023-06-23 腾讯科技（深圳）有限公司 视频内容的生成方法、装置、设备及存储介质
CN114826682A (zh) * 2022-03-30 2022-07-29 京东科技信息技术有限公司 信息投放管理的方法、装置和系统

Also Published As

Publication number Publication date
CN106530015A (zh) 2017-03-22
CN106530015B (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
WO2018103622A1 (zh) 信息投放控制方法、装置及存储介质
US11729285B2 (en) Systems and methods for matching online users across devices
US20230306465A1 (en) Systems and methods for inferring matches and logging-in of online users across devices
US11100534B2 (en) Behavioral retargeting system and method for cookie-disabled devices
CN107111652B (zh) 基于设备被链接的概率来选择设备内容的系统与方法
KR102038637B1 (ko) 복수의 디바이스들에 걸친 프라이버시 관리
US11328323B2 (en) Systems and methods for matching online users across devices
US20140122697A1 (en) Providing content to linked devices associated with a user
US20140032326A1 (en) Location retargeting system for online advertising
US20140244762A1 (en) Application distribution platform for rating and recommending applications
US10469437B2 (en) Notifications based on user activity on third-party websites
CN107463580B (zh) 训练点击率预估模型方法和装置、点击率预估方法和装置
JP6522129B2 (ja) 情報処理方法及びデバイス
US20170351733A1 (en) User address match based on match quality
US20160379122A1 (en) Recommendation algorithm optimization method, device and system
JP2018519572A (ja) 情報配信方法、ならびに装置、サーバ、および記憶媒体
WO2014120394A1 (en) Ranking of advertisements for display on a mobile device
US20180114249A1 (en) Home location identification using grouped location data
US11356517B2 (en) Optimizing network utilization
US11627201B2 (en) Optimizing network utilization
US20170206548A1 (en) Measuring performance of content among groups of similar users of an online system
KR20150111027A (ko) 광고 제공 장치 및 방법
US9571605B1 (en) System, method, and computer program for identifying a social network user identifier based on a user message
CN106339376B (zh) 热门微博的识别方法及装置
CN111275473A (zh) 内容项投放方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879300

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17879300

Country of ref document: EP

Kind code of ref document: A1