WO2009133949A1 - クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム - Google Patents

クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム Download PDF

Info

Publication number
WO2009133949A1
WO2009133949A1 PCT/JP2009/058568 JP2009058568W WO2009133949A1 WO 2009133949 A1 WO2009133949 A1 WO 2009133949A1 JP 2009058568 W JP2009058568 W JP 2009058568W WO 2009133949 A1 WO2009133949 A1 WO 2009133949A1
Authority
WO
WIPO (PCT)
Prior art keywords
creative
evaluation index
creatives
expected value
reliability
Prior art date
Application number
PCT/JP2009/058568
Other languages
English (en)
French (fr)
Inventor
憲司 須藤
Original Assignee
Sudo Kenji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sudo Kenji filed Critical Sudo Kenji
Publication of WO2009133949A1 publication Critical patent/WO2009133949A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a creative optimization server and a creative optimization system for optimizing a hyperlink creative on a website, such as an advertisement on a computer network (telecommunications line) in which a hyperlink is attached to text, a still image, and a moving image.
  • a creative optimization method, and a program are examples of a creative optimization method.
  • creative Content such as advertisements created and produced by combining text, still images, videos, music, etc. are collectively referred to as creative.
  • creative Content such as advertisements created and produced by combining text, still images, videos, music, etc.
  • Patent Document 1 an advertisement is distributed to a client computer via a computer network, the effectiveness of the advertisement is automatically evaluated, and the feature of the advertisement is automatically changed based on the evaluation result. To optimize advertising activity on a computer network.
  • the feature of the invention described in this Patent Document 1 is that the purpose is simply to optimize from a log of a click rate and a conversion rate. That is, the effectiveness of the advertisement is evaluated based on the results. For example, when evaluating the effectiveness of an advertisement with respect to conversion, the advertisement is evaluated by judging the number of users who actually purchased a product of the advertisement by looking at the advertisement displayed on the web page.
  • Patent Document 1 is effective when a large number of samples (impressions) can be taken, and can be used when the number of creatives exceeds 100 or when the posting period on a web page is short. Can not do it.
  • Patent Document 1 cannot cope with a diversified network society. It is said that the timing of sales and the speed of sales are important in selling products.
  • the speed of sales is to increase consumers' willingness to purchase by performing appropriate advertising activities in an appropriate period, and to ensure profits by conducting sales activities while consumers are highly motivated to purchase. For example, products that increase in sales or consumption in the spring are more efficient for the seller if they are sold more in the spring, which requires quick and appropriate advertising activities.
  • the present invention has been made in view of such a situation, and an object thereof is to accurately evaluate the effectiveness of a creative with a small number of exposures so that the creative is efficiently exposed.
  • the creative optimization server includes an index calculation unit, a reliability calculation unit, an expected value calculation unit, a read probability calculation unit, and a creative output unit.
  • the index calculation unit calculates each evaluation index for a plurality of creatives in which the relationship between the evaluation index and the number of creatives is a normal distribution.
  • the reliability calculation unit calculates the reliability of the evaluation index when the number of exposures is maximized based on the number of exposures of the corresponding creative at the time when the evaluation index is calculated.
  • the expected value calculation unit calculates an expected value for the evaluation index from the evaluation index and the reliability.
  • the read probability calculation unit changes the exposure frequency of the corresponding creative based on the expected value calculated by the expected value calculation unit.
  • the creative output unit extracts a creative with a high exposure frequency from the plurality of creatives, attaches a hyperlink, and exposes the creative with the hyperlink to a web page via an electric communication line.
  • the creative optimization system includes a creative optimization system including a creative database, an index calculation unit, a reliability calculation unit, an expected value calculation unit, a read probability calculation unit, and a creative output unit.
  • the creative database stores a plurality of creatives.
  • the index calculation unit calculates each evaluation index for a plurality of creatives in which the relationship between the evaluation index and the number of creatives is a normal distribution.
  • the reliability calculation unit calculates the reliability of the evaluation index when the number of exposures is maximized based on the number of exposures of the corresponding creative at the time when the evaluation index is calculated.
  • the expected value calculation unit calculates an expected value for the evaluation index from the evaluation index and the reliability.
  • the read probability calculation unit changes the exposure frequency of the corresponding creative based on the expected value calculated by the expected value calculation unit.
  • the creative output unit extracts a creative with a high exposure frequency from the plurality of creatives, attaches a hyperlink, and exposes the creative with the hyperlink to a web page via an electric communication line.
  • the creative optimization method and program calculate each evaluation index for a plurality of creatives in which the relationship between the evaluation index and the number of creatives is a normal distribution.
  • the reliability of the evaluation index when the exposure count is maximized is calculated based on the exposure count of the corresponding creative at the time when the evaluation index is calculated.
  • an expected value for the evaluation index is calculated from the evaluation index and the reliability.
  • the exposure frequency of the corresponding creative is changed based on the expected value calculated by the expected value calculation unit.
  • a creative with a high exposure frequency is extracted from the plurality of creatives and attached with a hyperlink, and the creative with the hyperlink is exposed to a web page via a telecommunication line.
  • a future value is predicted, and it is efficient and faster (even with a small number of exposures). Creative can be extracted.
  • the effectiveness of a creative can be accurately evaluated with a small number of exposures, and a highly effective creative can be efficiently exposed.
  • FIG. 11 is a block diagram illustrating a configuration example of a general-purpose computer.
  • a hyperlink of a website (web page group) published on a computer network and its creative are one of the points with a great value gap.
  • the transition rate of the hyperlink that is, the arrival rate to the target web page
  • the necessity of spending cost on improving the performance (attractiveness) of the advertisement and improving the performance (attractiveness) of the website is extremely high.
  • FIG. 1 is a diagram showing the needs of each stakeholder (advertiser, agency, affiliator) in the advertising industry.
  • Advertiser 1 wants many clicks on the advertisement on the web page if it costs the same medium.
  • the agency 2 that is requested by the advertiser 1 to promote the product etc.
  • the creative production cost of creating a hyperlink to the web page on which the product is displayed is thin and the fixed cost. I would like to outsource production as much as possible and take a margin. Therefore, the agency 2 requests the affiliate 2 to produce a creative.
  • Affiliator 3 wants money (the value of creative production) efficiently, wants to be evaluated, and wants to be praised.
  • the click rate is the rate at which an advertisement is clicked, and can be calculated by dividing the number of clicks by the number of impressions (the number of advertisements displayed / delivered).
  • FIG. 2 is a graph showing the transition of the click rate from 1 impression to 1 million impressions for a plurality of advertisements.
  • the horizontal axis represents the number of impressions (numerical value ⁇ 1000), and the vertical axis represents the click rate.
  • the click rates at 1 million impressions are investigated for 0.063, 0.053, 0.061, and 0.042, respectively.
  • the click rate is not stable at the beginning when the advertisement is exposed to the website, but at a certain stage, it enters a stable period and gradually decreases.
  • it is stable after 400,000 impressions (broken line part). Therefore, it can be inferred that there is an advantage at an early stage, rather than a large amount of impressions required to measure the effectiveness of a creative.
  • FIG. 3 is an example of a histogram showing the relationship between the number of creatives and the click rate.
  • the example shown in FIG. 3 is an investigation of the number of creatives at each stage from a click rate of 0.03 to a click rate of 0.07.
  • the distribution of the click rate and the number of creatives was found to be almost a normal distribution as shown by curve 4 in FIG. 4 from the average click rate per set and the standard deviation.
  • the click rate can be improved by 45% or more by selecting the creative with the highest CTR (the broken line portion in FIG. 4).
  • the 1000 creatives are a set of creatives having an average click rate a and a standard deviation b earlier than individual creatives. In that case, the possibility that the click rate is considered to be higher in the stage of the number of impressions is very likely to be included in the broken line portion of FIG.
  • FIG. 5 is a graph showing an example of a change in normal distribution based on the number of creatives. If the click rate and the number of creatives are normally distributed, the larger the total number of creatives, the higher the possibility that creatives with higher effectiveness (effectiveness) will be found. In other words, if a good one is selected from more, CTR (click rate) and CVR (conversion rate) can be further improved. For example, in the example shown in FIG. 5, since the absolute number of creatives is larger in the curve 5 than in the normal distribution curve 4 having the same average CTR, the number of creatives having the highest CTR is also larger.
  • FIG. 6 shows an example of a creative posted on a certain web page.
  • An image creative 12 is displayed on the right side of the web page screen 10 and a text creative 13 is displayed on the lower side.
  • the exposure frequency is high but the exposure value is high.
  • the exposure frequency becomes high. As a result, it is expected that the user's action such as mouse click becomes active.
  • the reliability of the creative evaluation result is proportional to the number of impressions, the reliability of the creative evaluation result at the stage where the number of impressions is small is a problem. In other words, how to ensure reliability is important when evaluating creatives when there are few impressions.
  • FIG. 7 and 8 are graphs showing examples of transitions in the click rate of a banner advertisement with a click rate of 0.063%.
  • the horizontal axis indicates the actually measured number of impressions (100 impression units), and the vertical axis indicates the click rate.
  • the curve 21 gradually settles down to a click rate of 0.07% from 1 impression to 3098000 impressions.
  • the fluctuation rate of the click rate is large because the number of samples (impressions) is small. I understand.
  • a click rate of 0.07% is recorded at 1000 impressions (see FIG. 7).
  • a click rate of 0.07% is recorded at 350,000 impressions (see FIG. 8).
  • some of those that record a click rate of 0.07% at 1000 impressions have the following click rate transition.
  • FIG. 9 is a graph showing an example of transition of the click rate of a banner advertisement having a plurality of click rates of 0.063%, where the horizontal axis indicates the number of impressions (100 impression units) and the vertical axis indicates the click rate.
  • the curves 21, 22, and 23 all record a click rate of 0.07% at the 1000th impression, but it can be seen that the subsequent fluctuation width is large.
  • a large number of creatives with a click rate of 0.07% are collected at 1000 impressions, they are represented by a normal distribution with an average CTRa% as shown by the curve 24 in FIG. 10, and the standard deviation b1 is relatively large and widely dispersed. I understand that.
  • FIG. 11 is a graph showing an example of the click rate transition of a plurality of creatives that record a click rate of 0.07% at the time of 350,000 impressions.
  • the horizontal axis represents the number of impressions (100 impression units), and the vertical axis represents the click rate.
  • the curves 21, 26 and 27 shown in FIG. 11 do not have a large fluctuation width as compared with the case where the same click rate of 0.07% is recorded at the 1000th impression in FIG.
  • the standard deviation b2 is relatively small and narrowly distributed.
  • the standard deviation of the normal distribution corresponds to the reliability of the evaluation index such as the click rate.
  • the standard deviation decreases and the reliability increases (the blur width decreases).
  • a banner advertisement A has a click rate of 50% at the second impression
  • a banner advertisement B has a click rate of 50% at the second million impressions. Both click rates are 50%, but the values are quite different.
  • the banner advertisement A has a very high possibility that the click rate will decrease from now on, but it can be said that the click rate of the banner advertisement B is already stable. In other words, it is difficult to judge which one is better in a simple comparison of click rates.
  • banner advertisement A and banner advertisement B are converted into a function by multiplying the reliability of the impression at that time from the statistics of the past click rate and indexed as “expected click rate (hereinafter referred to as“expected CTR ”). Can be compared. Actually, it is not a simple multiplication but a function of CTR and reliability. In addition, since the reliability of the reliability varies depending on the impression, in the present invention, calculation is performed by multiplying the reliability by a constant that should be called reliability of reliability.
  • CTR click rate
  • CVR conversion rate
  • the reliability of the click rate of the creative is defined as follows. Although the click rate will be described as an example, this calculation method can be applied to other evaluation indexes represented by a normal distribution such as a conversion rate.
  • P (x) be the probability of the click rate x occurring.
  • N is the number of times of display, and the description of N may be omitted in the following description. In that case, it is labeled P (r
  • the click rate x is assumed to be a numerical value obtained when N is maximized.
  • P (x) The probability distribution of P (x) is a normal distribution (Gaussian distribution) from experience as described above. Therefore, P (x) can be defined as the following formula (1).
  • P (r, x) be the probability that the sample click rate r and click rate x when the creative is displayed N times are the same, that is, the probability that they will be established simultaneously (simultaneous probability).
  • the average ⁇ r is an average of the click rate x when the sample click rate r is given when the sample click rate r is given. It can be said that the standard deviation ⁇ r is the reliability of the sample click rate r at the time of the display number N.
  • Bayes' theorem is used to obtain the conditional probability P (x
  • r) is expressed by Equation (4) by Bayes' theorem.
  • P (r) is a probability that the sample click rate r occurs when the sample click rate r and the click rate x are satisfied at the same time.
  • x) is expressed as follows. It can be expressed as an integral.
  • P (x) is a known number obtained from past statistics or empirical rules
  • the relationship between the normal distribution and the standard deviation will be described with reference to the graph shown in FIG.
  • the curve 29 of the normal distribution falls within the standard deviation
  • the ratio of the data that falls within the standard deviation can be calculated as follows.
  • (Range) Percentage of data included in it) ⁇ ⁇ ⁇ 0.6827 (about 2/3) ⁇ ⁇ 2 ⁇ 0.9545 (about 19/20) ⁇ ⁇ 3 ⁇ 0.9973 * This means that 68.27% of all data is distributed within the range of the average value ⁇ standard deviation, and 95.45% of all data is distributed within the range of the average value ⁇ (twice the standard deviation).
  • FIG. 14 is a diagram showing an overview of a creative optimization system according to an embodiment of the present invention.
  • the creative optimization system 30 of the present embodiment mainly includes a submission / examination interface device 32 for preparing a plurality of creative candidates, a creative optimization server 33 for optimizing the creative, and a web for transmitting information such as advertisements.
  • the server 35 and the client terminal 36 are included.
  • the new part of the business model that uses this creative optimization system 30 is that first of all, creating more creatives, including those outside, where the creation of a large number of creatives itself does not match the economic rationality, will attract more creatives. It is a point that can be collected. Also, it ’s not about people judging these creatives, but trying them all. In addition, the most appropriate one is extracted from the creative in a short period of time. Furthermore, the effect is obtained by introducing the effect into a list page such as an advertisement or a search result of a web page with a high value gap (a value can be improved by induction).
  • the new part of the creative optimization system 30 is the fastest one that has a high evaluation index such as CTR or CVR. That is, instead of simply comparing the current CVR and CTR, calculating the expected value of the creative by combining statistical methods makes it possible to determine an accurate evaluation index even from a small number of samples. Yes.
  • step S1 a large number of creative candidates that seem to meet the purpose of the destination of a certain hyperlink are prepared in the submission / examination interface device 2.
  • the guidance destination and the intention of guidance are publicized on a network, and a third party such as the users 31a to 31c is allowed to produce a large number of creatives to collect candidates.
  • step S2 for example, the creatives A, B, and C prepared in the submission / examination interface device 32 are examined for appropriateness, and those that pass the examination are stored in a creative database to be described later.
  • the emphasis is placed on formal reviews, such as the existence of copyright infringement, rather than the aesthetic appearance of the creative itself.
  • step S3 the program 34 including access to the creative optimization server 33 is distributed from the web server 35 that distributes content on the network to the client terminal device 36.
  • the client terminal device 36 connects to the creative optimization server 33 through the network, triggered by the user starting up a browser on the client terminal device 36 or accessing a predetermined homepage.
  • the program 34 for example, a flash banner in which a script is described is submitted.
  • step S4 the creative optimization server 33 extracts all the creatives from the creative database little by little or with a certain probability, and delivers the creative with the hyperlink to the client terminal device 36 through the network.
  • step S5 the distributed hyperlinked creative is displayed on the client terminal device 36 (display device connected thereto), and the creative optimization server 33 determines the response of the client terminal device 36 (user) to the hyperlinked creative. Get through the network.
  • step S6 the creative optimization server 33 calculates the expected value of the creative by adding reliability to the information acquired from the client terminal device 36. This is because the fastest and the highest evaluation index (CTR, CVR, etc.) is extracted.
  • step S7 the exposure probability of the creative when the creative optimization server 33 is accessed next is changed based on the expected value. That is, the exposure of the extracted creative with a high expected value is increased. In this way, many exposures with high expectation values are displayed with an inclination to the exposure probability.
  • step S8 the processing in steps S1 to S7 (especially steps S4 to S7) is repeated, and the exposure probability is updated as necessary for each creative in the creative database.
  • the exposure probability is updated as necessary for each creative in the creative database.
  • “being in line with expectations” refers to whether or not the product is within the range of risks specified in the reliability section. That is, whether the click rate falls within the ⁇ ⁇ range (68.27%) of the standard deviation, the click rate within the ⁇ 2 ⁇ range (95.45%), or the ⁇ 3 ⁇ range (99.73%). It is determined that there is no problem as long as the click rate falls within the range set in advance. The specific range is actually adjusted by overlapping the number of cases, and it is preferable that the amount of risk (that is, error) is appropriately changed through repeated verification.
  • step S9 a reward or incentive for the creator (affiliator) is set according to the performance of the creative (user reaction). After this process is finished, the process of the entire system is finished. In an actual system, a series of processes of step S1 to step S9 or step S3 to step S9 is repeated.
  • a check stage (steps S5 to S8) is prepared in order to pick up other good creatives that are mixed in with many creatives. If a creative that does not meet expectations or has other high expectations is found, Increase the exposure of creatives with high expectations (change the exposure slope distribution). At that time, creatives with different degrees of reliability are compared using the concept of expected values. These statistical data can be learned and grown to a more reliable system by repeating correction, and optimum performance (performance / efficiency) can be extracted.
  • the creative optimization system 30 includes a submission / examination interface device 32, a creative optimization server 33, a creative database 33A, a web server 35A, an advertisement distribution server 35B, and client terminal devices 36A to 36C, respectively.
  • a submission / examination interface device 32 and the creative optimization server 33 are prepared for this system, the submission / examination interface device 32 may be provided as necessary.
  • the web server 35A, the advertisement distribution server 35B, and the client terminals 36A to 36C use existing devices.
  • the computer network 50a may be a local area network (LAN).
  • LAN local area network
  • transmission / reception of data between the devices is performed via the computer networks 50 and 50a, but in the following description, a description that the data is transmitted via the computer networks 50 and 50a is omitted.
  • transmission / reception of data on the computer networks 50 and 50a is performed using TCP / IP (Transmission Control Protocol / Internet Protocol) protocol.
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the client terminal devices 36A to 36C are collectively referred to as a client terminal device 36.
  • the submission / examination interface device 32 is an example of an interface device described in the claims, and executes processing related to creative submission and examination.
  • the creative optimization server 33 calculates an expected value of a plurality of creatives stored in the creative database 33A using a statistical method at an early stage with few impressions, and extracts a creative with a high expected value. Then, the extracted creative with a high expected value, that is, the optimized creative is transmitted to the web server 35A, the advertisement distribution server 35B, and the like via the computer network 50 according to the purpose.
  • the overall system can be optimized by increasing the exposure of creatives with higher expected values.
  • the creative database 33A is a non-volatile storage means such as a large-capacity magnetic recording device or a semiconductor memory capable of storing and accumulating a large amount of creatives.
  • the submission / examination interface device 32 and the creative database 33A are connected via the computer network 50a, but the creative database 33A may be provided in the submission / examination interface device 32.
  • the creative database 33A may be stored in the creative optimization server 33 and configured integrally.
  • the web server 35A transmits data such as a web page in response to a request from the client terminal device 36 on the computer network 50.
  • the advertisement distribution server 35B distributes advertisements displayed on a web page or the like transmitted to the client terminal device 36 on the computer network 50.
  • the advertisement distribution server 35B is also a web server in a broad sense in that it is connected to a computer network and transmits web content.
  • client terminal devices 36A to 36C in addition to a general-purpose computer such as a personal computer, a device having a communication function with the computer network 50 such as a mobile phone or a game machine is applied.
  • FIG. 19 is a block diagram showing an example of the internal configuration of the submission / examination interface device 32.
  • the submission / examination interface device 32 mainly includes a submission / examination discrimination unit 51, an input processing unit 52, and an examination processing unit 53.
  • the submission / examination discriminating section 51 discriminates whether to execute the submission process or the examination process when accessed from the client terminal device 36.
  • the submission processing unit 52 performs a predetermined submission process when the submission / examination discrimination unit 51 receives an access request for submission processing from the client terminal device 36.
  • the submission processing unit 52 is configured to include a login processing unit 52A, a guidance purpose selection unit 52B, a guidance destination / guidance purpose display screen generation unit 52C, and a creative submission unit 52D.
  • the login processing unit 52A performs login processing (authentication processing) of the client terminal device 36 that has accessed the submission / examination interface device 32 for submission. For example, a login screen requesting input of an identification code (ID) and password is displayed on the client terminal devices 36A to 36C, and the input identification code and password are registered in the submission / examination interface device 32. Compare with things to see if you are a legitimate user. This login screen will be described later.
  • login processing authentication processing
  • the guidance purpose selection unit 52B displays a guidance purpose selection screen for prompting selection of a guidance purpose (such as a campaign or a site) on the authenticated client terminal device 36, and determines which guidance purpose has been selected. This guidance purpose selection screen will be described later.
  • the guidance destination / guidance purpose display screen generation unit 52C generates a guidance destination / guidance purpose display screen, which will be described later, based on the determination result of the guidance purpose selection unit 52B.
  • the creative submission unit 52D receives the creative uploaded from the client terminal device 36 through the guidance destination / guidance purpose display screen, and temporarily stores it in the creative database 33A in association with predetermined metadata.
  • the screening processing unit 53 performs a predetermined screening process when the submission / screening determination unit 51 receives an access request for screening processing from the client terminal device 36.
  • the examination processing unit 53 is configured to include a login processing unit 53A, a guidance purpose selection unit 53B, an inappropriate creative selection unit 53C, and an inappropriate creative deletion unit 53D.
  • the login processing unit 53A performs login processing (authentication processing) of the client terminal devices 36A to 36C that have accessed the submission / examination interface device 32 for examination. For example, a login screen requesting input of an identification code (ID) and a password is displayed on the client terminal devices 36A to 36C, and the input identification code and password are registered in the submission / examination interface device 32. Compare to see if you are a legitimate user.
  • the login screen may have the same appearance as that displayed by the login processing unit 52A.
  • the guidance purpose selection unit 53B displays a guidance purpose selection screen for prompting selection of a guidance purpose (such as a campaign or a site) on the authenticated client terminal device 36, and determines which guidance purpose has been selected.
  • the guidance purpose selection screen may have the same appearance as that displayed by the login processing unit 53A.
  • the inappropriate creative selection unit 53C generates a screen showing the submitted creative list based on the determination result of the guidance purpose selection unit 53B, and displays the creative list screen on the client terminal device 36. Then, the user is prompted to select an inappropriate creative, and it is determined which creative has been selected as inappropriate. This creative list screen will be described later.
  • the inappropriate creative deletion unit 53D performs a predetermined process on the creative temporarily stored in the creative database 33A based on the determination result of the inappropriate creative selection unit 53C. That is, an appropriate creative is stored in the creative database 33A, and an inappropriate creative is deleted from the creative database.
  • login processing units 52A and 53A and the guidance purpose selection units 52B and 53B are provided in the submission processing unit 52 and the screening processing unit 53, only one each is provided in the submission / examination interface device 32. It may be shared between the drafting process and the screening process.
  • the creative database 33A stores a creative table that mainly manages each creative and a case table that manages cases for each guidance purpose (campaign, site, etc.).
  • FIG. 20 is a diagram illustrating an example of a creative table.
  • the creative table 61 (creative DB) identifies and manages each creative by creative ID, and creative information and producer information are registered corresponding to one creative ID.
  • Creative information includes, for example, creative data (text, still image, video, music, etc.), destination data (link destination URL (Uniform Resource Locator), etc.), impressions, clicks, conversions, CTR (clicks), CVR (conversion rate), reliability, expected CTR, expected CVR, and the like are included.
  • the producer information includes at least a producer ID for identifying the producer.
  • FIG. 21 is a diagram illustrating an example of a case table.
  • the case table 62 (case DB) identifies and manages each case by the case ID, and basic information and creative information are registered corresponding to one case ID.
  • Basic information includes client data, destination data (link URL (Uniform Resource Locator)), deadline date, purpose of the project, etc.
  • the creative information includes a plurality of creative IDs (those that have been submitted and have been reviewed).
  • FIG. 22 is a block diagram illustrating an internal configuration example of the creative optimization server 33.
  • the creative optimization server 33 includes a creative input / output unit 71, an event determination unit 72, a log recording unit 73, an index calculation unit 74, a reliability / expected value calculation unit 75, a read probability calculation unit 76, It is comprised so that the calculating part 77 may be included.
  • the creative input / output unit 71 calls the link destination information for the creative and the guidance purpose from the candidates in the creative database 33A with a certain probability. Specifically, for example, a creative with a high expected value is read from the creative database 33A according to the probability calculated by the read probability calculation unit 76.
  • the creative input / output unit 71 outputs the creative with the read probability changed from the read probability calculating unit 76 to the web server 35A, the advertisement distribution server 35B, and the like through the computer network 50.
  • the creative input / output unit 71 is an example of a creative output unit described in the claims.
  • the event determination unit 72 determines the content of information (events) such as the processing contents of the client terminal device 36, for example, the creative impression, which creative was clicked, or which creative is the action for which creative. It is.
  • the log recording unit 73 records the determination result log of the event determination unit 72 in a non-illustrated non-volatile memory that is a recording unit.
  • the index calculation unit 74 calculates a creative evaluation index represented by a normal distribution, such as a click rate or a conversion rate, based on the log recorded by the log recording unit 73.
  • the reliability / expected value calculation unit 75 is an example of a reliability calculation unit or an expected value calculation unit described in the claims, and based on the number of impressions at the time of calculating the creative evaluation index, Reliability is calculated, and the expected value is calculated from the evaluation index and reliability. Calculations for reliability and expected values are performed using the above-described equations (3) and (6).
  • the read probability calculation unit 76 changes the read probability (exposure frequency) of the creative based on the expected value calculated by the reliability / expected value calculation unit 75. For example, when the expected value of a certain creative is high as a result of calculation, the slope of the probability of exposure is changed so that the exposure of the creative increases. That is, the ratio of the expected value in a certain creative to the sum of the expected values of the entire creative is calculated, and the exposure frequency is determined based on the ratio. Therefore, creatives with a high expectation value account for a higher proportion of the total, and the exposure frequency increases. On the other hand, creatives with low expected values have a lower percentage of the total and exposure frequency decreases.
  • the consideration calculation unit 77 calculates a consideration (points, etc.) for creative production based on the creative evaluation index calculated by the index calculation unit 74 and the expected value calculated by the reliability / expectation value calculation unit 75. is there.
  • each processing unit in the creative optimization server 33 is configured in the creative optimization server 33 that is one server, but may be stored in a separate server instead of being integrated.
  • FIG. 23 is a block diagram showing a configuration example when the client terminal devices 36A to 36C are general-purpose computers such as personal computers.
  • a CPU (Central Processing Unit) 81 of the computer 80 executes various processes in addition to a series of processes according to a program recorded in a ROM (Read Only Memory) 82 or a recording unit 88.
  • a RAM (Random Access Memory) 83 appropriately stores programs executed by the CPU 81 and data.
  • the CPU 81, ROM 82, and RAM 83 are connected to each other by a bus 84.
  • the CPU 81 is also connected with an input / output interface 85 via the bus 84. Connected to the input / output interface 85 are an input unit 86 made up of a keyboard, mouse, microphone, and the like, and an output unit 87 made up of a display, a speaker and the like.
  • the CPU 81 executes various processes in response to commands input from the input unit 86. Then, the CPU 81 outputs the processing result to the output unit 87.
  • the recording unit 88 connected to the input / output interface 85 includes, for example, a hard disk, and records programs executed by the CPU 81 and various data.
  • the communication unit 89 communicates with an external device via a network such as the Internet or a local area network.
  • a program may be acquired via the communication unit 89 and recorded in the recording unit 88.
  • the drive 90 connected to the input / output interface 85 drives a removable medium 91 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives the programs and data recorded therein. Get etc. The acquired program and data are transferred to the recording unit 88 and recorded as necessary.
  • a program recording medium that stores a program that is installed in a computer and is ready to be executed by the computer is provided as a package medium by a removable medium 91 as shown in FIG.
  • Removable media 91 includes magnetic disks (including flexible disks), optical disks (CD-ROM (Compact Disc) -Includes Read Only Memory (DVD), DVD (Digital Versatile Disc), magneto-optical disk) Alternatively, a semiconductor memory or the like can be applied.
  • the program recording medium includes a ROM 82 in which the program is stored (recorded) temporarily or permanently, a hard disk that constitutes the recording unit 88, and the like.
  • the program can be stored in the program recording medium via a communication unit 89, which is an interface such as a router or a modem, as necessary, such as a local area network (LAN), the Internet, or digital satellite broadcasting. This is performed using a wireless communication medium.
  • a communication unit 89 which is an interface such as a router or a modem, as necessary, such as a local area network (LAN), the Internet, or digital satellite broadcasting. This is performed using a wireless communication medium.
  • the client device 36 is configured using the general-purpose computer 80
  • the submission / examination interface device 32 and the creative optimization server 33 may be configured using the general-purpose computer 80.
  • step S11 when there is an access from the client terminal device 36 via the computer network 50, the submission / examination discrimination unit 51 of the submission / examination interface device 32 determines whether or not it is a request for submission processing. To do.
  • the login processing unit 52A of the submission processing unit 52 performs the login process of the client terminal device 36 (user). After this process is completed, the process proceeds to step S12.
  • FIG. 25 is a diagram illustrating an example of a login screen displayed on the client terminal device 36 during the login process.
  • the login screen 101 requests the input of the user ID and password.
  • the example of the login screen displayed on the client terminal device 36 during the login process is not limited to this.
  • step S12 the guidance purpose selection unit 52B of the submission / examination interface device 32 displays a guidance purpose selection screen that prompts the authenticated client terminal device 36 to select a guidance purpose (campaign, site, etc.). After this process is completed, the process proceeds to step S13.
  • FIG. 26 is a diagram showing an example of a guidance purpose selection screen displayed on the client terminal device 36.
  • the guidance purpose selection screen 102 for example, the campaign name, deadline date, and URL of the guidance destination are displayed.
  • the cursor 102a is on the advertisement A, the advertisement A is selected.
  • the example of the guidance purpose selection screen is not limited to this.
  • step S13 the guidance purpose selection unit 52B determines which guidance purpose (for example, campaign name) has been selected from the response content of the client terminal device 36. After this process is completed, the process proceeds to step S14.
  • guidance purpose for example, campaign name
  • step S14 the guidance destination / guidance purpose display screen generating unit 52C displays the guidance purpose and posting form display screen 103 as shown in FIG. 27 as the guidance destination / guidance purpose display screen, and further the guidance purpose as shown in FIG. And the posted content confirmation display screen 105 are displayed on the client terminal device 36.
  • step S15 The contents of the display screens 103 and 105 shown in FIGS. 27 and 28 will be described later.
  • step S15 when the user completes the creative submission process from the client terminal device 36 through the display screens 103, 105, etc., the submission / examination interface device 32 receives the uploaded creative. After this process is completed, the process proceeds to step S16.
  • step S16 the creative submission unit 52D of the submission / examination interface device 32 temporarily stores the received creative in the creative database 33A. After this processing is completed, a series of submission processing is completed.
  • the guidance purpose and posting form display screen 103 shown in FIG. 27 will be described.
  • the guidance purpose and posting form display screen 103 displays, for example, a guidance purpose column 103a including a campaign name, deadline date, and guidance destination URL information, a comment field 103b for submission, a posting form 104, and the like.
  • the posting form 104 includes a guidance destination selection column 104a (when there are a plurality of guidance destinations), a title column 104b of a submitted creative, a body text column 104c, a function key group 104d for selecting the type of an image file, a creative display column 104e, It has a photo file storage location display field 104f, an icon-displayed input content confirmation button 104g, and the like.
  • the user clicks on the input content confirmation button 104g using a pointing device such as a mouse (not shown), and transitions to the posted content confirmation screen display screen 105 (see FIG. 28).
  • the guidance purpose and posted content confirmation display screen 105 shown in FIG. 28 will be described. In FIG. 28, portions corresponding to those in FIG. 27 are not described in order to avoid duplication.
  • the guidance purpose and posted content confirmation display screen 105 displays a guidance purpose column 103a, a comment column 103b, a posting form 106, and the like.
  • the posting form 106 includes a guide destination selection field 106a, a title confirmation field 106b, a text confirmation field 106c, a creative confirmation field 106d, a compression confirmation field 106e, a creation button 106f, a return button 106g, and the like.
  • the creative confirmation column 106d of this example three creatives 106d1 to 106d3 and a path indicating the position on the file system where each creative is recorded are displayed.
  • a pointing device such as a mouse (not shown)
  • FIG. 29 is a diagram illustrating an example in which a creative that has already been submitted is displayed under the submission form 104.
  • a posting screen 107 including a creative 107 a and a title 107 b posted from the user 107 c is displayed under the posting form 104.
  • a posting screen 108 including a creative 108a and a title 108b posted from another user 108c in response to the posting screen 107 is displayed.
  • the following examination process is started when the user displays a login screen as shown in FIG. 25 on the client terminal device 36 and attempts to log in to the creative examination system.
  • step S21 when there is an access from the client terminal device 36 via the computer network 50, the submission / examination discriminating unit 51 of the submission / examination interface device 32 judges whether or not it is a request for examination processing. . If it is a screening process, the login processing unit 53A of the screening processing unit 53 performs a login process for the client terminal device 36 (user). After this process is completed, the process proceeds to step S22.
  • step S22 the guidance purpose selection unit 53B of the submission / examination interface device 32 displays a guidance purpose selection screen (see, for example, FIG. 26) that prompts the authenticated client terminal device 36 to select a guidance purpose (campaign, site, etc.).
  • a guidance purpose campaign, site, etc.
  • step S23 the guidance purpose selection unit 53B determines which guidance purpose (for example, campaign name) has been selected from the response content of the client terminal device 36. After this process is completed, the process proceeds to step S24.
  • guidance purpose for example, campaign name
  • step S24 the inappropriate creative selection unit 53C generates a screen showing the submitted creative list based on the determination result of the guidance purpose selection unit 53B, and displays the creative list screen on the client terminal device 36. After this process ends, the process proceeds to step S25.
  • FIG. 31 is a diagram illustrating an example of an examination screen.
  • the screening screen 110 includes, for example, a guidance purpose column 110a including a campaign name, a deadline date, and URL information of a guide destination, a comment column 110b for submission, an instruction column 110c for prompting a check for inappropriate creatives, a guide destination column 110d, a creative
  • It includes a display area 110e and a confirmation end button 110g.
  • a check box is displayed below each creative, and for example, an inappropriate creative such as a copyright violation or a violation of public order and morals can be checked.
  • the purpose is to collect the number of creatives, so we do not actively check the aesthetic appearance and appeal of the creatives.
  • the check boxes 110f1 and 110f2 are checked, indicating that these two creatives are to be erased.
  • step S25 the inappropriate creative selection unit 53C determines which creative has been selected as inappropriate on the examination screen 110 shown in FIG. After this process is completed, the processes of steps S26 and S27 are executed.
  • the inappropriate creative deleting unit 53D performs the following processing on the creative temporarily stored in the creative database 33A based on the determination result of the inappropriate creative selecting unit 53C.
  • step S26 a creative without a check mark in the check box is stored in the creative database 33A as an appropriate creative.
  • step S27 the creative that is marked inappropriate by the check box is deleted from the creative database 33A.
  • steps S26 and S27 After the processes in steps S26 and S27 are finished, a series of examination processes are finished.
  • the expected value is calculated for a large number of creatives collected as described above, and the creative with the high expected value is preferentially exposed on the network, that is, the creative optimization process is performed.
  • the creative optimization processing in the present embodiment will be described with reference to the sequence diagram of FIG.
  • a program 34 for executing access processing to the creative optimization server 33 is distributed to the client terminal device 36 (see FIG. 14).
  • step S31 the client terminal device 36 starts the program 34 that calls the creative optimization server 33 based on a predetermined trigger such as starting a browser. After this process ends, the process proceeds to step S32.
  • the client terminal device 36 automatically calls the creative optimization server 33 by some trigger, but is not limited to this example. For example, various forms are conceivable, such as calling the creative optimization server 33 in accordance with a user operation.
  • step S32 the client terminal device 36 transmits a call command to the creative optimization server 33. After this process is completed, the process proceeds to step S33.
  • step S ⁇ b> 33 the creative reading unit 71 of the creative optimization server 33 refers to the creative table 61 of the creative database 33 and obtains creative and link destination information (hyperlink) with a certain probability from a plurality of candidates. Extract. After this process is completed, the process proceeds to steps S34 and S35.
  • step S34 the creative transmission unit of the creative optimization server 33 transmits the hyperlinked creative to the client terminal device 36. After this process is completed, the process proceeds to step S37.
  • step S35 after the process of step S33 ends, the event determination unit 72 of the creative optimization server 33 detects that a creative impression has occurred. In addition, the log recording unit 73 leaves the impression of the corresponding creative in the log. Then, the index calculation unit 74 and the reliability / expected value calculation unit 75 operate to calculate the reliability and expected value of the creative at that time and update the information in the creative table 61 (see FIG. 20). . After this process is completed, the process proceeds to step S36.
  • step S36 the read probability calculating unit 76 of the creative optimization server 33 changes the probability of calling the corresponding creative based on the expected value.
  • step S37 after the process of step S34 is completed, the client terminal device 36 displays the hyperlinked creative sent from the creative terminal device 33 on the display screen. After this process ends, the process proceeds to step S38.
  • step S38 the client terminal device 36 monitors whether or not a hyperlink embedded in the creative is clicked. If the hyperlink is clicked, the process proceeds to step S39. On the other hand, if the hyperlink is not clicked, the process proceeds to step S43.
  • step S39 the client terminal device 36 transmits the click information to the creative optimization server 33. After this process is completed, the process proceeds to step S40. *
  • step S40 the event determination unit 72 of the creative optimization server 33 detects that a hyperlink embedded in the creative is clicked. After this process is completed, the process proceeds to step S41.
  • step S41 the log recording unit 73 of the creative optimization server 33 leaves a click history of the corresponding creative in the log. Then, the index calculation unit 74 and the reliability / expected value calculation unit 75 operate to calculate the reliability and expected value of the creative at that time, and update the information in the creative table 61. After this process is completed, the process proceeds to step S42.
  • step S42 the read probability calculation unit 76 of the creative optimization server 33 changes the probability of calling the corresponding creative based on the expected value.
  • step S43 when the hyperlink embedded in the creative is clicked, the client terminal 36 displays the web content of the guidance destination indicated by the hyperlink on the display screen. After this process ends, the process proceeds to step S44.
  • step S44 the client terminal device 36 monitors whether or not any action has been performed on the web content of the guidance destination. If there is an action, the process proceeds to step S45.
  • the action here refers to the user ’s creative that leads to the final outcome (conversion) expected by the advertiser, such as purchasing a product listed in the advertisement or requesting a catalog. Refers to the action.
  • step S45 the client terminal device 36 transmits the action information to the creative optimization server 33. After this process is completed, the process proceeds to step S46.
  • step S46 the event determination unit 72 of the creative optimization server 33 detects that the action is performed on the destination of the creative. After this process is completed, the process proceeds to step S47.
  • step S47 the log recording unit 73 of the creative optimization server 33 leaves a history of the action of the corresponding creative in the log. Then, the index calculation unit 74 and the reliability / expected value calculation unit 75 operate to calculate the reliability and expected value of the creative at that time, and update the information in the creative table 61. After this process is completed, the process proceeds to step S48.
  • step S48 the read probability calculation unit 76 of the creative optimization server 33 changes the probability of calling the corresponding creative based on the expected value.
  • FIG. 33 is a diagram illustrating an example of a result display screen of a submitted creative.
  • the display of the result starts when the advertiser closes the application for creative submission.
  • the comment screen 121 in which the advertiser has closed the creative application and declared the start of posting is displayed
  • the creative ranking screen 122 showing the result is displayed almost simultaneously.
  • items such as a submitted creative 122a, an affiliator 122b, an impression number (Imp number) 122c, a click number 122d, and a click rate (CTR) 122e are displayed.
  • Imp number impression number
  • CTR click rate
  • FIG. 34 is a diagram illustrating an example in which points are distributed according to an expected value for each creative illustrated in FIG. 33.
  • a comment screen 121A in which the advertiser makes a comment on the result is displayed.
  • an expected CTR 122f and acquired points 122g are displayed on the creative ranking screen 122A.
  • an acquisition point 122g is determined based on the number of click rates 122, and bonuses corresponding to the ranks are given to the top three affiliates (A, B, C).
  • Acquired points are not limited to the number of clicks, but may be a click rate, an expected CTR, or may be determined based on other numerical values. Furthermore, you may make it calculate an acquisition point combining them.
  • FIG. 35 is a diagram showing an example of improving the relationship between the stakeholders after applying the present invention.
  • the advertiser 1 is provided with the actual effect of increasing the click rate of the creative, that is, the actual effect of optimization from many creatives. Can do.
  • matching with the affiliator can be obtained by the convincing feeling and the effect of automatically selecting a good one out of a large number of creatives by highly motivated creators.
  • the agency 2 can be provided with a profit that reduces the sales margin as a medium cost by operating a new advertising system (creative optimization system). In other words, since a general user can become an affiliate and collect a large number of high-quality creatives, production costs can be reduced.
  • Affiliator 3 can be provided with a convincing distribution (reward) and motivation by the community.
  • the Affiliator 3 is seeking not only money but also evaluation from the world, so that the position of the Affiliator 3 can be improved.
  • FIG. 36 shows the result of actually measuring the click rate of the creative before and after optimization.
  • “impression number (Imp)”, “click number (Crick)”, and “click rate (CTR)” for the same creative posted on the media A to J are optimized and optimized, respectively. It is the measured data.
  • Each media measures about 1 million impressions on average.
  • FIG. 37 shows a graph plotting the measurement data of FIG.
  • the horizontal axis represents the number of impressions before and after optimization
  • the vertical axis represents the click rate.
  • the click rate is improved 2.03 times before and after the optimization in the overall average of the media A to J.
  • the click rate of each of the media A to J is greatly improved before and after the optimization, and a remarkable optimization effect is obtained.
  • the examples of FIGS. 36 and 37 prove that the click rate can be greatly improved if a mechanism of the present invention is applied to a large number of creatives in any media. .
  • FIG. 38 is a graph showing the click rate according to the normal distribution (before optimization) and the number of contacts after optimization for a certain creative.
  • the horizontal axis represents the number of contacts (frequency), and the vertical axis represents the click rate.
  • the data with the contact count of 2 indicates whether or not the data was clicked at the second exposure regardless of whether or not it was clicked at the first exposure.
  • the click rate for the number of contacts 1 is the click rate when the number of contacts is only the first time.
  • the click rate for the number of contacts 2 is simply the click rate when the number of contacts is only the second time. . The same applies to the number of contact times of 3 or later.
  • the click rate decreases as the exposure increases both after normal distribution and after optimization, such as the second exposure from the first time and the third time from the second time.
  • the present invention is to leave excellent creatives out of the whole, but as a result, excellent creatives have a high click rate when the number of contacts is 1 (first time) and higher than usual after that.
  • the click rate gradually decreases while changing numerically. From this, it is presumed that not only the initial click rate but also the subsequent click rate will be improved due to the quality of the creative, and an advantage of about 3 times can be confirmed when the number of contacts is around 10 times. In other words, the freshness of the creative lasts as a result of improved creative performance.
  • the future value can be predicted by functionalizing the reliability of the click rate and the conversion rate, and a better creative can be extracted efficiently and quickly. Also, instead of selecting the creative itself, it is possible to pick up a good creative by tilting the exposure probability. In addition, it is based on the reality by adopting the concept of reliability, and in this respect, it can be said that the effectiveness is extremely high as compared with that described in Patent Document 1. Unlike the invention described in Patent Document 1, the present invention is different not only in advertising but also in optimizing hyperlinks. Further, although the click rate and the conversion rate are used, the click rate and the conversion rate itself are not evaluated.
  • the series of processes described above can be executed by hardware or can be executed by software. Needless to say, the function for executing these processes can also be realized by a combination of hardware and software.
  • various functions can be executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware, or by installing various programs. For example, it is installed from a program recording medium in a general-purpose computer or the like.
  • processing steps describing the program stored in the program recording medium are not limited to the processing performed in time series in the described order, but are not necessarily performed in time series. This includes processing that is executed manually or individually (for example, parallel processing or object processing).
  • the program may be processed by a single computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

　少ない露出回数で的確にクリエイティブの有効性を評価し、クリエイティブが効率よく露出されるようにすることを目的とする。 　このため本発明は、まずクリック率などの評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する。次に、評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、露出回数を極大化した場合の評価指標の信頼性を算出する。そして、評価指標と信頼性から当該評価指標に対する期待値を算出する。この期待値に基づいて該当クリエイティブの露出頻度を変更する。すなわち複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出するとともにハイパーリンクを付属し、ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させる。

Description

クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム
　本発明は、テキスト、静止画及び動画にハイパーリンクが付随するコンピュータ・ネットワーク（電気通信回線）上の広告など、ウェブサイト上のハイパーリンクのクリエイティブを最適化するクリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラムに関する。
　通常、コンピュータ・ネットワーク上のウェブサイトに掲載されたハイパーリンクや広告自体は、ウェブサイトの制作者あるいは広告の制作者が制作し、ウェブサイトに掲載してユーザの誘導を図っている。しかし、それでは期待するコンバージョン（最終的な成果）やクリック率（CTR：Click Through Rate）等を引き出せるかどうかは不明である。
　テキスト、静止画、動画、音楽等を組み合わせて創造・制作された広告などのコンテンツは総称してクリエイティブと呼ばれる。ウェブページに表示されたクリエイティブに期待するコンバージョンやクリック率等を得るには、ハイパーリンクを持つクリエイティブ自体を最適化（より有効性の高いクリエイティブを抽出）し、ユーザのアクションを促す必要がある。
　例えば、特許文献１には、コンピュータ・ネットワークを介してクライアントコンピュータへ広告を配信し、該広告の有効性を自動的に評価し、その評価の結果に基づいて当該広告の特徴を自動的に変更することにより、コンピュータ・ネットワーク上での広告活動を最適化することが記載されている。
　この特許文献１に記載された発明の特徴は、単にクリック率やコンバージョン率のログから最適化を図ることを目的としている点である。すなわち、広告の有効性を実績に基づいて評価している。例えばコンバージョンに関して広告の有効性を評価する場合、ウェブページに表示された広告を見てその広告の製品を実際に購入したユーザの人数を判定することにより評価を行っている。
特開２００７－５１０９７３号公報
　しかしながら、特許文献１に記載された方法はサンプル（インプレッション）をたくさん取れる場合に有効であり、クリエイティブの個数が１００を超えるような多数の場合や、ウェブページへの掲出期間が短い場合には対応することができない。
　さらに、特許文献１に記載された方法では、多様化したネットワーク社会に対応することができない。商品の販売においては発売のタイミング（時期）や販売のスピードが大切であるといわれている。販売のスピードとは、適切な期間に適切な宣伝活動を行って消費者の購買意欲を高め、消費者の購買意欲が高いうちに販売活動を行い利益を確保することである。例えば、春に販売量又は消費量が増える商品は、春のうちに多く売ったほうが販売業者にとって効率がよく、それには迅速かつ適切な宣伝活動が必要である。
　特許文献１に記載されたもののように広告の有効性について実績に基づいて評価をする場合、一般に、評価の信頼性を高めるためには母集団としてある程度のインプレッション（表示・露出）が必要である。インプレッション数が大きいほど評価結果の信頼性が高くなるが、インプレッション数を増やすには時間がかかってしまい、その広告により販売したい商品の販売に適した時期を逸してしまう。
　本発明は、このような状況に鑑みてなされたものであり、少ない露出回数で的確にクリエイティブの有効性を評価し、クリエイティブが効率よく露出されるようにすることを目的とする。
　本発明の一側面のクリエイティブ最適化サーバは、指標演算部と、信頼性演算部と、期待値演算部と、読出確率演算部と、クリエイティブ出力部とを含むようにして構成されている。指標演算部は、評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する。また信頼性演算部は、前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する。また期待値演算部は、前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する。また読出確率演算部は、前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更する。そして、クリエイティブ出力部は、前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させる。
　また、本発明の一側面のクリエイティブ最適化システムは、クリエイティブ・データベースと、指標演算部と、信頼性演算部と、期待値演算部と、読出確率演算部と、クリエイティブ出力部とを含むクリエイティブ最適化サーバと、を含むようにして構成されている。クリエイティブ・データベースは、複数のクリエイティブを蓄積する。指標演算部は、評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する。また信頼性演算部は、前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する。また期待値演算部は、前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する。また読出確率演算部は、前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更する。そして、クリエイティブ出力部は、前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させる。
　また、本発明の一側面のクリエイティブ最適化方法並びにプログラムは、評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する。次に、前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する。さらに、前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する。さらに、前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更する。そして、前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させる。
　本発明の一側面においては、例えばクリック率などの評価指標に統計的手法を組み合わせて信頼性を関数化することにより、未来の価値を予測し、効率よくかつ（少ない露出回数でも）より早く良いクリエイティブを抽出することができる。
　以上のように、本発明によれば、少ない露出回数で的確にクリエイティブの有効性を評価し、有効性の高いクリエイティブを効率よく露出させることができる。
各ステークホルダのニーズを示す図である。 １００万インプレッションのときのクリック率の例を示すグラフである。 クリエイティブの個数とクリック率の例を示すヒストグラムである。 クリック率に対するクリエイティブの個数の正規分布を示すグラフである。 クリエイティブの個数に基づく正規分布の変化例を示すグラフである。 ウェブページに掲載されたクリエイティブの例を示す図である。 ０．０６３％のバナー広告のクリック率の推移例を示すグラフである。 ０．０６３％のバナー広告のクリック率の推移例を示すグラフである。 複数の０．０６３％のバナー広告によるクリック率の推移例を示すグラフである。 クリック率に対するクリエイティブの個数の正規分布（標準偏差大）の例を示す図である。 複数の０．０６３％のバナー広告によるクリック率の推移例を示すグラフである。 クリック率に対するクリエイティブの個数の正規分布（標準偏差小）の例を示す図である。 正規分布と標準偏差の関係を示すグラフである。 本発明の一実施の形態に係るシステムの概要を示す図である。 本発明の一実施の形態に係るシステム全体の処理例を示すフローチャートである。 本発明の一実施の形態に係るクリエイティブ入稿の仕掛けを示す図である。 本発明の一実施の形態に係る審査の概要を示す図である。 本発明の一実施の形態に係るシステムの構成例を示すブロック図である。 本発明の一実施の形態に係る入稿・審査インターフェース装置の内部構成例を示す図である。 本発明の一実施の形態に係るクリエイティブＤＢの説明図である。 本発明の一実施の形態に係る案件ＤＢの説明図である。 本発明の一実施の形態に係るクリエイティブ最適化サーバの内部構成例を示す図である。 汎用コンピュータの構成例を示すブロック図である。 本発明の一実施の形態に係る入稿処理例を示すブロック図である。 本発明の一実施の形態に係るログイン画面の例を示す図である。 本発明の一実施の形態に係る誘導目的選択画面の例を示す図である。 本発明の一実施の形態に係る誘導目的と投稿フォームの表示画面の例を示す図である。 本発明の一実施の形態に係る誘導目的と投稿内容確認の表示画面の例を示す図である。 本発明の一実施の形態に係る入稿クリエイティブの表示例を示す図である。 本発明の一実施の形態に係る入稿・審査インターフェース装置の審査処理例を示すフローチャートである。 本発明の一実施の形態に係る審査画面の例を示す図である。 本発明の一実施の形態に係るクリエイティブ最適化処理例を示すシーケンス図である。 本発明の一実施の形態に係る結果表示例を示す図である 本発明の一実施の形態に係るポイント分配例を示すブロック図である。 本発明の一実施の形態に係る各ステークホルダの関係改善例を示す図である。 本発明の一実施の形態に係る最適化前及び最適化後のクリエイティブのクリック率の測定結果を示す図である。 本発明の一実施の形態に係る最適化前及び最適化後のクリエイティブのクリック率を示すグラフである。 本発明の一実施の形態に係る最適化前及び最適化後のクリエイティブの接触回数別のクリック率を示すグラフである。
　以下、本発明の実施の形態の例について、添付図面を参照しながら説明する。
　以下に述べる実施の形態は、本発明を実施するための好適な形態の具体例であるから、技術的に好ましい種々の限定が付されている。ただし、本発明は、以下の実施の形態の説明において特に本発明を限定する旨の記載がない限り、これらの実施の形態に限られるものではない。したがって、例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また、説明に用いた各図における寸法、形状および配置関係等も実施の形態の一例を示す概略的なものである。
　コンピュータ・ネットワーク上で公開されるウェブサイト（ウェブページ群）のハイパーリンクとそのクリエイティブは、大きな価値のギャップを持つポイントの一つである。そのハイパーリンクの遷移率すなわち目的のウェブページまでの到達率を向上させるために、広告のパフォーマンス（魅力）の改善やウェブサイトのパフォーマンス（魅力）の改善にコストをかける必然性は非常に大きい。
　そもそもネット広告は媒体費（広告をメディアに載せるのに掛かる費用）が非常に高く制作費が相対的に低いためクリエイティブによって創出される価値は大きい。本発明の一実施の形態では、パフォーマンス改善のためにクリエイティブとハイパーリンクの候補を用意し、それらを試しながら期待の高いクリエイティブの露出を上げていき、その効果によってアフィリエイタ（制作者）が報酬を得られるように構成している。なお、クリエイティブの例としてバナー広告（以下、単に「広告」という。）を例に挙げて説明するが、本発明はこの例に限られるものではなく、あらゆるクリエイティブの最適化に適用できる。
　図１は、広告業界における各ステークホルダ（広告主、代理店、アフィリエイタ）のニーズを示した図である。
　広告主１は、同じ媒体費をかけるならウェブページ上の広告に対して多くのクリックを欲している。また、広告主１から商品等の宣伝活動を依頼される代理店２としては、商品が表示されたウェブページへのハイパーリンクを張るクリエイティブの制作費は利幅が薄く固定費になるので、クリエイティブの制作はなるべく外注したい、利幅をとりたいと考えている。そこで、代理店２は、アフィリエイタ２に対し、クリエイティブの制作を依頼する。アフィリエイタ３は、効率よくお金（クリエイティブ制作の対価）が欲しい、評価されたい、褒められたいという願望を持っている。
　上記広告主１が広告を評価する際の指標の一つにクリック率がある。クリック率は広告がクリックされる割合であり、クリック数をインプレッション数（広告が表示／配信された数）で除して割り出すことができる。
　図２は、複数の広告について１インプレッションから１００万インプレッションまでのクリック率の遷移を表したグラフであり、横軸はインプレッション数（数値×１０００）、縦軸はクリック率を示している。この図２に示す例は、１００万インプレッション時のクリック率が０．０６３、０．０５３、０．０６１、０．０４２のそれぞれについて調査したものである。
　一般にクリック率は、広告をウェブサイトに露出させて最初の頃は安定しないが、ある段階で安定期に入り緩やかに下降していく。図２に示す例では、４０万インプレッション以降（破線部）で安定している。したがって、クリエイティブの有効性の優劣を測るのに、大量のインプレッションが必要かといえばそうではなく、早い段階で優劣がついていることが推測できる。
　図３は、クリエイティブの個数とクリック率の関係を示したヒストグラムの例である。この図３に示す例は、クリック率０．０３からクリック率０．０７までの各段階のクリエイティブの個数を調査したものである。クリック率とクリエイティブの個数の分布は、集合あたりの平均クリック率と標準偏差から、図４に示す曲線４のようにほぼ正規分布となることがわかった。この例の場合、平均クリック率（平均ＣＴＲ）は０．０４８％、最高クリック率（最高ＣＴＲ）が０．０７％であるので、仮にクリエイティブが一つのときのクリック率が０．０４８％になるとすると、最高ＣＴＲのクリエイティブ（図４の破線部）を選択することによりクリック率を最大で４５％以上改善できる計算になる。
　先ほど、クリエイティブの有効性の優劣が割と早い段階でわかると述べたが、それには次のような理由が考えられる。仮に１０００個のクリエイティブの集合に対してそれぞれ１０００インプレッションさせたとすると、この集合全体では１００万インプレッションしていることになる。そのため、この１０００個のクリエイティブは、個々のクリエイティブよりも早く、クリック率の平均ａ、標準偏差ｂのクリエイティブの集合であることが算出できる。その場合に、当該インプレッション数の段階でクリック率が上位であると思われるものが図４の破線部の中に含まれる可能性は非常に高い。
　図５は、クリエイティブの個数に基づく正規分布の変化例を示すグラフである。
　クリック率とクリエイティブの個数が正規分布だとすると、クリエイティブの総数が多い方が効果（有効性）の高いクリエイティブが発見される可能性が高くなる。つまり、より多くの中からいいものを選ぶと、ＣＴＲ（クリック率）やＣＶＲ（コンバージョン率）をより改善することができる。例えば、図５に示す例では、同じ平均ＣＴＲを持つ正規分布の曲線４より曲線５の方が、クリエイティブの絶対数が多いので、最高ＣＴＲであるクリエイティブの個数も多いことがわかる。
　以上のことから本出願人は、なるべく多くのクリエイティブからクリック率の高い最善のものを自動で選んで表示する仕組みをビジネス化することに想到した。例えば、図６はあるウェブページに掲載されたクリエイティブの例であり、ウェブページ画面１０の右側に画像のクリエイティブ１２、下側にテキストのクリエイティブ１３が表示されている。このウェブページ画面１０に本発明を適用すると、例えば今週のイチ押し欄１１に目的サイトへのハイパーリンクを埋め込んだ画像の中でも期待値が高いものの露出頻度が高くなる。また、テキストで期待値が高いものの露出頻度が高くなる。それによって、ユーザのマウスクリック等のアクションが活発になることが期待される。
　ところで、背景技術の欄において説明したとおり、インプレッション数が大きいほど評価結果の信頼性が高くなるが、インプレッション数を増やすに時間がかかると、最終的な成果を得るのに適した時期を逃したり、有効性の低いクリエイティブをいつまでも露出したりすることに繋がりかねない。そのため、なるべく早い段階でクリエイティブの有効性を評価する必要がある。しかし、クリエイティブの評価結果の信頼性はインプレッション数に比例するので、インプレッション数が少ない段階のクリエイティブの評価結果はその信頼性が問題である。つまり、インプレッション数が少ない段階でクリエイティブを評価する際にはいかに信頼性を確保するかが重要となってくる。
　以下、クリエイティブの評価結果の信頼性を向上させる方法について、評価指標の一つであるクリック率を例に説明する。
　図７，図８は、クリック率０．０６３％のバナー広告のクリック率推移の例を示すグラフであり、横軸は実測したインプレッション数（１００インプレッション単位）、縦軸はクリック率を示す。
　曲線２１は、１インプレッションから３０９８０００インプレッションまでの間に徐々にクリック率０．０７％に落ち着いているが、測定開始直後は、サンプル（インプレッション）が少ないためクリック率の変動幅が大きく、安定しないことがわかる。例えば、１０００インプレッションのときクリック率０．０７％を記録している（図７参照）。また、３５００００インプレッションのときもクリック率０．０７％を記録している（図８参照）。しかし、１０００インプレッションのときに、クリック率０．０７％を記録するものには次のようなクリック率遷移をするものもある。
　図９は、複数のクリック率０．０６３％のバナー広告のクリック率推移の例を示すグラフであり、横軸はインプレッション数（１００インプレッション単位）、縦軸はクリック率を示す。
　曲線２１，２２，２３は、いずれも１０００インプレッション目のときにクリック率０．０７％を記録しているが、その後の振れ幅が大きいことがわかる。１０００インプレッション目にクリック率０．０７％を記録したクリエイティブを多数集めると、図１０に示す曲線２４のように平均ＣＴＲａ％の正規分布で表現され、その標準偏差ｂ１は比較的大きく広く分散していることがわかる。
　図１１は、３５００００インプレッションのときにクリック率０．０７％を記録する複数のクリエイティブのクリック率推移の例を示すグラフである。横軸はインプレッション数（１００インプレッション単位）、縦軸はクリック率を示す。
　図１１に示す曲線２１，２６，２７は、図９の１０００インプレッション目に同じクリック率０．０７％を記録したものと比較すると、振れ幅が大きくないことがわかる。３５００００インプレッション目のときのクリック率０．０７％を記録したクリエイティブを多数集めると、図１２に示す曲線２８のように平均ＣＴＲａ％の正規分布で表現され、その標準偏差ｂ２は比較的小さく狭く分散していることがわかる。
　本明細書において、この正規分布の標準偏差がクリック率など評価指標の信頼性に対応する。つまり、インプレッション数が増えてクリック率のサンプルが増えれば増えるほど、標準偏差は小さくなり信頼性は高い（ブレ幅が小さくなる）。あるインプレッション数Ｎ（自然数）のときのクリック率をｒとおくと、そのＮとｒのサンプルをたくさん記録し、それらがその後どのように推移するかデータを蓄積していくことで、クリック率の信頼性を算出するための根拠となるサンプルが増えていくこととなる。
　ここで、クリック率の信頼性を利用したクリエイティブの評価方法について説明する。
　例として、「２回目のインプレッション時点でクリック率が５０％」のバナー広告Ａ、「２００万回目のインプレッション時点でクリック率が５０％」のバナー広告Ｂを想定する。そのクリック率はどちらも５０％であるが価値が全く異なる。バナー広告Ａはこれからクリック率が下がっていくこと可能性が極めて高いが、バナー広告Ｂは既にクリック率が安定しているといえる。つまり、クリック率の単純比較ではそのどちらが良いのか判断することは難しい。
　そこで、過去のクリック率の統計からその時点のインプレッションにおける信頼性をかけて関数化し、「期待クリック率（以下、「期待ＣＴＲ」という。）」という指数化することによりバナー広告Ａとバナー広告Ｂを比較することができる。実際は、単純な掛け算でなくＣＴＲと信頼性の関数となる。また、この信頼性はインプレッションによって確度が変化するため、本発明ではこの信頼性に対して、信頼性の信頼性ともいうべき定数をかける計算を行っている。
ＣＴＲ　　　信頼性　　期待ＣＴＲ
　バナー広告Ａ　　　５０％　×　０．０１＝　０．５
　バナー広告Ｂ　　　５０％　×　０．９５＝４７．５
　このようにしてインプレッションのサンプル数が異なるものも比較することができる。コンバージョンなど他の正規分布の評価指標に関しても同様のことがいえる。つまり、ＣＴＲ（クリック率）やＣＶＲ（コンバージョン率）等は過去価値或いは現在価値に過ぎないが、期待値という概念を持ち込んで指数化することにより将来価値を表現することができる。
　本明細書においては、クリエイティブのクリック率の信頼性を下記のように定義する。なお、クリック率を例に挙げて説明するが、コンバージョン率など正規分布で表される他の評価指標についてもこの計算方法を適用することができる。
　まず、実際の測定データに基づくクリック率をｒとし、これをサンプルクリック率と呼ぶ。Ｎ（自然数）を表示回数（インプレッション）、ｃをクリック数とすれば、r＝ｃ／
Ｎである。
　また、Ｐ（ｘ）をクリック率ｘが発生する確率とする。このクリック率ｘが所与の場合に、サンプルクリック率ｒの起こる条件付き確率をＰＮ（ｒ｜ｘ）と表す。Ｎは表示回数であり、以後の説明ではＮの表記を省略することもある。その場合、Ｐ（ｒ｜ｘ）と標記する。なお、クリック率ｘはＮを極大化した際に得られる数値と仮定する。
　Ｐ（ｘ）の確率分布は、既述のとおり経験から正規分布（ガウス分布）である。したがって、Ｐ（ｘ）は下記式（１）のように定義できる。
Figure JPOXMLDOC01-appb-M000001
　また、クリエイティブをＮ回表示させた場合のサンプルクリック率rとクリック率ｘが
同じになる、すなわち同時に成立する確率（同時確率）を、Ｐ（ｒ，ｘ）とする。
　ここでサンプルクリック率ｒの信頼性を計算するためには、サンプルクリック率ｒの値が既に得られている場合にクリック率ｘの条件付き確率Ｐ（ｘ｜ｒ）がどうなるのかを考える必要がある。クリック率ｘが連続型確率変数である場合、サンプルクリック率ｒの条件の下でのクリック率ｘの平均μrと標準偏差σrは以下の式（２），（３）で表される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　平均μrは、サンプルクリック率ｒが与えられている場合、そのサンプルクリック率ｒが得られた場合におけるクリック率ｘの平均である。標準偏差σrは、表示回数Ｎの時点
でのサンプルクリック率ｒの信頼度ということができる。
　ここで、条件付き確率Ｐ（ｘ｜ｒ）を求めるため、ベイズの定理を使用する。条件付き確率Ｐ（ｘ｜ｒ）は、ベイズの定理により式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　Ｐ（ｒ）は、サンプルクリック率ｒとクリック率ｘが同時に成り立つ場合においてサンプルクリック率ｒが発生する確率であり、式（５）に示すように、Ｐ（ｘ）Ｐ（ｒ｜ｘ）を積分したものとして表すことができる。
Figure JPOXMLDOC01-appb-M000005
　Ｐ（ｘ）は過去の統計又は経験則から得られる既知の数字であるため、Ｐ（ｒ｜ｘ）は二項係数を含む式（６）から算出することができる。すなわち、クリエイティブをＮ回表示した場合にｘの確率で表示されると考えると、二項分布によって確率が求められる。このとき、μr＝ｒとなる。
Figure JPOXMLDOC01-appb-M000006
　経験的にＰ（ｘ）がわかっているという前提においては、Ｐ（ｒ｜ｘ）は二項分布によってその確率が求められる。よって、式（５）におけるＰ（ｘ）が求められ、最終的に式（４）に示したベイズの定理からＰ（ｘ｜ｒ）が求められる。そして、式（３）の標準偏差σrの解が得られ、その解により信頼度すなわち信頼性が定義される。
　以上のとおり、あるクリエイティブを露出したときのＮ（インプレッション数）とｒ（ＣＴＲ：クリック率）から信頼性（標準偏差）を割り出し、その後の当該クリエイティブがどのようなクリック率を記録するかという確率を計算することにより、期待ＣＴＲを算出することができる。
　ここで、図１３に示すグラフを参照して正規分布と標準偏差の関係について説明する。
　図１３に示すように正規分布の曲線２９は、その標準偏差の中に収まり、その標準偏差の中に収まるデータの全体に対する割合を下記のように算出することができる。
　　（範囲）　　（その中に入るデータの割合）
　　　μ±σ　　　　０．６８２７（約２／３）
　　　μ±２σ　　　０．９５４５（約１９／２０）
　　　μ±３σ　　　０．９９７３
※これは平均値±標準偏差の範囲に全データの６８．２７％が、平均値±（標準偏差の２倍）の範囲内に全データの９５．４５％が分布するという意味である。　
　上記の関係を活用し、ある一定の確率内（リスクの中）で早期にクリック率の優位性を判断することができる。すなわち、この計算方法により、どのクリエイティブがクリック率において優位性が高いかを早い段階で判断することができる。これらのサンプルデータを基に、実測したインプレッションＮとクリック率ｒのデータを蓄積するほどクリック率ｒの幅が縮まってくる。
　次に、上述したクリエイティブの評価方法を利用したクリエイティブ最適化システムについて説明する。
　図１４は、本発明の一実施の形態に係るクリエイティブ最適化システムの概要を示す図である。
　本実施の形態のクリエイティブ最適化システム３０は、主に複数のクリエイティブ候補を用意するための入稿・審査インターフェース装置３２、クリエイティブを最適化するクリエイティブ最適化サーバ３３、広告などの情報を発信するウェブサーバ３５、クライアント端末３６を含むようにして構成される。
　このクリエイティブ最適化システム３０を用いたビジネスモデルの新規なところは、まず、多数のクリエイティブを作ること自体が経済合理性に合わないところを、外部も含めてオープンに集めることでより多くのクリエイティブを集められるようにした点である。また、それらのクリエイティブを人が審査するのではなく、とにかく全て試すという点である。また、短期間でそのクリエイティブの中から最適なものを抽出するという点である。さらに、その効果を価値ギャップの高い（誘導することで価値を向上することができる）広告やウェブページの検索結果等の一覧ページ等に導入することで報酬を得るという点である。
　また、クリエイティブ最適化システム３０の新規な部分は、最速でＣＴＲやＣＶＲなどの評価指標が高いものを抽出するようにしたところである。すなわち、単純に現時点でのＣＶＲやＣＴＲを比較するのではなく、統計的手法を組み合わせることでそのクリエイティブの期待値を算出することにより、少ないサンプルからでも的確な評価指標を割り出すことを可能にしている。
　次に、クリエイティブ最適化システム３０全体の処理を、図１５に示すフローチャートを参照して説明する。ここでは、ユーザをあるウェブサイトに誘導する目的でクリエイティブをネットワーク上で公開する場合について説明する。
　まずステップＳ１において、あるハイパーリンクの誘導先の目的に応じていると思われるクリエイティブの候補を入稿・審査インターフェース装置２に多数用意する。その場合に、その誘導先と誘導意図をネットワーク上で広報し、ユーザ３１ａ～３１ｃなどの第３者に多数のクリエイティブを制作してもらって候補を集めることも含む。
　例えば、一体多のコンテスト形式ではなく、図１６に示すような多対多のコミュニティのスレッド形式だと盛り上がることが期待できる。キャンペーンにクライアントも運営者も投稿するアフィリエイタも参加者３１ａ～３１ｆとしても自由に参加できるコミュニティを構築する。その中で、広告（目的）ごとにスレッドを立てて投稿してもらう。
　審査についても、入稿と同様にオープンに行えば盛り上がる場が提供できると考える。例えば、図１７に示すように、多数のユーザが投稿サイトにクリエイティブを投稿してスレッド４１，４２・・・と次々にスレッドを立てていく。クライアントは自らのスレッド４３を立ててその中で、投稿されたクリエイティブに対してコメント４３ａを書き込んだりしながら審査内容を公開する。
　ステップＳ２において、入稿・審査インターフェース装置３２に用意された例えばクリエイティブＡ，Ｂ，Ｃが適切なものかどうかを審査し、審査を通過したものを後述するクリエイティブ・データベースに格納する。この審査においては、クリエイティブ自体の美的外観よりも著作権侵害の有無等、形式的な審査に重点を置く。
　ステップＳ３において、ネットワーク上でコンテンツを配信するウェブサーバ３５からクライアント端末装置３６へ、クリエイティブ最適化サーバ３３へのアクセスを含むプログラム３４を配信しておく。例えばユーザがクライアント端末装置３６上でブラウザを立ち上げたり、所定のホームページにアクセスしたりといったことをトリガとして、ネットワークを通じてクライアント端末装置３６がクリエイティブ最適化サーバ３３へ接続する。プログラム３４の例として、例えばスクリプトの記述してあるフラッシュバナーを入稿する。
　ステップＳ４において、クリエイティブ最適化サーバ３３は、クリエイティブ・データベースからそれら全てのクリエイティブを少しずつ、或いは、ある確率でクリエイティブを抽出し、ネットワークを通じてクライアント端末装置３６へハイパーリンク付きクリエイティブを配信する。
　ステップＳ５において、配信されたハイパーリンク付きクリエイティブをクライアント端末装置３６（に接続された表示装置）に表示させ、ハイパーリンク付きのクリエイティブに対するクライアント端末装置３６（ユーザ）の反応をクリエイティブ最適化サーバ３３がネットワークを通じて取得する。
　ステップＳ６において、クリエイティブ最適化サーバ３３は、クライアント端末装置３６から取得した情報に信頼性を加味して当該クリエイティブの期待値を算出する。これは最速で最も評価指標（ＣＴＲあるいはＣＶＲなど）が高いものを抽出するためである。
　ステップＳ７において、期待値に基づいて次にクリエイティブ最適化サーバ３３へアクセスされた場合の当該クリエイティブの露出確率を変動する。つまり、抽出された期待値の高いクリエイティブの露出を増やす。このように露出される確率に傾斜をかけて、期待値の高いものをたくさん表示する。
　ステップＳ８において、上記ステップＳ１～Ｓ７（特にステップＳ４～Ｓ７）の処理を繰り返し、クリエイティブ・データベース内の各クリエイティブについて露出確率を随時更新する。このとき、それらの期待値の高いクリエイティブが期待どおりのＣＴＲやＣＶＲを出しているか確認する。期待に沿っている場合は、それらをそのまま傾斜をかけて露出し続ける。一方、期待に添っていない場合や他のクリエイティブの中で期待値の高いものが発見された場合は、他に期待値の高いクリエイティブの露出を増やす（露出の傾斜配分を変更）。上述処理を繰り返すことにより、ＣＴＲやＣＶＲを最適化する。
　なお、期待に沿っているとは、信頼性の部分で規定するリスクの範囲に収まっているかどうかを指す。つまり、標準偏差の±σの範囲（６８．２７％）に収まるクリック率なのか、±２σの範囲（９５．４５％）に収まるクリック率なのか、あるいは±３σの範囲（９９．７３％）に収まるクリック率なのかというように、予め設定した範囲内に収まっているようであれば問題ないと判断する。具体的な範囲については、実際に件数を重ねて調整していくものであり、どれくらいリスク（すなわち誤差）をとるかは検証を重ねて適宜細かく変更することが好ましい。
ステップＳ９において、クリエイティブのパフォーマンス（ユーザの反応）に応じて制作者（アフィリエイタ）への報酬やインセンティブを設定する。この処理が終了した後、システム全体の処理を終了する。実際のシステムにおいては、ステップＳ１～ステップＳ９もしくはステップＳ３～ステップＳ９の一連の処理を繰り返す。
　多数のものから良いであろうクリエイティブを抽出する際に、一つ一つの期待ＣＴＲから割り出すと非常に非効率である。したがって、一つ一つのクリエイティブを比較するのではなく、集合の中から「この中にクリック率が上位のものがあるであろうという小集合」に絞り込んでそれらの露出を極大化させ、さらにクリック率やコンバージョン率を検証し、絞り込んでいくという段階（ステップＳ６，Ｓ７）を経ることで、システムパフォーマンス（性能・効率）を改善することも考えられる。
　また、多数のクリエイティブに紛れ込んだ他の良いクリエイティブを拾うためにチェックの段階（ステップＳ５～Ｓ８）を用意し、期待に添っていない又は他に期待値の高いクリエイティブが発見された場合には、期待値の高いクリエイティブの露出を増やす（露出の傾斜配分を変更する）。その際、信頼度の異なるクリエイティブに対して期待値という概念を用いて比較する。そして、それらの統計データは、補正を繰り返すことによって、より信頼性の高いシステムへと学習・成長させることができ、最適なパフォーマンス（性能・効率）を引き出すことができる。
　次に、図１８を参照して、本発明の一実施の形態におけるクリエイティブ最適化システム３０の構成を詳細に説明する。
　クリエイティブ最適化システム３０は、入稿・審査インターフェース装置３２、クリエイティブ最適化サーバ３３、クリエイティブ・データベース３３Ａ、ウェブサーバ３５Ａ、広告配信サーバ３５Ｂ、クライアント端末装置３６Ａ～３６Ｃが、それぞれコンピュータ・ネットワーク５０，５０ａを介して相互に接続されている。特に、入稿・審査インターフェース装置３２及びクリエイティブ最適化サーバ３３はこのシステムのために用意したものではあるが、入稿・審査インターフェース装置３２は必要に応じて設ければよい。ウェブサーバ３５Ａ、広告配信サーバ３５Ｂ及びクライアント端末３６Ａ～３６Ｃは既存の機器を流用する。
　なお、コンピュータ・ネットワーク５０，５０ａには、インターネット等の広域ネットワークを適用できる。また、コンピュータ・ネットワーク５０ａは、ローカルエリアネットワーク(LAN：Local Area Network)であってもよい。本実施の形態において、各装置間
のデータの送受信はコンピュータ・ネットワーク５０，５０ａを経由して行うが、以降の説明ではコンピュータ・ネットワーク５０，５０ａを経由する旨の記載は省略する。また、本実施の形態において、コンピュータ・ネットワーク５０，５０ａ上のデータの送受信は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）プロトコルを
用いパケット通信を行うものとするが、この例に限られるものではない。さらに、以下の説明では、クライアント端末装置３６Ａ～３６Ｃを総称してクライアント端末装置３６と称す。
　入稿・審査インターフェース装置３２は、特許請求の範囲に記載したインターフェース装置の一例であり、クリエイティブの入稿及び審査に関する処理を実行するものである。
　クリエイティブ最適化サーバ３３は、インプレッションが少ない早い段階で統計的手法を用いてクリエイティブ・データベース３３Ａに保存された複数のクリエイティブの期待値を算出して期待値の高いクリエイティブを抽出する。そして、抽出した期待値の高いクリエイティブすなわち最適化されたクリエイティブを、コンピュータ・ネットワーク５０を介して目的に応じてウェブサーバ３５Ａや広告配信サーバ３５Ｂ等へ送信する。このように、より期待値の高いクリエイティブの露出を増やすことにより、システム全体の最適化を図ることができる。
　クリエイティブ・データベース３３Ａは、大量のクリエイティブの保存・蓄積が可能な大容量の磁気記録装置や半導体メモリといった不揮発性の記憶手段である。なお、入稿・審査インターフェース装置３２とクリエイティブ・データベース３３Ａはコンピュータ・ネットワーク５０ａを介して接続しているが、クリエイティブ・データベース３３Ａを入稿・審査インターフェース装置３２に設ける構成としてもよい。或いは、クリエイティブ・データベース３３Ａをクリエイティブ最適化サーバ３３に格納して一体に構成するようにしてもよい。
　ウェブサーバ３５Ａは、コンピュータ・ネットワーク５０上でクライアント端末装置３６からの要求に応じたウェブページ等のデータを送信するものである。
　広告配信サーバ３５Ｂは、コンピュータ・ネットワーク５０上でクライアント端末装置３６に送信するウェブページ等に表示される広告を配信するものである。なお、広告配信サーバ３５Ｂも、コンピュータ・ネットワークに接続されウェブコンテンツを発信する点において広い意味でのウェブサーバである。
　クライアント端末装置３６Ａ～３６Ｃは、パーソナルコンピュータなどの汎用コンピュータの他、携帯電話機、ゲーム機などコンピュータ・ネットワーク５０との通信機能を備えた機器が適用される。
　ここで、入稿・審査インターフェース装置３２について詳細に説明する。
　図１９は、入稿・審査インターフェース装置３２の内部構成例を示すブロック図である。入稿・審査インターフェース装置３２は、主に入稿・審査判別部５１と、入稿処理部５２と、審査処理部５３から構成されている。
　入稿・審査判別部５１は、クライアント端末装置３６からアクセスがあった場合に、入稿処理を実行したいのか又は審査処理を実行したいのかを判別するものである。
　入稿処理部５２は、入稿・審査判別部５１においてクライアント端末装置３６から入稿処理のためのアクセス要求があった場合に、所定の入稿処理を行うものである。この入稿処理部５２は、ログイン処理部５２Ａと、誘導目的選択部５２Ｂと、誘導先・誘導目的表示画面生成部５２Ｃと、クリエイティブ入稿部５２Ｄを含むように構成されている。
　ログイン処理部５２Ａは、入稿・審査インターフェース装置３２に入稿のためにアクセスしてきたクライアント端末装置３６のログイン処理（認証処理）を行うものである。例えば、クライアント端末装置３６Ａ～３６Ｃに識別符号（ID：Identifier）とパスワードの入力を要求するログイン画面を表示させ、入力された識別符号とパスワードを入稿・審査インターフェース装置３２内に登録されているものと比較して正規のユーザであるかどうかを確認する。このログイン画面については後述する。
　誘導目的選択部５２Ｂは、認証したクライアント端末装置３６に誘導目的（キャンペーンやサイトなど）の選択を促す誘導目的選択画面を表示させ、どの誘導目的が選択されたかを判別するものである。この誘導目的選択画面については後述する。
　誘導先・誘導目的表示画面生成部５２Ｃは、誘導目的選択部５２Ｂの判別結果に基づいて、後述する誘導先・誘導目的表示画面を生成するものである。　
　クリエイティブ入稿部５２Ｄは、誘導先・誘導目的表示画面を通じてクライアント端末装置３６からアップロードされたクリエイティブを受信し、所定のメタデータと対応づけてクリエイティブ・データベース３３Ａに一時的に保存するものである。
　また審査処理部５３は、入稿・審査判別部５１においてクライアント端末装置３６から審査処理のためのアクセス要求があった場合に、所定の審査処理を行うものである。この審査処理部５３は、ログイン処理部５３Ａと、誘導目的選択部５３Ｂと、不適切クリエイティブ選択部５３Ｃと、不適切クリエイティブ削除部５３Ｄを含むように構成されている。
　ログイン処理部５３Ａは、ログイン処理部５２Ａと同様に、入稿・審査インターフェース装置３２に審査のためにアクセスしてきたクライアント端末装置３６Ａ～３６Ｃのログイン処理（認証処理）を行うものである。例えば、クライアント端末装置３６Ａ～３６Ｃに識別符号（ＩＤ）とパスワードの入力を要求するログイン画面を表示させ、入力された識別符号とパスワードを入稿・審査インターフェース装置３２内に登録されているものと比較して正規のユーザであるかどうかを確認する。このログイン画面は、ログイン処理部５２Ａにより表示されるものと同様の外観でもよい。
　誘導目的選択部５３Ｂは、認証したクライアント端末装置３６に誘導目的（キャンペーンやサイトなど）の選択を促す誘導目的選択画面を表示させ、どの誘導目的が選択されたかを判別するものである。この誘導目的選択画面は、ログイン処理部５３Ａにより表示されるものと同様の外観でもよい。
　不適切クリエイティブ選択部５３Ｃは、誘導目的選択部５３Ｂの判別結果に基づいて、入稿されたクリエイティブ一覧を示す画面を生成し、このクリエイティブ一覧画面をクライアント端末装置３６に表示させるものである。そして、ユーザに不適切なクリエイティブの選択を促し、どのクリエイティブが不適切なものとして選択されたかを判別する。このクリエイティブ一覧画面については後述する。
　不適切クリエイティブ削除部５３Ｄは、不適切クリエイティブ選択部５３Ｃの判別結果に基づいて、クリエイティブ・データベース３３Ａ内に一時的に保存したクリエイティブに対し所定の処理を行うものである。すなわち、適切なクリエイティブはクリエイティブ・データベース３３Ａに保存し、不適切とされたクリエイティブをクリエイティブ・データベースから削除する。
　なお、入稿処理部５２と審査処理部５３のそれぞれにログイン処理部５２Ａ，５３Ａと誘導目的選択部５２Ｂ，５３Ｂを設けたが、入稿・審査インターフェース装置３２内にそれぞれ一つのみ設けて入稿処理と審査処理で共用してもよい。
　次に、クリエイティブ・データベース３３Ａに保存されるデータについて説明する。
　クリエイティブ・データベース３３Ａには、主に各クリエイティブを管理するクリエイティブ・テーブルと、誘導目的（キャンペーン、サイトなど）ごとに案件を管理する案件テーブルが保存される。
　図２０は、クリエイティブ・テーブルの例を示す図である。
　クリエイティブ・テーブル６１（クリエイティブＤＢ）は、クリエイティブＩＤにより各クリエイティブの識別及び管理を行っており、一つのクリエイティブＩＤに対応してクリエイティブ情報と制作者情報が登録されている。
クリエイティブ情報には、例えばクリエイティブデータ（テキスト、静止画、動画、音楽など）、誘導先データ（リンク先ＵＲＬ（Uniform Resource Locator）など）、インプレッション数、クリック数、コンバージョン数、ＣＴＲ（クリック数）、ＣＶＲ（コンバージョン率）、信頼性、期待ＣＴＲ、期待ＣＶＲなどが含まれる。また、制作者情報には、制作者を識別するための制作者ＩＤが少なくとも含まれる。
　図２１は、案件テーブルの例を示す図である。
　案件テーブル６２（案件ＤＢ）は、案件ＩＤにより各案件の識別及び管理を行っており、一つの案件ＩＤに対応して基本情報とクリエイティブ情報が登録されている。
　基本情報は、クライアントデータ、誘導先データ（リンク先のＵＲＬ（Uniform Resource Locator））、締切日、当該案件の目的などが含まれる。また、クリエイティブ情報には、複数のクリエイティブＩＤ（入稿されて審査の終了したもの）が含まれている。
　次に、クリエイティブ最適化サーバ３３について詳細に説明する。
　図２２は、クリエイティブ最適化サーバ３３の内部構成例を示すブロック図である。クリエイティブ最適化サーバ３３は、クリエイティブ入出力部７１と、イベント判定部７２と、ログ記録部７３と、指標演算部７４と、信頼性・期待値演算部７５と、読出確率演算部７６と、対価演算部７７とを含むようにして構成されている。
　クリエイティブ入出力部７１は、クリエイティブと誘導目的のリンク先情報をクリエイティブ・データベース３３Ａ内の候補の中からある確率で呼び出すものである。具体的には、例えば読出確率演算部７６で計算された確率に従って、クリエイティブ・データベース３３Ａから期待値の高いクリエイティブを読み出す。またクリエイティブ入出力部７１は、読出確率演算部７６から供給される読出し確率が変更されたクリエイティブを、コンピュータ・ネットワーク５０を通じてウェブサーバ３５Ａや広告配信サーバ３５Ｂ等へ出力するものである。なおクリエイティブ入出力部７１は、特許請求の範囲に記載したクリエイティブ出力部の一例である。
　イベント判定部７２は、クライアント端末装置３６による処理内容、例えばクリエイティブのインプレションか、又はどのクリエイティブがクリックされたのか、或いはどのクリエイティブに対するアクションであるのかなどの情報（イベント）の内容を判定するものである。
　ログ記録部７３は、イベント判定部７２の判定結果のログを、記録手段である図示しない不揮発性のメモリに記録するものである。
　指標演算部７４は、ログ記録部７３により記録されたログに基づいて、正規分布で表されるクリエイティブの評価指標、例えばクリック率やコンバージョン率などを計算するものである。
　信頼性・期待値演算部７５は、特許請求の範囲に記載した信頼性演算部又は期待値演算部の一例であり、クリエイティブの評価指標を計算した時点のインプレッション数に基づいて、当該評価指標の信頼性を計算し、さらに評価指標と信頼性から期待値を計算するものである。信頼性及び期待値についての演算は、上述した式（３），式（６）を利用して行う。
　読出確率演算部７６は、信頼性・期待値演算部７５が計算した期待値に基づいて、クリエイティブの読出し確率（露出頻度）を変更するものである。例えば計算の結果、あるクリエイティブの期待値が高かった場合は、露出する確率の傾斜をそのクリエイティブの露出が多くなるように変更する。すなわち、あるクリエイティブにおける期待値がクリエイティブ全体の期待値の総和に占める割合を計算し、その割合に基づいて露出頻度を決定する。したがって、期待値の高いクリエイティブは全体に占める割合が高くなり、露出頻度が増える。一方、期待値の低いクリエイティブは全体に占める割合が低くなり、露出頻度が減る。
　対価演算部７７は、指標演算部７４が計算したクリエイティブの評価指標と、信頼性・期待値演算部７５が計算した期待値とに基づいて、クリエイティブ制作の対価（ポイント等）を計算するものである。
　なお、本実施の形態のクリエイティブ最適化サーバ３３においては、クリエイティブ及びリンク先のＵＲＬ情報を外部に送信する機能を明記していないが、サーバの性質上外部へデータを送信するクリエイティブ送信部を当然に備えている。また、クリエイティブ最適化サーバ３３内の各処理部は、一つのサーバであるクリエイティブ最適化サーバ３３内に構成されているが、一体ではなく別々のサーバに格納してもよい。
　次に、クライアント端末装置３６Ａ～３６Ｃの内部構成について説明する。
　図２３は、クライアント端末装置３６Ａ～３６Ｃがパーソナルコンピュータ等の汎用コンピュータである場合の構成例を示すブロック図である。
　コンピュータ８０のＣＰＵ（Central Processing Unit）８１は、ＲＯＭ（Read Only Memory）８２、または記録部８８に記録されているプログラムに従って、一連の処理の他
、各種の処理を実行する。ＲＡＭ（Random Access Memory）８３には、ＣＰＵ８１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３は、バス８４により相互に接続されている。
　ＣＰＵ８１にはまた、バス８４を介して入出力インターフェース８５が接続されている。入出力インターフェース８５には、キーボード、マウス、マイクロホンなどよりなる入力部８６、ディスプレイ、スピーカなどよりなる出力部８７が接続されている。ＣＰＵ８１は、入力部８６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８１は、処理の結果を出力部８７に出力する。
　入出力インターフェース８５に接続されている記録部８８は、例えばハードディスクからなり、ＣＰＵ８１が実行するプログラムや各種のデータを記録する。
　通信部８９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また通信部８９を介してプログラムを取得し、記録部８８に記録してもよい。
　入出力インターフェース８５に接続されているドライブ９０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部８８に転送され、記録される。
　コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、リムーバブルメディア９１によりパッケージメディアとして提供される。リムーバブルメディア９１としては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ－ＲＯＭ（Compact Disc
- Read Only Memory），ＤＶＤ（Digital Versatile Disc），光磁気ディスクを含む）
、もしくは半導体メモリなどを適用することができる。あるいは、プログラム記録媒体は、プログラムが一時的もしくは永続的に格納（記録）されるＲＯＭ８２や、記録部８８を構成するハードディスクなどにより構成される。
　このプログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部８９を介して、ローカルエリアネットワーク(LAN：Local Area Network)、インターネット、デジタル衛星放送といった、有線または無線の通信媒
体を利用して行われる。
　なお、汎用コンピュータ８０を用いてクライアント装置３６を構成する場合について説明したが、この汎用コンピュータ８０を適用して入稿・審査インターフェース装置３２及びクリエイティブ最適化サーバ３３を構成することもできる。
　次に、このように構成されたクリエイティブ最適化システム３０の動作について説明する。始めに、図２４のフローチャートを参照して入稿・審査インターフェース装置３２による入稿処理を説明する。
　前提として、ユーザがクライアント端末装置３６からクリエイティブ審査システムへのログインを試みることで下記入稿処理が開始される。
　まずステップＳ１１において、コンピュータ・ネットワーク５０を介してクライアント端末装置３６からのアクセスがあった場合、入稿・審査インターフェース装置３２の入稿・審査判別部５１は入稿処理の要求か否かを判定する。入稿処理であった場合、入稿処理部５２のログイン処理部５２Ａがクライアント端末装置３６（ユーザ）のログイン処理を行う。この処理が終了後、ステップＳ１２の処理に進む。
　図２５は、ログイン処理時にクライアント端末装置３６に表示されるログイン画面の例を示す図である。本実施の形態では、ログイン画面１０１においてユーザのＩＤ及びパスワードの入力を要求するようにしている。なお、ログイン処理時にクライアント端末装置３６に表示されるログイン画面の例はこれに限られるものではない。
　ステップＳ１２において、入稿・審査インターフェース装置３２の誘導目的選択部５２Ｂは、認証したクライアント端末装置３６に誘導目的（キャンペーンやサイトなど）の選択を促す誘導目的選択画面を表示させる。この処理が終了後、ステップＳ１３の処理に進む。
　図２６は、クライアント端末装置３６に表示される誘導目的選択画面の例を示す図である。誘導目的選択画面１０２において、例えばキャンペーン名、締切日、誘導先のＵＲＬが表示される。本実施の形態では、カーソル１０２ａが広告Ａの上にあるので広告Ａが選択された例となっている。なお、誘導目的選択画面の例はこれに限られるものではない。
　ステップＳ１３において、誘導目的選択部５２Ｂはクライアント端末装置３６の応答内容からどの誘導目的（例えばキャンペーン名）が選択されたかを判別する。この処理が終了後、ステップＳ１４の処理に進む。
　ステップＳ１４において、誘導先・誘導目的表示画面生成部５２Ｃは、誘導先・誘導目的表示画面として図２７に示すような誘導目的と投稿フォームの表示画面１０３、さらには図２８に示すような誘導目的と投稿内容確認の表示画面１０５を、クライアント端末装置３６に表示させる。この処理が終了後、ステップＳ１５の処理に進む。図２７，図２８に示す表示画面１０３，１０５の内容については後述する。
ステップＳ１５において、表示画面１０３，１０５等を通じてユーザがクライアント端末装置３６からのクリエイティブの入稿処理を完了すると、入稿・審査インターフェース装置３２はアップロードされたクリエイティブを受信する。この処理が終了後、ステップＳ１６の処理に進む。
　ステップＳ１６において、入稿・審査インターフェース装置３２のクリエイティブ入稿部５２Ｄは、受信したクリエイティブをクリエイティブ・データベース３３Ａに一時的に保存する。この処理が終了後、一連の入稿処理を終了する。
　図２７に示す誘導目的と投稿フォームの表示画面１０３について説明する。
　誘導目的と投稿フォームの表示画面１０３は、例えばキャンペーン名、締切日及び誘導先のＵＲＬ情報を含む誘導目的欄１０３ａ、入稿に際してのコメント欄１０３ｂ、投稿フォーム１０４等を表示する。投稿フォーム１０４は、誘導先選択欄１０４ａ（誘導先が複数の場合）、入稿クリエイティブのタイトル欄１０４ｂ、本文欄１０４ｃ、画像ファイルの種類を選択するためのファンクションキー群１０４ｄ、クリエイティブ表示欄１０４ｅ、写真ファイルの格納先表示欄１０４ｆ、アイコン表示された入力内容確認ボタン１０４ｇ等を有している。ユーザはクリエイティブを投稿したら、入力内容確認ボタン１０４ｇを図示しないマウス等のポインティングデバイスを利用してクリックし、投稿内容確認画面の表示画面１０５（図２８参照）へ遷移する。
　図２８に示す誘導目的と投稿内容確認の表示画面１０５について説明する。図２８において、図２７の各部分と対応する部分については重複を避けるため説明を省略する。
　誘導目的と投稿内容確認の表示画面１０５は、誘導目的欄１０３ａ、コメント欄１０３ｂ、投稿フォーム１０６等を表示する。投稿フォーム１０６は、誘導先選択欄１０６ａ、タイトル確認欄１０６ｂ、本文確認欄１０６ｃ、クリエイティブ確認欄１０６ｄ、圧縮確認欄１０６ｅ、作成ボタン１０６ｆ、戻るボタン１０６ｇ等を有している。本例のクリエイティブ確認欄１０６ｄには、３つのクリエイティブ１０６ｄ１～１０６ｄ３と各クリエイティブが記録されているファイルシステム上の位置を表すパスが表示されている。
　ユーザは、投稿したクリエイティブに問題がなければ、作成ボタン１０６ｆを図示しないマウス等のポインティングデバイスを利用してクリックし、作業を終了する。クリエイティブを投稿し直す場合は、戻るボタン１０６ｇをクリックし、前画面である誘導目的と投稿フォームの表示画面１０３に戻って再編集する。
　図２９は、入稿フォーム１０４の下に続けて既に入稿されたクリエイティブを表示した例を示す図である。
　このように表示した場合、ユーザは自分以外のアフィリエイタが投稿したクリエイティブを閲覧することができる。本実施の形態では、投稿フォーム１０４の下に、ユーザ１０７ｃから投稿されたクリエイティブ１０７ａとタイトル１０７ｂを含む投稿画面１０７が表示されている。さらに、投稿画面１０７を受けて他のユーザ１０８ｃから投稿されたクリエイティブ１０８ａとタイトル１０８ｂを含む投稿画面１０８が表示されている。このように投稿画面をタイトル付きで時系列で表示することにより、投稿の流れが時系列で把握できるとともに、他のユーザとコミュニケーションをとりながら投稿することができる。
　次に、図３０のフローチャートを参照して入稿・審査インターフェース装置３２による審査処理を説明する。
　前提として、ユーザがクライアント端末装置３６上で図２５に示すようなログイン画面を表示させ、クリエイティブ審査システムへのログインを試みることで下記審査処理が開始される。
　まずステップＳ２１において、コンピュータ・ネットワーク５０を介してクライアント端末装置３６からのアクセスがあった場合、入稿・審査インターフェース装置３２の入稿・審査判別部５１は審査処理の要求か否かを判定する。審査処理であった場合、審査処理部５３のログイン処理部５３Ａがクライアント端末装置３６（ユーザ）のログイン処理を行う。この処理が終了後、ステップＳ２２の処理に進む。
　ステップＳ２２において、入稿・審査インターフェース装置３２の誘導目的選択部５３Ｂは、認証したクライアント端末装置３６に誘導目的（キャンペーンやサイトなど）の選択を促す誘導目的選択画面（例えば図２６参照）を表示させる。この処理が終了後、ステップＳ２３の処理に進む。
　ステップＳ２３において、誘導目的選択部５３Ｂはクライアント端末装置３６の応答内容からどの誘導目的（例えばキャンペーン名）が選択されたかを判別する。この処理が終了後、ステップＳ２４の処理に進む。
　ステップＳ２４において、不適切クリエイティブ選択部５３Ｃは、誘導目的選択部５３Ｂの判別結果に基づいて、入稿されたクリエイティブ一覧を示す画面を生成し、このクリエイティブ一覧画面をクライアント端末装置３６に表示させる。この処理が終了後、ステップＳ２５の処理に進む。
　図３１は、審査画面の例を示す図である。
　審査画面１１０は、例えばキャンペーン名、締切日及び誘導先のＵＲＬ情報を含む誘導目的欄１１０ａ、入稿に際してのコメント欄１１０ｂ、不適切クリエイティブへのチェックを促す指示欄１１０ｃ、誘導先欄１１０ｄ、クリエイティブ表示領域１１０ｅ、確認終了ボタン１１０ｇを含んでいる。クリエイティブ表示領域１１０ｅでは、各クリエイティブの下にチェックボックスが表示されており、例えば著作権侵害といった法に触れる、或いは公序良俗に反するなどの不適切なクリエイティブにチェックを入れることができる。ここでは、クリエイティブの数を集めることが目的であるので、クリエイティブの美的外観や魅力を積極的にチェックすることはしない。本実施の形態では、チェックボックス１１０ｆ１，１１０ｆ２にチェックが入っており、この２つのクリエイティブが消去対象であることを表している。
　図３０のフローチャートの説明に戻る。ステップＳ２５において、不適切クリエイティブ選択部５３Ｃは、図３１に示す審査画面１１０上でどのクリエイティブが不適切なものとして選択されたかを判別する。この処理が終了後、ステップＳ２６，Ｓ２７の処理を実行する。不適切クリエイティブ削除部５３Ｄは、不適切クリエイティブ選択部５３Ｃの判別結果に基づいて、クリエイティブ・データベース３３Ａ内に一時的に保存したクリエイティブに対し以下の処理を行う。
　ステップＳ２６において、チェックボックスにチェックマークのないクリエイティブを、適切なクリエイティブであるとしてクリエイティブ・データベース３３Ａに保存する。
　また、ステップＳ２７において、チェックボックスにチェックマークが付され不適切であるとされたクリエイティブを、クリエイティブ・データベース３３Ａから削除する。
　上記ステップＳ２６，Ｓ２７の処理が終了後、一連の審査処理を終了する。
　以上のようにして集めた多数のクリエイティブについて期待値を計算し、期待値の高いクリエイティブから優先的にネットワーク上に露出する、すなわちクリエイティブ最適化処理を実施する。図３２のシーケンス図を参照して本実施の形態におけるクリエイティブ最適化処理を説明する。
　まず、前提として、クライアント端末装置３６にクリエイティブ最適化サーバ３３へのアクセス処理を実行するプログラム３４を配信してある（図１４参照）。
　そこで、ステップＳ３１において、クライアント端末装置３６はブラウザを起動するなどの所定のトリガに基づいて、クリエイティブ最適化サーバ３３を呼び出すプログラム３４を起動する。この処理が終了後、ステップＳ３２に進む。なお、本実施の形態では、何らかのトリガによってクライアント端末装置３６が自動的にクリエイティブ最適化サーバ３３を呼び出すようにしているがこの例に限られるものではない。例えばユーザ操作に従ってクリエイティブ最適化サーバ３３の呼び出しを実行するなど、種々の形態が考えられる。
　ステップＳ３２において、クライアント端末装置３６は、クリエイティブ最適化サーバに対して３３に呼び出しコマンドを送信する。この処理が終了後、ステップＳ３３の処理に進む。
　ステップＳ３３において、クリエイティブ最適化サーバ３３のクリエイティブ読出部７１は、クリエイティブ・データベース３３のクリエイティブ・テーブル６１を参照して、複数の候補の中からある確率でクリエイティブとリンク先の情報（ハイパーリンク）を抽出する。この処理が終了後、ステップＳ３４，Ｓ３５の処理に進む。
　ステップＳ３４において、クリエイティブ最適化サーバ３３のクリエイティブ送信部は、ハイパーリンク付きクリエイティブをクライアント端末装置３６に送信する。この処理が終了後、ステップＳ３７の処理に進む。
　一方、ステップＳ３５において、ステップＳ３３の処理が終了後に、クリエイティブ最適化サーバ３３のイベント判定部７２はクリエイティブのインプレッションが生じたことを検出する。また、ログ記録部７３が該当クリエイティブのインプレッションをログに残す。そして、指標演算部７４及び信頼性・期待値演算部７５が動作して、その時点における当該クリエイティブの信頼性と期待値を計算するとともに、クリエイティブ・テーブル６１（図２０参照）の情報を更新する。この処理が終了後、ステップＳ３６の処理に進む。
　ステップＳ３６において、クリエイティブ最適化サーバ３３の読出確率演算部７６が上記期待値に基づいて該当クリエイティブを呼び出す確率を変更する。
　ステップＳ３７においては、上記ステップＳ３４の処理が終了後、クライアント端末装置３６はクリエイティブ端末装置３３から送られたハイパーリンク付きクリエイティブを表示画面に表示する。この処理が終了後、ステップＳ３８の処理に進む。
　ステップＳ３８において、クライアント端末装置３６は、当該クリエイティブに埋め込まれたハイパーリンクのクリックの有無を監視する。ハイパーリンクがクリックされた場合はステップＳ３９の処理に進む。一方、ハイパーリンクがクリックされない場合はステップＳ４３の処理に進む。
　ステップＳ３９において、クライアント端末装置３６は、クリエイティブ最適化サーバ３３にクリック情報を送信する。この処理が終了後、ステップＳ４０の処理に進む。　
　ステップＳ４０において、クリエイティブ最適化サーバ３３のイベント判定部７２は当該クリエイティブに埋め込まれたハイパーリンクがクリックされたことを検出する。この処理が終了後、ステップＳ４１の処理に進む。
　ステップＳ４１において、クリエイティブ最適化サーバ３３のログ記録部７３が該当クリエイティブのクリックの履歴をログに残す。そして、指標演算部７４及び信頼性・期待値演算部７５が動作してその時点における当該クリエイティブの信頼性と期待値を計算するとともに、クリエイティブ・テーブル６１の情報を更新する。この処理が終了後、ステップＳ４２の処理に進む。
　ステップＳ４２において、クリエイティブ最適化サーバ３３の読出確率演算部７６が上記期待値に基づいて該当クリエイティブを呼び出す確率を変更する。
　またステップＳ４３においては、当該クリエイティブに埋め込まれたハイパーリンクがクリックされた場合、クライアント端末３６はハイパーリンクで示される誘導先のウェブコンテンツを表示画面に表示する。この処理が終了後、ステップＳ４４に進む。
　ステップＳ４４において、クライアント端末装置３６は、誘導先のウェブコンテンツに対して何らかのアクションがなされたかどうかを監視する。アクションありの場合、ステップＳ４５の処理に進む。ここでのアクションとは、例えば該当クリエイティブが広告であった場合には、その広告に掲載された商品の購入やカタログ請求など、広告主が期待する最終的な成果（コンバージョン）に繋がるユーザのクリエイティブに対する行動を指す。
　ステップＳ４５において、クライアント端末装置３６は、クリエイティブ最適化サーバ３３にアクション情報を送信する。この処理が終了後、ステップＳ４６の処理に進む。
　ステップＳ４６において、クリエイティブ最適化サーバ３３のイベント判定部７２は当該クリエイティブの誘導先に対して行われたアクションであることを検出する。この処理が終了後、ステップＳ４７の処理に進む。
　ステップＳ４７において、クリエイティブ最適化サーバ３３のログ記録部７３が該当クリエイティブのアクションの履歴をログに残す。そして、指標演算部７４及び信頼性・期待値演算部７５が動作してその時点における当該クリエイティブの信頼性と期待値を計算するとともに、クリエイティブ・テーブル６１の情報を更新する。この処理が終了後、ステップＳ４８の処理に進む。
　ステップＳ４８において、クリエイティブ最適化サーバ３３の読出確率演算部７６が上記期待値に基づいて該当クリエイティブを呼び出す確率を変更する。
　次に、入稿されたクリエイティブの結果表示とポイント分配について具体例を挙げて説明する。
　図３３は、入稿クリエイティブの結果表示画面の例を示す図である。
　例えば、広告主がクリエイティブ入稿の応募を締め切った時点から結果が表示が開始される。本実施の形態では、広告主がクリエイティブの応募を締め切って掲載の開始を宣言したコメント画面１２１が表示されるとほぼ同時に、結果を示すクリエイティブランキング画面１２２が表示されている。クリエイティブランキング画面１２２では、例えば入稿クリエイティブ１２２ａ、アフィリエイタ１２２ｂ、インプレッション数（Ｉｍｐ数）１２２ｃ、クリック数１２２ｄ、クリック率（ＣＴＲ）１２２ｅなどの項目が表示される。
　図３４は、図３３に示した各クリエイティブに対して期待値に応じてポイントを分配した例を示す図である。
　クリエイティブランキング画面１２２Ａの上に、広告主が結果に対してコメントを出しているコメント画面１２１Ａが表示されている。また、クリエイティブランキング画面１２２Ａには、図３３で示した項目に加え、期待ＣＴＲ１２２ｆ、獲得ポイント１２２ｇが表示される。この実施の形態において、クリック率１２２数に基づいて獲得ポイント１２２ｇを決定し、そこへ上位３名のアフィリエイタ（Ａさん、Ｂさん、Ｃさん）に対し、順位に応じたボーナスを付与している。獲得ポイントは、クリック数に限らず、クリック率でもよいし、期待ＣＴＲでもよいし、さらにはその他の数値に基づいて決定してもよい。さらにはそれらを組み合わせて獲得ポイントを計算するようにしてもよい。
　図３５は、本発明を適用後の各ステークホルダの関係改善の例を示す図である。
　本発明の新広告システム（クリエイティブ最適化システム）を利用することにより、広告主１に対し、クリエイティブのクリック率を上げる等の実効果すなわち多くのクリエイティブから最適化を図るという実効果を供与することができる。広告主１にとっては、意欲の高いクリエイタによる良質かつ多数のクリエイティブの中から良いものを自動で選ぶという納得感と効果によって、アフィリエイタとのマッチングが得られる。なお、良いクリエイティブは広告主１に買い取ってもらう仕組みとしてもよい。
　また、代理店２に対しては、新広告システム（クリエイティブ最適化システム）を運用することにより媒体費として販売マージンを落とす利益を供与することができる。つまり、一般ユーザがアフィリエイタとなって多数の良質なクリエイティブを集めることができるので、制作費を安く抑えることができる。
　また、アフィリエイタ３に対しては、納得感のある分配（報酬）とコミュニティによるモチベーションの喚起を供与することができる。アフィリエイタ３は、お金だけではなく世の中からの評価も求めており、そんなアフィリエイタ３の地位向上も図れる。
　ここで、実際に最適化前及び最適化後のクリエイティブのクリック率を測定した結果を図３６に示す。
　図３６の例は、メディアＡ～Ｊに掲載した同一のクリエイティブについて「インプレッション数（Ｉｍｐ）」、「クリック数（Ｃｌｉｃｋ）」、「クリック率（ＣＴＲ）」をそれぞれ最適化前と最適化後で測定したデータである。全メディアについてそれぞれ、平均約１００万インプレッションのデータを測定している。図３７に、図３６の測定データをプロットしたグラフを示す。
　図３７において、横軸に最適化前後のインプレッション数、縦軸はクリック率を示す。この例では、メディアＡ～Ｊの全体平均で、最適化前と最適化後でクリック率が２．０３倍に向上していることがわかる。このようにメディアＡ～Ｊのいずれも最適化前と最適化後でクリック率が大幅に向上しており、顕著な最適化効果が得られている。つまり、図３６及び図３７の例は、どのようなメディアであってもたくさんのクリエイティブを掲載して本発明の仕組みを適用すればクリック率の大幅な向上に繋がる、ということを証明している。
　図３８は、あるクリエイティブについて通常配信（最適化前）及び最適化後の接触回数別のクリック率を示したグラフである。
　図３８において、横軸に接触回数（フリークエンシー）、縦軸はクリック率を示す。図３８の例では、接触回数が２のデータには、１回目の露出でクリックされたかどうかは関係なく、２回目の露出のときにクリックされたかどうかを示している。つまり、
（１）接触回数１のクリック率は、接触回数が１回目だけの場合のクリック率
（２）接触回数２のクリック率は、接触回数が２回目だけの場合のクリック率
を単純に表している。接触回数が３以降についても同様である。
　図３８の例では、通常配信及び最適化後ともに、露出が１回目より２回目、２回目より３回目というように露出が増えるほどクリック率が下がる。本発明は、全体の中から優秀なクリエイティブを残していくというものであるが、結果的に優秀なクリエイティブは接触回数が１（初回）のときもクリック率が高く、かつ、その後も通常より高い数値で推移しながら徐々にクリック率が下っていく。このことから純粋にクリエイティブの質により初回のクリック率だけでなく、その後のクリック率についても向上することが推定され、接触回数が１０回前後で約３倍程度の優位が確認できる。クリエイティブのパフォーマンスが向上した結果、クリエイティブの鮮度が長持ちすると言い換えることもできる。
　以上説明した本実施の形態によると、クリック率やコンバージョン率の信頼度を関数化することにより未来における価値を予測し、効率よく、より早く良いクリエイティブを抽出できる。
　また、クリエイティブ自体を選択してしまうのではなく、露出確率に傾斜をかけて、良いクリエイティブを拾いあげることができる。また、信頼性という概念を取り入れていることによって現実に即しており、この点で特許文献１に記載されたものと比較して有効性が極めて高いと言える。
　本発明は、特許文献１に記載された発明とは異なり、広告にとどまらずハイパーリンクの最適化を図るという点でも異なる。さらに、クリック率やコンバージョン率を使用するものの、クリック率やコンバージョン率自体を評価するわけではないので、この点も従来技術と大きく異なる。
　ビジネスモデルの観点からみると、従来、多数のクリエイティブを作ること自体が経済合理性に合わないところを、外部からも含めてオープンに集めることによって、より多くのクリエイティブを集めることができるようになる。
　また、それらのクリエイティブを人が審査するのではなく、ひとまず全て露出して試すことにより、よいクリエイティブを抽出する可能性を大きくすることができる。
　また、少ない露出回数かつ短期間でそのクリエイティブの中から最適なものを抽出することができる。
　また、その効果を価値ギャップの高い広告や検索結果のページ等に導入することで、アフィリエイタはより良い報酬を得ることができる。
　さらに、最速でクリック率が高い、あるいはコンバージョン率が高いものを抽出することができる。単純に現時点でクリック率やコンバージョン率を比較するのではなく、統計的手法を組み合わせることでそのクリエイティブの期待値を算出することにより、少ないサンプル（露出回数）からでもよりクリエイティブを割り出すことが可能になる。
　なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また、これらの処理を実行する機能はハードウェアとソフトウェアの組み合わせによっても実現できることは言うまでもない。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
　また、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
　また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　　３２…入稿・審査インターフェース装置、３３…クリエイティブ最適化サーバ、３３Ａ…クリエイティブ・データベース、５１…入稿審査判別部、５２…入稿処理部、５２Ａ…ログイン処理部、５２Ｂ…誘導目的選択部、５２Ｃ…誘導先・誘導目的表示画面生成部、５２Ｄ…クリエイティブ入稿部、５３…審査処理部、５３Ａ…ログイン処理部、５３Ｂ…誘導目的選択部、５３Ｃ…不適切クリエイティブ選択部、５３Ｄ…不適切クリエイティブ削除部、６１…クリエイティブ・テーブル、６２…案件テーブル、７１…クリエイティブ入出力部、７２…イベント判定部、７３…ログ記録部、７４…指標演算部、７５…信頼性・期待値演算部、７６…読出確率演算部、７７…対価演算部

Claims (10)

  1. 　評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する指標演算部と、
    　前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する信頼性演算部と、
    　前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する期待値演算部と、
    　前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更する読出確率演算部と、
    　前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させるクリエイティブ出力部と、
    　を含むクリエイティブ最適化サーバ。
  2. 　前記評価指標の信頼性に対し、前記評価指標を算出した時点の該当クリエイティブの露出回数に応じた定数を乗算する
    　請求項１に記載のクリエイティブ最適化サーバ。
  3. 　前記評価指標はクリック率である
    　請求項２に記載のクリエイティブ最適化サーバ。
  4. 　前記評価指標はコンバージョン率である
    　請求項２に記載のクリエイティブ最適化サーバ。
  5. 　複数のクリエイティブを蓄積するクリエイティブ・データベースと、
    　評価指標とクリエイティブの個数の関係が正規分布となる前記クリエイティブ・データベースに蓄積された複数のクリエイティブについて、それぞれの評価指標を算出する指標演算部と、前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する信頼性演算部と、前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する期待値演算部と、前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更する読出確率演算部と、前記クリエイティブ・データベースに蓄積された複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させるクリエイティブ出力部と、を含むクリエイティブ最適化サーバと、
    　を含むクリエイティブ最適化システム。
  6. 　前記電気通信回線を介してクリエイティブの入稿を受け付けて、前記クリエイティブ・データベースに蓄積するインターフェース装置、をさらに含む
    　請求項５に記載のクリエイティブ最適化システム。
  7. 　前記インターフェース装置は、ユーザ操作に基づいて入稿された複数のクリエイティブから不適切なクリエイティブを選択できる審査画面データを、前記電気通信回線へ出力する
    　請求項６に記載のクリエイティブ最適化システム。
  8. 　前記前記インターフェース装置は、電気通信回線上のウェブサーバに露出された複数のクリエイティブの前記評価指数及び前記期待値を順位付けした情報を表示する画面データを、前記電気通信回線へ出力する　請求項７に記載のクリエイティブ最適化システム。
  9. 　評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出するステップと、
    　前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出するステップと、
    　前記評価指標と前記信頼性から当該評価指標に対する期待値を算出するステップと、
    　前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出頻度を変更するステップと、
    　前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させるステップと、
    　を含むクリエイティブ最適化方法。
  10. 　評価指標とクリエイティブの個数の関係が正規分布となる複数のクリエイティブについて、それぞれの評価指標を算出する機能と、
    　前記評価指標を算出した時点の該当クリエイティブの露出回数に基づいて、前記露出回数を極大化した場合の前記評価指標の信頼性を算出する機能と、
    　前記評価指標と前記信頼性から当該評価指標に対する期待値を算出する機能と、
    　前記期待値演算部で算出した期待値に基づいて、該当クリエイティブの露出回数を変更する機能と、
    　前記複数のクリエイティブの中から高い露出頻度のクリエイティブを抽出してハイパーリンクを付属し、前記ハイパーリンク付きのクリエイティブを電気通信回線を介してウェブページに露出させる機能を、
    　コンピュータに実現させるためのプログラム。
PCT/JP2009/058568 2008-05-02 2009-05-01 クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム WO2009133949A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-120515 2008-05-02
JP2008120515A JP4702642B2 (ja) 2008-05-02 2008-05-02 クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2009133949A1 true WO2009133949A1 (ja) 2009-11-05

Family

ID=41255162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058568 WO2009133949A1 (ja) 2008-05-02 2009-05-01 クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP4702642B2 (ja)
WO (1) WO2009133949A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999298B2 (en) 2004-03-02 2021-05-04 The 41St Parameter, Inc. Method and system for identifying users and detecting fraud by use of the internet
US11301585B2 (en) 2005-12-16 2022-04-12 The 41St Parameter, Inc. Methods and apparatus for securely displaying digital images
US8151327B2 (en) 2006-03-31 2012-04-03 The 41St Parameter, Inc. Systems and methods for detection of session tampering and fraud prevention
US9112850B1 (en) 2009-03-25 2015-08-18 The 41St Parameter, Inc. Systems and methods of sharing information through a tag-based consortium
JP4536156B1 (ja) * 2010-01-25 2010-09-01 隆照 今泉 Ｗｅｂサイトの管理用サーバ、管理方法及び管理プログラム
WO2011105487A1 (ja) * 2010-02-25 2011-09-01 Ｆｒｉｎｇｅ８１株式会社 広告画像配信のためのサーバ装置およびプログラム
JP5265659B2 (ja) * 2010-12-28 2013-08-14 ヤフー株式会社 広告情報提供装置
US10290017B2 (en) * 2011-11-15 2019-05-14 Tapad, Inc. Managing associations between device identifiers
US10754913B2 (en) 2011-11-15 2020-08-25 Tapad, Inc. System and method for analyzing user device information
US9633201B1 (en) 2012-03-01 2017-04-25 The 41St Parameter, Inc. Methods and systems for fraud containment
US9521551B2 (en) 2012-03-22 2016-12-13 The 41St Parameter, Inc. Methods and systems for persistent cross-application mobile device identification
JP5661689B2 (ja) * 2012-06-25 2015-01-28 ヤフー株式会社 コンテンツ配信装置
EP2880619A1 (en) 2012-08-02 2015-06-10 The 41st Parameter, Inc. Systems and methods for accessing records via derivative locators
WO2014078569A1 (en) 2012-11-14 2014-05-22 The 41St Parameter, Inc. Systems and methods of global identification
US10902327B1 (en) 2013-08-30 2021-01-26 The 41St Parameter, Inc. System and method for device identification and uniqueness
US10091312B1 (en) 2014-10-14 2018-10-02 The 41St Parameter, Inc. Data structures for intelligently resolving deterministic and probabilistic device identifiers to device profiles and/or groups
JP6355582B2 (ja) * 2015-03-20 2018-07-11 ヤフー株式会社 評価値算出方法、評価値算出プログラム、及び評価値算出装置
JP6703822B2 (ja) * 2015-11-27 2020-06-03 ヤフー株式会社 選択装置、選択方法、及び選択プログラム
JP7011552B2 (ja) * 2018-08-07 2022-01-26 バリューコマース株式会社 広告管理システム、広告管理方法、および広告管理プログラム
JP7011318B2 (ja) * 2018-09-25 2022-02-10 株式会社Shirofune 広告配信設定装置、広告配信設定方法及び広告配信設定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001048646A1 (fr) * 1999-12-27 2001-07-05 Dentsu Inc. Systeme de gestion de publicite utilisant un modele de portefeuille de publicites
WO2003088079A1 (fr) * 2002-04-17 2003-10-23 Joho Service Corporation Systeme d'edition automatique de revue d'information webjins
JP2007510973A (ja) * 2003-10-17 2007-04-26 クラリア コーポレイション コンピュータネットワーク上での広告活動の最適化
JP2007528058A (ja) * 2004-01-27 2007-10-04 エヌエイチエヌ コーポレーション 検索者の検索要請に応じて検索結果リストを生成して検索語広告を提供する方法および検索語広告提供システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001048646A1 (fr) * 1999-12-27 2001-07-05 Dentsu Inc. Systeme de gestion de publicite utilisant un modele de portefeuille de publicites
WO2003088079A1 (fr) * 2002-04-17 2003-10-23 Joho Service Corporation Systeme d'edition automatique de revue d'information webjins
JP2007510973A (ja) * 2003-10-17 2007-04-26 クラリア コーポレイション コンピュータネットワーク上での広告活動の最適化
JP2007528058A (ja) * 2004-01-27 2007-10-04 エヌエイチエヌ コーポレーション 検索者の検索要請に応じて検索結果リストを生成して検索語広告を提供する方法および検索語広告提供システム

Also Published As

Publication number Publication date
JP4702642B2 (ja) 2011-06-15
JP2009271661A (ja) 2009-11-19

Similar Documents

Publication Publication Date Title
JP4702642B2 (ja) クリエイティブ最適化サーバ、クリエイティブ最適化システム、クリエイティブ最適化方法、並びにプログラム
JP5364208B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US9787760B2 (en) Platform for building virtual entities using equity systems
US10296937B2 (en) Operating a sensor recording marketplace
JP2011520304A (ja) 移動体広告および販売促進のマイクロターゲティング用プラットフォーム
JP2008508619A (ja) 広告データの統合及び集約のためのプラットフォーム
WO2009006551A2 (en) Content distribution system including cost-per-engagement based advertising
CN101730890A (zh) 广告服务系统、设备以及其中所使用的方法
US20160210656A1 (en) System for marketing touchpoint attribution bias correction
CN101802856A (zh) 测定基于位置的广告活动
JP2019191623A (ja) クラウドファンディングシステム、処理方法およびコンピュータプログラム
JP4948573B2 (ja) 広告課金装置及び方法
WO2015024003A2 (en) Integrated system architecture and methods for advertising inventory allocations
WO2007059295A1 (en) Computerized system enabling self-service creation and management of online coupons
JP2009094980A (ja) 投稿動画配信サーバ及び投稿動画配信方法
JP5996502B2 (ja) サービス提供装置、サービス提供方法及びサービス提供プログラム
US20220101347A1 (en) Methods and systems for programmatic control of transmitted electronic content
JP4944287B2 (ja) 情報提供装置、報酬支払処理方法、報酬支払処理プログラム、及び報酬支払処理プログラムが記録された記録媒体
JP5922692B2 (ja) サーバ装置、サービス提供方法及びサービス提供プログラム
JP6283051B2 (ja) サーバ装置、サービス提供方法及びサービス提供プログラム
Chaters Mastering search analytics: measuring SEO, SEM and site search
KR20140013380A (ko) 소셜 네트워크 서비스에 기반한 광고 방법 및 시스템
JP5922691B2 (ja) サービス提供装置、サービス提供方法及びサービス提供プログラム
KR20110048146A (ko) 온라인 광고 자동관리 방법
US20240169451A1 (en) System and method for monitoring conversions attribution to social media activities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738886

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS EPO FORM 1205A DATED 23.02.2011.

122 Ep: pct application non-entry in european phase

Ref document number: 09738886

Country of ref document: EP

Kind code of ref document: A1