JP6203339B1

JP6203339B1 - Determination device, determination method, and determination program

Info

Publication number: JP6203339B1
Application number: JP2016143639A
Authority: JP
Inventors: 僚太中山; 純西村
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2017-09-27
Anticipated expiration: 2036-07-21
Also published as: JP2018013991A

Abstract

【課題】評価結果が有する有意性の検出精度を向上させる。【解決手段】本願に係る判定装置は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出部と、算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定部とを有することを特徴とする。【選択図】図１An object of the present invention is to improve the detection accuracy of significance of evaluation results. A determination apparatus according to the present application is based on a first index value indicating a user's behavior related to first content and a second index value indicating the user's behavior related to second content. Based on the calculated estimated index value, a calculation unit that calculates an estimated index value indicating a user's behavior estimated for the first content for each sample regarding the first content, And a determination unit that determines a significant difference of the index value. [Selection] Figure 1

Description

本発明は、判定装置、判定方法および判定プログラムに関する。 The present invention relates to a determination device, a determination method, and a determination program.

従来、利用者による評価結果の有意性を判定する技術が知られている。このような技術の一例として、あるウェブコンテンツを利用者に評価させた際の評価結果と、同一のウェブコンテンツについて過去に行われた評価結果とを用いることで、評価値の平均値が有するばらつきを減少させ、有意性の判定精度を向上させるＣＵＰＥＤ（Controlled-experiment Using Pre-Experiment Data）といった技術が知られている。 Conventionally, a technique for determining the significance of an evaluation result by a user is known. As an example of such a technique, by using an evaluation result when a user evaluates a certain web content and an evaluation result performed in the past with respect to the same web content, the variation of the average evaluation value is included. There is known a technique such as CUPED (Controlled-experiment Using Pre-Experiment Data) that reduces the amount of error and improves the determination accuracy of significance.

特開２００７−０５２６０１号公報JP 2007-052601 A 特開２０１１―０４３９１１号公報JP 2011-043911 A

“Improving the Sensitivity of Online Controlled Experimentsby Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.“Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.

しかしながら、上述した従来技術では、新たに評価を行った利用者と過去に評価を行った利用者が重複しない場合には、平均値のばらつきが増大し、有意性の検出精度が悪化する場合がある。 However, in the above-described conventional technology, when the user who has newly evaluated and the user who has evaluated in the past do not overlap, the dispersion of the average value may increase, and the detection accuracy of significance may deteriorate. is there.

本願は、上記に鑑みてなされたものであって、評価結果が有する有意性の検出精度を向上させることを目的とする。 The present application has been made in view of the above, and an object thereof is to improve the detection accuracy of significance of an evaluation result.

本願に係る判定装置は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出部と、算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定部とを有することを特徴とする。 The determination apparatus according to the present application is based on the first index value indicating the user's behavior regarding the first content and the second index value indicating the user's behavior regarding the second content. Based on the calculated estimated index value, a calculation unit that calculates an estimated index value indicating a user's behavior estimated for the content of the first content is calculated based on the calculated estimated index value. And a determination unit that determines a significant difference.

実施形態の一態様によれば、評価結果が有する有意性の検出精度を向上させることを目的とする。 According to one aspect of the embodiment, an object is to improve the detection accuracy of the significance of the evaluation result.

図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of a determination process executed by the determination apparatus according to the embodiment. 図２は、実施形態に係る判定装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the determination apparatus according to the embodiment. 図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of information registered in the action history database according to the embodiment. 図４は、実施形態に係る属性データベースに登録される情報の一例を説明する図である。FIG. 4 is a diagram illustrating an example of information registered in the attribute database according to the embodiment. 図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。FIG. 5 is a diagram illustrating an example of a result screen generated by the determination apparatus according to the embodiment. 図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of a flow of determination processing executed by the determination device according to the embodiment. 図７は、ハードウェア構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of a hardware configuration.

以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for carrying out a determination apparatus, a determination method, and a determination program according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. Note that the determination device, the determination method, and the determination program according to the present application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

［実施形態］
〔１−１．判定装置の一例〕
まず、図１を用いて、判定装置が実行する判定処理の一例について説明する。図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。図１では、判定装置１０は、インターネット等の所定のネットワークＮを介して、所定のコンテンツを配信するコンテンツサーバ５１、５２や、管理者端末２００と通信可能である。なお、判定装置１０は、ネットワークＮを介して、利用者Ｕ０１が使用する端末装置１０１、利用者Ｕ０２が使用する端末装置１０２と通信可能であってもよい。 [Embodiment]
[1-1. Example of determination device)
First, an example of determination processing executed by the determination device will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of a determination process executed by the determination apparatus according to the embodiment. In FIG. 1, the determination apparatus 10 can communicate with content servers 51 and 52 that distribute predetermined content and an administrator terminal 200 via a predetermined network N such as the Internet. Note that the determination device 10 may be able to communicate with the terminal device 101 used by the user U01 and the terminal device 102 used by the user U02 via the network N.

端末装置１０１、１０２は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して、コンテンツサーバ５１、５２といった任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１０１、１０２は、スマートデバイスのみならず、デスクトップＰＣやノートＰＣ等の情報処理装置であってもよい。なお、以下の説明では、各利用者Ｕ０１、Ｕ０２が使用する端末装置１０１、１０２を端末装置１００と総称する場合がある。また、以下の説明では、利用者Ｕ０１、利用者Ｕ０２以外にも、任意の数の利用者が使用する任意の数の端末装置１００がコンテンツサーバ５１、５２等と通信可能であるものとする。 The terminal devices 101 and 102 are smart devices such as smartphones and tablets, and communicate with arbitrary server devices such as content servers 51 and 52 via a wireless communication network such as 3G (3rd Generation) or LTE (Long Term Evolution). It is the portable terminal device which can perform. Note that the terminal devices 101 and 102 may be not only smart devices but also information processing devices such as desktop PCs and notebook PCs. In the following description, the terminal devices 101 and 102 used by the users U01 and U02 may be collectively referred to as the terminal device 100. In the following description, it is assumed that any number of terminal devices 100 used by any number of users other than the users U01 and U02 can communicate with the content servers 51 and 52 and the like.

コンテンツサーバ５１、５２は、端末装置１００に対してウェブページ、ウィジェット、静止画像、動画像、ゲーム等といった各種のウェブコンテンツ（以下、「コンテンツ」と記載する。）を配信するサーバ装置である。例えば、コンテンツサーバ５１は、所定のドメインに含まれる第１コンテンツを端末装置１００に送信する。また、コンテンツサーバ５２は、所定のドメインに含まれるコンテンツであって、第１コンテンツとは異なるコンテンツ、すなわち、クロスドメインに含まれる第２コンテンツを端末装置１００に送信する。なお、コンテンツサーバ５１、５２は、同一のサーバ装置により実現されてもよい。また、以下の説明では、コンテンツサーバ５１、５２をコンテンツサーバ５０と総称する場合がある。 The content servers 51 and 52 are server devices that distribute various web contents (hereinafter referred to as “contents”) such as web pages, widgets, still images, moving images, and games to the terminal device 100. For example, the content server 51 transmits the first content included in a predetermined domain to the terminal device 100. Further, the content server 52 transmits content that is included in a predetermined domain and is different from the first content, that is, second content included in the cross domain, to the terminal device 100. The content servers 51 and 52 may be realized by the same server device. In the following description, the content servers 51 and 52 may be collectively referred to as the content server 50.

管理者端末２００は、判定装置１０の管理を行う管理者が使用する端末装置であり、例えば、ＰＣやサーバ装置等により実現される。なお、管理者端末２００は、判定装置１０の管理者のみならず、判定装置１０による判定処理の結果を所望する利用者が使用する端末装置であれば、任意の利用者が使用する端末装置であってよい。 The administrator terminal 200 is a terminal device used by an administrator who manages the determination device 10 and is realized by, for example, a PC or a server device. The administrator terminal 200 is a terminal device used by any user as long as it is a terminal device used by not only the administrator of the determination device 10 but also a user who desires the result of determination processing by the determination device 10. It may be.

判定装置１０は、同一の事象に含まれる標本の有意差を判定する判定装置であり、例えば、サーバ装置やクラウドシステム等により実現される。より具体的な例を説明すると、判定装置１０は、コンテンツサーバ５１が配信した第１コンテンツにおける利用者の行動を示す情報から複数の情報をランダムに選択することで複数の標本を抽出し、抽出した標本同士に統計学的に有意な差が存在するか否かを判定する。より具体的には、判定装置１０は、第１コンテンツにおける利用者の行動を示す標本について、ｔ検定やＺ検定等といった任意の検定手法により標本の有意差を判定する判定装置である。以下の説明では、Ｚ検定を用いた検定を行う例について説明するが、判定装置１０は、以下に説明する判定方法を、任意の検定手法に適用してよい。 The determination device 10 is a determination device that determines a significant difference between samples included in the same event, and is realized by, for example, a server device or a cloud system. To describe a more specific example, the determination apparatus 10 extracts and extracts a plurality of samples by randomly selecting a plurality of information from information indicating user behavior in the first content distributed by the content server 51. It is determined whether there is a statistically significant difference between the obtained samples. More specifically, the determination apparatus 10 is a determination apparatus that determines a significant difference between samples for a sample indicating a user's behavior in the first content by an arbitrary test method such as a t test or a Z test. In the following description, an example in which a test using a Z test is performed will be described. However, the determination apparatus 10 may apply the determination method described below to an arbitrary test method.

〔１−２．コントロールバリエーションについて〕
ここで、一般的な検定手法においては、有意差の判定対象となる標本ごとに平均値を算出し、算出した平均値を用いて有意差が存在するか否かを判定する。例えば、Ｚ検定といわれる手法においては、情報の母集団から１つ以上の情報をランダムに抽出した標本Ｙ^（ｔ）および標本Ｙ^（ｃ）を生成し、以下の式（１）の値が所定の閾値よりも多い場合には、標本Ｙ^（ｔ）および標本Ｙ^（ｃ）に有意差があると判定する。なお、式（１）においてオーバーラインを付したＹ^（ｔ）は、標本Ｙ^（ｔ）として抽出された値の平均値を示し、オーバーラインを付したＹ^（ｃ）は、標本Ｙ^（ｃ）として抽出された値の平均値を示す。なお、以下の説明では、オーバーラインを付した記号は、その記号が示す値の平均値を示すものとする。 [1-2. Control variation)
Here, in a general test method, an average value is calculated for each sample for which a significant difference is to be determined, and it is determined whether there is a significant difference using the calculated average value. For example, in a technique called Z test, a sample Y ^(t) and a sample Y ^(c) are generated by randomly extracting one or more pieces of information from a population of information, and the value of the following equation (1) is predetermined. If it is greater than the threshold value, it is determined that the sample Y ^(t) and the sample Y ^(c) have a significant difference. In Formula (1), Y ^(t) with an overline indicates an average value of values extracted as the sample Y ^(t) , and Y ^(c) with an overline indicates the sample Y ^(c). The average value of the extracted values is shown. In the following description, a symbol with an overline indicates an average value of values indicated by the symbol.

ここで、標本Ｙにｎ個の値ｙ_ｉが含まれる場合、標本Ｙの平均値は、以下の式（２）で示すことができる。 Here, when the sample Y includes n values y _i , the average value of the sample Y can be expressed by the following equation (2).

ここで、式（２）を用いた場合、標本の選択や事象の内容、すなわち、第１コンテンツにおける利用者の行動の情報によっては、平均値の分散が必ずしも小さいとは言えない場合がある。しかしながら、標本の平均値の分散が増大した場合には、有意差の検出精度が悪化する場合がある。 Here, when Expression (2) is used, the variance of the average value may not necessarily be small depending on the selection of the sample and the details of the event, that is, the information on the user's behavior in the first content. However, when the variance of the average value of the sample increases, the detection accuracy of the significant difference may deteriorate.

そこで、コントロールバリエーション（Control Variates）と呼ばれる式を用いて所定の推定量（以下、「推定指標値」と記載する。）を算出し、式（１）に示した平均値に代えて、各標本の推定指標値を用いて、有意差を評価するＣＵＰＥＤと呼ばれる手法が知られている。例えば、ＣＵＰＩＤにおいては、以下の式（３）で示される推定指標値を標本ごとに算出する。ここで、式（３）では、推定指標値をＹ_ｃｖで示した。また、式（３）に示すＸは、標本Ｙとは独立して選択される値であり、θは、Ｘの値に応じて最適値が定まる係数である。また、式（３）に示すＥＸは、Ｘの値の期待値を示す。 Therefore, a predetermined estimated amount (hereinafter referred to as “estimated index value”) is calculated using an expression called “control variation”, and each sample is replaced with the average value shown in expression (1). A method called CUPED for evaluating a significant difference using the estimated index value is known. For example, in CUPID, an estimated index value represented by the following formula (3) is calculated for each sample. Here, in Expression (3), the estimated index value is indicated by _Ycv . Also, X shown in Equation (3) is a value selected independently of the sample Y, and θ is a coefficient that determines an optimum value according to the value of X. In addition, EX shown in Expression (3) indicates an expected value of the value of X.

ここで、サンプルサイズを無限大に近づけた場合、式（３）は、式（２）と同じ式になる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定しても、適切に有意差を判定できると考えられる。さらに、式（３）で示される推定指標値の分散を算出すると、以下の式（４）を得ることができる。 Here, when the sample size is brought close to infinity, Equation (3) becomes the same as Equation (2). For this reason, it is thought that the determination apparatus 10 can determine a significant difference appropriately even if it determines a significant difference from Formula (1) using the estimated index value shown in Formula (3). Furthermore, the following formula (4) can be obtained by calculating the variance of the estimated index value represented by formula (3).

ここで、式（４）の右辺は、標本Ｙの平均値の分散と（１−ρ^２）との積で示すことができるが、（１−ρ^２）は１よりも小さい値を取る。つまり、ある標本Ｙについての推定指標値の値は、平均値の値よりも分散が小さくなる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定した場合は、有意差を精度良く算出することができる。 Here, the right side of Equation (4) can be represented by the product of the variance of the average value of the sample Y and (1-ρ ² ), but (1-ρ ² ) takes a value smaller than 1. That is, the estimated index value for a sample Y has a smaller variance than the average value. For this reason, the determination apparatus 10 can calculate a significant difference with high precision, when a significant difference is determined from Formula (1) using the estimated index value shown in Formula (3).

〔１−３．判定処理について〕
ここで、推定指標値を算出する際のＸの値は、任意の値を採用することができる。一方で、有意差の検出力は、採用される情報のカバレッジを増加させた場合や、採用される情報間の相関性を強化した場合に増大する。 [1-3. About judgment processing)
Here, any value can be adopted as the value of X when calculating the estimated index value. On the other hand, the power of detecting a significant difference increases when coverage of information to be adopted is increased or when correlation between information to be adopted is strengthened.

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、第１コンテンツに関する利用者の行動を示す第１の指標値と、第２コンテンツに関する利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定し、判定結果を出力する。 Therefore, the determination apparatus 10 executes the following determination process. First, the determination apparatus 10 estimates the first content based on the first index value indicating the user's behavior regarding the first content and the second index value indicating the user's behavior regarding the second content. An estimated index value indicating the user's behavior is calculated for each sample related to the first content. Then, the determination device 10 determines a significant difference between the samples based on the estimated index value calculated for each sample, and outputs a determination result.

例えば、判定装置１０は、第１コンテンツの閲覧中に利用者がクリックしたリンクや、利用者が入力したクエリの値、クリックやクエリの入力を行ったか否か等、第１コンテンツの閲覧時において利用者が実行可能な行動を示す値を第１の指標値として選択する。例えば、判定装置１０は、クエリの入力を行った利用者に対して、第１の指標値「１」を選択する。続いて、判定装置１０は、第１コンテンツの閲覧中に利用者が行った行動を示す値の中から、所定の数の値をランダムに抽出した第１の標本と第２の標本とを抽出する。そして、判定装置１０は、各標本ごとに以下の処理を実行することで、推定指標値を算出する。 For example, the determination device 10 may check the link of the first content while browsing the first content, the value of the query input by the user, whether or not the user clicked or entered the query, etc. A value indicating an action that can be performed by the user is selected as the first index value. For example, the determination apparatus 10 selects the first index value “1” for the user who has input the query. Subsequently, the determination apparatus 10 extracts a first sample and a second sample obtained by randomly extracting a predetermined number of values from values indicating the actions performed by the user while browsing the first content. To do. Then, the determination device 10 calculates the estimated index value by executing the following processing for each sample.

まず、判定装置１０は、第１の指標値として、第１コンテンツの閲覧中に利用者が行った行動を示す値を、式（２）や式（３）に示すＹの値とする。より具体的には、判定装置１０は、第１の標本として抽出した値をＹ^（ｔ）とし、第２の標本として抽出した体をＹ^（ｃ）とする。そして、判定装置１０は、Ｙ^（ｔ）、Ｙ^（ｃ）の平均値をそれぞれ算出する。 First, the determination apparatus 10 sets, as the first index value, a value indicating the action performed by the user during browsing of the first content as the Y value shown in Expression (2) or Expression (3). More specifically, the determination apparatus 10 sets Y ^(t) as the value extracted as the first sample, and Y ^(c) as the body extracted as the second sample. And the determination apparatus 10 calculates the average value of Y ^(t) and Y ^(c) , respectively.

同様に、判定装置１０は、第２の指標値として、第２コンテンツの閲覧中に利用者が行った行動を示す値を式（３）におけるＸの値とする。より具体的には、判定装置１０は、第１コンテンツとは異なるウェブサイトに関するコンテンツである第２コンテンツ、例えば、第１コンテンツのクロスドメインに含まれる第２コンテンツの閲覧に際し、利用者が行った行動を示す第２の指標値をＸの値とする。 Similarly, the determination apparatus 10 sets, as the second index value, a value indicating the action performed by the user during browsing of the second content as the value X in Expression (3). More specifically, the determination apparatus 10 is performed by a user when browsing second content that is content related to a website different from the first content, for example, second content included in the cross domain of the first content. The second index value indicating behavior is set as the value of X.

例えば、判定装置１０は、第１の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に利用者が行った行動を示す値を収集する。そして、判定装置１０は、収集した値をＸ^（ｔ）とする。同様に、判定装置１０は、第２の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に利用者が行った行動を示す値を収集する。そして、判定装置１０は、収集した値をＸ^（ｃ）とする。 For example, the determination apparatus 10 identifies a user who has performed an action indicated by a value included in the first sample, and collects a value indicating an action performed by the user while the specified user is browsing the second content. To do. Then, the determination device 10 sets the collected value as X ^(t) . Similarly, the determination apparatus 10 identifies a user who has performed an action indicated by a value included in the second sample, and a value indicating an action performed by the user while the specified user is browsing the second content. collect. Then, the determination apparatus 10 sets the collected value as X ^(c) .

そして、判定装置１０は、Ｙ^（ｔ）の値の平均値から、所定の係数θとＸ^（ｔ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｔ）の値の期待値との積を加算した値を、第１の標本の推定指標値Ｙ^（ｔ） _ｃｖとする。また、判定装置１０は、Ｙ^（ｃ）の値の平均値から、所定の係数θとＸ^（ｃ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｃ）の値の期待値との積を加算した値を、第２の標本の推定指標値Ｙ^（ｃ） _ｃｖの値とする。すなわち、判定装置１０は、第１コンテンツに関して推定される利用者の行動を示す推定指標値を標本ごとに算出する。 Then, the determination device 10 subtracts the product of the predetermined coefficient θ and the average value of X ^(t) from the average value of the values of Y ^(t) , and further, the predetermined coefficient θ and X ^(t). The value obtained by adding the product of the expected value and the expected value is the estimated index value Y ^(t) _{cv of} the first sample. Further, the determination device 10 subtracts the product of the predetermined coefficient θ and the average value of X ^(c) from the average value of Y ^(c) , and further, the predetermined coefficient θ and X ^(c) A value obtained by adding the product of the value of the value and the expected value to the estimated index value Y ^(c) _cv of the second sample. That is, the determination apparatus 10 calculates an estimated index value indicating the user behavior estimated for the first content for each sample.

そして、判定装置１０は、Ｙ^（ｔ） _ｃｖをＹ^（ｔ）の平均値とし、Ｙ^（ｃ） _ｃｖをＹ^（ｃ）の平均値として、上述した式（１）の値を算出し、算出した値が所定の閾値を超えるか否かに基づいて、第１の標本および第２の標本の有意差を判定する。 Then, the determination apparatus 10 calculates the value of Equation (1) described above by using Y ^(t) _cv as the average value of Y ^(t) and Y ^(c) _cv as the average value of Y ^(c). The significant difference between the first sample and the second sample is determined based on whether the obtained value exceeds a predetermined threshold.

このように、判定装置１０は、第１コンテンツに関する利用者の行動の標本間の有意差を判定する際に、第１コンテンツに関する利用者の行動を示す指標値のみならず、その利用者が第２コンテンツの閲覧中に行った行動を示す第２の指標値をも用いて、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定する。この結果、判定装置１０は、標本のカバレッジを向上させることができるので、有意差の判定精度を向上させることができる。また、判定装置１０は、同じ利用者が第２コンテンツの閲覧中に行った行動を示す値を用いるので、ＸとＹとの相関性を向上させる結果、有意差の判定精度を向上させることができる。 Thus, when determining the significant difference between the samples of the user's behavior related to the first content, the determination device 10 determines not only the index value indicating the user's behavior related to the first content, but also the user The estimated index value is calculated for each sample using the second index value indicating the action performed during the browsing of the two contents, and a significant difference between the samples is determined based on the calculated estimated index value. As a result, since the determination apparatus 10 can improve the coverage of the sample, it can improve the determination accuracy of a significant difference. Moreover, since the determination apparatus 10 uses the value which shows the action which the same user performed while browsing 2nd content, as a result of improving the correlation of X and Y, it can improve the determination precision of a significant difference. it can.

ここで、カバレッジを向上させるため、第２の指標値として、第１コンテンツに関する利用者の行動であって、第１の指標値の元となる行動よりも過去に取得された行動に基づく指標値を用いる手法が考えられる。しかしながら、このような手法では、第１コンテンツが新規なコンテンツである場合や、第１コンテンツの配信先に新規な利用者が存在する場合には、過去に出力された情報が存在しないため、推定指標値の分散が上昇する恐れがある。 Here, in order to improve the coverage, the second index value is a user's action related to the first content, and is an index value based on an action acquired in the past rather than an action that is a source of the first index value. A method using this can be considered. However, in such a method, if the first content is new content or there is a new user at the distribution destination of the first content, there is no information output in the past. There is a risk that the dispersion of index values will increase.

しかしながら、判定装置１０は、第２の指標値として、第１コンテンツではなく第２コンテンツに関する利用者の行動を示す指標値を用いて、推定指標値の値を算出する。このため、判定装置１０は、第１コンテンツを初めて所定の利用者に配信した場合であっても、その利用者が他のコンテンツを閲覧中に行った行動を示す値を第２の指標値とすることで、推定指標値の分散を減少させることができる。この結果、判定装置１０は、有意差の判定精度を向上させることができる。 However, the determination apparatus 10 calculates the value of the estimated index value by using an index value indicating the user's behavior related to the second content instead of the first content as the second index value. For this reason, even if the determination apparatus 10 distributes the first content to a predetermined user for the first time, the value indicating the action performed by the user while browsing the other content is set as the second index value. By doing so, the variance of the estimated index values can be reduced. As a result, the determination apparatus 10 can improve the determination accuracy of a significant difference.

〔１−４．第２コンテンツについて〕
ここで、判定装置１０は、第１コンテンツと異なるコンテンツであれば、任意のコンテンツを第２コンテンツとしてよい。例えば、判定装置１０は、第１コンテンツがウェブ検索を受付けるポータルサイト等である場合、ポータルサイトとクロスドメインのサイトやポータルサイトからリンクが設定されているサイト等における利用者の行動を示す値を第２の指標値とする。このようなサイトには、例えば、オークション、経路検索、電子商店街、ゲーム、宿泊予約、ファイナンス、天気予報、レストランの情報サイト、不動産サイト、自動車関連のサイト、各種の掲示板やブログ、レシピ等の提供を行うウェブサイトが含まれる。また、判定装置１０は、ウェブサイトのみならず、第１コンテンツと関連するアプリケーションやウィジェットにおける利用者の行動を示す値を第２の指標値としてもよい。 [1-4. About the second content]
Here, the determination device 10 may use any content as the second content as long as the content is different from the first content. For example, when the first content is a portal site or the like that accepts a web search, the determination device 10 indicates a value indicating a user's behavior in a portal site and a cross-domain site or a site that is linked from the portal site. The second index value is used. Such sites include, for example, auctions, route searches, online shopping streets, games, accommodation reservations, finance, weather forecasts, restaurant information sites, real estate sites, automobile-related sites, various bulletin boards, blogs, recipes, etc. Includes websites that offer. Further, the determination device 10 may use a value indicating the user's action in the application or widget related to the first content as the second index value, not only the website.

〔１−５．利用者の共通性について〕
また、判定装置１０は、第１の指標値が示す行動を行った利用者と、第２の指標値が示す行動を行った利用者とを完全に同一にせずともよく、第１の指標値が示す行動を行った利用者と、第２の指標値が示す行動を行った利用者との一部が共通するように、第２の指標値を取得してもよい。すなわち、判定装置１０は、第１コンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出すればよい。 [1-5. About commonality of users)
Moreover, the determination apparatus 10 does not need to make the user who performed the action indicated by the first index value and the user who performed the action indicated by the second index value completely the same. The second index value may be acquired so that the user who has performed the action indicated by and the user who has performed the action indicated by the second index value are in common. That is, the determination apparatus 10 includes a first index value indicating behaviors performed by a plurality of users on the first content, and an index value indicating behaviors performed by a plurality of users on the second content. An estimated index value is calculated using a second index value indicating actions performed by a plurality of users including a predetermined number of users among a plurality of users who have performed the action indicated by one index value do it.

〔１−６．指標値が示す行動について〕
ここで、判定装置１０は、例えば、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す指標値として、第１コンテンツおよび第２コンテンツを閲覧中に利用者が行ったクリックの有無やクリックしたリンク又はコンテンツ等を示す値を指標値とする。しかしながら、実施形態は、これに限定するものではない。例えば、判定装置１０は、クリック以外にも、例えば、ウェブ検索を行う際に入力したクエリの内容やクエリを入力した回数を指標値としてもよい。すなわち、判定装置１０は、任意の行動を示す値を指標値としてよい。 [1-6. (Actions indicated by index values)
Here, for example, the determination device 10 uses, as an index value indicating the user's behavior related to the first content and the second content, whether or not the user has performed a click during the browsing of the first content and the second content, and clicked. A value indicating a link or content is used as an index value. However, the embodiment is not limited to this. For example, in addition to the click, the determination apparatus 10 may use, for example, the content of a query input when performing a web search or the number of times the query is input as an index value. That is, the determination apparatus 10 may use a value indicating an arbitrary action as an index value.

また、判定装置１０は、第１の指標値が示す行動と、第２の指標値が示す行動とを異なる行動にしてもよい。例えば、判定装置１０は、ポータルサイトにおけるクリックの内容を示す値を第１の指標値とする場合、オークションサイトにおいて入札を行ったか否か、出品を行ったか否か、入札履歴や出品履歴、電子商店街における購入履歴等、クリックの内容以外の行動を示す値を第２の指標値としてよい。すなわち、判定装置１０は、ある程度同じ利用者による行動を示す指標値であって、それぞれ異なるコンテンツに関する指標値であるならば、それぞれ異なる種別や内容のコンテンツに関する値を第１の指標値および第２の指標値としてもよく、それぞれ異なる種別の行動を示す値を第１の指標値および第２の指標値としてもよい。 Moreover, the determination apparatus 10 may make the behavior indicated by the first index value different from the behavior indicated by the second index value. For example, when the value indicating the click content on the portal site is the first index value, the determination device 10 determines whether or not bidding has been performed on the auction site, whether or not the listing has been performed, A value indicating an action other than the click content, such as purchase history in a shopping street, may be used as the second index value. In other words, the determination device 10 is an index value indicating behavior by the same user to some extent, and if the index value is related to different contents, the values related to contents of different types and contents are set to the first index value and the second index value. The index value may be a first index value and a second index value.

例えば、判定装置１０は、第１コンテンツに対して行った利用者の評価や、利用者が入力した第１コンテンツに対する興味の具合を示す値を第１の指標値とし、第１コンテンツとはクロスドメインの関係にある第２コンテンツにおける利用者の行動（例えば、クリックの履歴や電子商店街における購買履歴等）を示す値を第２の指標値としてもよい。すなわち、判定装置１０は、第１の指標値と第２の指標値とが共通する利用者に関連するＫＰＩ（Key Performance Indicator）であるならば、任意の指標値を第１の指標値および第２の指標値として採用してよい。 For example, the determination apparatus 10 uses a value indicating the evaluation of the user performed on the first content and the degree of interest in the first content input by the user as the first index value, and crosses the first content. A value indicating a user's behavior (for example, a click history or a purchase history in an online shopping mall) in the second content having a domain relationship may be used as the second index value. That is, if the first index value and the second index value are KPIs (Key Performance Indicators) related to users who share the first index value, the determination device 10 converts the arbitrary index value to the first index value and the first index value. It may be adopted as an index value of 2.

〔２．判定処理の一例について〕
次に、図１を用いて、判定装置１０が実行する処理の一例について説明する。なお、以下の説明では、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す情報として、第１コンテンツおよび第２コンテンツを閲覧中に利用者が行ったクリックの履歴を示す情報を用いる処理の一例について説明する。 [2. About an example of judgment processing)
Next, an example of processing executed by the determination device 10 will be described with reference to FIG. In the following description, a process of using information indicating a history of clicks performed by the user while browsing the first content and the second content as information indicating the user's behavior regarding the first content and the second content. An example will be described.

まず、コンテンツサーバ５１は、端末装置１００からの要求に従って、第１コンテンツを端末装置１００に送信する（ステップＳ１）。そして、コンテンツサーバ５１は、第１コンテンツの閲覧中に利用者が行ったクリックの内容を示すクリック履歴を収集する（ステップＳ２）。また、コンテンツサーバ５２は、端末装置１００からの要求に従って、第２コンテンツを端末装置１００に送信する（ステップＳ３）。そして、コンテンツサーバ５２は、第２コンテンツの閲覧中に利用者が行ったクリックの内容を示すクリック履歴を収集する（ステップＳ４）。 First, the content server 51 transmits the first content to the terminal device 100 in accordance with a request from the terminal device 100 (step S1). Then, the content server 51 collects a click history indicating details of clicks performed by the user during browsing of the first content (step S2). Further, the content server 52 transmits the second content to the terminal device 100 in accordance with a request from the terminal device 100 (step S3). Then, the content server 52 collects a click history indicating details of clicks performed by the user while browsing the second content (step S4).

続いて、判定装置１０は、第１コンテンツに関するクリック履歴をコンテンツサーバ５１から収集するとともに（ステップＳ５）、第２コンテンツに関するクリック履歴をコンテンツサーバ５２から収集する（ステップＳ６）。そして、判定装置１０は、各クリック履歴が示すクリックの内容を行動内容とし、クリックを行った利用者の利用者ＩＤと対応付けて行動履歴データベース３１に登録する。 Subsequently, the determination apparatus 10 collects the click history related to the first content from the content server 51 (step S5) and also collects the click history related to the second content from the content server 52 (step S6). Then, the determination device 10 uses the contents of the click indicated by each click history as action contents, and registers them in the action history database 31 in association with the user ID of the user who performed the click.

また、判定装置１０は、第１コンテンツに関する標本の有意差を判定する場合、第１コンテンツのクリック履歴から第１の指標値を標本ごとに算出する（ステップＳ７）。例えば、判定装置１０は、第１コンテンツのクリック履歴から、所定の数のクリック履歴を第１の標本としてランダムに選択し、第１の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｔ）とする。同様に、判定装置１０は、第１コンテンツのクリック履歴から、所定の数のクリック履歴を第２の標本としてランダムに選択し、第２の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｃ）とする。 Further, when determining a significant difference between samples related to the first content, the determination device 10 calculates a first index value for each sample from the click history of the first content (step S7). For example, the determination apparatus 10 randomly selects a predetermined number of click histories as the first sample from the click history of the first content, and sets a set of values indicating the contents of the click history selected as the first sample. The index value Y 1 ^(t) is 1. Similarly, the determination apparatus 10 randomly selects a predetermined number of click histories as the second sample from the click history of the first content, and sets a set of values indicating the contents of the click history selected as the second sample. The first index value Y ^(c) is used.

また、判定装置１０は、第２コンテンツのクリック履歴から第２の指標値を標本ごとに算出する（ステップＳ８）。例えば、判定装置１０は、第１の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に行ったクリックを示すクリック履歴を抽出する。そして、判定装置１０は、抽出したクリック履歴の内容を示す値の集合を第２の指標値Ｘ^（ｔ）とする。同様に、判定装置１０は、第２の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に行ったクリックを示すクリック履歴を抽出し、抽出したクリック履歴の内容を示す値の集合を第２の指標値Ｘ^（ｃ）とする。 Further, the determination apparatus 10 calculates a second index value for each sample from the click history of the second content (step S8). For example, the determination apparatus 10 identifies a user who has performed a click indicated by the click history selected as the first sample, and extracts a click history indicating the click performed by the identified user while browsing the second content. To do. Then, the determination device 10 sets a set of values indicating the contents of the extracted click history as the second index value X ^(t) . Similarly, the determination apparatus 10 identifies a user who has performed a click indicated by the click history selected as the second sample, and stores the click history indicating the click performed by the identified user while browsing the second content. A set of values indicating the contents of the extracted click history is extracted as a second index value X ^(c) .

そして、判定装置１０は、第１コンテンツについて推定される平均的な利用者の行動を示す値、すなわち、推定指標値を標本ごとに算出する（ステップＳ９）。例えば、判定装置１０は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、Ｙ^（ｔ） _ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、Ｙ^（ｃ） _ｃｖの値を式（３）から算出する。そして、判定装置１０は、算出した推定指標値を用いて、標本感の有意差を判定する（ステップＳ１０）。例えば、判定装置１０は、Ｙ^（ｔ） _ｃｖの値をＹ^（ｔ）の平均値とし、Ｙ^（ｃ） _ｃｖの値をＹ^（ｃ）の平均値として、Ｚ検定を行い、有意差が存在するか否かを判定する。そして、判定装置１０は、検定結果を管理者端末２００へと提供する（ステップＳ１１）。 And the determination apparatus 10 calculates the value which shows the average user action estimated about 1st content, ie, an estimated parameter | index value, for every sample (step S9). For example, the determination apparatus 10 calculates the value of Y ^(t) _cv from the formula (3) using the first index value Y ^(t) and the second index value X ^(t) , Using the index value Y ^(c) and the second index value X ^(c) , the value of Y ^(c) _cv is calculated from Equation (3). And the determination apparatus 10 determines the significant difference of a sample feeling using the calculated estimated index value (step S10). For example, the determination device 10 performs a Z test using the value of Y ^(t) _cv as the average value of Y ^{(t) and} the value of Y ^(c) _cv as the average value of Y ^(c) , and there is a significant difference. It is determined whether or not to do. And the determination apparatus 10 provides a test result to the administrator terminal 200 (step S11).

〔３．判定装置の構成〕
以下、上記した判定処理を実現する判定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る判定装置の構成例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。 [3. (Configuration of judgment device)
Hereinafter, an example of a functional configuration of the determination apparatus 10 that realizes the above-described determination process will be described. FIG. 2 is a diagram illustrating a configuration example of the determination apparatus according to the embodiment. As illustrated in FIG. 2, the determination device 10 includes a communication unit 20, a storage unit 30, and a control unit 40.

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や信用情報提供サーバ３００との間で情報の送受信を行う。 The communication unit 20 is realized by, for example, a NIC (Network Interface Card). The communication unit 20 is connected to the network N in a wired or wireless manner, and transmits / receives information to / from the terminal device 100 and the credit information providing server 300.

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、行動履歴データベース３１、およびユーザデータベース３２（以下、「各データベース３１、３２」と総称する場合がある。）を記憶する。 The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores an action history database 31 and a user database 32 (hereinafter may be collectively referred to as “each database 31, 32”).

行動履歴データベース３１には、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す情報、すなわち、行動履歴が格納される。例えば、図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。図３に示すように、行動履歴データベース３１には、「コンテンツＩＤ」、「利用者ＩＤ」、「行動内容」等といった項目を有する情報が登録されている。なお、行動履歴データベース３１には、図３に示す情報以外にも、任意の情報が登録されていてもよい。 The behavior history database 31 stores information indicating user behavior regarding the first content and the second content, that is, behavior history. For example, FIG. 3 is a diagram illustrating an example of information registered in the action history database according to the embodiment. As illustrated in FIG. 3, information having items such as “content ID”, “user ID”, “action content”, and the like is registered in the action history database 31. Arbitrary information other than the information shown in FIG. 3 may be registered in the action history database 31.

ここで、「コンテンツＩＤ」とは、コンテンツの識別子である。また、「利用者ＩＤ」とは、対応付けられた行動履歴が示す行動を行った利用者の識別子である。また、「行動内容」とは、利用者の行動を示す情報であり、例えば、クリックの内容を示す情報である。例えば、図３に示す例では、コンテンツＩＤ「コンテンツ＃１」、利用者ＩＤ「Ｕｓｅｒ＃１」、および行動内容「Ｃｌｉｃｋ＃１」とが対応付けて登録されている。このような情報は、コンテンツＩＤ「コンテンツ＃１」が示すコンテンツを閲覧中に、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者が、行動内容「Ｃｌｉｃｋ＃１」が示すクリックを行った旨を示す情報である。なお、行動内容は、どのようなクリックが行われたかのみならず、クリックの有無を示す情報であってもよい。 Here, the “content ID” is a content identifier. The “user ID” is an identifier of the user who performed the action indicated by the associated action history. The “behavior content” is information indicating the user's behavior, for example, information indicating the click content. For example, in the example illustrated in FIG. 3, the content ID “content # 1”, the user ID “User # 1”, and the action content “Click # 1” are registered in association with each other. Such information indicates that the user indicated by the user ID “User # 1” clicked the action content “Click # 1” while browsing the content indicated by the content ID “Content # 1”. It is information to show. The action content may be information indicating not only what click is performed but also the presence or absence of the click.

図２に戻り説明を続ける。ユーザデータベース３２には、利用者の識別子であるユーザＩＤと利用者の属性情報とが、属性情報の項目ごとに対応付けて登録されている。例えば、図４は、実施形態に係る属性データベースに登録される情報の一例を説明する図である。例えば、図４に示す例では、ユーザデータベース３２には、「利用者ＩＤ」、「属性項目」、および「属性情報」といった項目を有する情報が、「利用者ＩＤ」ごとに複数登録されている。「属性項目」とは、属性情報の項目を示す情報であり、例えば、「性別」、「年齢」、「住所」等といった情報が登録される。また、「属性情報」とは、対応付けられたユーザＩＤが示す利用者の属性情報であって、対応付けられた属性項目が示す内容の属性情報である。 Returning to FIG. In the user database 32, a user ID, which is a user identifier, and user attribute information are registered in association with each item of attribute information. For example, FIG. 4 is a diagram illustrating an example of information registered in the attribute database according to the embodiment. For example, in the example illustrated in FIG. 4, a plurality of pieces of information having items such as “user ID”, “attribute item”, and “attribute information” are registered in the user database 32 for each “user ID”. . The “attribute item” is information indicating an item of attribute information. For example, information such as “sex”, “age”, “address”, and the like is registered. The “attribute information” is attribute information of the user indicated by the associated user ID and content information indicated by the associated attribute item.

例えば、図４に示す例では、利用者ＩＤ「Ｕｓｅｒ＃１」に対し、属性項目「性別」および属性情報「男性」が対応付けて登録され、属性項目「年齢」（「年代」でもよい。）および属性情報「３０代」が対応付けて登録され、属性項目「住所」および属性情報「Ａ市」が対応付けて登録されている。このような情報は、例えば、ユーザＩＤ「ＩＤ＃０１」が示す利用者の性別が男性であり、年齢が３０代に含まれる年齢であり、住所がＡ市である旨を示している。なお、ユーザデータベース３２には、図４に示す属性項目や属性情報以外にも、任意の属性項目や属性情報が登録されていてよい。また、ユーザデータベース３２には、必ずしも全ての属性項目について属性情報が登録されている必要はなく、利用者が登録した、または、利用者の行動履歴から推定された属性情報のみが登録されていてもよい。 For example, in the example illustrated in FIG. 4, the attribute item “sex” and the attribute information “male” are registered in association with the user ID “User # 1”, and the attribute item “age” (“age”) may be used. ) And attribute information “30's” are registered in association with each other, and attribute item “address” and attribute information “A city” are registered in association with each other. Such information indicates that, for example, the user's gender indicated by the user ID “ID # 01” is male, the age is included in the thirties, and the address is A city. In addition to the attribute items and attribute information shown in FIG. 4, arbitrary attribute items and attribute information may be registered in the user database 32. In the user database 32, it is not always necessary to register the attribute information for all the attribute items, only the attribute information registered by the user or estimated from the user's behavior history is registered. Also good.

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。 Returning to FIG. 2, the description will be continued. The control unit 40 is a controller. For example, various programs stored in a storage device inside the determination apparatus 10 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by being executed as a work area. The control unit 40 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図２に示すように、制御部４０は、収集部４１、選択部４２、算出部４３、判定部４４、および出力部４５を有する。収集部４１は、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す行動履歴をコンテンツサーバ５０から収集する。より具体的には、収集部４１は、行動を行った利用者の利用者ＩＤと、利用者が行った行動の内容を示す行動内容と、利用者が閲覧していたコンテンツを示すコンテンツＩＤとを対応付けた情報を行動履歴としてコンテンツサーバ５０から収集する。そして、収集部４１は、収集した行動履歴を行動履歴データベース３１に登録する。すなわち、収集部４１は、行動履歴を収集し、利用者が閲覧していたコンテンツ毎に行動履歴をまとめて行動履歴データベース３１に登録する。 As illustrated in FIG. 2, the control unit 40 includes a collection unit 41, a selection unit 42, a calculation unit 43, a determination unit 44, and an output unit 45. The collection unit 41 collects an action history indicating a user's action regarding the first content and the second content from the content server 50. More specifically, the collection unit 41 includes the user ID of the user who performed the action, the action content indicating the content of the action performed by the user, and the content ID indicating the content the user was browsing. Is collected from the content server 50 as an action history. Then, the collection unit 41 registers the collected action history in the action history database 31. That is, the collection unit 41 collects an action history, and collects the action history for each content that the user was browsing and registers the action history in the action history database 31.

選択部４２は、行動履歴データベース３１に登録された情報から、第１の標本および第２の標本を選択する。例えば、選択部４２は、管理者端末２００から第１コンテンツに関する標本の有意差を判定する旨の要求を受付けた場合、第１コンテンツを示すコンテンツＩＤ（例えば、コンテンツＩＤ「コンテンツ＃１」）を含む行動履歴を行動履歴データベース３１から特定する。また、選択部４２は、第１の標本および第２の標本として、特定した行動履歴からランダムに所定の数の行動履歴をそれぞれ選択する。 The selection unit 42 selects the first sample and the second sample from the information registered in the behavior history database 31. For example, when the selection unit 42 receives a request from the administrator terminal 200 to determine a significant difference between samples related to the first content, the selection unit 42 selects a content ID indicating the first content (for example, the content ID “content # 1”). The action history to be included is specified from the action history database 31. Further, the selection unit 42 selects a predetermined number of behavior histories randomly from the identified behavior histories as the first sample and the second sample.

算出部４３は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。具体的には、算出部４３は、第１のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出する。 The calculation unit 43 relates to the first content based on the first index value indicating the user's behavior regarding the first content and the second index value indicating the user's behavior regarding the second content. An estimated index value indicating the estimated user behavior is calculated for each sample related to the first content. Specifically, the calculation unit 43 uses a first index value indicating actions performed by a plurality of users for the first content and an index value indicating actions performed by the plurality of users for the second content. The second index value indicating the behavior performed by a plurality of users including a predetermined number of users among the plurality of users who performed the behavior indicated by the first index value is estimated. An index value is calculated.

また、算出部４３は、第１の指標値として、第１のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第１のコンテンツとは異なるウェブサイトに関するコンテンツである第２のコンテンツにおいて利用者が行った行動を示す第２の指標値を用いて、推定指標値を算出する。より具体的には、算出部４３は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。 In addition, the calculation unit 43 calculates an estimated index value from the average value of the values indicating the details of the selection operation performed while browsing the first content as the first index value. In addition, the calculation unit 43 calculates an estimated index value from the average value of the values indicating the details of the selection operation performed while browsing the second content, as the second index value. Further, the calculation unit 43 uses the second index value indicating the action performed by the user in the second content, which is content related to the website different from the first content, as the second index value. An index value is calculated. More specifically, the calculation unit 43 subtracts the product of the predetermined coefficient and the average value of the second index value from the average value of the first index value, and calculates the predetermined coefficient and the second index value. A value obtained by adding the product of the expected value of is an estimated index value.

例えば、算出部４３は、選択部４２が選択した第１の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｔ）とする。また、算出部４３は、第２の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｃ）とする。続いて、算出部４３は、第１の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた行動履歴の中から、所定の数の行動履歴をランダムに選択し、選択した行動履歴をそれぞれ数値化して第２の指標値Ｘ^（ｔ）とする。 For example, the calculation unit 43 quantifies each of the plurality of behavior histories included in the first sample selected by the selection unit 42 to obtain the first index value Y ^(t) . In addition, the calculation unit 43 quantifies each of the plurality of action histories included in the second sample and sets the first index value Y ^(c) . Subsequently, the calculation unit 43 is an action history associated with a user ID included in the first sample, and is selected from among action histories associated with a content ID indicating content different from the first content. Then, a predetermined number of behavior histories are randomly selected, and the selected behavior histories are numerically converted into second index values X ^(t) .

同様に、算出部４３は、第２の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた行動履歴の中から、所定の数の行動履歴をランダムに選択し、選択した行動履歴をそれぞれ数値化して第２の指標値Ｘ^（ｃ）とする。なお、算出部４３は、第１の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた全ての行動履歴を数値化して第２の指標値としてもよい。そして、算出部４３は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、第１の標本に係る推定指標値Ｙ^（ｔ） _ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、第２の標本に係る推定指標値Ｙ^（ｃ） _ｃｖの値を式（３）から算出する。 Similarly, the calculation unit 43 is an action history associated with a user ID included in the second sample, and is selected from among action histories associated with a content ID indicating content different from the first content. Then, a predetermined number of behavior histories are randomly selected, and the selected behavior histories are numerically converted into second index values X ^(c) . The calculation unit 43 is a behavior history associated with the user ID included in the first sample, and all behavior histories associated with content IDs indicating content different from the first content are numerical values. The second index value may be used. Then, the calculation unit 43 uses the first index value Y ^(t) and the second index value X ^(t) to calculate the estimated index value Y ^(t) _cv related to the first sample using the formula ( 3), and using the first index value Y ^(c) and the second index value X ^(c) , the value of the estimated index value Y ^(c) _cv related to the second sample is expressed by the equation (3) ).

判定部４４は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。具体的には、判定部４４は、算出部４３が算出した推定指標値Ｙ^（ｔ） _ｃｖおよびＹ^（ｃ） _ｃｖを用いて、式（１）から標本間の有意差を示す値を算出し、算出した値が所定の閾値よりも多いか否かを判定する。そして、判定部４４は、算出した値が所定の閾値よりも多い場合には、有意差が存在すると判定し、算出した値が所定の閾値よりも少ない場合には、有意差が存在しないと判定する。 The determination unit 44 determines a significant difference between the samples based on the estimated index value calculated for each sample. Specifically, the determination unit 44 uses the estimated index values Y ^(t) _cv and Y ^(c) _cv calculated by the calculation unit 43 to calculate a value indicating a significant difference between samples from Equation (1). It is determined whether the calculated value is greater than a predetermined threshold value. The determination unit 44 determines that there is a significant difference when the calculated value is larger than the predetermined threshold, and determines that there is no significant difference when the calculated value is smaller than the predetermined threshold. To do.

出力部４５は、判定部４４による判定結果を管理者端末２００に出力する。例えば、出力部４５は、判定部４４が実行する判定結果に基づいて、判定結果を示す結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に配信する。 The output unit 45 outputs the determination result by the determination unit 44 to the administrator terminal 200. For example, the output unit 45 generates a result screen C10 indicating the determination result based on the determination result executed by the determination unit 44, and distributes the generated result screen C10 to the administrator terminal 200.

例えば、図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。例えば、判定装置１０は、第１コンテンツに関する利用者の行動履歴からランダムに選択した第１の標本と第２の標本との組を複数組抽出し、抽出した組ごとに上述した判定処理を実行することで、有意差を示す値を算出する。そして、判定装置１０は、図５に示すような結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に表示させる。 For example, FIG. 5 is a diagram illustrating an example of a result screen generated by the determination apparatus according to the embodiment. For example, the determination apparatus 10 extracts a plurality of sets of first and second samples randomly selected from the user's behavior history regarding the first content, and executes the above-described determination process for each extracted set. By doing so, a value indicating a significant difference is calculated. Then, the determination apparatus 10 generates a result screen C10 as illustrated in FIG. 5 and causes the administrator terminal 200 to display the generated result screen C10.

例えば、判定装置１０は、図５に示すように、標本の組ごとに有意差を示す値を算出し、算出結果を用いて、横軸方向に標本の組、縦軸方向に有意差を示す値を設定したグラフを生成する。そして、判定装置１０は、グラフのうち、有意差の値が所定の閾値を超える範囲を太線で示し、有意差の値が所定の閾値以下となる範囲を点線で示す。また、判定装置１０は、図５に示すグラフ中の黒丸印で示すように、管理者端末２００の管理者がグラフ上の位置を選択した場合には、選択された位置に対応する標本の組に含まれる行動履歴をそれぞれ表示する結果画面Ｃ１０を生成する。 For example, as illustrated in FIG. 5, the determination apparatus 10 calculates a value indicating a significant difference for each set of samples, and uses the calculation result to indicate the set of samples in the horizontal axis direction and the significant difference in the vertical axis direction. Generate a graph with values set. And the determination apparatus 10 shows the range in which the value of a significant difference exceeds a predetermined threshold value in a graph with a thick line, and shows the range in which the value of a significant difference becomes below a predetermined threshold value with a dotted line. Further, as shown by the black circles in the graph shown in FIG. 5, when the administrator of the administrator terminal 200 selects a position on the graph, the determination device 10 sets a sample set corresponding to the selected position. A result screen C10 for displaying the action history included in each is generated.

〔４．判定処理の流れの一例〕
続いて、図６を用いて、判定装置１０が実行する処理の流れについて説明する。図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。例えば、判定装置１０は、各利用者の行動履歴を収集する（ステップＳ１０１）。そして、判定装置１０は、収集した行動履歴をコンテンツごとにまとめる（ステップＳ１０２）。続いて、判定装置１０は、第１コンテンツに関する第１の指標値を標本ごとに算出し（ステップＳ１０３）、各標本と関連する利用者と同じ利用者についての第２のコンテンツに関する第２の指標値を、標本ごとに算出する（ステップＳ１０４）。 [4. Example of judgment process flow)
Subsequently, a flow of processing executed by the determination apparatus 10 will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of a flow of determination processing executed by the determination device according to the embodiment. For example, the determination apparatus 10 collects each user's action history (step S101). Then, the determination apparatus 10 summarizes the collected action history for each content (step S102). Subsequently, the determination apparatus 10 calculates the first index value related to the first content for each sample (step S103), and the second index related to the second content for the same user as the user related to each sample. A value is calculated for each sample (step S104).

そして、判定装置１０は、式（３）、すなわち、コントロールバリエーションと呼ばれる式に基づいて、推定指標値を標本ごとに算出し（ステップＳ１０５）、推定指標値を用いて、標本間の有意差を判定する（ステップＳ１０６）。その後、判定装置１０は、判定結果を出力し（ステップＳ１０７）、処理を終了する。 Then, the determination apparatus 10 calculates an estimated index value for each sample based on Expression (3), that is, an expression called a control variation (Step S105), and uses the estimated index value to calculate a significant difference between the samples. Determination is made (step S106). Thereafter, the determination apparatus 10 outputs the determination result (step S107) and ends the process.

〔５．変形例〕
上記では、判定装置１０による判定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、判定装置１０が実行する判定処理のバリエーションについて説明する。 [5. (Modification)
In the above, an example of the determination process by the determination apparatus 10 has been described. However, the embodiment is not limited to this. Hereinafter, the variation of the determination process which the determination apparatus 10 performs is demonstrated.

〔５−１．コントロールバリエーションについて〕
ここで、判定装置１０は、第１コンテンツに関する第１の指標値のみならず、第２コンテンツに関する第２の指標値を用いて、第１コンテンツに関する指標値の有意差を判定するのであれば、式（３）として示した式以外の式を用いてもよい。また、判定装置１０は、第１の指標値および第２の指標値から、θの値やＥＸの値を任意の手法により求めてもよい。 [5-1. Control variation)
Here, if the determination apparatus 10 determines not only the first index value related to the first content but also the second index value related to the second content, the determination apparatus 10 determines a significant difference between the index values related to the first content, You may use formulas other than the formula shown as Formula (3). Further, the determination device 10 may obtain the value of θ and the value of EX from the first index value and the second index value by any method.

〔５−２．第２の指標値について〕
ここで、式（３）として示したコントロールバリエーションの式においては、Ｘに任意の情報を適用可能である。そこで、判定装置１０は、第１の指標値に関する利用者のクラスタリングに関する情報を、第２の指標値としてもよい。例えば、判定装置１０は、第１の標本に行動履歴が含まれる利用者を特定し、特定した利用者の属性情報をユーザデータベース３２から抽出する。そして、判定装置１０は、抽出した属性情報に基づいて、利用者のクラスタリングを行い、クラスタリングの結果を示す値を第２の指標値（すなわち、式（３）におけるＸの値）としてもよい。 [5-2. About the second index value]
Here, in the control variation formula shown as Formula (3), arbitrary information can be applied to X. Therefore, the determination apparatus 10 may use information regarding user clustering regarding the first index value as the second index value. For example, the determination apparatus 10 identifies a user whose behavior history is included in the first sample, and extracts attribute information of the identified user from the user database 32. Then, the determination device 10 may perform clustering of users based on the extracted attribute information, and a value indicating the clustering result may be set as the second index value (that is, the value of X in Expression (3)).

例えば、判定装置１０は、利用者が男性である場合には、第２の指標値の値を「１」とし、利用者が女性である場合には、第２の指標値の値を「０」としてもよい。より具体的には、判定装置１０は、利用者が男性である場合には、第２の指標値に含まれる値のうち、その利用者と対応する値を「０」としてもよい。 For example, the determination device 10 sets the value of the second index value to “1” when the user is male, and sets the value of the second index value to “0” when the user is female. It is good also as. More specifically, when the user is a male, the determination device 10 may set the value corresponding to the user among the values included in the second index value to “0”.

また、例えば、判定装置１０は、属性情報に基づいて、それぞれ異なる番号が付与されたグループに複数の利用者をクラスタリングする。そして、判定装置１０は、ある利用者がクラスタリングされたグループの番号を、第２の指標値に含まれる値のうち、その利用者と対応する値としてもよい。 Further, for example, the determination apparatus 10 clusters a plurality of users in groups each having a different number based on the attribute information. And the determination apparatus 10 is good also considering the number of the group by which a certain user was clustered as a value corresponding to the user among the values contained in the 2nd index value.

なお、判定装置１０は、任意の手法を用いて、利用者のクラスタリングを行ってよい。例えば、判定装置１０は、ディープラーニングやサポートベクターマシン等といった任意のモデルを用いて、利用者のクラスタリングを行い、クラスタリングの結果を示す値を第２の指標値としてもよい。また、判定装置１０は、クラスタリングの結果を第２の指標値とした際に、推定指標値の分散の値が小さくなるように、利用者のクラスタリングを行うモデルの学習を行ってもよい。 Note that the determination apparatus 10 may perform clustering of users using any method. For example, the determination apparatus 10 may perform clustering of users using an arbitrary model such as deep learning or a support vector machine, and may use a value indicating the clustering result as the second index value. Further, the determination device 10 may learn a model for clustering users so that the variance of the estimated index value becomes small when the clustering result is the second index value.

また、判定装置１０は、第２の指標値として、第２のコンテンツに関する利用者の行動に加えて、利用者の属性を示す属性情報を示す第２の指標値を用いて、推定指標値を算出してもよい。例えば、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象として、予めクラスタリングを行っておく。また、判定装置１０は、第１コンテンツに関する行動履歴から第１の標本と第２の標本とを選択する。また、判定装置１０は、各標本について、第１コンテンツの閲覧中に利用者が行った行動を示す第１の指標値と、その利用者が第２コンテンツを閲覧中に行った行動およびその利用者がクラスタリングされたグループの組み合わせを示す第２の指標値とを取得する。そして、判定装置１０は、第１の指標値と第２の指標値とから、推定指標値を各標本ごとに算出し、推定指標値に基づいて、各標本の有意差を判定すればよい。なお、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象とする必要はなく、例えば、第１の標本にユーザＩＤが含まれる利用者のみをクラスタリングの対象としてもよい。 Further, the determination apparatus 10 uses the second index value indicating the attribute information indicating the user's attribute as the second index value, in addition to the user's behavior related to the second content, to thereby calculate the estimated index value. It may be calculated. For example, the determination apparatus 10 performs clustering in advance with all users who have collected action histories as clustering targets. In addition, the determination device 10 selects the first sample and the second sample from the action history related to the first content. The determination apparatus 10 also includes, for each sample, a first index value indicating an action performed by the user while browsing the first content, an action performed while the user is browsing the second content, and use thereof. And a second index value indicating a combination of groups clustered by the person. Then, the determination device 10 may calculate an estimated index value for each sample from the first index value and the second index value, and determine a significant difference between the samples based on the estimated index value. Note that the determination apparatus 10 does not need to target all users who have collected action histories as a clustering target. For example, only users whose user ID is included in the first sample may be targeted for clustering.

〔５−３．判定対象や判定内容について〕
ここで、判定装置１０は、第１コンテンツに関する利用者の行動を示す第１の指標値を用いて、推定指標値を算出し、推定指標値を用いて、標本の有意差を判定した。すなわち、判定装置１０は、第１コンテンツに関する利用者の行動を示す情報の有意差を判定した。ここで、判定装置１０は、第１コンテンツに関する利用者の行動を示すのであれば、任意の行動を示す情報を第１の指標値とし、その情報の有意差を判定してもよい。例えば、判定装置１０は、ＡＢテストの結果、商品や任意の投稿に対する評価、音楽や映画等の各種コンテンツに対する評価等、第１コンテンツに対して利用者が行った評価の内容を第１の指標値としてもよく、有意差の判定対象としてもよい。 [5-3. (About judgment target and judgment contents)
Here, the determination apparatus 10 calculates an estimated index value using the first index value indicating the user's behavior regarding the first content, and determines a significant difference between the samples using the estimated index value. That is, the determination device 10 determines a significant difference in information indicating the user's behavior regarding the first content. Here, as long as the determination apparatus 10 indicates a user's action regarding the first content, information indicating an arbitrary action may be set as the first index value, and a significant difference between the information may be determined. For example, the determination apparatus 10 uses the first index to indicate the details of the evaluation performed by the user on the first content, such as the evaluation of the product, an arbitrary post, the evaluation of various contents such as music and movies, as a result of the AB test. It is good also as a value and it is good also as a judgment object of a significant difference.

また、判定装置１０は、上述した推定指標値を用いて、Ｚ検定以外にも、ｔ検定等、任意の統計学的な検定手法を用いて、各標本が有する有意差の判定を行ってよい。 Moreover, the determination apparatus 10 may determine the significant difference of each sample using an arbitrary statistical test method such as a t test in addition to the Z test using the estimated index value described above. .

〔５−４．装置構成〕
判定装置１０は、端末装置１００や管理者端末２００と情報のやり取りを行うフロントエンドサーバと、コンテンツサーバ５０と情報をやり取りし、上述した判定処理を実行するバックエンドサーバとにより実現されてもよい。このような場合、フロントエンドサーバには、図２に示す出力部４５が配置され、バックエンドサーバには、収集部４１、選択部４２、算出部４３、判定部４４、行動履歴データベース３１、およびユーザデータベース３２が配置されることとなる。また、記憶部３０に格納された各データベース３１、３２は、判定装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。 [5-4. Device configuration〕
The determination device 10 may be realized by a front-end server that exchanges information with the terminal device 100 and the administrator terminal 200, and a back-end server that exchanges information with the content server 50 and executes the above-described determination processing. . In such a case, the output unit 45 shown in FIG. 2 is arranged in the front-end server, and the collection unit 41, the selection unit 42, the calculation unit 43, the determination unit 44, the action history database 31, and the back-end server, The user database 32 will be arranged. Further, the databases 31 and 32 stored in the storage unit 30 may be stored in an external storage server, for example, instead of in the determination apparatus 10.

〔５−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [5-5. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.

〔６．プログラム〕
また、上述してきた実施形態に係る判定装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。 [6. program〕
Further, the determination apparatus 10 according to the embodiment described above is realized by a computer 1000 having a configuration as shown in FIG. 7, for example. FIG. 7 is a diagram illustrating an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. Have

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。 The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the secondary storage device 1050, a program read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various arithmetic operations. The secondary storage device 1050 is a storage device in which data used for various calculations by the calculation device 1030 and various databases are registered, and is realized by a ROM (Read Only Memory), HDD, flash memory, or the like.

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。 The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。 The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。 The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。 The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040, and executes the loaded program.

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。 For example, when the computer 1000 functions as the determination device 10, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 40 by executing a program loaded on the primary storage device 1040.

〔７．効果〕
上述したように、判定装置１０は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。 [7. effect〕
As described above, the determination apparatus 10 is based on the first index value indicating the user's behavior regarding the first content and the second index value indicating the user's behavior regarding the second content. An estimated index value indicating the user's behavior estimated for the first content is calculated for each sample related to the first content. And the determination apparatus 10 determines the significant difference between each sample based on the estimated index value calculated for every sample. As a result, the determination apparatus 10 can improve the coverage without deteriorating the correlation of information used for determining the significant difference, thereby reducing the variance of the estimated index value and improving the detection accuracy of the significant difference. be able to.

また、判定装置１０は、第１の指標値として、第１のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、判定装置１０は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。このため、判定装置１０は、推定指標値を適切に算出することができる。 Moreover, the determination apparatus 10 calculates an estimated index value from the average value of the values indicating the details of the selection operation performed while browsing the first content as the first index value. Moreover, the determination apparatus 10 calculates an estimated index value from the average value of values indicating the details of the selection operation performed while browsing the second content as the second index value. For this reason, the determination apparatus 10 can appropriately calculate the estimated index value.

また、判定装置１０は、第２の指標値として、第１のコンテンツとは異なるウェブサイトに関するコンテンツである第２のコンテンツにおいて利用者が行った行動を示す第２の指標値を用いて、推定指標値を算出する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、有意差の検出精度を向上させることができる。 In addition, the determination apparatus 10 estimates using the second index value indicating the action performed by the user in the second content, which is content related to a website different from the first content, as the second index value. An index value is calculated. As a result, the determination apparatus 10 can improve the coverage without deteriorating the correlation of information used for determining the significant difference, and thus can improve the detection accuracy of the significant difference.

また、判定装置１０は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。このため、判定装置１０は、推定指標値の分散を通常の平均値よりも低下させることができるので、有意差の検出精度を向上させることができる。 Further, the determination device 10 subtracts the product of the predetermined coefficient and the average value of the second index value from the average value of the first index value, and calculates the predetermined coefficient and the expected value of the second index value. A value obtained by adding the products of is used as an estimated index value. For this reason, since the determination apparatus 10 can reduce the dispersion | distribution of an estimated parameter | index value from a normal average value, it can improve the detection precision of a significant difference.

また、判定装置１０は、第１のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出する。このため、判定装置１０は、適切に有意差を判定することができる。 Further, the determination device 10 includes a first index value indicating an action performed by a plurality of users on the first content, and an index value indicating an action performed by a plurality of users on the second content, Of the plurality of users who have performed the action indicated by the first index value, the estimated index value is obtained using the second index value indicating the action performed by a plurality of users including a predetermined number of users. calculate. For this reason, the determination apparatus 10 can determine a significant difference appropriately.

また、判定装置１０は、判定部による判定結果を出力する。このため、判定装置１０は、管理者等に対して判定結果を提供することができる。 Moreover, the determination apparatus 10 outputs the determination result by the determination part. For this reason, the determination apparatus 10 can provide a determination result to an administrator or the like.

また、判定装置１０は、第２の指標値として、第２のコンテンツに関する利用者の行動と、利用者の属性を示す属性情報とを示す第２の指標値を用いて、推定指標値を算出する。このため、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させずに、カバレッジを向上させることができるので、有意差の検出精度を向上させることができる。 Further, the determination apparatus 10 calculates an estimated index value by using the second index value indicating the user's behavior related to the second content and the attribute information indicating the user's attribute as the second index value. To do. For this reason, since the determination apparatus 10 can improve coverage without deteriorating the correlation of information used for determination of a significant difference, it can improve the detection accuracy of a significant difference.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to implement the present invention in other forms with improvements.

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、配信部は、配信手段や配信回路に読み替えることができる。 Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the distribution unit can be read as distribution means or a distribution circuit.

１０判定装置
２０通信部
３０記憶部
３１行動履歴データベース
３２ユーザデータベース
４０制御部
４１収集部
４２選択部
４３算出部
４４判定部
４５出力部
５０〜５２コンテンツサーバ
１００〜１０２端末装置
２００管理者端末 DESCRIPTION OF SYMBOLS 10 Determination apparatus 20 Communication part 30 Storage part 31 Action history database 32 User database 40 Control part 41 Collection part 42 Selection part 43 Calculation part 44 Determination part 45 Output part 50-52 Content server 100-102 Terminal apparatus 200 Administrator terminal

Claims

Usage estimated for the first content based on a first index value indicating the user's behavior regarding the first content and a second index value indicating the user's behavior regarding the second content A calculation unit that calculates an estimated index value indicating a person's behavior for each sample related to the first content;
And a determination unit that determines a significant difference between the samples based on the estimated index value calculated for each sample.

The said calculating part calculates the said estimated index value from the average value of the value which shows the content of the selection operation performed during browsing of the said 1st content as said 1st index value. The determination apparatus according to 1.

The said calculating part calculates the said estimated index value from the average value of the value which shows the content of the selection operation performed during browsing of the said 2nd content as said 2nd index value. 3. The determination device according to 1 or 2.

The calculation unit uses, as the second index value, a second index value indicating an action performed by the user in the second content that is content related to a website different from the first content. The estimation index value is calculated. The determination apparatus according to claim 1, wherein the determination index value is calculated.

The calculation unit subtracts a product of a predetermined coefficient and an average value of the second index value from an average value of the first index value to obtain an expected value of the predetermined coefficient and the second index value. The determination apparatus according to claim 1, wherein a value obtained by adding a product of and the estimated index value is the estimated index value.

The calculation unit includes a first index value indicating an action performed by a plurality of users on the first content, and an index value indicating an action performed by a plurality of users on the second content, The estimated index using a second index value indicating behavior performed by a plurality of users including a predetermined number of users among a plurality of users performing the behavior indicated by the first index value The determination device according to claim 1, wherein a value is calculated.

The determination apparatus according to claim 1, further comprising: an output unit that outputs a determination result by the determination unit.

The calculation unit uses, as the second index value, the estimated index by using a second index value indicating the user's behavior regarding the second content and attribute information indicating the attribute of the user. The value is calculated. The determination device according to claim 1, wherein the determination device is a value.

A determination method executed by a determination device,
Usage estimated for the first content based on a first index value indicating the user's behavior regarding the first content and a second index value indicating the user's behavior regarding the second content A calculation step of calculating an estimated index value indicating a person's behavior for each sample related to the first content;
And a determination step of determining a significant difference of the first index value based on the calculated estimated index value.

Usage estimated for the first content based on a first index value indicating the user's behavior regarding the first content and a second index value indicating the user's behavior regarding the second content A calculation procedure for calculating an estimated index value indicating a person's behavior for each sample related to the first content;
A determination program for causing a computer to execute a determination procedure for determining a significant difference of the first index value based on the calculated estimated index value.