WO2022239178A1 - インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム - Google Patents

インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム Download PDF

Info

Publication number
WO2022239178A1
WO2022239178A1 PCT/JP2021/018182 JP2021018182W WO2022239178A1 WO 2022239178 A1 WO2022239178 A1 WO 2022239178A1 JP 2021018182 W JP2021018182 W JP 2021018182W WO 2022239178 A1 WO2022239178 A1 WO 2022239178A1
Authority
WO
WIPO (PCT)
Prior art keywords
incentive
optimization
giving
incentives
achievement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018182
Other languages
English (en)
French (fr)
Inventor
秀明 金
健 倉島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2021/018182 priority Critical patent/WO2022239178A1/ja
Priority to US18/558,717 priority patent/US20240242242A1/en
Priority to JP2023520676A priority patent/JP7552889B2/ja
Publication of WO2022239178A1 publication Critical patent/WO2022239178A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to an incentive optimization method, an incentive optimization device, and a program.
  • Non-Patent Document 1 discloses that, for the purpose of forming exercise habits, the provision of incentives (money) according to the amount of exercise promotes the formation of exercise habits.
  • the magnitude of the effect of an incentive is thought to differ from individual to individual, even if the amount, number of times, and timing of the incentive are the same.
  • the incentive may become less attractive due to the longer period until the incentive is obtained due to the achievement of the goal, and as a result, the effect of the incentive may be reduced.
  • Non-Patent Document 1 the method of giving incentives is not optimized for each individual, and the influence of the period until incentives are obtained is not considered. It may not have been utilized.
  • An embodiment of the present invention has been made in view of the above points, and aims to optimize the method of giving incentives for each individual, taking into consideration the period until incentives are obtained.
  • an incentive optimization method for optimizing a method of giving an incentive to an individual's behavior, wherein the behavior sequence and the incentive for the sequence are optimized.
  • a parameter estimation procedure for estimating, for each individual, the parameters of a model having the input and output of the incentive provision method and the degree of achievement of the target behavior, respectively, using the observation data of the provision method, and the parameters estimated by the parameter estimation procedure.
  • a computer executes an optimization procedure for calculating a method of giving incentives that maximizes the degree of achievement, using the model in which the parameters are set.
  • FIG. 10 is a diagram showing an output example of estimated parameter values; It is a figure which shows the output example of a maximum achievement degree and an optimal incentive.
  • an incentive optimization device 10 capable of optimizing the incentive giving method for each individual in consideration of the period until the incentive is obtained will be described.
  • the incentive optimization device 10 optimizes the incentive giving method for each individual, taking into consideration the period until the incentive is obtained, according to the following (1) and (2).
  • a mathematical model (hereinafter also referred to as "behavioral model") is prepared for each individual, in which the method of giving incentives is input and the degree of achievement of target behavior is output, and incentives are given based on each individual's behavioral model. Optimize the method.
  • the method of giving incentives is composed of the number of times incentives are given, the timing of each time, and the magnitude (amount) of incentives.
  • time discounting means that, as shown in Fig. 1, the incentive is evaluated low when the incentive is given away in time, and the incentive is evaluated highly when the incentive is given close in time. be.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the incentive optimization device 10 according to this embodiment.
  • the incentive optimization device 10 is realized by the hardware configuration of a general computer or computer system, and includes an input device 101, a display device 102, an external I/F 103, a communication It has an I/F 104 , a processor 105 and a memory device 106 . Each of these pieces of hardware is communicably connected via a bus 107 .
  • the input device 101 is, for example, a keyboard, mouse, touch panel, or the like.
  • the display device 102 is, for example, a display. Note that the incentive optimization device 10 may not have at least one of the input device 101 and the display device 102, for example.
  • the external I/F 103 is an interface with an external device such as the recording medium 103a.
  • the incentive optimization device 10 can perform reading, writing, etc. of the recording medium 103 a via the external I/F 103 .
  • Examples of the recording medium 103a include CD (Compact Disc), DVD (Digital Versatile Disk), SD memory card (Secure Digital memory card), USB (Universal Serial Bus) memory card, and the like.
  • the communication I/F 104 is an interface for connecting the incentive optimization device 10 to a communication network.
  • the processor 105 is, for example, various arithmetic units such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory device 106 is, for example, various storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the incentive optimization device 10 can implement the incentive optimization processing described later.
  • the hardware configuration shown in FIG. 2 is an example, and the incentive optimization device 10 may have multiple processors 105 and may have multiple memory devices 106 .
  • FIG. 3 is a diagram showing an example of the functional configuration of the incentive optimization device 10 according to this embodiment.
  • the incentive optimization device 10 has a parameter estimation section 201 and an incentive optimization section 202 . These units are implemented by, for example, processing that one or more programs installed in the incentive optimization device 10 cause the processor 105 to execute.
  • the parameter estimating unit 201 receives the action history data of each individual as input, estimates the parameters of each individual's action model, and outputs estimated parameter values as the estimation results.
  • the incentive optimization unit 202 inputs the estimated parameter values and the optimization conditions, which are the conditions regarding the method of giving incentives. , and outputs the optimum incentive and the degree of achievement at that time (maximum degree of achievement).
  • one incentive optimization device 10 has the parameter estimation unit 201 and the incentive optimization unit 202, but this is an example, and for example, the parameter estimation unit 201 and Different devices may each have the incentive optimization unit 202 .
  • FIG. 4 is a flowchart showing an example of incentive optimization processing according to this embodiment.
  • Steps S101 to S103 are parameter estimation phases for estimating the parameters of the behavioral model
  • steps S104 to S106 are incentive optimization phases for obtaining maximum achievement and optimal incentives from the behavioral model for which the estimated parameter values are set. is.
  • each individual's action history data is provided to the incentive optimization device 10
  • estimated parameter values and optimization conditions are provided to the incentive optimization device 10.
  • Step S101 First, the parameter estimation unit 201 inputs action history data of each individual.
  • the action history data is observation data relating to the actions of each individual (hereinafter also referred to as a user), the number of incentives for the actions, the time (or the date and time, etc.), and the amount.
  • u be an ID or the like that identifies a user
  • U be the total number of users
  • Tu be the length of the target action period of the user u
  • N u be the number of incentives observed for the user u.
  • the action history data includes the action sequence ⁇ y t u ⁇ at each observation time of the user u, the incentive provision time sequence ⁇ s n u ⁇ observed by the user u, and the incentive given to the user u and a series of incentive amounts ⁇ m n u ⁇ .
  • the observed value ⁇ y t u ⁇ of the behavior is assumed to be a numerical value obtained by quantitatively evaluating the goodness of the target behavior.
  • the observed value of behavior may be the number of steps per day or the like.
  • examples of the incentive amount include money, points, and the like.
  • Step S102 Next, the parameter estimation unit 201 estimates the parameters of each individual's behavior model using the behavior history data input in step S101.
  • a behavior model is a mathematical model that inputs the method of giving incentives and outputs the degree of achievement of a target behavior. In this step, the parameters of this behavior model are estimated for each user u.
  • m i is the i-th incentive amount
  • ⁇ is a parameter
  • s i ⁇ 1 , s i , ⁇ ) represents the degree of influence of the i-th given incentive on behavior per unit incentive amount.
  • s i ⁇ 1 , s i , ⁇ ) is designed to be a monotonically increasing function with respect to time t. It is also assumed that xt represents an internal state and is converted to observed behavior yt through a function ⁇ ( x ).
  • s i ⁇ 1 , s i , ⁇ ) on behavior per unit incentive amount is, for example, a function h(t
  • s i ⁇ 1 , s i , ⁇ ) 1/(1+ ⁇ (s i ⁇ t)).
  • an evaluation function G ( ⁇ y t ⁇ ) for calculating the degree of achievement of the target action from the series of actions ⁇ y t ⁇ (y 1 , y 2 , . . . , y T ) in a period of length T is Define.
  • Achievement level of target behavior G( ⁇ y t ⁇ ) (2)
  • a behavior model is defined by the above equations (1) and (2).
  • the evaluation function G ( ⁇ y t ⁇ ) is arbitrarily designed according to the target behavior. The further away from the goal, the lower the degree of achievement.
  • the parameter estimation unit 201 estimates the parameter ⁇ so as to minimize the difference ⁇ y between the behavior predicted from the behavior model and the behavior history data. However, parameter estimation is performed for each user u.
  • parameter estimating section 201 estimates parameter ⁇ u of user u using the following equation (3).
  • ⁇ is assumed to be a non-negative value.
  • Step S103 Then, the parameter estimator 201 outputs the parameter ⁇ u estimated in step S102 as an estimated parameter value.
  • FIG. 5 shows an output example of estimated parameter values.
  • the output destination of the estimated parameter values can be arbitrarily set, and examples thereof include the display device 102, the memory device 106, and other devices connected via a communication network.
  • Step S104 Subsequently, the incentive optimization unit 202 inputs estimated parameter values and optimization conditions.
  • Z u denote an incentive giving method for user u.
  • the incentive giving method Z u consists of the number of times N of incentives, the time sequence ⁇ s n ⁇ (s 1 , s 2 , . . . , s N ) of giving incentives, and the amount A sequence ⁇ m n ⁇ (m 1 , m 2 , . . . , m N ). That is, Z u ⁇ (N, ⁇ s n ⁇ , ⁇ m n ⁇ ).
  • C Z u be a condition (optimization condition) to be considered for the incentive giving method.
  • the optimization condition G Z u is specifically a set of various incentive giving methods for user u. For example, it is a set such as ⁇ Z
  • the purpose is to search for the optimum incentive giving method (that is, the giving method that maximizes the effect of the incentive (the degree of achievement of the target behavior)) from among the incentive giving methods that satisfy such a certain condition.
  • the optimization condition G Z u is the search space for the incentive provision method for user u. It is to be noted that the incentive designer or the like determines what kind of condition the set of incentive giving methods that satisfies G Z u .
  • Step S105 Next, the incentive optimization unit 202 uses the estimated parameter values and the optimization conditions input in step S104 to calculate the optimum incentive provision method Zu . That is, the incentive optimization unit 202 searches for the optimal incentive giving method Z u for the user u using the following equation (4).
  • the optimum incentive giving method Z u for the user u may be searched by a known algorithm (for example, a brute-force method).
  • Step S106 Then, the incentive optimization unit 202 outputs the maximum achievement level and the optimum incentive obtained in the above step S105.
  • optimum number of incentives N 3, optimum incentive giving time (3, 5, 10)
  • optimum incentive at each time It shows an example when amounts (2,000 yen, 5,000 yen, and 3,000 yen) are output.
  • the output destination of the maximum achievement level and optimal incentive can be arbitrarily set, but examples thereof include the display device 102, the memory device 106, and other devices connected via a communication network.
  • the incentive optimization device 10 creates, for each user, a behavior model that also considers the period until the incentive is given, and uses this behavior model to provide an optimal incentive method, that is, Search for an incentive giving method that maximizes the degree of achievement of target behavior for each user.
  • an optimal incentive method that is, Search for an incentive giving method that maximizes the degree of achievement of target behavior for each user.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一実施形態に係るインセンティブ最適化方法は、個人の行動に対するインセンティブの付与方法を最適化するためのインセンティブ最適化方法であって、前記行動の系列と前記系列に対するインセンティブの付与方法の観測データを用いて、前記インセンティブの付与方法と目標行動に対する達成度をそれぞれ入力と出力に持つモデルのパラメータを前記個人毎に推定するパラメータ推定手順と、前記パラメータ推定手順で推定されたパラメータを設定した前記モデルを用いて、前記達成度を最大化するインセンティブの付与方法を算出する最適化手順と、をコンピュータが実行する。

Description

インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム
　本発明は、インセンティブ最適化方法、インセンティブ最適化装置、及びプログラムに関する。
　インセンティブによる目標行動の達成、あるいは目標習慣の形成に関する従来技術として、非特許文献１に記載されている技術が知られている。非特許文献１には、運動習慣の形成を目的として、運動量に応じたインセンティブ（金銭）の付与によって人の運動習慣の形成が促進されることが開示されている。
Finkelstein, Eric. A., et al., "A Randomized Study of Financial Incentives to Increase Physical Activity among Sedentary Older Adults", Preventive medicine, 47(2), pp.182-187.
　ところで、或る目標行動の達成において、インセンティブによる効果の大きさは同じ量や回数、タイミングのインセンティブであっても個人毎に異なると考えられる。また、行動の開始から目標達成までの期間が長い場合、目標の達成によりインセンティブが得られるまでの期間が長くなることでインセンティブの魅力が小さくなり、結果としてインセンティブの効果が小さくなる可能性がある。
　しかしながら、非特許文献１に記載されている技術では、インセンティブの付与方法が個人毎に最適化されておらず、またインセンティブが得られるまでの期間の影響が考慮されていないため、インセンティブを有効に活用できていない可能性がある。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、インセンティブが得られるまでの期間も考慮して、インセンティブの付与方法を個人毎に最適化することを目的とする。
　上記目的を達成するため、一実施形態に係るインセンティブ最適化方法は、個人の行動に対するインセンティブの付与方法を最適化するためのインセンティブ最適化方法であって、前記行動の系列と前記系列に対するインセンティブの付与方法の観測データを用いて、前記インセンティブの付与方法と目標行動に対する達成度をそれぞれ入力と出力に持つモデルのパラメータを前記個人毎に推定するパラメータ推定手順と、前記パラメータ推定手順で推定されたパラメータを設定した前記モデルを用いて、前記達成度を最大化するインセンティブの付与方法を算出する最適化手順と、をコンピュータが実行する。
　インセンティブが得られるまでの期間も考慮して、インセンティブの付与方法を個人毎に最適化することができる。
時間割引を説明するための図である。 本実施形態に係るインセンティブ最適化装置のハードウェア構成の一例を示す図である。 本実施形態に係るインセンティブ最適化装置の機能構成の一例を示す図である。 本実施形態に係るインセンティブ最適化処理の一例を示すフローチャートである。 推定パラメータ値の出力例を示す図である。 最大達成度及び最適なインセンティブの出力例を示す図である。
　以下、本発明の一実施形態について説明する。本実施形態では、インセンティブが得られるまでの期間も考慮して、インセンティブの付与方法を個人毎に最適化することができるインセンティブ最適化装置１０について説明する。
　ここで、本実施形態に係るインセンティブ最適化装置１０は、以下の（１）及び（２）により、インセンティブが得られるまでの期間も考慮して、インセンティブの付与方法を個人毎に最適化する。
　（１）インセンティブの付与方法を入力、目標行動に対する達成度を出力とする数理モデル（以下、「行動モデル」ともいう。）を個人毎に用意し、各個人の行動モデルに基づいてインセンティブの付与方法を最適化する。ここで、インセンティブの付与方法は、インセンティブの回数と、各回のタイミング及びインセンティブの大きさ（量）とで構成されるものとする。
　（２）行動モデルにおいて、遠い将来に得られるインセンティブを近い将来に得られるインセンティブに対して低く評価する行動経済学現象、すなわち時間割引を考慮する。ここで、時間割引とは、図１に示すように、インセンティブの付与まで時間的に離れている場合はインセンティブを低く評価し、インセンティブの付与まで時間的に近い場合はインセンティブを高く評価することである。
　＜ハードウェア構成＞
　まず、本実施形態に係るインセンティブ最適化装置１０のハードウェア構成について、図２を参照しながら説明する。図２は、本実施形態に係るインセンティブ最適化装置１０のハードウェア構成の一例を示す図である。
　図２に示すように、本実施形態に係るインセンティブ最適化装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７により通信可能に接続される。
　入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、インセンティブ最適化装置１０は、例えば、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。インセンティブ最適化装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
　通信Ｉ／Ｆ１０４は、インセンティブ最適化装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
　本実施形態に係るインセンティブ最適化装置１０は、図２に示すハードウェア構成を有することにより、後述するインセンティブ最適化処理を実現することができる。なお、図２に示すハードウェア構成は一例であって、インセンティブ最適化装置１０は、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。
　＜機能構成＞
　次に、本実施形態に係るインセンティブ最適化装置１０の機能構成について、図３を参照しながら説明する。図３は、本実施形態に係るインセンティブ最適化装置１０の機能構成の一例を示す図である。
　図３に示すように、本実施形態に係るインセンティブ最適化装置１０は、パラメータ推定部２０１と、インセンティブ最適化部２０２とを有する。これら各部は、例えば、インセンティブ最適化装置１０にインストールされた１以上のプログラムが、プロセッサ１０５に実行させる処理により実現される。
　パラメータ推定部２０１は、各個人の行動履歴データを入力として各個人の行動モデルのパラメータを推定し、その推定結果として推定パラメータ値を出力する。
　インセンティブ最適化部２０２は、推定パラメータ値とインセンティブの付与方法に関する条件である最適化条件とを入力として、各個人の行動モデルにより、目標行動の達成度を最大化するインセンティブ付与方法を表す最適インセンティブを探索し、その最適インセンティブとそのときの達成度（最大達成度）とを出力する。
　なお、図１に示す例では、１台のインセンティブ最適化装置１０がパラメータ推定部２０１とインセンティブ最適化部２０２とを有しているが、これは一例であって、例えば、パラメータ推定部２０１とインセンティブ最適化部２０２とをそれぞれ異なる装置が有していてもよい。
　＜インセンティブ最適化処理＞
　次に、本実施形態に係るインセンティブ最適化処理について、図４を参照しながら説明する。図４は、本実施形態に係るインセンティブ最適化処理の一例を示すフローチャートである。ステップＳ１０１～ステップＳ１０３は行動モデルのパラメータを推定するためのパラメータ推定フェーズであり、ステップＳ１０４～ステップＳ１０６は推定パラメータ値を設定した行動モデルにより最大達成度及び最適インセンティブを得るためのインセンティブ最適化フェーズである。なお、パラメータ推定フェーズでは各個人の行動履歴データがインセンティブ最適化装置１０に与えられ、インセンティブ最適化フェーズでは推定パラメータ値と最適化条件がインセンティブ最適化装置１０に与えられる。
　ステップＳ１０１：まず、パラメータ推定部２０１は、各個人の行動履歴データを入力する。
　行動履歴データとは、各個人（以下、ユーザともいう。）の行動とそれに対するインセンティブの回数、時刻（又は、年月日や日時等でもよい。）、量に関する観測データのことである。ユーザを識別するＩＤ等をｕ、ユーザの総数をＵ、ユーザｕの目標とする行動の期間の長さをＴｕ、ユーザｕで観測されたインセンティブ付与の回数をＮｕとする。このとき、行動履歴データは、ユーザｕの各観測時刻における行動の系列｛ｙｔ ｕ｝と、ユーザｕで観測されたインセンティブ付与の時刻の系列｛ｓｎ ｕ｝と、ユーザｕに付与されたインセンティブ量の系列｛ｍｎ ｕ｝とで構成される。ここで、
Figure JPOXMLDOC01-appb-M000001
 とする。
　ただし、行動の観測値｛ｙｔ ｕ｝は、目標とする行動の良さを定量的に評価した数値であるものとする。例えば、ウォーキング習慣の形成を目的とする場合、行動の観測値を１日の歩数等とすることが挙げられる。また、インセンティブ量の例としては、金銭やポイント等が挙げられる。
　ステップＳ１０２：次に、パラメータ推定部２０１は、上記のステップＳ１０１で入力した行動履歴データを用いて、各個人の行動モデルのパラメータを推定する。
　行動モデルとは、インセンティブの付与方法を入力、目標行動に対する達成度を出力とする数理モデルであり、本ステップでは、この行動モデルのパラメータをユーザｕ毎に推定する。
　まず、各ユーザの時刻ｔにおける行動ｙｔが以下の式（１）で与えられる状況を考える。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｓｉはｉ回目に付与されるインセンティブの時刻（ただし、ｓ０＝１とする。）、ｍｉはｉ回目のインセンティブ量、θはパラメータ、ｈ（ｔ｜ｓｉ－１，ｓｉ，θ）はｉ回目に付与されるインセンティブの単位インセンティブ量あたりの行動への影響度を表す。特に時間割引を考慮する場合、ｈ（ｔ｜ｓｉ－１，ｓｉ，θ）は時刻ｔに対して単調増加関数となるように設計される。また、ｘｔは内部状態を表し、関数σ（ｘ）を通じて観測される行動ｙｔに変換されるものとする。
　なお、単位インセンティブ量あたりの行動への影響度ｈ（ｔ｜ｓｉ－１，ｓｉ，θ）は、例えば、双曲割引を考慮した関数ｈ（ｔ｜ｓｉ－１，ｓｉ，θ）＝１／（１＋θ（ｓｉ－ｔ））等で与えられる。
　次に、長さＴの期間における行動の系列｛ｙｔ｝≡（ｙ１，ｙ２，・・・，ｙＴ）から目標行動の達成度を算出する評価関数Ｇ（｛ｙｔ｝）を定義する。
　目標行動の達成度＝Ｇ（｛ｙｔ｝）　　　　（２）
　上記の式（１）及び式（２）により行動モデルが定義される。
　なお、評価関数Ｇ（｛ｙｔ｝）としては、目標行動に応じて任意に設計されるが、行動の系列｛ｙｔ｝が目標に近付くほど達成度が高く、行動の系列｛ｙｔ｝が目標から遠ざかるほど達成度が低くなるものとする。
　したがって、パラメータ推定部２０１は、行動モデルから予測される行動と、行動履歴データとの差分Δｙを最小化するようにパラメータθを推定する。ただし、パラメータの推定はユーザｕ毎に行われる。
　すなわち、パラメータ推定部２０１は、以下の式（３）によりユーザｕのパラメータθｕを推定する。
Figure JPOXMLDOC01-appb-M000003
 　ただし、γは非負の値とする。
　ステップＳ１０３：そして、パラメータ推定部２０１は、上記のステップＳ１０２で推定されたパラメータθｕを推定パラメータ値として出力する。ここで、推定パラメータ値の出力例を図５に示す。図５に示す例では、ユーザｕ＝１のパラメータθｕ＝０．３、ユーザｕ＝２のパラメータθｕ＝０．１、及びユーザｕ＝３のパラメータθｕ＝２．１等が推定パラメータ値として出力された場合の例を示している。なお、推定パラメータ値の出力先は任意に設定することが可能であるが、例えば、表示装置１０２、メモリ装置１０６、通信ネットワークを介して接続される他の装置等が挙げられる。
　ステップＳ１０４：続いて、インセンティブ最適化部２０２は、推定パラメータ値と最適化条件とを入力する。
　ここで、ユーザｕに関するインセンティブの付与方法をＺｕとする。インセンティブの付与方法Ｚｕは、インセンティブの回数Ｎと、インセンティブ付与の時刻の系列｛ｓｎ｝≡（ｓ１，ｓ２，・・・，ｓＮ）と、ユーザｕに付与されるインセンティブ量の系列｛ｍｎ｝≡（ｍ１，ｍ２，・・・，ｍＮ）とで構成される。つまり、Ｚｕ≡（Ｎ，｛ｓｎ｝，｛ｍｎ｝）とする。また、このとき、インセンティブの付与方法を最適化するにあたり、インセンティブの付与方法に関して考慮すべき条件（最適化条件）をＣＺ ｕとする。
　最適化条件ＧＺ ｕは、具体的には、ユーザｕに関する様々なインセンティブ付与方法の集合のことである。例えば、インセンティブ付与方法をＺとして、｛Ｚ｜Ｎ＝３，インセンティブ量の合計＝１００００｝といった集合等のことである。これは、インセンティブ付与回数が３回で、インセンティブ量の合計が１００００であるインセンティブ付与方法Ｚの集合を表している。このような或る条件を満たすインセンティブ付与方法の中から最適なインセンティブ付与方法（つまり、インセンティブの効果（目標行動の達成度）を最大化する付与方法）を探索することが目的である。この意味で最適化条件ＧＺ ｕは、ユーザｕに関するインセンティブ付与方法の探索空間のことである。なお、どのような条件を満たすインセンティブ付与方法の集合をＧＺ ｕとするかは、インセンティブの設計者等によって決定される。
　ステップＳ１０５：次に、インセンティブ最適化部２０２は、上記のステップＳ１０４で入力した推定パラメータ値と最適化条件とを用いて、最適なインセンティブの付与方法Ｚｕを算出する。すなわち、インセンティブ最適化部２０２は、以下の式（４）によりユーザｕの最適なインセンティブ付与方法Ｚｕを探索する。
Figure JPOXMLDOC01-appb-M000004
 　ただし、ユーザｕの最適なインセンティブ付与方法Ｚｕを探索する際には、パラメータθｕが設定された行動モデルを用いる。なお、ユーザｕの最適なインセンティブ付与方法Ｚｕは既知のアルゴリズム（例えば、総当たり法等）により探索すればよい。
　上記の最適なインセンティブ付与方法Ｚｕは、各ユーザｕ∈｛１，２．・・・，Ｕ｝に対して探索される。これにより、ユーザ毎に最適インセンティブと最大達成度とが得られる。
　ステップＳ１０６：そして、インセンティブ最適化部２０２は、上記のステップＳ１０５で得られた最大達成度及び最適インセンティブを出力する。ここで、最大達成度Ｇ＊及び最適インセンティブＺｕ＊＝（Ｎ，｛ｓｎ｝，｛ｍｎ｝）の出力例を図６に示す。図６に示す例では、ユーザｕ＝１の最大達成度Ｇ＊＝１０．５、最適なインセンティブ回数Ｎ＝３、最適なインセンティブ付与時刻（３，５，１０）、各時刻での最適なインセンティブ量（２千円、５千円、３千円）が出力された場合の例を示している。同様に、ユーザｕ＝２の最大達成度Ｇ＊＝２０．３、最適なインセンティブ回数Ｎ＝１、最適なインセンティブ付与時刻（１０）、各時刻での最適なインセンティブ量（１万）が出力された場合の例を示している。同様に、ユーザｕ＝３の最大達成度Ｇ＊＝１２．４、最適なインセンティブ回数Ｎ＝３、最適なインセンティブ付与時刻（１，２，１０）、各時刻での最適なインセンティブ量（１千円、１千円、８千円）が出力された場合の例を示している。この図６に示す例では、各ユーザｕの金銭的インセンティブの予算（つまり、各ユーザｕのインセンティブ量の合計）が１万円であることを条件としている。なお、最大達成度及び最適インセンティブの出力先は任意に設定することが可能であるが、例えば、表示装置１０２、メモリ装置１０６、通信ネットワークを介して接続される他の装置等が挙げられる。
　＜まとめ＞
　以上のように、本実施形態に係るインセンティブ最適化装置１０は、インセンティブが付与されるまでの期間も考慮した行動モデルをユーザ毎に作成し、この行動モデルを用いて最適なインセンティブ付与方法、すなわち目標行動の達成度を最大化するインセンティブ付与方法をユーザ毎に探索する。これにより、各個人のインセンティブに対する行動原理に基づいて、その個人が目標とする行動を達成するために最も効果的なインセンティブの付与方法を個人毎に特定することができるようになる。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１０　　　　インセンティブ最適化装置
　１０１　　　入力装置
　１０２　　　表示装置
　１０３　　　外部Ｉ／Ｆ
　１０３ａ　　記録媒体
　１０４　　　通信Ｉ／Ｆ
　１０５　　　プロセッサ
　１０６　　　メモリ装置
　１０７　　　バス
　２０１　　　パラメータ推定部
　２０２　　　インセンティブ最適化部

Claims (6)

  1. 　個人の行動に対するインセンティブの付与方法を最適化するためのインセンティブ最適化方法であって、
    　前記行動の系列と前記系列に対するインセンティブの付与方法の観測データを用いて、前記インセンティブの付与方法と目標行動に対する達成度をそれぞれ入力と出力に持つモデルのパラメータを前記個人毎に推定するパラメータ推定手順と、
    　前記パラメータ推定手順で推定されたパラメータを設定した前記モデルを用いて、前記達成度を最大化するインセンティブの付与方法を算出する最適化手順と、
    　をコンピュータが実行するインセンティブ最適化方法。
  2. 　前記モデルは、遠い将来に得られるインセンティブを近い将来に得られるインセンティブよりも低く評価する時間割引を考慮して、前記達成度を出力する、請求項１に記載のインセンティブ最適化方法。
  3. 　前記インセンティブの付与方法には、インセンティブ付与の回数と、インセンティブの付与日時と、インセンティブの付与量とが含まれる、請求項１又は２に記載のインセンティブ最適化方法。
  4. 　前記最適化手順は、
    　前記付与量の合計が一定との条件の下で、前記インセンティブの付与方法を算出する、請求項３に記載のインセンティブ最適化方法。
  5. 　個人の行動に対するインセンティブの付与方法を最適化するためのインセンティブ最適化装置であって、
    　前記行動の系列と前記系列に対するインセンティブの付与方法の観測データを用いて、前記インセンティブの付与方法と目標行動に対する達成度をそれぞれ入力と出力に持つモデルのパラメータを前記個人毎に推定するパラメータ推定部と、
    　前記パラメータ推定部で推定されたパラメータを設定した前記モデルを用いて、前記達成度を最大化するインセンティブの付与方法を算出する最適化部と、
    　を有するインセンティブ最適化装置。
  6. 　コンピュータに、請求項１乃至４の何れか一項に記載のインセンティブ最適化方法を実行させるプログラム。
PCT/JP2021/018182 2021-05-13 2021-05-13 インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム Ceased WO2022239178A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/018182 WO2022239178A1 (ja) 2021-05-13 2021-05-13 インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム
US18/558,717 US20240242242A1 (en) 2021-05-13 2021-05-13 Incentive optimization method, incentive optimization apparatus, and program
JP2023520676A JP7552889B2 (ja) 2021-05-13 2021-05-13 インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018182 WO2022239178A1 (ja) 2021-05-13 2021-05-13 インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022239178A1 true WO2022239178A1 (ja) 2022-11-17

Family

ID=84028069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018182 Ceased WO2022239178A1 (ja) 2021-05-13 2021-05-13 インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム

Country Status (3)

Country Link
US (1) US20240242242A1 (ja)
JP (1) JP7552889B2 (ja)
WO (1) WO2022239178A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024218971A1 (ja) * 2023-04-21 2024-10-24 日本電信電話株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248724A (ja) * 2002-02-26 2003-09-05 Matsushita Electric Ind Co Ltd 健康サービス継続支援システムのセンタ装置
JP2010516004A (ja) * 2007-01-12 2010-05-13 ヘルスオーナーズ コーポレイション 断続性報酬を用いた行動修正
JP2013020587A (ja) * 2011-07-14 2013-01-31 Nec Corp 情報処理システム、ユーザの行動促進方法、情報処理装置及びその制御方法と制御プログラム
JP2018028889A (ja) * 2017-02-02 2018-02-22 株式会社ＦｉＮＣ 健康管理装置
JP2019046173A (ja) * 2017-09-01 2019-03-22 ヤフー株式会社 情報解析装置、情報解析方法、およびプログラム
JP2020107132A (ja) * 2018-12-27 2020-07-09 楽天株式会社 価額設定装置、価額設定方法、及び価額設定プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106581A1 (en) * 2007-04-17 2010-04-29 American Express Travel Related Services Company Inc. System and method for enabling registration, determination and distribution of positive behavior incentives
US20150220999A1 (en) * 2009-01-21 2015-08-06 Truaxis, Inc. Method and system to dynamically adjust offer spend thresholds and personalize offer criteria specific to individual users
WO2010135783A1 (en) * 2009-05-29 2010-12-02 Cochlear Limited Vestibular stimulation device
US20120232983A1 (en) * 2011-03-11 2012-09-13 McKesson Speciality Arizona Inc. Method and apparatus for providing dynamically optimized incentives
US10528966B2 (en) * 2011-12-30 2020-01-07 Ebay Inc. Systems and methods for delivering dynamic offers to incent user behavior
JP5567067B2 (ja) * 2012-05-31 2014-08-06 楽天株式会社 特典付与システム、特典付与方法、特典付与装置、特典付与プログラム、特典関連情報表示プログラム及び特典関連情報表示方法
US20150356570A1 (en) * 2014-06-05 2015-12-10 Facebook, Inc. Predicting interactions of social networking system users with applications
US10949888B1 (en) * 2014-09-10 2021-03-16 Square, Inc. Geographically targeted, time-based promotions
US10406442B2 (en) * 2017-01-24 2019-09-10 Cognant Llc System and method for managing dynamic opt-in experiences in a virtual environment
US20180308133A1 (en) * 2017-04-19 2018-10-25 Facebook, Inc. Generating Personalized Messages According To Campaign Data
CN109902706B (zh) * 2018-11-09 2023-08-22 华为技术有限公司 推荐方法及装置
KR102159880B1 (ko) * 2019-05-15 2020-09-24 한국과학기술원 메타 인지 기반 고속 환경 탐색 방법 및 장치
US20220270126A1 (en) * 2019-06-14 2022-08-25 Beijing DIDI Infinity Technology and Development Co., Ltd Reinforcement Learning Method For Incentive Policy Based On Historic Data Trajectory Construction
US11308513B2 (en) * 2019-11-12 2022-04-19 Capital One Services, Llc Habit-based rewards systems and methods
US11514363B2 (en) * 2019-12-06 2022-11-29 Microsoft Technology Licensing, Llc Using a recursive reinforcement model to determine an agent action
US11573540B2 (en) * 2019-12-23 2023-02-07 Johnson Controls Tyco IP Holdings LLP Methods and systems for training HVAC control using surrogate model
US11734755B2 (en) * 2019-12-31 2023-08-22 Synchrony Bank Dynamically determining real-time offers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248724A (ja) * 2002-02-26 2003-09-05 Matsushita Electric Ind Co Ltd 健康サービス継続支援システムのセンタ装置
JP2010516004A (ja) * 2007-01-12 2010-05-13 ヘルスオーナーズ コーポレイション 断続性報酬を用いた行動修正
JP2013020587A (ja) * 2011-07-14 2013-01-31 Nec Corp 情報処理システム、ユーザの行動促進方法、情報処理装置及びその制御方法と制御プログラム
JP2018028889A (ja) * 2017-02-02 2018-02-22 株式会社ＦｉＮＣ 健康管理装置
JP2019046173A (ja) * 2017-09-01 2019-03-22 ヤフー株式会社 情報解析装置、情報解析方法、およびプログラム
JP2020107132A (ja) * 2018-12-27 2020-07-09 楽天株式会社 価額設定装置、価額設定方法、及び価額設定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024218971A1 (ja) * 2023-04-21 2024-10-24 日本電信電話株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
JP7552889B2 (ja) 2024-09-18
JPWO2022239178A1 (ja) 2022-11-17
US20240242242A1 (en) 2024-07-18

Similar Documents

Publication Publication Date Title
Miao et al. Proximity-based rocchio's model for pseudo relevance
CN105678587B (zh) 一种推荐特征确定方法、信息推荐方法及装置
Beunckens et al. A latent-class mixture model for incomplete longitudinal Gaussian data
Knorr‐Held Dynamic rating of sports teams
Ma et al. On estimation efficiency of the central mean subspace
JP7139932B2 (ja) 需要予測方法、需要予測プログラムおよび需要予測装置
JP2011096255A (ja) ランキング指向の協調フィルタリング推薦方法および装置
JP7040319B2 (ja) 運用管理装置、移動先推奨方法及び移動先推奨プログラム
JP6414363B2 (ja) 予測システム、方法およびプログラム
KR101955244B1 (ko) 논문 평가 방법 및 전문가 추천 방법
JP6870467B2 (ja) 広告効果推定装置、広告効果推定方法及び広告効果推定プログラム
Tan et al. Surrogate-guided sampling designs for classification of rare outcomes from electronic medical records data
Shang et al. Global sensitivity analysis using polynomial chaos expansion enhanced gaussian process regression method
WO2022239178A1 (ja) インセンティブ最適化方法、インセンティブ最適化装置、及びプログラム
Watanabe et al. KL-UCB-based policy for budgeted multi-armed bandits with stochastic action costs
US20170046726A1 (en) Information processing device, information processing method, and program
CN104462093A (zh) 个人推荐方案
CN106033465B (zh) 一种信息推送方法和装置
JP6763530B2 (ja) 歌詞のトピック推定情報生成システム
CN109636432B (zh) 计算机执行的项目选择方法和装置
CN111597294B (zh) 信息搜索方法和装置
JP7439926B2 (ja) 映像提供システム、映像提供方法、及びコンピュータプログラム
Akbari et al. Some asymptotic properties of kernel density estimation under length-biased and right-censored data
JP7776823B2 (ja) 系列予測方法、系列予測装置及びプログラム
CN113742532A (zh) 用户画像方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941912

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520676

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18558717

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941912

Country of ref document: EP

Kind code of ref document: A1