JP6978871B2 - 販売促進システム、機械学習装置および機械学習用データ提供装置 - Google Patents
販売促進システム、機械学習装置および機械学習用データ提供装置 Download PDFInfo
- Publication number
- JP6978871B2 JP6978871B2 JP2017150310A JP2017150310A JP6978871B2 JP 6978871 B2 JP6978871 B2 JP 6978871B2 JP 2017150310 A JP2017150310 A JP 2017150310A JP 2017150310 A JP2017150310 A JP 2017150310A JP 6978871 B2 JP6978871 B2 JP 6978871B2
- Authority
- JP
- Japan
- Prior art keywords
- agent
- sales promotion
- scene
- user
- consumer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 59
- 230000009471 action Effects 0.000 claims description 76
- 230000006399 behavior Effects 0.000 claims description 53
- 230000002787 reinforcement Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 43
- 230000001737 promoting effect Effects 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 280
- 230000008569 process Effects 0.000 description 37
- 230000006854 communication Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
消費者の行動に伴う複数の場面毎(例えば、自宅、店舗アプリ起動時、ジオフェンシングエリア内への進入時、SNSログイン時、サイネージ6での報知エリア内への進入時、店内進入時)に対応した形態で前記販売促進情報を当該消費者に提供する複数場面毎情報提供手段(例えば、S62、S74、S94、S104、S114、S124)と、
消費者の行動データに基づいて人工知能が機械学習を行い、その学習結果を前記複数の場面での前記販売促進情報の提供に反映させる機械学習手段(例えば、S2、S33、S72、S92、S102、S112、S122、S130)と、を備え、
前記機械学習手段は、前記複数の場面で前記販売促進情報が提供された後の消費者の行動(例えば、ゴルフクラブ購入、ネックレス購入、〇〇デパート来店)に基づいて機械学習を行うものであり(例えば、S11、図6(b)の報酬テーブル、S61、S77)、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントに報酬が与えられ(例えば、S11、図6(b)の報酬テーブル)、該報酬の累積を最大化する方策(例えば、π * (s t ):Choose a t * ifQ * (s t ,a t * ))を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段(例えば、S61、S62、S77、S78)を含み、
前記複数の場面は、第1場面(例えば、SNSへのログイン)と第2場面(例えば、サイネージ6での報知エリア内へ進入)とを含み、
前記エージェントは、前記第1場面に専属して販売促進情報を提供する第1場面専属エージェント(例えば、SNS専属エージェント11)と、前記第2場面に専属して販売促進情報を提供する第2場面専属エージェント(例えば、サイネージ専属エージェント12)と、前記複数の場面を統括して全体最適化を図る統括エージェント(例えば、統括エージェント15)とを含み、
前記強化学習手段は、前記第1場面専属エージェントおよび前記第2場面専属エージェントが前記統括エージェントと協調して動作するマルチエージェントシステム(例えば、図1に示すマルチエージェントシステム)を含む。
人工知能が機械学習を行い、その学習結果を前記販売促進情報の提供に反映させるための機械学習手段(例えば、S61、S62、S77、S78、複雑ネットワーク学習テーブル、その他学習テーブル)を備え、
前記機械学習手段は、前記複数の場面で提供された複数の前記販売促進情報(例えば、ユーザテーブルやその他学習テーブルに格納された他行為aij)と、該複数の前記販売促進情報が提供された後の消費者の行動データ(例えば、ユーザテーブルに格納された状態s)とに基づいて、機械学習を行うものであり、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントが報酬を受け取り(例えば、S60、S76、図6(b)の報酬テーブル)、該報酬の累積を最大化する方策(例えば、π * (s t ):Choose a t * ifQ * (s t ,a t * ))を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段(例えば、S61、S62、S77、S78)を含み、
前記複数の場面は、第1場面(例えば、SNSへのログイン)と第2場面(例えば、サイネージ6での報知エリア内へ進入)とを含み、
前記エージェントは、前記第1場面に専属して販売促進情報を提供する第1場面専属エージェント(例えば、SNS専属エージェント11)と、前記第2場面に専属して販売促進情報を提供する第2場面専属エージェント(例えば、サイネージ専属エージェント12)とを含み、
前記強化学習手段は、前記第1場面専属エージェントおよび前記第2場面専属エージェントが、前記複数の場面を統括して全体最適化を図る統括エージェント(例えば、統括エージェント15)と協調して動作するマルチエージェントシステムを含む。
前記機械学習装置は、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントに報酬が与えられ(例えば、S11、図6(b)の報酬テーブル)、該報酬の累積を最大化する方策(例えば、π*(st):Choose at *ifQ*(st,at *))を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段(例えば、S61、S62、S77、S78)を含み、
前記複数の場面は、第1場面と第2場面とを含み、
前記エージェントは、前記第1場面(例えば、SNSへのログイン)に専属して販売促進情報を提供する第1場面専属エージェント(例えば、SNS専属エージェント11)と、前記第2場面(例えば、サイネージ6での報知エリア内へ進入)に専属して販売促進情報を提供する第2場面専属エージェント(例えば、サイネージ専属エージェント12)とを含み、
前記第1場面専属エージェントが提供した販売促進情報を前記第2場面専属エージェントに提供すると共に、前記第2場面専属エージェントが提供した販売促進情報を前記第1場面専属エージェントに提供する販売促進情報提供手段(例えば、S8)と、を備えた。
報酬を算出して前記第1場面専属エージェントと前記第2場面専属エージェントとに与える報酬算出付与手段(例えば、S11、S20〜S24、図6(b)の報酬テーブル)とをさらに備え、
前記報酬算出付与手段は、前記複数の場面を統括して全体最適化を達成するための報酬を算出する(例えば、S20〜S24、図6(b)の報酬テーブル)ようにしてもよい。
人工知能が機械学習を行い、その学習結果を前記複数の場面での前記販売促進情報の提供に反映させるためのステップ(例えば、S60〜S62、S76〜S78)を前記コンピュータに実行させ、
前記ステップは、前記複数の場面で提供された複数の前記販売促進情報(例えば、ユーザテーブルやその他学習テーブルに格納された他行為aij)と、該複数の前記販売促進情報が提供された後の消費者の行動データ(例えば、ユーザテーブルに格納された状態s)とに基づいて、機械学習を行う。
1 エージェントは環境から受け取った観測o(あるいは直接、環境の状態s)を受け取り、方策πに基いて環境に行為aを返す。
2 環境はエージェントから受け取った行為aと現在の状態sに基いて、次の状態s′に変化し、その遷移に基いて次の観測o′と、報酬rと呼ばれる直前の行動の良し悪しを示す1つの数(スカラー量)をエージェントに返す。
3 時間の進行:t←t+1
ここで←は代入操作を表す。
π*(st):Choose at *ifQ*(st,at *)
の式で表される。PD学習とはTemporal Differelce学習のことであり、モデルフリーの手法を用いてQ値を推定するものである。
r=a1・K/(R+購入対象レコメンド回数)で計算する。Rはレコメンドした品目数である。この式からわかるように、専属エージェントがレコメンドした品目数が少なくかつユーザの購入対象(例えばゴルフクラブ)のレコメンド回数が少ないほど、報酬rが大きくなる。
r=−a2・k・Rで算出する。ここに・は乗算を意味している。
人工知能が機械学習を行い、その学習結果を前記複数の場面での前記販売促進情報の提供に反映させるためのステップ(例えば、S60〜S62、S76〜S78)を前記コンピュータに実行させ、
前記ステップは、前記複数の場面で提供された複数の前記販売促進情報(例えば、ユーザテーブルやその他学習テーブルに格納された他行為aij)と、該複数の前記販売促進情報が提供された後の消費者の行動データ(例えば、ユーザテーブルに格納された状態s)とに基づいて、機械学習を行うプログラム。
Claims (6)
- コンピュータネットワークを利用して消費を誘発して販売を促進させる販売促進情報を消費者に提供する販売促進システムであって、
消費者の行動に伴う複数の場面毎に対応した形態で前記販売促進情報を当該消費者に提供する複数場面毎情報提供手段と、
消費者の行動データに基づいて人工知能が機械学習を行い、その学習結果を前記複数の場面での前記販売促進情報の提供に反映させる機械学習手段と、を備え、
前記機械学習手段は、前記複数の場面で前記販売促進情報が提供された後の消費者の行動に基づいて機械学習を行うものであり、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントに報酬が与えられ、該報酬の累積を最大化する方策を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段を含み、
前記複数の場面は、第1場面と第2場面とを含み、
前記エージェントは、前記第1場面に専属して販売促進情報を提供する第1場面専属エージェントと、前記第2場面に専属して販売促進情報を提供する第2場面専属エージェントと、前記複数の場面を統括して全体最適化を図る統括エージェントとを含み、
前記強化学習手段は、前記第1場面専属エージェントおよび前記第2場面専属エージェントが前記統括エージェントと協調して動作するマルチエージェントシステムを含む、販売促進システム。 - 前記機械学習手段は、前記複数の場面で提供された複数の前記販売促進情報と、該複数の前記販売促進情報が提供された後の消費者の行動データとに基づいて、機械学習を行う、請求項1に記載の販売促進システム。
- 前記第1場面専属エージェントと前記第2場面専属エージェントとに与えられる報酬が前記統括エージェントによって影響されるように制御する報酬制御手段をさらに含む、請求項1または2に記載の販売促進システム。
- コンピュータネットワークを利用して消費を誘発して販売を促進させる販売促進情報を消費者の行動に伴う複数の場面毎に対応した形態で消費者に提供する複数場面毎情報提供手段を備えた販売促進システムに用いられる機械学習装置であって、
人工知能が機械学習を行い、その学習結果を前記販売促進情報の提供に反映させるための機械学習手段を備え、
前記機械学習手段は、前記複数の場面で提供された複数の前記販売促進情報と、該複数の前記販売促進情報が提供された後の消費者の行動データとに基づいて、機械学習を行うものであり、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントが報酬を受け取り、該報酬の累積を最大化する方策を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段を含み、
前記複数の場面は、第1場面と第2場面とを含み、
前記エージェントは、前記第1場面に専属して販売促進情報を提供する第1場面専属エージェントと、前記第2場面に専属して販売促進情報を提供する第2場面専属エージェントとを含み、
前記強化学習手段は、前記第1場面専属エージェントおよび前記第2場面専属エージェントが、前記複数の場面を統括して全体最適化を図る統括エージェントと協調して動作するマルチエージェントシステムを含む、機械学習装置。 - コンピュータネットワークを利用して消費を誘発して販売を促進させる販売促進情報を消費者の行動に伴う複数の場面毎に対応した形態で消費者に提供する複数場面毎情報提供手段を備えた販売促進システムに用いられる機械学習装置に対し、機械学習に必要なデータを提供する機械学習用データ提供装置であって、
前記機械学習装置は、消費者の行動環境内で収集された行動データをエージェントが観測して選択した販売促進情報を前記複数の場面で当該消費者に提供した後にその消費者が取った行動に従ってエージェントに報酬が与えられ、該報酬の累積を最大化する方策を学習し、該学習された方策に基づいて前記販売促進情報を選択して消費者に提供する強化学習手段を含み、
前記複数の場面は、第1場面と第2場面とを含み、
前記エージェントは、前記第1場面に専属して販売促進情報を提供する第1場面専属エージェントと、前記第2場面に専属して販売促進情報を提供する第2場面専属エージェントとを含み、
前記第1場面専属エージェントが提供した販売促進情報を前記第2場面専属エージェントに提供すると共に、前記第2場面専属エージェントが提供した販売促進情報を前記第1場面専属エージェントに提供する販売促進情報提供手段と、を備えた、機械学習用データ提供装置。 - 前記販売促進情報を提供された消費者がその後取った行動を当該消費者に前記販売促進情報を提供した専属エージェントに提供する行動データ提供手段と、
報酬を算出して前記第1場面専属エージェントと前記第2場面専属エージェントとに与える報酬算出付与手段とをさらに備え、
前記報酬算出付与手段は、前記複数の場面を統括して全体最適化を達成するための報酬を算出する、請求項5に記載の機械学習用データ提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017150310A JP6978871B2 (ja) | 2017-08-03 | 2017-08-03 | 販売促進システム、機械学習装置および機械学習用データ提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017150310A JP6978871B2 (ja) | 2017-08-03 | 2017-08-03 | 販売促進システム、機械学習装置および機械学習用データ提供装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019028899A JP2019028899A (ja) | 2019-02-21 |
JP6978871B2 true JP6978871B2 (ja) | 2021-12-08 |
Family
ID=65476424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017150310A Active JP6978871B2 (ja) | 2017-08-03 | 2017-08-03 | 販売促進システム、機械学習装置および機械学習用データ提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6978871B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7407420B2 (ja) * | 2020-02-07 | 2024-01-04 | 三菱重工業株式会社 | 学習システム、学習方法及び学習プログラム |
WO2021220556A1 (ja) | 2020-04-28 | 2021-11-04 | ソニーグループ株式会社 | 機械学習システム、機械学習装置、及び機械学習方法 |
WO2021229849A1 (ja) * | 2020-05-14 | 2021-11-18 | パナソニックIpマネジメント株式会社 | 情報提供方法、制御方法、通信端末、プログラム、及び記録媒体 |
CN115552443A (zh) * | 2020-05-14 | 2022-12-30 | 松下知识产权经营株式会社 | 信息提供方法 |
CN115552445A (zh) * | 2020-05-21 | 2022-12-30 | 松下知识产权经营株式会社 | 信息提供方法、控制方法、通信终端、程序以及记录介质 |
WO2021234991A1 (ja) * | 2020-05-21 | 2021-11-25 | パナソニックIpマネジメント株式会社 | 情報提供方法 |
CN115516485A (zh) * | 2020-05-28 | 2022-12-23 | 松下知识产权经营株式会社 | 信息提供方法 |
WO2021250918A1 (ja) * | 2020-06-11 | 2021-12-16 | パナソニックIpマネジメント株式会社 | 情報提供方法、制御方法、通信端末、プログラム、及び記録媒体 |
CN111859114A (zh) | 2020-06-18 | 2020-10-30 | 北京百度网讯科技有限公司 | 推荐系统的优化方法、装置、设备和计算机存储介质 |
JP7314442B2 (ja) * | 2020-07-17 | 2023-07-26 | 株式会社三鷹ホールディングス | ポイントサイネージビジネスシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877090A (ja) * | 1994-09-01 | 1996-03-22 | Fujitsu Ltd | マルチエージェントシステム |
JP2006113711A (ja) * | 2004-10-13 | 2006-04-27 | Matsushita Electric Ind Co Ltd | マーケティング情報提供システム |
CN107196851A (zh) * | 2007-11-14 | 2017-09-22 | 高通股份有限公司 | 用于确定有目标的内容消息的适宜性的方法和系统 |
JP5413831B2 (ja) * | 2009-07-17 | 2014-02-12 | 学校法人立命館 | 電力取引管理システム、管理装置、電力取引方法、及び電力取引用コンピュータプログラム |
JP5961670B2 (ja) * | 2014-08-18 | 2016-08-02 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
US20160148251A1 (en) * | 2014-11-24 | 2016-05-26 | Adobe Systems Incorporated | Risk Quantification for Policy Deployment |
JP6781906B2 (ja) * | 2015-05-22 | 2020-11-11 | 株式会社LeapOne | 販売情報利用装置、販売情報利用方法、およびプログラム |
JP6351666B2 (ja) * | 2016-07-28 | 2018-07-04 | オカムラ印刷株式会社 | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム |
-
2017
- 2017-08-03 JP JP2017150310A patent/JP6978871B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019028899A (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6978871B2 (ja) | 販売促進システム、機械学習装置および機械学習用データ提供装置 | |
US20170364860A1 (en) | Vector-based characterizations of products and individuals with respect to processing returns | |
US20180174188A1 (en) | Systems and methods for customizing content of a billboard | |
US20160042315A1 (en) | System and methods for order fulfillment, inventory management, and providing personalized services to customers | |
US20180025365A1 (en) | Vector-based characterizations of products and individuals with respect to selecting items for store locations | |
US10016897B2 (en) | Robotic systems and methods in prediction and presentation of resource availability | |
US20170300946A1 (en) | Vector-based characterizations of products | |
US20180108062A1 (en) | Courier management system | |
US20130268317A1 (en) | Arrangement for facilitating shopping and related method | |
US20180107971A1 (en) | Aggregate mobile analytics-based inventory activity identification systems and methods | |
US10991004B2 (en) | Utilizing population density to facilitate providing offers | |
US20180174101A1 (en) | Systems and methods for storing and retrieving merchandise at product distribution centers | |
US20080189170A1 (en) | Sensor network-based context-aware content delivery system | |
KR101657227B1 (ko) | 고객 정보 관리 장치, 고객 정보 관리 방법, 고객 정보 관리 시스템 및 컴퓨터 프로그램이 기록된 기록매체 | |
JP2011516947A (ja) | トランザクションデータの分析方法 | |
AU2021221864A1 (en) | Computer-implemented systems and methods for in-store route recommendations | |
US20130325554A1 (en) | Commerce System and Method of Optimizing Profit for Retailer from Price Elasticity of Other Retailers | |
KR20150070481A (ko) | 마케팅 시스템 및 이를 이용한 마케팅 방법 | |
US20150302450A1 (en) | Coupon recommendation for mobile devices | |
JP2012083971A (ja) | 買い物支援システム,サーバ装置及び買い物支援プログラム | |
US20160247218A1 (en) | Physical marketplace interaction platform | |
Spentzouris et al. | A stochastic optimization framework for personalized location-based mobile advertising | |
KR101542571B1 (ko) | 소셜 네트워크 서비스를 이용한 추천 보상 장치 및 그 방법 | |
CN109952590A (zh) | 情景驱动的内容递送系统和方法 | |
JP2019067154A (ja) | 提案装置、提案方法及び提案プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6978871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |