JP6275923B2 - 施策評価システムおよび施策評価方法 - Google Patents
施策評価システムおよび施策評価方法 Download PDFInfo
- Publication number
- JP6275923B2 JP6275923B2 JP2017511808A JP2017511808A JP6275923B2 JP 6275923 B2 JP6275923 B2 JP 6275923B2 JP 2017511808 A JP2017511808 A JP 2017511808A JP 2017511808 A JP2017511808 A JP 2017511808A JP 6275923 B2 JP6275923 B2 JP 6275923B2
- Authority
- JP
- Japan
- Prior art keywords
- measure
- kpi
- basic
- target person
- basic index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、施策評価システムおよび施策評価方法に関する。特に、KPIを用いて施策の効果を評価する施策効果評価システムおよび施策評価方法に関する。
経営施策の影響等を、各種の情報データのKPIから計測する手法は、流通業等の様々な業種で行われている。例えば特許文献１には、類似グループからイベントなどのない場合の推定値を算出し、この推定値とイベントなどのあったときの実際の実績値を比較することによって、交通機関の利用状況を把握する技術が記載されている。
ここで、特許文献１に記載の技術では、評価したい評価軸(KPI)を決定し、評価対象グループとKPIが類似する類似グループを決定し、類似グループ基づいて対象グループのイベントが無かった場合のKPI を推定し、対象グループのKPI実績値と推定したKPI値を比較している。しかし、この方法では、多数のKPIが存在する場合にはKPIの数だけ処理を繰り返す必要があり、処理量が増大する。また、処理毎に評価対象グループとKPIが類似する類似グループを決定する必要があり、この点でも処理量が増大する。
本願発明における課題を解決するための手段のうち代表的なものを例示すれば、施策評価システムであって、データを施策対象者と施策非対象者にグループ分けし、施策の実施前における施策対象者の基本指標、および、施策の実施前における非施策対象者の基本指標を算出する基本指標算出部と、基本指標毎に、施策対象者の基本指標と非施策対象者の基本指標の関係性を示す推定モデルを作成し、施策の実施後における施策対象者の基本指標、および、推定モデルに基づいて、施策対象者に施策を実施しなかった場合の基本指標である推定基本指標を推定する基本指標推定部と、複数の基本指標の算術演算で構成されるKPI定義を受け付け、KPI定義および推定基本指標を用いて、KPI定義に対応する推定KPI値を算出するKPI評価算出部と、を有することを特徴とする。
または、入出力部と、基本指標算出部と、基本指標推定部と、KPI評価算出部とを有する施策評価システムにおける施策評価方法であって、基本指標算出部により実行される、データを、入出力部に入力された対象者グループ定義に基づき施策対象者と施策非対象者にグループ分けする工程と、基本指標算出部により実行される、施策の実施前における施策対象者の基本指標、および、施策の実施前における非施策対象者の基本指標を算出する工程と、基本指標推定部により実行される、基本指標毎に、施策対象者の基本指標と非施策対象者の基本指標の関係性を示す推定モデルを作成する工程と、基本指標推定部により実行される、施策の実施後における施策対象者の基本指標、および、推定モデルに基づいて、施策対象者に施策を実施しなかった場合の基本指標である推定基本指標を推定する工程と、KPI評価算出部により実行される、入出力部に入力された複数の基本指標の算術演算で構成されるKPI定義を受け付ける工程と、KPI評価算出部により実行される、KPI定義および推定基本指標を用いて、KPI定義に対応する推定KPI値を算出する工程と、を有することを特徴とする。
本発明の効果のうち代表的なものを例示すれば、KPIを用いて施策の効果を評価する際に、処理量の低減がより容易となる。
本発明の第一の実施例による流通施策効果評価システム構成を図１に示す。図１に示すように、システムは入出力部100と、データ保持部200と、基本指標算出部300と、基本指標推定部400と、KPI評価算出部500とで構成されている。ここで、本発明において基本指標とは、POSデータ等の、流通業のシステムに含まれる指標を指すものとし、KPIとは、複数の基本指標の算術演算により定義される指標を指すものとする。
なお、入出力部100、基本指標算出部300、基本指標推定部400およびKPI評価算出部500は、CPU等(図示しない)により実現される機能ブロックである。入出力部100は、ディスプレイ等(図示しない)の出力デバイスに表示される。データ保持部200は、各種記憶装置により構成されるデータベースである。
入出力部100は、対象者グループ・期間入力画面110と、KPI定義入力画面120と、評価結果表示画面130とで構成されている。
データ保持部200は、購買履歴データ210と、商品マスターデータ220と、顧客情報データ230と、店舗情報データ240とで構成されている。
次に入出力部100の画面例について詳細に説明する。図２に、対象者グループ・期間入力画面110の一例を示す。図２に示すように、対象者グループ・期間入力画面110は、対象者グループ入力部111と、期間入力部112とで構成されている。対象者グループを入力する時に、ファイル選択バトン1111を使って対象者リストを記述するファイルを選んで入力しても良い。また、対象者グループを入力する時に、対象者の年齢・性別・情報などの情報から指定しても良い。図２では、対象者グループの例として、商品Aレコメンド送信者が選択されている。
KPI定義入力画面120の一例を図３に示す。図３に示すように、KPI定義入力画面120は、KPI定義入力121と、基本指標一覧122と、入力済KPI定義一覧123とで構成されている。算出したいKPI定義を入力する時に、基本指標一覧122から、利用する基本指標を選択し、KPI定義入力121にKPI算出用の計算式を入力しても良い。図３では、基本指標として、売上と、来店者数と、購入者数とが使われている。また、KPIの例として、トライアル率が入力されている。なお、KPI定義入力画面120では、KPI定義を複数入力することが可能である。
評価結果表示画面130の一例を図４に示す。図４に示すように、評価結果表示画面130は、KPI一覧131と、KPI時系列132と、施策効果133と、商品/カテゴリ毎効果134と、KPI毎効果135とで構成されている。KPI時系列132は、KPI実績値1321と、施策しなかった場合のKPI推定値1322とを表示する。KPI評価を表示する時に、KPI一覧131から、表示したいKPIを選択しても良い。また、追加ボタン1311、あるいは追加ボタン1351を使って、図３の画面を呼び出してKPI定義を追加入力しても良い。例については後述する。
次に、データ保持部の構成について、図５〜８を用いて説明する。なお、図５〜８の各種データの構成は例であり、他の情報を含んでも良く、不必要な情報は含まなくても良い。
購買履歴データ210の構成例を図５に示す。図５に示すように、購買履歴データ210は、例えば、日時データと、店舗IDデータと、商品IDデータと、顧客IDデータと、数量データと、単価データとで構成されている。
商品マスターデータ220の構成例を図６に示す。図６に示すように、商品マスターデータは、例えば、商品IDデータと、商品名データと、カテゴリデータと、メーカーデータとで構成されている。
顧客情報データ230の構成例を図７に示す。図７に示すように、顧客情報データ230は、例えば、顧客IDデータと、年齢データと、性別データと、住所データとで構成されている。
店舗情報データ240の構成例を図８に示す。図８に示すように、店舗情報データ240は、例えば、店舗IDデータと、店舗名データと、住所データとで構成されている。
次に、基本指標算出部300と、基本指標推定部400と、KPI評価算出部500とについて、図９のフローチャートを使って説明する。図９に示すように、基本指標算出部300と、基本指標推定部400と、KPI評価算出部500の処理はそれぞれ、基本指標算出フロー310、基本指標推定フロー410、KPI評価算出フロー510で構成されている。
基本指標算出フロー310では、まず、入出力部100で入力された対象者グループ定義と、施策期間とに基づいて、データ保持部200で保存されているデータを、対象者グループと非対象者グループに分ける(311)。次に、対象者グループと非対象者グループのそれぞれに対して、基本指標の定義に基づいて施策前の施策対象グループの基本指標と、施策前の非施策対象グループの基本指標と、施策期間の施策対象グループの基本指標と、施策期間の非施策対象グループの基本指標とを算出する(312)。
基本指標推定フロー410では、算出された施策前の施策対象グループの基本指標と、施策前の非施策対象グループの基本指標との関連性を表す推定モデルを作成する(411)。次に、作成された推定モデルと、施策期間の非施策対象グループの基本指標とに基づいて、施策期間の施策しなかった場合の施策対象グループの基本指標を推定する(413)。
ここで、基本指標推定フロー410における推定処理を特に、KPI評価算出フロー510の前段で、基本指標に対して行っていることに留意されたい(411, 414)。そのため、基本指標推定フロー410のループは、基本指標の数だけ、高々数回のみ行えば良く、高速に処理することが可能である。また、本処理はどのようなKPIについて施策効果を算出すべきかを決定する前に実行することが可能である。
KPI評価算出フロー510では、まず、入出力部100に入力されたKPI定義と、基本指標算出フローで算出された施策期間の施策対象グループの基本指標と、基本指標推定フローで推定された施策期間の施策しなかった場合の施策対象グループの基本指標とを受け付ける(511)。次に、これらに基づいて、施策期間の施策対象グループの実績KPI値と、施策期間の施策しなかった場合の施策対象グループの推定KPI値を算出し、施策期間の施策対象グループの実績KPI値から、施策期間の施策しなかった場合の施策対象グループの推定KPI値を引いて施策効果を算出し(512)、評価結果表示画面130に表示する。
ここで、本処理は、ユーザーの入力したKPI定義を受け付け、これに対して行われていることに留意されたい。特許文献１に記載の技術は、評価軸(KPI)を事前に定義した上で、これに対してモデル式の作成、推定値の算出等を行っている。しかし通常、KPIは基本指標の組み合わせから多数作成可能であるため、KPI毎に推定処理を行うと、計算の負荷が膨大なものとなってしまう。また、事前にどのKPIについて推定すべきかを知っていないと、無駄な計算が発生してしまう。これに対し、本処理では既に基本指標推定フロー410において、既に基本指標についての推定処理が完了しているため、これらを用いて、ユーザーの指定したKPIに対する施策効果算出を容易に終わらせることが可能であり、計算量も抑制可能である。さらに、ユーザーの必要に応じてKPIが追加された場合にも、これに対応する施策効果を随時算出することが可能である(513)。
図４に戻り、各表示の具体的な内容を説明する。図４では、商品Aのレコメンド施策効果が表示されている。KPI一覧131では、評価可能なKPIが表示されている。そのうちの売上に対する効果は、KPI時系列132に表示されている。売上実績値(KPI実績値)1321と、商品Aレコメンド施策が実行されなかった場合の推定売上(KPI推定値)1322とが表示されている。また、施策効果133には、商品Aレコメンド施策効果が全体の売上に占める割合を表示されている。また、商品/カテゴリ毎効果134には、商品Aのカテゴリと、商品Aレコメンド施策の影響で売上が増加した五つのカテゴリと、商品Aレコメンド施策の影響で売上が減少した五つのカテゴリとが表示されている。また、KPI毎効果135では、商品Aレコメンド施策が各KPIに対する影響が表示されている。なお、評価操作中に、追加ボタン1311、あるいは追加ボタン1351を使って、図３の画面を呼び出して新たにKPI定義を追加し、素早く評価しても良い。
100 入出力部、
110 対象者グループ・期間入力画面
111 対象者グループ入力部
112 期間入力部
120 KPI定義入力画面
121 KPI定義入力
122 基本指標一覧
123 入力済KPI定義一覧
130 評価結果表示画面
131 KPI一覧
132 KPI時系列
133 施策効果
134 商品/カテゴリ毎効果
135 KPI毎効果
200 データ保持部
210 購買履歴データ
220 商品マスターデータ
230 顧客情報データ
240 店舗情報データ
300 基本指標算出部
310 基本指標算出フロー
400基本指標推定部
410 基本指標推定フロー
500 KPI評価算出部
510 KPI評価算出フロー
1111 ファイル選択バトン
1311 追加ボタン
1321 KPI実績値
1322 KPI推定値
1351 追加ボタン。
110 対象者グループ・期間入力画面
111 対象者グループ入力部
112 期間入力部
120 KPI定義入力画面
121 KPI定義入力
122 基本指標一覧
123 入力済KPI定義一覧
130 評価結果表示画面
131 KPI一覧
132 KPI時系列
133 施策効果
134 商品/カテゴリ毎効果
135 KPI毎効果
200 データ保持部
210 購買履歴データ
220 商品マスターデータ
230 顧客情報データ
240 店舗情報データ
300 基本指標算出部
310 基本指標算出フロー
400基本指標推定部
410 基本指標推定フロー
500 KPI評価算出部
510 KPI評価算出フロー
1111 ファイル選択バトン
1311 追加ボタン
1321 KPI実績値
1322 KPI推定値
1351 追加ボタン。
Claims (4)
- データを施策対象者と施策非対象者にグループ分けし、施策の実施前における施策対象者の基本指標、および、前記施策の実施前における非施策対象者の基本指標を算出する基本指標算出部と、
基本指標毎に、施策対象者の基本指標と非施策対象者の基本指標の関係性を示す推定モデルを作成し、前記施策の実施後における前記施策対象者の基本指標、および、前記推定モデルに基づいて、前記施策対象者に前記施策を実施しなかった場合の基本指標である推定基本指標を推定する基本指標推定部と、
複数の基本指標の算術演算で構成されるKPI定義を受け付け、前記KPI定義および前記推定基本指標を用いて、前記KPI定義に対応する推定KPI値を算出するKPI評価算出部と、を有することを特徴とする施策評価システム。 - 請求項１において、
前記KPI評価算出部は、さらに、前記KPI定義および前記施策の実施後における前記施策対象者の基本指標を用いて、前記KPI定義に対応する実績KPI値を算出し、前記推定KPIおよび前記実績KPIを用いて、前記施策の効果を算出することを特徴とする施策評価システム。 - 入出力部と、基本指標算出部と、基本指標推定部と、KPI評価算出部とを有する施策評価システムにおける施策評価方法であって、
前記基本指標算出部により実行される、データを、前記入出力部に入力された対象者グループ定義に基づき施策対象者と施策非対象者にグループ分けする工程と、
前記基本指標算出部により実行される、施策の実施前における施策対象者の基本指標、および、前記施策の実施前における非施策対象者の基本指標を算出する工程と、
前記基本指標推定部により実行される、基本指標毎に、施策対象者の基本指標と非施策対象者の基本指標の関係性を示す推定モデルを作成する工程と、
前記基本指標推定部により実行される、前記施策の実施後における前記施策対象者の基本指標、および、前記推定モデルに基づいて、前記施策対象者に前記施策を実施しなかった場合の基本指標である推定基本指標を推定する工程と、
前記KPI評価算出部により実行される、前記入出力部に入力された複数の基本指標の算術演算で構成されるKPI定義を受け付ける工程と、
前記KPI評価算出部により実行される、前記KPI定義および前記推定基本指標を用いて、前記KPI定義に対応する推定KPI値を算出する工程と、を有することを特徴とする施策評価方法。 - 請求項３において、
前記KPI評価算出部により実行される前記推定KPI値を算出する工程において、前記KPI定義および前記施策の実施後における前記施策対象者の基本指標を用いて、前記KPI定義に対応する実績KPI値を算出し、前記推定KPIおよび前記実績KPIを用いて、前記施策の効果を算出することを特徴とする施策評価方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/080313 WO2017072869A1 (ja) | 2015-10-28 | 2015-10-28 | 施策評価システムおよび施策評価方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017072869A1 JPWO2017072869A1 (ja) | 2017-10-26 |
| JP6275923B2 true JP6275923B2 (ja) | 2018-02-07 |
Family
ID=58629925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017511808A Expired - Fee Related JP6275923B2 (ja) | 2015-10-28 | 2015-10-28 | 施策評価システムおよび施策評価方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180247248A1 (ja) |
| JP (1) | JP6275923B2 (ja) |
| WO (1) | WO2017072869A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2015136885A1 (ja) * | 2014-03-10 | 2017-04-06 | 日本電気株式会社 | 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 |
| WO2017161646A1 (zh) * | 2016-03-23 | 2017-09-28 | 南京华苏科技有限公司 | 大数据量预测的三层联合动态选择最优模型方法 |
| EP3637359A1 (en) * | 2017-06-08 | 2020-04-15 | Fujitsu Limited | Information processing method, information processing device, and information processing computer program |
| JP6837411B2 (ja) * | 2017-10-31 | 2021-03-03 | 株式会社日立製作所 | 販売促進装置、販売促進方法及び販売促進プログラム |
| JP6962888B2 (ja) * | 2018-09-05 | 2021-11-05 | 株式会社日立製作所 | 特徴抽出装置 |
| JP7051724B2 (ja) * | 2019-01-21 | 2022-04-11 | 株式会社日立製作所 | 計算機システム及び対象に関する目的を達成するために有用な情報の提示方法 |
| US11138241B2 (en) | 2019-07-19 | 2021-10-05 | Walmart Apollo, Llc | Metric definition and visualization |
| JP7194132B2 (ja) * | 2020-02-18 | 2022-12-21 | 株式会社日立製作所 | 特徴抽出装置および特徴抽出方法 |
| JP7445613B2 (ja) | 2020-03-12 | 2024-03-07 | 株式会社オービック | Ｋｐｉ分析装置、ｋｐｉ分析方法、および、ｋｐｉ分析プログラム |
| JP7445614B2 (ja) | 2020-03-12 | 2024-03-07 | 株式会社オービック | Ｋｐｉ分析装置、ｋｐｉ分析方法、および、ｋｐｉ分析プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024471A (ja) * | 2000-07-06 | 2002-01-25 | Railway Technical Res Inst | 交通機関利用状況推定システム及び交通機関利用状況推定方法 |
| JP2007066255A (ja) * | 2005-09-02 | 2007-03-15 | Ricoh Co Ltd | プロジェクト管理システム、該システムのプログラムおよび該プログラムを記録した記録媒体 |
| CN104981495B (zh) * | 2012-12-20 | 2017-11-10 | 陶氏环球技术有限责任公司 | 环氧树脂组合物 |
| JP2015011690A (ja) * | 2013-07-02 | 2015-01-19 | ニフティ株式会社 | 効果測定プログラム、方法及び装置 |
| JPWO2015136885A1 (ja) * | 2014-03-10 | 2017-04-06 | 日本電気株式会社 | 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 |
| WO2015160745A2 (en) * | 2014-04-16 | 2015-10-22 | Siemens Aktiengesellschaft | Performance tracking of an electrical energy storage system |
| US20150317651A1 (en) * | 2014-05-01 | 2015-11-05 | Globys, Inc. | Platform for contextual marketing based on transactional behavioral data |
-
2015
- 2015-10-28 US US15/758,235 patent/US20180247248A1/en not_active Abandoned
- 2015-10-28 JP JP2017511808A patent/JP6275923B2/ja not_active Expired - Fee Related
- 2015-10-28 WO PCT/JP2015/080313 patent/WO2017072869A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20180247248A1 (en) | 2018-08-30 |
| WO2017072869A1 (ja) | 2017-05-04 |
| JPWO2017072869A1 (ja) | 2017-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6275923B2 (ja) | 施策評価システムおよび施策評価方法 | |
| Van Donselaar et al. | Determination of safety stocks in a lost sales inventory system with periodic review, positive lead-time, lot-sizing and a target fill rate | |
| Ernst et al. | Determinants of patent value: Insights from a simulation analysis | |
| JP2018523195A5 (ja) | ||
| JP5570008B2 (ja) | カーネル回帰システム、方法及びプログラム | |
| WO2021049365A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2016136410A5 (ja) | 支援システム | |
| CN111325587A (zh) | 用于生成信息的方法和装置 | |
| JP6608411B2 (ja) | データ解析システム及び施策の生成方法 | |
| WO2016019156A1 (en) | Systems and methods for promotional forecasting | |
| CN108428138B (zh) | 一种基于客户分群的客户生存率分析装置及分析方法 | |
| JP6395852B2 (ja) | 業務状況管理システム、及び業務状況管理方法 | |
| JP2015170184A (ja) | 未観測因子推定支援装置、未観測因子推定支援方法および未観測因子推定支援プログラム | |
| CN111242713A (zh) | 一种信息推送方法和装置 | |
| JP6531820B2 (ja) | 推定器可視化システム | |
| KR101603977B1 (ko) | 영업활동에 대한 수주 가능성 예측 시스템 | |
| US10692257B2 (en) | Process management apparatus, process management method, and storage medium | |
| JP6622678B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6151435B2 (ja) | 倉庫収益シミュレーション装置 | |
| JP6071408B2 (ja) | プロモーション管理システムおよびプロモーション管理用プログラム | |
| JP5650290B1 (ja) | オペレーショナルリスクの計量方法及び装置 | |
| JP2011186933A (ja) | 観察支援装置、観察支援システム、観察支援方法、及び観察支援用プログラム | |
| JP2017509047A5 (ja) | ||
| JP2018072956A5 (ja) | ||
| WO2016018711A1 (en) | Systems and methods for price position sensitivity analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6275923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |