JP7315048B1

JP7315048B1 - 配信プログラム、配信方法および情報処理装置

Info

Publication number: JP7315048B1
Application number: JP2022025131A
Authority: JP
Inventors: 佳昭伊海; 由花條
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2022-02-21
Filing date: 2022-02-21
Publication date: 2023-07-26
Anticipated expiration: 2042-02-21
Also published as: EP4231260A1; US20230267639A1; JP2023121668A

Abstract

【課題】ユーザが興味を持つ購入前の商品に関する情報を提供すること。
【解決手段】情報処理装置１００は、店内を撮影した映像から人物と商品とを抽出する。情報処理装置１００は、抽出した人物を追跡し、追跡した人物の店内での商品に対する行動を特定する。情報処理装置１００は、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の商品に対する行動が到達した第１の行動種別を特定する。情報処理装置１００は、特定した第１の行動種別が所定のレベル以上であって、追跡した人物が前記商品を未購入であるときは、追跡した人物に対して、第１の行動種別を示す商品に関連する情報を配信する。
【選択図】図１

Description

本発明は、配信プログラム等に関する。

クーポン（クーポン券）を配布することで、ユーザの購買意欲を刺激し、商品の販売を促進するマーケティングが行われている。たとえば、従来技術では、ユーザがレジで精算を行う場合に、ユーザが過去に購入した商品に関連する商品を特定し、特定した商品のクーポンを提供する技術が開示されている。

また、オンラインショップでは、アクセス履歴や検索履歴を基にして、ユーザ毎に個別にクーポンを発行し、広告の提示を合わせて行っている。

特開２００６－２５２１６０号公報

しかしながら、上述した従来技術では、ユーザにとって興味のある商品であって、ユーザが購入する前の商品に関連する情報を提供することができない。

たとえば、ユーザが購入するか否かを迷っている商品に関連する情報を発行できれば、ユーザの購買意欲をより効果的に刺激することができる。

これに対して、従来技術では、ユーザが過去に購入済みの商品に関するクーポンを発行するものであり、ユーザが購入する前の商品のクーポンを発行することはできていない。

１つの側面では、本発明は、ユーザが興味を持つ購入前の商品に関連する情報を提供できる配信プログラム、配信方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、店内を撮影した映像から人物と商品とを抽出する。コンピュータは、抽出した人物を追跡し、追跡した人物の店内での商品に対する行動を特定する。コンピュータは、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の商品に対する行動が到達した第１の行動種別を特定する。コンピュータは、特定した第１の行動種別が所定のレベル以上であって、追跡した人物が前記商品を未購入であるときは、追跡した人物に対して、第１の行動種別を示す商品に関連する情報を配信する。

ユーザが興味を持つ購入前の商品に関する情報を提供できる。

図１は、本実施例に係るシステムの一例を示す図である。図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３は、行動ルールＤＢのデータ構造の一例を示す図である。図４は、認識ルールの一例を示す図である。図５は、カメラ設置ＤＢのデータ構造の一例を示す図である。図６は、商品ＤＢのデータ構造の一例を示す図である。図７は、人物ＤＢのデータ構造の一例を示す図である。図８は、ユーザの追跡を説明する図である。図９は、ユーザ抽出および追跡の例を示す図である。図１０は、骨格情報の例を示す図である。図１１は、全身の姿勢判定を説明する図である。図１２は、パーツ別動作の検知を説明する図である。図１３は、実施例にかかるＲＯＩ指定の例を示す図である。図１４は、本実施例に係る動作認識部の処理の一例を説明するための図である。図１５は、購買心理工程の例を示す図である。図１６は、実施例にかかる到達した行動種別の特定について説明する図である。図１７は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１８は、配信処理の処理手順を示すフローチャートである。図１９は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する配信プログラム、配信方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、本実施例に係るシステムは、カメラ１０，２０と、情報処理装置１００とを有する。カメラ１０、カメラ２０、情報処理装置１００は、ネットワーク１５を介して相互に接続される。

カメラ１０は、売り場３の映像を撮影するカメラである。売り場３には、商品を収容する棚４が設置される。図１では、棚４を示すが、売り場３には、その他の棚が含まれていてもよいし、商品は必ずしも棚に収容されていなくてもよい。売り場３には、カメラ１０以外の複数のカメラが設置されていてもよい。カメラ１０は、撮影した映像の情報を、情報処理装置１００に送信する。以下の説明では、カメラ１０が撮影した映像の情報を「第１映像情報」と表記する。

たとえば、ユーザＣ１は、棚４から商品を取り出して、買い物カゴ等に入れ、商品の会計を行う場合には、レジエリア５に移動する。

カメラ２０は、レジエリア５の映像を撮影するカメラである。レジエリア５には、ユーザＣ１’が会計を行うレジ６が設置される。図１では、レジ６を示すが、レジエリア５には、その他のレジが含まれていてもよい。レジエリア５には、カメラ２０以外の複数のカメラが設置されていてもよい。カメラ２０は、撮影した映像の情報を、情報処理装置１００に送信する。以下の説明では、カメラ２０が撮影した映像の情報を「第２映像情報」と表記する。

レジ６は、ネットワーク１５に接続され、ユーザＣ１’の購入履歴情報を、情報処理装置１００に送信する。購入履歴情報には、ユーザＣ１’が購入した商品の情報が含まれる。なお、情報処理装置１００は、第２映像情報を分析して、ユーザＣ１’が購入した商品の情報を特定してもよい。

情報処理装置１００は、行動の工程の遷移と行動種別とを定義した行動ルールＤＢ（Data Base）５０を有している。たとえば、行動は、「買い物カゴをもっている」、「商品を所定時間以上見つめる」、「商品の棚の前の場所に足が入っている」等である。行動種別は「商品を手に取ってカゴに入れた」、「買おうか悩んだか買わない」、「商品の前に居座る」、「複数の商品に手を伸ばす」、「商品の前を通り過ぎる」等である。

情報処理装置１００は、第１映像情報を基にしてユーザＣ１を追跡し、売り場３における、ユーザＣ１の商品に対する行動を特定する。情報処理装置１００は、第１映像情報から特定したユーザＣ１の各行動と、行動ルールＤＢ５０とを基にして、複数の行動種別のうち、ユーザの各行動によって到達した第１の行動種別を特定する。また、情報処理装置１００は、第１映像情報を基にして、第１の行動種別の対象となる商品を特定する。

情報処理装置１００は、第１映像情報を基にして、ユーザＣ１の人物特徴を抽出しておく。情報処理装置１００は、第２映像情報を基にして、ユーザＣ１と同一の人物特徴を有するユーザＣ１’が利用するレジ６を特定し、レジ６からユーザＣ１’の購入履歴情報を受信する。なお、情報処理装置１００は、カメラ１０、２０、他のカメラの映像情報を分析して、売り場３からレジエリア５に移動するユーザＣ１を追跡し、ユーザＣ１（ユーザＣ１’）が利用するレジ６を特定してもよい。

情報処理装置１００は、第１の行動種別が、所定のレベル以上の行動種別であり、かつ、第１の行動種別の対象となる商品が購入履歴情報に含まれていない場合に、ユーザＣ’に対して、クーポンまたは広告などの宣伝に関連する情報を配信する。たとえば、情報処理装置１００は、レジ６から、クーポンを出力させてもよいし、レジ６の表示画面に広告を表示されてもよい。また、ユーザＣ’が携帯する端末装置に設定されたアプリケーションと連携して、クーポンの情報または広告を配信してもよい。以下、アプリケーションを「アプリ」と表記する。ユーザＣ’の登録情報に基づいて、ユーザＣ’の端末装置に商品の宣伝に関連するメールを送信してもよい。なお、クーポンは、商品の割引券や優待券であり、次回以降の来店で利用できる。広告は、商品に関する情報を世間の多くの人に知らせ・興味を抱かせ・購入その他の行動を促す情報である。このとき、広告の内容は、ユーザの各行動によって到達した第１の行動種別によって変えることができる。

ここで、所定のレベル以上の行動種別とは、商品に対する興味、要求、比較に相当する行動種別とする。たとえば、所定のレベル以上の行動種別の一例は、「買おうか悩んだか買わない」、「商品の前に居座る」、「複数の商品に手を伸ばす」等である。

上記のように、本実施例に係る情報処理装置１００は、第１映像情報を基にして、ユーザＣ１の第１の行動種別を特定し、第１の行動種別が、所定のレベル以上の行動種別であり、第１の行動種別に対応する商品が購入されていない場合に、クーポンを配信する。これによって、ユーザにとって興味のある商品であって、ユーザが購入する前の商品のクーポンを提供することができる。

次に、本実施例に係る情報処理装置１００の構成例について説明する。図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図２に示すように、この情報処理装置１００は、通信部１１０と、記憶部１４０と、制御部１５０とを有する。図示を省略するが、情報処理装置１００は、入力装置、表示装置に接続されていてもよい。

通信部１１０は、ネットワーク１５を介して、カメラ１０（売り場３に設定された複数のカメラ）、カメラ２０（レジエリア５に設定された複数のカメラ）、レジ６（複数のレジ）、他の装置等との間でデータ通信を実行する。また、通信部１１０は、店舗の入口、出口に設置された複数のカメラから映像情報を受信してもよい。通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。

記憶部１４０は、行動ルールＤＢ５０、第１映像バッファ１４１、第２映像バッファ１４２、カメラ設置ＤＢ１４３、商品ＤＢ１４４を有する。記憶部１４０は、たとえば、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

行動ルールＤＢ５０は、認識ルールと行動種別との関係を定義した情報を保持する。図３は、行動ルールＤＢのデータ構造の一例を示す図である。図３に示すように、この行動ルールＤＢ５０は、行動種別と、認識ルールとを対応付ける。たとえば、行動種別には、「買おうか悩んだが買わない」、「商品の前に居座る」、「複数の商品に手を伸ばす」等の行動種別が設定される。認識ルールは、複数の行動の工程の遷移等を示す。

図４は、認識ルールの一例を示す図である。ここでは一例として、行動種別「買おうか悩んだが買わない」に対応する認識ルールについて説明する。たとえば、ユーザの行動が、条件ｘ１と条件ｘ２とを満たす場合に、ユーザの行動種別が「買おうか悩んだが買わない」であると認識される。

条件ｘ１は、ユーザの行動が、行動ｙ１－１と、行動ｙ１－２とを満たす場合に、満たされる。行動ｙ１－１は「買い物カゴを持っている」である。行動ｙ１－２は「商品の棚の前の場所に足が入っている」である。

条件ｘ２は、条件ｘ２－１または条件ｘ２－２の何れか一方を満たす場合に、満たされる。

条件ｘ２－１は、ユーザの行動が、行動ｙ２－１と、行動ｙ２－２とを満たす場合に、満たされる。行動ｙ２－１は「商品の棚を連続５秒以上見る」である。行動ｙ２－２は「商品の棚に手を入れない」である。

条件ｘ２－２は、ユーザの行動が、行動ｙ３－１と、行動ｙ３－２とを満たす場合に、満たされる。行動ｙ３－１は「商品の棚に手をいれて何かをとる」である。行動ｙ３－２は「同じ商品棚に手をいれてものを戻す」である。

図２の説明に戻る。第１映像バッファ１４１は、売り場３のカメラ１０（複数のカメラ）から受信する第１映像情報を格納するバッファである。

第２映像バッファ１４２は、レジエリア５のカメラ２０（複数のカメラ）から受信する第２映像情報を格納するバッファである。

カメラ設置ＤＢ１４３は、売り場３のカメラ１０が設置される場所を特定するための情報を記憶する。ここで記憶される情報は、管理者等により予め設定される。図５は、カメラ設置ＤＢのデータ構造の一例を示す図である。図５に示すように、このカメラ設置ＤＢ１４３は、カメラＩＤと、売り場とを対応付ける。カメラＩＤは、カメラを一意に特定する情報である。売り場には、売り場を特定する情報が設定される。たとえば、カメラ１０のカメラＩＤを「ｃａｍ１０－１」とすると、カメラ１０が、「食料品売り場」に設置されていることが示される。

商品ＤＢ１４４は、各売り場にある商品に関する情報を記憶する。ここで記憶される情報は、管理者等により予め設定される。図６は、商品ＤＢのデータ構造の一例を示す図である。図６に示すように、この商品ＤＢ１４４は、売り場と、商品ＩＤと、棚領域とを対応付ける。売り場には、売り場を特定する情報が設定される。商品ＩＤは、商品を一意に特定する情報である。棚領域は、商品ＩＤによって特定される商品を収容する棚の領域の座標が設定される。棚領域の座標は、該当する売り場に設置されたカメラが撮影する映像情報上の座標とする。商品が棚に収容されていない場合には、棚領域の代わりに、商品ＩＤによって特定される商品の配置領域の座標が設定される。また、ユーザが棚の商品に手を伸ばす場合に立つ位置の領域の座標を、棚領域の座標と対応付けて登録してよい。

人物ＤＢ１４５は、店内に滞在するユーザに関する各種の情報を記憶する。図７は、人物ＤＢのデータ構造の一例を示す図である。図７に示すように、この人物ＤＢ１４５は、ユーザＩＤと、人物特徴情報と、行動履歴とを対応付ける。ユーザＩＤは、店内のユーザを一意に識別する情報であり、第１映像情報、第２映像情報から検出されたユーザに対して動的に付与される。人物特徴情報は、Person Re-Identification等で得られる５１２次元のベクトル情報である。行動履歴は、追跡中のユーザが行った行動の履歴が設定される。

なお、記憶部１４０に記憶される上記情報はあくまでも一例であり、記憶部１４０には、上記情報以外にも様々な情報を記憶できる。

図２の説明に戻る。制御部１５０は、受信部１５１、追跡部１５２、骨格検知部１５３、動作認識部１５４、配信処理部１５５を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により実現される。また、制御部１５０は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。

受信部１５１は、売り場３に設置されたカメラ１０（複数のカメラ）から第１映像情報を受信する。受信部１５１は、受信した第１映像情報を、第１映像バッファ１４１に格納する。受信部１５１は、各売り場のカメラ毎に、第１映像情報を格納する。第１映像情報には、時系列のフレーム（静止画像情報）が含まれる。

受信部１５１は、レジエリア５に設置されたカメラ２０（複数のカメラ）から第２映像情報を受信する。受信部１５１は、受信した第２映像情報を、第２映像バッファ１４２に格納する。受信部１５１は、レジエリア５のカメラ毎に、第２映像情報を格納する。第２映像情報には、時系列のフレームが含まれる。

追跡部１５２は、第１映像バッファ１４１、第２映像バッファ１４２に格納された複数のフレームから、ユーザが写っているフレームを抽出して、フレーム間で同一人物を特定する。

たとえば、追跡部１５２は、あるユーザが店舗に入店してから退店するまでを追跡し、店舗内で撮像されたあるユーザの各フレームを取得する。図８は、ユーザの追跡を説明する図である。図８に示すように、追跡部１５２は、店舗の入口や、各売り場、レジエリアや出口など店内各所に設置されたカメラによって撮像された複数のフレームからユーザを抽出し、抽出したユーザから同一のユーザを特定し、ユーザごとに追跡を行う。図８では、便宜的に、各カメラを、カメラ１０－１，１０－２，１０－３，１０－４，・・・１０－ｎで示す。

図９は、ユーザ抽出および追跡の例を示す図である。図９に示すように、追跡部１５２は、たとえば、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）などの既存の検出アルゴリズムを用いて、店内画像からユーザを抽出する。店内画像は、カメラ１０によって撮像された第１映像情報に含まれるフレームであり、図９に示すように、抽出されたユーザは、フレーム上でその領域を矩形で囲むバウンディングボックス（BBOX）によって示される。

また、図９の上段に示すように、店内画像から複数のユーザが抽出されることは当然あり得る。そのため、追跡部１５２は、図９の下段に示すように、たとえば、複数のフレーム間のユーザのBBOXの類似度に基づいて、フレーム間で同一人物を特定する。同一人物の特定には、たとえば、TLD（Tracking Learning Detection）やKCF（Kernelized Correlation Filters）などの既存の追跡アルゴリズムが用いる。

追跡部１５２は、同一のユーザにユーザＩＤを付与し、ユーザの人物特徴情報と対応付けて、人物ＤＢ１４５に登録する。追跡部１５２は、Person Re-Identification等で得られる５１２次元のベクトル情報である。追跡部１５２は、BBOXに含まれるユーザの服の色、身長、バックの持ち方、歩き方等を、人物特徴情報として抽出してもよい。

骨格検知部１５３は、フレームに写っているユーザの骨格情報を取得する。具体的には、骨格検知部１５３は、追跡部１５２により抽出された各ユーザが写っているフレームに対して、ユーザの骨格検知を実行する。骨格検知部１５３は、フレームに写っているユーザにＩＤを、骨格情報に付与するものとする。

たとえば、骨格検知部１５３は、抽出されたユーザの画像データ、すなわち抽出されたユーザを示すBBOX画像を、DeepPoseやOpenPoseなどの既存アルゴリズムを用いて構築された、訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図１０は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。たとえば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、図１０に示した１８個の骨格の座標情報が、画像データから取得可能であり、たとえば、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」が取得される。なお、たとえば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

また、骨格検知部１５３は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。たとえば、骨格検知部１５３は、図１０の骨格情報のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図１１は、全身の姿勢判定を説明する図である。図１１に示すように、骨格検知部１５３は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。

また、骨格検知部１５３は、体の３Ｄ関節姿勢に基づき、パーツの姿勢判定することで、パーツ別の動作を検知することもできる。具体的には、骨格検知部１５３は、3D-baseline手法などの既存アルゴリズムを用いて、２Ｄ関節座標から３Ｄ関節座標への変換を行うこともできる。

図１２は、パーツ別動作の検知を説明する図である。図１２に示すように、骨格検知部１５３は、パーツ「顔」について、顔向きと各方向ベクトルの角度が閾値以下であるか否かにより、顔の向きが前、左、右、上、下のいずれの向きか（５種類）を検知することができる。なお、骨格検知部１５３は、顔の向きについては、「始点：両耳の中点、終点：鼻」により定義されるベクトルにより特定する。また、骨格検知部１５３は、顔が後ろを向いているか否かについては、「顔が右向きかつ腰が右捻り」または「顔が左向きかる腰が左捻り」により検知することができる。

骨格検知部１５３は、パーツ「腕」について、前腕の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の腕の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部１５３は、腕の向きについては「始点：肘（elbow）、終点：手首（wrist）」により定義されるベクトルにより検知することができる。

骨格検知部１５３は、パーツ「脚」について、下腿の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の脚の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部１５３は、下腿の向きについては「始点：膝（knee）、終点：足首（ankle）」により定義されるベクトルにより検知することができる。

骨格検知部１５３は、パーツ「肘」について、肘の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部１５３は、肘の角度については、「始点：肘（elbow）、終点：肩（shoulder）」のベクトルＡと「始点：肘（elbow）、終点：手首（wrist）」のベクトルＢとのなす角度により検知することができる。

骨格検知部１５３は、パーツ「膝」について、膝の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部１５３は、膝の角度については、「始点：膝（knee）、終点：足首（ankle）」のベクトルＡと「始点：膝（knee）、終点：腰（hip）」のベクトルＢとのなす角度により検知することができる。

骨格検知部１５３は、パーツ「腰」について、腰と肩の角度が閾値以上か否かにより、左右のひねり（２種類）を検知でき、閾値未満で正面と検知することができる。なお、骨格検知部１５３は、腰と肩の角度については、「始点：左肩、終点：右肩」のベクトルＡと「始点：左腰（hip（L））、終点：右腰（hip（R））」のベクトルＢそれぞれについて、軸ベクトルＣ「始点：両腰の中点：終点：両肩の中点」まわりでの回転角により検知することができる。

図２の説明に戻り、動作認識部１５４は、骨格検知部１５３による骨格情報の検知結果に基づき、ユーザの動作を認識する処理部である。具体的には、動作認識部１５４は、連続する複数のフレームそれぞれについて認識された骨格情報の遷移に基づき、少なくとも１つの動作を含む行動を特定する。動作認識部１５４は、骨格情報から特定した各行動を、骨格情報に付与されたユーザＩＤと対応付けて、人物ＤＢ１４５に登録する。

動作認識部１５４は、数フレーム間で、パーツ別の判定により顔が正面を見ている骨格かつ全身の姿勢判定により立っている骨格が連続して検知された場合、「正面を一定時間見る」動作を認識する。また、動作認識部１５４は、数フレーム間で、全身の姿勢の変化が所定値未満の骨格が連続して検知された場合、「移動しない」動作を認識する。

また、動作認識部１５４は、数フレーム間で、肘の角度が閾値以上変化した骨格が検知された場合に、「片手を前に出す」動作もしくは「片腕を伸ばす」動作を認識し、数フレーム間で、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された場合に、「片手を曲げる」動作を認識する。さらに、動作認識部１５４は、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された後に、その角度が数フレーム間継続した場合に、「片手を見る」動作を認識する。

また、動作認識部１５４は、数フレーム間で、手首の角度が連続して変化した骨格が検知された場合、「一定時間の間に手首座標が頻繁に動く」動作を認識する。動作認識部１５４は、数フレーム間で、手首の角度が連続して変化するとともに、肘の角度が連続して変化した骨格が検知された場合、「一定時間の間に肘座標と手首座標が頻繁に動く」動作を認識する。動作認識部１５４は、数フレーム間で、手首の角度、肘の角度、全身の向きのそれぞれが連続して変化した骨格が検知された場合、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を認識する。

また、動作認識部１５４は、ユーザと商品や商品の売場エリアが写っている画像データに対し、たとえば、カメラ１０の各々の撮像領域と、撮像領域内の各商品や各商品の売場エリアの座標とにより商品や売場エリアを特定する。

図１３は、実施例にかかるＲＯＩ指定の例を示す図である。図１３に示すように、カメラ１０の撮像領域内の各商品や売場エリアの領域（ROI：Region Of Interest）を予め指定しておくことで、動作認識部１５４は、第１映像情報のフレームから商品や売場エリアを特定できる。そして、動作認識部１５４は、各画像データのＲＯＩと、追跡中のユーザの行動との関連から、追跡中のユーザの購買行動、たとえば、売場エリアに入場、フロアに滞在、商品Ｉ１に手を伸ばす、商品Ｉ３に座る・寝るなどの行動を特定できる。

また、動作認識部１５４は、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡中のユーザの行動によって到達した第１の行動種別を特定する。動作認識部１５４は、特定した第１の行動種別、第１の行動種別に対応する商品の商品ＩＤ、追跡中のユーザのユーザＩＤを対応付けた動作認識結果を、配信処理部１５５に出力する。

図１４は、本実施例に係る動作認識部の処理の一例を説明するための図である。たとえば、動作認識部１５４は、商品ＤＢ１４４を基にして、カメラ１０が撮影したフレーム（第１映像情報）Ｆ１０上に、棚の領域Ａ１－１と、棚の前の領域Ａ１－２とを設定する。また、Ｆ１０には、骨格検知部１５３によって検知された骨格情報３０Ａ，３０Ｂが設定される。たとえば、Ｆ１０の棚には、商品ＩＤ「item１－１」の商品が配置されているものとする。

動作認識部１５４は、フレームＦ１０に含まれる骨格情報３０Ａ，３０Ｂの位置と、棚の前の領域Ａ１－２とを比較して、商品ＩＤ「item１－１」の棚の前の場所に足が入っていることを特定する。また、動作認識部１５４は、物体認識技術を基にして、骨格情報３０Ａ，３０Ｂに対応するユーザが、買い物カゴ３１ａ、３１ｂを持っていることを認識する。動作認識部１５４は、物体認識技術として「S. Wang, K.-H. Yap, J. Yuan and Y. -P. Tan, "Discovering Human Interactions With Novel Objects via Zero-Shot Learning," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）, 2020, pp. 11649-11658, doi: 10.1109/CVPR42600.2020.01167.」等を利用する。

また、動作認識部１５４は、上述した姿勢判定により、骨格情報３０Ａ，３０Ｂの遷移を分析し、「ユーザが棚の領域Ａ１－１を連続５秒以上見ること」、「棚の領域Ａ１－１に手を入れない」ことを認識したものとする。この場合、動作認識部１５４は、行動ルールＤＢ５０において、ユーザの商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、第１の行動種別「買おうか悩んだが買わない」であることを特定する。動作認識部１５４は、第１の行動種別「買おうか悩んだが買わない」に対応する商品ＩＤ「item１－１」を特定する。

ところで、動作認識部１５４が、追跡中のユーザの行動によって到達した第１の行動種別を特定する処理は、上記の処理に限定されない。たとえば、動作認識部１５４は、後述する購買心理工程等を基にして、追跡中のユーザの行動によって到達した第１の行動種別を特定してもよい。

図１５は、購買心理工程の例を示す図である。図１５は、AIDeCAの法則なる顧客の購買心理工程をまとめた表である。具体例を挙げて説明すると、例えば、顧客Ａは店舗を訪れた際、売場エリアに設置された垂れ幕やポスターを見つけると、購買心理工程が“Attention”に遷移する。そして、顧客Ａは、その中から自分の好きな商品Ｘを紹介するポスターを見つけると、購買心理工程が“Interest”に遷移する。また、顧客Ａは、さっそく商品Ｘを手に取り、商品Ｘの内容や値段などを確認する。この時、購買心理工程は“Desire”に遷移する。また、顧客Ａは、商品Ｘに似た商品である、先日購入した商品Ｙを思い出し、商品Ｘと比較すると、購買心理工程が“Compare”に遷移する。そして、比較した結果、顧客Ａは、商品Ｘに納得して買い物カゴに入れると、購買心理工程が“Action”に遷移する。あくまでも、図１５の購買心理工程は一例だが、このように、顧客は、図１５に示したような購買心理工程に伴う行動をし、店舗を出るまでに何らかの行動に到達する。この到達する行動の種別を第１の行動種別として、動作認識部１５４は、顧客がどの行動まで到達したか、そして到達した行動に対応する購買行動工程を特定する。

図１６は、実施例にかかる到達した行動種別の特定について説明する図である。動作認識部１５４は、追跡中のユーザの各行動を検知して、到達した行動種別と、購買心理工程を特定する。購買心理工程は、上記の第１の行動種別に対応する。

図１６の例は、ユーザＡについて、あるフロアに入場する行動と、しばらくそのフロアに滞在する行動と、そのフロアにある商品に手を伸ばす行動とのそれぞれが、動作認識部１５４によって特定され検知されたことを示している。この場合、ユーザＡが到達した行動種別は、図１６に示すように、“商品手伸ばし”であり、到達した購買心理工程は、“商品手伸ばし”に対応する“Interest”になる。同様に、ユーザＢが到達した行動種別は、図１６に示すように、“複数商品に手伸ばし/座る/寝る”であり、到達した購買心理工程は、“Compare”である。なお、図１６に示す購買心理工程に対応する各行動種別はあくまでも一例であり、これらに限定されない。

具体的には、購買行動工程は、注目および注意（Attention）を示す第一の行動工程、興味および関心（Interest）を示す第二の行動工程、欲求を示す第三の行動工程（Desire）、比較（Compare）を示す第四の行動工程、行動（Action）を示す第五の行動工程、の順番で推移する。

動作認識部１５４は、行動の工程の遷移を規定した複数の行動種別のうち、ユーザＡが第一の行動工程に位置するときは、ユーザＡが第一の行動工程の遷移先の第二の行動工程に対応する行動（例えば、商品手伸ばし）をするか否かを判定する。動作認識部１５４は、第二の行動工程に対応する行動をしたと判定されたときに、ユーザＡが第二の行動工程に遷移したと判定する。例えば、ユーザＡがフロアに滞在したときに、“Attention”の状態に位置する。このとき、“Attention”の遷移先の“Interest”と対応付けられた“商品手伸ばし”を、ユーザＡの行動として検出されたときに、“Interest”の状態に遷移する。

たとえば、動作認識部１５４は、ユーザＡ，Ｂが、レジエリア５に到達するまで、上記処理を実行し、ユーザに対応する第１の行動種別を特定する。

図２の説明に戻る。配信処理部１５５は、動作認識部１５４の動作認識結果と、動作認識結果に含まれるユーザＩＤの購入履歴情報とを基にして、該当ユーザにクーポンを配信するか否かを判定する。配信処理部１５５は、ユーザの第１の行動種別が、所定のレベル以上の行動種別であり、かつ、第１の行動種別の対象となる商品が購入履歴情報に含まれていない場合に、ユーザに対して、クーポンを配信する。

ここで、所定のレベル以上の行動種別は、興味、要求、比較に相当する行動種別とする。たとえば、所定のレベル以上の行動種別の一例は、「買おうか悩んだか買わない」、「商品の前に居座る」、「複数の商品に手を伸ばす」等である。

たとえば、配信処理部１５５は、第１の購入履歴取得処理、または、第２の購入履歴取得処理の何れかを実行して、ユーザの購入履歴情報を取得する。

第１の購入履歴取得処理について説明する。配信処理部１５５は、動作認識結果に設定されるユーザＩＤを基にして、人物ＤＢ１４５から、対象となるユーザの人物特徴情報を取得する。配信処理部１５５は、取得した人物特徴情報と類似する人物特徴情報を有するユーザを、第２映像バッファ１４２の第２映像情報に写ったユーザから特定する。配信処理部１５５は、第２映像情報において、特定したユーザの近くに位置するレジを特定し、特定したレジから、ユーザの購入履歴情報を取得する。なお、第２映像情報に含まれるレジの領域、レジの識別情報は、予め記憶部１４０に設定されているものとする。

第２の購入履歴情報取得処理について説明する。配信処理部１５５は、動作認識結果に設定されるユーザＩＤを基にして、人物ＤＢ１４５から、対象となるユーザの人物特徴情報を取得する。配信処理部１５５は、取得した人物特徴情報と類似する人物特徴情報を有するユーザを、第２映像バッファ１４２の第２映像情報に写ったユーザから特定する。配信処理部１５５は、類似するユーザを、第２映像情報に写ったユーザから特定した後、特定したユーザの近傍に位置する買い物カゴの映像を分析する。配信処理部１５５は、特定したユーザの買い物カゴの映像情報を、商品を認識する訓練済みの学習モデルに入力することで、購入対象となる商品（たとえば、１以上の商品）の識別情報を特定する。配信処理部１５５は、特定した商品の識別情報を、購入履歴情報として生成する。

ここで、配信処理部１５５は、クーポンを配信する場合には、ユーザの利用するレジに、第１の行動種別に対応する商品のクーポン情報を送信し、ユーザにクーポンを発行する。たとえば、記憶部１４０には、商品ＩＤ毎のクーポン情報が格納されており、配信処理部１５５は、第１の行動種別に対応する商品のクーポン情報を、記憶部１４０から取得する。たとえば、配信処理部１５５は、レジの注文確定ボタン等が押下された時点で、レジから上記の購入履歴情報を取得し、ユーザにレシートを発行するタイミングで、レジからクーポンを発行させてもよい。

また、配信処理部１５５は、対象のユーザの端末装置に設定されたアプリと連携して、クーポンの情報を配信してもよい。たとえば、ユーザは、会計時において、アプリ登録情報を入力する。アプリ登録情報には、ユーザが利用するアプリのサービス提供元となるサーバのアドレス、ユーザの識別情報等が含まれる。配信処理部１５５は、アプリ登録情報に設定されたアドレスに、ユーザの識別情報、商品のクーポン情報を送信して、クーポンの発行を依頼する。

次に、本実施例に係る情報処理装置の処理手順の一例について説明する。図１７は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１７に示すように、情報処理装置１００の受信部１５１は、カメラ１０，２０、他のカメラから映像情報を受信し、映像情報を、第１映像バッファ１４１、第２映像バッファ１４２に格納する（ステップＳ１０１）。

情報処理装置１００の追跡部１５２は、映像情報の各フレームからユーザを抽出し、ユーザを追跡する（ステップＳ１０２）。情報処理装置１００の骨格検知部１５３は、ユーザの骨格情報を検知する（ステップＳ１０３）。

情報処理装置１００の動作認識部１５４は、各フレームの骨格情報を基にして、ユーザの各行動を特定する（ステップＳ１０４）。動作認識部１５４は、ユーザの各行動と、行動ルールＤＢ５０とを基にして、第１の行動種別を特定する（ステップＳ１０５）。

情報処理装置１００の配信処理部１５５は、配信処理を実行する（ステップＳ１０６）。

次に、図１７のステップＳ１０６で説明した配信処理の一例について説明する。図１８は、配信処理の処理手順を示すフローチャートである。図１８に示すように、情報処理装置１００の配信処理部１５５は、第１の行動種別のユーザの人物特徴情報と類似する人物特徴情報のユーザを第２映像情報から検出する（ステップＳ２０１）。

配信処理部１５５は、検出したユーザがレジで会計を開始していない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０１に移行する。一方、配信処理部１５５は、検出したユーザがレジで会計を開始した場合には（ステップＳ２０２，Ｙｅｓ）、ステップＳ２０３に移行する。

配信処理部１５５は、ユーザが会計に利用するレジから、購入履歴情報を取得する（ステップＳ２０３）。配信処理部１５５は、第１の行動種別が、所定レベル以上の行動種別であるか否かを判定する（ステップＳ２０４）。

配信処理部１５５は、第１の行動種別が、所定レベル以上の行動種別でない場合には（ステップＳ２０５，Ｎｏ）、配信処理を終了する。配信処理部１５５は、第１の行動種別が、所定レベル以上の行動種別である場合には（ステップＳ２０５，Ｙｅｓ）、ステップＳ２０６に移行する。

配信処理部１５５は、第１の行動種別に対応する商品が、購入履歴情報に含まれているか否かを判定する（ステップＳ２０６）。配信処理部１５５は、第１の行動種別に対応する商品が、購入履歴情報に含まれている場合には（ステップＳ２０７，Ｙｅｓ）、配信処理を終了する。

配信処理部１５５は、第１の行動種別に対応する商品が、購入履歴情報に含まれていない場合には（ステップＳ２０７，Ｎｏ）、第１の行動種別に対応する商品のクーポンを配信する（ステップＳ２０８）。なお、配信する情報は、第１の行動種別に対応する商品のクーポンに限られず、商品の広告であってもよい。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、第１映像情報を基にして、ユーザの第１の行動種別を特定し、第１の行動種別が、所定のレベル以上の行動種別であり、第１の行動種別に対応する商品が購入されていない場合に、クーポンを配信する。これによって、ユーザにとって興味のある商品であって、ユーザが購入する前の商品のクーポンを提供することができる。

情報処理装置１００は、レジエリア５に設置されたカメラ２０の第２映像情報を分析して、ユーザの購入した商品を特定し、購入履歴情報を生成する。これによって、情報処理装置１００は、レジから、購入履歴情報を受信しなくても、第１の行動種別に対応する商品が購入されたか否かを特定することができる。なお、上記のように、情報処理装置１００は、レジから直接、購入履歴情報を受信して処理を行ってもよい。

情報処理装置１００は、第１映像情報から、ユーザの人物特徴情報と、ユーザの第１の行動種別を示す商品を特定する。情報処理装置１００は、第１映像情報から特定したユーザの人物特徴情報を用いて、類似する人物特徴情報のユーザを、第２映像情報から特定し、特定したユーザが会計で利用するレジを特定する。これによって、第１の行動種別を示す商品のクーポンを、レジからユーザに発行することができる。

情報処理装置１００は、行動の組み合わせと、行動種別とを対応付けた行動ルールＤＢを基にして、ユーザに第１の行動種別を割り当てるため、情報処理装置１００に処理負荷を軽減することができる。

ところで、上述した配信処理部１５５は、第１の行動種別に対応する商品が複数で、かつ、複数の商品が未購入の場合には、複数の商品のうち、値段が最も高い商品のクーポンを優先的に配信してもよい。これによって、より売り上げに有効な商品のクーポンを配信することができる。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１９は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１９に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

ハードディスク装置３０７は、受信プログラム３０７ａ、追跡プログラム３０７ｂ、骨格検知プログラム３０７ｃ、動作認識プログラム３０７ｄ、配信処理プログラム３０７ｅを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｅを読み出してＲＡＭ２０６に展開する。

受信プログラム３０７ａは、受信プロセス３０６ａとして機能する。追跡プログラム３０７ｂは、追跡プロセス３０６ｂとして機能する。骨格検知プログラム３０７ｃは、骨格検知プロセス３０６ｃとして機能する。動作認識プログラム３０７ｄは、動作認識プロセス３０６ｄとして機能する。配信処理プログラム３０７ｄは、配信処理プロセス３０６ｄとして機能する。

受信プロセス３０６ａの処理は、受信部１５１の処理に対応する。追跡プロセス３０６ｂの処理は、追跡部１５２の処理に対応する。骨格検知プロセス３０６ｃの処理は、骨格検知部１５３の処理に対応する。動作認識プロセス３０６ｄは、動作認識部１５４の処理に対応する。配信処理プロセス３０６ｄは、配信処理部１５５の処理に対応する。

なお、各プログラム３０７ａ～３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。たとえば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での商品に対する行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の商品に対する行動が到達した第１の行動種別を特定し、
特定した第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す商品に関連する情報を配信する
処理をコンピュータに実行させることを特徴とする配信プログラム。

（付記２）前記第１の行動種別を特定する処理は、
前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の配信プログラム。

（付記３）前記配信する処理は、前記店内の会計機を有するエリアを撮影した映像から、前記人物の購入対象の１以上の商品を特定し、前記特定した１以上の商品の中に、前記第１の行動種別を示す商品が含まれているか否かを判定し、前記第１の行動種別を含む商品が含まれていない場合に、前記第１の行動種別を示す商品に対応するクーポンの配信を決定することを特徴とする付記１に記載の配信プログラム。

（付記４）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定された会計機に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記１に記載の配信プログラム。

（付記５）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定の人物が携帯する端末に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記１に記載の配信プログラム。

（付記６）前記配信する処理は、前記第１の行動種別を示す商品が複数存在する場合、前記複数の商品の値段を基にして、複数の商品の各クーポンのうち、いずれかのクーポンを配信することを特徴とする付記１に記載の配信プログラム。

（付記７）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での商品に対する行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の商品に対する行動が到達した第１の行動種別を特定し、
特定した第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す商品に関連する情報を配信する
処理をコンピュータが実行することを特徴とする配信方法。

（付記８）前記第１の行動種別を特定する処理は、
前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする付記７に記載の配信方法。

（付記９）前記配信する処理は、前記店内の会計機を有するエリアを撮影した映像から、前記人物の購入対象の１以上の商品を特定し、前記特定した１以上の商品の中に、前記第１の行動種別を示す商品が含まれているか否かを判定し、前記第１の行動種別を含む商品が含まれていない場合に、前記第１の行動種別を示す商品に対応するクーポンの配信を決定することを特徴とする付記７に記載の配信方法。

（付記１０）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定された会計機に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記７に記載の配信方法。

（付記１１）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定の人物が携帯する端末に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記７に記載の配信方法。

（付記１２）前記配信する処理は、前記第１の行動種別を示す商品が複数存在する場合、前記複数の商品の値段を基にして、複数の商品の各クーポンのうち、いずれかのクーポンを配信することを特徴とする付記７に記載の配信方法。

（付記１３）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での商品に対する行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の商品に対する行動が到達した第１の行動種別を特定し、
特定した第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す商品に関連する情報を配信する
処理を実行する制御部を有する情報処理装置。

（付記１４）前記第１の行動種別を特定する処理は、
前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記制御部が更に実行することを特徴とする付記１３に記載の情報処理装置。

（付記１５）前記配信する処理は、前記店内の会計機を有するエリアを撮影した映像から、前記人物の購入対象の１以上の商品を特定し、前記特定した１以上の商品の中に、前記第１の行動種別を示す商品が含まれているか否かを判定し、前記第１の行動種別を含む商品が含まれていない場合に、前記第１の行動種別を示す商品に対応するクーポンの配信を決定することを特徴とする付記１３に記載の情報処理装置。

（付記１６）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更に前記制御部が実行し、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定された会計機に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記１３に記載の情報処理装置。

（付記１７）前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更に前記制御部が実行し、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定の人物が携帯する端末に対して、前記第１の行動種別を示す商品のクーポンまたは広告を出力させることを特徴とする付記１３に記載の情報処理装置。

（付記１８）前記配信する処理は、前記第１の行動種別を示す商品が複数存在する場合、前記複数の商品の値段を基にして、複数の商品の各クーポンのうち、いずれかのクーポンを配信することを特徴とする付記１３に記載の情報処理装置。

５０行動ルールＤＢ
１００情報処理装置
１１０通信部
１４０記憶部
１４１第１映像バッファ
１４２第２映像バッファ
１４３カメラ設置ＤＢ
１４４商品ＤＢ
１４５人物ＤＢ
１５０制御部
１５１受信部
１５２追跡部
１５３骨格検知部
１５４動作認識部
１５５配信処理部

Claims

店内を撮影した映像から人物と第一の商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記第一の商品に対する行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記第一の商品に対する行動が到達した第１の行動種別を特定し、
特定した前記第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記第一の商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す前記第一の商品に関連する情報を配信する
処理をコンピュータに実行させることを特徴とする配信プログラム。
前記第１の行動種別を特定する処理は、
前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の配信プログラム。
前記配信する処理は、前記店内の会計機を有するエリアを撮影した映像から、前記人物の購入対象の１以上の第二の商品を特定し、前記特定した１以上の前記第二の商品の中に、前記第１の行動種別を示す前記第一の商品が含まれているか否かを判定し、前記第１の行動種別を示す前記第一の商品が含まれていない場合に、前記第１の行動種別を示す前記第一の商品に対応するクーポンの配信を決定することを特徴とする請求項１に記載の配信プログラム。
前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す前記第一の商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定された会計機に対して、前記第１の行動種別を示す前記第一の商品のクーポンまたは広告を出力させることを特徴とする請求項１に記載の配信プログラム。
前記店内の商品を収容する棚を有するエリアを撮影した映像から、複数の人物のうちの特定の人物と、前記第１の行動種別を示す前記第一の商品とを特定し、前記店内の会計機を有するエリアを撮影した映像から、複数の会計機のうち、前記特定の人物が会計をする会計機を特定する処理を更にコンピュータに実行させ、
前記配信する処理は、前記特定された会計機の購入履歴情報に基づいて、前記特定の人物が携帯する端末に対して、前記第１の行動種別を示す前記第一の商品のクーポンまたは広告を出力させることを特徴とする請求項１に記載の配信プログラム。
前記配信する処理は、前記第１の行動種別を示す前記第一の商品が複数存在する場合、前記複数の第一の商品の値段を基にして、前記複数の第一の商品の各クーポンのうち、いずれかのクーポンを配信することを特徴とする請求項１に記載の配信プログラム。
店内を撮影した映像から人物と第一の商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での商品に対する行動を特定し、
前記店内に入ってから前記店内で前記第一の商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記第一の商品に対する行動が到達した第１の行動種別を特定し、
特定した前記第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記第一の商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す前記第一の商品に関連する情報を配信する
処理をコンピュータが実行することを特徴とする配信方法。
店内を撮影した映像から人物と第一の商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記第一の商品に対する行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記第一の商品に対する行動が到達した第１の行動種別を特定し、
特定した前記第１の行動種別が所定のレベル以上であって、前記追跡した人物が前記第一の商品を未購入であるときは、前記追跡した人物に対して、前記第１の行動種別を示す前記第一の商品に関連する情報を配信する
処理を実行する制御部を有する情報処理装置。