WO2019207795A1 - 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ - Google Patents

Abstract

ＩｏＴデバイスにて撮像された画像に基づいて人物の外見に関する特徴情報を抽出するステップＳＡ１００と、画像に基づいて人物が所定の行動をとったことを検知するステップＳＡ１１０と、所定の行動が検知された人物について、当該人物の特徴情報および所定の行動を示す行動情報を取得するステップＳＢ１００と、複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、取得された特徴情報に対応する１以上の送信先を特定するステップＳＢ１１０と、該特定された１以上の送信先へ、取得された行動情報に対応する広告情報を提供するステップＳＢ１２０とを有する行動関連情報の提供方法、を提供する。

Description

行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ

　本発明は、ＩｏＴ（Internet of Things）を利用したマーケティング技術に関する。

　マーケティングにおいて、訴求力を高めるため、人々の関心の対象を如何に的確に把握するかは重要である。この点に関連し、近年、画像解析をマーケティングに利用する技術が注目を集めており、その一例としては特許文献１に開示の技術が挙げられる。特許文献１には、より少ない数のネットワークカメラ機器を用いて顧客情報と購買情報を正しく関連付けて記憶し、広告や販売促進を効率良く行うためのマーケティング分析を支援する技術が開示されている。

特開２０１８－２５８８２号公報

　特許文献１の技術によれば、より少ない数のネットワークカメラ機器を用いて顧客情報と購買情報とを関連付けてデータベース化される。しかし、購買したという情報のみでからでは興味の対象を的確に把握するのは困難である。

　本発明は、人々が関心を持っていると推定される事柄に関する情報を、ＩｏＴを利用して効率的に提供することを目的とする。

　上記課題を解決するために本発明は、カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御する第１制御手段と、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御する第２制御手段と、前記所定の行動が検知された人物について、当該人物の特徴情報および当該所定の行動を示す行動情報を、通信網を介して取得する取得手段と、複数のユーザについて、ユーザの外見的特徴と、情報の送信先と、を対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定する特定手段と、該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供する提供手段とを備える行動関連情報提供システムを提供する。

　好ましい態様において、行動関連情報提供システムは、前記所定の行動が検知されたことを契機として、前記特徴情報および前記行動情報の取得手段への送信を実行する干渉手段を更に有する。
　前記行動情報は、前記人物の商品に対する関心の度合いを示すことが好ましい。より具体的には、前記行動情報には、商品を購入したこと、商品を試用したこと、商品を眺めていたこと、の少なくともいずれかを示す情報が含まれることが好ましい。単に商品を眺めていた場合よりは、商品を試用した場合の方がその商品に対する行為者の関心の度合いは高いと考えられ、実際に商品を購入した場合には更にその商品に対する行為者の関心の度合いは高いと考えられるからである。

　好ましい態様においては、前記特定手段は、前記データベースに記憶されたユーザの外見的特徴と、前記取得手段により取得された特徴情報の一致度が所定値以上である１以上のユーザを特定する。

　より好ましい態様において、前記送信先はユーザ端末であり、前記取得手段は、前記カメラから、当該カメラの位置と当該行動情報が検知されたタイミングを示す情報を更に取得し、前記特定手段は、該特定された１以上の送信先のうち、該取得したユーザ端末の位置情報および当該位置情報を取得したタイミングと、前記カメラの位置および当該行動情報が検知されたタイミングとが、所定の関係を満たすものを特定する。

　好ましい態様において、前記カメラには、第１のカメラと第２のカメラとが含まれ、各カメラに関して取得された特徴情報および行動情報を用いて、一の送信先を決定する。

　好ましい態様において、前記提供手段は、前記行動情報に対応するタイミングで、前記広告情報を提供する。

　また、上記課題を解決するために本発明は、カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御するステップと、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御するステップと、前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を通信網を介して取得するステップと、複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定するステップと、該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供するステップとを有する行動関連情報の提供方法を提供する。

　本発明は、他の観点において、１以上のコンピュータに、カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御するステップと、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御するステップと、前記画像に基づいて前記人物が所定の行動をとったことを検知するステップと、前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を通信網を介して取得するステップと、複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定するステップと、該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供するステップとを実行させるためのプログラムを提供する。

　本発明は、他の観点において、通信手段と、撮像手段と、撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、前記撮像手段を制御する第１制御部と、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記撮像手段を制御する第２制御部と、前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を、前記通信手段を用いてサーバへ送信する送信手段とを有するカメラを提供する。

　本発明によれば、本発明は、人々が関心を持っていると推定される事柄に関係する情報が、ＩｏＴを利用して効率的に提供される。

本発明の一実施形態による行動関連情報提供システム１００の構成例を示す図である。 行動関連情報提供システム１００に含まれるエッジデバイス１１０のハードウェア構成の一例を示す図である。 エッジデバイス１１０の機能構成の一例を示す図である。 行動関連情報提供システム１００に含まれる配信サーバ１３０のハードウェア構成の一例を示す図である。 配信サーバ１３０の機能構成の一例を示す図である。 行動関連情報提供システム１００に含まれる各装置の動作を示す図である。

　１００…行動関連情報提供システム、１１０…エッジデバイス、１２０…ストレージ装置、１３０…配信サーバ、１４０…ＩｏＴデバイス、１５０，１６０…通信回線、１１１，１３１…プロセッサ、１１２，１３２…メモリ、１１３，１３３…ストレージ、１１４，１３４…通信装置、２１１…抽出手段、２１２…検知手段、２１３…送信手段、２１４…通信手段、２１５…撮像手段、２３１…取得手段、２３２…特定手段、２３３…提供手段。

　以下、図面を参照しつつ本発明の実施形態を説明する。
＜１．構成＞
　図１は、本発明の一実施形態による行動関連情報提供システム１００の構成例を示す図である。行動関連情報提供システム１００は、配信サーバ１３０と、ストレージ装置１２０と、複数のエッジデバイス１１０と、複数のＩｏＴデバイス１４０と、を備える。なお、図１に示す各装置の数は例示であり、これに限定されない。

　図１に示す各装置のうち、複数のエッジデバイス１１０と複数のＩｏＴデバイス１４０とは、小売店など商品を販売する店舗や各種サービスを提供する店舗に配置される。小売店には、例えば、ファーストフード、レストランなどの飲食店、スーパーマーケット、衣料品店、家電量販店などが含まれる。行動関連情報提供システム１００は、上記店舗に来店した顧客が商品を手に取るあるいはお試しサービスの提供を受けるなどの行動を行ったことを契機として、その商品に関する広告情報をその行動に関連する行動関連情報として、当該顧客のユーザ端末（例えば、当該顧客の使用するスマートフォンなど、図１では図示略）に送信する情報システムである。ここで、商品に関する広告情報とは、例えば、その商品のカラーバリエーションやサイズバリエーション、その商品に関連する関連商品（例えば、用途、機能、価格帯が類似する商品）、その商品と同一の生産者やブランドから今後発売される予定の新商品に関する情報等である。

　ストレージ装置１２０には、人物データベースと広告データベースとが予め格納されている（図２では何れも図示略）。人物データベースには、複数の人物の各々について外見に関する特徴情報と行動関連情報の送信先となる通信アドレスとが記録されている。この人物データベースの具体例としては、過去に上記店舗にて商品を購入した顧客についての上記特徴情報および通信アドレスを記録した顧客データベース、あるいは行動関連情報提供システム１００による情報提供サービスについてのユーザ登録を行ったユーザの上記特徴情報および通信アドレスを格納した登録ユーザデータベースが挙げられる。また、上記特徴情報としては、顔認識技術において一般に用いられる特徴情報（例えば、ＨＡＡＲ－Ｌｉｋｅ特徴情報）を用いても良く、また、性別、年齢層および身長等を用いても良い。

　広告データベースには、人物の行動の種別を示す行動情報毎に異なる内容の広告情報が予め記録されている。例えば、商品を眺めていることを示す行動情報には、関連商品の広告情報が対応付けられている。また、商品を試用したことを示す行動情報には、商品のカラーバリエーションあるいはサイズバリエーションについての広告情報が対応付けられている。そして、商品を購入したことを示す行動情報には今後発売予定の新商品についての広告情報が対応付けられている。

　エッジデバイス１１０は、通信回線１５０を介して配信サーバ１３０に接続されている。通信回線１５０は、例えばインターネットを含んで構成されていても良い。エッジデバイス１１０には、通信回線１６０を介してＩｏＴデバイス１４０が接続されている。
　ＩｏＴデバイス１４０は、例えばネットワークカメラであり、撮像した画像を表す画像データを、自装置の接続先のエッジデバイス１１０に与える。より具体的には、ネットワークカメラは、レンズやイメージセンサモジュールなどを含む撮像機構と、この撮像機構を制御するホストコントローラとを備えている。イメージセンサモジュールは、イメージセンサ、マイクロコンピュータなどを備えている。後述するように、エッジデバイスの第１制御手段および第２制御手段は、イメージセンサモジュールを制御する。そして、エッジデバイスの干渉制御手段は、ホストコントローラに干渉する。
　なお、ＩｏＴデバイス１４０により撮像される画像は静止画像であっても良いし、動画像であっても良い。通信回線１６０は、例えば上記店舗に敷設されたＬＡＮ（Local Area Network）または無線ＬＡＮを含んで構成されても良い。

　本実施形態では、複数のＩｏＴデバイス１４０の各々は、上記店舗における商品棚近傍やレジカウンタ近傍、試着室へ入口、店舗の入口、ショーウィンドウの近傍等に配置されている。このため、本実施形態では、上記店舗に来店した人物が商品を眺める、商品を試用する、商品を購入する等の各種行動を行うと、その様子がＩｏＴデバイス１４０によって撮像され、その撮像結果である画像データがエッジデバイス１１０に与えられる。

　エッジデバイス１１０は、例えばゲートウェイなどの中継装置であり、図２に示すように、プロセッサ１１１と、メモリ１１２と、ストレージ１１３と、通信装置１１４と、を備える。これらの装置は、バス１１５を介して接続されている。

　プロセッサ１１１は、プログラムをメモリ１１２に読み出して実行することにより、各種の処理を実行する。例えばプロセッサ１１１は、ＣＰＵ（Central Processing Unit）により構成されても良い。メモリ１１２は、プロセッサ１１１により実行されるプログラムを記憶する。例えばメモリ１１２は、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）により構成されても良い。ストレージ１１３は、各種のデータおよびプログラムを記憶する。例えばストレージ１１３は、ハードディスクドライブまたはフラッシュメモリにより構成されても良い。通信装置１１４は、通信回線１５０または通信回線１６０を介してデータ通信を行う。

　図３は、エッジデバイス１１０の機能構成の一例を示す図である。エッジデバイス１１０は、抽出手段２１１と、検知手段２１２と、送信手段２１３と、通信手段２１４と、を備える。通信手段２１４は、図２における通信装置１１４であり、撮像手段２１５は、通信回線１６０を介してエッジデバイス１１０に接続されるＩｏＴデバイス１４０である。図３における抽出手段２１１、検知手段２１２、および送信手段２１３は、メモリ１１２またはストレージ１１３に記憶されたプログラムと、このプログラムを実行するプロセッサ１１１との協働により、プロセッサ１１１が演算を行いまたは通信手段２１４（通信装置１１４）を制御することにより実現されるソフトウェアモジュールである。

　抽出手段２１１は、撮像手段２１５にて撮像された画像に基づいて、被写体の人物の外見に関する特徴情報を抽出する。特徴情報の抽出アルゴリズムについては既存のアルゴリズムを適宜用いるようにすれば良い。換言すると、撮像手段２１５にて撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内の撮像機構（イメージセンサモジュール等）を制御する第１制御手段である。
　検知手段２１２は、撮像手段２１５にて撮像された画像に基づいて、上記被写体の人物が商品に対する関心の度合いに応じた所定の行動をとったことを検知する。換言すると、検知手段２１２は、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御する第２制御手段である。商品に対する関心の度合いに応じた所定の行動の具体例としては、商品を眺めていること、商品を試用したこと、商品を購入したこと等が挙げられる。
　送信手段２１３は、上記所定の行動が検知された人物の特徴情報および当該所定の行動を示す行動情報を、通信手段２１４を介して配信サーバ１３０へ送信する。換言すると、送信手段２１３は、前記所定の行動が検知されたことを契機として、前記特徴情報および前記行動情報を、前記通信網を介して前記取得手段へ送信させるように、前記カメラのホストコントローラに干渉する干渉手段である。
　行動情報の具体例としては、「商品を眺めていること」については“１”、「商品を試用したこと」については“２”、「商品を購入したこと」については“３”、といったコード情報が挙げられる。なお、上記特徴情報および行動情報の送信先となる配信サーバ１３０の通信アドレスについては、ストレージ１１３に予め書き込んでおいても良いし、上記プログラムに埋め込んでおいても良い。

　図４は、配信サーバ１３０の構成例を示す図である。配信サーバ１３０は、通信回線１５０を介して受信した特徴情報の表す特徴と外見の特徴が一致する人物のユーザ端末を特定し、上記特徴情報とともに受信した行動情報に応じた行動関連情報（本実施形態では、広告情報）を当該ユーザ端末へ提供する処理を実行する装置である。配信サーバ１３０は、プロセッサ１３１と、メモリ１３２と、ストレージ１３３と、通信装置１３４と、を備える。これらの装置は、バス１３５を介して接続されている。プロセッサ１３１、メモリ１３２、ストレージ１３３、通信装置１３４、およびバス１３５は、上述したプロセッサ１１１、メモリ１１２、ストレージ１１３、通信装置１１４、およびバス１１５と同様であるため、その説明を省略する。

　図５は、配信サーバ１３０の機能構成の一例を示す図である。
　配信サーバ１３０は、取得手段２３１と、特定手段２３２と、提供手段２３３と、通信手段２３４と、を備える。通信手段２３４は、図４における通信装置１３４である。図５における取得手段２３１、特定手段２３２、および提供手段２３３は、メモリ１３２またはストレージ１３３に記憶されたプログラムと、このプログラムを実行するプロセッサ１３１との協働により、プロセッサ１３１が演算を行いまたは通信手段２３４（通信装置１３４）を制御することにより実現されるソフトウェアモジュールである。

　取得手段２３１は、前述の検知手段２１２により所定の行動が検知された人物について、当該人物の特徴情報および当該所定の行動を示す行動情報を取得する。本実施形態では、取得手段２３１は、通信回線１５０を介して送信されてくる特徴情報および行動情報を受信することにより、当該特徴情報および当該行動情報を取得する。本実施形態では、検知手段２１２により所定の行動が検知されたことを契機として当該行動を行った人物についての特徴情報および行動情報が通信回線１５０を介してエッジデバイス１１０から配信サーバ１３０へ送信されるが、配信サーバ１３０からのポーリングにより特徴情報および行動情報を取得手段２３１に取得させるようにしても良い。

　特定手段２３２は、前述の人物データベースを参照し、取得手段２３１により取得された特徴情報に対応する１以上の送信先を特定する。より詳細に説明すると、特定手段２３２は、人物データベースに記憶されたユーザの外見的特徴と、取得手段２３１により取得された特徴情報の一致度が所定値（例えば８０％）以上である１以上のユーザを特定し、当該特定したユーザについての通信アドレスを行動関連情報の送信先として特定する。特徴情報に基づいてユーザを同定する際の誤差を考慮したものである。

　提供手段２３３は、取得手段２３１により取得された行動情報に対応する広告情報を広告データベースから読み出し、特定手段２３２により特定された１以上の送信先へ当該読み出した広告情報を送信する。
　以上が行動関連情報提供システム１００の構成である。

＜２．動作＞
　次いで、図６を参照しつつ行動関連情報提供システム１００に含まれる各装置の動作を説明する。図６は、行動関連情報提供システム１００に含まれるエッジデバイス１１０および配信サーバ１３０の動作を示すシーケンス図である。

　図６におけるステップＳＡ１００は、エッジデバイス１１０の抽出手段２１１により実行される処理である。このステップＳＡ１００では、抽出手段２１１は、撮像手段２１５から与えられる画像データを解析し、被写体の人物の外見に関する特徴情報を抽出する。ステップＳＡ１００に後続するステップＳＡ１１０は、エッジデバイス１１０の検知手段２１２により実行される処理である。このステップＳＡ１１０では、検知手段２１２は、撮像手段２１５から与えられる画像データを解析し、被写体の人物が商品に対する関心の度合いに応じた所定の行動をとったことを検知する。

　ステップＳＡ１１０に後続するステップＳＡ１２０は、エッジデバイス１１０の送信手段２１３により実行される処理である。このステップＳＡ１２０では、送信手段２１３は、検知手段２１２により所定の行動が検知された人物について抽出手段２１１により抽出された特徴情報、および所定の行動を示す行動情報を配信サーバ１３０へ送信する。このようにしてエッジデバイス１１０ら送信された特徴情報および行動情報は、通信回線１５０を介して配信サーバ１３０に伝送される。

　図６に示すように、配信サーバ１３０では、通信回線１５０を介して特徴情報および行動情報を受信したことを契機としてステップＳＢ１００以降の処理が実行される。図６におけるステップＳＢ１００は、配信サーバ１３０の取得手段２３１により実行される処理である。このステップＳＢ１００では、取得手段２３１はエッジデバイス１１０から送信された特徴情報および行動情報を取得する。

　ステップＳＢ１００に後続するステップＳＢ１１０は、配信サーバ１３０の特定手段２３２により実行される処理である。このステップＳＢ１１０では、特定手段２３２は、ストレージ装置１２０に格納されている人物データベースを参照し、取得手段２３１により取得された特徴情報に対応する外見の特徴を有する人物を一人以上特定し、当該人物のユーザ端末を行動関連情報の送信先として特定する。

　ステップＳＢ１１０に後続するステップＳＢ１２０は、配信サーバ１３０の提供手段２３３により実行される処理である。このステップＳＢ１２０では、提供手段２３３は、ステップＳＢ１１０にて特定した１以上の送信先へ、ステップＳＢ１００にて取得した行動情報に対応する広告情報を送信する。

　上記店舗に来店した顧客が商品を試用した場合、その顧客のユーザ端末には、カラーバリエーションあるいはサイズバリエーション等に関する広告情報が送信される。この広告情報に接した当該顧客は、自身の好みの色の商品あるいは自身に適したサイズの商品を把握することができ、当該顧客の購買意欲を高めることができる。また、商品を購入した顧客のユーザ端末には、今後発売予定の新商品に関する広告情報が送信され、新商品に対する購買意欲を高めることができる。

　上記実施例においては、店舗に来店し商品に対してその商品に対する関心の度合いに応じた所定の行動を行った顧客に対して、その行動内容に応じて内容の異なる広告情報が提示される。このため、本実施形態の行動関連情報提供システム１００によれば、店舗に来店した顧客に対し、その顧客が関心を持っているであろう商品についてその関心の度合いに応じた情報をダイレクトに提供することが可能になる。

　加えて、エッジデバイス１１０から配信サーバ１３０に送信されるデータは特徴情報と行動情報とであり、ＩｏＴデバイス１４０により撮像された画像データはエッジデバイス１１０から配信サーバ１３０に送信されない。このため、上記実施例においては、ＩｏＴデバイス１４０により撮像された画像データを配信サーバ１３０に送信し、当該画像データの解析を配信サーバ１３０にて行う態様に比較して、通信回線１５０を介してエッジデバイス１１０から配信サーバ１３０に送信されるデータ量を少なくすることができる。また、エッジデバイス１１０から配信サーバ１３０へのデータ送信は、所定の行動が検知された場合にのみ実行され、所定の行動以外の行動が行われた場合には、エッジデバイス１１０から配信サーバ１３０へのデータ送信は行われない。このため、通信回線１５０を介してエッジデバイス１１０から配信サーバ１３０に送信されるデータ量を更に削減することができる。

　更に、本実施形態によれば、画像データの解析を配信サーバ１３０にて行う態様に比較して、配信サーバ１３０の処理負荷を軽減することができ、配信サーバ１３０のレスポンスを高速化が可能になるとともに、過負荷に起因する配信サーバ１３０のダウンが発生し難くなる。また、本実施形態によれば、画像データの解析を配信サーバ１３０にて行う態様に比較して、処理能力の低い安価なコンピュータ装置を用いて配信サーバ１３０を構成することが可能になる。

　つまり、本実施形態によれば、配信サーバ１３０のレスポンスを高速化、配信サーバ１３０のダウンタイムの軽減、およびコスト増大防止を図りつつ、エッジデバイス１１０の設置された店舗に来店した顧客に対してその顧客が関心を持っているであろう商品について、その関心の度合いに応じた情報をダイレクトに提供することが可能になる。

＜３．変形＞
　以上本発明の実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
　上記実施形態では、行動関連情報として広告情報を用いたが、広告情報に代えてマーケティングに関する様々な指標を整理し可視化したマーケティングダッシュボードを用いても良い。

　検知すべき所定の行動とは、商品に対する関心の度合いが反映されていると推定されるものであれば良い。よって、所定の行動には、例えば、歩く、走る、といった体の動きや所作に関するものの他、喜怒哀楽などの表情の変化など、映像から抽出できる情報であれば良い。あるいは、口の動きの変化や他人との位置関係に基づいて、他の客や店員と会話をしていると推定された場合、会話を行ったという行為を所定の行動に含めても良い。

　上記実施形態における特定手段２３２は、特徴情報および行動情報の受信を契機として、人物データベースに記憶されたユーザの外見的特徴と、当該受信した特徴情報の一致度が所定値以上である１以上のユーザを特定した。しかし、複数のカメラ（ＩｏＴデバイス１４０）の各々に関して取得された特徴情報を用いて、一人のユーザを特定するようにしても良い。本態様によれば、行動関連情報の送信先を、真に上記行動情報の示す行動を行った人物のユーザ端末に絞り込み、無駄なデータ通信の発生を回避することが可能になる。

　また、取得手段２３１には、特徴情報の算出元となった画像を撮像したカメラの位置と所定の行動が検知されたタイミング（例えば、時刻）を示す情報とを取得させ、特定手段２３２には、特徴情報に基づいて特定された１以上の送信先のうち、ユーザ端末の位置情報の示す位置とカメラの位置とが所定の関係（例えば、後者を中心とした所定半径の円内に前者が位置すること）を満たすこと、および当該位置情報を取得したタイミングと所定の行動が検知されたタイミングとが所定の関係（前者と後者の時間差が所定の閾値以下であること）を満たすものを行動関連情報の送信先として特定させるようにしても良い。本態様によっても、行動関連情報の送信先を真に上記所定の行動を行った人物のユーザ端末に絞り込み、無駄なデータ通信の発生を回避することが可能になる。なお、ユーザ端末の位置情報については、ＧＰＳ、無線ＬＡＮアクセスポイントのビーコン等を利用して取得すれば良い。

　広告情報を送信するタイミングを、行動情報に応じて異ならせても良い。例えば、商品を試用したことを示す行動情報を受信した場合には、商品の購入を強く促すため、特定手段２３２による送信先の特定の後、即座に広告情報を送信することが考えられる。また、商品を購入したことを示す行動情報を受信した場合には、既に購買意欲が満たされていると想定されるため、特定手段２３２による送信先の特定から一定期間経過した後に広告情報を送信することが考えられる。

　上記実施形態では、撮像手段２１５により撮像された画像に基づいて被写体である人物の外見の特徴を示す特徴情報を抽出し、更に当該人物が所定の行動を行ったことを検知したが、これらに加えて当該所定の行動の対象となった商品を当該画像に基づいて特定し、その商品を示す識別情報をエッジデバイス１１０から配信サーバ１３０へ送信するようにしても良い。所定の行動の対象となった商品を特定することで、当該商品に関連し、かつ当該所定の行動に関連する行動関連情報をその行動を行った人物に提供すること（例えば、よりきめ細やかな広告情報を提供すること）が可能になるからである。

　上記実施形態では、エッジデバイス１１０における抽出手段２１１、検知手段２１２、および送信手段２１３はソフトウェアモジュールであったが、ＡＳＩＣなどの電子回路であっても良い。配信サーバ１３０における取得手段２３１、特定手段２３２および提供手段２３３についても同様にＡＳＩＣなどの電子回路であっても良い。

　上記実施形態では、通信回線１６０を介してエッジデバイス１１０に接続されるＩｏＴデバイス１４０に撮像手段２１５の役割を担わせた。しかし、エッジデバイス１１０およびＩｏＴデバイス１４０に代えて、通信手段２１４と、撮像手段２１５と、抽出手段２１１と、検知手段２１２と、送信手段２１３と、を備えるカメラを提供し、当該カメラを通信回線１５０に接続して行動関連情報提供システムを構成しても良い。また、上記実施形態では、配信サーバ１３０とは別箇の装置であるストレージ装置１２０に人物データベースと広告データベースとが格納されていたが、配信サーバ１３０のストレージ１３３に人物データベースと広告データベースを格納しても良い。

　上記実施形態では、エッジデバイス１１０のプロセッサ１１１を抽出手段２１１、検知手段２１２および送信手段２１３として機能させるプログラムがエッジデバイス１１０に予めインストールされており、配信サーバ１３０のプロセッサ１３１を取得手段２３１、特定手段２３２および提供手段２３３として機能させるプログラムが配信サーバ１３０に予めインストールされていた。しかし、上述した、特徴情報の抽出機能、所定行動の検知機能、行動情報の取得機能、広告情報の送信先を決定する機能、広告情報を提供する機能が実装されるノードの構成は、一例にすぎない。
　例えば、エッジデバイス１１０の機能は、ＩｏＴデバイス１４０に統合されていても良い。この場合、通信回線１６０は省略され、各エッジデバイス１１０の機能とＩｏＴデバイス１４０と機能を有する一つのハードウェア機器が情報処理システムを構成するとみなせる。
　一の態様において、本発明に係る情報処理システムは、通信回線を介して接続された、カメラを含むIoT側のデバイスと、サーバ側デバイスとによって構成されると把握できる。そしてIoT側のデバイスには、カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御する第１制御手段と、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御する第２制御手段とを備える。一方、サーバ側デバイスにおいては、前記所定の行動が検知された人物について、当該人物の特徴情報および当該所定の行動を示す行動情報を、通信網を介して取得する取得手段と、複数のユーザについて、ユーザの外見的特徴と、情報の送信先と、を対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定する特定手段と、該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供する提供手段とを備える。
　行動関連情報提供システムを提供する。第１制御手段および／または第２制御手段は、各カメラ筐体内に設けられてもよいし、カメラとは異なるハードウェアデバイスに設けられていてもよい。
　換言すると、一の態様において、本発明に係る情報処理システム構成するカメラは、通信手段と、撮像手段と、撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、前記撮像手段を制御する第１制御部と、前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記撮像手段を制御する第２制御部と、前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を、前記通信手段を用いてサーバへ送信する送信手段とを有する。

　要するに、本発明の情報処理システムにおいて、１以上のノードないしコンピュータ（プロセッサ）に、カメラにて撮像された画像に基づいて人物の外見に関する特徴情報を抽出するステップ（図６参照）と、カメラにて撮像された画像に基づいて該人物が所定の行動をとったことを検知するステップと、該所定の行動が検知された人物について、当該人物の特徴情報および該所定の行動を示す行動情報を取得するステップと、複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、取得された特徴情報に対応する１以上の送信先を特定するステップと、該特定された１以上の送信先へ、取得された行動情報に対応する広告情報を提供するステップとが実行されれば良い。
　このようなプログラムは、プログラムが書き込まれた記録媒体をコンピュータに接続してインストールしても良いし、インターネット等を介してコンピュータへダウンロードしても良い。

Claims (11)

1. 　カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御する第１制御手段と、
   　前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御する第２制御手段と、
   　前記所定の行動が検知された人物について、当該人物の特徴情報および当該所定の行動を示す行動情報を、通信網を介して取得する取得手段と、
   　複数のユーザについて、ユーザの外見的特徴と、情報の送信先と、を対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定する特定手段と、
   　該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供する提供手段と
   　を備える行動関連情報提供システム。
2. 　前記所定の行動が検知されたことを契機として、前記特徴情報および前記行動情報を、前記通信網を介して前記取得手段へ送信させるように、前記カメラのホストコントローラに干渉する干渉手段を更に有する、
   　請求項１に記載の行動関連情報提供システム。
3. 　前記行動情報は、前記人物の商品に対する関心の度合いを示す、
   　請求項１または２に記載の行動関連情報提供システム。
4. 　前記行動情報には、商品を購入したこと、商品を試用したこと、商品を眺めていたこと、の少なくともいずれかを示す情報が含まれる。
   　請求項３に記載の行動関連情報提供システム。
5. 　前記特定手段は、前記データベースに記憶されたユーザの外見的特徴と、該取得された特徴情報の一致度が所定値以上である１以上のユーザを特定する、
   　請求項１～４のいずれか一項に記載の行動関連情報提供システム。
6. 　前記送信先はユーザ端末であり、
   　前記取得手段は、前記カメラから、当該カメラの位置と当該行動情報が検知されたタイミングを示す情報を更に取得し、
   　前記特定手段は、該特定された１以上の送信先のうち、該取得したユーザ端末の位置情報および当該位置情報を取得したタイミングと、前記カメラの位置および当該行動情報が検知されたタイミングとが、所定の関係を満たすものを特定する、
   　請求項１～５のいずれか一項に記載の行動関連情報提供システム。
7. 　前記カメラには、第１のカメラと第２のカメラとが含まれ、
   　各カメラに関して取得された特徴情報および行動情報を用いて、一の送信先を決定する、
   　請求項６に記載の行動関連情報提供システム。
8. 　前記提供手段は、前記行動情報に対応するタイミングで、前記広告情報を提供する、
   　請求項１～７のいずれか一項に記載の行動関連情報提供システム。
9. 　カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御するステップと、
   　前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御するステップと、
   　前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を通信網を介して取得するステップと、
   　複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定するステップと、
   　該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供するステップと
   　を有する行動関連情報の提供方法。
10. 　１以上のコンピュータに、
    　カメラで撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、当該カメラ内のイメージセンサモジュールを制御するステップと、
    　前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記イメージセンサモジュールを制御するステップと、
    　前記画像に基づいて前記人物が所定の行動をとったことを検知するステップと、
    　前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を通信網を介して取得するステップと、
    　複数のユーザについて、ユーザの外見的特徴と情報の送信先とを対応付けて記憶したデータベースを参照し、前記取得された特徴情報に対応する１以上の送信先を特定するステップと、
    　該特定された１以上の送信先へ、前記取得された行動情報に対応する広告情報を提供するステップと
    　を実行させるためのプログラム。
11. 　通信手段と、
    　撮像手段と、
    　撮像された画像に基づいて人物の外見に関する特徴情報を抽出させるように、前記撮像手段を制御する第１制御部と、
    　前記画像に基づいて前記人物が所定の行動をとったことを検知させるように、前記撮像手段を制御する第２制御部と、
    　前記所定の行動が検知された人物について、当該人物の特徴情報および前記所定の行動を示す行動情報を、前記通信手段を用いてサーバへ送信する送信手段と
    　を有するカメラ。

Images