JP6988975B2 - 情報処理方法、プログラム及び情報処理装置 - Google Patents

Description

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

企業等による店舗の出退店計画の策定を支援するシステムが提供されている。例えば特許文献１では、ユーザが所持する移動端末から取得した位置情報に基づき、所定の商業エリアにユーザが訪れた頻度と、ユーザが滞在した時間とを算出して商圏分析を行う商圏分析システムが開示されている。

特開２０１５−１９７６９６号公報

しかしながら、特許文献１に係る発明は出退店計画の参考とするデータを提供するに過ぎず、出退店計画自体を評価するものではない。

一つの側面では、マーケティングを適切に支援することができる情報処理方法等を提供することを目的とする。

一つの側面では、情報処理方法は、公共空間に設置された配電設備に取り付けた撮像装置から取得した画像を元に、前記公共空間を通行する通行者を分析した通行者情報を取得し、該通行者情報を入力した場合に、前記公共空間の該当地点に位置する店舗への来店者に関する予測値を示す評価情報を出力するよう学習済みの学習済みモデルに、取得した前記通行者情報を入力し、前記学習済みモデルから前記評価情報を取得し、取得した前記評価情報と、前記通行者情報とに基づき、前記来店者以外の前記通行者である潜在顧客に関する潜在顧客情報を生成して出力する処理をコンピュータに実行させることを特徴とする。

一つの側面では、マーケティングを適切に支援することができる。

店舗評価システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 電柱ＤＢ、通行者ＤＢ及び周辺情報ＤＢのレコードレイアウトの一例を示す説明図である。 通行者情報の学習処理に関する説明図である。 通行者分析処理に関する説明図である。 店舗評価の学習処理に関する説明図である。 店舗評価処理に関する説明図である。 通行者情報の学習処理の処理手順を示すフローチャートである。 通行者分析処理の処理手順を示すフローチャートである。 店舗評価の学習処理の処理手順を示すフローチャートである。 店舗評価処理の処理手順を示すフローチャートである。 実施の形態２の概要を示す説明図である。 実施の形態２に係る店舗評価処理の処理手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、店舗評価システムの構成例を示す模式図である。本実施の形態では、道路等の公共空間に設置されたカメラ２により通行者を撮像した画像を元に通行者を分析した通行者情報に基づき、新規に出店する店舗を評価する店舗評価システムについて説明する。店舗評価システムは、情報処理装置１、カメラ２、センサ３、端末４を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバ装置であるものとし、以下の説明では簡潔のためサーバ１と読み替える。サーバ１は、道路を通行する通行者を撮像した画像をカメラ２から取得し、取得した画像を分析して、年齢、性別等の属性、あるいは歩行速度、方向、動作といった行動、あるいは所持品などの種々の基準に応じて通行者を分類（分析）し、通行者の分類結果を示す通行者情報を蓄積したビッグデータを構築する。本実施の形態でサーバ１は、撮像画像から通行者を分類するよう機械学習により学習済みの分類モデル（第１の学習済みモデル）を用いて通行者の分析を行う。

さらにサーバ１は、公共空間のある地点（該当地点）に店舗を出店した場合に、当該店舗がどの程度の成果を挙げるかを予測し、出店店舗を評価する。具体的には、サーバ１は、上記の分類モデルとは異なる評価モデル（第２の学習済みモデル）であって、分類モデルから出力された通行者情報を入力として、該当地点に出店する店舗を評価した評価情報を出力する評価モデルを用いて店舗の評価を行う。

なお、本実施の形態では新規に出店する店舗を対象として評価を行うが、既に存在する既存店舗を対象として評価を行ってもよい。すなわち、本システムを出店計画に利用してもよく、既存店舗の見直し、あるいは退店計画に用いてもよい。

カメラ２は、公共空間に設置された撮像装置であり、道路を通行する通行者を撮像する。本実施の形態では、カメラ２は道路沿いに設置された配電設備、具体的には電柱に取り付けられている。カメラ２は、道路沿いの複数の地点それぞれに設置された電柱にそれぞれ取り付けられており、道路を通行する通行者を各地点から継続的に撮像する。サーバ１は、カメラ２において撮像された画像を取得し、取得した画像に映っている通行者の属性等を分析する。また、測定環境によっては，カメラ２の代わりにレーザー、赤外線により人を感知する人感センサを設置し、対象の人数、速度、滞留時間等の人の動線情報について、データを取得してもよい。

なお、本実施の形態では配電設備の一例として電柱を挙げるが、配電設備は電柱に限定されず、例えば地中化された電線の地上機器（トランス）などであってもよい。また、配電設備が設置される場所（地点）は道路に限定されず、通行者が通行可能な公共空間であればよい。また、本明細書における「道路」は歩道及び車道のいずれも含み得る。

センサ３は、カメラ２と共に電柱に取り付けられたセンシングデバイスであり、例えば温度計、湿度計、降雨量計、照度計、風速計等である。センサ３は、カメラ２が設置された地点の気温、湿度、降雨量等の天候情報を計測する。サーバ１は、センサ３から画像の撮像地点の天候情報を取得し、通行者の分類結果と関連付けて保存する。

端末４は、サーバ１からビッグデータの提供を受けるユーザが使用する端末装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理端末である。本システムを利用するユーザは特に限定されないが、例えばユーザは該当地点のマーケティングを行う事業者であり、端末４はサーバ１から該当地点に出店する店舗の評価情報の配信を受け、評価情報を表示する。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、分類モデル１４１、評価モデル１４２、電柱ＤＢ１４３、通行者ＤＢ１４４、周辺情報ＤＢ１４５を記憶している。分類モデル１４１は、撮像画像に映る通行者を分類する分類器（識別器）であり、機械学習により生成された学習済みモデルである。評価モデル１４２は、通行者情報を元に店舗の評価情報を生成する生成器（識別器）であり、機械学習により生成された学習済みモデルである。電柱ＤＢ１４３は、カメラ２が設置された電柱の情報を格納したデータベースである。通行者ＤＢ１４４は、分類モデル１４１を用いて分類した通行者の分類結果を格納するデータベースである。周辺情報ＤＢ１４５は、カメラ２が設置された電柱の周辺情報を格納したデータベースである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１はネットワークＮを介して他のコンピュータからプログラムＰをダウンロードし、補助記憶部１４に記憶しても良い。また、サーバ１は、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしてもよい。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

図３は、電柱ＤＢ１４３、通行者ＤＢ１４４及び周辺情報ＤＢ１４５のレコードレイアウトの一例を示す説明図である。電柱ＤＢ１４３は、電柱ＩＤ列、位置情報列、カメラ情報列、センサ情報列を含む。電柱ＩＤ列は、道路上に設置された各電柱を識別するための電柱ＩＤを記憶している。位置情報列、カメラ情報列、センサ情報列はそれぞれ、電柱ＩＤと対応付けて、電柱が設置された地点の位置情報、電柱に設置されたカメラ２の情報、及びセンサ３の情報を記憶している。カメラ２の情報は、例えばカメラ２が取り付けられた高さ、撮像角度、倍率、撮像範囲等の情報を含み得る。センサ３の情報は、温度計、湿度計、降雨量計等のセンサ３の種類に関する情報を含み得る。

通行者ＤＢ１４４は、電柱ＩＤ列、日時列、天候列、通行者列を含む。電柱ＩＤは、道路上に設置された各電柱を識別するための電柱ＩＤを記憶している。日時列、天候列、通行者列はそれぞれ、電柱ＩＤと対応付けて、電柱に取り付けられたカメラ２で画像を撮像した日時、該日時における電柱周辺の天候情報、及び画像に映る通行者を分類することで得た通行者情報を記憶している。

周辺情報ＤＢ１４５は、地域ＩＤ列、地域名列、周辺情報列を含む。地域ＩＤ列は、カメラ２が取り付けられた電柱が設置されている各地域を識別するための地域ＩＤを記憶している。地域名列は、地域ＩＤと対応付けて、各地域の名称を記憶している。周辺情報列は、地域ＩＤと対応付けて、各地域の周辺情報を記憶している。周辺情報は、例えば該当地域の商圏人口、商圏規模、最寄り駅の位置等の地理データ、最寄り駅の乗降者数等の統計データのほかに、該当地域に存在する周辺店舗の店舗情報を含む。

図４は、通行者情報の学習処理に関する説明図である。図４では、機械学習を行って分類モデル１４１を生成する処理を概念的に図示している。図４に基づき、分類モデル１４１の生成処理について説明する。

本実施の形態でサーバ１は、分類モデル１４１として、カメラ２において撮像された画像内に映る通行者の外見、行動、所持品等に関する画像特徴量を学習するディープラーニングを行うことで、撮像画像を入力とし、通行者を分類（分析）した通行者情報を出力とするニューラルネットワークを生成する。ニューラルネットワークは例えばＣＮＮ（Convolution Neural Network）、具体的にはＲ−ＣＮＮ（Regions with CNN）であり、撮像画像の入力を受け付ける入力層と、分類結果を出力する出力層と、撮像画像の画像特徴量を抽出する中間層とを有する。

入力層は、撮像画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、撮像画像内から対象物（通行者等）を認識し、認識した対象物が映っている画像領域（図４では点線矩形枠で図示）の特徴量を抽出して出力層に受け渡す。例えば分類モデル１４１がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層はＳＶＭ（Support Vector Machine）に係る識別器であり、通行者の分類結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて通行者を分類する。

なお、本実施の形態では分類モデル１４１がＣＮＮであるものとして説明するが、分類モデル１４１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ベイジアンネットワーク、決定木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。

サーバ１は、通行者を撮像した複数の画像と、各画像における通行者を属性等に応じて分類した場合の通行者情報の正解値とが対応付けられた教師データを用いて学習を行う。例えば図４に示すように、教師データは、通行者の撮像画像に対し、通行者が映っている画像領域の座標範囲と、通行者情報とがラベル付けされたデータである。

なお、本明細書の図面では簡略のため一の画像に一人の通行者が映っているものとして図示するが、一の画像内に複数の通行者が映り込んでいても良いことは勿論である。

サーバ１は、教師データである撮像画像を入力層に入力し、中間層での演算処理を経て、出力層から通行者の分類結果を示す通行者情報を取得する。なお、出力層から出力される通行者情報は離散的な値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。例えばサーバ１は、出力層から出力される分類結果として、性別、年齢といった通行者の属性、歩行速度、歩行する方向、施設（例えば道路脇の店舗）への入退場動作といった通行者の行動、及び所持品などに応じて分類した通行者情報を取得する。なお、上記の分類基準の詳細については後述する。

サーバ１は、出力層から出力された通行者情報を、教師データにおいて撮像画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

サーバ１は、教師データに含まれる各撮像画像について上記の処理を行い、分類モデル１４１を生成する。カメラ２から撮像画像を取得した場合、サーバ１は分類モデル１４１を用いて通行者を分類する。

図５は、通行者分析処理に関する説明図である。図５では、分類モデル１４１を用いて撮像画像から通行者を種々の基準で分類（分析）する様子を概念的に図示している。図５に基づき、通行者分析処理について説明する。
サーバ１は、道路沿いの複数の地点に設置された各電柱に取り付けられているカメラ２、２、２…からそれぞれ、通行者を撮像した画像を取得する。例えばカメラ２は継続的に撮像を行っており、サーバ１は、通行者が通行する道路をカメラ２が撮像した動画像をリアルタイムに、あるいは動画像の録画データを定期的に取得する。

また、サーバ１は、各カメラ２と同じ電柱に取り付けられている各センサ３から、画像を撮像した時点の気温、湿度、降雨量等の天候情報を取得する。なお、サーバ１はセンサ３によらず、例えば所定の外部ＡＰＩ（Application Programmable Interface）から該当地点の天候情報を取得するようにしてもよい。すなわち、電柱へのセンサ３の設置は必須ではない。

サーバ１は、カメラ２から取得した画像を分類モデル１４１に入力し、画像内に映る通行者を分類した通行者情報を出力として取得する。例えばサーバ１は、カメラ２で撮像された動画像を構成する各撮像時点でのフレーム画像を分類モデル１４１に順次入力する。サーバ１は、分類モデル１４１の中間層にてフレーム画像の特徴量を抽出する演算処理を行い、抽出した特徴量を分類モデル１４１の出力層に入力して、各地点、各撮像時点で撮像されたフレーム画像に映る通行者を分類した通行者情報を出力として取得する。

本実施の形態でサーバ１は、通行者を分類する場合に、種々の基準で分類を行う。第１の分類基準として、サーバ１は、通行者の属性に応じて分類を行う。通行者の属性は、例えば性別及び年齢である。例えばサーバ１は、通行者の男女の別、及び未成年、２０〜３０代、４０〜５０代、６０代以上の年代を分類することで、計８分類で分類する。

なお、通行者の属性は性別及び年齢に限定されず、例えば通行者の顔（表情）から認識可能な感情等を属性として検知（分類）してもよい。

サーバ１は、第２の分類基準として、通行者の行動に応じて分類を行う。通行者の行動は、例えば通行者の歩行速度、歩いている方向（行先）、通行者同士の距離（集団であるか否か等）、道路上の歩いている位置（右側通行であるか左側通行であるか等）、その他の動作である。

特に本実施の形態では、サーバ１は、道路脇に立地する店舗、すなわち公共空間に存在する施設への通行者の入退場動作を検出し、検出した入退場動作に応じて通行者を分類する。入退場動作は、通行者が店舗出入口に入場（入店）、又は店舗出入口から退場（退店）する動作である。なお、サーバ１は、入場又は退場のうちいずれか一方のみを検出するようにしてもよい。また、入退場動作は店舗に現に入退場した際の動作に限定されず、例えば店舗前での立ち止まり動作、店舗に視線を向ける動作など、入退場に間接的に関わる動作であってもよい。さらにサーバ１は、より詳細な入退場動作として、単一の通行者が入退場したか、あるいは複数の通行者が集団で入退場したかも含めて検出するようにしてもよい。サーバ１は、検出した入退場動作に応じて、店舗前を通行した通行者のうち、店舗に入退場した通行者と、店舗に入場せず通過した通行者とを分類する。

サーバ１は、第３の分類基準として、通行者の所持品に応じて分類を行う。通行者の所持品は、例えば通行者が所持している傘、紙袋、カバン、スーツケース、飲み物の容器、あるいは通行者の服装、通行者が連れているペット（犬等）などである。サーバ１は、学習時にこれらの所持品の画像特徴量を学習した分類モデル１４１を生成し、分類モデル１４１を用いて通行者の所持品を検出し、検出した所持品の種類を判定する。

なお、サーバ１は撮像画像から通行者の所持品を検出するだけでなく、所持品に応じて通行者の性別、年齢等を推定することで、通行者の属性を精度良く分類する。例えばサーバ１は、天気が晴れで傘を所持している場合、日傘であるものと判断し、通行者を女性に分類する。また、例えばサーバ１は、通行者がハイヒール、スカート等を身に付けている場合、通行者を女性に分類する。このように、サーバ１は分類モデル１４１を用いて所持品を検出すると共に、検出した所持品に応じて通行者の属性を分類する。

サーバ１は、各カメラ２から取得した動画像内の各フレーム画像を分類モデル１４１に入力し、各撮像時点において各地点を通行した通行者を、上記の各分類基準に応じて分類する。なお、サーバ１は一の分類モデル１４１で上記の各分類基準に応じた分類を行ってもよく、各分類基準に応じて分類モデル１４１を複数用意しておき、複数の分類モデル１４１を用いて分類を行ってもよい。

サーバ１は、フレーム画像に映る通行者を分類して得た通行者情報を、当該フレーム画像を撮像した撮像時点（日時）、及び当該フレーム画像を撮像したカメラ２の設置地点と関連付けて通行者ＤＢ１４４に記憶する。サーバ１は上記の処理を継続して行い、通行者ＤＢ１４４に通行者情報を蓄積する。

本実施の形態でサーバ１は、上述の如く通行者ＤＢ１４４に蓄積した通行者情報をマーケティング向けに利用して、ユーザが新規に出店を計画している店舗の評価を行う。具体的には、サーバ１は、分類モデル１４１とは異なる評価モデル１４２を機械学習によって構築し、評価モデル１４２に通行者情報を入力して、新規に出店する店舗を評価した評価情報を出力として取得する。

図６は、店舗評価の学習処理に関する説明図である。図６では、分類モデル１４１から出力された通行者情報を入力とした機械学習を行い、評価モデル１４２を生成する様子を概念的に図示している。図６に基づき、評価モデル１４２を生成する機械学習処理について説明する。

例えばサーバ１は、評価モデル１４２として、ＬＳＴＭ（Long Short-Term Memory）に係るニューラルネットワークを生成する。ＬＳＴＭはＲＮＮ（Recurrent Neural Network；再帰型ニューラルネットワーク）の一種であり、ある時点以前の時系列データを入力として、当該時点での予測値を出力するニューラルネットワークである。

ＬＳＴＭはＣＮＮと同様に、入力層、中間層、及び出力層を有する。入力層は、撮像時点の時系列に従って、各撮像時点での撮像画像から取得した通行者情報の入力をそれぞれ受け付ける複数のニューロンを有する。出力層は、入力層の各ニューロンに対応して、各撮像時点における店舗への来店者について予測した予測値を出力する複数のニューロンを有する。中間層は、入力層の各ニューロンへの入力値（通行者情報）に対して出力層の各ニューロンにおける出力値（予測値）を演算するための複数のニューロンを有する。中間層の各ニューロンはＬＳＴＭ Ｂｌｏｃｋと呼ばれ、過去の時点での入力値に関する中間層での演算結果を用いて次の時点での入力値に関する演算を行うことで、直近時点までの時系列データから次の時点の値を演算する。

なお、図６に示すＬＳＴＭの構成は一例であって、本実施の形態はこれに限定されるものではない。例えば中間層は一層に限定されず、二層以上であってもよい。また、入力層及び出力層のニューロンの数は同数に限定されず、例えば入力に対して出力の数は少なくともよい。

また、評価モデル１４２はＬＳＴＭに限定されず、ＬＳＴＭ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、決定木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。

店舗評価に関する機械学習を行う場合、例えばサーバ１は、出力層から出力される評価情報の正解値として、既に存在（出店）している既存店の情報を用いる。既存店情報は、例えば既存店に来店した来店者に関する実測値であり、時間帯別の来店者数、及び各時間帯の来店者数に占める属性別の内訳等である。

サーバ１は、例えばＰＯＳ（Point of Sale）システムのように、店舗の売上を集計し、管理する管理装置から来店者数等の実測値を取得するようにしても良い。あるいはサーバ１は、カメラ２の撮像画像から検出（分類）した通行者の入場動作に基づき、既存店への来店者数、属性別の来店者数の内訳等を算出するようにしても良い。このように、来店者に関する実測値の取得経路は特に問わない。

その他にもサーバ１は、既存店の業種、既存店が存在する地点の位置情報等を既存店情報として取得する。

サーバ１は、既存店が存在する該当地点に対応する通行者情報、すなわち既存店近くの電柱に取り付けられたカメラ２により、既存店の店舗前を通行する通行者を撮像した画像から取得した通行者情報を通行者ＤＢ１４４から読み出し、評価モデル１４２に入力する。なお、サーバ１は、既存店の店舗前を撮像したカメラ２から取得した画像より分析した通行者情報だけでなく、既存店から所定範囲内に位置するその他のカメラ２で撮像された画像より取得した通行者情報も用いてもよい。これにより、既存店周辺の通行者の流れを考慮して、より俯瞰的、包括的な学習を行うことができる。上述の如く、通行者情報は、性別、年齢等の属性、歩行速度、歩行方向、店舗への入退場動作等の行動、及び通行者が所持する所持品等を含み得る。

サーバ１は、通行者ＤＢ１４４から読み出した通行者情報を、各通行者が撮像された撮像時点の時系列に従って評価モデル１４２の入力層に入力する。例えばサーバ１は、各画像が撮像された時間帯毎（例えば一時間毎）に、各時間帯で既存店の前を通行した通行者数、及び属性別、行動別、所持品別の通行者数の内訳を集計する。サーバ１は、集計した各時間帯の通行者情報を時系列に従って入力層の各ニューロンに順次入力する。

また、サーバ１は、各時間帯の通行者情報を入力すると共に、各時間帯の天候情報を通行者ＤＢ１４４から読み出し、入力層の各ニューロンに併せて入力する。天候情報は、各時間帯の天気、気温、湿度等の情報である。サーバ１は天候情報を併せて入力することで、天候が来店数等に与える影響も考慮した評価モデル１４２を構築することができる。

また、サーバ１はこの他にも、既存店の周辺状況を示す周辺情報を周辺情報ＤＢ１４５から読み出し、評価モデル１４２に入力する。周辺情報は、例えば既存店が存在する地域の商圏人口、商圏規模、最寄り駅での乗降者数等の統計データや、最寄り駅の距離等の地理的データのほかに、当該地域に存在する周辺店舗（競合店舗）のデータなどを含み得る。周辺店舗のデータは、例えば周辺店舗の業種、位置情報等を含む。

例えばサーバ１は、出店予定の店舗と業種が一致する周辺店舗の位置情報を読み出し、周辺店舗と出店店舗との距離を算出する。サーバ１は、算出した周辺店舗との距離、及び上記の統計データ、地理的データ等を評価モデル１４２に入力する。

サーバ１は出力層の各ニューロンから、各時間帯における来店者に関する予測値を評価情報として取得する。出力層から出力される予測値は、例えば時間帯別の来店者数、及び各時間帯の来店者数に占める属性別の内訳等を含み得る。

サーバ１は、出力層から出力された予測値を、正解値である既存店の来店者の実測値と比較し、出力層から出力される予測値が正解値に近づくよう、中間層での演算処理に用いるパラメータを最適化する。サーバ１は、上述の機械学習を複数の既存店舗（例えばチェーン展開している各系列店）について行う。これにより、サーバ１は、通行者数等の通行者情報などを入力として、来店者数等の予測値を評価情報として出力する評価モデル１４２を生成する。

また、上述の機械学習時に、サーバ１は、単に既存店の来店者数を学習するだけでなく、既存店の周辺に位置する周辺店舗の来店者数を学習することで、新規店舗の出店による周辺店舗の来店者数の増減を予測可能な評価モデル１４２を生成するようにしてもよい。

例えばサーバ１は、既存店が出店する以前の通行者情報と、既存店の出店以後の通行者情報とを用いて学習を行う。具体的には、サーバ１は、カメラ２により周辺店舗の店舗前を撮像した画像から得た通行者情報であって、既存店が出店する以前の通行者情報と、撮像時点の月日が同一で年が異なる出店以後の通行者情報とを用いて学習を行う。サーバ１は、周辺店舗前の通行者情報を参照して、通行者の入場動作から周辺店舗への来店者数の実測値を算出し、既存店の出店の前後に亘る来店者数の実測値の差分を算出する。すなわちサーバ１は、既存店の出店による周辺店舗の来店者数の増減の実績値を算出する。

サーバ１は、周辺店舗との距離等を含む上記の各種データを評価モデル１４２に入力し、既存店の出店による周辺店舗の来店者数の増減の予測値を算出する。そしてサーバ１は、算出した予測値を実績値と比較し、中間層の各種パラメータを最適化することで、周辺店舗の来店者数の増減を予測する評価モデル１４２を生成する。

サーバ１は、上述の如く通行者情報、天候情報、周辺情報等を入力した場合に評価情報を出力する評価モデル１４２を生成する。サーバ１は、生成した評価モデル１４２を用いて、新規に出店する店舗の評価情報を取得する。

図７は、店舗評価処理に関する説明図である。図７では、ユーザが店舗を新規に出店するに際して、本システムを利用して出店店舗の評価を行う様子を概念的に図示している。図７に基づき、上述の評価モデル１４２を用いて出店店舗の評価情報を生成して出力する処理について説明する。

例えばサーバ１はまず、端末４を介して、出店予定の該当地点を示す位置情報、及び出店店舗の業種等、出店店舗の評価を行う上で最低限必要な情報の指定入力を受け付ける。

サーバ１は、該当地点に対応する通行者情報、天候情報、周辺情報等を各データベースから読み出し、評価モデル１４２に入力する。例えばサーバ１は、上述の学習時と同じく店舗前の通行者数、及び属性別、行動別、所持品別の通行者数の内訳等を時間帯（撮像時点）別に集計し、天候情報、周辺情報等と共に評価モデル１４２の入力層の各ニューロンに順次入力する。

サーバ１は評価モデル１４２から、評価情報として、出店店舗への来店者数、属性別の来店者数の内訳等、来店者に関する予測値を取得する。サーバ１は、評価モデル１４２から取得した評価情報を端末４に出力し、シミュレーション結果として表示させる。

例えば端末４は、ユーザから月及び曜日の指定入力を受け付け、指定された月及び曜日の予測来店者数等の評価情報を示すシミュレーション結果を表示する。例えば端末４は、一日当たりの来店者数の予測値、及び来店者のうち最も多いと予測される来店者の属性（年代及び性別）を表示すると共に、時間帯別の来店者数の推移を示すグラフを表示する。

また、端末４はさらに、出店店舗への来店が予測される来店者の情報（予測値）だけでなく、来店者以外の通行者であって、出店店舗の店舗前、あるいは店舗周辺を通行する通行者である潜在顧客に関する情報を併せて表示する。潜在顧客は、来店には至らないものの、来店直前の状態にまで至った人物であり、潜在的に店舗顧客となり得る人物である。例えば端末４は、潜在顧客の情報として、潜在顧客の属性、潜在顧客の予想来店人数単位等を表示する。

例えばサーバ１は、通行者ＤＢ１４４に格納されている通行者情報を参照して、通行者数を属性別に集計する。そしてサーバ１は、属性別に通行者数から来店者数の予測値を差し引くことで、来店者と異なる通行者、すなわち来店に至らないと予測される潜在顧客の人数を属性別に算出する。

例えば端末４は、最も人数が多い潜在顧客の属性、潜在顧客の来店人数単位（集団で来店する場合の人数）等を表示する。さらに端末４は、属性別に来店者及び通行者それぞれの人数を示すグラフを表示する。潜在顧客に関する潜在顧客情報を提示することで、どのような人物に対して広告等を行っていくか、マーケティング上の参考情報を与えることができる。

また、サーバ１は出店店舗の来店者、潜在顧客等の情報を出力するだけでなく、出店店舗の周辺に存在する周辺店舗の来客者数の増減予測を行い、端末４に出力する。例えばサーバ１は、通行者ＤＢ１４４を参照して周辺店舗への来店者数を集計して出力すると共に、周辺店舗との距離等を含む各種データを評価モデル１４２に入力して、評価モデル１４２から周辺店舗の来店者数の増減の予測値を取得し、端末４に出力する。端末４は、サーバ１から取得した周辺店舗の来店者数を表示すると共に、周辺店舗の来店者数の増減の予測値を表示する。

以上より、サーバ１は各電柱に取り付けてあるカメラ２を用いて収集した通行者情報を評価モデル１４２に入力し、評価情報を出力として取得し、端末４に配信する。これにより、出店計画等のマーケティング支援を行うことができる。

図８は、通行者情報の学習処理の処理手順を示すフローチャートである。図８に基づき、教師データから分類モデル１４１を生成する機械学習処理の内容について説明する。
サーバ１の制御部１１は、道路を通行する通行者を撮像した画像と、当該画像に映っている通行者を分類した場合の分類結果の正解値とを対応付けた教師データを取得する（ステップＳ１１）。教師データは、例えば画像内の一又は複数の通行者それぞれに対し、性別、年齢等の属性、行動、所持品といった情報をラベル付けしたデータである。

制御部１１は教師データを用いて、通行者の撮像画像を入力した場合に当該通行者を分類した分類結果を出力する分類モデル１４１（学習済みモデル）を生成する（ステップＳ１２）。具体的には、制御部１１は、教師データである撮像画像をニューラルネットワークの入力層に入力し、撮像画像内の通行者を分類した分類結果を出力層から取得する。制御部１１は、取得した分類結果を教師データの正解値（撮像画像に対してラベル付けられた情報）と比較し、出力層から出力される分類結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した分類モデル１４１を補助記憶部１４に格納し、一連の処理を終了する。

図９は、通行者分析処理の処理手順を示すフローチャートである。図９に基づき、分類モデル１４１を用いて通行者を分析（分類）する処理の内容を説明する。
サーバ１の制御部１１は、道路沿いに設置された電柱に設けられたカメラ２から、道路を通行する通行者を撮像した画像を取得する（ステップＳ３１）。具体的には、制御部１１は、道路沿いの複数の地点それぞれに設置されている各電柱に対応するカメラ２、２、２…からそれぞれ、道路を継続的に撮像した動画像を取得する。また、制御部１１は、画像を撮像した際の日時、及び各撮像時点における各地点の天候情報等を取得する（ステップＳ３２）。

制御部１１は、カメラ２から取得した画像を分類モデル１４１に入力し、画像に映る通行者を分類した分類結果を示す通行者情報を分類モデル１４１から取得する（ステップＳ３３）。具体的には、制御部１１は、各カメラ２から取得した動画像を構成する各フレーム画像を分類モデル１４１に入力し、各撮像時点、及び各地点で撮像された通行者を分類した分類結果を取得する。例えば制御部１１は、通行者を性別、年齢等で区分した属性、施設への入退場動作を含む行動、所持品等の基準で分類した分類結果を取得する。制御部１１は、撮像時点及び撮像地点と関連付けて、通行者の分類結果を示す通行者情報を通行者ＤＢ１４４に記憶し（ステップＳ３４）、一連の処理を終了する。

図１０は、店舗評価の学習処理の処理手順を示すフローチャートである。図１０に基づき、評価モデル１４２を生成する機械学習処理の内容について説明する。
サーバ１の制御部１１は、機械学習の教師データに用いる既存店情報を取得する（ステップＳ５１）。既存店情報は、道路沿い（公共空間）に存在する既存店に関する情報であり、既存店の位置情報等のほかに、既存店に来店した来店者に関する実測値を含む。来店者に関する実測値は、例えば時間帯別の来店者数、及び属性別の来店者数の内訳等を含み得る。

さらに制御部１１は、既存店の周辺地域に設置されている各カメラ２での撮像画像から得た通行者情報、当該撮像画像の撮像時点における天候情報、当該周辺地域に関する周辺情報等を各データベースから読み出す（ステップＳ５２）。周辺情報は、店舗の周辺状況を示すデータであり、例えば商圏人口、商圏規模、最寄り駅での乗降者数等の統計データ、最寄り駅の距離等の地理的データのほかに、既存店の周辺に位置する周辺店舗のデータなどを含み得る。周辺店舗のデータは、例えば既存店との距離等である。

制御部１１は、ステップＳ５１で取得した既存店情報、及びステップＳ５２で取得した通行者情報等を教師データとして用いて、通行者情報を入力した場合に店舗の評価情報を出力する評価モデル１４２を生成する（ステップＳ５３）。具体的には、制御部１１は、既存店が位置する該当地点に対応する一又は複数のカメラ２で撮像された画像から得た通行者情報であって、各時間帯（撮像時点）に撮像された画像から得た通行者情報をニューラルネットワークの入力層に入力する。また、制御部１１は、各時間帯の天候情報、既存店の周辺情報等を入力層に入力する。制御部１１は、例えば既存店に来店した来店者に関する予測値を既存店の評価情報として出力層から取得する。来店者に関する予測値は、例えば時間帯別の来店者数、及び属性別の来店者の内訳等である。制御部１１は、来店者に関する予測値を、正解値である既存店の来店者に係る実測値と比較し、出力層から出力される予測値が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した分類モデル１４１を補助記憶部１４に格納し、一連の処理を終了する。

図１１は、店舗評価処理の処理手順を示すフローチャートである。図１１に基づき、評価モデル１４２を用いて該当地点に出店する店舗を評価する処理の内容について説明する。
サーバ１の制御部１１は、端末４を介して、新規に店舗を出店する該当地点を示す位置情報、出店店舗の業種等の入力を受け付ける（ステップＳ７１）。制御部１１は、該当地点に対応する通行者情報、天候情報、周辺情報等を各データベースから読み出す（ステップＳ７２）。例えば制御部１１は、該当地点の周辺に設置されている一又は複数のカメラ２それぞれにおいて、各時間帯（撮像時点）に撮像された画像から取得した通行者情報と、各時間帯の天候情報とを通行者ＤＢ１４４から読み出す。また、制御部１１は、該当地点に対応する地域の周辺情報を周辺情報ＤＢ１４５から読み出す。

制御部１１は、ステップＳ７２で読み出した通行者情報等を評価モデル１４２に入力し、該当地点に出店する店舗を評価した評価情報を出力として取得する（ステップＳ７３）。具体的には、制御部１１は、周辺情報を評価モデル１４２に入力すると共に、各時間帯（撮像時点）での撮像画像に対応する通行者情報を時系列に従って評価モデル１４２に順次入力し、各時間帯の来店者に関する予測値を評価情報として取得する。また、例えば制御部１１は、出店店舗への来店者に関する予測値だけでなく、周辺店舗への来店者の増減を予測した予測値を取得する。

制御部１１は、ステップＳ７３で取得した評価情報と、ステップＳ７２で取得した通行者情報とに基づき、店舗周辺を通行する通行者であって、来店者以外の通行者である潜在顧客に関する潜在顧客情報を生成する（ステップＳ７４）。例えば制御部１１は、来店者以外の通行者のうち、最も多い通行者の属性等を潜在顧客情報として通行者情報から抽出する。制御部１１は、ステップＳ７３で取得した評価情報、ステップＳ７４で生成した潜在顧客情報等を端末４に出力し（ステップＳ７５）、一連の処理を終了する。

なお、上記では店舗の評価情報として店舗への来店者数を挙げたが、本実施の形態はこれに限定されるものではなく、例えば客単価、売上等の予測値であってもよい。すなわち、評価情報は来店者に関する予測値に限定されない。

また、上記ではサーバ１が、機械学習と、機械学習の成果物である学習済みモデルを用いた処理との双方を行ったが、本実施の形態はこれに限定されるものではない。例えばサーバ１が生成した評価モデル１４２を端末４にインストールし、端末４が店舗評価を行ってもよい。すなわち、機械学習の処理主体と学習済みモデルを用いた処理の処理主体とは別個のハードウェアであってもよい。

また、上記ではサーバ１が通行者分析処理及び店舗評価処理の双方を行ったが、本実施の形態はこれに限定されるものではなく、各処理の処理主体は別個であってもよい。

以上より、本実施の形態１によれば、道路沿いの各電柱に取り付けたカメラ２での撮像画像を元に通行者情報を収集し、収集した通行者情報を評価モデル１４２に入力して店舗の評価情報を取得し、ユーザに提示する。これにより、出店計画等のマーケティングを適切に支援することができる。

また、本実施の形態１によれば、店舗への来店者数、来店者の属性といった来店者に関する予測値を提示し、マーケティングをより適切に支援することができる。

また、本実施の形態１によれば、店舗に来店する来店者だけでなく、潜在的に来店者となり得る潜在顧客についても分析を行い、ユーザに提示することができる。

また、本実施の形態１によれば、通行者の情報だけでなく、店舗周辺の統計的、あるいは地理的データや、周辺店舗の情報を考慮して店舗の評価を行うことができる。

また、本実施の形態１によれば、店舗出店による周辺店舗への影響力を考慮して評価を行うことができる。

また、本実施の形態１によれば、分類モデル１４１を用いることで撮像画像から通行者情報を正確かつ自動的に分析することができ、より適切な店舗評価システムを構築することができる。

（実施の形態２）
本実施の形態では、出店の是非を検討するための評価情報を提示するだけでなく、出店を計画している店舗が、予測される来店者に適ったものになっているか否かをチェックする形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図１２は、実施の形態２の概要を示す説明図である。図１２に基づき、本実施の形態の概要について説明する。

本実施の形態でサーバ１は、評価モデル１４２を用いた出店店舗の評価を行う場合に、出店を予定している該当地点の位置情報、出店店舗の業種等の他に、出店店舗に関する店舗情報を取得する。店舗情報は、例えば出店店舗のレイアウトに関する情報である。レイアウトに関する情報は、例えば座席、床面積、出入口等について、各種レイアウトの数量又は配置を示すデータである。

サーバ１は実施の形態１と同様に、評価モデル１４２に通行者情報等を入力し、出店店舗への来店者数の予測値等、出店店舗を評価した評価情報を取得する。そしてサーバ１は、評価モデル１４２から取得した評価情報、すなわち来店者に関する予測値と、上記の店舗情報、すなわち店舗のレイアウトとを比較し、出店を計画している店舗が、予測される来店者に適ったものになっているか、両者の適合度合いを推定する。

例えばサーバ１は、各時間帯の来店者数の予測値を座席数と比較し、来店者数の予測値が座席数を超過する回数をカウントする。これによりサーバ１は、来店機会の損失頻度、すなわち来店者と店舗レイアウトとの適合度合いを推定する。例えばサーバ１は、カウントした回数が所定の閾値以上である場合、座席数の不足を端末４に通知し、店舗規模の拡張をユーザに提案する。

また、上記の通知を行う場合、サーバ１は、推定した適合度合いに応じて店舗レイアウトの修正案を生成して出力する。上記の例に則して説明した場合、サーバ１は、座席数に対する来店者数の超過分（差分）の平均値等を算出することで、推奨すべき座席の増加数を算出してユーザに通知する。これにより、どの程度店舗規模を拡張すれば良いか、ユーザに一案を提示する。

なお、サーバ１は座席数以外にも、例えば来店者数に応じて床面積、出入口数等の不足を推定し、各種対象物の修正案を提示してもよい。また、上記の適合度合いの推定に際して対象とするデータは各種対象物の数量に限定されず、例えば座席、出入口等の配置位置（座標値）についてであってもよい。

また、上記では適合度合いをチェックする対象として店舗レイアウトを一例に説明を行ったが、例えばサーバ１は、店舗で提供予定の商品又はサービスを対象として、予測される来店者の属性と提供予定の商品等とのマッチングを行い、適合度合いを推定してもよい。また、例えばサーバ１は、予定している従業員数、営業時間等と来店者の予測値とを比較し、適合度合いを推定してもよい。このように、評価情報との比較対象とする店舗情報は出店店舗のレイアウトに関する情報に限定されない。

図１３は、実施の形態２に係る店舗評価処理の処理手順を示すフローチャートである。 サーバ１の制御部１１は、新規に店舗を出店する該当地点の位置情報、出店店舗の業種等の他に、出店店舗のレイアウトに関する情報等を含む店舗情報の入力を端末４から受け付ける（ステップＳ２０１）。レイアウトに関する情報は、例えば店舗内の座席、床面積、出入口等の数量及び配置を示すデータである。制御部１１は、処理をステップＳ７２に移行する。

制御部１１は、評価モデル１４２から来客数の予測値等を示す評価情報を取得し（ステップＳ７３）、潜在顧客情報を生成した後（ステップＳ７４）、以下の処理を実行する。制御部１１は、ステップＳ７３で取得した評価情報と、ステップＳ２０１で取得した店舗情報とに基づき、出店店舗への来店が予測される来店者と、出店予定の店舗との適合度合いを推定する（ステップＳ２０２）。例えば制御部１１は、店舗情報に含まれるレイアウトの情報と、評価情報に含まれる来店者の予測値とに基づき、座席数や床面積が不足しているか否か、出入口の位置が適切であるか否か等を推定する。また、例えば制御部１１は、推定した適合度合いに応じて店舗情報の修正案を生成する。制御部１１は、推定した適合度合い、及び生成した店舗情報の修正案を評価情報、潜在顧客情報等と共に端末４に出力し（ステップＳ２０３）、一連の処理を終了する。

以上より、本実施の形態２によれば、出店予定の店舗に関する店舗情報と、来店が予測される来店者との適合度合いを推定することで、どのような店舗を出店すべきかを含めて総合的な支援を行うことができる。

また、本実施の形態２によれば、出店計画の修正案を提示することで、より適切な支援を行うことができる。

また、本実施の形態２によれば、店舗レイアウトの見直しをユーザに促すことができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 分類モデル
１４２ 評価モデル
１４３ 電柱ＤＢ
１４４ 通行者ＤＢ
１４５ 周辺情報ＤＢ

Claims (9)

1. 公共空間に設置された配電設備に取り付けた撮像装置から取得した画像を元に、前記公共空間を通行する通行者を分析した通行者情報を取得し、
   該通行者情報を入力した場合に、前記公共空間の該当地点に位置する店舗への来店者に関する予測値を示す評価情報を出力するよう学習済みの学習済みモデルに、取得した前記通行者情報を入力し、
   前記学習済みモデルから前記評価情報を取得し、
   取得した前記評価情報と、前記通行者情報とに基づき、前記来店者以外の前記通行者である潜在顧客に関する潜在顧客情報を生成して出力する
   処理をコンピュータに実行させることを特徴とする情報処理方法。
2. 前記店舗に関する店舗情報を取得し、
   前記学習済みモデルから取得した前記評価情報と、前記店舗情報とに基づき、前記来店者と前記店舗との適合度合いを推定する
   ことを特徴とする請求項１に記載の情報処理方法。
3. 推定した前記適合度合いに基づき、前記店舗情報の修正案を生成して出力する
   ことを特徴とする請求項２に記載の情報処理方法。
4. 前記店舗のレイアウトに関する前記店舗情報を取得し、
   前記評価情報が示す前記予測値と、前記店舗情報が示す前記レイアウトとに基づいて前記適合度合いを推定する
   ことを特徴とする請求項２又は３に記載の情報処理方法。
5. 前記該当地点の周辺状況に関する周辺情報を取得し、
   前記通行者情報及び周辺情報を前記学習済みモデルに入力して前記評価情報を取得する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理方法。
6. 前記周辺情報は、前記該当地点の周辺に位置する周辺店舗に関する情報を含み、
   前記通行者情報及び周辺情報を前記学習済みモデルに入力して、前記店舗の出店による前記周辺店舗の来店者数の増減を予測した予測値を取得する
   ことを特徴とする請求項５に記載の情報処理方法。
7. 前記画像を入力した場合に前記通行者を分類するよう学習済みの第１の学習済みモデルに、前記撮像装置から取得した前記画像を入力し、
   前記第１の学習済みモデルから、前記通行者を分類した分類結果を示す前記通行者情報を取得し、
   取得した前記通行者情報を第２の前記学習済みモデルに入力して前記評価情報を取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理方法。
8. 公共空間に設置された配電設備に取り付けた撮像装置から取得した画像を元に、前記公共空間を通行する通行者を分析した通行者情報を取得し、
   該通行者情報を入力した場合に、前記公共空間の該当地点に位置する店舗への来店者に関する予測値を示す評価情報を出力するよう学習済みの学習済みモデルに、取得した前記通行者情報を入力し、
   前記学習済みモデルから前記評価情報を取得し、
   取得した前記評価情報と、前記通行者情報とに基づき、前記来店者以外の前記通行者である潜在顧客に関する潜在顧客情報を生成して出力する
   処理をコンピュータに実行させることを特徴とするプログラム。
9. 公共空間に設置された配電設備に取り付けた撮像装置から取得した画像を元に、前記公共空間を通行する通行者を分析した通行者情報を取得する取得部と、
   該通行者情報を入力した場合に、前記公共空間の該当地点に位置する店舗への来店者に関する予測値を示す評価情報を出力するよう学習済みの学習済みモデルに、取得した前記通行者情報を入力する入力部と、
   前記学習済みモデルから前記評価情報を取得する評価部と、
   取得した前記評価情報と、前記通行者情報とに基づき、前記来店者以外の前記通行者である潜在顧客に関する潜在顧客情報を生成して出力する出力部と
   を備えることを特徴とする情報処理装置。

Images