JP6874754B2 - 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル - Google Patents

Description

本発明は、情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデルに関する。

街頭、施設内等に設置された監視カメラ等の撮像装置を用いて遠隔監視を行う種々のシステムが提案されている。例えば特許文献１では、街頭の電柱等に設置された撮像装置が撮像した画像をリアルタイムで配信する撮影情報提供装置等が開示されている。また、特許文献２では、店舗、駅等の固定点、あるいは鉄道車両、自動車等の移動可能な物体に撮像装置を設けて遠隔監視を行う遠隔監視システム等が開示されている。

特開２００２−１８５９５３号公報 特開２００４−３１２６９５号公報

しかしながら、特許文献１、２に係る発明は撮像装置で撮像された画像の配信、共有等を行うに過ぎず、撮像画像に含まれる被写体を分析するに至っていない。

一つの側面では、公共空間を通行する通行者を的確に把握することができる情報処理方法等を提供することを目的とする。

一つの側面では、情報処理方法は、公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得し、前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力し、前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得し、複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定し、複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成し、生成した前記動線分布情報を出力する処理をコンピュータに実行させることを特徴とする。

一つの側面では、公共空間を通行する通行者を的確に把握することができる。

通行者分析システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 電柱ＤＢ及び通行者ＤＢのレコードレイアウトの一例を示す説明図である。 分類モデルの生成処理に関する説明図である。 通行者の分類処理に関する説明図である。 通行情報の表示画面の一例を示す説明図である。 分類モデルの生成処理の処理手順を示すフローチャートである。 通行者の分類処理の処理手順を示すフローチャートである。 通行情報の出力処理の処理手順を示すフローチャートである。 実施の形態２の概要を示す説明図である。 動線分布情報の表示画面の一例を示す説明図である。 動線特定処理の処理手順を示すフローチャートである。 実施の形態３の概要を示す説明図である。 実施の形態３に係る通行者の分類処理の処理手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、通行者分析システムの構成例を示す模式図である。本実施の形態では、道路等の公共空間に設置されたカメラ２により通行者を撮像し、撮像した画像から通行者の属性等を分析する通行者分析システムについて説明する。通行者分析システムは、情報処理装置１、カメラ２、センサ３、端末４を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバ装置であるものとし、以下の説明では簡潔のためサーバ１と読み替える。サーバ１は、道路を通行する通行者を撮像した画像をカメラ２から取得し、取得した画像を分析して、年齢、性別等の属性、あるいは歩行速度、方向、動作といった行動、あるいは所持品などの種々の分類基準に応じて通行者を分類し、通行者の情報を蓄積したビッグデータを構築する。本実施の形態でサーバ１は、撮像画像から通行者を分類（識別）するよう機械学習により学習済みの分類モデル（学習済みモデル）を用いて通行者の分類を行う。

カメラ２は、公共空間に設置された撮像装置であり、道路を通行する通行者を撮像する。本実施の形態では、カメラ２は道路沿いに設置された配電設備、具体的には電柱に取り付けられている。カメラ２は、道路沿いの複数の地点それぞれに設置された電柱にそれぞれ取り付けられており、道路を通行する通行者を各地点から継続的に撮像する。サーバ１は、カメラ２において撮像された画像を取得し、取得した画像に映っている通行者の属性等を分析する。また、測定環境によっては，カメラ２の代わりにレーザー、赤外線により人を感知する人感センサを設置し、対象の人数、速度、滞留時間等の人の動線情報について、データを取得してもよい。

なお、本実施の形態では配電設備の一例として電柱を挙げるが、配電設備は電柱に限定されず、例えば地中化された電線の地上機器（トランス）などであってもよい。また、配電設備が設置される場所（地点）は道路に限定されず、通行者が通行可能な公共空間であればよい。また、本明細書における「道路」は歩道及び車道のいずれも含み得る。

センサ３は、カメラ２と共に電柱に取り付けられたセンシングデバイスであり、例えば温度計、湿度計、降雨量計、照度計、風速計等である。センサ３は、カメラ２が設置された地点の気温、湿度、降雨量等の天候情報を計測する。サーバ１は、センサ３から画像の撮像地点の天候情報を取得し、通行者の分類結果と関連付けて保存する。

端末４は、サーバ１からビッグデータの提供を受けるユーザが使用する端末装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理端末である。本システムを利用するユーザは特に限定されないが、例えばユーザは該当地点のマーケティングを行う事業者であり、端末４はサーバ１から該当地点の通行者に関する通行情報の配信を受け、通行情報を表示する。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、分類モデル１４１、電柱ＤＢ１４２、通行者ＤＢ１４３を記憶している。分類モデル１４１は、撮像画像に映る通行者を分類する分類器（識別器）であり、機械学習により生成された学習済みモデルである。電柱ＤＢ１４２は、カメラ２が設置された電柱の情報を格納したデータベースである。通行者ＤＢ１４３は、分類モデル１４１を用いて分類した通行者の分類結果を格納するデータベースである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば可搬型記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。

図３は、電柱ＤＢ１４２及び通行者ＤＢ１４３のレコードレイアウトの一例を示す説明図である。電柱ＤＢ１４２は、電柱ＩＤ列、位置情報列、カメラ情報列、センサ情報列を含む。電柱ＩＤ列は、道路上に設置された各電柱を識別するための電柱ＩＤを記憶している。位置情報列、カメラ情報列、センサ情報列はそれぞれ、電柱ＩＤと対応付けて、電柱が設置された地点の位置情報、電柱に設置されたカメラ２の情報、及びセンサ３の情報を記憶している。カメラ２の情報は、例えばカメラ２が取り付けられた高さ、撮像角度、倍率、撮像範囲等の情報を含み得る。センサ３の情報は、温度計、湿度計、降雨量計等のセンサ３の種類に関する情報を含み得る。

通行者ＤＢ１４３は、電柱ＩＤ列、日時列、天候列、通行者列を含む。電柱ＩＤは、道路上に設置された各電柱を識別するための電柱ＩＤを記憶している。日時列、天候列、通行者列はそれぞれ、電柱ＩＤと対応付けて、電柱に取り付けられたカメラ２で画像を撮像した日時、該日時における電柱周辺の天候情報、及び画像から分類した通行者の分類結果を記憶している。

図４は、分類モデル１４１の生成処理に関する説明図である。図４では、機械学習を行って分類モデル１４１を生成する処理を概念的に図示している。図４に基づき、分類モデル１４１の生成処理について説明する。

本実施の形態でサーバ１は、分類モデル１４１として、カメラ２において撮像された画像内に映る通行者の外見、行動、所持品等に関する画像特徴量を学習するディープラーニングを行うことで、撮像画像を入力とし、通行者を分類した分類結果を出力とするニューラルネットワークを生成する。ニューラルネットワークは例えばＣＮＮ（Convolution Neural Network）、具体的にはＲ−ＣＮＮ（Regions with CNN）であり、撮像画像の入力を受け付ける入力層と、分類結果を出力する出力層と、撮像画像の画像特徴量を抽出する中間層とを有する。

入力層は、撮像画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、撮像画像内から対象物（通行者等）を認識し、認識した対象物が映っている画像領域（図４では点線矩形枠で図示）の特徴量を抽出して出力層に受け渡す。例えば分類モデル１４１がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層はＳＶＭ（Support Vector Machine）に係る識別器であり、通行者の分類結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて通行者を分類する。

なお、本実施の形態では分類モデル１４１がＣＮＮであるものとして説明するが、分類モデル１４１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ベイジアンネットワーク、決定木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。

サーバ１は、通行者を撮像した複数の画像と、各画像における通行者を属性等に応じて分類した場合の分類結果の正解値とが対応付けられた教師データを用いて学習を行う。例えば図４に示すように、教師データは、通行者の撮像画像に対し、通行者が映っている画像領域の座標範囲と、通行者の分類結果とがラベル付けされたデータである。

なお、本明細書の図面では簡略のため一の画像に一人の通行者が映っているものとして図示するが、一の画像内に複数の通行者が映り込んでいても良いことは勿論である。

サーバ１は、教師データである撮像画像を入力層に入力し、中間層での演算処理を経て、出力層から通行者の分類結果を取得する。なお、出力層から出力される分類結果は離散的な値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。例えばサーバ１は、出力層から出力される分類結果として、性別、年齢といった通行者の属性、歩行速度、歩行する方向、施設（例えば道路脇の店舗）への入退場動作といった通行者の行動、及び所持品などに応じて分類した分類結果を取得する。なお、上記の分類基準の詳細については後述する。

サーバ１は、出力層から出力された分類結果を、教師データにおいて撮像画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

サーバ１は、教師データに含まれる各撮像画像について上記の処理を行い、分類モデル１４１を生成する。カメラ２から撮像画像を取得した場合、サーバ１は分類モデル１４１を用いて通行者を分類する。

図５は、通行者の分類処理に関する説明図である。図５では、撮像画像から通行者を種々の基準で分類する様子を概念的に図示している。図５に基づき、通行者の分類処理について説明する。
サーバ１は、道路沿いの複数の地点に設置された各電柱に取り付けられているカメラ２、２、２…からそれぞれ、通行者を撮像した画像を取得する。例えばカメラ２は継続的に撮像を行っており、サーバ１は、通行者が通行する道路をカメラ２が撮像した動画像をリアルタイムに、あるいは動画像の録画データを定期的に取得する。

また、サーバ１は、各カメラ２と同じ電柱に取り付けられている各センサ３から、画像を撮像した時点の気温、湿度、降雨量等の天候情報を取得する。なお、サーバ１はセンサ３によらず、例えば所定の外部ＡＰＩ（Application Programmable Interface）から該当地点の天候情報を取得するようにしてもよい。すなわち、電柱へのセンサ３の設置は必須ではない。

サーバ１は、カメラ２から取得した画像を分類モデル１４１に入力し、画像内に映る通行者を分類した分類結果を出力として取得する。例えばサーバ１は、カメラ２で撮像された動画像を構成する各撮像時点でのフレーム画像を分類モデル１４１に順次入力する。サーバ１は、分類モデル１４１の中間層にてフレーム画像の特徴量を抽出する演算処理を行い、抽出した特徴量を分類モデル１４１の出力層に入力して、各地点、各撮像時点で撮像されたフレーム画像に映る通行者を分類した分類結果を出力として取得する。

本実施の形態でサーバ１は、通行者を分類する場合に、種々の基準で分類を行う。第１の分類基準として、サーバ１は、通行者の属性に応じて分類を行う。通行者の属性は、例えば性別及び年齢である。例えばサーバ１は、通行者の男女の別、及び未成年、２０〜３０代、４０〜５０代、６０代以上の年代を分類することで、計８分類で分類する。

なお、通行者の属性は性別及び年齢に限定されず、例えば通行者の顔（表情）から認識可能な感情等を属性として検知（分類）してもよい。

サーバ１は、第２の分類基準として、通行者の行動に応じて分類を行う。通行者の行動は、例えば通行者の歩行速度、歩いている方向（行先）、道路上の歩いている位置（右側通行であるか左側通行であるか等）、その他の動作である。

特に本実施の形態では、サーバ１は、道路脇に立地する店舗、すなわち公共空間に存在する施設への通行者の入退場動作を検出し、検出した入退場動作に応じて通行者を分類する。入退場動作は、通行者が店舗出入口に入場（入店）、又は店舗出入口から退場（退店）する動作である。なお、サーバ１は、入場又は退場のうちいずれか一方のみを検出するようにしてもよい。また、入退場動作は店舗に現に入退場した際の動作に限定されず、例えば店舗前での立ち止まり動作、店舗に視線を向ける動作など、入退場に間接的に関わる動作であってもよい。サーバ１は、検出した入退場動作に応じて、店舗前を通行した通行者のうち、店舗に入退場した通行者と、店舗に入場せず通過した通行者とを分類する。

サーバ１は、第３の分類基準として、通行者の所持品に応じて分類を行う。通行者の所持品は、例えば通行者が所持している傘、紙袋、カバン、スーツケース、飲み物の容器、あるいは通行者の服装、通行者が連れているペット（犬等）などである。サーバ１は、学習時にこれらの所持品の画像特徴量を学習した分類モデル１４１を生成し、分類モデル１４１を用いて通行者の所持品を検出し、検出した所持品の種類を判定する。

なお、サーバ１は撮像画像から通行者の所持品を検出するだけでなく、所持品に応じて通行者の性別、年齢等を推定することで、通行者の属性を精度良く分類する。例えばサーバ１は、天気が晴れで傘を所持している場合、日傘であるものと判断し、通行者を女性に分類する。また、例えばサーバ１は、通行者がハイヒール、スカート等を身に付けている場合、通行者を女性に分類する。このように、サーバ１は分類モデル１４１を用いて所持品を検出すると共に、検出した所持品に応じて通行者の属性を分類する。

サーバ１は、各カメラ２から取得した動画像内の各フレーム画像を分類モデル１４１に入力し、各撮像時点において各地点を通行した通行者を、上記の各分類基準に応じて分類する。なお、サーバ１は一の分類モデル１４１で上記の各分類基準に応じた分類を行ってもよく、各分類基準に応じて分類モデル１４１を複数用意しておき、複数の分類モデル１４１を用いて分類を行ってもよい。

サーバ１は、フレーム画像に映る通行者を分類した分類結果を、当該フレーム画像を撮像した撮像時点（日時）、及び当該フレーム画像を撮像したカメラ２の設置地点と関連付けて通行者ＤＢ１４３に記憶する。サーバ１は上記の処理を継続して行い、通行者ＤＢ１４３に通行者の情報を蓄積する。

図６は、通行情報の表示画面の一例を示す説明図である。サーバ１は端末４からのアクセスに応じて、通行者ＤＢ１４３に記憶してある通行者の情報を端末４に出力（配信）する。図６に基づき、通行情報の出力処理について述べる。

端末４から出力要求を受け付けた場合、サーバ１は通行者ＤＢ１４３を参照して通行情報を生成し、端末４に出力する。例えばサーバ１はまず、端末４を介して、出力対象とする通行情報の地点、及び日時（撮像時点）に関する指定入力を受け付ける。具体的には、サーバ１は、通行情報の提供を所望する地点と、所望する日付（例えば月及び曜日）とを指定する指定入力を受け付ける。サーバ１は、指定された地点に設置されたカメラ２において、指定された地点及び日付に関連付けて通行者ＤＢ１４３に格納されている通行者の分類結果を参照して、指定された日付に指定された地点を通行した通行者の分類結果を分析した通行情報を生成し、端末４に出力する。

図６下側に、サーバ１から出力された通行情報の表示画面の一例を図示する。例えば端末４は、指定された日付に指定された地点を通行した通行者の人数を、時間帯別かつ天候別に集計したグラフを表示する。さらに端末４は、性別、年代といった属性別に通行者を集計したグラフを表示する。また、端末４は、各方向（方角）に歩行していた通行者の人数を天候別に集計したグラフを表示する。また、端末４は、各種所持品を所持していた歩行者の割合を示すグラフを気温別に集計したグラフを表示する。

さらにサーバ１は、分類モデル１４１を用いて検出した、該当地点に存在する施設（店舗）への通行者の入退場動作に基づき、該当施設に入退場する通行者に関する入退場情報を通行情報の一つとして生成し、端末４に出力する。例えばサーバ１は、該当施設に入退場した通行者の人数を時間帯別に集計したグラフと、該当施設に通行者が滞在していた時間を人数別に示すグラフとを生成し、端末４に表示させる。なお、例えばサーバ１は、通行者の入退場人数及び滞在時間を属性別に集計するなど、より詳細な入退場情報を生成するようにしてもよい。これにより、単に道路上の通行者の情報を提示するのみならず、店舗に入退場する通行者の情報を提示することができ、よりマーケティングに適したデータをユーザに提供ことができる。

サーバ１は、上記のように通行者の人数等を各分類基準（属性、行動、所持品）に応じて集計することにより、指定された地点及び日付（撮像時点）における通行者の分布状況を示す通行情報を生成し、端末４に出力する。これによりサーバ１は、例えばユーザが該当地点のマーケティングを行う際の参考情報を提供することができる。

以上より、サーバ１は機械学習により生成された分類モデル１４１を用いて通行者を分類し、道路を通行する通行者の情報を提供することができる。特に本実施の形態では、道路沿いに設置された各電柱にカメラ２を取り付けておき、各カメラ２で継続的に道路を撮像することで、ストリートビューのように線的、面的な観察を可能としつつ、監視カメラのように時系列に則した観察も可能となる。すなわち、両者の特性を併せ持つシステムを実現することができ、マーケティング等に適した通行者の分析を行うことができる。特に電柱は既に多くの道路に設置されており、しかも所定間隔毎に設置されている。これを利用して各電柱にカメラ２を設置することで、観察対象とするエリアを好適にカバーすることができ、通行者の情報をより的確に収集することができる。

図７は、分類モデル１４１の生成処理の処理手順を示すフローチャートである。図７に基づき、教師データから分類モデル１４１を生成する機械学習処理の内容について説明する。
サーバ１の制御部１１は、道路を通行する通行者を撮像した画像と、当該画像に映っている通行者を分類した場合の分類結果の正解値とを対応付けた教師データを取得する（ステップＳ１１）。教師データは、例えば画像内の一又は複数の通行者それぞれに対し、性別、年齢等の属性、行動、所持品といった情報をラベル付けしたデータである。

制御部１１は教師データを用いて、通行者の撮像画像を入力した場合に当該通行者を分類した分類結果を出力する分類モデル１４１（学習済みモデル）を生成する（ステップＳ１２）。具体的には、制御部１１は、教師データである撮像画像をニューラルネットワークの入力層に入力し、撮像画像内の通行者を分類した分類結果を出力層から取得する。制御部１１は、取得した分類結果を教師データの正解値（撮像画像に対してラベル付けられた情報）と比較し、出力層から出力される分類結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した分類モデル１４１を補助記憶部１４に格納し、一連の処理を終了する。

図８は、通行者の分類処理の処理手順を示すフローチャートである。図８に基づき、分類モデル１４１を用いて通行者を分類する処理の内容を説明する。
サーバ１の制御部１１は、道路沿いに設置された電柱に設けられたカメラ２から、道路を通行する通行者を撮像した画像を取得する（ステップＳ３１）。具体的には、制御部１１は、道路沿いの複数の地点それぞれに設置されている各電柱に対応するカメラ２、２、２…からそれぞれ、道路を継続的に撮像した動画像を取得する。また、制御部１１は、画像を撮像した際の日時、及び各撮像時点における各地点の天候情報等を取得する（ステップＳ３２）。

制御部１１は、カメラ２から取得した画像を分類モデル１４１に入力し、画像に映る通行者を分類した分類結果を分類モデル１４１から取得する（ステップＳ３３）。具体的には、制御部１１は、各カメラ２から取得した動画像を構成する各フレーム画像を分類モデル１４１に入力し、各撮像時点、及び各地点で撮像された通行者を分類した分類結果を取得する。例えば制御部１１は、通行者を性別、年齢等で区分した属性、施設への入退場動作を含む行動、所持品等の基準で分類した分類結果を取得する。制御部１１は、撮像時点及び撮像地点と関連付けて通行者の分類結果を通行者ＤＢ１４３に記憶し（ステップＳ３４）、一連の処理を終了する。

図９は、通行情報の出力処理の処理手順を示すフローチャートである。図９に基づき、通行情報の出力処理の内容について説明する。
サーバ１の制御部１１は、端末４から、出力対象とする通行情報の地点、日時（撮像時点）等に関する指定入力を受け付ける（ステップＳ５１）。例えば制御部１１は、通行情報の出力対象とする地点と、出力対象とする日付とを指定する指定入力を受け付ける。制御部１１は、指定された地点付近に設置されたカメラ２による撮像画像から得た通行者の分類結果であって、指定された日付に撮像された画像から得た通行者の分類結果を通行者ＤＢ１４３から読み出す（ステップＳ５２）。例えば制御部１１は、指定された地点及び日付と関連付けて通行者ＤＢ１４３に記憶されている通行者の分類結果と、指定された地点及び日付における天候情報とを読み出す。

制御部１１は、読み出した通行者の分類結果に基づき、指定された日付において指定された地点を通行した通行者に関する通行情報を生成する（ステップＳ５３）。例えば制御部１１は、該当地点を通行した通行者の人数を時間帯別及び天候別に示すグラフのほか、属性、動作、所持品等の分類基準別に通行者の人数を集計したグラフなど、指定された地点及び日付（撮像時点）における通行者の分布状況を示す通行情報を生成する。また、制御部１１は、分類モデル１４１を用いて検出した通行者の入退場動作に基づき、道路脇に存在する施設（店舗）に入退場する通行者に関する入退場情報を通行情報の一つとして生成する。制御部１１は、生成した通行情報を端末４に出力し（ステップＳ５４）、一連の処理を終了する。

以上より、本実施の形態１によれば、既に道路（公共空間）に多く設置されている電柱（配電設備）にカメラ２（撮像装置）を取り付けることで通行者を好適に撮像可能であると共に、機械学習により生成された分類モデル１４１を用いて通行者を分類することで、通行者の特徴を正確に分析することができる。これにより、公共空間を通行する通行者を的確に把握することができる。

また、本実施の形態１によれば、道路に数多く設置されている各電柱にカメラ２を取り付けると共に、各カメラ２で継続的に撮像を行うことで、空間的に広範な観察を可能としつつ、時系列に則した観察も可能となる。

また、本実施の形態１によれば、通行者が通行した地点及び時刻（撮像時点）と関連付けて通行者の分類結果を記憶しておくことで、各地点を通行する通行者の情報を蓄積したビッグデータを構築することができる。

また、本実施の形態１によれば、天候情報と関連付けて通行者の分類結果を記憶しておくことで、天候に応じた通行量、通行する人の属性等を把握することができる。

また、本実施の形態１によれば、マーケティング等に有用な情報をユーザに提供することができる。

また、本実施の形態１によれば、撮像画像を元に処理を行うため、単に通行者の属性を把握（分類）可能なだけでなく、通行者がどのような行動（振る舞い）をしていたかまで把握可能となる。これにより、例えばスマートフォン等のＧＰＳ（Global Positioning System）機能などを用いたビッグデータ収集よりも深度が高い分析が可能であり、通行者の情報をより的確に把握可能となる。

また、本実施の形態１によれば、道路脇に存在する施設（店舗）への通行者の入退場動作を検出して入退場情報を提供することができ、よりマーケティングに有用な情報をユーザに提供することができる。

また、本実施の形態１によれば、通行者の所持品も識別（分類）することで、性別等の属性を始めとする通行者の情報をより的確に把握可能となる。

（実施の形態２）
本実施の形態では、複数の地点で撮像された画像から通行者の動線を特定する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図１０は、実施の形態２の概要を示す説明図である。サーバ１は実施の形態１と同様に、複数の地点それぞれに設置された各電柱に取り付けられている各カメラ２から動画像を取得し、各地点、各撮像時点（時刻）において撮像されたフレーム画像から通行者を認識し、年齢、性別等の属性、歩行速度、方向等の行動、あるいは所持品などに応じて分類する。本実施の形態ではさらに、サーバ１はマルチカメラ連携を行い、複数の地点それぞれで撮像された各フレーム画像から分類（識別）した通行者の分類結果に基づき、同一の通行者が各地点を通行した動線を特定する。

例えばサーバ１は、分類モデル１４１から出力された属性、所持品等の分類結果に基づき、通行者の匿名認証を行う。サーバ１は、分類結果が同一の通行者が撮像された地点（例えばカメラ２の設置地点）、撮像時点を特定し、当該通行者が撮像された地点及び撮像時点をマッピングする。サーバ１は、撮像時点に従った順序で通行者が撮像された各地点を並べ、通行者が移動したと推定される動線を特定する。

なお、上記においてサーバ１は、各カメラ２で撮像した画像から特定した各地点での通行者の歩行速度、方向、位置、入退場動作などの行動に基づき、通行者がどの店舗の前を通過し、どの店舗の前で立ち止まり、どの店舗に入退場したか等を特定してもよい。すなわちサーバ１は、単に複数のカメラ２の画像から個々の通行者の動線を特定するだけでなく、動線上における個々の通行者の動作（立ち振る舞い）を特定するようにしてもよい。これにより、通行者がどのような経路でどのように行動していたかを、より詳細に把握することができる。

図１１は、動線分布情報の表示画面の一例を示す説明図である。サーバ１は、上記で特定した各通行者の動線に基づき、対象地域（公共空間）を通行者らがどのように移動するか、動線の分布状況を示す動線分布情報を生成して端末４に出力する。

例えばサーバ１は、端末４を介して対象地域の指定入力を受け付ける。具体的には、サーバ１は鉄道駅の駅名等の入力を受け付ける。サーバ１は、該当する駅周辺の地域における各通行者の動線を特定し、各通行者の動線をマップ上で重ね合わせて動線分布情報を生成する。なお、図１１では線の太さが通行者の人数の大小を表す。図１１に示すように、対象地域において通行者らがどのような経路で移動しているか、特に多くの通行者が共通して行き来する鉄道駅から、あるいは鉄道駅に向かってどのような経路で移動するかを一目で把握可能となる。

なお、サーバ１は単に全ての通行者の動線を重ね合わせて動線分布情報を生成するのみならず、例えば通行者の属性、時間帯等の基準で対象者を絞り込んで動線分布情報を生成してもよいことは勿論である。あるいはサーバ１は、施設（店舗）をキーに対象者を絞り込み、該当する施設に入退場した通行者の動線分布情報を生成するようにしてもよい。あるいはサーバ１は、該当する施設に入退場した通行者の動線を、他の通行者の動線とは異なる色で表示するなど、異なる態様で表示する動線分布情報を生成するようにしてもよい。これにより、該当する施設のマーケティング対策のためにより有用な情報を提供することができる。

また、図１１で例示する表示画面では通行者の人数の大小を線の太さで表すのみであったが、例えば端末４は、各通行者が撮像された時点の時系列に沿って、各通行者の動き（動線）を再生する形で動線分布情報を表示してもよい。これにより、各地点で各時間帯にどの程度の通行者が存在するか、ユーザは直感的に把握することができる。

図１２は、動線特定処理の処理手順を示すフローチャートである。
サーバ１の制御部１１は、端末４を介して、動線分布情報を生成する対象地域の指定入力を受け付ける（ステップＳ２０１）。なお、制御部１１はステップＳ２０１において、対象とする通行者の属性、日時（時間帯等）、あるいは通行者が入退場した施設等を絞り込み条件として指定入力を受け付けてもよい。制御部１１は、対象地域の複数の地点それぞれに対応するフレーム画像からそれぞれ取得した通行者の分類結果に基づき、各通行者が通行した動線を特定する（ステップＳ２０２）。具体的には、制御部１１は分類モデル１４１から出力された分類結果に基づいて通行者の匿名認証を行い、複数の地点それぞれで撮像された通行者を特定する。制御部１１は、通行者が通行した各地点、及び通行者が通行した時刻（撮像時点）に基づいてマッピングを行い、通行者毎に動線を特定する。

制御部１１は、複数の通行者それぞれについて特定した動線の分布状況を示す動線分布情報を生成する（ステップＳ２０３）。例えば制御部１１は、対象地域のマップ上に各通行者の動線を重ね合わせた動線分布情報を生成する。制御部１１は、生成した動線分布情報を端末４に出力し（ステップＳ２０４）、一連の処理を終了する。

以上より、本実施の形態２によれば、通行者の追跡（トラッキング）を行うことができ、通行者の行動をより的確に把握可能となる。

また、本実施の形態２によれば、各通行者の動線分布情報を提示することができ、マーケティング等においてより有用な情報を提供することができる。

（実施の形態３）
本実施の形態では、通行者を撮像時の撮像条件に応じて、通行者を分類する際に用いる分類モデル１４１を選択する形態について説明する。
図１３は、実施の形態３の概要を示す説明図である。本実施の形態においてサーバ１は、通行者を撮像する際の撮像条件に応じて、予め複数の分類モデル１４１を生成して保持しておく。撮像条件は、例えば撮像時点における電柱付近の天気（天候情報）である。例えばサーバ１は、晴天時に撮像された画像を元に学習を行った晴天時用の分類モデル１４１と、雨天時に撮像された画像を元に学習を行った雨天時用の分類モデル１４１との２種類の分類モデル１４１を用意しておく。

電柱におけるカメラ２の取付位置は特に限定されないが、多くの場合はカメラ２をアーム（腕金）上、あるいはアーム付近に取り付け、通行者を高所から撮像することが想定される。一方で、雨天時において通行者の多くは傘を差していることが想定される。従って、雨天時に通行者を撮像した場合、通行者の上半身が撮像されず、通行者の属性等が認識されず、適切な分類が不可能となる虞がある。

そこで本実施の形態では、晴天時用及び雨天時用の２種類の分類モデル１４１を用意しておく。なお、サーバ１が用意する分類モデル１４１の数は２種類に限定されず、例えば積雪時用の分類モデル１４１を用意するなど、３種類以上としてもよい。

サーバ１は、雨天時に撮像された画像、すなわち多くの通行者が傘を差している画像を元に学習を行い、雨天時用の分類モデル１４１を生成する。具体的には、サーバ１は、撮像画像から通行者が差している傘を認識し、認識した傘の画像特徴量を分類モデル１４１に学習させることで、通行者の傘から通行者の属性を分類する分類モデル１４１を生成する。例えばサーバ１は、男性用傘及び女性用傘それぞれの色、形状等の画像特徴量を学習させ、男性用の傘であるか、あるいは女性用の傘であるかに応じて通行者の性別を分類する分類モデル１４１を生成する。

また、例えばサーバ１は、上記の傘に加えて、通行者の身長を学習対象とし、身長から成人又は子供の別を推定して通行者の年齢を分類可能なように学習を行ってもよい。あるいはサーバ１は、ズボン、靴等の下半身の服装を学習対象に加え、下半身の服装から性別、年齢等を分類可能なように学習を行ってもよい。このように、傘によって通行者の上半身（特に顔）が隠れてしまう場合に備えて、雨天時用の分類モデル１４１を生成する。

サーバ１は、撮像時点の天気を元に分類モデル１４１を選択し、選択した分類モデル１４１に画像を入力して通行者を分類する。具体的には、サーバ１は、分類モデル１４１を用いて通行者の傘、身長、下半身の服装等の特徴量を抽出し、抽出した特徴量に応じて通行者の性別、年齢等の属性を分類する。サーバ１は、分類結果を撮像地点、撮像時点等のほかに天気（天候情報）と関連付けて通行者ＤＢ１４３に記憶する。

なお、上記では分類モデル１４１の種類を規定する撮像条件として天気を用いたが、例えば気温、湿度、風速等のその他の天候情報を撮像条件として用いてもよい。また、例えば撮像条件として、時間帯（昼又は夜）、季節等の時期的条件、あるいは地域等の地理的条件を用いてもよい。すなわち、撮像条件は撮像時点及び撮像地点に関連する条件であればよく、その内容は特に限定されない。

図１４は、実施の形態３に係る通行者の分類処理の処理手順を示すフローチャートである。
カメラ２から撮像画像を取得し（ステップＳ３１）、撮像時点の日時、撮像地点の天候情報等を取得した後（ステップＳ３２）、サーバ１の制御部１１は以下の処理を実行する。制御部１１は、画像を撮像した際の撮像条件に応じて分類モデル１４１を選択する（ステップＳ３０１）。例えば制御部１１は、ステップＳ３２で取得した天候情報に応じて分類モデル１４１を選択する。制御部１１は、選択した分類モデル１４１に撮像画像を入力し、通行者を分類する（ステップＳ３０２）。制御部１１は処理をステップＳ３４に移行する。

以上より、本実施の形態３によれば、撮像条件に応じて異なる分類モデル１４１を用いることで、通行者をより的確に把握可能となる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 分類モデル
１４２ 電柱ＤＢ
１４３ 通行者ＤＢ
２ カメラ
３ センサ
４ 端末

Claims (13)

1. 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得し、
   前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力し、
   前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得し、
   複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定し、
   複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成し、
   生成した前記動線分布情報を出力する
   処理をコンピュータに実行させることを特徴とする情報処理方法。
2. 前記フレーム画像に対応する前記地点及び撮像時点と関連付けて、該フレーム画像に映る前記通行者の分類結果を記憶部に記憶する
   ことを特徴とする請求項１に記載の情報処理方法。
3. 前記撮像時点における前記地点の天候情報を取得し、
   前記地点及び撮像時点と関連付けて、前記通行者の分類結果及び前記天候情報を前記記憶部に記憶する
   ことを特徴とする請求項２に記載の情報処理方法。
4. 前記地点及び撮像時点に関する指定入力を受け付け、
   指定された前記地点及び撮像時点に対応する前記通行者の分類結果に基づき、前記撮像時点に前記地点を通行した前記通行者に関する通行情報を生成し、
   前記通行情報を出力する
   ことを特徴とする請求項３に記載の情報処理方法。
5. 前記学習済みモデルから、前記通行者の行動に応じて前記通行者を分類した分類結果を取得する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理方法。
6. 前記学習済みモデルから、前記公共空間に存在する施設への前記通行者の入退場動作に応じて前記通行者を分類した分類結果を取得し、
   取得した分類結果に基づき、前記施設に入退場する前記通行者に関する入退場情報を生成し、
   生成した前記入退場情報を出力する
   ことを特徴とする請求項５に記載の情報処理方法。
7. 前記学習済みモデルから、前記通行者が所持する所持品に応じて前記通行者の属性を分類した分類結果を取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理方法。
8. 前記撮像装置が前記通行者を撮像した際の撮像条件に関する情報を取得し、
   前記撮像条件に応じて前記通行者を分類する複数の前記学習済みモデルのうちいずれかを、取得した前記撮像条件に関する情報に基づいて選択し、
   選択した前記学習済みモデルに前記フレーム画像を入力する
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理方法。
9. 前記撮像条件に関する情報は、前記撮像装置が前記通行者を撮像した際の天候情報であり、
   前記天候情報に応じて、前記通行者が差している傘から前記通行者を分類する前記学習済みモデルを選択する
   ことを特徴とする請求項８に記載の情報処理方法。
10. 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得し、
    前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力し、
    前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得し、
    複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定し、
    複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成し、
    生成した前記動線分布情報を出力する
    処理をコンピュータに実行させることを特徴とするプログラム。
11. 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得する取得部と、
    前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力する入力部と、
    前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得する分類部と、
    複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定する特定部と、
    複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成する生成部と、
    生成した前記動線分布情報を出力する出力部と
    を備えることを特徴とする情報処理装置。
12. 公共空間を通行する通行者を撮像した画像と、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果の正解値とを対応付けた教師データを取得し、
    取得した教師データに基づき、前記画像を入力した場合に、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果を出力する学習済みモデルを生成する
    処理をコンピュータに実行させることを特徴とする学習済みモデルの生成方法。
13. 公共空間に設置された配電設備に取り付けた撮像装置から通行者を撮像した画像の入力を受け付ける入力層と、
    前記入力層からの出力が入力されるように結合されており、前記画像と、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果の正解値とを対応付けた教師データに基づき、前記画像から画像特徴量を抽出する演算処理に用いるパラメータを学習済みの中間層と、
    前記中間層からの出力が入力されるよう結合されており、前記中間層における演算結果に基づいて、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果を出力する出力層と
    を備え、
    前記画像を前記入力層に入力し、前記中間層における演算処理を行い、前記出力層から前記公共空間に存在する施設への入退場動作に応じて前記通行者の分類結果を出力するようコンピュータを機能させるための学習済みモデル。

Images