JP6874754B2 - 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル - Google Patents
情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル Download PDFInfo
- Publication number
- JP6874754B2 JP6874754B2 JP2018231829A JP2018231829A JP6874754B2 JP 6874754 B2 JP6874754 B2 JP 6874754B2 JP 2018231829 A JP2018231829 A JP 2018231829A JP 2018231829 A JP2018231829 A JP 2018231829A JP 6874754 B2 JP6874754 B2 JP 6874754B2
- Authority
- JP
- Japan
- Prior art keywords
- passerby
- imaging
- passersby
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
(実施の形態1)
図1は、通行者分析システムの構成例を示す模式図である。本実施の形態では、道路等の公共空間に設置されたカメラ2により通行者を撮像し、撮像した画像から通行者の属性等を分析する通行者分析システムについて説明する。通行者分析システムは、情報処理装置1、カメラ2、センサ3、端末4を含む。各装置は、インターネット等のネットワークNを介して通信接続されている。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、サーバ1に係る種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
サーバ1は、道路沿いの複数の地点に設置された各電柱に取り付けられているカメラ2、2、2…からそれぞれ、通行者を撮像した画像を取得する。例えばカメラ2は継続的に撮像を行っており、サーバ1は、通行者が通行する道路をカメラ2が撮像した動画像をリアルタイムに、あるいは動画像の録画データを定期的に取得する。
サーバ1の制御部11は、道路を通行する通行者を撮像した画像と、当該画像に映っている通行者を分類した場合の分類結果の正解値とを対応付けた教師データを取得する(ステップS11)。教師データは、例えば画像内の一又は複数の通行者それぞれに対し、性別、年齢等の属性、行動、所持品といった情報をラベル付けしたデータである。
サーバ1の制御部11は、道路沿いに設置された電柱に設けられたカメラ2から、道路を通行する通行者を撮像した画像を取得する(ステップS31)。具体的には、制御部11は、道路沿いの複数の地点それぞれに設置されている各電柱に対応するカメラ2、2、2…からそれぞれ、道路を継続的に撮像した動画像を取得する。また、制御部11は、画像を撮像した際の日時、及び各撮像時点における各地点の天候情報等を取得する(ステップS32)。
サーバ1の制御部11は、端末4から、出力対象とする通行情報の地点、日時(撮像時点)等に関する指定入力を受け付ける(ステップS51)。例えば制御部11は、通行情報の出力対象とする地点と、出力対象とする日付とを指定する指定入力を受け付ける。制御部11は、指定された地点付近に設置されたカメラ2による撮像画像から得た通行者の分類結果であって、指定された日付に撮像された画像から得た通行者の分類結果を通行者DB143から読み出す(ステップS52)。例えば制御部11は、指定された地点及び日付と関連付けて通行者DB143に記憶されている通行者の分類結果と、指定された地点及び日付における天候情報とを読み出す。
本実施の形態では、複数の地点で撮像された画像から通行者の動線を特定する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図10は、実施の形態2の概要を示す説明図である。サーバ1は実施の形態1と同様に、複数の地点それぞれに設置された各電柱に取り付けられている各カメラ2から動画像を取得し、各地点、各撮像時点(時刻)において撮像されたフレーム画像から通行者を認識し、年齢、性別等の属性、歩行速度、方向等の行動、あるいは所持品などに応じて分類する。本実施の形態ではさらに、サーバ1はマルチカメラ連携を行い、複数の地点それぞれで撮像された各フレーム画像から分類(識別)した通行者の分類結果に基づき、同一の通行者が各地点を通行した動線を特定する。
サーバ1の制御部11は、端末4を介して、動線分布情報を生成する対象地域の指定入力を受け付ける(ステップS201)。なお、制御部11はステップS201において、対象とする通行者の属性、日時(時間帯等)、あるいは通行者が入退場した施設等を絞り込み条件として指定入力を受け付けてもよい。制御部11は、対象地域の複数の地点それぞれに対応するフレーム画像からそれぞれ取得した通行者の分類結果に基づき、各通行者が通行した動線を特定する(ステップS202)。具体的には、制御部11は分類モデル141から出力された分類結果に基づいて通行者の匿名認証を行い、複数の地点それぞれで撮像された通行者を特定する。制御部11は、通行者が通行した各地点、及び通行者が通行した時刻(撮像時点)に基づいてマッピングを行い、通行者毎に動線を特定する。
本実施の形態では、通行者を撮像時の撮像条件に応じて、通行者を分類する際に用いる分類モデル141を選択する形態について説明する。
図13は、実施の形態3の概要を示す説明図である。本実施の形態においてサーバ1は、通行者を撮像する際の撮像条件に応じて、予め複数の分類モデル141を生成して保持しておく。撮像条件は、例えば撮像時点における電柱付近の天気(天候情報)である。例えばサーバ1は、晴天時に撮像された画像を元に学習を行った晴天時用の分類モデル141と、雨天時に撮像された画像を元に学習を行った雨天時用の分類モデル141との2種類の分類モデル141を用意しておく。
カメラ2から撮像画像を取得し(ステップS31)、撮像時点の日時、撮像地点の天候情報等を取得した後(ステップS32)、サーバ1の制御部11は以下の処理を実行する。制御部11は、画像を撮像した際の撮像条件に応じて分類モデル141を選択する(ステップS301)。例えば制御部11は、ステップS32で取得した天候情報に応じて分類モデル141を選択する。制御部11は、選択した分類モデル141に撮像画像を入力し、通行者を分類する(ステップS302)。制御部11は処理をステップS34に移行する。
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P プログラム
141 分類モデル
142 電柱DB
143 通行者DB
2 カメラ
3 センサ
4 端末
Claims (13)
- 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得し、
前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力し、
前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得し、
複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定し、
複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成し、
生成した前記動線分布情報を出力する
処理をコンピュータに実行させることを特徴とする情報処理方法。 - 前記フレーム画像に対応する前記地点及び撮像時点と関連付けて、該フレーム画像に映る前記通行者の分類結果を記憶部に記憶する
ことを特徴とする請求項1に記載の情報処理方法。 - 前記撮像時点における前記地点の天候情報を取得し、
前記地点及び撮像時点と関連付けて、前記通行者の分類結果及び前記天候情報を前記記憶部に記憶する
ことを特徴とする請求項2に記載の情報処理方法。 - 前記地点及び撮像時点に関する指定入力を受け付け、
指定された前記地点及び撮像時点に対応する前記通行者の分類結果に基づき、前記撮像時点に前記地点を通行した前記通行者に関する通行情報を生成し、
前記通行情報を出力する
ことを特徴とする請求項3に記載の情報処理方法。 - 前記学習済みモデルから、前記通行者の行動に応じて前記通行者を分類した分類結果を取得する
ことを特徴とする請求項1〜4のいずれか1項に記載の情報処理方法。 - 前記学習済みモデルから、前記公共空間に存在する施設への前記通行者の入退場動作に応じて前記通行者を分類した分類結果を取得し、
取得した分類結果に基づき、前記施設に入退場する前記通行者に関する入退場情報を生成し、
生成した前記入退場情報を出力する
ことを特徴とする請求項5に記載の情報処理方法。 - 前記学習済みモデルから、前記通行者が所持する所持品に応じて前記通行者の属性を分類した分類結果を取得する
ことを特徴とする請求項1〜6のいずれか1項に記載の情報処理方法。 - 前記撮像装置が前記通行者を撮像した際の撮像条件に関する情報を取得し、
前記撮像条件に応じて前記通行者を分類する複数の前記学習済みモデルのうちいずれかを、取得した前記撮像条件に関する情報に基づいて選択し、
選択した前記学習済みモデルに前記フレーム画像を入力する
ことを特徴とする請求項1〜7のいずれか1項に記載の情報処理方法。 - 前記撮像条件に関する情報は、前記撮像装置が前記通行者を撮像した際の天候情報であり、
前記天候情報に応じて、前記通行者が差している傘から前記通行者を分類する前記学習済みモデルを選択する
ことを特徴とする請求項8に記載の情報処理方法。 - 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得し、
前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力し、
前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得し、
複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定し、
複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成し、
生成した前記動線分布情報を出力する
処理をコンピュータに実行させることを特徴とするプログラム。 - 公共空間の複数の地点夫々に設置された配電設備夫々に取り付けた撮像装置から、前記公共空間を通行する通行者を継続的に撮像した動画像を取得する取得部と、
前記動画像を構成する各撮像時点のフレーム画像を入力した場合に前記通行者を分類するよう学習済みの学習済みモデルに、取得した前記動画像を構成する各撮像時点のフレーム画像を入力する入力部と、
前記学習済みモデルから、各地点及び撮像時点に対応する前記フレーム画像に映る前記通行者の分類結果を取得する分類部と、
複数の地点夫々に対応する前記フレーム画像から夫々取得した前記通行者の分類結果に基づき、同一の前記通行者が通行した動線を特定する特定部と、
複数の前記通行者夫々の前記動線に基づき、前記公共空間における前記動線の分布状況を示す動線分布情報を生成する生成部と、
生成した前記動線分布情報を出力する出力部と
を備えることを特徴とする情報処理装置。 - 公共空間を通行する通行者を撮像した画像と、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果の正解値とを対応付けた教師データを取得し、
取得した教師データに基づき、前記画像を入力した場合に、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果を出力する学習済みモデルを生成する
処理をコンピュータに実行させることを特徴とする学習済みモデルの生成方法。 - 公共空間に設置された配電設備に取り付けた撮像装置から通行者を撮像した画像の入力を受け付ける入力層と、
前記入力層からの出力が入力されるように結合されており、前記画像と、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果の正解値とを対応付けた教師データに基づき、前記画像から画像特徴量を抽出する演算処理に用いるパラメータを学習済みの中間層と、
前記中間層からの出力が入力されるよう結合されており、前記中間層における演算結果に基づいて、前記公共空間に存在する施設への入退場動作に応じて前記通行者を分類した分類結果を出力する出力層と
を備え、
前記画像を前記入力層に入力し、前記中間層における演算処理を行い、前記出力層から前記公共空間に存在する施設への入退場動作に応じて前記通行者の分類結果を出力するようコンピュータを機能させるための学習済みモデル。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018231829A JP6874754B2 (ja) | 2018-12-11 | 2018-12-11 | 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018231829A JP6874754B2 (ja) | 2018-12-11 | 2018-12-11 | 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020096255A JP2020096255A (ja) | 2020-06-18 |
JP6874754B2 true JP6874754B2 (ja) | 2021-05-19 |
Family
ID=71085086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018231829A Active JP6874754B2 (ja) | 2018-12-11 | 2018-12-11 | 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6874754B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023187958A1 (ja) * | 2022-03-29 | 2023-10-05 | 日本電気株式会社 | 交通流分析装置、交通流分析方法及びプログラム記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008571A (ja) * | 2009-06-26 | 2011-01-13 | Shunkosha:Kk | 通行人流動データ生成装置、コンテンツ配信制御装置、通行人流動データ生成方法及びコンテンツ配信制御方法 |
JP2011103019A (ja) * | 2009-11-10 | 2011-05-26 | Omron Corp | 演出制御装置 |
JP2012038089A (ja) * | 2010-08-06 | 2012-02-23 | Nikon Corp | 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、およびプログラム |
JP5720627B2 (ja) * | 2012-06-11 | 2015-05-20 | 株式会社デンソー | 人検出装置 |
JP2015002553A (ja) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 情報処理システムおよびその制御方法 |
JP6662653B2 (ja) * | 2016-02-04 | 2020-03-11 | ソフトバンク株式会社 | 道路交通調査システム |
JP7047769B2 (ja) * | 2016-12-15 | 2022-04-05 | 日本電気株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
JP7120590B2 (ja) * | 2017-02-27 | 2022-08-17 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2018
- 2018-12-11 JP JP2018231829A patent/JP6874754B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020096255A (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Social sensing from street-level imagery: A case study in learning spatio-temporal urban mobility patterns | |
Li et al. | Exploring the association between street built environment and street vitality using deep learning methods | |
US20170287170A1 (en) | System and Method for Locating and Performing Fine Grained Classification from Multi-View Image Data | |
JP4972491B2 (ja) | 顧客動作判定システム | |
JP4069932B2 (ja) | 人間検知装置および人間検知方法 | |
Gawande et al. | Pedestrian detection and tracking in video surveillance system: issues, comprehensive review, and challenges | |
CN104239386B (zh) | 用于对面部识别匹配区分优先级的方法和系统 | |
JP6825613B2 (ja) | 情報処理方法、プログラム、情報処理装置及び学習済みモデルの生成方法 | |
JP5002441B2 (ja) | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム | |
CN116227834A (zh) | 一种基于三维点云模型的智能景区数字化平台 | |
Park et al. | The usability of Unmanned Aerial Vehicles (UAVs) for pedestrian observation | |
Li et al. | Multi-view crowd congestion monitoring system based on an ensemble of convolutional neural network classifiers | |
JP6988975B2 (ja) | 情報処理方法、プログラム及び情報処理装置 | |
US20100296703A1 (en) | Method and device for detecting and classifying moving targets | |
JP6874754B2 (ja) | 情報処理方法、プログラム、情報処理装置、学習済みモデルの生成方法及び学習済みモデル | |
Huang et al. | Comprehensive urban space representation with varying numbers of street-level images | |
Hou et al. | Reidentification of trucks in highway corridors using convolutional neural networks to link truck weights to bridge responses | |
JP7264028B2 (ja) | 情報提供システム、情報提供方法、情報端末及び情報表示方法 | |
JP6976731B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Milotta et al. | Visitors Localization in Natural Sites Exploiting EgoVision and GPS. | |
Sun et al. | Hidden footprints: Learning contextual walkability from 3d human trails | |
Liu et al. | Clarity or confusion: A review of computer vision street attributes in urban studies and planning | |
Singhal et al. | A Comparative Analysis of Deep Learning based Vehicle Detection Approaches. | |
JP2021140624A (ja) | データ収集装置 | |
Silva et al. | Integrated Analytics and Visualization for Multi-modality Transportation Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6874754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |