JP7354626B2 - 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム - Google Patents
予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム Download PDFInfo
- Publication number
- JP7354626B2 JP7354626B2 JP2019127805A JP2019127805A JP7354626B2 JP 7354626 B2 JP7354626 B2 JP 7354626B2 JP 2019127805 A JP2019127805 A JP 2019127805A JP 2019127805 A JP2019127805 A JP 2019127805A JP 7354626 B2 JP7354626 B2 JP 7354626B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- subject
- target person
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
§1.適用例
図2を用いて本発明が適用される場面の一例について説明する。図2は、本実施形態に係る予測装置1の適用場面の一例を示す図である。予測装置1は、対象者を撮影した画像を用いて、その対象者が移動する位置を予測する装置である。
図1に基づいて予測装置1の構成例を説明する。図1は、予測装置1の要部構成の一例を示すブロック図である。図1に示すように、予測装置1は、予測装置1の各部を統括して制御する制御部10と、予測装置1が使用する各種データを記憶する記憶部20を備えている。また、予測装置1は、予測装置1に対するデータの入力を受け付ける入力部30と、予測装置1がデータを出力するための出力部40を備えている。なお、記憶部20、入力部30、および出力部40は、予測装置1に対して外付けされた機器であってもよい。
図3および図4に基づいて移動情報202の生成例について説明する。図3は、画像201からの対象者とオブジェクトの検出例を示す図である。図3に示す画像201は、対象者が同図の左端から右方向に移動している様子を撮影した動画像から所定の時間間隔で抽出したフレーム画像の一つである。図4は、上記検出結果に基づいて生成された移動情報202の例を示す図である。
(予測モデルを構築する処理の流れ)
図5に基づいて予測モデル203を構築する処理の流れを説明する。図5は、予測モデル203を構築する処理(モデル生成方法)の一例を示すフローチャートである。なお、図5の処理の前提として、移動者を定点カメラにて撮影した動画像から抽出した時系列のフレーム画像が画像201として記憶部20に記憶されているとする。無論、記憶部20に動画像を記憶しておき、オブジェクト検出部101等が、その動画像からフレーム画像を抽出する構成としてもよい。また、動画像に写る移動者は、移動先の予測の対象とする対象者と同一人物であってもよいし、他の人物であってもよい。また、異なる移動者を撮影した複数の動画像からそれぞれ抽出した画像201が記憶されていてもよい。
図6に基づいて対象者が移動する位置を予測する処理の流れを説明する。図6は、対象者が移動する位置を予測する処理(予測方法)の一例を示すフローチャートである。なお、図6の処理の前提として、対象者を定点カメラにて所定時間撮影した動画像から抽出した時系列のフレーム画像が画像201として記憶部20に記憶されているとする。以下の処理では、これらの画像201からその後の対象者の移動位置を予測する。また、S11(オブジェクト検出ステップ)~S14の処理は、図5のS1~S4の処理と同様であるから説明を省略する。
各フレームの画像201からの対象者とオブジェクトの検出、および、それらの位置のトレースには、Faster RCNNとSORT(Simple Online and Realtime Tracking)を用いてもよい。この場合、オブジェクト検出部101は、Faster RCNNを用いて、対象者を撮影した動画像の先頭フレームの画像201から対象者と各オブジェクトを検出し、それらの画像201における位置と範囲を特定する。そして、オブジェクト検出部101は、SORTを用いて、後続の各フレームの画像201における対象者と各オブジェクトの位置と範囲をトレースする。このような構成であっても、図4に示すような移動情報202を生成するために必要な各種情報(具体的には対象者の軌跡情報と空間情報)を取得することができる。
本発明の他の実施形態について、図7および図8に基づいて以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図7に基づいて本実施形態に係る予測装置の構成を説明する。図7は、予測装置1Aの要部構成の一例を示すブロック図である。予測装置1Aは、制御部10に方向判定部121が含まれている点、空間情報生成部102が空間情報生成部102Aに変わっている点で予測装置1と相違している。また、予測装置1Aは、記憶部20に記憶されている移動情報202と予測モデル203がそれぞれ移動情報202Aと予測モデル203Aに変わっている点でも予測装置1と相違している。
図7に基づいて移動情報202Aの生成例を説明する。図7は、画像201からの対象者とオブジェクトと対象者の向きの検出例と、それらの検出結果に基づいて生成された移動情報202Aの例を示す図である。
空間情報を取得するために対象者の周囲に設定する領域の形状、サイズ、および数は、任意である。例えば、対象者の前方には広い領域を設定し、後方には狭い領域を設定する等のように、サイズの異なる複数の領域を設定してもよい。ただし、領域が広過ぎると、関連性の低いオブジェクトが検出される割合が高くなる。例えば、領域の幅は、通路の幅と同程度から通路の幅の2倍程度までとし、領域の奥行きも同程度としてもよい。これにより、通路の両脇にどのようなオブジェクトが存在するかを考慮した予測が可能になる。また、例えば、対象者を斜め上方から見下ろす角度で撮影したような場合には、対象者の周囲に立体の領域を設定してもよい。
予測装置1および1Aの制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
101 オブジェクト検出部
106 予測部
201 画像
203 予測モデル
1A 予測装置
121 方向判定部
Claims (9)
- 対象者を撮影した時系列の画像を用いて、前記対象者が移動する位置を予測する予測装置であって、
前記画像に写る前記対象者を含むオブジェクトを検出するオブジェクト検出部であって、前記オブジェクトの検出結果に基づいて、前記対象者の時系列の位置情報が示す各位置の周囲に設定された複数の領域のそれぞれに写るオブジェクトを特定するオブジェクト検出部と、
前記対象者の前記時系列の位置情報と、前記複数の領域のそれぞれに写る前記オブジェクトの特定結果を示す情報とを、機械学習済みの予測モデルに入力して、前記予測モデルの出力から前記対象者が移動する位置を予測する予測部と、を備えている予測装置。 - 前記オブジェクト検出部は、前記複数の領域の少なくとも何れかに写る、前記対象者が作業を行う場所に存在するオブジェクトを特定する、請求項1に記載の予測装置。
- 前記オブジェクト検出部は、前記複数の領域の少なくとも何れかに写る、前記対象者の動作対象となるオブジェクトを特定する、請求項1に記載の予測装置。
- 前記対象者が向いている方向を判定する方向判定部を備え、
前記予測部は、前記対象者に対して前記方向に位置する前記領域に写るオブジェクトの特定結果を示す情報を前記予測モデルに入力する、請求項1から3の何れか1項に記載の予測装置。 - 対象者を撮影した時系列の画像から前記対象者が移動する位置を予測するための予測モデルを生成するモデル生成装置であって、
1または複数の移動者が移動する様子を撮影した時系列の画像に写る前記移動者を含むオブジェクトの検出結果に基づき生成された、前記移動者の時系列の位置情報と、当該位置情報の示す各位置の周囲に設定された複数の領域のそれぞれに写るオブジェクトの特定結果を示す情報とが対応付けられた教師データを取得する教師データ取得部と、
上記教師データを用いて、前記対象者が移動する位置を予測するための予測モデルを構築する学習部と、を備えているモデル生成装置。 - 対象者を撮影した時系列の画像を用いて、前記対象者が移動する位置を予測する予測装置による予測方法であって、
前記予測装置はプロセッサを備え、
前記プロセッサが、前記画像に写る前記対象者を含むオブジェクトを検出するオブジェクト検出ステップであって、前記オブジェクトの検出結果に基づいて、前記対象者の時系列の位置情報が示す各位置の周囲に設定された複数の領域のそれぞれに写るオブジェクトを特定するオブジェクト検出ステップと、
前記プロセッサが、前記対象者の前記時系列の位置情報と、前記複数の領域のそれぞれに写る前記オブジェクトの特定結果を示す情報とを、機械学習済みの予測モデルに入力して、前記予測モデルの出力から前記対象者が移動する位置を予測する予測ステップと、を含む予測方法。 - 対象者を撮影した時系列の画像から前記対象者が移動する位置を予測するための予測モデルを生成するモデル生成装置によるモデル生成方法であって、
前記モデル生成装置はプロセッサを備え、
前記プロセッサが、1または複数の移動者が移動する様子を撮影した時系列の画像に写る前記移動者を含むオブジェクトの検出結果に基づき生成された、前記移動者の時系列の位置情報と、当該位置情報の示す各位置の周囲に設定された複数の領域のそれぞれに写るオブジェクトの特定結果を示す情報とが対応付けられた教師データを取得する教師データ取得ステップと、
前記プロセッサが、上記教師データを用いて、前記対象者が移動する位置を予測するための予測モデルを構築する学習ステップと、を含むモデル生成方法。 - 請求項1に記載の予測装置としてコンピュータを機能させるための予測プログラムであって、上記オブジェクト検出部および上記予測部としてコンピュータを機能させるための予測プログラム。
- 請求項5に記載のモデル生成装置としてコンピュータを機能させるためのモデル生成プログラムであって、上記教師データ取得部および上記学習部としてコンピュータを機能させるためのモデル生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019127805A JP7354626B2 (ja) | 2019-07-09 | 2019-07-09 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019127805A JP7354626B2 (ja) | 2019-07-09 | 2019-07-09 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012651A JP2021012651A (ja) | 2021-02-04 |
JP7354626B2 true JP7354626B2 (ja) | 2023-10-03 |
Family
ID=74227461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019127805A Active JP7354626B2 (ja) | 2019-07-09 | 2019-07-09 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7354626B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015167017A (ja) | 2014-03-03 | 2015-09-24 | ゼロックス コーポレイションXerox Corporation | マルチタスク学習を使用したラベル付けされていないビデオのための自己学習オブジェクト検出器 |
JP2018032078A (ja) | 2016-08-22 | 2018-03-01 | Kddi株式会社 | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 |
JP2019075051A (ja) | 2017-10-19 | 2019-05-16 | セコム株式会社 | 画像処理装置 |
-
2019
- 2019-07-09 JP JP2019127805A patent/JP7354626B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015167017A (ja) | 2014-03-03 | 2015-09-24 | ゼロックス コーポレイションXerox Corporation | マルチタスク学習を使用したラベル付けされていないビデオのための自己学習オブジェクト検出器 |
JP2018032078A (ja) | 2016-08-22 | 2018-03-01 | Kddi株式会社 | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 |
JP2019075051A (ja) | 2017-10-19 | 2019-05-16 | セコム株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021012651A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950692B2 (ja) | 人流推定装置、人流推定方法およびプログラム | |
JP6159179B2 (ja) | 画像処理装置、画像処理方法 | |
JP2024041997A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2018508851A (ja) | モニタリング | |
US11854211B2 (en) | Training multi-object tracking models using simulation | |
US20210134146A1 (en) | Tracking and alerting traffic management system using iot for smart city | |
KR20190048506A (ko) | 가상 공간 제공 방법 및 장치 | |
US20170124430A1 (en) | Apparatus, method and program for classifying crowd | |
CN113435432B (zh) | 视频异常检测模型训练方法、视频异常检测方法和装置 | |
JP6600359B2 (ja) | モニタリング | |
KR20200134502A (ko) | 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
Álvarez-Aparicio et al. | Biometric recognition through gait analysis | |
Lee | Real distance measurement using object detection of artificial intelligence | |
JP2020170252A (ja) | 画像処理装置、情報処理方法及びプログラム | |
JP7354626B2 (ja) | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム | |
KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
Wang et al. | Automatic detection and tracking of precast walls from surveillance construction site videos | |
Wang et al. | Improving 3D Zebrafish Tracking with Multi-View Data Fusion and Global Association | |
JP2011192220A (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP2019192145A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Kollakidou et al. | Enabling robots to adhere to social norms by detecting F-formations | |
Chen et al. | Estimation of people movement in video based on optical flow block method and motion maps | |
CN114782677A (zh) | 图像处理方法、装置、计算机设备、存储介质和计算机程序 | |
Nevalainen et al. | Image analysis and development of graphical user interface for pole vault action | |
Bågling | Navigating to real life objects in indoor environments using an Augmented Reality headset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7354626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |