JP6854959B1 - 行動推定装置、行動推定方法、プログラム及び行動推定システム - Google Patents
行動推定装置、行動推定方法、プログラム及び行動推定システム Download PDFInfo
- Publication number
- JP6854959B1 JP6854959B1 JP2020182477A JP2020182477A JP6854959B1 JP 6854959 B1 JP6854959 B1 JP 6854959B1 JP 2020182477 A JP2020182477 A JP 2020182477A JP 2020182477 A JP2020182477 A JP 2020182477A JP 6854959 B1 JP6854959 B1 JP 6854959B1
- Authority
- JP
- Japan
- Prior art keywords
- subject
- person
- unit
- relationship
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 230000009471 action Effects 0.000 claims abstract description 79
- 230000008859 change Effects 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000006399 behavior Effects 0.000 description 180
- 238000004891 communication Methods 0.000 description 13
- 235000013361 beverage Nutrition 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 235000005156 Brassica carinata Nutrition 0.000 description 3
- 244000257790 Brassica carinata Species 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本実施形態に係る行動推定システムSの概要を説明するための図である。図2は、行動推定システムSの構成を示す図である。行動推定システムSは、撮像装置1と、情報端末2と、行動推定装置10と、を備える。図2に示すように、撮像装置1と情報端末2と行動推定装置10とは、ネットワークNを介して接続されている。ネットワークNは、例えばイントラネット又はインターネットである。ネットワークNは、無線ネットワークを含んでもよい。
図3は、情報端末2の構成を説明するための図である。情報端末2は、通信部21と、記憶部22と、制御部23と、表示部24と、操作部25と、を有する。制御部23は、情報送信部231と、情報受信部232とを有する。
図4は、行動推定装置10の構成を説明するための図である。行動推定装置10は、通信部11と、記憶部12と、制御部13とを有する。制御部13は、画像取得部131と、人検出部132と、被写体検出部133と、設定受付部134と、関係特定部135と、推定部136と、場所特定部137と、出力部138とを有する。
図6は、行動推定装置10が人の行動内容を推定する動作の一例を示すフローチャートである。図6においては、行動推定装置10が、時刻T1における相対関係と時刻T2における相対関係とに基づいて相対関係の変化を特定し、特定した相対関係の変化を用いて人の行動内容を推定する動作を説明する。
以上の説明においては、店舗内での購買客又は従業員の行動内容を推定する場合を例示したが、行動推定装置10は、他の場所の撮像画像に基づいて人の各種の行動内容を推定してもよい。
図7は、人又は被写体の色の変化に基づいて人の行動内容を推定する行動推定装置10の構成を示す図である。図7に示す行動推定装置10は、色特定部139を有する点で図4に示す行動推定装置10と異なり、他の点において同じである。色特定部139は、人の色の変化又は被写体の色の変化の少なくともいずれかを特定する。色特定部139は、人検出部132が検出した人の位置又は被写体検出部133が検出した被写体の位置に基づいて、画像取得部131が取得した撮像画像に含まれる人又は被写体の色の変化を特定する。
行動推定装置10は、例えば屋外に設置された監視カメラの画像に基づいて、屋外で発生した危険行為を検出してもよい。危険行為は、例えば公園に設置されたベンチ等の器物を破壊する行為である。監視カメラの画像に基づいて、空手の動きをする人とベンチとを検出した場合、関係特定部135は、人と被写体であるベンチとの相対関係を特定する。
行動推定装置10は、監視カメラの画像に基づいて、人が進入禁止の領域に立ち入る行動を推定してもよい。例えば進入禁止の領域の境界に柵が設置されている場合、被写体検出部133は、被写体である柵を検出する。人が柵を乗り越えて侵入した場合、人検出部132は、人が柵を乗り越える動きを検出する。関係特定部135は、相対関係を「人が被写体を乗り越えている」と特定する。推定部136は、被写体の種別である柵と相対関係との組み合わせに基づいて、人の行動内容を「柵の乗り越え」と推定する。
以上説明したように、行動推定装置10は、撮像画像に含まれる人の動きを検出する人検出部132と、撮像画像に含まれる被写体の種別を検出する被写体検出部133と、人の動きに伴う人と被写体との関係である相対関係を特定する関係特定部135とを有する。そして、推定部136は、被写体検出部133が検出した被写体の種別と関係特定部135が特定した相対関係とに基づいて人の行動内容を推定する。
2 情報端末
10 行動推定装置
11 通信部
12 記憶部
13 制御部
21 通信部
22 記憶部
23 制御部
24 表示部
25 操作部
131 画像取得部
132 人検出部
133 被写体検出部
134 設定受付部
135 関係特定部
136 推定部
137 場所特定部
138 出力部
139 色特定部
231 情報送信部
232 情報受信部
Claims (17)
- 基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースを記憶する記憶部と、
撮像画像を示す撮像画像データを取得する画像取得部と、
前記撮像画像に含まれる人の動きを検出する人検出部と、
前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、
前記データベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、前記人検出部が検出した前記人の行動内容を推定する推定部と、
を有する行動推定装置。 - 前記関係特定部は、前記人と前記被写体との距離を前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた基準距離と、前記関係特定部が特定した前記人と前記被写体との距離と、を比較した結果に基づいて前記行動内容を推定する、
請求項1に記載の行動推定装置。 - 前記関係特定部は、前記人の目線の方向と前記被写体の位置との関係を、前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた目線の方向と被写体の位置との関係である基準目線関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定する、
請求項1又は2に記載の行動推定装置。 - 前記関係特定部は、前記人の身体の向きと前記被写体の位置との関係を、前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた身体の向きと被写体の位置との関係である基準身体向き関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定する、
請求項1から3のいずれか一項に記載の行動推定装置。 - 前記画像取得部は、時系列に作成された複数の前記撮像画像データを取得し、
前記関係特定部は、前記相対関係の変化を特定し、
前記推定部は、前記被写体の種別と、前記相対関係の変化との組み合わせに基づいて、前記人の行動内容を推定する、
請求項1から4のいずれか一項に記載の行動推定装置。 - 前記推定部は、前記複数の撮像画像データのいずれかに、前記人検出部が前記人を検出する前に前記被写体が含まれていたか否かを判定した結果にさらに基づいて、前記行動内容を推定する、
請求項5に記載の行動推定装置。 - 前記人検出部は、前記人の属性をさらに検出し、
前記推定部は、前記人検出部が検出した前記人の属性にさらに基づいて、前記行動内容を推定する、
請求項1から6のいずれか一項に記載の行動推定装置。 - 前記被写体検出部は、前記撮像画像に含まれる第1被写体及び第2被写体を検出し、
前記関係特定部は、前記人の動きに伴う前記人と前記第1被写体との関係である第1相対関係、前記人の動きに伴う前記人と前記第2被写体との関係である第2相対関係、及び前記人の動きに伴う前記第1被写体と前記第2被写体との関係である第3相対関係を特定し、
前記推定部は、前記被写体の種別と、前記第1相対関係、前記第2相対関係又は前記第3相対関係の少なくとも2つの相対関係と、の組み合わせに基づいて、前記人の行動内容を推定する、
請求項1から7のいずれか一項に記載の行動推定装置。 - 前記撮像画像に含まれる前記被写体の属性の設定を受け付ける設定受付部をさらに有し、
前記推定部は、前記被写体の属性にさらに基づいて前記行動内容を推定する、
請求項1から8のいずれか一項に記載の行動推定装置。 - 前記関係特定部は、前記被写体検出部が検出した被写体と前記設定受付部が属性の設定を受け付けた被写体との位置関係をさらに特定し、
前記推定部は、前記関係特定部が特定した前記位置関係と、前記設定受付部が設定を受け付けた被写体の属性とにさらに基づいて前記行動内容を推定する、
請求項9に記載の行動推定装置。 - 前記撮像画像に写っている場所を特定する場所特定部と、
前記推定部が推定した前記行動内容と、前記場所特定部が特定した場所とが所定の条件を満たす場合に通知情報を出力する出力部と、
をさらに有する、
請求項1から10のいずれか一項に記載の行動推定装置。 - 前記出力部は、前記場所特定部が特定した場所と前記行動内容との組み合わせに対応する種別の前記通知情報を出力する、
請求項11に記載の行動推定装置。 - 前記人の色の変化又は前記被写体の色の変化の少なくともいずれかを特定する色特定部をさらに有し、
前記推定部は、前記色特定部が特定した前記人の色の変化又は前記被写体の色の変化の少なくともいずれかにさらに基づいて、前記行動内容を推定する、
請求項1から12のいずれか一項に記載の行動推定装置。 - 前記画像取得部は、複数の前記撮像画像データを取得し、
前記関係特定部は、複数の前記相対関係を特定し、
前記推定部は、複数の前記相対関係それぞれと前記被写体の種別との組み合わせに基づいて、前記人の行動内容を推定する、
請求項1から13のいずれか一項に記載の行動推定装置。 - コンピュータが実行する、
撮像画像を示す撮像画像データを取得するステップと、
前記撮像画像に含まれる人の動きを検出するステップと、
前記撮像画像に含まれる被写体の種別を検出するステップと、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、検出した前記人の行動内容を推定するステップと、
を有する行動推定方法。 - コンピュータに、
撮像画像を示す撮像画像データを取得するステップと、
前記撮像画像に含まれる人の動きを検出するステップと、
前記撮像画像に含まれる被写体の種別を検出するステップと、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、検出した前記人の行動内容を推定するステップと、
を実行させるためのプログラム。 - 撮像装置が生成した撮像画像に基づいて人の行動内容を推定する行動推定装置と、前記行動推定装置が推定した前記人の行動内容を表示する情報端末と、を備え、
前記行動推定装置は、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースを記憶する記憶部と、
前記撮像画像を示す撮像画像データを取得する画像取得部と、
前記撮像画像に含まれる人の動きを検出する人検出部と、
前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、
前記データベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、前記人検出部が検出した前記人の行動内容を推定する推定部と、
前記推定部が推定した前記行動内容を示す行動内容情報を前記情報端末に送信する送信部と、
を有し、
前記情報端末は、
前記行動内容情報を受信する情報受信部と、
前記情報受信部が受信した前記行動内容情報に基づいて前記行動内容を表示する表示部と、
を有する行動推定システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182477A JP6854959B1 (ja) | 2020-10-30 | 2020-10-30 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
JP2021042085A JP2022073882A (ja) | 2020-10-30 | 2021-03-16 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
PCT/JP2021/039325 WO2022092032A1 (ja) | 2020-10-30 | 2021-10-25 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182477A JP6854959B1 (ja) | 2020-10-30 | 2020-10-30 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021042085A Division JP2022073882A (ja) | 2020-10-30 | 2021-03-16 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6854959B1 true JP6854959B1 (ja) | 2021-04-07 |
JP2022072825A JP2022072825A (ja) | 2022-05-17 |
Family
ID=75267983
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020182477A Active JP6854959B1 (ja) | 2020-10-30 | 2020-10-30 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
JP2021042085A Pending JP2022073882A (ja) | 2020-10-30 | 2021-03-16 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021042085A Pending JP2022073882A (ja) | 2020-10-30 | 2021-03-16 | 行動推定装置、行動推定方法、プログラム及び行動推定システム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6854959B1 (ja) |
WO (1) | WO2022092032A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023275968A1 (ja) * | 2021-06-29 | 2023-01-05 | 日本電信電話株式会社 | 異常判定装置、異常判定方法、及び異常判定プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004209A1 (ja) * | 2022-07-01 | 2024-01-04 | 日本電信電話株式会社 | 推定装置、学習装置、方法およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6249021B2 (ja) * | 2013-09-06 | 2017-12-20 | 日本電気株式会社 | セキュリティシステム、セキュリティ方法及びセキュリティプログラム |
JP2016201105A (ja) * | 2015-04-07 | 2016-12-01 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
JP2017033401A (ja) * | 2015-08-04 | 2017-02-09 | 株式会社 impactTV | 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法 |
US11922482B2 (en) * | 2018-03-09 | 2024-03-05 | Nec Corporation | Self-checkout system, purchased product management method, and purchased product management program |
US10535146B1 (en) * | 2018-07-16 | 2020-01-14 | Accel Robotics Corporation | Projected image item tracking system |
-
2020
- 2020-10-30 JP JP2020182477A patent/JP6854959B1/ja active Active
-
2021
- 2021-03-16 JP JP2021042085A patent/JP2022073882A/ja active Pending
- 2021-10-25 WO PCT/JP2021/039325 patent/WO2022092032A1/ja active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023275968A1 (ja) * | 2021-06-29 | 2023-01-05 | 日本電信電話株式会社 | 異常判定装置、異常判定方法、及び異常判定プログラム |
JP7491472B2 (ja) | 2021-06-29 | 2024-05-28 | 日本電信電話株式会社 | 異常判定装置、異常判定方法、及び異常判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022072825A (ja) | 2022-05-17 |
JP2022073882A (ja) | 2022-05-17 |
WO2022092032A1 (ja) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636267B2 (en) | RFID tag tracking systems and methods in identifying suspicious activities | |
US20230041775A1 (en) | Multiple-factor verification for vision-based systems | |
US10402634B2 (en) | Information processing device, information processing method, and computer program product | |
WO2022092032A1 (ja) | 行動推定装置、行動推定方法、プログラム及び行動推定システム | |
US10740622B2 (en) | Method of theft detection and prevention | |
US20140225734A1 (en) | Inhibiting alarming of an electronic article surviellance system | |
JP6707940B2 (ja) | 情報処理装置及びプログラム | |
US20080246613A1 (en) | System and method for wireless security theft prevention | |
JP2021182413A (ja) | システム、異常判定装置及び方法 | |
US20150302310A1 (en) | Methods for data collection and analysis for event detection | |
US7295106B1 (en) | Systems and methods for classifying objects within a monitored zone using multiple surveillance devices | |
JP6440327B2 (ja) | 防犯システム、防犯方法、及びロボット | |
JP2013238973A (ja) | 購買情報管理システム、商品移動検出装置および購買情報管理方法 | |
US10490046B2 (en) | Methods and systems for detecting shoplifting at a retail facility | |
US20130135105A1 (en) | Anti-theft rfid system and method thereof | |
KR20160029674A (ko) | 연상 기억 장치에 의해 분류된 프레임을 이용하여 위치에 대한 메트릭스를 얻는 방법 및 장치 | |
JP2012033053A (ja) | 画像監視装置 | |
TWI538503B (zh) | 監測方法及攝影機 | |
WO2019077559A1 (en) | SYSTEM FOR MONITORING PRODUCTS AND USERS IN A STORE | |
CN111583521A (zh) | 一种安全防护方法及装置 | |
JP2022011666A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2023053243A1 (ja) | 報知システム、方法、及び、記録媒体 | |
US20200184797A1 (en) | Information processing apparatus, control method, and program | |
CN115457697A (zh) | 无人零售货柜防盗方法、装置、货柜、设备和存储介质 | |
WO2023122545A1 (en) | Person-of-interest (poi) detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201106 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6854959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |