WO2021095094A1 - 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents
人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2021095094A1 WO2021095094A1 PCT/JP2019/044139 JP2019044139W WO2021095094A1 WO 2021095094 A1 WO2021095094 A1 WO 2021095094A1 JP 2019044139 W JP2019044139 W JP 2019044139W WO 2021095094 A1 WO2021095094 A1 WO 2021095094A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- skeleton
- skeletal
- dimensional
- state detection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 230000001052 transient effect Effects 0.000 title 1
- 230000002776 aggregation Effects 0.000 claims abstract description 53
- 238000004220 aggregation Methods 0.000 claims abstract description 53
- 210000000988 bone and bone Anatomy 0.000 claims description 70
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 33
- 210000000610 foot bone Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 210000003127 knee Anatomy 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000002411 hand bone Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
Description
近年、機械学習を活用した画像認識技術が様々なシステムに応用されている。一例として、監視カメラの画像により監視を行う監視システムについて検討する。
図2は、実施の形態に係る人物状態検出装置10の概要を示している。図2に示すように、人物状態検出装置10は、骨格検出部11、集計部12、状態検出部13を備えている。
以下、図面を参照して実施の形態1について説明する。図3は、本実施の形態に係る人物状態検出装置100の構成を示している。人物状態検出装置100は、カメラ200とともに人物状態検出システム1を構成する。例えば、人物状態検出装置100及び人物状態検出システム1は、図1のような監視システムにおける監視方法に適用され、人物の振る舞い等の状態を検出し、その検出に応じたアラームの表示等が行われる。なお、カメラ200を人物状態検出装置100の内部に設けてもよい。
(付記1)
取得される2次元画像に基づいて人物の2次元骨格構造を検出する骨格検出手段と、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計する集計手段と、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する状態検出手段と、
を備える、人物状態検出装置。
(付記2)
前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
付記1に記載の人物状態検出装置。
(付記3)
前記骨格情報は、前記2次元骨格構造の全体に基づいた大きさ又は方向である、
付記2に記載の人物状態検出装置。
(付記4)
前記骨格情報は、前記2次元骨格構造の一部に基づいた大きさ又は方向である、
付記2に記載の人物状態検出装置。
(付記5)
前記骨格情報は、前記2次元骨格構造に含まれる足部、胴部、又は頭部に基づいた大きさ又は方向である、
付記4に記載の人物状態検出装置。
(付記6)
前記2次元骨格構造の大きさは、前記2次元画像における前記2次元骨格構造を含む領域の高さ又は幅である、
付記2乃至5のいずれかに記載の人物状態検出装置。
(付記7)
前記2次元骨格構造の方向は、前記2次元骨格構造に含まれる骨に対応した方向、又は前記2次元骨格構造の中心軸に対応した方向である、
付記2乃至6のいずれかに記載の人物状態検出装置。
(付記8)
前記集計手段は、前記所定の領域ごとに前記骨格情報の統計値を求める、
付記1乃至7のいずれかに記載の人物状態検出装置。
(付記9)
前記所定の領域は、前記2次元画像を所定の間隔で分割した領域である、
付記1乃至8のいずれかに記載の人物状態検出装置。
(付記10)
前記所定の領域は、前記2次元画像を撮像距離に応じて分割した領域である、
付記1乃至8のいずれか一項に記載の人物状態検出装置。
(付記11)
前記所定の領域は、前記2次元画像を集計される骨格情報の量に応じて分割した領域である、
付記1乃至8のいずれか一項に記載の人物状態検出装置。
(付記12)
前記状態検出手段は、前記集計された骨格情報と前記対象人物の2次元骨格構造に基づいた骨格情報との比較結果に基づいて前記対象人物の状態を検出する、
付記1乃至11のいずれかに記載の人物状態検出装置。
(付記13)
前記状態検出手段は、前記集計された骨格情報を通常状態の骨格情報として、前記対象人物の状態が通常状態か否かを検出する、
付記12に記載の人物状態検出装置。
(付記14)
取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計し、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する、
人物状態検出方法。
(付記15)
前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
付記14に記載の人物状態検出方法。
(付記16)
取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計し、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する、
処理をコンピュータに実行させるための人物状態検出プログラム。
(付記17)
前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
付記16に記載の人物状態検出プログラム。
10 人物状態検出装置
11 骨格検出部
12 集計部
13 状態検出部
20 コンピュータ
21 プロセッサ
22 メモリ
100 人物状態検出装置
101 画像取得部
102 骨格構造検出部
103 パラメータ算出部
104 集計部
105 状態検出部
106 記憶部
200 カメラ
300 人体モデル
Claims (17)
- 取得される2次元画像に基づいて人物の2次元骨格構造を検出する骨格検出手段と、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計する集計手段と、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する状態検出手段と、
を備える、人物状態検出装置。 - 前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
請求項1に記載の人物状態検出装置。 - 前記骨格情報は、前記2次元骨格構造の全体に基づいた大きさ又は方向である、
請求項2に記載の人物状態検出装置。 - 前記骨格情報は、前記2次元骨格構造の一部に基づいた大きさ又は方向である、
請求項2に記載の人物状態検出装置。 - 前記骨格情報は、前記2次元骨格構造に含まれる足部、胴部、又は頭部に基づいた大きさ又は方向である、
請求項4に記載の人物状態検出装置。 - 前記2次元骨格構造の大きさは、前記2次元画像における前記2次元骨格構造を含む領域の高さ又は幅である、
請求項2乃至5のいずれか一項に記載の人物状態検出装置。 - 前記2次元骨格構造の方向は、前記2次元骨格構造に含まれる骨に対応した方向、又は前記2次元骨格構造の中心軸に対応した方向である、
請求項2乃至6のいずれか一項に記載の人物状態検出装置。 - 前記集計手段は、前記所定の領域ごとに前記骨格情報の統計値を求める、
請求項1乃至7のいずれか一項に記載の人物状態検出装置。 - 前記所定の領域は、前記2次元画像を所定の間隔で分割した領域である、
請求項1乃至8のいずれか一項に記載の人物状態検出装置。 - 前記所定の領域は、前記2次元画像を撮像距離に応じて分割した領域である、
請求項1乃至8のいずれか一項に記載の人物状態検出装置。 - 前記所定の領域は、前記2次元画像を集計される骨格情報の量に応じて分割した領域である、
請求項1乃至8のいずれか一項に記載の人物状態検出装置。 - 前記状態検出手段は、前記集計された骨格情報と前記対象人物の2次元骨格構造に基づいた骨格情報との比較結果に基づいて前記対象人物の状態を検出する、
請求項1乃至11のいずれか一項に記載の人物状態検出装置。 - 前記状態検出手段は、前記集計された骨格情報を通常状態の骨格情報として、前記対象人物の状態が通常状態か否かを検出する、
請求項12に記載の人物状態検出装置。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計し、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する、
人物状態検出方法。 - 前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
請求項14に記載の人物状態検出方法。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいた骨格情報を、前記2次元画像における所定の領域ごとに集計し、
前記集計された骨格情報に基づいて、前記2次元画像における所定の領域ごとに対象人物の状態を検出する、
処理をコンピュータに実行させるための人物状態検出プログラムが格納された非一時的なコンピュータ可読媒体。 - 前記骨格情報は、前記2次元骨格構造の大きさ又は方向を含む、
請求項16に記載の非一時的なコンピュータ可読媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021555633A JP7283571B2 (ja) | 2019-11-11 | 2019-11-11 | 人物状態検出装置、人物状態検出方法及びプログラム |
US17/769,103 US20240112364A1 (en) | 2019-11-11 | 2019-11-11 | Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program |
PCT/JP2019/044139 WO2021095094A1 (ja) | 2019-11-11 | 2019-11-11 | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/044139 WO2021095094A1 (ja) | 2019-11-11 | 2019-11-11 | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021095094A1 true WO2021095094A1 (ja) | 2021-05-20 |
Family
ID=75911522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/044139 WO2021095094A1 (ja) | 2019-11-11 | 2019-11-11 | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240112364A1 (ja) |
JP (1) | JP7283571B2 (ja) |
WO (1) | WO2021095094A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018180619A (ja) * | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6516943B1 (ja) * | 2018-10-31 | 2019-05-22 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
JP6534499B1 (ja) * | 2019-03-20 | 2019-06-26 | アースアイズ株式会社 | 監視装置、監視システム、及び、監視方法 |
WO2019171780A1 (ja) * | 2018-03-08 | 2019-09-12 | オムロン株式会社 | 個人識別装置および特徴収集装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012120647A (ja) * | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
CN107506706A (zh) * | 2017-08-14 | 2017-12-22 | 南京邮电大学 | 一种基于三维摄像头的人体跌倒检测方法 |
-
2019
- 2019-11-11 JP JP2021555633A patent/JP7283571B2/ja active Active
- 2019-11-11 US US17/769,103 patent/US20240112364A1/en active Pending
- 2019-11-11 WO PCT/JP2019/044139 patent/WO2021095094A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018180619A (ja) * | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2019171780A1 (ja) * | 2018-03-08 | 2019-09-12 | オムロン株式会社 | 個人識別装置および特徴収集装置 |
JP6516943B1 (ja) * | 2018-10-31 | 2019-05-22 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
JP6534499B1 (ja) * | 2019-03-20 | 2019-06-26 | アースアイズ株式会社 | 監視装置、監視システム、及び、監視方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7283571B2 (ja) | 2023-05-30 |
JPWO2021095094A1 (ja) | 2021-05-20 |
US20240112364A1 (en) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
EP3029604B1 (en) | Area information estimating device, area information estimating method, and air conditioning apparatus | |
CN105283129B (zh) | 信息处理装置、信息处理方法 | |
US8179440B2 (en) | Method and system for object surveillance and real time activity recognition | |
KR101618814B1 (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
JP2014093023A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2012123667A (ja) | 姿勢推定装置および姿勢推定方法 | |
JP6779410B2 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
US20120155707A1 (en) | Image processing apparatus and method of processing image | |
WO2020261404A1 (ja) | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7197011B2 (ja) | 身長推定装置、身長推定方法及びプログラム | |
US20210059596A1 (en) | Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded | |
WO2021229751A1 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2021095094A1 (ja) | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7420146B2 (ja) | カメラ校正装置、カメラ校正方法及びカメラ校正プログラム | |
WO2022009279A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
US20210059614A1 (en) | Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded | |
JP2018165966A (ja) | 物体検出装置 | |
WO2020090188A1 (en) | Methods and apparatus to cluster and collect head-toe lines for automatic camera calibration | |
WO2023152841A1 (ja) | 画像処理システム、画像処理方法及び非一時的なコンピュータ可読媒体 | |
US20220138458A1 (en) | Estimation device, estimation system, estimation method and program | |
US20240119087A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
JP2018185623A (ja) | 物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19952687 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 17769103 Country of ref document: US |
|
ENP | Entry into the national phase |
Ref document number: 2021555633 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19952687 Country of ref document: EP Kind code of ref document: A1 |