JP7347577B2 - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents
画像処理システム、画像処理プログラム、および画像処理方法 Download PDFInfo
- Publication number
- JP7347577B2 JP7347577B2 JP2022072168A JP2022072168A JP7347577B2 JP 7347577 B2 JP7347577 B2 JP 7347577B2 JP 2022072168 A JP2022072168 A JP 2022072168A JP 2022072168 A JP2022072168 A JP 2022072168A JP 7347577 B2 JP7347577 B2 JP 7347577B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image processing
- posture
- image
- photographing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Description
(2)前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、上記(1)に記載の画像処理プログラム。
(3)前記人物領域は、人の体に関する特徴点を含む、上記(1)又は(2)に記載の画像処理プログラム。
(4)前記特徴点は、頭部矩形の対頂点を含む、上記(3)に記載の画像処理プログラム。
(5)前記手順(c)において推定された人物の姿勢に基づき、対象者に関するイベントを検出する手段と、を有し、前記姿勢は、臥位を含み、前記イベントは、転倒を含む、上記(1)~(4)のいずれかに記載の画像処理プログラム。
(6)前記撮影装置は、近赤外線カメラにより構成される、上記(1)~(5)のいずれかに記載の画像処理プログラム。
(7)前記所定位置は、床面の位置である、上記(1)~(6)のいずれかに記載の画像処理プログラム。
(8)撮影装置により、撮影された画像から人物領域を検出する人物領域検出部と、前記撮影装置の設置位置の、所定位置からの高さの情報を取得する情報取得部と、人物領域および高さ情報の入力に対する正解として設定された姿勢との組合せを教師データとして、人物領域および高さ情報から人物の姿勢を推定するための学習がされた学習済みモデルと、前記人物領域検出部により検出された前記人物領域および前記情報取得部により取得された前記高さの情報を、前記学習済みモデルに入力し、人物の姿勢を推定する姿勢推定部と、を有する画像処理システム。
(9)前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、上記(8)に記載の画像処理システム。
(10)前記人物領域は、人の体に関する特徴点を含む、上記(8)又は(9)に記載の画像処理システム。
(11)前記特徴点は、頭部矩形の対頂点を含む、上記(10)に記載の画像処理システム。
(12)前記姿勢推定部において推定された人物の姿勢に基づき、対象者に関するイベントを検出するイベント検出部と、を有し、前記姿勢は、臥位を含み、前記イベントは、転倒を含む、上記(8)~(11)のいずれかに記載の画像処理システム。
(13)前記撮影装置は、近赤外線カメラにより構成される、上記(8)~(12)のいずれかに記載の画像処理プログラム。
(14)前記所定位置は、床面の位置である、上記(8)~(13)のいずれかに記載の画像処理システム。
(15)撮影装置により、撮影された画像から人物領域を検出する段階(a)と、前記撮影装置の設置位置の、所定位置からの高さの情報を取得する段階(b)と、人物領域および高さ情報の入力に対する正解として設定された姿勢との組合せを教師データとして、人物領域および高さ情報から人物の姿勢を推定するための学習がされた学習済みモデルに、前記段階(a)において検出された前記人物領域および前記段階(b)において取得された前記高さの情報入力し、人物の姿勢を推定する段階(c)と、を有する画像処理方法。
(16)前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、上記(15)に記載の画像処理方法。
(17)前記人物領域は、人の体に関する特徴点を含む、上記(15)又は(16)に記載の画像処理方法。
(18)前記特徴点は、頭部矩形の対頂点を含む、上記(17)に記載の画像処理方法。
(19)前記段階(c)において推定された人物の姿勢に基づき、対象者に関するイベントを検出する段階と、を有し、前記姿勢は、臥位を含み、前記イベントは、転倒を含む、上記(15)~(18)のいずれかに記載の画像処理方法。
(20)前記撮影装置は、近赤外線カメラにより構成される、上記(15)~(19)のいずれかに記載の画像処理方法。
(21)前記所定位置は、床面の位置である、上記(15)~(20)のいずれかに記載の画像処理方法。
図1は、実施形態に係る画像認識装置100を含む画像認識システム10の概略構成を示す図である。
“DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014)に
詳細が記載されている。
図7は、補正前後の特徴点620を画像600上で説明するための説明図である。
本発明の第2実施形態について説明する。本実施形態と第1実施形態とで異なる点は次の点である。第1実施形態は、人物領域610から推定された特徴点620を高さ情報に基づいて補正し、補正後の特徴点620に基づいて姿勢を推定する。一方、本実施形態は、人物領域610を高さ情報に基づいて補正し、補正後の人物領域610に基づいて姿勢を推定する。その他の点については、本実施形態は第1実施形態と同様であるため、重複する説明は省略または簡略化する。
本発明の第3実施形態について説明する。本実施形態と第1実施形態とで異なる点は次の点である。第1実施形態は、人物領域610から推定された特徴点620を高さ情報に基づいて補正し、補正後の特徴点620に基づいて姿勢を推定する。一方、本実施形態は、特徴点620等の補正はせずに、人物領域610と、高さ情報とに基づいて、機械学習により姿勢を推定する。その他の点については、本実施形態は第1実施形態と同様であるため、重複する説明は省略または簡略化する。
100 画像認識装置、
110 制御部、
111 画像取得部、
112 人物領域検出部、
113 特徴点推定部、
114 高さ情報取得部、
115 補正部、
116 姿勢推定部、
200 撮影装置、
300 通信ネットワーク、
310 アクセスポイント、
400 携帯端末、
500 対象者、
600 画像、
610 人物領域、
620 特徴点、
621 関節点、
622 頭部矩形の対頂点、
623 頭部矩形。
Claims (21)
- 撮影装置により、撮影された画像から人物領域を検出する手順(a)と、
前記撮影装置の設置位置の、所定位置からの高さの情報を取得する手順(b)と、
人物領域および高さ情報の入力に対する正解として設定された姿勢との組合せを教師データとして、人物領域および高さ情報から人物の姿勢を推定するための学習がされた学習済みモデルに、前記手順(a)において検出された前記人物領域および前記手順(b)において取得された前記高さの情報を、前記学習済みモデルに入力し、人物の姿勢を推定する手順(c)と、
を有する処理を、コンピューターに実行させるための画像処理プログラム。 - 前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、請求項1に記載の画像処理プログラム。
- 前記人物領域は、人の体に関する特徴点を含む、請求項1又は2に記載の画像処理プログラム。
- 前記特徴点は、頭部矩形の対頂点を含む、請求項3に記載の画像処理プログラム。
- 前記手順(c)において推定された人物の姿勢に基づき、対象者に関するイベントを検出する手段と、を有し、
前記姿勢は、臥位を含み、
前記イベントは、転倒を含む、請求項1~4のいずれか一項に記載の画像処理プログラム。 - 前記撮影装置は、近赤外線カメラにより構成される、請求項1~5のいずれか一項に記載の画像処理プログラム。
- 前記所定位置は、床面の位置である、請求項1~6のいずれか一項に記載の画像処理プログラム。
- 撮影装置により、撮影された画像から人物領域を検出する人物領域検出部と、
前記撮影装置の設置位置の、所定位置からの高さの情報を取得する情報取得部と、
人物領域および高さ情報の入力に対する正解として設定された姿勢との組合せを教師データとして、人物領域および高さ情報から人物の姿勢を推定するための学習がされた学習済みモデルと、
前記人物領域検出部により検出された前記人物領域および前記情報取得部により取得された前記高さの情報を、前記学習済みモデルに入力し、人物の姿勢を推定する姿勢推定部と、
を有する画像処理システム。 - 前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、請求項8に記載の画像処理システム。
- 前記人物領域は、人の体に関する特徴点を含む、請求項8又は9に記載の画像処理システム。
- 前記特徴点は、頭部矩形の対頂点を含む、請求項10に記載の画像処理システム。
- 前記姿勢推定部において推定された人物の姿勢に基づき、対象者に関するイベントを検出するイベント検出部と、を有し、
前記姿勢は、臥位を含み、
前記イベントは、転倒を含む、請求項8~11のいずれか一項に記載の画像処理システム。 - 前記撮影装置は、近赤外線カメラにより構成される、請求項8~12のいずれか一項に記載の画像処理システム。
- 前記所定位置は、床面の位置である、請求項8~13のいずれか一項に記載の画像処理システム。
- 撮影装置により、撮影された画像から人物領域を検出する段階(a)と、
前記撮影装置の設置位置の、所定位置からの高さの情報を取得する段階(b)と、
人物領域および高さ情報の入力に対する正解として設定された姿勢との組合せを教師データとして、人物領域および高さ情報から人物の姿勢を推定するための学習がされた学習済みモデルに、前記段階(a)において検出された前記人物領域および前記段階(b)において取得された前記高さの情報入力し、人物の姿勢を推定する段階(c)と、
を有する画像処理方法。 - 前記学習済みモデルは、複数の異なる高さの情報と前記複数の異なる高さ情報に対応する人物領域の入力に対する正解として設定された姿勢との組合せを教師データとして学習されている人物の姿勢を推定する学習済みモデルである、請求項15に記載の画像処理方法。
- 前記人物領域は、人の体に関する特徴点を含む、請求項15又は16に記載の画像処理方法。
- 前記特徴点は、頭部矩形の対頂点を含む、請求項17に記載の画像処理方法。
- 前記段階(c)において推定された人物の姿勢に基づき、対象者に関するイベントを検出する段階と、を有し、
前記姿勢は、臥位を含み、
前記イベントは、転倒を含む、請求項15~18のいずれか一項に記載の画像処理方法。 - 前記撮影装置は、近赤外線カメラにより構成される、請求項15~19のいずれか一項に記載の画像処理方法。
- 前記所定位置は、床面の位置である、請求項15~20のいずれか一項に記載の画像処理方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100699 | 2019-05-29 | ||
JP2019100699 | 2019-05-29 | ||
PCT/JP2020/015551 WO2020241057A1 (ja) | 2019-05-29 | 2020-04-06 | 画像処理システム、画像処理プログラム、および画像処理方法 |
JP2021522674A JP7067672B2 (ja) | 2019-05-29 | 2020-04-06 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522674A Division JP7067672B2 (ja) | 2019-05-29 | 2020-04-06 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022095994A JP2022095994A (ja) | 2022-06-28 |
JP7347577B2 true JP7347577B2 (ja) | 2023-09-20 |
Family
ID=73552318
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522674A Active JP7067672B2 (ja) | 2019-05-29 | 2020-04-06 | 画像処理システム、画像処理プログラム、および画像処理方法 |
JP2022072168A Active JP7347577B2 (ja) | 2019-05-29 | 2022-04-26 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522674A Active JP7067672B2 (ja) | 2019-05-29 | 2020-04-06 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7067672B2 (ja) |
WO (1) | WO2020241057A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7162369B1 (ja) * | 2021-10-25 | 2022-10-28 | 株式会社Opt Fit | 情報処理方法、プログラム及び情報処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08272926A (ja) * | 1993-03-31 | 1996-10-18 | Y M Syst Kk | 人数検出装置 |
JP3520050B2 (ja) | 2001-01-17 | 2004-04-19 | 株式会社国際電気通信基礎技術研究所 | 移動物体追跡装置 |
JP6189170B2 (ja) * | 2013-10-16 | 2017-08-30 | セコム株式会社 | 姿勢推定装置 |
JP6428144B2 (ja) * | 2014-10-17 | 2018-11-28 | オムロン株式会社 | エリア情報推定装置、エリア情報推定方法、および空気調和装置 |
JP6444283B2 (ja) * | 2015-08-31 | 2018-12-26 | セコム株式会社 | 姿勢判定装置 |
JP2017097577A (ja) * | 2015-11-24 | 2017-06-01 | キヤノン株式会社 | 姿勢推定方法及び姿勢推定装置 |
KR102013935B1 (ko) * | 2017-05-25 | 2019-08-23 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
JP6802923B2 (ja) | 2017-07-19 | 2020-12-23 | 株式会社日立製作所 | 物体検出装置、及び、物体検出手法 |
JP2019040465A (ja) * | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | 行動認識装置,学習装置,並びに方法およびプログラム |
-
2020
- 2020-04-06 WO PCT/JP2020/015551 patent/WO2020241057A1/ja active Application Filing
- 2020-04-06 JP JP2021522674A patent/JP7067672B2/ja active Active
-
2022
- 2022-04-26 JP JP2022072168A patent/JP7347577B2/ja active Active
Non-Patent Citations (1)
Title |
---|
Ryuji Go, 外1名,"Flexible top-view human pose estimation for detection system via CNN",2016 IEEE 5th Global Conference on Consumer Electronics,米国,IEEE,2016年12月29日 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020241057A1 (ja) | 2020-12-03 |
JP7067672B2 (ja) | 2022-05-16 |
WO2020241057A1 (ja) | 2020-12-03 |
JP2022095994A (ja) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111507176B (zh) | 姿势估计装置、行动估计装置、记录介质、姿势估计方法 | |
US9477880B2 (en) | Behavior detection method and behavior detection apparatus | |
JP2014236896A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020086819A (ja) | 画像処理プログラムおよび画像処理装置 | |
JP6547563B2 (ja) | 検出プログラム、検出方法及び検出装置 | |
KR102410286B1 (ko) | 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치 | |
JP7347577B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7403132B2 (ja) | 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 | |
JP2020027405A (ja) | 物体検出プログラム、および物体検出装置 | |
JP7243725B2 (ja) | 対象物体検出プログラム、および対象物体検出装置 | |
JP6264181B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2021033453A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
WO2020261403A1 (ja) | 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JPWO2019193899A1 (ja) | 演算装置の学習方法、学習装置、学習プログラム、および学習済みモデル | |
JP2020134971A (ja) | 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置 | |
US20230412919A1 (en) | Device and method for controlling a camera | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7314939B2 (ja) | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 | |
JP7435609B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7388440B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP6115693B1 (ja) | 対象物検出装置および対象物検出方法ならびに被監視者監視装置 | |
JP2022165483A (ja) | 検出装置、検出システム、検出方法、および検出プログラム | |
JP7124746B2 (ja) | 物体の部分位置推定プログラム、物体の部分位置推定用ニューラルネットワーク構造、物体の部分位置推定方法、および物体の部分位置推定装置 | |
JP2023015598A (ja) | 制御装置、制御方法、制御プログラム、および情報処理システム | |
WO2019163561A1 (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7347577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |