JP6455234B2 - 行動検出方法及び行動検出装置 - Google Patents
行動検出方法及び行動検出装置 Download PDFInfo
- Publication number
- JP6455234B2 JP6455234B2 JP2015041791A JP2015041791A JP6455234B2 JP 6455234 B2 JP6455234 B2 JP 6455234B2 JP 2015041791 A JP2015041791 A JP 2015041791A JP 2015041791 A JP2015041791 A JP 2015041791A JP 6455234 B2 JP6455234 B2 JP 6455234B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- bed
- line
- rising
- forward bending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
図1は、実施例1に係る行動検出システムに含まれる各装置の機能的構成を示すブロック図である。図1に示す行動検出システム1は、医療や介護などの施設に適用されるものであり、カメラ20が撮像する画像を通じて患者や要介護者などのベッドの使用者がベッドから離床する行動、例えば立ち上がりに関する動作を検出するサービスを提供する。
ここで、上記の前かがみライン及び上記の頭部移動経路の予想線は、カメラ20が撮像する画像上に設定される画像座標系のデータであるが、カメラ20が設置される環境の3次元空間で定義された座標が2次元の画像座標系へ投影されたものでもある。このような3次元空間の座標系には、一例として、地面座標系が定義されると共に、地面座標系の座標が画像座標系の座標へ投影される場合にカメラ20のカメラ座標系が用いられる。
続いて、本実施例に係る設定装置10の機能的構成について説明する。図1に示すように、設定装置10は、第1パラメータ取得部11と、モデル生成部12と、移動経路算出部13と、前かがみライン算出部14と、第2パラメータ取得部15と、座標変換部16と、設定部17と、学習部18とを有する。
次に、本実施例に係る行動検出装置100の機能的構成について説明する。図1に示すように、行動検出装置100は、頭部検知部110と、第1通過判定部120と、立ち上がりライン設定部130と、第2通過判定部140と、通知部150とを有する。
次に、本実施例に係る行動検出システムの処理の流れについて説明する。なお、ここでは、設定装置10により実行される(1)設定処理を説明した後に、行動検出装置100により実行される(2)行動検出処理を説明することとする。
図15は、実施例1に係る設定処理の手順を示すフローチャートである。この処理は、設定の開始指示が受け付けられた場合や第1のパラメータまたは第2のパラメータが取得された場合に起動される。
図16は、実施例1に係る行動検出処理の手順を示すフローチャートである。この処理は、カメラ20から画像の出力がある限り、繰り返し実行される処理である。図16に示すように、カメラ20から画像が取得されると(ステップS201)、頭部検知部110は、学習部18により生成された頭部検知用の識別器を用いて、ステップS201で取得された画像をラスタスキャンすることによって頭部の位置を検知する(ステップS202)。
上述してきたように、本実施例に係る行動検出システム1は、カメラ20が撮像する画像から検知される前かがみの姿勢から立ち上がる場合に予測される頭部の移動経路に合わせて離床を判定するラインを動的に設定して頭部が当該ラインを通過するか否かを判定する。これによって、カメラ20が撮像する画像でベッドが映る領域に上記の離床の判定に用いるラインが設定された場合でも、ベッド上で行われる立ち上がり以外の動作、例えば寝返りや座位中の身動きが原因となって離床の誤検出が発生するのを抑制できる。したがって、本実施例に係る行動検出システム1によれば、離床検出に用いるカメラ20の設置位置の自由度を高めることができる。
上記の実施例1では、前かがみラインが常に画像上で有効化されたまま行動検出処理が実行される場合を例示したが、必ずしも常に前かがみラインをON状態に設定せずともかまわない。そこで、ここでは、ベッド3上で患者が臥位または座位のいずれであるのかを判定する起床ラインを設定し、頭部が起床ライン内にある場合に前かがみラインを無効化する場合について説明する。
上記の実施例1では、立ち上がりライン30を頭部移動経路の予測線の法線方向へ設定する場合を例示したが、他の向きへ向けて立ち上がりライン30を設定することもできる。
上記の実施例1では、画像上で頭部が前かがみラインを通過することを条件に立ち上がりライン30を動的に設定する場合を例示したが、必ずしも動的な設定を行わずともかまわない。例えば、行動検出装置100に立ち上がりラインを固定的に設定しておき、頭部が立ち上がりラインを通過する場合に、過去の所定数のフレーム以内に頭部が前かがみラインを通過するか否かにより離床を検出することもできる。
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、頭部検知部110、第1通過判定部120、立ち上がりライン設定部130、第2通過判定部140または通知部150を行動検出装置100の外部装置としてネットワーク経由で接続するようにしてもよい。また、頭部検知部110、第1通過判定部120、立ち上がりライン設定部130、第2通過判定部140または通知部150を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の行動検出装置100の機能を実現するようにしてもよい。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図26を用いて、上記の実施例と同様の機能を有する行動検出プログラムを実行するコンピュータの一例について説明する。
10 設定装置
11 第1パラメータ取得部
12 モデル生成部
13 移動経路算出部
14 前かがみライン算出部
15 第2パラメータ取得部
16 座標変換部
17 設定部
18 学習部
100 行動検出装置
110 頭部検知部
120 第1通過判定部
130 立ち上がりライン設定部
140 第2通過判定部
150 通知部
Claims (5)
- コンピュータが、
画像から頭部の位置を検知し、
前記頭部の位置に基づいて前記画像のベッド領域で検出対象者がベッドの幅方向に腰掛け、腰掛けた状態から立ち上がる際の前かがみになる動作を検知し、
前記頭部の移動が前かがみと検出された場合に、前記頭部の移動経路に基づいて、前記前かがみの最下点と、前記ベッドの脇に立ち上がった際の頭部の位置との間に前記検出対象者の離床を判定する立ち上がり検出ラインを前記前かがみの動作が検知される前かがみ検出ラインと重ならない位置へ動的に設定し、
動的に設定された立ち上がり検出ラインを頭部が通過した場合に立ち上がり動作を検出する
処理を実行することを特徴とする行動検出方法。 - 前記設定する処理は、前記頭部の移動経路の法線方向に前記立ち上がり検出ラインを設定することを特徴とする請求項1に記載の行動検出方法。
- 前記設定する処理は、前記前かがみの最下点と前記ベッドの脇に立ち上がった際の頭部の位置との中点を通る立ち上がり検出ラインを設定することを特徴とする請求項1に記載の行動検出方法。
- 前記コンピュータが、
前記頭部の位置が前記画像のベッド領域上で前記検出対象者が臥位または座位のいずれであるのかを判定する起床ラインの内部に存在する場合に、前記前かがみになる動作の検知、前記立ち上がり検出ラインの設定、または、前記立ち上がり動作の検出のうちいずれかの処理を停止する処理をさらに実行することを特徴とする請求項1に記載の行動検出方法。 - 画像から頭部の位置を検知する頭部検知部と、
前記頭部の位置に基づいて前記画像のベッド領域で検出対象者がベッドの幅方向に腰掛け、腰掛けた状態から立ち上がる際の前かがみになる動作を検知する第1判定部と、
前記頭部の移動が前かがみと検出された場合に、前記頭部の移動経路に基づいて、前記前かがみの最下点と、前記ベッドの脇に立ち上がった際の頭部の位置との間に前記検出対象者の離床を判定する立ち上がり検出ラインを前記前かがみの動作が検知される前かがみ検出ラインと重ならない位置へ動的に設定する設定部と、
動的に設定された立ち上がり検出ラインを頭部が通過した場合に立ち上がり動作を検出する第2判定部と
を有することを特徴とする行動検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015041791A JP6455234B2 (ja) | 2015-03-03 | 2015-03-03 | 行動検出方法及び行動検出装置 |
CN201610105158.4A CN105938540B (zh) | 2015-03-03 | 2016-02-25 | 行为检测方法和行为检测设备 |
US15/056,039 US9477880B2 (en) | 2015-03-03 | 2016-02-29 | Behavior detection method and behavior detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015041791A JP6455234B2 (ja) | 2015-03-03 | 2015-03-03 | 行動検出方法及び行動検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016158952A JP2016158952A (ja) | 2016-09-05 |
JP6455234B2 true JP6455234B2 (ja) | 2019-01-23 |
Family
ID=56843837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015041791A Active JP6455234B2 (ja) | 2015-03-03 | 2015-03-03 | 行動検出方法及び行動検出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9477880B2 (ja) |
JP (1) | JP6455234B2 (ja) |
CN (1) | CN105938540B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170116437A (ko) * | 2016-04-11 | 2017-10-19 | 전자부품연구원 | 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법 |
CN106595647B (zh) * | 2016-12-14 | 2020-05-05 | 北京理工大学珠海学院 | 行为状态的监测方法、装置及系统 |
JP6635074B2 (ja) | 2017-03-02 | 2020-01-22 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
JP6406371B2 (ja) * | 2017-03-02 | 2018-10-17 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
CN111684460B (zh) * | 2018-04-27 | 2023-09-22 | 上海趋视信息科技有限公司 | 检测人类对象的姿态的系统和方法 |
CN114153200A (zh) * | 2018-10-26 | 2022-03-08 | 科沃斯机器人股份有限公司 | 轨迹预测、自移动设备控制方法 |
CN112861562A (zh) * | 2019-11-12 | 2021-05-28 | 北京君正集成电路股份有限公司 | 一种检测坐姿异常的检测方法及其系统 |
JP7438847B2 (ja) * | 2020-05-12 | 2024-02-27 | 京セラ株式会社 | 監視システム、監視装置、監視方法、及びプログラム |
CN112887600B (zh) * | 2021-01-25 | 2022-08-05 | 睿魔智能科技(深圳)有限公司 | 一种基于起立行为检测的拍摄方法及系统 |
CN113657189B (zh) * | 2021-07-26 | 2024-02-09 | 浙江大华技术股份有限公司 | 行为检测方法、电子装置和计算机可读存储介质 |
CN114627430B (zh) * | 2021-12-30 | 2023-04-07 | 东莞先知大数据有限公司 | 一种拿取外卖的检测方法、装置及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4122814B2 (ja) * | 2002-04-03 | 2008-07-23 | トヨタ自動車株式会社 | 乗員検知装置 |
JP2005168590A (ja) * | 2003-12-08 | 2005-06-30 | Matsushita Electric Ind Co Ltd | 運動評価装置 |
US7613324B2 (en) * | 2005-06-24 | 2009-11-03 | ObjectVideo, Inc | Detection of change in posture in video |
JP4963101B2 (ja) * | 2007-11-13 | 2012-06-27 | パラマウントベッド株式会社 | ベッドにおける使用者の状態検知システム |
JP5230371B2 (ja) * | 2008-11-21 | 2013-07-10 | パナソニック株式会社 | 照明システム |
JP5682203B2 (ja) * | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
JP5782737B2 (ja) * | 2011-02-17 | 2015-09-24 | 富士通株式会社 | 状態検知装置、状態検知方法および状態検知プログラム |
JP2013149205A (ja) * | 2012-01-23 | 2013-08-01 | Nikon Corp | 電子機器 |
JP6171415B2 (ja) * | 2013-03-06 | 2017-08-02 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP6119356B2 (ja) * | 2013-03-25 | 2017-04-26 | 富士通株式会社 | 報知プログラム、報知方法および報知装置 |
CN103186775B (zh) * | 2013-03-27 | 2016-01-20 | 西安电子科技大学 | 基于混合描述子的人体运动识别方法 |
JP6115335B2 (ja) * | 2013-06-10 | 2017-04-19 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
CN103686092B (zh) * | 2013-12-30 | 2016-09-14 | 深圳锐取信息技术股份有限公司 | 学生起立双系统检测方法及系统 |
-
2015
- 2015-03-03 JP JP2015041791A patent/JP6455234B2/ja active Active
-
2016
- 2016-02-25 CN CN201610105158.4A patent/CN105938540B/zh active Active
- 2016-02-29 US US15/056,039 patent/US9477880B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016158952A (ja) | 2016-09-05 |
CN105938540B (zh) | 2019-08-16 |
US9477880B2 (en) | 2016-10-25 |
CN105938540A (zh) | 2016-09-14 |
US20160259969A1 (en) | 2016-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6455234B2 (ja) | 行動検出方法及び行動検出装置 | |
CN109788215B (zh) | 图像处理装置、计算机可读存储介质以及图像处理方法 | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2014064870A1 (ja) | 画像処理装置および画像処理方法 | |
JP6547563B2 (ja) | 検出プログラム、検出方法及び検出装置 | |
JP2010165248A (ja) | 画像処理装置、画像照合方法、および、プログラム | |
JP2014106732A (ja) | 情報処理装置および情報処理方法 | |
JP6248780B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
JP6728865B2 (ja) | 手上げ検出装置及び手上げ検出プログラム | |
WO2012121137A1 (ja) | 画像処理装置および画像処理プログラム | |
JP6264181B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5419757B2 (ja) | 顔画像合成装置 | |
JP2008146106A (ja) | 三次元物体を検出する装置 | |
JP7243725B2 (ja) | 対象物体検出プログラム、および対象物体検出装置 | |
JP5419773B2 (ja) | 顔画像合成装置 | |
JP2020112928A (ja) | 背景モデル生成装置、背景モデル生成方法及び背景モデル生成プログラム | |
JP6613828B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP7309392B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9159118B2 (en) | Image processing apparatus, image processing system, and non-transitory computer-readable medium | |
JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN110852932B (zh) | 图像处理方法及装置、图像设备及存储介质 | |
JP6103942B2 (ja) | 画像データ処理装置及び画像データ処理プログラム | |
JP2019101845A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016115332A (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2015099483A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6455234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |