JP7185805B2 - 転倒リスク評価システム - Google Patents

転倒リスク評価システム Download PDF

Info

Publication number
JP7185805B2
JP7185805B2 JP2022507946A JP2022507946A JP7185805B2 JP 7185805 B2 JP7185805 B2 JP 7185805B2 JP 2022507946 A JP2022507946 A JP 2022507946A JP 2022507946 A JP2022507946 A JP 2022507946A JP 7185805 B2 JP7185805 B2 JP 7185805B2
Authority
JP
Japan
Prior art keywords
fall risk
fall
person
unit
managed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507946A
Other languages
English (en)
Other versions
JPWO2021186655A1 (ja
Inventor
媛 李
パン チョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2021186655A1 publication Critical patent/JPWO2021186655A1/ja
Application granted granted Critical
Publication of JP7185805B2 publication Critical patent/JP7185805B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、日常生活の撮影画像に基づいて、高齢者等の管理対象者の転倒リスクを評価する転倒リスク評価システムに関する。
要介護の高齢者等に対して、在宅介護サービス、在宅医療サービス、介護付き高齢者ホーム、介護保険施設、療養型設備、グループホーム、デイ・ケアなど、様々な介護サービスが提供されてきた。これらの介護サービスでは、多数の専門家が連携して、健康診断、健康管理、生活支援などの各種サービスを高齢者に提供している。例えば、理学療法士は、要介護高齢者の身体機能を維持するため、各人の身体状態を日常的に目視で評価し、その身体状態にあった身体運動をアドバイスしている。
一方、近年の養老介護ビジネスでは、要介護に至らない要支援程度の高齢者や、健康な高齢者にもサービスの提供範囲が拡大している。しかし、養老介護ビジネスのニーズ急増に、介護・支援サービスを提供する理学療法士等の専門家の育成が追い付かず、介護・支援サービスのリソース不足が社会問題化している。
そこで、このリソース不足を改善するため、ＩｏＴ機器や人工知能を利用した介護・支援サービスが普及しつつある。例えば、理学療法士や介護者等に代わって、高齢者の転倒を検出または予測する技術として、特許文献１や特許文献２が提案されている。
特許文献１の要約書には、「被観察者の転倒、転落などの異常な状態を、撮影画像からリアルタイムに検知し、背景画像やノイズの影響を除去して検知の精度を向上させる検知装置を提供する」ための解決手段として、「検知装置は、映像データ４１の画像のブロックそれぞれの動作ベクトルを算出し、動作ベクトルの大きさが一定値を超えるブロックを抽出する。検知装置は、隣接するブロック同士をグループにする。検知装置は、例えば面積の大きいブロックから順に、ブロックに含まれる動作ブロックの平均ベクトル、分散、および回転方向などの特徴量を算出する。検知装置は、各グループの特徴量に基づいて、被観察者が転倒、転落などの異常な状態であることを検出し、検出結果を、外部の装置等へ報知する。検知装置は、画像に対し水平方向の画素の間引き処理や、カメラの加速度に基づき撮影方向の角度のずれを補正することで検知の精度を向上させる。」と記載されている。
また、特許文献２の要約書には、「電子カルテに含まれる文章から転倒の発生を精度よく予測できるようにする」ための解決手段として、「患者の電子カルテに含まれるｍ個の文章を入力する学習用データ入力部１０と、ｍ個の文章からｎ個の単語を抽出し、ｍ個の文章およびｎ個の単語間の関係性を反映した類似性指標値を算出する類似性指標値算出部１００と、１つの文章についてｎ個の類似性指標値から成る文章指標値群をもとに、ｍ個の文章を複数の事象に分類するための分類モデルを生成する分類モデル生成部１４と、予測用データ入力部２０により入力される文章から類似性指標値算出部１００により算出される類似性指標値を分類モデルに適用することにより、予測対象の文章から転倒発生の可能性を予測する危険行動予測部２１とを備え、どの単語がどの文章に対してどの程度寄与しているのかを表した類似性指標値を用いて高精度な分類モデルを生成する。」と記載されている。
特開２０１５－１０００３１号公報 特開２０１９－１９４８０７号公報
特許文献１は、撮影画像から算出した被観察者の特徴量に基づいて、被観察者の転倒等の異常をリアルタイムに検知するものであるが、被観察者の転倒リスクを分析したり、転倒を事前に予測したりするものではない。このため、特許文献１の技術を、高齢者等の日常的な介護・支援に適用しても、ある高齢者の転倒リスクの変化から歩行機能の低下を把握したり、転倒リスクが増加した高齢者に対し転倒予防措置を事前に提供したりすることができないという課題がある。
また、特許文献２は、患者の転倒を事前に予測するものであるが、電子カルテに含まれる文章を解析して転倒の発生を予測するものであるため、患者毎に電子カルテの記録が必須であった。このため、高齢者等の日常的な介護・支援に適用するには、高齢者毎に電子カルテに相当する詳細な文章データを作成しなければならず、介護者の負担が非常に大きくなるという課題がある。
そこで、本発明は、ステレオカメラで撮影した日常生活の撮影画像に基づいて、理学療法士等に代わり、高齢者等の管理対象者の転倒リスクを簡便に評価できる転倒リスク評価システムを提供することを目的とする。
このため、本発明の転倒リスク評価システムは、管理対象者を撮影し、二次元画像と三次元情報を出力するステレオカメラと、前記管理対象者の転倒リスクを評価する転倒リスク評価装置と、を具備するシステムであって、前記転倒リスク評価装置は、前記ステレオカメラに撮影された前記管理対象者を認証する人認証部と、該人認証部で認証した前記管理対象者を追跡する人追跡部と、前記管理対象者の歩行を抽出する行動抽出部と、該行動抽出部で抽出した歩行の特徴量を算出する特徴量算出部と、前記人認証部、前記人追跡部、前記行動抽出部、および、前記特徴量算出部の出力を統合した統合データを生成する統合部と、該統合部で生成した複数の前記統合データに基づいて、前記管理対象者の転倒指標値を算出する転倒指標算出部と、該転倒指標算出部で算出した転倒指標値と閾値を比較し、前記管理対象者の転倒リスクを評価する転倒リスク評価部と、を具備する転倒リスク評価システムとした。
本発明の転倒リスク評価システムによれば、ステレオカメラで撮影した日常生活の撮影画像に基づいて、理学療法士等に代わり、高齢者等の管理対象者の転倒リスクを簡便に評価することができる。
実施例１に係る転倒リスク評価システムの構成例を示す図。 図１の１Ａ部の詳細な構成例を示す図。 図１の１Ｂ部の詳細な構成例を示す図。 統合部機能を示す図。 実施例１の統合データ例を示す図。 転倒指標算出部の詳細な構成例を示す図。 実施例２に係る転倒リスク評価システムの構成例を示す図。 実施例３に係る転倒リスク評価システムの前半の処理を示す図。 実施例３の統合データ例を示す図。 実施例３に係る転倒リスク評価システムの後半の処理を示す図。
以下、本発明の転倒リスク評価システムの実施例について、図面を参照しながら詳細に説明する。なお、以下では、歩行機能の低下した高齢者を管理対象者とした例を説明するが、転倒リスクの高い傷病者や障碍者等を管理対象者としても良い。
図１は、本発明の実施例１に係る転倒リスク評価システムの構成例を示す図である。このシステムは、管理対象の高齢者の転倒リスクをリアルタイムで評価するものであり、本発明の要部である転倒リスク評価装置１と、グループホーム等の日常生活環境に設置されたステレオカメラ２と、理学療法士や介護者の控室等に設置されたディスプレイ等の報知装置３から構成される。
ステレオカメラ２は、一対の単眼カメラ２ａを内蔵したカメラであり、左右の各視点から二次元画像２Ｄを同時に撮影し、奥行き距離を含む三次元情報３Ｄを生成する。なお、一対の二次元画像２Ｄから三次元情報３Ｄを生成する方法は後述する。
転倒リスク評価装置１は、ステレオカメラ２から取得した二次元画像２Ｄと三次元情報３Ｄに基づいて、高齢者の転倒リスクを評価し、あるいは、高齢者の転倒を予測し、その評価結果や予測結果を報知装置３に出力する装置である。この転倒リスク評価装置１は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えたパソコン等のコンピュータである。そして、補助記憶装置から主記憶装置にロードされたプログラムを演算装置が実行することで、後述する各機能を実現するが、以下では、このようなコンピュータ分野での周知技術を適宜省略しながら説明する。
報知装置３は、転倒リスク評価装置１の出力を報知するディスプレイやスピーカーである。ここで報知される情報は、転倒リスク評価装置１が評価した高齢者の氏名、顔写真、転倒リスクの経時変化、転倒予測警報等である。これにより、理学療法士等は、高齢者を常時目視することなく、報知装置３を介して、高齢者毎の転倒リスクの大きさやその経時変化等を知ることができるため、理学療法士等の負担が大幅に軽減される。
＜転倒リスク評価装置１＞
以下、本発明の要部である転倒リスク評価装置１を詳細に説明する。この転倒リスク評価装置１は、図１に示すように、人認証部１１、人追跡部１２、行動抽出部１３、特徴量算出部１４、統合部１５、選別部１６、転倒指標算出部１７、および、転倒リスク評価部１８を有する。以下では、各部を個々に概説した後、各部の協働処理を詳細に説明する。
＜人認証部１１＞
グループホーム等の日常生活環境には、複数の高齢者が存在している場合があり、また、高齢者を介護する介護者や来客等も存在する場合もある。そのため、人認証部１１は、管理対象者データベースＤＢ１（図２参照）を利用して、ステレオカメラ２の二次元画像２Ｄに撮影された人が管理対象者であるかを識別する。例えば、二次元画像２Ｄに映った顔と、管理対象者データベースＤＢ１に登録された顔写真が一致する場合など、二次元画像２Ｄに撮影された人が管理対象者の高齢者と認証された場合は、その高齢者のＩＤ等を管理対象者データベースＤＢ１から読み取り、そのＩＤ等を認証結果データベースＤＢ２（図２参照）に記録する。なお、認証結果データベースＤＢ２に、ＩＤと関連付けて記録する情報は、例えば、高齢者の氏名、性別、年齢、顔写真、担当の介護者、転倒履歴、医療情報等である。
＜人追跡部１２＞
人追跡部１２は、人認証部１１が認証した、転倒リスクを評価したい対象者に対して、二次元画像２Ｄや三次元情報３Ｄを用いて、追跡を実行する。なお、演算装置の処理能力が高い場合は、人認証部１１で認証した全員を、人追跡部１２の追跡対象者としても良い。
＜行動抽出部１３＞
行動抽出部１３は、高齢者の行動種別を認識した後、転倒に関連する行動を抽出する。例えば、転倒に最も関連性がある「歩行」を抽出する。この行動抽出部１３では、ディープラーニング技術を利用することが可能であり、例えば、CNN（Convolutional Neural Network）やLSTM（Long Short-Term Memory）を用いて、「着座」「直立」「歩行」「転倒」等の行動種別を認識した後、その中から「歩行」を抽出する。行動認識には、例えば、Zhenzhong Lan, Yi Zhu, Alexander G. Hauptmann, “Deep Local Video Feature for Action Recognition”, CVPR, 2017.や、Wentao Zhu, Cuiling Lan, Junliang Xing, Wenjun Zeng, Yanghao Li, Li Shen, Xiaohui Xie, “Co-ocuurrence Feature Learning for Skeleton based Action Recognition using Regularized Deep LSTM Networks”, AAAI 2016.で説明される技術を利用する。
＜特徴量算出部１４＞
特徴量算出部１４は、行動抽出部１３で抽出した各高齢者の行動から特徴量を算出する。例えば、「歩行」行動を抽出する場合は、「歩行」の特徴量を算出する。歩行特徴量の算出には、例えば、Y. Li, P. Zhang, Y. Zhang and K. Miyazaki, "Gait Analysis Using Stereo Camera in Daily Environment," 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Berlin, Germany, 2019, pp. 1471-1475で説明される技術を利用する。
＜統合部１５＞
統合部１５は、人認証部１１から特徴量算出部１４の出力を、ステレオカメラ２の撮影フレーム毎に統合し、ＩＤと特徴量等を関連付けた統合データＣＤを生成する。ここで生成される統合データＣＤの詳細については後述する。
＜選別部１６＞
二次元画像２Ｄには、高齢者の顔が一時的に隠れる等の外乱が混入したフレームも含まれる。このような外乱のあるフレームを処理すると、人認証部１１では人認証に失敗したり、人追跡部１２では人追跡に失敗したりする。そのような場合、統合部１５は、信頼性の低い統合データＣＤを生成してしまう可能性がある。例えば、人認証の瞬間的な失敗が発生すると、本来のＩＤ（例えば、ＩＤ＝１）が瞬間的に他のＩＤ（例えば、ＩＤ＝２）に置換されるため、統合部１５ではＩＤが不連続な統合データＣＤ群が生成される。
また、特徴量を正確に算出するには、少なくとも２０フレーム程度の統合データＣＤ群の利用が必要であるため、歩行特徴量を正しく算出するには、２０フレーム未満の短い「歩行」期間の統合データＣＤ群を除外することが望ましい。
上記したＩＤ不連続や「歩行」期間不足等を含む不良データを以降の処理に用いると、転倒リスク評価の信頼性が劣化するため、選別部１６では、統合データＣＤの信頼性を評価し、信頼性の高い統合データＣＤだけを選別して転倒指標算出部１７に出力する。これにより、選別部１６は、以降の処理の信頼性を高めている。
＜転倒指標算出部１７＞
転倒指標算出部１７は、選別部１６で選別した統合データＣＤの特徴量に基づいて、高齢者の転倒リスクを示す転倒指標値を算出する。
転倒指標値には、様々なものがある。例えば、ＴＵＧ（Timed up and go）スコアという、転倒アセスメントによく利用される指標値がある。このＴＵＧスコアは、高齢者が椅子から立ち上がり、歩いたりした後、再び着座するまでの時間を計測することで求まる指標値である。ＴＵＧスコアは、歩行機能の高低と相関性が強い指標値とされており、ＴＵＧスコアが13.5秒以上であれば、転倒リスクが高いと判定できる。なお、ＴＵＧスコアの詳細は、例えば、Shumway-Cook A, Brauer S, Woollacott M.による”Predicting the probability for falls in community-dwelling older adults using the Timed Up & Go Test”, Physical Therapy. Volume 80. Number 9. September 2000, pp. 896-903に説明がある。
転倒指標値としてＴＵＧスコアを採用する場合、転倒指標算出部１７は、各フレームの統合データＣＤから、高齢者毎に行動を抽出し、（１）着座、（２）直立（または歩行）、（３）着座の順の一連動作の完了に要した行動時間をカウントし、カウントした秒数をＴＵＧスコアとして算出する。なお、ＴＵＧスコアの算出方法の詳細は、例えば、Y. Li, P. Zhang, Y. Zhang and K. Miyazakiによる、"Gait Analysis Using Stereo Camera in Daily Environment," 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Berlin, Germany, 2019, pp. 1471-1475に説明がある。
また、転倒指標算出部１７は、機械学習ＳＶＭ（support vector machine）を用いて、蓄積した高齢者データからＴＵＧスコアの算出モデルを構築し、その算出モデルを用いて、高齢者の日々のＴＵＧスコアを推定しても良い。さらに、転倒指標算出部１７は、ディープラーニングを利用することでも蓄積した高齢者データからＴＵＧスコアの推定モデルを構築することができる。なお、算出モデルや推定モデルは高齢者毎に構築しても良い。
＜転倒リスク評価部１８＞
転倒リスク評価部１８は、転倒指標算出部１７で算出した転倒指標値（例えば、ＴＵＧスコア）に基づいて、転倒リスクを評価する。そして、転倒リスクが高い場合は、報知装置３を介して、理学療法士や介護者等に警報を発したりする。
＜図１の１Ａ部での協働処理＞
次に、図２を用いて、図１の１Ａ部に示す、人認証部１１と人追跡部１２の協働処理の詳細を説明する。
人認証部１１は、二次元画像２Ｄに映った高齢者が、管理対象者であるかを認証するものであり、検知部１１ａと認証部１１ｂを有する。
検知部１１ａでは、二次元画像２Ｄに映った高齢者の顔を検知する。顔の検知方法は、従来のマッチング手法や近年のディープラーニング技術など様々な手法が利用可能であり、本発明においてはこの手法を限定するものではない。
認証部１１ｂでは、検知部１１ａで検知した高齢者の顔を、管理対象者データベースＤＢ１に登録された顔写真と照合し、顔が一致したときに、認証した高齢者のＩＤを特定する。管理対象者データベースＤＢ１にＩＤが存在しない場合は、必要に応じて新規のＩＤを登録する。この認証処理は、二次元画像２Ｄの全フレームに実施してもよいが、演算装置の処理速度が低速である場合などは、高齢者が初登場または再登場したフレームに対してのみ認証処理を実施し、以後は認証処理を割愛してもよい。
一方、人追跡部１２は、人認証部１１で認証した高齢者の移動の軌跡を時系列に監視するものであり、検知部１２ａと追跡部１２ｂを有する。
検知部１２ａでは、連続する複数の二次元画像２Ｄと三次元情報３Ｄから、監視対象の高齢者の身体領域を検知し、さらに、身体領域を示す枠を作成する。なお、図２では、顔を検知する検知部１１ａと身体領域を検知する検知部１２ａを別個に設けたが、一つの検知部で顔と身体領域の双方を検知しても良い。
追跡部１２ｂでは、連続する複数の二次元画像２Ｄと三次元情報３Ｄで、同じ高齢者が検知されたかを判断する。追跡は、まず二次元画像２Ｄ上で人を検知して、その連続性を判断して追跡を行う。ここで、二次元画像２Ｄ上の追跡は誤差がある。例えば、違う人が近い位置に存在する場合や、交差して歩く場合は、追跡を間違うことがある。そこで、例えば、三次元情報３Ｄを利用して、人の位置、歩き方向などを判断することで、追跡を正しく行うことができる。そして、同じ高齢者が検知されたと判断した場合は、その高齢者の身体領域を示す枠の移動軌跡を追跡結果データＤ１として追跡結果データベースＤＢ３に保存する。この追跡結果データＤ１には、その高齢者の一連の画像を含ませても良い。
なお、人認証部１１による認証に失敗したが、人追跡部１２による追跡に成功したフレームが存在する場合は、そのフレームに映った高齢者を前後のフレームに映った高齢者と同一人物として認証しても良い。また、二次元画像２Ｄの連続する各フレームに、高齢者を検知できなかったフレームが混在する場合は、その前後のフレームで検知した高齢者の位置に基づいて、そのフレームにおける高齢者の移動軌跡を補完しても良い。
＜図１の１Ｂ部での協働処理＞
次に、図３を用いて、図１の１Ｂ部に示す、行動抽出部１３と特徴量算出部１４の協働処理の詳細を説明する。ここは、最も転倒との関係性が高い「歩行」行動として説明する。
行動抽出部１３は、高齢者の行動種別を認識した後、その中から「歩行」を抽出するものであり、骨格抽出部１３ａと歩行抽出部１３ｂを有する。
まず、骨格抽出部１３ａでは、二次元画像２Ｄから高齢者の骨格情報を抽出する。
そして、歩行抽出部１３ｂでは、歩行教師データＴＤＷで学習した歩行抽出モデルＤＢ４と、骨格抽出部１３ａが抽出した骨格情報を用いて、高齢者の様々な行動の中から「歩行」を抽出する。高齢者毎に「歩行」の形態が大きく異なる可能性があるため、高齢者の状態に応じた歩行抽出モデルＤＢ４を利用するのが望ましい。例えば、膝のリハビリ中の高齢者を対象とする場合は、膝の曲がりに特徴を持たせた歩行抽出モデルＤＢ４を利用して「歩行」を抽出する。その他の「歩行」態様もニーズに応じて追加することが可能である。なお、図示していないが、行動抽出部１３は、歩行抽出部１３ｂ以外にも、着座抽出部、直立抽出部、転倒抽出部等を備えており、「着座」「直立」「転倒」等の行動を抽出できる。
特徴量算出部１４は、歩行抽出部１３ｂで「歩行」が抽出された場合、その歩行の特徴量を算出する。この歩行特徴量は、骨格情報と三次元情報３Ｄを用いて算出した、監視対象の高齢者の歩行速度Speedや歩幅lengthなどであり、算出した歩行特徴量を歩行特徴量データベースＤＢ５へ蓄積する。
次に、ステレオカメラ２にて、左右一対の二次元画像２Ｄから、三次元情報３Ｄを生成する方法の詳細について説明する。
式１は、ステレオカメラ２の内部パラメータ行列Ｋであり、式２は、ステレオカメラ２の外部パラメータ行列Ｄの算出式である。
Figure 0007185805000001
Figure 0007185805000002
 ここで、式１のｆは焦点距離、ａｆはアスペクト比、ｓｆはスキュー、（ｖｃ，ｕｃ）は画像座標の中心座標を示す。また、式２の（ｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３）はステレオカメラ２の向きを示し、（ｔＸ，ｔＹ，ｔＺ）はステレオカメラ２の設置位置の世界座標を示す。
これら２つのパラメータ行列Ｋ、Ｄ、及び、定数λを用いると、式３の関係式により、画像座標（ｕ，ｖ）と世界座標（Ｘ，Ｙ，Ｚ）を対応付けることができる。
Figure 0007185805000003
 なお、ステレオカメラ２の向きを示す、式２の（ｒ１１，…，ｒ３３）は、オイラー角で定義すると、ステレオカメラ２の設置角度である、パンθ、チルトφ、ロールψの３個のパラメータで表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。それらのパラメータを用いて、歪み補正、平行化処理を行う。
ステレオカメラ２では、計測物の三次元計測値を、式４、式５で算出する。
Figure 0007185805000004
Figure 0007185805000005
 式４の（ｕｌ，ｖｌ）、式５の（ｕｒ，ｖｒ）は、それぞれ、ステレオカメラ２で撮影した左右の二次元画像２Ｄ上の画素値であり、平行化処理後、ｖｌ＝ｖｒ＝ｖとなる。なお、両式において、ｆは焦点距離、Ｂは単眼カメラ２ａ間の距離（ベースライン）である。
さらに、視差ｄを用いて式４、式５を整理する。なお、視差ｄは、三次元上の同じ計測物を左右の単眼カメラ２ａに投影した画像間の差分である。視差ｄを用いて表現される世界座標と画像座標の関係は、式６のようになる。
Figure 0007185805000006
 ステレオカメラ２では、以上の処理の流れで、一対の二次元画像２Ｄから三次元情報３Ｄを生成する。
図３に戻り、骨格抽出部１３ａと特徴量算出部１４の説明を続ける。
骨格抽出部１３ａでは、二次元画像２Ｄから、高齢者の骨格を抽出する。骨格の抽出には、Mask R-CNN手法を利用するのがよい。Mask R-CNNは、例えば、ソフトウェア“Detectron”などを利用することができる（Detectron. Ross Girshick, Ilija Radosavovic, Georgia Gkioxari, Piotr Doll, Kaiming He. https://github.com/facebookresearch/detectron . 2018.）
これによれば、まず、人の１７個の節点を抽出する。１７個の節点は、頭、左目、右目、左耳、右耳、左肩、右肩、左肘、右肘、左手首、右手首、左腰、右腰、左膝、右膝、左足首、右足首である。画像座標の中心座標（ｖｃ、ｕｃ）を用いると、二次元画像２Ｄによる１７個の節点の画像情報feature2Dを、式７で表すことができる。
Figure 0007185805000007
 式７は１７個の節点の特徴を、画像座標にて数式化したものである。これを式８により、同じ節点に対する世界座標の情報として変換し、１７個の三次元情報３Ｄを得る。なお、三次元情報の算出には、ステレオ法等の利用が可能である。
Figure 0007185805000008
 次に、特徴量算出部１４は、１７個の節点の中心点（v18，u18）を、式９、式１０を用いて算出する。なお、中心点（v18，u18）に対応する三次元情報を（x18,y18,z18）とする。
Figure 0007185805000009
Figure 0007185805000010
 次に、特徴量算出部１４は、１７個の節点および中心点からなる合計１８点の三次元情報の所定時間内の変位を用い、式１１により、歩行速度Speedを算出する。ここで、所定時間ｔ０は、例えば、１．５秒である。
Figure 0007185805000011
 さらに、特徴量算出部１４は、各フレームにおける左右足首の節点の三次元情報（x16,y16,z16）、（x17,y17,z17）を用い、各フレームにおける左足首と右足首の間の距離disを、式１２により算出する。
Figure 0007185805000012
 そして、特徴量算出部１４は、フレーム毎に算出した距離disに基づいて歩幅lengthを算出する。ここでは、式１３に示すように、所定時間帯に算出した距離disのうち最大のものを、歩幅lengthとして算出する。所定時間を１．０秒に設定した場合、その期間に撮影された複数フレームの各々から算出した距離disの最大値を抽出し歩幅lengthとする。
Figure 0007185805000013
 特徴量算出部１４では、さらに、加速度等の必要な歩行特徴量を、歩行速度Speedと歩幅lengthを用いて算出する。これらの特徴量の算出方法の詳細は、例えば、Rispens S M, van Schooten K S, Pijnappels Mらによる論文“Identification of fall risk predictors in daily life measurements: gait characteristics’ reliability and association with self-reported fall history”, Neurorehabilitation and neural repair, 29(1): 54-61, 2015.に説明がある。
以上の処理により、特徴量算出部１４は、複数の歩行特徴量（歩行速度、歩幅、加速度等）を算出し、歩行特徴量データベースＤＢ５に登録する。
＜図１の１Ｃ部での協働処理＞
次に、図１の１Ｃ部に示す、統合部１５と選別部１６の協働処理の詳細を説明する。
まず、図４Ａを用いて、統合部１５での処理について説明する。ここに示すように、統合部１５は、認証結果データベースＤＢ２、追跡結果データベースＤＢ３、および、歩行特徴量データベースＤＢ５に登録されたデータを、ステレオカメラ２の撮影フレーム毎に統合し、統合データＣＤを生成する。そして、生成した統合データＣＤを統合データデータベースＤＢ６に登録する。
図４Ｂに示すように、各フレームの統合データＣＤ（ＣＤ１～ＣＤｎ）は、ＩＤ毎に、認証結果（高齢者の氏名等）、追跡結果（対応する枠）、行動の内容、行動内容が「歩行」であった場合の歩行特徴量（歩行速度等）を纏めた表形式のデータである。なお、未登録者が検出された場合、その者に新たなＩＤ（図４Ｂの例では、ＩＤ＝４）を割り当て、関連する各種情報を統合しても良い。このような一連の統合データＣＤを順次参照すれば、ステレオカメラ２で撮影した管理対象の高齢者の歩行特徴量を連続して検出することができる。
選別部１６は、統合部１５が統合した統合データＣＤから、基準を満たしたものを選別して転倒指標算出部１７に出力する。選別部１６での選別基準は、ステレオカメラ２の設置場所や高齢者の行動に応じて設定することが可能であり、例えば、同一高齢者の行動が２０フレーム以上連続して「歩行」と認識された場合に、その一連の歩行特徴量を選別して出力することが考えられる。
＜図１の１Ｄ部での協働処理＞
次に、図１の１Ｄ部に示す、転倒指標算出部１７と転倒リスク評価部１８の協働処理の詳細を説明する。
まず、図５を用いて、転倒指標算出部１７について説明する。転倒リスクの評価に用いる転倒指標には様々なものがあるが、ＴＵＧスコアを転倒指標に採用した本実施例においては、転倒指標算出部１７は、ＴＵＧスコア推定部１７ａと、ＴＵＧスコア出力部１７ｂを有している。
ＴＵＧ推定モデルＤＢ７は、歩行特徴量に基づいてＴＵＧスコアを推定するために用いる推定モデルであり、歩行特徴量とＴＵＧスコアのセットであるＴＵＧ教師データＴＤTUGから事前に学習されたものである。
ＴＵＧスコア推定部１７ａは、ＴＵＧ推定モデルＤＢ７と、選別部１６で選別した歩行特徴量を用いて、ＴＵＧスコアを推定する。そして、ＴＵＧスコア出力部１７ｂは、ＴＵＧスコア推定部１７ａが推定したＴＵＧスコアを、ＩＤと関連付けてＴＵＧスコアデータベースＤＢ８に登録する。
転倒リスク評価部１８は、ＴＵＧスコアデータベースＤＢ８に登録されたＴＵＧスコアに基づいて、転倒リスクを評価する。上記したように、ＴＵＧスコアが１３．５秒以上の場合は転倒リスクが高いと判定できるため、これに該当する場合、転倒リスク評価部１８は、報知装置３を介して、担当の理学療法士や介護者等に警報を発する。その結果、理学療法士や介護者等は、転倒リスクの高い高齢者の下に駆け付けて歩行を補助したり、あるいは、その高齢者に今後提供するサービスをより手厚いものに変更したりすることができる。
以上で説明した本実施例の転倒リスク評価システムによれば、ステレオカメラで撮影した日常生活の撮影画像に基づいて、理学療法士等に代わり、高齢者等の管理対象者の転倒リスクを簡便に評価することができる。
次に、図６を用いて、本発明の実施例２に係る転倒リスク評価システムについて説明する。なお、実施例１との共通点は重複説明を省略する。
実施例１の転倒リスク評価システムは、転倒リスク評価装置１に、一機のステレオカメラ２と、一機の報知装置３を直接接続したシステムであり、小規模施設での利用に適したシステムである。
一方、大規模施設では、様々な場所に設置したテレオカメラ２で撮影した多数の高齢者を一元管理できれば便利であるため、本実施例の転倒リスク評価システムでは、一台の転倒リスク評価装置１に、ＬＡＮ（Local Area Network）、クラウド、無線通信等のネットワークを介して、複数のステレオカメラ２や報知装置３を接続した。これにより、様々な場所にいる多数の高齢者の遠隔管理が可能となる。例えば、４階建の介護施設では、各階にステレオカメラ２を設置し、一ヶ所から各階の高齢者の転倒リスクを評価できる。また、報知装置３は、ステレオカメラ２を設置した施設に設置する必要は無く、遠隔の管理センタ等に設置した報知装置３で多数の介護施設の高齢者を管理しても良い。
なお、図６の右側には、報知装置３の表示画面例を示している。ここでは、二次元画像２Ｄに映った高齢者の画像に「ＩＤ」、「身体領域を示す枠」、「行動」を重ねて表示しており、さらに、右側のウィンドウでは、各高齢者の氏名、ＴＵＧスコア、転倒リスクの大きさが表示されている。このウィンドウにはＴＵＧスコアの経時変化を表示しても良い。
以上で説明した本実施例の転倒リスク評価システムによれば、大規模施設を管理対象とする場合であっても、様々な場所にいる多数の高齢者の転倒リスクを簡便に評価することができる。
次に、図７Ａから図８を用いて、本発明の実施例３に係る転倒リスク評価システムについて説明する。なお、上記実施例との共通点は重複説明を省略する。
実施例１，２の転倒リスク評価システムは、管理対象者の転倒リスクをリアルタイムで評価するシステムであるため、転倒リスク評価装置１とステレオカメラ２を常時起動、常時接続する必要があった。
これに対し、本実施例の転倒リスク評価システムは、通常はステレオカメラ２のみ起動しておき、必要に応じて転倒リスク評価装置１を起動することで、高齢者の転倒リスクを事後的に評価できるシステムである。このため、本実施例のシステムは、転倒リスク評価装置１とステレオカメラ２の常時接続や、転倒リスク評価装置１の常時起動が不要なだけでなく、ステレオカメラ２が着脱可能な記憶媒体を備えていれば、転倒リスク評価装置１とステレオカメラ２を一切接続せずに、ステレオカメラ２の撮影データを転倒リスク評価装置１に入力できるシステムである。
図７Ａは、本実施例の転倒リスク評価システムの前半の処理を概説する図である。本実施例では、まず、ステレオカメラ２が出力する二次元画像２Ｄを二次元画像データベースＤＢ９に蓄積し、三次元情報３Ｄを三次元情報データベースＤＢ１０に蓄積する。これらのデータベースは、例えば、着脱可能な半導体メモリカード等の記録媒体に記録される。なお、二次元画像データベースＤＢ９や三次元情報データベースＤＢ１０には、ステレオカメラ２が出力する全データを蓄積しても良いが、記録媒体の記録容量が小さい場合は、背景差分法等により人が検知されたデータだけを抽出して蓄積しても良い。
両データベースに十分な量のデータが蓄積されると、転倒リスク評価装置１での転倒リスクの評価処理を開始することができる。
図７Ａに示すように、本実施例の転倒リスク評価装置１では、統合部１５の前段に行動抽出部１３を設けていないため、特徴量算出部１４は、高齢者の全ての行動について歩行特徴量を算出する。従って、統合部１５で生成される本実施例の統合データＣＤは、実施例１とは異なり、行動種別を示すデータを持たないものとなるが、実際に「歩行」があった場合は歩行特徴量が記録される（図７Ｂ参照）。
図８は、本実施例の転倒リスク評価システムの後半の処理を概説する図である。図７Ａに示す三種のデータベースの全てが生成されると、転倒リスク評価装置１の行動抽出部１３は、図７Ｂに例示した統合データＣＤの歩行特徴量の欄を参照して、「歩行」を抽出する。その後、実施例１と同様の処理を実施することで、高齢者の転倒リスクを事後的に評価する。
以上で説明した本実施例の転倒リスク評価システムによれば、転倒リスク評価装置１とステレオカメラ２の常時起動および常時接続が不要であるため、転倒リスク評価装置１の消費電力量を削減できるだけでなく、ステレオカメラ２が着脱可能な記憶媒体を備える場合であれば、転倒リスク評価装置１とステレオカメラ２を一切接続しなくても良い。従って、本実施例のシステムでは、ステレオカメラ２のネットワークへの接続を考慮する必要が無いため、ステレオカメラ２を様々な場所に自由に設置することができる。
１…転倒リスク評価装置、１１…人認証部、１１ａ…検知部、１１ｂ…認証部、１２…人追跡部、１２ａ…検知部、１２ｂ…追跡部、１３…行動抽出部、１３ａ…骨格抽出部、１３ｂ…歩行抽出部、１４…特徴量算出部、１５…統合部、１６…選別部、１７…転倒指標算出部、１７ａ…ＴＵＧスコア推定部、１７ｂ…ＴＵＧスコア出力部、１８…転倒リスク評価部、２…ステレオカメラ、２ａ…単眼カメラ、３…報知装置、２Ｄ…二次元画像、３Ｄ…三次元情報、ＤＢ１…管理対象者データベース、ＤＢ２…認証結果データベース、ＤＢ３…追跡結果データベース、ＤＢ４…歩行抽出モデル、ＤＢ５…歩行特徴量データベース、ＤＢ６…統合データデータベース、ＤＢ７…ＴＵＧ推定モデル、ＤＢ８…ＴＵＧスコアデータベース、ＤＢ９…二次元画像データベース、ＤＢ１０…三次元情報データベース、ＴＤＷ…歩行教師データ、ＴＤTUG…ＴＵＧ教師データ

Claims (12)

  1. 管理対象者を撮影し、二次元画像と三次元情報を出力するステレオカメラと、
    前記管理対象者の転倒リスクを評価する転倒リスク評価装置と、
    を具備する転倒リスク評価システムであって、
    前記転倒リスク評価装置は、
    前記ステレオカメラに撮影された前記管理対象者を認証する人認証部と、
    該人認証部で認証した前記管理対象者を追跡する人追跡部と、
    前記管理対象者の歩行を抽出する行動抽出部と、
    該行動抽出部で抽出した歩行の特徴量を算出する特徴量算出部と、
    前記人認証部、前記人追跡部、前記行動抽出部、および、前記特徴量算出部の出力を統合した統合データを生成する統合部と、
    該統合部で生成した複数の前記統合データに基づいて、前記管理対象者の転倒指標値を算出する転倒指標算出部と、
    該転倒指標算出部で算出した転倒指標値と閾値を比較し、前記管理対象者の転倒リスクを評価する転倒リスク評価部と、
    を具備することを特徴とする転倒リスク評価システム。
  2. 請求項１に記載の転倒リスク評価システムにおいて、
    前記転倒リスク評価装置は、さらに、前記統合部で生成した複数の前記統合データのうち信頼性の高いものを選別する選別部を具備することを特徴とする転倒リスク評価システム。
  3. 請求項２に記載の転倒リスク評価システムにおいて、
    前記選別部は、前記統合部で生成した複数の前記統合データのうち、前記行動抽出部が抽出した行動が所定回数以上連続して歩行であった統合データ群を信頼性の高い統合データとして出力することを特徴とする転倒リスク評価システム。
  4. 請求項３に記載の転倒リスク評価システムにおいて、
    前記転倒指標算出部は、前記選別部が選別した歩行特徴量を用いて前記転倒指標値を算出することを特徴とする転倒リスク評価システム。
  5. 請求項４に記載の転倒リスク評価システムにおいて、
    前記転倒指標算出部は、前記転倒指標値としてＴＵＧスコアを算出し、
    前記転倒リスク評価部は、前記ＴＵＧスコアが閾値以上であるときに、前記管理対象者の転倒リスクが高いと判断することを特徴とする転倒リスク評価システム。
  6. 請求項１に記載の転倒リスク評価システムにおいて、
    前記人認証部が複数の前記管理対象者を認証した場合、
    前記転倒指標算出部は、管理対象者毎に前記転倒指標値を算出し、
    前記転倒リスク評価部は、管理対象者毎に転倒リスクを評価することを特徴とする転倒リスク評価システム。
  7. 請求項１から請求項６の何れか一項に記載の転倒リスク評価システムにおいて、
    さらに、報知装置を具備しており、
    該報知装置には、前記人認証部が認証した前記管理対象者毎に、前記転倒指標値または前記転倒リスクが表示されることを特徴とする転倒リスク評価システム。
  8. 請求項１から請求項６の何れか一項に記載の転倒リスク評価システムにおいて、
    ネットワークを介して、複数の前記ステレオカメラと前記転倒リスク評価装置が接続されていることを特徴とする転倒リスク評価システム。
  9. 請求項１から請求項６の何れか一項に記載の転倒リスク評価システムにおいて、
    前記ステレオカメラが設置された施設と、前記転倒リスク評価装置が設置された施設が異なることを特徴とする転倒リスク評価システム。
  10. 請求項１から請求項６の何れか一項に記載の転倒リスク評価システムにおいて、
    前記ステレオカメラと前記転倒リスク評価装置は常時接続されており、
    前記転倒リスク評価装置はリアルタイムで前記管理対象者の転倒リスクを評価することを特徴とする転倒リスク評価システム。
  11. 請求項１から請求項６の何れか一項に記載の転倒リスク評価システムにおいて、
    前記ステレオカメラと前記転倒リスク評価装置は常時接続されておらず、
    前記転倒リスク評価装置は前記管理対象者の転倒リスクを事後的に評価することを特徴とする転倒リスク評価システム。
  12. 請求項１１に記載の転倒リスク評価システムにおいて、
    前記ステレオカメラから前記転倒リスク評価装置へのデータ入力は、着脱可能な記録媒体を介して行われることを特徴とする転倒リスク評価システム。
JP2022507946A 2020-03-19 2020-03-19 転倒リスク評価システム Active JP7185805B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012173 WO2021186655A1 (ja) 2020-03-19 2020-03-19 転倒リスク評価システム

Publications (2)

Publication Number Publication Date
JPWO2021186655A1 JPWO2021186655A1 (ja) 2021-09-23
JP7185805B2 true JP7185805B2 (ja) 2022-12-07

Family

ID=77768419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507946A Active JP7185805B2 (ja) 2020-03-19 2020-03-19 転倒リスク評価システム

Country Status (4)

Country Link
US (1) US20220406159A1 (ja)
JP (1) JP7185805B2 (ja)
CN (1) CN114269243A (ja)
WO (1) WO2021186655A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157853A1 (ja) * 2022-02-21 2023-08-24 パナソニックホールディングス株式会社 運動機能指標値の推定方法、推定装置、及び推定プログラム、並びに、運動機能指標値推定モデルの生成方法、生成装置、及び生成プログラム
JP7274016B1 (ja) 2022-02-22 2023-05-15 洸我 中井 歩行解析による疾患タイプ予測モデルを用いた歩行者転倒予防システム
CN115273401B (zh) * 2022-08-03 2024-06-14 浙江慧享信息科技有限公司 一种自动感知人员跌倒的方法及系统
CN115868966A (zh) * 2022-12-12 2023-03-31 北京顺源辰辰科技发展有限公司 一种智能行动辅助系统和智能行动辅助方法
CN115909503B (zh) * 2022-12-23 2023-09-29 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和系统
CN116092130B (zh) * 2023-04-11 2023-06-30 东莞先知大数据有限公司 一种油罐内作业人员安全监管方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255786A (ja) 2012-05-18 2013-12-26 Kao Corp 老年障害リスクの評価方法
JP2015100031A (ja) 2013-11-19 2015-05-28 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
JP2018526060A (ja) 2015-06-30 2018-09-13 アイシュー， インコーポレイテッド 機械学習アルゴリズムを用いた転倒リスクの識別

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
WO2010055205A1 (en) * 2008-11-11 2010-05-20 Reijo Kortesalmi Method, system and computer program for monitoring a person
EP2619724A2 (en) * 2010-09-23 2013-07-31 Stryker Corporation Video monitoring system
EP2678841A1 (en) * 2011-02-22 2014-01-01 Flir System, Inc. Infrared sensor systems and methods
JP6150207B2 (ja) * 2014-01-13 2017-06-21 知能技術株式会社 監視システム
US9600993B2 (en) * 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
JP2017000546A (ja) * 2015-06-12 2017-01-05 公立大学法人首都大学東京 歩行評価システム
US20170035330A1 (en) * 2015-08-06 2017-02-09 Stacie Bunn Mobility Assessment Tool (MAT)
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
CN109963508A (zh) * 2016-10-12 2019-07-02 皇家飞利浦有限公司 用于确定跌倒风险的方法和装置
JP2020028311A (ja) * 2016-12-16 2020-02-27 Ｍａｃｒｏｂｉｏｓｉｓ株式会社 転倒解析システム及び解析方法
US10055961B1 (en) * 2017-07-10 2018-08-21 Careview Communications, Inc. Surveillance system and method for predicting patient falls using motion feature patterns
CN110084081B (zh) * 2018-01-25 2023-08-08 复旦大学附属中山医院 一种跌倒预警实现方法及系统
WO2019150552A1 (ja) * 2018-02-02 2019-08-08 三菱電機株式会社 落下物検知装置、車載システム、車両および落下物検知プログラム
CN109325476B (zh) * 2018-11-20 2021-08-31 齐鲁工业大学 一种基于三维视觉的人体异常姿态检测系统及方法
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
CN109815858B (zh) * 2019-01-10 2021-01-01 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法
JP7196645B2 (ja) * 2019-01-31 2022-12-27 コニカミノルタ株式会社 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及系统
CN110367996A (zh) * 2019-08-30 2019-10-25 方磊 一种评估人体跌倒风险的方法及电子设备
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11328535B1 (en) * 2020-11-30 2022-05-10 Ionetworks Inc. Motion identification method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255786A (ja) 2012-05-18 2013-12-26 Kao Corp 老年障害リスクの評価方法
JP2015100031A (ja) 2013-11-19 2015-05-28 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
JP2018526060A (ja) 2015-06-30 2018-09-13 アイシュー， インコーポレイテッド 機械学習アルゴリズムを用いた転倒リスクの識別

Also Published As

Publication number Publication date
WO2021186655A1 (ja) 2021-09-23
US20220406159A1 (en) 2022-12-22
JPWO2021186655A1 (ja) 2021-09-23
CN114269243A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP7185805B2 (ja) 転倒リスク評価システム
US20200205697A1 (en) Video-based fall risk assessment system
Wang et al. Fall detection based on dual-channel feature integration
Bian et al. Fall detection based on body part tracking using a depth camera
Banerjee et al. Day or night activity recognition from video using fuzzy clustering techniques
Zhao et al. Multimodal gait recognition for neurodegenerative diseases
JP2019532532A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
Guerra et al. Automatic pose recognition for monitoring dangerous situations in Ambient-Assisted Living
Wu et al. Robust fall detection in video surveillance based on weakly supervised learning
Dileep et al. Suspicious human activity recognition using 2D pose estimation and convolutional neural network
Zhen et al. Hybrid Deep‐Learning Framework Based on Gaussian Fusion of Multiple Spatiotemporal Networks for Walking Gait Phase Recognition
Romeo et al. Video based mobility monitoring of elderly people using deep learning models
Rezaee et al. Deep transfer learning-based fall detection approach using IoMT-enabled thermal imaging-assisted pervasive surveillance and big health data
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
Maldonado-Mendez et al. Fall detection using features extracted from skeletal joints and SVM: Preliminary results
Ismail et al. Towards a deep learning pain-level detection deployment at UAE for patient-centric-pain management and diagnosis support: framework and performance evaluation
Wang et al. Fall detection with a non-intrusive and first-person vision approach
WO2021241293A1 (ja) 行動体特定システム
Xie et al. Skeleton-based fall events classification with data fusion
O'Gorman et al. Video analytics gait trend measurement for Fall Prevention and Health Monitoring
Rothmeier et al. Comparison of Machine Learning and Rule-based Approaches for an Optical Fall Detection System
Chernenko et al. Physical Activity Set Selection for Emotional State Harmonization Based on Facial Micro-Expression Analysis
Than et al. Researching and Implementing the Posture Recognition Algorithm of the Elderly on Jetson Nano

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7185805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150