JP7169213B2 - 身体健康状態映像分析装置、方法並びにシステム - Google Patents

Description

本発明は、日常生活における例えば高齢者の身体健康状態の把握、維持、改善をシステム的に支援する身体健康状態映像分析装置、方法並びにシステムに関する。

養老介護ビジネスでは、介護必要高齢者に対して様々なサービスや施設が提供されている。例えば、在宅介護、医療サービスや、介護付き高齢者ホーム、保険施設、療養型設備、グループホーム、デイ・ケアなど、市場としては大変成熟している。高齢者に向けた健康診断、管理、生活の支援などを介護者により行うことは顕在的に存在する。より良い高齢者生活を送ることを目的として、多数の専門家による連携した支援が行われている。たとえば、理学療法士は、高齢者の健康を維持していくために、高齢者の身体状態を目視で評価し、その状態にあった身体運動をアドバイスするという支援が行われている。

一方、近年高齢化が進んでおり、その市場が拡大している。日本ＳＰセンタの調査によると、２０２０年での高齢者（６５歳以上）人口は３６１３万と予測されている。そのうち、介護必要高齢者の割合は１７．４％で、非健康介護必要ない高齢者の割合は２９．０％、健康な高齢者の割合は５３．６％である。養老介護ビジネスは、従来の成熟している介護必要高齢者向け介護から、介護必要ない高齢者や、健康な高齢者に向けたサービスに、サービス適用範囲を拡大してきている。然るに介護ニーズの増加に伴い、専門家や介護する側のリソースは不足していることが社会課題化している。リソース不足を解消するため、ＩｏＴ機器やセンサを用いた健康状態の計測技術や、健康状態を維持や改善することに支援するサービスが提供されている。

高齢者の健康状態は、心理的な健康状態、生理的な健康状態、身体的な健康状態の三つの健康状態で考えられる。これらの健康状態を計測する技術は広く研究されており、例えば、非特許文献１では、生理的な、心理的な健康状態の計測に関して、ウェアラブルセンサを用いて、心拍数、血圧、脳波などを計測することが報告されている。

また身体的な健康状態の把握に関して、非接触的なセンサを用いて、人の動作をデジタル的に計測することが研究されている。例えば、Ｍｏｔｉｏｎ ｃａｐｔｕｒｅ 技術は、人の関節など体にマーカを装着させて、マーカを検出し、検出したマーカの情報を処理することで、人の動作をデジタル化する。非特許文献２で紹介したＮＥＣ歩行姿勢測定システムは、Ｋｉｎｅｃｔを用いて人物の位置情報、骨格情報を画像処理により抽出することで、人の歩行という行動を検出しデジタル化する。

また近年、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ技術が発達し、Ｋｉｎｅｃｔのような専用なアクティブセンサの利用による手法に変えて、単眼カメラで撮影した映像から、複数の人の骨格を抽出し、姿勢をデジタルすることが可能となっている。

これらの技術を使って、特許文献１に記載したＫｉｎｅｃｔを用いて歩行動作を処理する。人の骨格、着地点の位置、移動軌跡情報を抽出することで、歩行状況を評価する情報を提供することが可能となった。

この情報に基づいて、リハビリテーションにも利用することが可能である。例えばリハビリテーションとして、歩行人の各関節の座標情報を抽出し、歩く速度、歩幅など情報をブレなく表示することができる。また歩行など人の動作・姿勢のデジタル化以外では、生活行動のデジタル化に関するものがある。例えば、特許文献２に記載した複数なセンサを用いて、人物の動作および、位置など情報を抽出することができ、介護向け高齢者の生活行動を把握することができる。更に、その情報を可視化することで、位置情報と設備の情報に合わせて、転倒、滑りなど異常行動を予測し、介護員へ提示することが可能である。例えば、高齢者は段差があるところに移動しようと判断された場合は、段差移動の補助を介護員に表示することが可能となった。そのリスクを予防することが可能と記載されている。

また、特許文献３は高齢者以外を誤認識することを抑止するため、高齢者行動を特定することで高精度な計測することが記載されている。

特開２０１５－０４２２４１号公報 特開２０１６－６６３０８号公報 特開２０１５－６１５７７号公報

"Ｗｅａｒａｂｌｅ Ｍｅｄｉｃａｌ Ｓｅｎｓｏｒ－ｂａｓｅｄ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ： Ａ Ｓｕｒｖｅｙ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｕｌｔｉ－ｓｃａｌｅ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， Ｖｏｌ．３， Ｎｏ．２、 ２０１７． ＮＥＣ歩行姿勢測定システム

本発明が解決しようとする課題は、居住者区域に存在する様々な環境に設置可能な映像機器により複数の高齢者の身体的な健康状態を高精度に計測することである。

近年のこの分野では、Ｋｉｎｅｃｔを用いて、高齢者の歩き方、バランスなどを計測することが多く発明されている。

これらの発明は、計測精度を維持するため、特定環境での計測を前提としたものである。例えば、Ｋｉｎｅｃｔの設置角度は水平で、設置高さは高齢者の高さである。また、計測する高齢者の行動の制限がある。例えば、歩き方の計測はカメラと直線で歩くことが求められる。このためこれらの手法による発明では、計測環境を特定され、高齢者は特定されたパターンを行動してから計測することが要求される。そのため、実際に日常生活に応用する際には、高齢者の抵抗感があり、設置の準備、高齢者の対応など不便を生じる。

またこれらの手法による発明では、計測精度を維持するために、三次元データを処理することから、処理コストが高いという課題を有する。

例えば、特許文献３では、事前に計測したい行動の三次元モデルと、実際に取得した三次元データをマッチングし、行動を特定するが、この方式では、複数高齢者、複数行動を計測する際には、処理コストが増加してしまい、現実ではない。

以上のことから本発明においては、日常生活で居住者区域に存在する様々な環境に設置可能な映像機器により複数の被験者の身体健康状態を高精度、低コストに計測することができる身体健康状態映像分析装置、方法並びにシステムを提供することを目的とする。

以上のことから本発明においては、「カメラにより二次元映像を取得する２Ｄ情報取得部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、取得した二次元映像から検出対象者を分類する対象分類部と、検出対象者の行動パターンを特定する行動特定部と、特定された行動パターンに基づき、三次元データを分析して身体特徴を抽出する身体特徴抽出部と、抽出した特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置」としたものである。

また本発明においては、「管理対象者を二次元映像として取得して二次元映像から管理対象者を特定するとともに監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して特定された行動パターンに基づき、三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析することを特徴とする身体健康状態映像分析方法」としたものである。

また本発明においては、「管理対象者を二次元映像として取得して二次元映像から管理対象者を特定し、かつ監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して特定された行動パターンに基づき、三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析するとともに、少なくとも管理対象者を二次元映像として取得する場所、身体健康状態を分析する場所はクラウドを介して通信により接続されていることを特徴とする身体健康状態映像分析システム」としたものである。

本発明によれば、日常生活で居住者区域に存在する様々な環境に設置可能な映像機器により複数の被験者の身体健康状態を高精度、低コストに計測することができる。

本発明の実施例１に係る身体健康状態映像分析装置の構成例を示す図。 図１の対象分類部１２のさらに詳細な構成例を示す図。 各フレームにおける高齢者の行動領域（存在領域）を示す図。 本発明の実施例２に係る身体健康状態映像分析装置の構成例を示す図。 計算機装置で実施する身体健康状態映像分析方法の処理の流れを説明するための図。 ステレオカメラを用いて高齢者のＳＩＤＥテストベースで身体健康状態を評価するときの処理の流れを説明するための図。 本発明の実施例５に係る身体健康状態映像分析装置の構成例を示す図。 本発明の実施例６に係る身体健康状態映像分析装置の構成例を示す図。 本発明の実施例７に係る身体健康状態映像分析装置の構成例を示す図。

以下、本発明の実施例について、図面を参照して詳細に説明する。なお以下に示す本発明の身体健康状態映像分析装置および方法の実施例の説明においては、高齢者の身体健康状態の分析を例として説明する。

図１は、本発明の実施例１に係る身体健康状態映像分析装置の構成例を示す図である。図１において１０はカメラ、１は計算機装置により構成された本発明の実施例１に係る身体健康状態映像分析装置である。なお図１の身体健康状態映像分析装置１では、計算機装置の演算部により実行される処理機能をブロック表示している。

図１では、まずカメラ１０から二次元映像を取得する。カメラ１０は単眼カメラの組合せやステレオカメラでもよい。単眼カメラは、画像センサとレンズで構成されている。画像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。レンズには、ズーム可能なレンズや固定レンズがある。撮影されたものはＢＭＰ、ＪＰＥＧなどの型式により保存する。撮影情報には、ＲＧＢ情報が含まれている。

ステレオカメラは、複数視点から同時に撮影することにより、奥行きＤｅｐｔｈ取得できるカメラである。最近、市販のステレオカメラが増加している。例えば、インテルのＲｅａｌＳｅｎｓｅカメラはよく利用されている。それらのステレオカメラは二次元映像、三次元データを同時に取得することができる。本発明は二つ単眼カメラを構成したステレオカメラを用いた身体健康状態の分析を例とする。

計算機装置により構成された身体健康状態映像分析装置１では、最初に２Ｄ情報取得部１１においてカメラ１０から二次元映像を取得する。取得される映像はフレームレートによって画像２０として保存される。

身体健康状態映像分析装置１内の対象分類部１２では、画像２０から人として例えば高齢者を認識し分類する。この場合に撮像対象である高齢者は、日常生活では、高齢者が一人でいる場合と、複数人でいる場合とがある。あるいは介護人などの非管理対象者を含む場合もある。いずれの場合であっても、管理対象者各自の身体健康状態をそれぞれに分析するためには、高齢者を識別、分類する必要がある。図２の対象分類部１２では、２Ｄ情報取得部１１から取得した画像２０を用いて、存在する人を検知する。つまり画像から人と、人以外を分けて把握し、この場合に画像２０から分類された人は１人でも複数人であってもよい。

図２は、対象分類部１２のさらに詳細な構成例を示している。対象分類部１２における処理機能は、認証機能１２Ａと追跡機能１２Ｂに分けられる。認証機能１２Ａは管理対象高齢者を識別、確認する処理であり、追跡機能１２Ｂは確認した高齢者を時系列的に監視する処理である。

最初に対象分類部１２の認証機能１２Ａについて説明する。まず検知部２２では、画像２０を用いて、高齢者の顔や身体領域を検知する。検知する方法は、従来のマッチング手法や近年のＤｅｅｐＬｅａｒｎｉｎｇ技術など様々な手法が利用可能であり、本発明においてはこの手法を限定するものではない。

次に認証部２３では、検知された人の顔を用いて、事前に登録された認証登録データベースＤＢ１と照合し、検知した高齢者のＩＤを特定する。ＩＤが存在しない場合は、必要に応じて認証登録データベースＤＢ１に新規の管理対象高齢者として登録する。本認証の処理は、画像２０の全てのフレームで実施してもよいが、処理速度を考慮する場合は、高齢者が登場した始めのフレームや、高齢者が再度登場する際に実施し、連続する以後のフレームでの認証処理を割愛するのがよい。

次に対象分類部１２の追跡機能１２Ｂについて説明する。追跡機能１２Ｂの検知部２２では、認証機能１２Ａの認証部２３で認証し管理対象とした高齢者について、画像２０の連続する各フレームで高齢者を引き続き検知し、追跡する。なお、図２では認証機能１２Ａの検知部２２と追跡機能１２Ｂの検知部２２とを別体のように記載しているが、これは一体に構成されていてもよい。

追跡部２４では、画像２０の連続するフレームについて、その前後で検知されたフレームで同じ高齢者がいるか、いないかを判断する。判断した結果を追跡結果データＤ１として追跡結果データベースＤＢ２に保存する。追跡結果データＤ１には、高齢者がいる場合にこの間の一連の画像を含んでいる。

なお本発明において追跡とは、管理対象とした高齢者が固定カメラの視界から外れた時点で終了としてもよく、あるいは視界が変更可能なカメラにより管理対象とした高齢者を、カメラ角度などを変更しながら追っていくものであってもよい。要は高齢者の移動に合わせて複数枚の画像が取得でき、高齢者の動きが撮影できればよい。

追跡結果データＤ１はニーズによって、フォーマットを決めることが可能である。簡単なものでは、フレーム番号と、高齢者領域を特定できる枠の情報を記入することが良い。そして、追跡結果データＤ１に対して、前記認証した情報を対応つけることができる。

図３は、各フレームにおける高齢者の行動領域（存在領域）を示す図である。図３によれば、以上の分類処理を実行することによって、高齢者Ａ、Ｂについて、２６、２７に示した結果例のように、高齢者のＩＤおよび各フレームでの行動領域（存在領域）を把握することができる。これらの図３のデータは、例えば追跡結果データベースＤＢ２に保存した追跡結果データＤ１の一部として関連付けされて記憶されるのがよい。さらには追跡結果データＤ１には、後述する行動特定部１３で設定された身体健康分析項目の情報と一体化されて記憶されるのがよい。

図１に戻り、行動特定部１３では、高齢者の様々な行動を特定する。行動の種類は身体健康分析項目によって異なっている。例えば身体健康分析項目が歩き方であり、歩き方について分析する場合は、歩く行動を特定することが可能である。リハビリテーションの場合は、さらに分析したい行動を具体的に指定することができる。例えば身体健康分析項目として膝のリハビリを行っているのであれば、膝の曲がりに特化した行動を指定することができる。その他の行動もニーズによって追加することが可能である。それらの行動を特定するのに、近年様々なＤｅｅｐＬｅａｒｎｉｎｇ手法がある。それらの手法を用いて、高齢者の様々な行動を特定することが可能である。最近の研究によれば、ＣＮＮ、ＬＳＴＭ手法を用いて行動分析するものが知られている。例えば、“Ｄｅｅｐ Ｌｏｃａｌ Ｖｉｄｅｏ Ｆｅａｔｕｒｅ ｆｏｒ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ”， ＣＶＰＲ， ２０１７．と“Ｃｏ－ｏｃｕｕｒｒｅｎｃｅ Ｆｅａｔｕｒｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｓｋｅｌｅｔｏｎ ｂａｓｅｄ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｒｅｇｕｌａｒｉｚｅｄ Ｄｅｅｐ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ”， ＡＡＡＩ ２０１６． 人の行動を分析する研究が提案されている。


行動特定部１３において特定する行動は、身体健康分析項目によって、行動の選別や組合せすることが可能である。例えば、Ｔｉｍｅ Ｕｐ ａｎｄ Ｇｏ （ＴＵＧ）テスト場合は、高齢者の座る行動、立つ行動、歩く行動を特定し、フレームによって特定する行動を組み合わせることである。なお行動特定部１３は、身体健康状態映像分析装置における身体健康分析項目の設定機能と位置付けることができ、適宜の入力手段を介して管理対象高齢者別に身体健康分析項目などの管理情報を与えるものである。

図１において３Ｄ情報取得部１５では、カメラ１０の左右二つの二次元画像２０を用いてステレオ処理を行い、三次元情報Ｄ２を算出する。以下数式を用いて三次元情報Ｄ２の算出方法について説明する。

（１）式は、カメラにおける内部パラメータ行列Ｋと、外部パラメータ行列Ｄの算出式である。なおここで、ｆは焦点距離、ａはアスペクト比、ｓはスキュー、（ｖｃ，ｕｃ）は画像座標の中心座標を示す。また、（ｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３）はカメラの向きを示し、（ｔｘ，ｔｙ，ｔｚ）はカメラ設置位置の世界座標を示す。

これら２つのパラメータ行列Ｋ、Ｄ、及び定数λを用いると、画像座標（ｕ，ｖ）と世界座標（Ｘ，Ｙ，Ｚ）は（２）式の関係式により対応付けられる。

なお、外部パラメータのカメラの向きを示す（ｒ１１，ｒ１２，…ｒ３３）においては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。それらのパラメータを用いて、歪み補正、平行化処理を行う。

距離を含み、計測物の三次元計測値は（３）式のように算出することができる。

（３）式において、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）は左右カメラ画像上の画素値であり、平行化処理後、ｙｌ＝ｙｒ＝ｙとなる。なお（３）式において、ｆは焦点距離、Ｂはベースライン、カメラ間の距離である。

さらに（３）式を、視差ｄを用いて整理する。なお視差ｄについて、同じ三次元上のものはそれぞれ左右カメラに投影した画像間の差分であり、この差分はその三次元上のものの視差である。視差ｄを用いて表現される世界座標と画像座標の関係は、（４）式のようになる。

３Ｄ情報取得部１５では、以上の処理の流れで三次元情報Ｄ２を取得することが可能である。また、ＲｅａｌＳｅｎｓｅのようなカメラは、メーカ側でそのまま三次元情報Ｄ２を出力される場合は、そのまま利用することが可能である。

図１に戻り、身体特徴抽出部１４について説明する。身体特徴抽出部１４では、行動特定部１３で特定された行動に対する図３のようなフレーム内容の領域（この情報は追跡結果データベースＤＢ２に保存した追跡結果データＤ１から得ることができる）に対して、３Ｄ情報取得部１５におけるステレオ処理で算出した三次元情報Ｄ２を用いて、特定された行動の特徴を分析する。ここで定義した特徴は直接身体健康状態に関連するものである。例えば立つ行動であれば、立ち上がり動作のスムーズさ、歩く行動であれば、位置、速度、歩幅、腕幅などに特徴がある。

図１の身体健康状態分析部１６では、身体特徴抽出部１４で抽出した身体の特徴を用いて、身体健康状態を分析する。分析には専門家のノウホウを活かすことが重要である。現在高齢者の健康状態を評価するには様々な指標および専門家の評価項目がある。例えば歩行能力を評価指標としてＴＵＧ指標がある。認知機能を評価するＭＭＳＥ（ミニメンタルステート検査）評価指標がある。前記抽出した特徴に基づいて、指標の算出することを可能である。

実施例２では、ステレオカメラを用いて高齢者の歩行能力を評価することで高齢者の身体健康状態を分析することについて、図４を用いて説明する。

なお実施例２においてステレオカメラとは、文字通りステレオカメラである場合以外に、二次元映像と三次元情報を出力できるセンサの組合せで実現されるものを含んでいる。本発明では、ステレオカメラを例として説明する。なお、２Ｄ情報取得部１１、対象分類部１２、行動特定部１３、３Ｄ情報取得部１５は実施例１と同じものであるので、図４における図示を割愛している。

図４において身体特徴抽出部１４には、行動特定部１３などからの追跡結果データＤ１および３Ｄ情報取得部１５からの三次元情報Ｄ２が入力されている。このうち追跡結果データＤ１は各種の情報を含むが、ここでは行動特定部１３において画像から特定した歩く行動に対して、図３に例示した高齢者の領域情報２６、２７を用いる。領域情報２６、２７には画像のＲＧＢ情報や人の輪郭情報３０が含まれている。

また３Ｄ情報取得部１５からの三次元情報Ｄ２は、画像から特定した歩く行動に対して、特定された領域についての、図３に例示した高齢者の領域情報２６、２７に対して、ステレオ処理を行い、三次元情報Ｄ２としたものである。三次元情報Ｄ２によれば、ＸＹＺ軸で表現される３次元の空間に対して高齢者の場所および、実際的な輪郭情報３１を把握することができる。

そのうえで、身体特徴抽出部１４は、空間上における高齢者の輪郭情報３１を用いて、特徴を抽出する。例えば、幅は足元の輪郭位置情報を用いて前後フレームで距離を計測することで歩幅の算出することができる。その他、速度、加速度など必要な特徴を算出し、特徴データベースＤＢ３に出力することが可能である。

以下、具体的な算出手法について説明する。実施例２では、例えば歩き速度と、歩幅を下記流れで算出する。

まず、２次元画像Ｄ１から、高齢者の骨格を抽出する。骨格の抽出には、Ｍａｓｋ Ｒ－ＣＮＮ手法を利用するのがよい。Ｍａｓｋ Ｒ－ＣＮＮは、Ｒ．Ｇｉｒｓｈｉｃｋ ｅｔ ａｌ．， “Ｄｅｔｅｃｔｒｏｎ”論文に記載したものを利用する。ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｆａｃｅｂｏｏｋｒｅｓｅａｒｃｈ／ｄｅｔｅｃｔｒｏｎ、２０１８．
これによれば、人の骨格にある１７個の関節を抽出することが可能である。１７個の関節は、鼻、右目、左目、右耳、左耳、右肩、左肩、右手、左手、左手首、右手首、左腰、右腰、左膝、右膝、左足首、右足首である。画像座標の中心座標（ｖｃ、ｕｃ）を用いて、２次元画像Ｄ１による、１７個の関節の画像情報を表すと（５）式で表すことができる。

（５）式は１７の関節についての特徴を、画像座標において数式化したものである。これを（６）式により、同じ関節に対する世界座標の情報として変換し、１７個の三次元情報として表す。なお、三次元の算出方法は、ステレオ方法や、事前に入力することも可能である。

なお、速度と、歩幅を算出するため、中心点（ｖ１８、ｕ１８）を、１７個の関節を用いて（７）式で算出する。なお対応する３次元情報は（ｘ，ｙ，ｚ）である。

１７個の関節についての３次元化情報を用いて、例えば速度Ｓｐｅｅｄは、（８）式で算出することができる。ここでは、ｔ０は時間間隔、実施例では１．５秒に設定する。

左右足の距離ｄ、並びに歩幅ｌｅｎｇｔｈは（９）式で算出することができる。ここでは、時間帯の一番大きい距離を、歩幅として算出する。ｎは１．０秒に設定する。

その他、加速度などの必要な特徴はすべて、速度と歩幅を用いて算出するものとなる。算出方法は、論文Ｒｉｓｐｅｎｓ Ｓ Ｍ， ｖａｎ Ｓｃｈｏｏｔｅｎ Ｋ Ｓ， Ｐｉｊｎａｐｐｅｌｓ Ｍ， ｅｔ ａｌ．， “Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｆａｌｌ ｒｉｓｋ ｐｒｅｄｉｃｔｏｒｓ ｉｎ ｄａｉｌｙ ｌｉｆｅ ｍｅａｓｕｒｅｍｅｎｔｓ： ｇａｉｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ’ ｒｅｌｉａｂｉｌｉｔｙ ａｎｄ ａｓｓｏｃｉａｔｉｏｎ ｗｉｔｈ ｓｅｌｆ－ｒｅｐｏｒｔｅｄ ｆａｌｌ ｈｉｓｔｏｒｙ”， Ｎｅｕｒｏｒｅｈａｂｉｌｉｔａｔｉｏｎ ａｎｄ ｎｅｕｒａｌ ｒｅｐａｉｒ， ２９（１）： ５４－６１， ２０１５．を参照して他の歩き方の特徴を算出することが可能である。

以上の処理により算出された特徴データを用いて、身体健康状態分析部１６では、歩行の変化、同年齢との差分など様々な評価をすることができる。結果出力部３４は、その結果を関係者が可視可能な形にして出力する。

実施例１、実施例２では、主に身体健康状態映像分析装置を構成することについて説明したが、実施例３では身体健康状態映像分析方法について説明する。図５に示した実施例３では、ステレオカメラを用いて高齢者のＴＵＧテストベースで身体健康状態を評価する。

ここでＴＵＧとは、Ｓｈｕｍｗａｙ－Ｃｏｏｋ Ａ， Ｂｒａｕｅｒ Ｓ， Ｗｏｏｌｌａｃｏｔｔ Ｍ．”Ｐｒｅｄｉｃｔｉｎｇ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｆｏｒ ｆａｌｌｓ ｉｎ ｃｏｍｍｕｎｉｔｙ－ｄｗｅｌｌｉｎｇ ｏｌｄｅｒ ａｄｕｌｔｓ ｕｓｉｎｇ ｔｈｅ Ｔｉｍｅｄ Ｕｐ ＆ Ｇｏ Ｔｅｓｔ”， Ｐｈｙｓｉｃａｌ Ｔｈｅｒａｐｙ． ２００１ Ａｐｒ；８１（４）：１０６０－１に紹介されている。ここでは高齢者が椅子から立ち上がり、歩くなどをしたのちに再び着座する動作について、立ち上がり時間と再び椅子に座るまでの時間を計測するテストである。

図５のフローではまず、処理ステップＳ４０において２Ｄ情報取得から画像情報を取得する。取得した画像情報から高齢者認証処理ステップＳ４１、高齢者追跡処理ステップＳ４２、高齢者行動分析処理ステップＳ４３を行う。これらの一連の処理は、高齢者が椅子から立ち上がり、歩くなどをしたのちに再び着座する一連の動作が完了するまで継続実施される。

ここまでの一連動作が特定の高齢者について完了した時には、そのうえで、処理ステップＳ４４で座り動作を判別し、処理ステップＳ４５で歩く動作を行ったことを判別する。座る行動であれば、処理ステップＳ４７において座る際の身体特徴を抽出する。座る行動から歩く行動へ変わったことから歩く行動を特定されると、処理ステップＳ４６において時間を評価する。そして、歩く特徴を抽出する。

処理ステップＳ４７において抽出する特徴は、実施例２に述べた通りのものである。処理ステップＳ４７において抽出した特徴は特徴データベースＤＢ３に記憶する。画像の取得終了であれば、特徴データベースＤＢ３を用いて、処理ステップＳ４９において身体健康状態を分析する。これにより、座るから再び座るまで時間、歩行特徴、座る特徴の変化、および基準値との差などを分析することが可能である。処理ステップＳ４１１においてその結果を関係者などが可視する形に出力する。

ＴＵＧテストと同じように、座る行動、歩く行動の組合せすることが可能である。またＴＵＧ以外の評価指標に基づいて、特定する行動の組合せは変更することも可能である。

図６を用いて、実施例４について説明する。実施例４では、ステレオカメラを用いて高齢者のＳＩＤＥテストベースで身体健康状態を評価する。

ＳＩＤＥについて、寺西利生「病棟における転倒予防：バランス評価尺度Ｓｔａｎｄｉｎｇ ｔｅｓｔ ｆｏｒ Ｉｍｂａｌａｎｃｅ ａｎｄ Ｄｉｓｅｑｕｉｌｉｂｒｉｕｍ（ＳＩＤＥ）とその運用」日本転倒予防学会誌Ｖｏｌ．４ Ｎｏ．１ ２０１７に紹介されている。

実施例４は、まず実施例３と同じく、処理ステップＳ５０において２Ｄ情報取得から画像情報を取得する。取得した画像情報から高齢者認証処理ステップＳ５１、高齢者追跡処理ステップＳ５２、高齢者行動分析処理ステップＳ５３を行う。これらの一連の処理は、高齢者が椅子から立ち上がる動作が完了するまで継続実施される。処理ステップＳ５７は、この間の三次元情報Ｄ２を取得する。

処理ステップＳ５８では、ここまでの処理で得られた行動情報Ｄ１および、三次元情報Ｄ２を用いて身体特徴を抽出する。処理ステップＳ５８では身体特徴を抽出するにあたりＳＩＤＥの考え方を導入したものであり、ＳＩＤＥによれば、下半身の動きを評価するため、上半身の情報を削減し、コストを向上することが可能である。

例えば足の幅は画像上で特定された行動情報Ｄ１（足の位置）に基づいて、実際に三次元空間上における左右足の距離を算出することで評価することができる。評価した特徴は特徴データベースＤＢ３に登録される。そして、特徴データベースＤＢ３を用いてＳＩＤＥの評価に基づいて、高齢者のバランスという身体健康状態を分析することが可能である。分析結果を高齢者可視する形に出力する。

以上に述べた歩行、ＴＵＧ、ＳＩＤＥは高齢者介護によく利用する評価基準である。他の評価基準は本発明に合わせ、適宜実施することが可能である。

図７を用いて、実施例５について説明する。実施例５は、時間に応じて、身体健康状態を評価するものである。時間設定情報を用いて、特定する行動、抽出する身体特徴の調整は可能である。

要するに図７の構成は、行動特定部１３が朝行動特定部６１、昼行動特定部６２、夜行動特定部６３に分かれて機能するものということができる。また同様に身体特徴抽出部１４が朝身体特徴抽出部６４、昼身体特徴抽出部６５、夜身体特徴抽出部６６に分かれて機能するものということができる。

実施例５では、時間設定情報データベースＤＢ４に格納した時間設定情報６０を用いて、行動特定部１３内の処理を朝昼夜に変更することができる。例えば朝時間に対して、朝行動特定部６１を実施する。それに対応する朝身体特徴抽出部６４から身体特徴を抽出する。同じく、昼の場合は、昼行動特定部６２、昼身体特徴抽出部６５となる。夜の場合は、夜行動特定部６３、夜身体特徴抽出部６６となる。それによって時間帯に応じて、身体健康状態分析部１６はよりフレキシブル設定することができる。

また時間設定情報６０は、ユーザ側の設定で変更することが可能である。それに応じてより効率よく身体健康状態の分析や管理は実現可能となる。

図８を用いて、実施例６について説明する。実施例６では、高齢者の健康度合いに応じて、身体健康状態を評価する。このため、図８では健康度合いデータベースＤＢ５に健康度合いデータ７０を事前設定されて蓄えている。

図８において、対象分類部１２は高齢者を分類することができる。その際に、健康度合いデータベースＤＢ５に事前に用意した健康度合いデータ７０と、事前に用意した認証情報により、分類された高齢者の年齢や健康についての情報を把握することができる。それらの情報に応じて、度合い行動選別部７１から、特定する行動を選別することが可能である。

健康度合いは専門家の情報に基づいて、設定するのが良い。例えば、足の度合いが低下する高齢者は、足のリハビリテーションを評価するため、歩行行動、ＳＩＤＥの立つ行動を選別することができる。足度合いに応じて、行動特定部１３は、足の行動に関する領域を特定する。そして、３Ｄ情報取得部１５は、その領域についてステレオ処理を行い、三次元情報Ｄ２を算出する。

さらに、身体特徴抽出部１４は、前記出力された三次元情報Ｄ２、特定された足行動情報Ｄ１を用いて、身体特徴を抽出する。最後に、身体健康状態分析部１６が抽出した身体特徴に基づいて、足のリハビリテーションによって、足の度合いは良くなるかなれないかの判断することができる。現状の足の度合いを再び健康度合いデータベースに登録することも可能である。

そのように、高齢者それぞれの健康度合いに合わせて、サービスを提供することが可能である。

実施例７では、身体健康状態映像分析装置１の望ましい実施形態について説明する。ここでは、身体健康状態映像分析システムを構成する。

図１に例示する身体健康状態映像分析装置１は、これ自体が独立した単体の装置として大きな病院に設置され、病院内の介護施設の状況を管理するものとしての運用が可能である。

身体健康状態映像分析システムでは、本発明を係る状況ばかりでなく、遠隔における管理を可能とするために構成する。例えば医者の少ない過疎地にはカメラのみが設置されていて、通行する高齢者を日常的に観察しその情報はクラウド上に送られる。医者がいる病院には身体健康状態映像分析装置１の少なくとも一部が設置されていて、適宜のタイミングで医者による身体健康分析が実施され、その結果もまたクラウドに送られる。ここで身体健康状態映像分析装置１の少なくとも一部と説明したのは、特にデータベースを中心に、これらのデータはクラウド上のどこに置かれていてもよい。要するに医者は、健康状態分析が行えればよい。データがどこにどのように蓄積され、あるいは身体特徴がどこで、だれにより行われていてもよい。要は医者は健康状態分析結果をクラウド上に保存できることが重要である。またクラウドには、過疎地の高齢者の、離れたところに居住する親類縁者などがアクセス可能であり、手持ちのタブレット、スマホ１０１などを通じて医者が下した健康状態分析結果が、必要であればカメラで把握した行動内容と合わせてみることができるのが望ましい。

以上詳細に説明した本発明によれば、複数の被験者の特定された行動を三次元データ分析することによるデータ処理量を大幅に削減できるようになる．これにより、単一画像処理チップでの高精度分析が可能となり、様々な環境に設置可能な映像分析機器を提供できる．そして、設置コストを大幅削減することができる。

また、カメラの二次元映像からステレオ処理を行い、三次元処理を行うため、取得するカメラの選別が多く、設置角度や高さの制限を緩くなる。それで日常設置でも可能となる。

以上のことから、在宅や介護設備など高齢者向けサービス提供する際には、カメラを高齢者に生活を支障しないところを設置することができる。取得した日常生活の行動を分析することで、高齢者の身体健康状態を計測することが可能になる。

１０：カメラ、１１：２Ｄ情報取得部、１２：対象分類部、１３：行動特定部、１４：身体特徴抽出部、１５：３Ｄ情報取得部、１６：身体健康状態分析部、２０：画像、ＤＢ１：認証登録データベース、２２：検知部、２３：認証部、２４追跡部、ＤＢ２：追跡結果データベース、２６：高齢者Ａの結果、２７：高齢者Ｂの結果、ＤＢ３：特徴データベース、ＤＢ４：時間設定情報データベース、６１：朝行動特定部、６２：朝身体特徴抽出部、６３：昼行動特定部、６４：昼身体特徴抽出部、６５：夜行動特定部、６６：夜身体特徴抽出部、ＤＢ５：健康度合いデータベース、７１：度合い行動選別部

Claims (9)

1. カメラにより二次元映像を取得する２Ｄ情報取得部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、前記２Ｄ情報取得部で取得した二次元映像から検出対象者を分類する対象分類部と、前記対象分類部で分類された前記検出対象者の行動パターンを二次元映像上で特定する行動特定部と、前記行動特定部で特定された二次元映像上の行動パターンに基づき、前記３Ｄ情報取得部からの前記三次元データを分析して三次元での身体特徴を抽出する身体特徴抽出部と、抽出した三次元での特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置。
2. 請求項１に記載の身体健康状態映像分析装置であって、
   前記特定した行動パターンに対してステレオ処理を行い、三次元データを取得することを特徴とする身体健康状態映像分析装置。
3. 請求項１に記載の身体健康状態映像分析装置であって、
   前記取得した三次元データを用いて、身体特徴を抽出することを特徴とする身体健康状態映像分析装置。
4. 請求項１に記載の身体健康状態映像分析装置であって、
   前記取得した二次元映像、三次元データを用いて、複数の高齢者の身体健康状態を分析することを特徴とする身体健康状態映像分析装置。
5. 請求項１に記載の身体健康状態映像分析装置であって、
   前記行動特定部において特定する行動は、複数の行動の組合せであることを特徴とする身体健康状態映像分析装置。
6. 請求項１に記載の身体健康状態映像分析装置であって、
   １日の時間に応じて、分析する身体健康状態を調整することを特徴とする身体健康状態映像分析装置。
7. 請求項１に記載の身体健康状態映像分析装置であって、
   高齢者の健康度合いに応じて、分析する身体健康状態を調整することを特徴とする身体健康状態映像分析装置。
8. 管理対象者を二次元映像として取得して二次元映像から管理対象者を特定し、かつ管理対象者の行動パターンを特定し、管理対象者を三次元映像として取得して前記特定された行動パターンに基づき、前記三次元映像を分析して三次元の身体特徴を抽出し、抽出した三次元の特徴を用いて身体健康状態を分析するとともに、
   少なくとも管理対象者を二次元映像として取得する場所、前記身体健康状態を分析する場所はクラウドを介して通信により接続されていることを特徴とする身体健康状態映像分析システム。
9. 請求項８に記載の身体健康状態映像分析システムであって、
   前記管理対象者の関係者がいる場所はクラウドを介して通信により接続されており、少なくとも前記身体健康状態の分析結果を確認できることを特徴とする身体健康状態映像分析システム。

Images