以下、図面を参照して、実施形態に係る動作情報処理装置及びプログラムを説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
(第1の実施形態)
図1は、第1の実施形態に係る動作情報処理装置100の構成例を示すブロック図である。第1の実施形態に係る動作情報処理装置100は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
図1に示すように、第1の実施形態において、動作情報処理装置100は、動作情報収集部10に接続される。
動作情報収集部10は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部14の処理を説明する際に詳述する。また、動作情報収集部10としては、例えば、Kinect(登録商標)が用いられる。
図1に示すように、動作情報収集部10は、カラー画像収集部11と、距離画像収集部12と、音声認識部13と、動作情報生成部14とを有する。なお、図1に示す動作情報収集部10の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部11は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部11は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部11は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた情報とが含まれる。カラー画像収集部11は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部11によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部11は、受光素子として、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)を有する。
距離画像収集部12は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部12は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部12は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部12との距離を求め、撮影範囲に対応する1フレームの距離画像情報を生成する。この1フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部12との距離が対応付けられた情報とが含まれる。距離画像収集部12は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部12によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部12は、受光素子として、例えば、CMOSやCCDを有する。この受光素子は、カラー画像収集部11で用いられる受光素子と共用されても良い。また、距離画像収集部12によって算出される距離の単位は、例えば、メートル[m]である。
音声認識部13は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部13は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部13は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部13は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部13は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部14は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作(ジェスチャー)を複数の姿勢(ポーズ)の連続として捉えることにより生成される。概要を説明すると、動作情報生成部14は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部12によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部14は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる3次元空間の座標系(以下、「世界座標系」と呼ぶ)で表される値に変換する。この世界座標系で表される各関節の座標が、1フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第1の実施形態に係る動作情報生成部14の処理を具体的に説明する。
図2Aから図2Cは、第1の実施形態に係る動作情報生成部14の処理を説明するための図である。図2Aには、距離画像収集部12によって生成される距離画像の一例を示す。なお、図2Aにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置X」と、距離画像の上下方向における「画素位置Y」と、当該画素に対応する被写体と距離画像収集部12との「距離Z」とを対応付けた3次元の値を有する。以下では、距離画像座標系の座標の値を、この3次元の値(X,Y,Z)で表記する。
第1の実施形態において、動作情報生成部14は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部14は、距離画像収集部12によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部14は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図2Bには、人体パターンの一例を示す。第1の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報(以下、「人体表面」と呼ぶ)を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図2Bに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図2Bに示す例では、人体パターンは、関節2aから関節2tまでの20点の関節の情報を有する。このうち、関節2aは、頭部に対応し、関節2bは、両肩の中央部に対応し、関節2cは、腰に対応し、関節2dは、臀部の中央部に対応する。また、関節2eは、右肩に対応し、関節2fは、右肘に対応し、関節2gは、右手首に対応し、関節2hは、右手に対応する。また、関節2iは、左肩に対応し、関節2jは、左肘に対応し、関節2kは、左手首に対応し、関節2lは、左手に対応する。また、関節2mは、右臀部に対応し、関節2nは、右膝に対応し、関節2oは、右足首に対応し、関節2pは、右足の足根に対応する。また、関節2qは、左臀部に対応し、関節2rは、左膝に対応し、関節2sは、左足首に対応し、関節2tは、左足の足根に対応する。
なお、図2Bでは、人体パターンが20点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節2aから関節2dまでのうち、関節2b及び関節2cの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節2hのみならず、右手の指の関節を新たに設定して良い。なお、図2Bの関節2a、関節2h、関節2l、関節2p、関節2tは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部14は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部14は、図2Bに示す人体パターンの人体表面と、図2Aに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部14は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部14は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図2Cに示すように、動作情報生成部14は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部14は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係(例えば、「関節2aと関節2bとが連結」等)や、各関節の可動域が含まれる。関節は、2つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部14は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部14は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる3次元空間の座標系であり、例えば、動作情報収集部10の位置を原点とし、水平方向をx軸、鉛直方向をy軸、xy平面に直交する方向をz軸とする座標系である。なお、このz軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第1の実施形態において、動作情報生成部14は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部14は、ある関節の座標(X1,Y1,Z1)、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標(X1,Y1,Z1)を世界座標系の座標(x1,y1,z1)に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部14は、座標(X1,Y1,Z1)に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部14が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離画像座標系の座標に変換することも可能である。
そして、動作情報生成部14は、この世界座標系で表される各関節の座標から骨格情報を生成する。図3は、動作情報生成部14によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部14は、図3に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図3において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「2a」は、頭部に対応し、関節識別情報「2b」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図3の1行目には、関節識別情報「2a」と、座標情報「(x1,y1,z1)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて頭部が座標(x1,y1,z1)の位置に存在することを表す。また、図3の2行目には、関節識別情報「2b」と、座標情報「(x2,y2,z2)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて両肩の中央部が座標(x2,y2,z2)の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部14は、距離画像収集部12から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部14は、生成した各フレームの骨格情報を、動作情報処理装置100へ出力し、後述の動作情報記憶部へ格納する。
なお、動作情報生成部14の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部14が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部14が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部14が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部14は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Z」の情報は含まれない。そこで、動作情報生成部14は、例えば、この「距離Z」の情報については距離画像情報から得て、これら2つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部14は、カラー画像収集部11によって生成されたカラー画像情報、距離画像収集部12によって生成された距離画像情報及び音声認識部13によって出力された音声認識結果を、必要に応じて動作情報処理装置100へ適宜出力し、後述の動作情報記憶部へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部11及び距離画像収集部12の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部14によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部12により算出される距離[m]を用いることで、身長や体の各部の長さ(腕の長さや腹部の長さ)を求めたり、カラー画像上で指定された2ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部14は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節2aがあれば、その関節2aを含む人物が発した単語として出力可能である。更に、動作情報生成部14は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置100へ適宜出力し、後述の動作情報記憶部へ格納する。
なお、ここでは、動作情報収集部10によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部10の撮影範囲に含まれていれば、動作情報収集部10は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部10は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として動作情報処理装置100へ出力する。
また、動作情報収集部10の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部10は、必ずしも距離画像収集部12を有していなくても良い。かかる場合、動作情報収集部10は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部10は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部10は、カラー画像収集部11によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置100へ適宜出力する。また、例えば、動作情報収集部10は、音声認識結果を動作情報処理装置100へ出力しない場合には、音声認識部13を有していなくても良い。
更に、上述した実施形態において、動作情報収集部10は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部10は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置100側で行ってもよい。
図1の説明に戻る。動作情報処理装置100は、動作情報収集部10から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。動作情報処理装置100は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図1に示すように、出力部110と、入力部120と、記憶部130と、制御部140とを有する。
出力部110は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部110は、動作情報処理装置100を操作する操作者が入力部120を用いて各種要求を入力するためのGUI(Graphical User Interface)を表示したり、動作情報処理装置100において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部110は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部110は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであっても良い。
入力部120は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部120は、動作情報処理装置100の操作者から各種要求の入力を受け付け、受け付けた各種要求を動作情報処理装置100に転送する。例えば、入力部120は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部120は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
記憶部130は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部140は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路、或いはCPU(Central Processing Unit)が所定のプログラムを実行することで実現することができる。
以上、第1の実施形態に係る動作情報処理装置100の構成について説明した。かかる構成のもと、第1の実施形態に係る動作情報処理装置100は、動作情報収集部10によって収集された人物の動作情報を解析することでリハビリを支援し、リハビリの質を向上させる。具体的には、第1の実施形態に係る動作情報処理装置100は、人物の動作を表す動作情報を取得する取得部と、取得部によって動作情報を取得された人物に関して、リハビリに係る動作を支援する支援情報を出力する出力部とを備えることによりリハビリの質を向上させる。
ここで、本願に係る動作情報処理装置100は、リハビリに関わる人物の動作情報を取得して、当該人物に対して支援情報を出力するが、リハビリにはリハビリの対象となる対象者と、対象者を介助する介助者とが関わる。そこで、まず、第1の実施形態〜第4の実施形態において対象者に対する支援を行う場合について説明した後、第5の実施形態〜第9の実施形態において介助者に対する支援を行う場合について説明する。
第1の実施形態に係る動作情報処理装置100は、上述した構成のもと、対象者に対する支援を行う。具体的には、第1の実施形態に係る動作情報処理装置100は、動作情報収集部10によって収集されたリハビリを実行する対象者の動作情報を解析することで、対象者のリハビリを支援する。
ここで、本実施形態に係る動作情報処理装置100は、以下、詳細に説明する処理により、人為的な支援が無くても効果的なリハビリを行うことを可能にする。現在、リハビリの運動療法においては、理学療法士や介護士などの介助者の支援のもと、動作訓練や歩行訓練、関節可動域訓練、筋肉増強訓練などが実行される。このような運動療法は、リハビリテーション専門医などの適切な指示をもとに訓練メニューが決められる。そして、理学療法士や介護士などの介助者が、対象者に付いて指示をしながら、決められた訓練メニューを実行するように促す。
ここで、リハビリの訓練メニューにおいては、訓練種別ごとに規則(ルール)が設定される場合がある。例えば、足に障害を有する対象者によって実行される歩行訓練のうちの階段歩行訓練では、「階段を上るときには障害を有していない方の足から踏み出し、階段を下りるときには障害を有する方の足から踏み出す」というルールが設定される。また、例えば、腕に障害を有する対象者によって実行される関節可動域訓練では、「腕を肩の高さまで上げて、手首を回す」などのルールが設定される。このようなルールは、理学療法士や介護士などの介助者が対象者に付いて注意を促しながらリハビリを行う場合には遵守されうる。
しかしながら、対象者が一人で訓練メニューを実行する場合には、このようなルールが守られない場合がある。近年、リハビリを支援する介助者の人数が大幅に不足していることも指摘されており、リハビリに対する人為的な支援がなくても、正しく、効果の高いリハビリが行えるようなリハビリ支援方法が求められている。そこで、第1の実施形態に係る動作情報処理装置100は、動作情報収集部10によって収集された動作情報を用いた処理により、人為的な支援が無くても効果的なリハビリを行うことを可能にする。
図4は、第1の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。図4に示すように、動作情報処理装置100においては、例えば、記憶部130が動作情報記憶部1301と、対象者情報記憶部1302と、ルール情報記憶部1303とを備える。
動作情報記憶部1301は、動作情報収集部10によって収集された各種情報を記憶する。具体的には、動作情報記憶部1301は、動作情報生成部14によって生成された動作情報を記憶する。より具体的には、動作情報記憶部13011は、動作情報生成部14によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部1301は、動作情報生成部14によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
対象者情報記憶部1302は、リハビリを実行する対象者の各種情報を記憶する。具体的には、対象者情報記憶部1302は、対象者の検査データや、障害箇所の情報などを含む対象者情報を記憶する。ここで、対象者情報記憶部1302によって記憶される対象者情報は、医療情報システムや、個人の健康情報記録(PHR:Personal Health Record)などから取得される。医療情報システムは、院内で利用される情報システムであり、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付(個人、資格認証)システム、診療支援システムなどが挙げられる。また、PHRは、例えば、医療機関、健診機関、スポーツジム及び家庭などに散在している医療情報、保健情報及び健康情報を集約して管理される記録である。PHRは、例えば、ネットワーク上に構築された管理システムを用いて個人が主体となって管理される。
例えば、動作情報処理装置100がネットワークを介して上述した医療情報システムと接続されている場合には、制御部140が入力部120を介して動作情報処理装置100の操作者から対象者情報の取得要求を受付けて、医療情報システムから対象者情報を取得し、取得した対象者情報を対象者情報記憶部1302に格納する。ここで、入力部120は、対象者情報の取得要求として対象者の氏名や氏名番号などの情報を受付ける。
一方、動作情報処理装置100がネットワークを介して上述した医療情報システムと接続されていない場合には、操作者が、例えば、外付けハードディスク、フラッシュメモリ(Flash Memory)、メモリカード(Memory Card)フレキシブルディスク(FD)、CD−ROM、MO、DVDなどの可搬性記憶媒体を用いて医療情報システムから動作情報処理装置100に対象者情報を移動させることも可能である。または、対象者情報を動作情報処理装置100に移動させず、上述した可搬性記憶媒体を動作情報処理装置100に接続した状態で対象者情報記憶部1302として用いてもよい。なお、動作情報処理装置100がネットワークを介して上述した医療情報システムと接続されている場合に、可搬性記憶媒体を用いて医療情報システムから動作情報処理装置100に対象者情報を移動させることも可能である。以下、対象者情報の一例について説明する。
図5は、第1の実施形態に係る対象者情報記憶部1302によって記憶される対象者情報の一例を示す図である。図5においては、構造化された対象者情報の一例を示す。具体的には、図5の(A)においては、対象者ごとに記憶される患者データの例を示す。また、図5の(B)においては、図5の(A)に示す対象者ごとの患者データにそれぞれ含まれる検査項目の例を示す。また、図5の(C)〜(E)においては、図5の(B)に示す検査項目に含まれる障害箇所情報の例をそれぞれ示す。
例えば、図5の(A)に示すように、対象者情報記憶部1302は、対象者ごとに、氏名、氏名番号、所属、生年月日、性別、検査項目などが対応付けられた患者データを記憶する。図5の(A)に示す患者データは、対象者を特定するための情報である。「氏名」は、対象者の氏名を示し、「氏名番号」は、対象者を一意に特定するための識別子を示し、「所属」は、対象者の所属科を示し、「生年月日」は、対象者の生年月日を示し、「性別」は、対象者の性別を示し、「検査項目」は、対象者が受けた検査項目を記述する欄である。
そして、例えば、図5の(B)に示すように、対象者情報記憶部1302は、年月日、機関名、検査データ、所見データ、障害箇所情報などを対応付けた検査項目を記憶する。図5の(B)に示す「年月日」は、対象者が検査を受信した年月日を示し、「機関名」は、対象者が検査を受信した医療機関名を示し、「検査データ」は、対象者が受信した検査の数値データを示し、「所見データ」は、対象者が受信した検査に対する医師の所見を示し、「障害箇所情報」は、対象者が有する障害の箇所の情報を示す。
ここで、例えば、「検査データ」には、図5の(B)に示すように、身長、体重、白血球数、中性脂肪数値などが含まれ、各項目について、検査結果の数値が記録される。また、「所見データ」には、図5の(B)に示すように、心電図、胸部X線、超音波検査などが含まれ、各項目について、例えば、「異常なし」や、「評価A」、「評価B」などの所見データが記録される。
そして、図5の(B)に示す障害箇所情報には、例えば、図5の(C)〜(E)に示すような、障害箇所情報が含まれる。例えば、図5の(C)に示すように、項目と値とを対応付けて構造化された障害箇所情報が含まれる。ここで、「項目」は、どのような行為に対する障害かを示し、「値」は、身体における障害箇所を示す。例えば、図5の(C)に示す「項目:歩行障害箇所、値:左膝」の情報は、歩行に関して、左膝が障害箇所であることを意味する。
また、例えば、図5の(D)に示すように、シェーマ情報が障害箇所情報として含まれる。例えば、図5の(D)に示すように、人体全身のシェーマの左膝にマークされたシェーマ情報が含まれる。
また、例えば、図5の(E)に示すように、フリーテキストの医療情報が障害箇所情報として含まれる。例えば、図5の(E)に示すように、カルテのコメント欄に記載されるようなフリーテキストの医療情報「半年前から左膝に痛みが出始めている。最近では、歩くときや階段の昇り降りに痛みを感じている。」が含まれる。
図4に戻って、ルール情報記憶部1303は、リハビリテーションにおける対象者に関する規則情報を記憶する。具体的には、ルール情報記憶部1303は、リハビリの訓練種別ごとに設定された規則(ルール)の情報であるルール情報を記憶する。図6は、第1の実施形態に係るルール情報記憶部1303によって記憶されるルール情報の一例を示す図である。ここで、図6においては、歩行訓練における訓練種別ごとにルールが対応付けられたルール情報を示す。
例えば、図6に示すように、ルール情報記憶部1303は、訓練種別と、歩行条件と、歩行正否内容とが対応付けられたルール情報を記憶する。一例を挙げると、図6に示すように、ルール情報記憶部1303は、「訓練種別:階段歩行、歩行条件:上り、歩行正否内容:歩行障害箇所を有する側の膝<歩行障害箇所を有さない側の膝」とするルール情報を記憶する。かかる情報は、「階段歩行」の訓練において、「上り」では、「歩行障害箇所を有する側の膝」が「歩行障害箇所を有さない側の膝」よりも高くならないようにすることを意味する。すなわち、「歩行障害箇所を有する側の膝」が「歩行障害箇所を有さない側の膝」よりも高い位置になった場合には、正しい歩行ではないことを意味する。
これは、例えば、階段を上る際に、常に「歩行障害箇所を有さない側の足」から踏み出した場合、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有さない側の膝」よりも高くなることはないという事実をもとに設定されたルール情報である。言い換えると、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有さない側の膝」よりも高くならないように階段を上れば、常に「歩行障害箇所を有さない側の足」から踏み出していることを意味する。
同様に、ルール情報記憶部1303は、図6に示すように、「訓練種別:階段歩行、歩行条件:下り、歩行正否内容:歩行障害箇所を有さない側の膝>歩行障害箇所を有する側の膝」とするルール情報を記憶する。かかる情報は、「階段歩行」の訓練において、「下り」では、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有する側の膝」よりも低くならないようにすることを意味する。すなわち、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有する側の膝」よりも低い位置になった場合には、正しい歩行ではないことを意味する。
なお、図6に示すルール情報は、あくまでも歩行訓練の一例を示す。すなわち、ルール情報記憶部1303は、動作訓練や、関節可動域訓練、筋肉増強訓練などの各訓練の訓練種別ごとに、種々のルール情報を記憶する。例えば、ルール情報記憶部1303は、腕に障害を有する対象者によって実行される関節可動域訓練のルールである「腕を肩の高さまで上げて、手首を回す」のルール情報として、「訓練種別:上肢関節可動域、対象条件:腕全体、正否内容:肩関節の高さ=肘関節の高さ&手首の回転」とするルール情報を記憶する。かかる情報は、「上肢関節可動域」の訓練において、「腕全体」を対象とする場合に、「肘関節の高さ」が「肩関節の高さ」と略同一の状態で、「手首の回転」が実施されるようにすることを意味する。すなわち、「肘関節の高さ」が「肩関節の高さ」まで至っていない段階で、「手首の回転」が行われている場合には、正しい関節可動域訓練ではないことを意味する。
上述したように、ルール情報記憶部1303は、訓練種別ごとに種々のルール情報を記憶する。これらのルール情報は、対象者情報と同様にネットワーク経由で取得する場合であってもよく、或いは、操作者によって入力部120から直接入力される場合であってもよい。上述したルール情報は、病院ごと或いは介助者ごとに独自のルールが設定される場合もある。
図4に戻って、動作情報処理装置100においては、例えば、制御部140が取得部1401と、判定部1402と、出力制御部1403とを備え、記憶部130に記憶された各種情報を用いて、人為的な支援が無くても効果的なリハビリを行うことを可能にする。なお、以下では、リハビリとして階段歩行訓練を行う場合を例に挙げて説明する。しかしながら、実施形態はこれに限定されるものでない。
取得部1401は、リハビリテーションの対象となる対象者の動作情報を取得する。具体的には、取得部1401は、動作情報収集部10によって収集され、動作情報記憶部1301によって記憶された動作情報を取得する。より具体的には、取得部1401は、動作情報記憶部1301によってフレームごとに記憶された骨格情報を取得する。
例えば、取得部1401は、リハビリテーションの内容に対応する動作の実行後の骨格情報を取得する。一例を挙げると、取得部1401は、階段歩行訓練を実行する対象者が階段を1段上った後の各フレームの骨格情報を取得する。言い換えると、取得部1401は、動作情報収集部10によって収集された階段を上る際の対象者の行動開始フレームから階段を1段上った後のフレームまでの骨格情報を収集する。
判定部1402は、リハビリテーションにおいて対象者に関連する規則情報に基づいて、取得部1401によって取得された動作情報で示される対象者の動作が規則情報に含まれる規則に沿っているか否かを判定する。具体的には、判定部1402は、対象者によって実行されるリハビリテーションの内容及び当該対象者の患部の情報によって決定されるルール情報に基づいて、動作情報で示される対象者の動作がルール情報に含まれる規則に沿っているか否かを判定する。例えば、判定部1402は、取得部1401によって取得された動作の実行後の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。
一例を挙げると、判定部1402は、対象者情報記憶部1302によって記憶された対象者情報からリハビリを実行する対象者の対象者情報を取得する。そして、判定部1402は、取得した対象者情報に含まれる障害箇所情報から対象者の障害箇所を抽出する。例えば、判定部1402は、入力部120を介して、患者データが「氏名:A、氏名番号:1」である対象者が階段歩行訓練を実行する旨の情報を受付けると、対応する患者データに含まれる検査項目を参照して、対象者の「障害箇所:左膝」を抽出する(図5参照)。ここで、判定部1402は、例えば、障害箇所情報の「項目」をキーとして障害箇所を抽出したり、或いは、シェーマに記された情報(例えば「×」印)の位置から障害箇所を抽出したり、テキストマイニング技術によってフリーテキストから障害箇所を抽出したりする。
そして、判定部1402は、ルール情報記憶部1303によって記憶されたルール情報を参照して、階段歩行訓練時のルールを抽出する(図6参照)。例えば、判定部1402は、図6に示すルール情報を参照して、「訓練種別」が「階段歩行」である「歩行条件:上り」のルール「歩行障害箇所を有する側の膝<歩行障害箇所を有さない側の膝」と「歩行条件:下り」のルール「歩行障害箇所を有さない側の膝>歩行障害箇所を有する側の膝」とを取得する。その後、判定部1402は、取得部1401によって取得される対象者「氏名:A」の動作情報から、「左膝」に障害を有する対象者「氏名:A」の階段歩行訓練がルールに沿って実行されているか否かを判定する。
図7は、第1の実施形態に係る判定部1402による判定処理の一例を説明するための図である。図7においては、「左膝」に障害を有する対象者「氏名:A」の階段歩行訓練がルールに沿って実行されているか否かを判定する場合について模式的に示す。ここで、図7においては、階段を昇降している対象者「氏名:A」を撮影対象として、動作情報収集部10によって収集されたカラー画像情報と、距離画像情報を元に生成された骨格情報の一部を重畳させた図を示す。
例えば、判定部1402は、対象者情報から対象者「氏名:A」が「左膝」に障害を有することを識別して、ルール情報をもとに対象者「氏名:A」が階段を上る際には右足から踏み出し、対象者「氏名:A」が階段を下る際には左足から踏み出すという対象者「氏名:A」に対する判定基準を設定する。そして、判定部1402は、取得部1401によって動作情報記憶部1301から取得される動作情報(骨格情報)によって示される対象者「氏名:A」の動作が判定基準を満たすか否かを判定する。
すなわち、判定部1402は、図7に示すように、フレームごとに収集される骨格情報において、右膝に対応する関節識別情報「2n」の座標情報と、左膝に対応する関節識別情報「2r」の座標情報とを参照して、階段を上る際には左膝が右膝よりも高くなるか否かを判定し、階段を下る際には右膝が左膝よりも低くなるか否かを判定することで、対象者「氏名:A」の動作が判定基準を満たすか否かを判定する。
換言すると、判定部1401は、フレームごとに右膝に対応する関節識別情報「2n」のy座標の値「y14」と、左膝に対応する関節識別情報「2r」のy座標の値「y18」とを比較して、「y14>y18」なっているか否かを判定する(図3参照)。ここで、「y14<y18」となった場合には、判定部1402は、実行されているリハビリがルールに沿って実行されていないと判定する。かかる場合には、判定部1402は、通知部に対して、リハビリがルールに沿って実行されていないとする判定結果を出力する。
例えば、図7においては、左下側に示す階段歩行の場合には、階段を上る際に左膝が右膝よりも高くなっている(障害のある左足から踏み出している)ことから、判定部1402は、ルールに沿っていないと判定する。また、図7の右上側に示す階段歩行の場合には、階段を下る際に右膝が左膝よりも低くなっていない(障害のある左足から踏み出している)ことから、判定部1402は、ルールに沿っていると判定する。
このように、判定部1402は、動作情報収集部10によって収集されたフレームごとの骨格情報の座標情報(x,y,z)を用いて、連続的に動きながらリハビリを実行している対象者の動作が、該対象者ごとに導き出されるルールに沿っているか否かをフレームごとに判定する。なお、上述した例では、階段歩行訓練を行う場合を一例に挙げて説明したが、その他の訓練についても同様に、判定部1402は、フレームごとの骨格情報の座標情報(x,y,z)を用いて判定処理を行う。
例えば、腕に障害がある対象者が関節可動域の訓練を実行する場合には、判定部1402は、対象者情報記憶部1302の対象者情報を参照して、対象者の腕に障害があることを取得する。そして、判定部1402は、対象者から関節可動域の訓練を実行する旨の操作を受付けると、ルール情報記憶部1303によって記憶された「訓練種別:上肢関節可動域、対象条件:腕全体、正否内容:肩関節の高さ=肘関節の高さ&手首の回転」とするルール情報を取得して判定を行う。すなわち、判定部1402は、肩の関節「2e」及び「2i」のy座標の値に対する肘の関節「2f」及び「2j」のy座標の値を比較することで、「肩関節の高さ=肘関節の高さ」となっているかを判定する。
そして、判定部1402は、「肩関節の高さ=肘関節の高さ」となっている状態で、「手首の回転」、すなわち、手首の関節「2g」及び「2k」の座標を基点として、手の関節「2h」及び「2l」の座標がそれぞれ旋回しているかを判定する。ここで、判定部1402は、右肩の関節「2e」のy座標の値に対する右肘の関節「2f」のy座標の値が略同一でない状態で、右手の関節「2h」の座標が旋回している場合、或いは、左肩の関節「2i」のy座標の値に対する左肘の関節「2j」のy座標の値が略同一でない状態で、左手の関節「2l」の座標が旋回している場合に、訓練が正しく行われていない判定する。
なお、上述した判定の例では、骨格情報の座標情報のみを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、座標情報に所定の閾値を加える場合であってもよい。上述した階段歩行における判定の一例を挙げると、判定部1402は、フレームごとに右膝に対応する関節識別情報「2n」のy座標の値「y14」と、左膝に対応する関節識別情報「2r」のy座標の値「y18」とを比較する際に、例えば、「2r」のy座標の値「y18」に所定の閾値「α」を加えた「y14>y18+α」になっているか否かを判定する。すなわち、判定部1402は、「y14<y18+α」となった場合に、実行されているリハビリがルールに沿って実行されていないと判定する。これにより、例えば、階段を昇降する際の踏み出した側の足をより確実に判定することができる。
また、上述した階段歩行の判定の例では、膝の高さによって判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、足のその他の関節で判定する場合であってもよい。例えば、足首の関節の座標情報を用いて判定する場合であってもよい。かかる場合には、ルール情報記憶部1303によって記憶されるルール情報は、「歩行条件:上り」のルール「歩行障害箇所を有する側の足首<歩行障害箇所を有さない側の足首」と「歩行条件:下り」のルール「歩行障害箇所を有さない側の足首>歩行障害箇所を有する側の足首」となる。また、例えば、2箇所の関節の高さを用いて、総合的に判定される場合であってもよい。
また、上述した膝の高さを判定する例、及び、肩と肘の高さを判定する例において、それぞれ「y座標の値」のみを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、「x座標の値」及び「z座標の値」のうち、少なくとも一方を考慮して判定される場合であってもよい。かかる場合には、それぞれを考慮したルール情報がルール情報記憶部1303にて記憶される。
図4に戻って、出力制御部1403は、判定部1402による判定結果を出力部110から出力するように制御する。例えば、出力制御部1403は、出力部110を制御して光や音などを発生させることにより、動作がルールに沿っていないことを、リハビリを実行している対象者に対して通知する。一例を挙げると、出力制御部1403は、出力部110の表示面を赤く点滅させたり、警告音を鳴らしたりすることで、リハビリを実行している対象者に対して通知する。
ここで、出力制御部1403は、音声によって対象者に通知することも可能である。例えば、出力制御部1403は、対象者が間違った側の足を踏み出して階段を上った場合に、正しい側の足から踏み出すように音声によって通知することも可能である。
上述したように、第1の実施形態に係る動作情報処理装置100においては、対象者が一人でリハビリを実行している場合に、対象者ごとのリハビリのルールを抽出して、動作情報によって示される動作がルールに沿っているか否かを判定し、ルールに沿っていない場合に、判定結果を通知する。その結果、第1の実施形態に係る動作情報処理装置100は、対象者に対する人為的な支援が無くても効果的なリハビリを行うことを可能にする。
次に、図8を用いて、第1の実施形態に係る動作情報処理装置100の処理について説明する。図8は、第1の実施形態に係る動作情報処理装置100による処理の手順を示すフローチャートである。なお、図8においては、対象者によってリハビリの支援を開始する指示操作が実行された後の処理について示す。
図8に示すように、第1の実施形態に係る動作情報処理装置100においては、支援開始の指示を受付けると、判定部1402は、対象者情報記憶部1302からリハビリを実行する対象者の対象者情報を取得する(ステップS101)。そして、判定部1402は、取得した対象者情報に応じたルール情報をルール情報記憶部1303から取得して(ステップS102)、取得部1401が、動作情報(骨格情報)を取得する(ステップS103)。
その後、判定部1402は、動作情報によって示される対象者の動作が取得したルール情報に含まれるルールに沿っているか否かを判定する(ステップS104)。ここで、ルールに沿っていると判定した場合には(ステップS104肯定)、判定部1402は、リハビリが終了したか否かを判定する(ステップS106)。
一方、ルールに沿っていないと判定された場合には(ステップS104否定)、出力制御部1403は、対象者に対して、動作が間違っていることを通知する(ステップS105)。そして、判定部1402は、リハビリが終了したか否かを判定する(ステップS106)。ステップS106において、リハビリが終了していないと判定した場合には(ステップS106否定)、ステップS103に戻って、取得部1401が動作情報を取得する。一方、リハビリが終了した場合には(ステップS106肯定)、動作情報処理装置100は、処理を終了する。
上述したように、第1の実施形態によれば、取得部1401が、リハビリテーションの対象となる対象者の骨格にかかる動作情報を取得する。判定部1402が、リハビリテーションにおいて対象者に関連するルール情報に基づいて、取得部1401によって取得された動作情報で示される対象者の動作がルール情報に含まれるルールに沿っているか否かを判定する。そして、出力制御部1403は、判定部1402による判定結果を出力する。従って、第1の実施形態に係る動作情報処理装置100は、対象者に対して間違いを通知することができ、対象者に対する人為的な支援が無くても効果的なリハビリを行うことを可能にする。
また、第1の実施形態によれば、判定部1402は、対象者によって実行されるリハビリテーションの内容及び当該対象者の患部の情報によって決定されるルール情報に基づいて、動作情報で示される対象者の動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第1の実施形態に係る動作情報処理装置100は、対象者ごとの注意事項を遵守するようにルールを設定することができ、対象者に適したリハビリを実行させることを可能にする。
また、第1の実施形態によれば、取得部1401は、リハビリテーションの内容に対応する動作の実行後の動作情報を取得する。そして、判定部1402は、取得部1401によって取得された動作の実行後の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第1の実施形態に係る動作情報処理装置100は、対象者が実施した動作に応じて、判定を行うことを可能にする。
(第2の実施形態)
上述した第1の実施形態では、対象者がリハビリの内容の動作(例えば、階段の昇降など)を実行した後に、当該動作がルールに沿っているか否かを判定する場合について説明した。第2の実施形態に係る動作情報処理装置100は、対象者がリハビリの内容の動作を完結する前に、実行された動作がルールに沿っているか否かを判定する場合について説明する。すなわち、第2の実施形態に係る動作情報処理装置100は、対象者の動作を予測して、予測した動作がルールに沿っていない場合に通知する。ここで、第2の実施形態に係る動作情報処理装置100は、ルール情報記憶部1303によって記憶される情報と、判定部1402による判定処理が異なる。以下、これらを中心に説明する。
第2の実施形態に係るルール情報記憶部1303は、判定部1402が対象者の動作を予測するために用いるルール情報を記憶する。例えば、ルール情報記憶部1303は、骨格情報における関節識別情報の座標の位置関係から対象者の体勢を予測させる情報や、閾値、などを記憶する。
第2の実施形態に係る判定部1402は、ルール情報に記憶されたルール対象者の動作を予測するためのルール情報を参照して、取得部1401によって取得される対象者の動作を予測する。図9は、第2の実施形態に係る判定部1402による処理の一例を説明するための図である。図9においては、「左膝」に障害を有する対象者「氏名:A」が階段歩行訓練を実行する際の動作を予測する場合について示す。
例えば、図9に示すように、対象者「氏名:A」が階段を上る動作を実行しようとしている場合に、判定部1402は、フレームごとに収集される骨格情報において、右の足根に対応する関節識別情報「2p」の座標情報と、左の足根に対応する関節識別情報「2t」の座標情報とを参照して、先に動き出した座標に対応する側の足を踏み出す足として判定し、踏み出す足がルールに沿っているか否かを判定する。
例えば、左の足根に対応する関節識別情報「2t」の座標情報が先に動き出した場合に、判定部1402は、左足を踏み出した足として予測して、左膝に障害を有する対象者が階段を上る際に左足から踏み出していることからルールに沿っていないと判定する。これにより、出力制御部1403は、対象者が実際に階段を一段上がる前に間違いを通知することができる。なお、左の足根に対応する関節識別情報「2t」の座標情報が先に動き出したか否かを判定する閾値(例えば、最初の座標からの移動距離など)は、ルール情報記憶部1303にて記憶される。また、足が動き出したか否かを判定する関節は、足根に限らず、膝や、足首であってもよい。
また、判定部1402は、足が動き出したか否かの判定に加速度や速度の情報を用いることも可能である。骨格情報に含まれる各関節の座標情報は、フレームごとに取得される。従って、各関節が動いた場合の加速度や速度を算出することが可能である。判定部1402は、例えば、フレームごとに収集される骨格情報において、右の足根に対応する関節識別情報「2p」における加速度と、左の足根に対応する関節識別情報「2t」における加速度とを算出して、加速度が所定の閾値を超えた側の足を踏み出した足として判定し、踏み出した足がルールに沿っているか否かを判定することも可能である。
また、判定部1402は、ルール情報記憶部1303によって記憶された対象者の体勢の情報(例えば、2点の位置関係など)に基づいて、対象者の現在の体勢を判定し、対象者が次にどのような行動をとるかを予測して、当該行動がルールに沿っているかを判定することも可能である。
上述したように、第2の実施形態によれば、取得部1401は、リハビリテーションの内容に対応する動作の実行前の動作情報を取得する。判定部1402は、取得部1401によって取得された動作の実行前の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第2の実施形態に係る動作情報処理装置100は、対象者が実際に動作を起こす前に間違いを通知することができ、対象者に対する人為的な支援が無くてもより効果的なリハビリを行うことを可能にする。
(第3の実施形態)
上述した第1及び第2の実施形態では、リハビリの訓練における動作がルールに沿っているか否かを判定する場合について説明した。第3の実施形態では、リハビリの訓練とは直接関係がない動作を判定して、対象者に通知する場合について説明する。ここで、第3の実施形態に係る動作情報処理装置100は、ルール情報記憶部1303によって記憶される情報と、判定部1402及び出力制御部1402による判定処理が異なる。以下、これらを中心に説明する。
第3の実施形態に係るルール情報記憶部1303は、対象者の動作がリハビリの訓練とは直接関係がない動作であるか否かを判定するためのルール情報を記憶する。例えば、ルール情報記憶部1303は、対象者が転倒した場合の骨格情報における関節識別情報の座標の動きなどを記憶する。一例を挙げると、ルール情報記憶部1303は、対象者が転倒した場合の骨格情報における関節識別情報の座標の動きとして、骨格情報に含まれるすべての関節識別情報の座標の急激な変化を記憶する。
第3の実施形態に係る判定部1402は、取得部1401によって取得された前記動作情報に基づいて、前記対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作であるか否かを判定する。図10は、第3の実施形態に係る判定部1402による判定処理の一例を説明するための図である。例えば、判定部1402は、図10に示すように、リハビリの対象者の骨格情報におけるすべての関節識別情報の座標が急激に変化した場合に、対象者が転倒したと判定し、判定結果を出力制御部1403に出力する。
第3の実施形態に係る出力制御部1403は、判定部1402によって対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作ではないと判定された場合に、当該リハビリテーションに復帰するための動作に関する情報を対象者に通知する。例えば、出力制御部1403は、対象者が転倒した旨の情報を判定部1402から受付けると、対象者に対して立ち上がる際のルールを通知する。例えば、左足に障害を有する対象者が転倒した場合には、出力制御部1403は、対象者に対して、障害を有していない右足を軸足として立ち上がるように音声などで通知する。
なお、上述した実施形態では、対象者が転倒する場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、例えば、階段の上りから下り(或いは、下りから上り)に動作を切替える際に、ルールを通知するようにしてもよい。かかる場合には、判定部1402は、骨格情報における関節識別情報の座標の動きから体全体の回転動作を判定して、対象者が振り向く動作を識別して、階段の上りから下り(或いは、下りから上り)への動作の切替えを判定して、出力制御部1403に出力する。出力制御部1403は、対象者に対してルールを通知する。例えば、左足に障害を有する対象者が上りから下りに切替えた場合には、出力制御部1403は、左足から下るように通知する。一方、下りから上りに切替えた場合には、出力制御部1403は、右足から上るように通知する。
上述したように、第3の実施形態によれば、判定部1402は、取得部1401によって取得された動作情報に基づいて、対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作であるか否かを判定する。出力制御部1403は、判定部1402によって対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作ではないと判定された場合に、当該リハビリテーションに復帰するための動作に関する情報を対象者に通知する。従って、第2の実施形態に係る動作情報処理装置100は、リハビリを行っている間、常に対象者の動作を判定して、最適な動作をとるように誘導することが可能である。
(第4の実施形態)
さて、これまで第1〜第3の実施形態について説明したが、上述した第1〜第3の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第1〜第3の実施形態においては、リハビリとして階段歩行訓練や、関節可動域訓練を一例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、筋肉増強訓練などが実行される場合であってもよい。かかる場合には、ルール情報記憶部1303は、各訓練に応じたルール情報を記憶する。そして、判定部1402は、対象者の障害箇所から当該対象者に対応するルール情報を取得し、対象者の動作情報に対応する動作がルールに沿っているか否かを判定する。
上述した第1〜第3の実施形態においては対象者の座標をもとに訓練が正しく行われているか否かを判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ベッドや車椅子などの物の座標をもとに訓練が正しく行われているか否かを判定する場合であってもよい。一例を挙げると、車椅子からベッドへの移乗訓練においては、対象者は、まず、足を上げる分だけスペースを開けた状態まで、車椅子をベッドに直角につける。そして、対象者は、車いすのストッパーをかけて、両足をベッド上に上げてから、車いすとベッドを密着させて、プッシュアップ(ベッド面を押して体を持ち上げる)をしながら、お尻がベッドの上にしっかり乗るまで前進する。その後、対象者は、枕の方向に頭を向けるように体の向きを変える。
このような、車椅子からベッドへの移乗訓練では、例えば、ルール情報記憶部1303は、最初に車椅子をベッドに直角に近づける際の車椅子とベッドとの間のスペースを、対象者の身体の大きさに応じて記憶する。一例を挙げると、ルール情報記憶部1303は、ルール情報として、「訓練種別:移乗訓練、対象条件:車椅子からベッド、正否内容:(身長:140−150cm、対象物間距離:30cm)、(身長:150cm−160cm、対象物間距離:40cm)、…」とするルール情報を記憶する。かかる情報は、「移乗」の訓練において、「車椅子からベッド」を対象とする場合に、身長ごとの対象物間(車椅子とベッドとの間)の距離が設定されていることを意味する。すなわち、対象者の身長ごとに、車椅子とベッドとの間にどの程度の距離をとることが最適であるかが設定されたものである。なお、この距離については任意に設定することができ、所定の幅をもたせることも可能である。
判定部1402は、対象者情報から対象者の身長を読み出し、読み出した身長に対応する距離をルール情報記憶部1303から取得する。そして、判定部1402は、動作情報収集部10によって収集されるカラー画像情報から車椅子とベッドとのフレームごとの距離をそれぞれ算出する。そして、判定部1402は、車椅子とベッドとの距離の変化が停止した時点で、当該時点での距離が対象者の身長に対応する距離であるか否かを判定する。一例を挙げると、対象者の身長が「155cm」であった場合に、判定部1402は、車椅子とベッドとの距離が「40cm」から「±5cm」以内であるか否かを判定する。そして、判定部142は、車椅子とベッドとの距離の変化が停止した時点での距離が、上記した範囲内にない場合に、移乗に最適な距離ではないと判定し、判定結果を出力制御部1403に出力する。
なお、カラー画像情報からの車椅子とベッドとの距離は、例えば、パターンマッチングにより、車椅子及びベッドの座標を検出して、検出した各座標を用いて、距離を算出することができる。
上述した第1〜第3の実施形態においては、判定部1402が対象者の動作がルールに沿っていないと判定した場合に、判定結果を通知部1403に出力して、出力制御部1403が対象者に通知する場合を例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、判定部1402が対象者の動作がルールに沿っていると判定した場合に、判定結果を出力制御部1403に出力して、出力制御部1403が対象者に通知する場合であってもよい。
以上説明したとおり、第1〜第4の実施形態によれば、本実施形態の動作情報処理装置及びプログラムは、人為的な支援が無くても効果的なリハビリを行うことを可能にする。
(第5の実施形態)
上述したように、第1〜第4の実施形態では、人為的な支援が無くても効果的なリハビリを行うことを可能にすることで、リハビリテーションの質を向上させる場合について説明した。ここで、リハビリテーションは、リハビリの対象となる対象者によってのみ行われるとは限らない。例えば、対象者は、介助者による介助の下、リハビリを行う場合がある。以下、第5〜第9の実施形態では、リハビリテーションの対象となる対象者を介助する介助者によって行われる介助の質を高めることができる動作情報処理装置及び方法を提供する場合について説明する。
図11は、距離画像収集部12によって撮影される距離画像の一例を示す。図11では、人物4a(対象者)が人物4b(介助者)からの介助を受けてリハビリを行う場合を例示する。なお、図11においては、説明の便宜上、距離に応じた色の濃淡で表現される距離画像を線画で表している。
図11に示すように、人物4a(対象者)は、人物4b(介助者)の右手によって左腕を支えられて歩行訓練を行っている。このように、リハビリは、介助者による介助の下、行われる場合がある。
しかしながら、介助者によって行われる介助の質が保てない場合がある。例えば、昨今の対象者の増加によって熟練した介助者が相対的に減少していることにより、介助の質が保てない場合がある。また、例えば、自宅や職場等、専門の介助者がいない環境でリハビリが行われる場合にも、介助の質が保てない場合がある。そこで、第5の実施形態に係る動作情報処理装置100aは、以下に説明する処理により、介助者によって行われる介助の質を高めることができる。
図12は、第5の実施形態に係る動作情報処理装置100aの詳細な構成例を示すブロック図である。図12に示すように、動作情報処理装置100aにおいては、記憶部130が動作情報記憶部1304と、対象者動作特徴記憶部1305Aと、介助者動作特徴記憶部1305Bと、対象者画像特徴記憶部1305Cと、介助者画像特徴記憶部1305Dと、第1モード判定記憶部1306Aと、第2モード判定記憶部1306Bと、推奨介助状態記憶部1307とを有する。
動作情報記憶部1304は、動作情報収集部10によって収集された各種情報を記憶する。例えば、動作情報記憶部1304は、人物の動作について、動作情報と、カラー画像情報と、音声認識結果とが対応付けられた情報を記憶する。この動作情報は、動作情報生成部14によって生成されたフレームごとの骨格情報である。この骨格情報の各関節の座標及びカラー画像情報の画素位置は、予め対応付けられている。また、骨格情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。また、例えば、動作情報及びカラー画像情報は、動作情報収集部10によって収集されるごとに動作情報記憶部1304に格納される。
例えば、動作情報記憶部1304は、歩行訓練や関節可動域訓練等、実施されたリハビリごとに、動作情報を記憶する。ここで、1回のリハビリに複数人の動作が含まれる場合がある。具体例を挙げると、図11に示したように、対象者が介助者からの介助を受けて歩行訓練を行う場合には、対象者と介助者のそれぞれの動作の組み合わせによって、1回の歩行訓練が行われることとなる。このような場合には、動作情報記憶部1304は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報をそれぞれ対応付けて、1つの動作情報として記憶する。すなわち、この動作情報は、複数人の動作を同時に表すものである。動作情報記憶部1304は、例えば、動作の撮影が開始された撮影開始時刻情報に対応付けて、動作情報を記憶する。なお、以下では、動作情報が複数人の人物の動作を表す場合を説明するが、実施形態はこれに限定されるものではなく、1人の人物の動作を表す場合であっても良い。
対象者動作特徴記憶部1305Aは、対象者の動作の特徴を表す対象者動作特徴情報を記憶する。例えば、対象者動作特徴記憶部1305Aは、動作ID(Identification)と、対象者動作特徴情報とが対応付けられた情報を記憶する。このうち、動作IDは、動作を識別するための識別情報であり、動作情報処理装置100aの設計者によって動作が定義されるごとに採番される。また、対象者動作特徴情報は、対象者の動作の特徴を表す情報であり、例えば、動作情報処理装置100aの設計者によって予め定義される。
図13Aは、対象者動作特徴記憶部1305Aに記憶される情報の一例を示す図である。図13Aの1つ目のレコードには、動作ID「11」と、対象者動作特徴情報「足を引きずっている」とが対応付けられている。つまり、対象者動作特徴記憶部1305Aは、対象者の動作の特徴の一つとして「足を引きずっている」があることを、動作ID「11」の動作として記憶する。この対象者動作特徴情報「足を引きずっている」は、例えば、動作が行われている間の足根(関節2p又は関節2t)のy座標の最大変化量が1cm未満であるか否かに応じて判定される。また、図13Aの2つ目のレコードには、動作ID「12」と、対象者動作特徴情報「歩く姿勢が良くない」とが対応付けられている。つまり、対象者動作特徴記憶部1305Aは、対象者の動作の特徴の一つとして「歩く姿勢が良くない」があることを、動作ID「12」の動作として記憶する。この対象者動作特徴情報「歩く姿勢が良くない」は、例えば、動作が行われている間の、背骨(関節2bと関節2cとを結ぶ線分)と上下方向とがなす角の平均値が3°以上であるか否かに応じて判定される。また、図13Aの3つ目のレコードには、動作ID「13」と、対象者動作特徴情報「歩く速度が遅い」とが対応付けられている。つまり、対象者動作特徴記憶部1305Aは、対象者の動作の特徴の一つとして「歩く速度が遅い」があることを、動作ID「13」の動作として記憶する。この対象者動作特徴情報「歩く速度が遅い」は、例えば、動作が行われている間の腰(関節2c)の移動速度の最大値が1[m/秒]未満であるか否かに応じて判定される。また、他のレコードについても同様に、対象者動作特徴記憶部1305Aは、動作IDと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者動作特徴記憶部1305Aを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された対象者動作特徴記憶部1305Aが利用されて良い。また、対象者動作特徴記憶部1305Aは、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
介助者動作特徴記憶部1305Bは、介助者の動作の特徴を表す介助者動作特徴情報を記憶する。例えば、介助者動作特徴記憶部1305Bは、動作IDと、介助者動作特徴情報とが対応付けられた情報を記憶する。この介助者動作特徴は、介助者の動作の特徴を表す情報であり、動作情報処理装置100aの設計者によって予め定義される。
図13Bは、介助者動作特徴記憶部1305Bに記憶される情報の一例を示す図である。図13Bの1つ目のレコードには、動作ID「21」と、介助者動作特徴情報「腕を支えている」とが対応付けられている。つまり、介助者動作特徴記憶部1305Bは、対象者の動作の特徴の一つとして「腕を支えている」があることを、動作ID「21」の動作として記憶する。この対象者動作特徴情報「腕を支えている」は、例えば、動作が行われている間の所定時間について、人物の手(関節2h又は関節2l)が他の人物の腕(関節2eと関節2fとを結ぶ線分、又は、関節2iと関節2jとを結ぶ線分)から5cm以内にあるか否かに応じて判定される。また、図13Bの2つ目のレコードには、動作ID「22」と、介助者動作特徴情報「歩く姿勢が良い」とが対応付けられている。つまり、介助者動作特徴記憶部1305Bは、介助者の動作の特徴の一つとして「歩く姿勢が良い」があることを、動作ID「22」の動作として記憶する。この介助者動作特徴情報「歩く姿勢が良い」は、例えば、動作が行われている間の、背骨(関節2bと関節2cとを結ぶ線分)と上下方向とがなす角の平均値が3°未満であるか否かに応じて判定される。また、図13Bの3つ目のレコードには、動作ID「23」と、介助者動作特徴情報「歩く速度が速い」とが対応付けられている。つまり、介助者動作特徴記憶部1305Bは、介助者の動作の特徴の一つとして「歩く速度が速い」があることを、動作ID「23」の動作として記憶する。この対象者動作特徴情報「歩く速度が速い」は、例えば、動作が行われている間の腰(関節2c)の移動速度の最大値が1[m/秒]以上であるか否かに応じて判定される。また、他のレコードについても同様に、介助者動作特徴記憶部1305Bは、動作IDと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる介助者動作特徴記憶部1305Bを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された介助者動作特徴記憶部1305Bが利用されて良い。また、介助者動作特徴記憶部1305Bは、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
対象者画像特徴記憶部1305Cは、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。例えば、対象者画像特徴記憶部1305Cは、器具IDと、対象者器具特徴とが対応付けられた情報を記憶する。このうち、器具IDは、器具を識別するための識別情報であり、動作情報処理装置100aの設計者によって器具が定義されるごとに採番される。また、対象者器具特徴情報は、対象者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。対象者器具特徴情報は、動作情報処理装置100aの設計者によって予め定義される。
図13Cは、対象者画像特徴記憶部1305Cに記憶される情報の一例を示す図である。図13Cの1つ目のレコードには、器具ID「11」と、対象者器具特徴情報「松葉杖」とが対応付けられている。つまり、対象者画像特徴記憶部1305Cは、対象者の画像の特徴の一つとして「松葉杖」の画像情報を、器具ID「11」の器具として記憶する。また、図13Cの2つ目のレコードには、器具ID「12」と、対象者器具特徴情報「ギプス」とが対応付けられている。つまり、対象者画像特徴記憶部1305Cは、対象者の画像の特徴の一つとして「ギプス」の画像情報を、器具ID「12」の器具として記憶する。また、図13Cの3つ目のレコードには、器具ID「13」と、対象者器具特徴情報「車いす」とが対応付けられている。つまり、対象者画像特徴記憶部1305Cは、対象者の画像の特徴の一つとして「車いす」の画像情報を、器具ID「13」の器具として記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者画像特徴記憶部1305Cを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の器具の特徴が記憶された対象者画像特徴記憶部1305Cが利用されて良い。また、対象者画像特徴記憶部1305Cは、歩行訓練を行う対象者の動作特徴や関節可動域訓練を行う対象者の器具の特徴を区別することなく記憶しても良い。
介助者画像特徴記憶部1305Dは、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。例えば、介助者画像特徴記憶部1305Dは、器具IDと、介助者器具特徴とが対応付けられた情報を記憶する。このうち、介助者器具特徴情報は、介助者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。介助者器具特徴情報は、動作情報処理装置100aの設計者によって予め定義される。
図13Dは、介助者画像特徴記憶部1305Dに記憶される情報の一例を示す図である。図13Dの1つ目のレコードには、器具ID「21」と、介助者器具特徴情報「聴診器」とが対応付けられている。つまり、介助者画像特徴記憶部1305Dは、介助者の画像の特徴の一つとして「聴診器」の画像情報を、器具ID「21」の器具として記憶する。また、図13Dの2つ目のレコードには、器具ID「22」と、介助者器具特徴情報「白衣」とが対応付けられている。つまり、介助者画像特徴記憶部1305Dは、介助者の画像の特徴の一つとして「白衣」の画像情報を、器具ID「22」の器具として記憶する。また、図13Dの3つ目のレコードには、器具ID「23」と、介助者器具特徴情報「ネームプレート」とが対応付けられている。つまり、介助者画像特徴記憶部1305Dは、介助者の画像の特徴の一つとして「ネームプレート」の画像情報を、器具ID「23」の器具として記憶する。
第1モード判定記憶部1306A及び第2モード判定記憶部1306Bは、介助者を支援するためのモードである介助モードの開始及び終了を判定するための情報を記憶する。例えば、第1モード判定記憶部1306A及び第2モード判定記憶部1306Bは、後述のモード判定部1406によって参照される。また、例えば、第1モード判定記憶部1306A及び第2モード判定記憶部1306Bは、動作情報処理装置100を利用する利用者によって予め登録される。
例えば、第1モード判定記憶部1306Aは、介助モード判定動作と、介助モード判定結果とが対応付けられた情報を記憶する。このうち、介助モード判定動作は、介助モードを判定するための動作を示す情報である。また、介助モード判定結果は、介助モード判定動作に応じて介助モードを開始するか終了するかを示す情報であり、例えば、「開始」又は「終了」が格納される。
図14Aは、第1モード判定記憶部1306Aに記憶される情報の一例を示す図である。図14Aの1つ目のレコードには、介助モード判定動作「XXX領域で手をXXX地点まで挙げる」と、介助モード判定結果「開始」とが対応付けられている。つまり、第1モード判定記憶部1306Aは、「XXX領域で手をXXX地点まで挙げる」という動作が行われると、介助モードが開始されることを記憶する。また、図14Aの2つ目のレコードには、介助モード判定動作「XXX領域で手をXXX地点まで下げる」と、介助モード判定結果「終了」とが対応付けられている。つまり、第1モード判定記憶部1306Aは、「XXX領域で手をXXX地点まで下げる」という動作が行われると、介助モードが終了されることを記憶する。また、第1モード判定記憶部1306Aは、他のレコードについても同様に、介助モード判定動作と、介助モード判定結果とが対応付けられた情報を記憶する。
また、例えば、第2モード判定記憶部1306Bは、介助モード判定リハビリ動作と、介助モード判定結果とが対応付けられた情報を記憶する。このうち、介助モード判定リハビリ動作は、介助モードを判定するために用いられる、リハビリに関連する動作を示す情報である。
図14Bは、第2モード判定記憶部1306Bに記憶される情報の一例を示す図である。図14Bの1つ目のレコードには、介助モード判定リハビリ動作「領域Aで歩行を開始する」と、介助モード判定結果「開始」とが対応付けられている。つまり、第2モード判定記憶部1306Bは、「領域Aで歩行を開始する」というリハビリに関連する動作が行われると、介助モードが開始されることを記憶する。また、図14Bの2つ目のレコードには、介助モード判定リハビリ動作「領域Zで歩行を終了する」と、介助モード判定結果「終了」とが対応付けられている。つまり、第2モード判定記憶部1306Bは、「領域Zで歩行を終了する」というリハビリに関連する動作が行われると、介助モードが終了されることを記憶する。また、第2モード判定記憶部1306Bは、他のレコードについても同様に、介助モード判定リハビリ動作と、介助モード判定結果とが対応付けられた情報を記憶する。なお、ここでは、人物を特定しない条件を例示したが、人物を特定可能な場合には、人物を特定しても良い。例えば、図14Bの1つ目のレコードにおいて、介助モード判定リハビリ動作「対象者が領域Aで歩行を開始する」が記憶されている場合には、第2モード判定記憶部1306Bは、「対象者の領域Aで歩行を開始する」というリハビリに関連する動作が行われると、介助モードが開始されることを記憶することとなる。
推奨介助状態記憶部1307は、介助者を支援する推奨介助状態を記憶する。例えば、推奨介助状態記憶部1307は、介助ステージと、介助状態と、推奨介助状態とが対応付けられた情報を記憶する。このうち、介助ステージは、リハビリにおける一連の動作の進行度合いを定義する。例えば、操作者は、リハビリの対象となる対象者に対する介助者の介助の状態に応じて介助ステージを決定する。また、介助状態は、リハビリの対象となる対象者に対する介助者の介助の状態を定義する。例えば、操作者は、対象者、介助者又は両者の動作情報に応じて介助状態を決定する。また、推奨介助状態は、対象者に対する介助者の介助として推奨される介助の状態を表す情報であり、例えば、介助ステージごとに登録される。例えば、推奨介助状態記憶部1307は、歩行訓練、関節可動域訓練等、リハビリの種別ごとに記憶される。推奨介助状態記憶部1307に記憶される情報は、例えば、熟練の介助者や対象者の意見に基づいて、動作情報処理装置100aの利用者によって予め登録される。
図15は、推奨介助状態記憶部134に記憶される情報の一例を示す図である。図15には、推奨介助状態記憶部1307が歩行訓練に関する推奨介助状態を記憶する場合を例示する。図15の1つ目のレコードには、介助ステージ「歩行ステージ1」と、介助状態「領域Aで歩行を開始する」と、推奨介助状態「介助者は対象者の腕を支える」とが対応付けられている。つまり、推奨介助状態記憶部1307は、歩行訓練における介助ステージ「歩行ステージ1」は「領域Aで歩行を開始する」が行われる状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の腕を支える」であることを記憶する。図15の2つ目のレコードには、介助ステージ「歩行ステージ2」と、介助状態「領域Bで歩行を開始する」と、推奨介助状態「介助者は対象者の肩を支える」とが対応付けられている。つまり、推奨介助状態記憶部1307は、歩行訓練における介助ステージ「歩行ステージ2」は「領域Bで歩行を開始する」が行われる状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の肩を支える」であることを記憶する。なお、推奨介助状態記憶部1307に記憶される情報は、上記の例に限定されるものではない。例えば、人物を特定可能な場合には、人物を特定した上で、人物ごとの動作が指定されても良い。具体的には、図15の1つ目のレコードにおいて、介助状態「対象者及び介助者が領域Aで歩行を開始する」が記憶されてもよい。
なお、本実施形態では、人物の動作や状態等を概念的に示しているが、これら人物の動作や状態は、連続する複数フレームにおける各関節の座標及び位置関係に基づいて規定されるものである。
図12の説明に戻る。動作情報処理装置100aにおいては、制御部140が取得部1404と、人物判定部1405と、モード判定部1406と、検出部1407と、出力判定部1408と、出力制御部1409とを有する。
取得部1404は、処理対象となる動作情報を取得する。例えば、取得部1404は、処理対象となる動作情報を指定する旨の入力を入力部120から受け付けると、指定された動作情報と、対応するカラー画像情報と、対応する音声認識結果とを動作情報記憶部1304から取得する。
一例としては、取得部1404は、処理対象となる動作情報の撮影開始時刻情報の指定を受け付けると、その動作情報及び動作情報に対応付けられたカラー画像情報を動作情報記憶部1304から取得する。なお、この動作情報は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を含む場合であっても、1人の人物の骨格情報を含む場合であっても良い。
人物判定部1405は、取得部1404によって取得された動作情報に対応する人物が、対象者であるか否かを判定する。また、人物判定部1405は、取得部1404によって取得された動作情報に対応する人物が、介助者であるか否かを判定する。ここで、取得部1404によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、人物判定部1405は、一人一人の人物の骨格情報に対して、対象者であるか否か、或いは介助者であるか否かを判定する。人物判定部1405は、判定した結果をモード判定部1406へ出力する。以下において、人物判定部1405の処理を具体的に説明する。
まず、対象者であるか否かを判定する処理を説明する。例えば、人物判定部1405は、対象者動作特徴記憶部1305A及び対象者画像特徴記憶部1305Cのレコードのうち、未処理のレコードを一つ選択する。そして、人物判定部1405は、取得された動作情報及びカラー画像情報が、選択したレコードの条件に該当するか否かを判定する。
ここで、対象者動作特徴記憶部1305Aから動作ID「11」のレコードが選択された場合を説明する。この場合、図13Aに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、対象者動作特徴情報「足を引きずっている」に該当するか否かを判定する。すなわち、人物判定部1405は、取得された動作情報に含まれる各フレームから、足根(関節2p又は関節2t)のy座標を抽出する。そして、人物判定部1405は、抽出したy座標のうち、最大値と最小値との差分を最大変化量として算出する。そして、人物判定部1405は、算出した最大変化量が1cm未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち足を引きずっていると判定する。
また、対象者動作特徴記憶部1305Aから動作ID「12」のレコードが選択された場合を説明する。この場合、図13Aに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、対象者動作特徴情報「歩く姿勢が良くない」に該当するか否かを判定する。例えば、人物判定部1405は、取得部1404によって取得された動作情報から、各フレームの人物の関節2bの座標及び関節2cの座標を抽出する。そして、人物判定部1405は、抽出した関節2bと関節2cとを結ぶ線分を人物の背骨と見立て、背骨と上下方向とがなす角をフレームごとに求める。そして、人物判定部1405は、歩行訓練が行われている間の複数フレームにおける当該角度の平均値を、人物の歩く姿勢として算出する。そして、人物判定部1405は、算出した歩く姿勢が3°以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良くないと判定する。
また、対象者動作特徴記憶部1305Aから動作ID「13」のレコードが選択された場合を説明する。この場合、図13Aに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、対象者動作特徴情報「歩く速度が遅い」に該当するか否かを判定する。例えば、人物判定部1405は、所定時間(例えば0.5秒)ごとに人物の腰に対応する関節2cの座標が移動した移動距離[m]を求める。そして、人物判定部1405は、この所定時間当たりの移動距離に基づいて、人物の移動速度[m/秒]を所定時間ごとに算出する。そして、人物判定部1405は、算出した移動速度のうち、最大の移動速度が1[m/秒]未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が遅いと判定する。
また、対象者画像特徴記憶部1305Cから器具ID「11」のレコードが選択された場合を説明する。この場合、図13Cに示したように、人物判定部1405は、取得部1404によって取得されたカラー画像情報と、対象者器具特徴情報「松葉杖」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から松葉杖の画像が抽出されると、人物判定部1405は、抽出された松葉杖の画素位置が、処理対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。松葉杖の画素位置が骨格情報の座標と重なる場合には、人物判定部1405は、取得されたカラー画像情報が対象者器具特徴情報に該当する、すなわち松葉杖を持っていると判定する。また、人物判定部1405は、他のレコードについても同様に、取得されたカラー画像情報が対象者器具特徴情報に該当するか否かを判定する。
このように、人物判定部1405は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、人物判定部1405は、保有対象者特徴数nを1インクリメントする。この保有対象者特徴数nは、処理対象となる動作情報に対応する人物が保有する対象者としての特徴の数を表す。人物判定部1405は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、人物判定部1405は、保有対象者特徴数nが5に到達すると、処理対象となる動作情報に対応する人物が対象者であると判定する。一方、人物判定部1405は、対象者動作特徴記憶部1305A及び対象者画像特徴記憶部1305Cの全てのレコードについて判定を行っても、保有対象者特徴数nが5に到達しない場合には、処理対象となる動作情報に対応する人物が対象者ではないと判定する。なお、ここでは、対象者であるか否かを判定する保有対象者特徴数nの閾値が「5」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有対象者特徴数nが1インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
次に、介助者であるか否かを判定する処理を説明する。例えば、人物判定部1405は、介助者動作特徴記憶部1305B及び介助者画像特徴記憶部1305Dのレコードのうち、未処理のレコードを一つ選択する。そして、人物判定部1405は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。
ここで、介助者動作特徴記憶部1305Bから動作ID「21」のレコードが選択された場合を説明する。この場合、図6Bに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、介助者動作特徴情報「腕を支えている」に該当するか否かを判定する。すなわち、人物判定部1405は、取得された動作情報に含まれる各フレームから、手(関節2h又は関節2l)の座標を取得する。そして、人物判定部1405は、歩行訓練が行われている間の所定時間について、取得した手から5cm以内に他の人物の腕(関節2eと関節2fとを結ぶ線分、又は、関節2iと関節2jとを結ぶ線分)がある場合に、取得された動作情報が介助者動作特徴情報に該当する、すなわち腕を支えていると判定する。
また、介助者動作特徴記憶部1305Bから動作ID「22」のレコードが選択された場合を説明する。この場合、図13Bに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、介助者動作特徴情報「歩く姿勢が良い」に該当するか否かを判定する。例えば、人物判定部1405は、上記同様に、人物の歩く姿勢を算出する。そして、人物判定部1405は、算出した歩く姿勢が3°未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良いと判定する。
また、介助者動作特徴記憶部1305Bから動作ID「23」のレコードが選択された場合を説明する。この場合、図13Bに示したように、人物判定部1405は、取得部1404によって取得された動作情報が、介助者動作特徴情報「歩く速度が速い」に該当するか否かを判定する。例えば、人物判定部1405は、上記同様に、人物が所定時間(例えば0.5秒)ごとに移動する移動速度[m/秒]を算出する。そして、人物判定部1405は、算出した移動速度のうち、最大の移動速度が1[m/秒]以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が速いと判定する。
また、介助者画像特徴記憶部1305Dから器具ID「21」のレコードが選択された場合を説明する。この場合、図13Dに示したように、人物判定部1405は、取得部1404によって取得されたカラー画像情報と、介助者器具特徴情報「聴診器」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から聴診器の画像が抽出されると、人物判定部1405は、抽出された聴診器の画素位置が、処理対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。聴診器の画素位置が骨格情報の座標と重なる場合には、対象者画像特徴記憶部1305Cは、取得されたカラー画像情報が介助者器具特徴情報に該当する、すなわち聴診器を持っていると判定する。また、人物判定部1405は、他のレコードについても同様に、取得されたカラー画像情報が介助者器具特徴情報に該当するか否かを判定する。
このように、人物判定部1405は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、人物判定部1405は、保有介助者特徴数mを1インクリメントする。この保有介助者特徴数mは、処理対象となる動作情報に対応する人物が保有する介助者としての特徴の数を表す。人物判定部1405は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、人物判定部1405は、保有介助者特徴数mが5に到達すると、処理対象となる動作情報に対応する人物が介助者であると判定する。一方、人物判定部1405は、介助者動作特徴記憶部1305B及び介助者画像特徴記憶部1305Dの全てのレコードについて判定を行っても、保有介助者特徴数mが5に到達しない場合には、処理対象となる動作情報に対応する人物が介助者ではないと判定する。なお、ここでは、介助者であるか否かを判定する保有介助者特徴数nの閾値が「5」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有介助者特徴数nが1インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
また、人物判定部1405の処理は上記の処理に限定されるものではない。例えば、人物判定部1405は、取得部1404によって取得されたカラー画像情報に複数人の人物が撮影された場合には、カラー画像情報における人物の位置に応じて判定しても良い。また、例えば、人物判定部1405は、対象者、介助者又は両者に人物を判定するための識別マーカを持たせておき、カラー画像情報又は距離画像情報に含まれる識別マーカを用いて判定しても良い。なお、識別マーカは、例えば、カラー画像情報からパターンマッチングによって識別可能なマーカや、磁気センサによって空間における位置を特定可能なマーカ等が適用される。
図16Aは、人物判定部1405が人物の位置に応じて判定する処理を説明するための図である。図16Aには、動作情報処理装置100aの画面9aに、人物9b及び人物9cによってリハビリが行われている画像が表示される場合を例示する。この場合、例えば、人物判定部1405は、カラー画像に撮影された左側の人物9bを対象者と判定し、右側の人物9cを介助者と判定する。この判定方法は、例えば、リハビリが行われる空間と動作情報収集部10の位置とが予め決められており、更に、対象者に対して介助者が介助を行う方向が決まっている場合に特に有効である。具体的には、壁に設置された手すりを対象者が右手で掴んで歩行訓練を行う場合には、介助者は対象者の左側から介助を行うこととなるからである。
図16Bは、人物判定部1405が識別マーカを用いて判定する処理を説明するための図である。図16Bには、動作情報処理装置100aの画面9dに、人物9eと、識別マーカ9fを装着した人物9gとによってリハビリが行われている画像が表示される場合を例示する。この場合、例えば、人物判定部1405は、識別マーカ9fを装着した人物9gを介助者と判定し、識別マーカ9fを装着していない人物9eを対象者と判定する。なお、この例に限定されず、例えば、対象者に識別マーカを装着させても、両者に装着させても良い。この判定方法は、例えば、リハビリが行われる施設に介助者として従事する者や、高頻度でリハビリを行う対象者等がいる場合に特に有効である。
上述してきたように、人物判定部1405は、処理対象となる動作情報に対応する人物が、対象者であるか否か、若しくは介助者であるか否かを判定し、判定結果をモード判定部1406へ出力する。なお、人物判定部1405は、処理対象となる動作情報に対応する人物が、対象者でも介助者でもないと判定した場合には、判定不能という判定結果を検出部1407へ出力する。また、人物判定部1405は、処理対象となる動作情報に複数人の人物の骨格情報が含まれる場合には、それぞれの人物について対象者であるか介助者であるかを判定する。
モード判定部1406は、介助者を支援するためのモードである介助モードの開始及び終了を判定する。例えば、モード判定部1406は、取得部1404によって取得された動作情報が、第1モード判定記憶部1306Aの介助モード判定動作又は第2モード判定記憶部1306Bの介助モード判定リハビリ動作に示される条件に該当するか否かに応じて、介助モードの開始及び終了を判定する。
図17Aから図17Eは、モード判定部1406の処理を説明するための図である。図17Aから図17Cまでには、モード判定部1406が第1モード判定記憶部1306Aを用いて介助モードの開始及び終了を判定する場合を示し、図17D及び図17Eには、モード判定部1406が第2モード判定記憶部1306Bを用いて介助モードの開始及び終了を判定する場合を示す。
図17Aには、所定の動作を検知することで、介助モードが開始される場合を例示する。ここで、第1モード判定記憶部1306Aは、介助モード判定動作「画面中央で右手を挙げる」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部1406は、リハビリが行われる空間において、人物10aが画面10bの中央に相当する位置で右手を挙げたこと(例えば、右手の関節2hのy座標が右肩の関節2eのy座標より上にあること)を検知すると、介助モードが開始されると判定する。
図17Bには、画面上の操作ボタンを用いて、介助モードが開始される場合を例示する。ここで、第1モード判定記憶部1306Aは、介助モード判定動作「画面内の開始ボタンが指定される」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部1406は、リハビリが行われる空間において、人物10aが画面10b内の開始ボタン10cに相当する位置に右手を伸ばしたこと(関節2hの座標が開始ボタン10cの位置に重なったこと)を検知すると、介助モードが開始されると判定する。
図17Cには、音声を用いて、介助モードが開始される場合を例示する。ここで、第1モード判定記憶部1306Aは、介助モード判定動作「「スタート」と声をかける」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部1406は、リハビリが行われる空間において認識された音声認識結果から、人物10aが「スタート」と単語を発したことを検知すると、介助モードが開始されると判定する。
図17Dには、所定のリハビリ動作を検知することで、介助モードが開始される場合を例示する。ここで、第2モード判定記憶部1306Bは、介助モード判定リハビリ動作「領域Aで歩行を開始する」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部1406は、リハビリが行われる空間において、人物10aが画面10b内の領域Aに相当する位置で歩行訓練を開始したことを検知すると、介助モードが開始されると判定する。
図17Eには、所定のリハビリ動作を検知することで、介助モードが開始される場合を例示する。ここで、第1モード判定記憶部1306Aは、介助モード判定動作「画面中央で腕をゼロ地点に合わせる」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部1406は、リハビリが行われる空間において、人物10aが画面10bの中央に相当する位置で右腕の関節可動域訓練を行うために、右腕をゼロ地点に合わせたことを検知すると、介助モードが開始されると判定する。なお、ゼロ地点とは、例えば、関節可動域訓練の対象となる関節の曲げ伸ばしを行う際に、当該訓練における当該関節の初期状態を示し、例えば、右肘の関節可動域訓練では右肘をまっすぐに伸ばした状態(関節2fのなす角が180°)である。
このように、モード判定部1406は、第1モード判定記憶部1306A又は第2モード判定記憶部1306Bを参照することで、介助モードの開始及び終了を判定する。なお、モード判定部1406の処理は上記の例に限定されるものではなく、例えば、視点の移動や顔の向き、手の加速度、体動、会話の頻度、時間等を用いて判定しても良い。
検出部1407は、取得部1404によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者による介助の状態を表す介助状態を検出する。例えば、検出部1407は、対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者への介助者の指示行為の少なくとも1つを含む介助状態を検出する。一例を挙げると、検出部1407は、介助状態として、対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者に対する介助者の介助行為、実施者及び介助者の明示的行為をそれぞれ検出する。そして、検出部1407は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを、対象者に対する介助者の介助状態として検出する。なお、検出部1407の処理は、人物判定部1405によって少なくとも一人の対象者と一人の介助者が特定された動作情報を処理対象とする。このため、以下の説明では、対象者及び介助者がそれぞれ特定されたものとして説明する。
検出部1407によって検出される対象者と介助者との位置関係について説明する。例えば、検出部1407は、取得部1404によって取得された動作情報から、対象者の腰の位置(関節2dの座標)と、介助者の腰の位置(関節2dの座標)とをフレームごとに抽出する。そして、検出部1407は、対象者の腰の位置(関節2cの座標)と、介助者の腰の位置(関節2cの座標)との間の相対距離を算出する。そして、検出部1407は、対象者の腰の位置、介助者の腰の位置及びこれらの間の相対距離等を、対象者と介助者との位置関係として検出する。
検出部1407によって検出される対象者及び介助者それぞれの移動状態について説明する。例えば、検出部1407は、対象者及び介助者の腰の位置(関節2cの座標)が所定時間(例えば0.5秒)ごとに移動した移動距離[m]を求める。そして、検出部1407は、この所定時間当たりの移動距離に基づいて、対象者及び介助者それぞれの移動速度や加速度を算出する。そして、検出部1407は、算出した対象者及び介助者それぞれの移動速度や加速度を、対象者及び介助者それぞれの移動状態として検出する。
検出部1407によって検出される対象者に対する介助者の介助行為について説明する。例えば、検出部1407は、取得部1404によって取得された動作情報から、介助行為を検出する。この介助行為は、対象者と介助者の接触位置の位置関係と、介助者の音声とを含む。図18Aは、検出部1407の処理を説明するための図である。図18Aには、対象者の関節2i、2j、2kと、介助者の関節2h、2gとを示す。図18Aに示すように、検出部1407は、介助者の右手の関節2hが、対象者の左腕(関節2iと関節2jとを結ぶ線分)から所定距離以内に存在することをフレームごとに検知する。これにより、検出部1407は、「介助者の右手が対象者の左腕を掴んでいる」という状態を検出する。また、検出部1407は、フレームに対応する時刻に介助者の頭部付近を音源とする音声が認識されると、これを介助者の音声として検出する。そして、検出部1407は、「介助者の右手が対象者の左腕を掴んでいる」という状態や、介助者の音声を、対象者に対する介助者の介助行為として検出する。
検出部1407によって検出される対象者及び介助者の明示的行為について説明する。この明示的行為は、対象者に特有の明示的な動作や介助者に特有の明示的な動作を定義したものである。なお、介助者の行為のうち、介助者が対象者を介助(支援)する動作は上記の介助行為に含まれるものとし、介助者の明示的行為には介助行為以外の行為が含まれるものとする。例えば、検出部1407は、取得部1404によって取得された動作情報から、対象者に特有の明示的な動作や介助者に特有の明示的な動作を検出する。対象者に特有の明示的な動作の一例としては、足を引きずって歩くことが挙げられる。また、介助者に特有の明示的な動作の一例としては、所定時間間隔でメモを取ることが挙げられる。これらの対象者に特有の明示的な動作や介助者に特有の明示的な動作は、利用者によって予め登録される。検出部1407は、検出された対象者に特有の明示的な動作や介助者に特有の明示的な動作を、実施者及び介助者の明示的行為として検出する。
ここで、具体的に、検出部1407が介助状態を検出する処理を説明する。図18B及び図18Cは、検出部1407の処理を説明するための図である。図18Bに示す例では、検出部1407は、対象者11aと介助者11bとの位置関係として、対象者11aの位置、介助者11bの位置、対象者11aと介助者11bとの間の相対距離(1.1m)をそれぞれ検出する。また、検出部1407は、対象者11a及び介助者11bそれぞれの移動状態として、対象者11a及び介助者11bそれぞれが奥側から手前側に向かって所定速度で移動していることを検出する。これにより、検出部1407は、「対象者11aの横に介助者11bが付き添って歩いている」という介助状態を検出する。なお、図18Bに示すように、検出部1407は、必ずしも対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者に対する介助者の介助行為、実施者及び介助者の明示的行為の全てを用いなくても良い。
また、図18Cに示す例では、検出部1407は、対象者11aと介助者11bとの位置関係として、対象者11aの位置、介助者11bの位置、対象者11aと介助者11bとの間の相対距離をそれぞれ検出する。また、検出部1407は、対象者11aに対する介助者11bの介助行為として、「介助者11bの右手が対象者11aの左腕を掴んでいる」という状態と、介助者11bが発した音声「次は右足」を検出する。これにより、検出部1407は、「介助者11bが、対象者11aの左腕を右手で支えながら「次は右足」と声かけを行っている」という介助状態を検出する。
このように、検出部1407は、位置関係、移動状態、介助行為及び明示的行為のうち少なくとも一つ又は複数の組み合わせを用いて、対象者に対する介助者の介助状態を検出する。そして、検出部1407は、検出した介助状態を出力判定部1408へ出力する。
出力判定部1408は、検出部1407によって検出された介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部1408は、検出部1407によって検出された介助状態を受け付ける。そして、出力判定部1408は、推奨介助状態記憶部1307を参照し、受け付けた介助状態に対応する介助ステージを特定する。そして、出力判定部1408は、受け付けた介助状態と、特定した介助ステージに対応する推奨介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。
図19A及び図19Bは、出力判定部1408の処理を説明するための図である。図19A及び図19Bには、動作情報処理装置100aの画面に映されたリハビリの様子を例示する。
図19Aに示す例では、推奨介助状態記憶部1307は、介助ステージ「歩行ステージ3」と、介助状態「領域Cで歩行を開始する」と、推奨介助状態「介助者は対象者の肩を支える」とが対応付けられた情報を記憶するものとする。図19Aに示すように、出力判定部1408は、「領域Cにおいて、介助者12bが、対象者12aの左腕を右手で支えながら歩行訓練を行っている」という介助状態を受け付ける。そして、出力判定部1408は、受け付けた介助状態「領域Cにおいて、介助者12bが、対象者12aの左腕を右手で支えながら歩行訓練を行っている」が介助状態「領域Cで歩行を開始する」を満たすので、介助ステージ「歩行ステージ3」を特定する。そして、出力判定部1408は、受け付けた介助状態「領域Cにおいて、介助者12bが、対象者12aの左腕を右手で支えながら歩行訓練を行っている」と、「歩行ステージ3」の推奨介助状態「介助者は対象者の肩を支える」とを比較する。ここで、介助者12bは対象者12aの左腕を支えているので、出力判定部1408は、受け付けた介助状態が推奨介助状態を満たしていないと判定する。
図19Bに示す例では、推奨介助状態記憶部1307は、介助ステージ「歩行ステージ2」と、介助状態「介助者は、対象者の正面から両肩を支えている」と、推奨介助状態「介助者は対象者よりも先に移動する」とが対応付けられた情報を記憶するものとする。図19Aに示すように、出力判定部1408は、「介助者12bは、立ち止まって対象者12aの正面から両肩を支えており、対象者12aは歩き出そうとしている」という介助状態を受け付ける。そして、出力判定部1408は、受け付けた介助状態「介助者12bは、立ち止まって対象者12aの正面から両肩を支えており、対象者12aは歩き出そうとしている」が介助状態「介助者は、対象者の正面から両肩を支えている」を満たすので、介助ステージ「歩行ステージ2」を特定する。そして、出力判定部1408は、受け付けた介助状態「介助者12bは、立ち止まって対象者12aの正面から両肩を支えており、対象者12aは歩き出そうとしている」と、「歩行ステージ2」の推奨介助状態「介助者は対象者よりも先に移動する」とを比較する。ここで、介助者12bは立ち止まっているにも関わらず、対象者12aが歩き出そうとしているので、出力判定部1408は、受け付けた介助状態が推奨介助状態を満たしていないと判定する。なお、「歩き出そうとしている」という状態は、例えば、膝の関節の加速度が速くなることで、検出部1407によって検出される。
このように、出力判定部1408は、検出部1407によって検出された介助状態が推奨介助状態を満たすか否かを判定する。そして、出力判定部1408は、この判定結果を出力制御部1409に出力する。
出力制御部1409は、検出部1407によって検出された介助状態に応じて、介助者を支援する介助支援情報を出力する。例えば、出力制御部1409は、出力判定部1408の判定結果に応じて、介助支援情報を出力する。
例えば、出力制御部1409は、検出部1407によって検出された介助状態が推奨介助状態を満たさない旨の判定結果を出力判定部1408から受け付ける。この場合、出力制御部1409は、例えば、当該推奨介助状態を表す情報を、介助支援情報として出力部110に出力する。具体例を挙げると、出力制御部1409は、推奨介助状態「介助者は対象者の肩を支える」を表す画像をモニタや、介助者が装着するメガネ型ディスプレイに表示させる。また、出力制御部1409は、推奨介助状態「介助者は対象者の肩を支える」を伝えるための音声をスピーカーや、介助者が装着するヘッドセットに音声出力させる。なお、出力制御部1409が出力する介助支援情報は、推奨介助状態を表す情報のみならず、警告音であっても良い。
また、例えば、出力制御部1409は、介助状態と推奨介助状態との比較結果から、介助状態と推奨介助状態との差異を算出し、算出した差異を介助支援情報として出力しても良い。具体的には、出力制御部1409は、判定に用いられた介助状態及び推奨介助状態を、出力判定部1408から取得する。そして、出力制御部1409は、介助者がどのような動作を行えば推奨介助状態となるかを表す情報を算出する。図19Aに示す例では、出力制御部1409は、推奨介助状態における介助者の右手(関節2h)の座標(xh1,yh1,zh1)から、介助状態における介助者の右手(関節2h)の座標(xh2,yh2,zh2)を減算する。これにより、出力制御部1409は、介助者が自分の右手(関節2h)を、x軸方向にxh1−xh2、y軸方向にyh1−yh2、z軸方向にzh1−zh2ずつ動かすことで、推奨介助状態となることを算出する。出力制御部1409は、算出した差異を、画像としてモニタやメガネ型ディスプレイに表示したり、音声として出力したりする。一例としては、出力制御部1409は、算出結果を、現在の右手の位置から推奨介助状態の右手の位置へ向かう矢印として表示する。また、例えば、出力制御部1409は、算出結果を介助者自身から見た方向に置き換えて、「右手を右方向に5cm、上方向に20cm、奥に向かって何3cm動かして下さい」と音声出力しても良い。
また、例えば、出力制御部1409は、検出部1407によって検出された介助状態が推奨介助状態を満たす旨の判定結果を出力判定部1408から受け付ける。この場合、出力制御部1409は、例えば、推奨介助状態を満たす旨の情報を、介助支援情報として出力部110に出力する。具体例を挙げると、出力制御部1409は、推奨介助状態を満たす旨の情報として「Good」という文字をモニタや、介助者が装着するメガネ型ディスプレイに表示させる。また、出力制御部1409は、推奨介助状態を満たす旨を伝えるための「Good」という音声をスピーカーや、介助者が装着するヘッドセットに音声出力させる。なお、出力制御部1409は、検出部1407によって検出された介助状態が推奨介助状態を満たす場合には、必ずしも介助支援情報を出力しなくても良い。
次に、図20を用いて、第5の実施形態に係る動作情報処理装置100aの処理手順について説明する。図20は、第5の実施形態に係る動作情報処理装置100aの処理手順の一例を説明するためのフローチャートである。
図20に示すように、取得部1404が処理対象となる動作情報を取得すると(ステップS201肯定)、人物判定部1405は、人物判定処理を実行する(ステップS202)。この人物判定処理については、図21を用いて後述する。なお、取得部1404が処理対象となる動作情報を取得するまで(ステップS201否定)、動作情報処理装置100aは、待機状態である。
続いて、モード判定部1406は、介助モードが開始されたか否かを判定する(ステップS203)。介助モードが開始された場合には(ステップS203肯定)、モード判定部1406は、介助モードが終了されたか否かを判定する(ステップS204)。なお、介助モードが開始されない場合(ステップS203否定)、及び、介助モードが終了された場合には(ステップS204肯定)、動作情報処理装置100aは、介助モード以外のモード、例えば、対象者の動作を検知して対象者を支援するモードで動作する。この動作の処理手順は既知のいかなる処理を行っても良いので、ここでは説明を省略する。
介助モードが終了されない場合には(ステップS204否定)、検出部1407は、取得部1404によって取得された動作情報に基づいて、フレームごとに介助状態を検出する(ステップS205)。例えば、検出部1407は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを用いて、対象者に対する介助者の介助状態を検出する。
続いて、出力判定部1408は、検出部1407によって検出された介助状態を受け付けて、受け付けた介助状態に対応する介助ステージを特定する(ステップS206)。そして、出力判定部1408は、介助ステージに応じて推奨される支援が行われているか否かを判定する(ステップS207)。例えば、出力判定部1408は、受け付けた介助状態と、特定した介助ステージに対応する推奨介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。
出力制御部1409は、出力判定部1408の判定結果に応じて、介助支援情報を出力する(ステップS208)。なお、出力制御部1409は、検出部1407によって検出された介助状態が推奨介助状態を満たす場合には、必ずしも介助支援情報を出力しなくても良い。
なお、上述した処理手順は必ずしも上記の順序で実行されなくても良い。例えば、人物判定処理を行うステップS202の処理は、介助モードが開始されたか否かを判定する処理であるステップS203の処理が実行された後に実行されても良い。
次に、図21を用いて、ステップS202の人物判定処理を説明する。図21は、第5の実施形態に係る人物判定処理の処理手順の一例を説明するためのフローチャートである。
人物判定部1405は、対象者動作特徴記憶部1305A及び対象者画像特徴記憶部1305Cから、未処理のレコードを一つ選択する(ステップS301)。そして、人物判定部1405は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する(ステップS302)。該当する場合には(ステップS302肯定)、人物判定部1405は、保有対象者特徴数nを1インクリメントする(ステップS303)。そして、人物判定部1405は、保有対象者特徴数nが5に到達したか否かを判定する(ステップS304)。保有対象者特徴数nが5に到達した場合には(ステップS304肯定)、人物判定部1405は、取得部1404によって取得された動作情報に対応する人物が対象者であると判定する(ステップS305)。
一方、人物判定部1405は、保有対象者特徴数nが5に到達していない場合には(ステップS304否定)、人物判定部1405は、動作特徴記憶部及び器具特徴記憶部に、未処理のレコードがあるか否かを判定する(ステップS306)。未処理のレコードがある場合には(ステップS306肯定)、人物判定部1405は、ステップS301の処理へ移行する。
一方、人物判定部1405は、未処理のレコードがない場合には(ステップS306否定)、介助者動作特徴記憶部1305B及び介助者画像特徴記憶部1305Dから、未処理のレコードを一つ選択する(ステップS307)。そして、人物判定部1405は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する(ステップS308)。該当する場合には(ステップS308肯定)、人物判定部1405は、保有介助者特徴数mを1インクリメントする(ステップS309)。そして、人物判定部1405は、保有介助者特徴数mが5に到達したか否かを判定する(ステップS310)。保有介助者特徴数mが5に到達した場合には(ステップS310肯定)、人物判定部1405は、取得部1404によって取得された動作情報に対応する人物が介助者であると判定する(ステップS311)。
一方、人物判定部1405は、保有介助者特徴数mが5に到達していない場合には(ステップS310否定)、人物判定部1405は、動作特徴記憶部及び器具特徴記憶部に、未処理のレコードがあるか否かを判定する(ステップS312)。未処理のレコードがある場合には(ステップS312肯定)、人物判定部1405は、ステップS307の処理へ移行する。
一方、人物判定部1405は、未処理のレコードがない場合には(ステップS312否定)、取得部1404によって取得された動作情報に対応する人物は判定不能であると判定する(ステップS313)。
上述してきたように、第5の実施形態に係る動作情報処理装置100aは、人物の動作を表す動作情報を取得する。そして、動作情報処理装置100aは、取得した動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者の状態を表す介助状態を検出する。そして、動作情報処理装置100aは、検出した介助状態に応じて、介助者を支援する介助支援情報を出力する。このため、動作情報処理装置100aは、介助者によって行われる介助の質を高めることができる。
図22は、第5の実施形態に係る動作情報処理装置100aの効果を説明するための図である。図22に示すように、動作情報処理装置100aは、リハビリにおける対象者及び介助者の動作を表す動作情報を取得する。そして、動作情報処理装置100aは、取得した動作情報から対象者に対する介助者の状態を表す介助状態を検出する。そして、動作情報処理装置100aは、検出した介助状態に応じた介助支援情報15aを出力する。具体的には、動作情報処理装置100aは、例えば、現在の介助状態を実線で示し、推奨される関節の位置を破線で示した介助支援情報15aを介助者に提示する。このため、例えば、動作情報処理装置100aは、未熟な介助者によって介助が行われる場合においても、介助の質を一定に保つことができる。
(第6の実施形態)
上述した第5の実施形態では、対象者に対する介助者の介助を支援する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置100aは、対象者に対して介助者が用具を用いて介助する場合に適用されても良い。そこで、第6の実施形態では、動作情報処理装置100aが対象者に対して介助者が用具を用いて介助する場合に適用される際の処理を説明する。
第6の実施形態では、自力で立ち上がれない対象者に対して、介助者が介助用ベルトを用いて対象者の立ち上がり動作を助ける場合を例示する。この介助用ベルトは、介助者が装着するものであり、対象者が立ち上がる際に介助者が装着した介助用ベルトを把持させることで、対象者の立ち上がり動作を助けるためのものである。
図23は、介助用ベルトを用いて対象者の立ち上がり動作を助ける場合を説明するための図である。図23に示すように、介助用ベルトを用いた立ち上がり動作の介助ステージは、例えば、立ち上がりステージ1,2,3の3つの段階で順に行われる。立ち上がりステージ1では、介助者16aは、介助用ベルト16bを腰に装着し、対象者16cの正面に立っている。このとき、対象者16cは、座っており、介助者16aが装着した介助用ベルト16bを掴んでいる。立ち上がりステージ2では、立ち上がりステージ1の状態から、対象者16cが立ち上がり動作を開始している。そして、立ち上がりステージ3では、立ち上がりステージ2の状態から、対象者16cの立ち上がり動作が完了し、対象者16cが立っている。このように、介助用ベルト16bは、介助者16aが装着することで対象者16cの立ち上がり動作を助けるものである。
ここで、第6の実施形態に係る動作情報処理装置100aは、以下に説明する処理により、介助用ベルト16bを用いて対象者16cの立ち上がり動作を介助する介助者16aを支援する。なお、第6の実施形態では、介助用ベルト16bを用いて対象者16cの立ち上がり動作を介助する介助者16aを支援する場合を説明するが、実施形態はこれに限定されるものではなく、他の用具を用いて介助者が対象者を介助する場合にも適用可能である。
第6の実施形態に係る動作情報処理装置100aは、図12に示した動作情報処理装置100aと同様の構成を有し、推奨介助状態記憶部1307に記憶される情報と、検出部1407、出力判定部1408及び出力制御部1409における処理とが一部相違する。そこで、第6の実施形態では、第5の実施形態と相違する点を中心に説明することとし、第5の実施形態において説明した構成と同様の機能を有する点については、図12と同一の符号を付し、説明を省略する。
推奨介助状態記憶部1307は、更に、介助者が対象者を介助する際に利用される器具の位置関係を含む介助状態を記憶する。
図24は、推奨介助状態記憶部1307に記憶される情報の一例を示す図である。図24には、推奨介助状態記憶部1307が、図23に示した立ち上がり動作に関する推奨介助状態を記憶する場合を例示する。図24の1つ目のレコードには、介助ステージ「立ち上がりステージ1」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が座っている」と、推奨介助状態「介助者は対象者の両肩に手を添える」とが対応付けられている。つまり、推奨介助状態記憶部1307は、図23に示した立ち上がり動作における介助ステージ「立ち上がりステージ1」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が座っている」が行われた状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の両肩に手を添える」であることを記憶する。また、図24の2つ目のレコードには、介助ステージ「立ち上がりステージ2」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」と、推奨介助状態「介助者は対象者の両肩を引き上げる」とが対応付けられている。つまり、推奨介助状態記憶部1307は、図23に示した立ち上がり動作における介助ステージ「立ち上がりステージ2」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」が行われた状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の両肩を引き上げる」であることを記憶する。また、図24の3つ目のレコードには、介助ステージ「立ち上がりステージ3」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がっている」とが対応付けられており、推奨介助状態には情報が格納されていない。つまり、推奨介助状態記憶部1307は、図23に示した立ち上がり動作における介助ステージ「立ち上がりステージ3」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がっている」が行われた状態であり、このとき推奨される対象者に対する介助者の動作は存在しないことを記憶する。
検出部1407は、取得部1404によって取得されたカラー画像情報から、介助者が対象者を介助する際に利用される器具の特徴を表す器具特徴情報を抽出し、抽出した器具特徴情報を更に用いて介助状態を検出する。例えば、検出部1407は、介助用ベルトの画像パターンを用いて、カラー画像情報から介助用ベルトのパターンマッチングを行い、介助用ベルトの座標情報及び向きを示す情報を取得する。そして、検出部1407は、取得した介助用ベルトの座標情報及び向きを示す情報を用いて、介助状態を検出する。例えば、検出部1407は、対象者、介助者及び器具の座標情報及び向きを用いて、これらの位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを、介助状態として検出する。ここで、例えば、検出部1407は、図23の立ち上がりステージ2のカラー画像情報及び距離画像情報を用いて介助状態を検出した場合には、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が立ち上がり動作を開始する」及び「介助者は対象者の両肩を引き上げる」という介助状態を検出する。
出力判定部1408は、検出部1407によって検出された介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部1408は、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が立ち上がり動作を開始する」及び「介助者は対象者の両肩を引き上げる」という介助状態を受け付ける。そして、出力判定部1408は、推奨介助状態記憶部1307を参照し、受け付けた介助状態が、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」に含まれる4つの状態を全て満たすので、介助ステージ「立ち上がりステージ2」を特定する。そして、出力判定部1408は、受け付けた介助状態と、「立ち上がりステージ2」の推奨介助状態「介助者は対象者の両肩を引き上げる」とを比較する。ここで、介助者12bは対象者12aの両肩を引き上げているので、出力判定部1408は、受け付けた介助状態が推奨介助状態を満たしていると判定する。
出力制御部1409は、検出部1407によって検出された器具特徴情報と、介助状態とに応じて、介助支援情報を出力する。例えば、出力制御部1409は、検出部1407によって検出された介助状態に応じて、介助者を支援する介助支援情報を出力する。
上述してきたように、第6の実施形態に係る動作情報処理装置100aは、動作情報に対応するカラー画像情報を取得する。そして、動作情報処理装置100aは、取得したカラー画像情報から、介助者が対象者を介助する際に利用される器具の特徴を表す器具特徴情報を検出する。そして、動作情報処理装置100aは、検出した器具特徴情報と、介助状態とに応じて、介助支援情報を出力する。このため、動作情報処理装置100aは、介助者が用具を用いて対象者を介助する場合にも、介助者に対して適切な介助支援情報を出力することで、介助者による介助の質を向上させることができる。
なお、実施形態は、上記の例に限定されるものではなく、例えば、介助者が介助用ベルトを装着する場合に適用されても良い。具体的には、動作情報処理装置100aは、介助用ベルトが正しく装着された状態を装着ステージとして、介助者と、当該介助者によって装着された介助用ベルトとの位置関係を記憶しておく。そして、動作情報処理装置100aは、介助者の骨格情報と、パターンマッチングによって取得した介助用ベルトの座標情報及び向きを示す情報とを取得し(相対距離等も含む)、取得した情報を装着ステージの位置関係と比較する。そして、動作情報処理装置100aは、装着ステージの位置関係と比較して、取得した介助者と介助用ベルトとの位置関係が異なる場合には、警告音や正しい装着位置を示す情報を介助者に出力する。例えば、動作情報処理装置100aは、装着ステージの位置関係と比較して介助者が装着する介助用ベルトの位置が高い場合には、警告音とともに、介助用ベルトをどの程度下げると良いかを示す情報を介助者に通知する。
更に、例えば、動作情報処理装置100aは、「歩行支援用具の安全状態(歩行支援用具の位置)」、「ウォーキングポールの長さ、角度及び動かし方」、「トイレ・排泄用具の位置」、「入浴関連道具(シャワーチェアーやバスボード等)の位置」、「ベッドの介助位置や作業方法(床ずれ・褥瘡の防止等)」、「その他日用生活品の位置」及び「筋肉増強訓練用の重量物の利用方法(物と人両方)」等に適用可能である。例えば、操作者が、上記の各用途に関する一連の動作をいくつかのステージに分類し、各ステージの人物や用具の状態を定義した情報を動作情報処理装置100aの記憶部130に記憶しておくことで、動作情報処理装置100aは、上記の各用具を用いて介助する場合に適用される。
(第7の実施形態)
第7の実施形態では、上述した実施形態に加え、更に、自施設内の動作情報処理装置100aが、他施設で用いられている推奨介助状態記憶部1307を用いて、対象者に対する介助者の介助を支援する場合を説明する。
図25は、第7の実施形態に係る動作情報処理装置100aの全体構成の構成例を示す図である。図25に示すように、自施設内に設置された動作情報処理装置100aは、ネットワーク5を介して、他施設の動作情報処理装置100aと接続されている。そして、自施設及び他施設に設置された動作情報処理装置100a各々は、各施設以外から閲覧可能な公開用記憶部を有し、その公開用記憶部に推奨介助状態記憶部1307を記憶している。なお、ネットワーク5としては、有線又は無線を問わず、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用して良い。なお、図25には、自施設の動作情報処理装置100aと他施設の動作情報処理装置100aとが接続される場合を例示するが、実施形態はこれに限定されるものではない。例えば、自施設の動作情報処理装置100aは、他施設の公開用記憶部と直接接続されていても良い。例えば、動作情報処理装置100aは、学会組織や第三者機関、或いはサービス所業者等が管理する公開用記憶部に直接接続されていても良い。
図26は、第7の実施形態に係る動作情報処理装置100aの構成例を示すブロック図である。図26に示す動作情報処理装置100aは、図12に示した動作情報処理装置100aと比較して、推奨介助状態取得部1410を更に有する点が相違する。そこで、第7の実施形態では、第5の実施形態と相違する点を中心に説明することとし、第5の実施形態において説明した構成と同様の機能を有する点については、図12と同一の符号を付し、説明を省略する。
推奨介助状態取得部1410は、介助者によって介助が行われる際に推奨される介助の状態を表す推奨介助状態を取得する。例えば、推奨介助状態取得部1410は、歩行訓練に関する他施設の推奨介助状態記憶部1307を検索する検索要求を利用者から受け付ける。この検索要求は、例えば、施設、患者状態或いはリハビリの種目等の情報を検索キーとして指定するものである。推奨介助状態取得部1410は、検索要求を受け付けると、他施設の動作情報処理装置100aの公開用記憶部に記憶された推奨介助状態記憶部1307から、検索要求に該当する推奨介助状態のリストを取得する。推奨介助状態取得部1410は、取得した推奨介助状態のリストを利用者に通知し、リストから1つ又は複数の推奨介助状態が利用者によって選択されると、選択された推奨介助状態を推奨介助状態記憶部1307から取得する。そして、推奨介助状態取得部1410は、取得した歩行訓練に関する推奨介助状態を、他施設推奨介助状態として自施設内の推奨介助状態記憶部1307に、自施設の推奨介助状態とは別に、介助ステージに対応付けて格納する。
出力判定部1408は、更に、推奨介助状態取得部1410によって取得された他施設推奨介助状態と、検出部1407によって検出された介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部1408は、検出部1407によって検出された介助状態を受け付ける。そして、出力判定部1408は、推奨介助状態記憶部1307を参照し、受け付けた介助状態に対応する介助ステージを特定する。そして、出力判定部1408は、受け付けた介助状態と、特定した介助ステージに対応する他施設推奨介助状態とを比較し、介助状態が他施設推奨介助状態を満たすか否かを判定する。そして、出力判定部1408は、判定結果を出力制御部1409に出力する。
出力制御部1409は、出力判定部1408による比較結果に応じて介助支援情報を出力する。例えば、出力制御部1409は、検出部1407によって検出された介助状態が他施設推奨介助状態を満たさない旨の判定結果を出力判定部1408から受け付けると、他施設推奨介助状態と、自施設の推奨介助状態とを並べて表示する表示画像を出力部110へ表示させる。
図27は、第7の実施形態に係る出力制御部1409の処理を説明するための図である。図27において、実線は、介助状態を示し、破線は、推奨介助状態を示す。また、図27の左側は自施設における推奨介助状態及び介助状態を示す画像であり、図27の右側は他施設における推奨介助状態及び介助状態を示す画像である。図27に示すように、出力制御部1409は、これらの画像を並べて表示する表示画像をモニタに表示出力する。これにより、介助者は、自施設の推奨介助状態に示される右手(関節2h)の位置よりも、他施設の推奨介助状態に示される右手(関節2h)の位置の方が上にあることを容易に見分けることができる。
なお、図27では、自施設における推奨介助状態及び介助状態を示す画像と、他施設における推奨介助状態及び介助状態を示す画像とを並列表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、出力制御部1409は、当該2つの画像を重畳表示させても良い。また、例えば、出力制御部1409は、自施設の推奨介助状態に示される右手(関節2h)の位置と、他施設の推奨介助状態に示される右手(関節2h)の位置とのズレを算出し、算出したズレを数値として介助者に通知しても良い。更に、出力制御部1409は、複数の他の施設における推奨介助状態によって示される右手の位置の平均値等を統計的に算出し、この算出値を介助者に通知しても良い。
上述してきたように、第7の実施形態に係る動作情報処理装置100aは、介助者によって介助が行われる際に推奨される介助の状態を表す推奨介助状態を取得する。そして、動作情報処理装置100aは、取得した推奨介助状態と、介助状態とを比較し、比較結果に応じて介助支援情報を出力する。このため、動作情報処理装置100aは、他施設で用いられている推奨介助状態記憶部1307を用いて、対象者に対する介助者の介助を支援することができる。これによれば、例えば、動作情報処理装置100aは、他の施設で用いられている推奨介助状態のベストプラクティスを収集し、介助者の支援に活用することができる。
また、例えば、動作情報処理装置100aは、アクセス制限を管理する機能部を備えていても良い。例えば、動作情報処理装置100aは、特定の施設の動作情報処理装置100aからのアクセスを許可したり、特定の施設の動作情報処理装置100aからのアクセスを制限したりしても良い。
また、例えば、動作情報処理装置100aは、アクセス履歴を管理する機能部を備えても良い。また、動作情報処理装置100aは、アクセス履歴とともに、当該アクセス履歴に他施設からの評価を対応付けて記憶しても良い。また、動作情報処理装置100aは、公開用記憶部に推奨介助状態記憶部1307を記憶する際に、医師によって承認された旨の情報や、エビデンス、医療従事者からの推薦などを合わせて記憶しても良い。また、動作情報処理装置100aは、他施設の動作情報処理装置100aによって推奨介助状態記憶部1307が取得されるごとに、当該他施設に対して課金しても良い。
また、例えば、動作情報処理装置100aは、自施設で介助者を支援するために利用している推奨介助状態を、取得した他施設推奨介助状態で更新することで、自施設の情報として取り込むこともできる。
また、例えば、動作情報処理装置100aは、取得した推奨介助状態について、取得元の施設に対してフィードバックを行う仕組みを有していても良い。例えば、動作情報処理装置100aは、推奨介助状態を取得した際に、当該推奨介助状態の取得元の施設を示す情報を推奨介助状態とともに記憶しておく。そして、動作情報処理装置100aは、取得した推奨介助状態についてのフィードバック(感想や評価)の情報の入力を、対象者、介助者或いは操作者等から受け付ける。そして、動作情報処理装置100aは、受け付けたフィードバックの情報を、フィードバックのあった推奨介助状態の取得元の施設の動作情報処理装置100aへ送信することができる。
(第8の実施形態)
第8の実施形態では、上記の実施形態にて説明した動作情報処理装置100aを、介助者の教育に用いる場合を説明する。
第8の実施形態に係る動作情報処理装置100aは、図12に示した動作情報処理装置100aと同様の構成を有するが、検出部1407、出力判定部1408及び出力制御部1409における処理が一部相違する。そこで、第8の実施形態では、第5の実施形態と相違する点を中心に説明することとし、第5の実施形態において説明した構成と同様の機能を有する点については、図12と同一の符号を付し、説明を省略する。なお、第8の実施形態に係る動作情報処理装置100aは、モード判定部1406を有していなくても良い。
検出部1407は、取得部1404によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者の状態、又は、その対象者を介助する介助者の状態を検出する。例えば、検出部1407は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを用いて、対象者の状態又は介助者の状態を検出する。そして、検出部1407は、検出した対象者の状態又は介助者の状態を出力判定部1408へ出力する。なお、上述したように、検出部1407の処理は、人物判定部1405によって少なくとも一人の対象者と一人の介助者が特定された動作情報を処理対象とするので、以下の説明では、対象者及び介助者がそれぞれ特定されたものとして説明する。
出力判定部1408は、例えば、検出部1407によって対象者の状態が検出された場合には、その対象者を介助する際の介助者の状態を表す情報を、推奨介助状態記憶部1307から取得する。また、例えば、出力判定部1408は、検出部1407によって介助者の状態が検出された場合には、その介助者によって介助される際の対象者の状態を表す情報を、推奨介助状態記憶部1307から取得する。
図24を用いて、出力判定部1408の処理を説明する。例えば、出力判定部1408は、検出部1407によって対象者の状態「対象者が介助用ベルトを掴む。対象者が座っている。」が検出された場合には、図24の推奨介助状態記憶部1307を参照し、介助ステージ「立ち上がりステージ1」を特定する。そして、出力判定部1408は、介助ステージ「立ち上がりステージ1」の介助状態及び推奨介助状態を参照し、その対象者を介助する際の介助者の状態を表す情報を取得する。つまり、出力判定部1408は、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が座っている。」及び推奨介助状態「介助者は対象者の両肩に手を添える」のうち、介助者の状態は「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」及び「介助者は対象者の両肩に手を添える」であるので、これを介助者の状態を表す情報として取得する。そして、出力判定部1408は、取得した介助者の状態を表す情報を出力制御部1409へ出力する。なお、出力判定部1408が、介助者の状態から、その介助者によって介助される際の対象者の状態を表す情報を取得する場合は、対象者と介助者とが入れ替わる点を除けばこれと同様であるので、説明を省略する。
出力制御部1409は、検出部1407によって対象者の状態が検出された場合には、その対象者を介助する際の介助者の状態を表す情報を出力し、検出部1407によって介助者の状態が検出された場合には、その介助者によって介助される際の対象者の状態を表す情報を出力する。例えば、出力制御部1409は、出力判定部1408から受け付けた、対象者の状態を表す情報、又は、介助者の状態を表す情報を、出力部110へ出力させる。
図28は、第8の実施形態に係る出力制御部1409の処理を説明するための図である。図28において、人物21aは、対象者の役を行うことで、画面21上で介助者の動作を確認する。人物21aは、例えば、介助者としての教育を受ける者である。人物21aが対象者の役を行って、対象者の状態「対象者が介助用ベルトを掴む」及び「対象者が座っている」と同様の動作を行うと、画面21上にはこれと同様の動作を行う人物画像21bが表示される。そして、人物画像21bの介助ステージに対応する介助状態及び推奨介助状態に基づいて生成される架空の人物画像21cが、画面21d上に表示される。この架空の人物画像21cは、介助者の役を担っており、人物21aが示す対象者の状態に対応する介助者の状態を表すものである。
上述してきたように、第8の実施形態に係る動作情報処理装置100aは、人物の動作を表す動作情報を取得する。そして、動作情報処理装置100aは、取得した動作情報に基づいて、リハビリテーションの対象となる対象者の状態、又は、当該対象者を介助する介助者の状態を検出する。そして、動作情報処理装置100aは、対象者の状態を検出した場合には、その対象者を介助する際の介助者の状態を表す情報を出力し、介助者の状態を検出した場合には、その介助者によって介助される際の対象者の状態を表す情報を出力する。このため、動作情報処理装置100aは、人物が対象者又は介助者の役を行うことで、それぞれの介護ステージにおける介助者又は対象者の状態を示す情報を出力することができ、模擬介助を行うことができる。
なお、第8の実施形態では、推奨介助状態を介助動作の良い例として、介助者の教育に用いる場合を説明したが、実施形態はこれに限定されるものではない。例えば、推奨介助状態記憶部1307に、介助動作の悪い例を登録しておくことで、介助者の教育において悪い例を提示しても良い。具体例を挙げると、介助未経験者、介助経験0〜1年目、介助経験1〜3年目等、介助者としての経験年数や、職能レベルの属性に応じた典型的な悪い例の介助状態を推奨介助状態記憶部1307に登録しておく。これにより、動作情報処理装置100aは、介助動作の悪い例を介助者の教育に用いることができる。
また、例えば、動作情報処理装置100aは、介助者の教育を目的として、介助動作を評価する仕組みを有していても良い。例えば、動作情報処理装置100aは、第5の実施形態において説明した機能によって、介助者としての訓練を受けている訓練者が行っている介助動作と、推奨介助状態とを比較する。そして、動作情報処理装置100aは、介助動作と推奨介助状態とのズレを算出することで、訓練者を評価する。なお、動作情報処理装置100aは、算出したズレに基づいて、0〜100点で表されるスコアをつけても良い。また、動作情報処理装置100aは、複数人の訓練者のスコアを蓄積し、蓄積した複数人の訓練者のスコアが高い順にランキング付けしても良い。
(第9の実施形態)
第9の実施形態では、上記の実施形態にて説明した動作情報処理装置100aの処理に加え、更に、他のセンサからの情報を利用して、対象者に対する介助者の介助を支援する場合を説明する。
第9の実施形態に係る動作情報処理装置100aは、図12に示した動作情報処理装置100aと同様の構成を有するが、取得部1404及び出力制御部1409における処理が一部相違する。そこで、第9の実施形態では、第5の実施形態と相違する点を中心に説明することとし、第5の実施形態において説明した構成と同様の機能を有する点については、図12と同一の符号を付し、説明を省略する。
取得部1404は、対象者の生体情報を取得する。例えば、取得部1404は、入力部120に血圧計や脈拍計が適用される場合には、これらを用いて対象者の血圧や脈拍を取得する。そして、取得部1404は、取得した対象者の生体情報を出力判定部1408へ出力する。なお、取得部1404によって取得される生体情報は、取得された取得時刻を用いることで、動作情報に含まれるフレームとの対応付けが可能である。
出力制御部1409は、取得部1404によって取得された生体情報と、介助状態とに応じて、介助支援情報を出力する。例えば、出力制御部1409は、介助ステージ1において、対象者の血圧が低下してきた場合には、介助ステージ2に対応する推奨介助状態を示す情報を介助者に出力する。これにより、介助者は、推奨される介助の動作を事前に知ることができるので、体調が悪くなってきた対象者に対して迅速な対応を取ることができる。
このように、第9の実施形態に係る動作情報処理装置100aは、対象者の生体情報を取得する。そして、動作情報処理装置100aは、取得した生体情報と、介助状態とに応じて、介助支援情報を出力する。このため、動作情報処理装置100aは、対象者の生体情報の変化に基づいて、対象者に対する介助者の介助を支援することができる。
なお、第9の実施形態は、上記の例に限定されるものではなく、例えば、対象者の通常状態の生体情報と、現在の生体情報とを比較する場合であっても良い。具体的には、この場合、動作情報処理装置100aは、対象者の通常状態の生体情報(通常時の血圧や通常時の脈拍等)を記憶している。そして、動作情報処理装置100aは、取得した現在の血圧と、記憶されている通常時の血圧とを比較する。そして、動作情報処理装置100aは、現在の血圧が通常時の血圧より低い場合には、その旨を介助者に通知することで、いつもより手厚い介助を介助者に行わせることができる。
(その他の実施形態)
さて、これまで第1〜第9の実施形態について説明したが、上述した第1〜第9の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第1〜4の実施形態では、動作情報処理装置100が、対象者の障害箇所から当該対象者に対応するルール情報を取得し、対象者の動作情報に対応する動作がルール沿っているか否かを判定し、判定結果を通知する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
図29は、サービス提供装置に適用される場合の一例を説明するための図である。図29に示すように、サービス提供装置200は、サービスセンタ内に配置され、例えば、ネットワーク5を介して、医療機関や、自宅、職場に配置される端末装置300とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置300は、動作情報収集部10がそれぞれ接続される。そして、各端末装置300は、サービス提供装置200によって提供されるサービスを利用するクライアント機能を備える。
サービス提供装置200は、図4に示す動作情報処理装置100と同様の処理をサービスとして端末装置300に提供する。すなわち、サービス提供装置200は、取得部1401と、判定部1402と、出力制御部1403と同様の機能部を有する。そして、取得部1401と同様の機能部は、リハビリテーションの対象となる対象者の骨格にかかる動作情報を取得する。そして、判定部1402と同様の機能部は、リハビリテーションにおいて対象者に関連する規則情報に基づいて、取得部1401と同様の機能部によって取得された動作情報で示される対象者の動作が規則情報に含まれる規則に沿っているか否かを判定する。そして、出力制御部1403と同様の機能部は、判定部1402と同様の機能部による判定結果を出力するように制御する。なお、ネットワーク5には、有線又は無線を問わず、インターネット(Internet)、WAN(Wide Area Network)などの任意の種類の通信網を採用できる。
また、上述した第1〜第4の実施形態における動作情報処理装置100の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者情報記憶部1302とルール情報記憶部1303とを統合したり、判定部1402を対象者に応じたルール情報を抽出する抽出部と動作を判定する判定部に分離したりすることが可能である。
また、第1の実施形態から第4の実施形態において説明した取得部1401、判定部1402及び出力制御部1403の機能は、ソフトウェアによって実現することもできる。例えば、取得部1401、判定部1402及び出力制御部1403の機能は、上記の実施形態において取得部1401、判定部1402及び出力制御部1403が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、CPUやMPU等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、CD−ROM(Compact Disc − Read Only Memory)やMO(Magnetic Optical disk)、DVD(Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
また、例えば、上述した第5〜第9の実施形態では、動作情報収集部10によって収集した動作情報を、動作情報処理装置100aによって解析することで、対象者及び介助者を支援する場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。
例えば、図29に示すサービス提供装置200は、図12において説明した動作情報処理装置100aと同様の機能を有し、当該機能によって端末装置300にサービスとして提供する。すなわち、サービス提供装置200は、取得部1404と、検出部1407と、出力制御部1409と同様の機能部を有する。そして、取得部1404と同様の機能部は、人物の動作を表す動作情報を取得する。そして、検出部1407と同様の機能部は、取得部1404と同様の機能部によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者の状態を表す介助状態を検出する。そして、出力制御部1409と同様の機能部は、検出部1407と同様の機能部によって検出された介助状態に応じて、前記介助者を支援する介助支援情報を出力する。このようなことから、介助者によって行われる介助の質を高めることができる。
また、上述した第5〜第9の実施形態における動作情報処理装置100aの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者動作特徴記憶部1305Aと介助者動作特徴記憶部1305Bとを統合することが可能である。
なお、上述した第1の実施形態〜第9の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International Society of Orthopaedic Surgery and Traumatology(SICOT):国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS):米国整形外科学会」、「European Orthopaedic Research Society(EORS):欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) :国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R):米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。
以上説明した少なくともひとつの実施形態によれば、本実施形態の動作情報処理装置及びプログラムは、リハビリテーションの質を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。