以下、本発明の実施形態について図面を参照して説明する。
[第1の実施形態]
まず、第1の実施形態について説明する。図1は、本実施形態におけるリハビリテーション支援システムS1(動画像記録システム)のシステム構成を示す斜視図である。リハビリテーション支援システムS1は、リハビリテーションの対象者EP(以下「対象者EP」という。)に対して、リハビリテーションの実施を支援するシステムである。より具体的には、リハビリテーション支援システムS1は、対象者EPのリハビリテーションの様子を動画像で撮像して記録し、記録した動画像を再生表示するためのシステムである。
リハビリテーション支援システムS1は、タブレット端末10、ステーション20、リモコン30、及び媒体40-1,40-2を備える。以降の説明において、媒体40-1,40-2について特に区別しない場合には、媒体40と記載する。
タブレット端末10は、タブレット型の可搬可能な情報処理装置である。タブレット端末10は、ステーション20に装着することができ、また、ステーション20から離脱することができる。
ステーション20は、部屋の壁面等に設置可能な据置型のステーションである。ステーション20は、タブレット端末10を脱着可能である。ステーション20は、タブレット端末10が装着されているときには、タブレット端末10を起立した状態で正面に向けて保持する。また、ステーション20は、タブレット端末10が装着されているときに、タブレット端末10と接続してデータを送受信する。また、ステーション20は、電源に接続されており、タブレット端末10が装着されると、自動的にタブレット端末10に電力を供給する。
リモコン30は、タブレット端末10を遠隔操作するためのリモートコントローラである。リモコン30には、ボタンが正面に配置されている。また、リモコン30は、掌に収まるサイズであり、例えば手に持ちやすいデザインである。
媒体40は、所持者に関する個人情報を記憶しているRFID(Radio Frequency IDentifier)タグを有する媒体である。個人情報は、少なくとも所有者を識別する識別情報を含む。対象者EPの識別情報は患者番号(対象者識別情報)である。図示する例では、対象者EPは、手首にバンド型の媒体40-1を装着している。一方、対象者EPのリハビリテーションを補助する理学療法士や作業療法士等の補助者SP(以下「補助者SP」という。)は、手にカード型の媒体40-2を保持している。
媒体40をバンド型にすることにより、常に媒体40を身に付けていることができるため、持ってくるのを忘れたり、紛失したりすることを防ぐことができる。なお、媒体40は、RFIDに限らず、その他の非接触IDであってもよい。また、対象者EPがカード型の媒体40-2を使用し、操作者SPがバンド型の媒体40-1を使用してもよい。また、対象者EPと補助者SPがいずれもバンド型の媒体40-1を使用してもよいし、対象者EPと補助者SPがいずれもカード型の媒体40-2を使用してもよい。また、媒体40の形状はバンド型やカード型に限らず、対象者EPや操作者SPが保持、装着しやすい他の形状としてもよい。
次に、タブレット端末10、ステーション20、リモコン30及び媒体40それぞれの構成例について説明する。図2は、リハビリテーション支援システムS1に備わるタブレット端末10及びステーション20の外観例を示す斜視図である。
タブレット端末10は、その正面に撮像部101と表示部103とを備える。撮像部101は、被写体を撮像するカメラである。例えば、撮像部101は、リハビリテーションを実施している対象者EPを撮像する。表示部103は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部103は、その表示画面上にタッチパネルを備える。例えば、表示部103は、タブレット端末10が記憶している動画像を再生して表示する。
ステーション20は、その正面にペアリング読取部201を備える。ペアリング読取部201は、対象者EPを識別する個人情報及びリハビリテーションに係る動作カテゴリを取得する取得部である。ペアリング読取部201は、媒体40から個人情報を読み取る。ペアリング読取部201には、5つの読取エリア2011~2015が設けられている。各読取エリア2011~2015には、それぞれ異なる動作カテゴリが対応付けられている。動作カテゴリは、リハビリテーションにおける動作のカテゴリである。図示する例では、読取エリア2011には動作カテゴリ「座位」が対応付けられおり、読取エリア2012には動作カテゴリ「立位」が対応付けられており、読取エリア2013には動作カテゴリ「立ち上り」が対応付けられており、読取エリア2014には動作カテゴリ「歩行」が対応付けられており、読取エリア2015には動作カテゴリ「その他」が対応付けられている。ペアリング読取部201は、媒体40から個人情報を読み取った読取エリア2011~2015により動作カテゴリを取得する。
なお、動作カテゴリは上述したものに限らず、設定により、自由に変更、追加できる。また、動作カテゴリは、「動作」だけに限らず、「作業」や「練習」等を示すカテゴリを含んでもよい。また、読取エリア2011~2015を1つにして、個人情報の読み取り専用とし、動作カテゴリをタブレット端末10内のアプリケーションで選択するようにしてもよい。これにより、アプリケーションをアップデートすることで、カテゴリを柔軟に更新することができる。
また、ステーション20は、ドッキング部205を備える。ドッキング部205は、側面に凹状の保持部を有し、当該保持部でタブレット端末10の側面を挟んで保持する。ドッキング部205は左右に可動式になっていてもよい。これにより、タブレット端末の縦横の向きを変更して保持する場合や、タブレット端末10のサイズが変更された場合であっても、ステーション20を変更することなく対応することが可能である。
図3は、リハビリテーション支援システムS1に備わるタブレット端末10、ステーション20、リモコン30及び媒体40それぞれの機能構成例を示す概略ブロック図である。
タブレット端末10は、撮像部101と、制御部102と、表示部103と、記憶部104と、操作部105と、受信部106と、接続部107とを備える。なお、タブレット端末10は、撮像部101を有さず、外部のカメラが撮像した動画像を、接続部107を介して取得して使用してもよい。より具体的に言うと、例えば、タブレット端末10とは別体をなす外部カメラ(ウェブカメラなど)を配置し、撮像部101の代わりに、この外部カメラで撮像してもよい。この場合、外部カメラは、撮像した動画像をリアルタイムでタブレット端末10に送信してもよいし、または、送信せずに外部カメラに一時的に保存してもよい。撮像した動画像を外部カメラに一時的に保存する場合には、タブレット端末10からの指示を受けた際に、外部カメラが動画像をタブレット端末10へ送信するようにしてもよい。
制御部102は、CPU(Central Processing Unit;中央演算処理装置)を用いて構成され、タブレット端末10の動作を統括して制御する。制御部102は、記録制御部1021と、表示制御部1022とを備える。記録制御部1021は、撮像部101が対象者EPを撮像した動画像を記録し、記録した動画像と、ステーション20から受信した対象者EPの患者番号及びリハビリテーションに係る動作カテゴリと、動画像を撮像した撮像日時とを対応付けて記憶部104に書き込んで保存する。表示制御部1022は、記憶部104が記憶している動画像を表示部103に再生して表示する。また、表示制御部1022は、対象者EPの複数(例えば、2つ)の動画像を表示部103に並べて同時再生する。
記憶部104は、ROM(Read Only Memory)やRAM(Random Access Memory)等の記憶装置を用いて構成され、種々の情報を記憶する。例えば、記憶部104は、撮像部101が撮像した動画像の画像データ(以下、動画像データと称する。)や、動画像と対象者と動作カテゴリと撮像日時とを対応付ける対応テーブル等を記憶する。
操作部105は、ボタンやタッチパネル等の既存の入力装置を用いて構成され、入力を受け付ける。操作部105は、補助者SPの指示をタブレット端末10に入力する際に補助者SPによって操作される。
受信部106は、赤外線等によりリモコン30からの制御データを受信する。制御データには、動画像の記録の開始を指示するスタート情報又は動画像の記録の停止を指示するストップ情報がある。
接続部107は、タブレット端末10がステーション20に装着されているときに、ステーション20と接続してデータを送受信するインタフェースである。
なお、タブレット端末10は、例えば、音声を出力する音声出力部等のスマートフォンやタブレット端末が一般的に有する機能部を有していてもよい。
ステーション20は、ペアリング読取部201と、給電部202と、制御部203と、第1の接続部204とを備える。
給電部202は、ステーション20の各部に電力を供給する。また、給電部202は、タブレット端末10がステーション20に装着されている際に、第1の接続部204を介してタブレット端末10に電力を供給する。
制御部203は、ステーション20の動作を統括して制御する。制御部203は、CPUを用いて構成されてもよい。制御部203は、例えば、ペアリング読取部201が媒体40から読み取った個人情報及び動作カテゴリを第1の接続部204からタブレット端末10に送信する。第1の接続部204は、タブレット端末10がステーション20に装着されているときに、タブレット端末10と接続してデータを送受信するインタフェースである。
なお、ステーション20の機能の一部又は全部をタブレット端末10のアプリケーションで実現してもよい。
リモコン30は、操作部301と、送信部302とを備える。操作部301は、ボタンを用いて構成され、入力を受け付ける。送信部302は、操作部301が入力を受け付けた際に、赤外線等により制御データをタブレット端末10に送信する。
媒体40は、記憶部401を備える。記憶部401は、所有者の個人情報を記憶する。個人情報は、例えば、患者番号、氏名、生年月日等である。
図4は、リハビリテーション支援システムS1に備わるタブレット端末10のハードウェア構成例を示す概略ブロック図である。
タブレット端末10は、CPU1001と、RAM1002と、ROM1003と、通信モジュール1004と、補助記憶装置1005と、入力装置1006と、出力装置1007とを含んで構成され、それぞれがバスライン1008等で接続されている。
CPU1001は制御部102に対応する。RAM1002、ROM1003、及び補助記憶装置1005は記憶部104に対応する。通信モジュール1004は、受信部106及び接続部107に対応する。入力装置1006は、撮像部101に対応する。出力装置1007は、表示部103に対応する。
図5は、タブレット端末10の記憶部104が記憶する対応テーブルのデータ構成及びデータ例を示す概略図である。図示するように対応テーブルは、対象者と、動作カテゴリと、日時と、動画像との各項目を有する。対象者は、動画像の被写体である対象者EPの患者番号である。動作カテゴリは、リハビリテーションの動作カテゴリである。日時は、動画像を撮像した年月日時分である。動画像は、動画像データのデータ名である。
続いて、図6及び図7を参照して、本実施形態におけるリハビリテーション支援システムS1における処理の流れについて説明する。図6は、リハビリテーション支援システムS1における処理の一例を示すイメージ図である。図7は、リハビリテーション支援システムS1における処理の一例を示すシーケンス図である。リハビリテーション支援システムS1では、対象者EPのリハビリテーションの様子をタブレット端末10により動画像で記録し、記録した動画像をタブレット端末10において再生して確認することができる。
タブレット端末10は、壁面等に設置されたステーション20に予め装着されている。これにより、補助者SPが、動画像を撮像するために、三脚の位置やカメラの高さ等を対象者EPが写るように調整してセッティングする手間を省くことができる。また、三脚等によりカメラの位置をセッティングすると、前回セッティングした位置を定点観察するのに手間が掛かったり、位置がずれたりする。それに対し、本リハビリテーション支援システムS1では、タブレット端末10をステーション20に装着するだけで容易にセッティングすることができる。また、タブレット端末10の位置が、前回の位置からずれることがないため、対象者EPの位置を決めておけば毎回同じ範囲におけるリハビリテーションの動画像を撮像することができ、動画像の比較等が行いやすい。また、ステーション20は壁面等に設置されているため、様々な人が行き交うリハビリテーション室において通常時は邪魔にならず、片付ける必要がない。また、使用したいときに直ぐに使用することができる。
まず、補助者SPは、対象者EPに対応する媒体40をステーション20のペアリング読取部201にかざす(ステップS101)(図6(a)参照)。このとき、補助者SPは、ペアリング読取部201のうち、これから対象者EPがする(すなわち、動画像に記録される)動作カテゴリに対応する読取エリアに媒体40をかざす。図示する例では、動作カテゴリ「座位」に対応する読取エリア2011に媒体40がかざされている。
ステーション20のペアリング読取部201は、媒体40から対象者EPの個人情報を読み取り、また、媒体40がかざされた読取エリアに対応する動作カテゴリを取得する(ステップS102)。そして、ペアリング読取部201は、取得した個人情報と動作カテゴリとを制御部203に出力する。制御部203は、入力された個人情報及び動作カテゴリを、第1の接続部204を介してタブレット端末10に送信する(ステップS103)。
タブレット端末10の制御部102は、個人情報及び動作カテゴリをステーション20から受信すると、受信した個人情報に応じたメニュー画面を表示部103に表示する(ステップS104)。メニュー画面には、媒体40に対象者EPの個人情報を登録するための患者カード登録や、各種設定や、動画像を再生する動画再生や、動画像を他の機器に転送する動画転送や、動画像を記録する動画記録や、ログアウト等の各メニューが選択可能に表示される。補助者SPは、メニュー画面から動画記録を選択する(ステップS105)。
制御部102は、メニュー画面において動画記録が選択されると(ステップS105)、記憶部104における動画像記録用の空き容量から記録可能な時間を算出して表示部103に表示する(ステップS106)。例えば、制御部102は、「残り〇〇MB(約××分)記録可能です」等のメッセージを表示部103に表示する。
そして、制御部102は、撮像部101を起動し、動画を記録するための動画記録画面を表示部103に表示する(ステップS107)。動画記録画面には、撮像部101が撮像する画像が表示される。タブレット端末10の表示部103は、撮像部101と同じ面にその画面が配置されているため、補助者SP及び対象者EPから表示部103の画面が見える状態で撮像することができる。そして、撮像部101が撮像する画像を動画記録画面に表示することにより、補助者SPは動画像の記録を開始する前や記録中に対象者EPの写り具合を確認することができる。また、動画記録画面には、受信した個人情報と、動作カテゴリとが表示される。これにより、動画像の登録間違いを低減することができる。
補助者SPは、タブレット端末10に動画記録画面が表示された後、リモコン30の操作部301にあるボタンを押下して記録の開始を指示する(ステップS108)(図6(b)参照)。リモコン30の送信部302は、操作部301が入力を受け付けると、スタート情報をタブレット端末10に送信する。タブレット端末10の制御部102の記録制御部1021は、受信部106がスタート情報を受信すると、撮像部101が撮像する動画像の記録を開始する(ステップS109)。なお、リモコン30を用いず、タブレット端末10に表示されるスタートボタンを押下することで動画像の記録を開始してもよい。
その後、補助者SPは、対象者EPがリハビリテーションの動作を終了すると、再度、リモコン30の操作部301にあるボタンを押下して記録の終了を指示する(ステップS110)。このように、補助者SPは、リモコン30を使用してタブレット端末10を操作することができるため、タブレット端末10から離れていても動画像を撮像することができる。よって、リハビリテーション中は対象者EPの傍にいることができ、安全にリハビリテーションを実施することができる。また、リモコン30の操作部301に配置するボタンを最小限(例えば、1つ)にすることで、操作ミスの低減や、感覚的な操作が可能となる。なお、リモコン30を用いず、タブレット端末10に表示されるストップボタンを押下することで動画像の記録を終了してもよい。
上述したように、上記ステップS108,S110は、リモコン30の代わりにタブレット端末10で行ってもよい。この場合、ステップS108において、補助者SPは、タブレット端末10に動画記録画面が表示された後、タブレット端末10を操作して記録を開始する。また、ステップS110において、補助者SPは、対象者EPがリハビリテーションの動作を終了すると、再度、タブレット端末10を操作して記録を終了する。
なお、この場合、タブレット端末10に一時的に記憶した動画を編集して始点及び終点を変更し、保存するように構成してもよい。この場合、リモコン30が無くても、必要な時間範囲の動画を得ることができる。一方、リモコン30を用いる形態の場合は、編集作業が不要で操作が楽であるという点で利点がある。
リモコン30の送信部302は、操作部301が入力を受け付けると、ストップ情報をタブレット端末10に送信する。タブレット端末10の制御部102の記録制御部1021は、受信部106がストップ情報を受信すると、撮像部101が撮像する動画像の記録を終了し(ステップS111)、動画像データを記憶部104に書き込んで保存する(ステップS112)。このとき、制御部102の記録制御部1021は、ステーション20から受信した個人情報に含まれる患者番号と、動作カテゴリと、動画像の記録を終了した日時(撮像日時)と、動画像とを対応付けて記憶する。具体的には、制御部102の記録制御部1021は、患者番号と、動作カテゴリと、撮像日時と、動画像とを対応付けて記憶部104が記憶する対応テーブルに書き込む。
すなわち、動作カテゴリに対応する読取エリアに媒体40をかざすという簡単な1つの動作のみで、対象者と、動作カテゴリと、撮像日時とが自動的に動画像に対応付けられる。これは、動作カテゴリ毎に読取エリアが設置されているため、媒体40をかざす場所を変えるだけで動作カテゴリを指定できるからである。つまり、媒体40をかざすという1つの動作のみで、動画像に対応付ける個人情報及び動作カテゴリを入力することができる。よって、補助者SPはこれらの情報をタブレット端末10に入力する手間がなくなり、操作性が向上する。これにより、補助者SPの業務負担を軽減することができる。
更に、記録した動画像は、その場で即時に再生可能である。例えば、補助者SPは、ステーション20からタブレット端末10を取り外して対象者EPと記録した動画像を確認することができる(図6(c)参照)。通常、ビデオカメラの画面はタブレット端末10の画面に比べて小さいため、高齢者等の視力が低下している対象者EPにとっては、ビデオカメラの画面において動画像を確認することが困難であった。これに対し、本リハビリテーション支援システムS1では、記録した動画像をタブレット端末10の比較的大きな画面で再生することができるため、撮像したその場で対象者EPに動画像を見せて確認することができる。また、記録した動画像をタブレット端末10から有線又は無線で接続する他の表示装置に転送して表示してもよい。これにより、より大きな画面や複数の画面で動画像を確認することができる。
また、タブレット端末10は、ステーション20から取り外し可能であるため、対象者EPはステーション20のある位置まで行く必要がない。対象者EPがいる位置は撮像ポイントであるため、ステーション20から離れていることが多い。その場合には、ステーション20からタブレット端末10を取り外して、対象者EPの前まで持って行くことができる。これにより、撮像したその場で補助者SPと対象者EPとが記録した動画像を確認して共有することができる。さらに、補助者SPと対象者EPが、記録した動画像を確認しながら、動画像にタッチして手書きの絵(マーカ)や手書きのメモを書き入れ、そしてこれらマーカやメモを動画像と共に保存してもよい。この場合、補助者SPと対象者EPは情報をより共有しやすくなる。
タブレット端末10の制御部102の表示制御部1022は、動画像の記録が終了すると、記録した動画像を再生するための動画再生画面を表示部103に表示する。
図8は、タブレット端末10の表示部103に表示される動画再生画面の一例を示すイメージ図である。本図に示す動画再生画面には、動画像を再生するための再生エリアGと、動画像を再生するための再生ボタンBT1と、再生開始位置まで現在の再生位置をリセットするためのリセットボタンBT2と、動画像をスロー再生するためのスローONボタンBT3と、複数の動画像を同時に再生するための同時再生ONボタンBT4と、再生する動画像を選択するための動画選択ボタンBT5と、動画再生画面を終了して元の画面に戻るための終了ボタンBT6とが配置されている。
制御部102の表示制御部1022は、動画再生画面において再生ボタンBT1が押下され入力を受け付けると、再生エリアGに動画像を再生する。また、制御部102の表示制御部1022は、動画再生画面においてリセットボタンBT2が押下され入力を受け付けると、再生エリアGに動画像を最初から再生する。また、制御部102の表示制御部1022は、動画再生画面においてスローONボタンBT3が押下され入力を受け付けると、再生エリアGにおける動画像の再生をスローにする。スロー再生することにより、起立動作等の早い動作も容易に分析や理解が可能となる。特に、対象者EPと一緒に確認する場合には、スロー再生の方が高齢者等は理解しやすい。また、制御部102の表示制御部1022は、動画再生画面において動画選択ボタンBT5が押下され入力を受け付けると、動画再生画面において再生する動画像を選択するための動画選択画面を表示部103に表示する。また、制御部102の表示制御部1022は、動画再生画面において終了ボタンBT6が押下され入力を受け付けると、動画再生画面を終了し、メニュー画面を表示部103に表示する。
更に、動画再生画面には、再生箇所バーBR1と、終了箇所バーBR2と、現在位置バーBR3とが再生エリアGの下部に配置される。再生箇所バーBR1は、再生を開始する位置を調整するためのバーである。終了箇所バーBR2は、再生を終了する位置を調整するためのバーである。現在位置バーBR3は、現在の再生位置を示すバーである。再生箇所バーBR1及び終了箇所バーBR2は、例えばタッチパネル等における操作によりその位置を変更することができる。
すなわち、補助者SPは、動画像の再生箇所を調整することが可能である。例えば、補助者SPは、再生箇所バーBR1及び終了箇所バーBR2の位置を調整した後、再生ボタンBT1を押下する。タブレット端末10の制御部102の表示制御部1022は、再生箇所バーBR1に対応する箇所から動画像を再生エリアGに再生し、終了箇所バーBR2に対応する箇所で動画像の再生を終了する。すなわち、動画像は、再生箇所バーBR1の位置から終了箇所バーBR2の位置まで再生される。これにより、見たい動作の箇所だけをピンポイントで再生が可能となる。動画像を確認する際は、複数回再生して見ることが多い上に、動画像の前半は動作準備期間で意味のないものであることが多いため、再生位置を変更することは有効である。
また、タブレット端末10は、過去の動作(リハビリテーションの様子)と比べて見るために、過去に撮像した動画像と今回撮像した動画像とを同時に再生することができる。まず、補助者SPは、同時再生ONボタンBT4を押下する。タブレット端末10の制御部102の表示制御部1022は、動画再生画面において動画選択ボタンBT4が押下され入力を受け付けると、同時に再生する過去の動画像を選択するための動画選択画面を表示部103に表示する。
図9Aは、タブレット端末10の表示部103に表示される動画選択画面の一例を示すイメージ図である。本図に示す動画選択画面には、対象者EPの患者番号及び氏名が左上部分に表示されるとともに、対象者EPの動画像を示すアイコンが選択可能に一覧表示される。各アイコンは、対応する動画像の動作カテゴリを示すピクトグラム及び文字列によって構成される。これにより、動画像の動作カテゴリを容易に判別することができる。また、ピクトグラムを用いて動作カテゴリを表すことにより、言語に制約されずに動作カテゴリの内容を直感的に伝達することができ、グローバル対応に向いた表現を実現している。
図示するように、アイコンは、動画像が撮像された日付毎に分けて表示される。更に、アイコンの下には撮像された時刻が表示される。また、アイコンは、各日付において撮像された時刻が午前であるか午後であるかが容易に識別可能な態様で表示される。例えば、午前のアイコンを赤いエリアで囲み、午後のアイコンを青いエリアで囲む、等の色分けをしてもよい。
なお、動画選択画面には、動画再生画面において再生された動画像の動作カテゴリ(すなわち、ステーション20が媒体40から個人情報を読み取った読取エリアに対応する動作カテゴリ)の動画像のみを一覧表示するようにしてもよい。或いは、動画選択画面には、動作カテゴリ毎に分けてアイコンを表示するようにしてもよい。
補助者SPは、動画選択画面において、同時再生する動画像のアイコンを選択して押下する。タブレット端末10の制御部102の表示制御部1022は、動画選択画面において選択されたアイコンの動画像を記憶部104から読み出して、同時再生画面を表示部103に表示する。
図9Aに示した動画選択画面に代わる変形例として、図9Bに示す動画選択画面を採用してもよい。同変形例では、動画像に付したマーカやメモ等の編集内容を、アイコンで確認可能である。
図9Bに示される領域ar1には、動作カテゴリ、撮影日時、動画時間、が表示される。また、図9Bに示される領域ar2には、動画像に対して下記のような編集データが紐付けられていることがアイコンで示される。
・フラグ:データの重要度を任意で選択可能
・メモ記入のデータあり
・自由記入マーカのデータあり
・各種計測データあり(例えば、腕を上げた角度や、体幹の傾きの角度等のデータのあり)
・モザイク加工データあり
・連続写真作成データあり
・2画面比較データあり
・重ね比較データあり
さらに、図9Bに示される領域ar3には、2画面比較データ、重ね比較データ、連続写真データ、のそれぞれに対して下記のような編集データが紐付けられていることが、アイコンで示される。
・メモ記入のデータあり
・自由記入マーカのデータあり
・各種計測データあり
・モザイク加工データあり
図10は、タブレット端末10の表示部103に表示される同時再生画面の一例を示すイメージ図である。本図に示す同時再生画面には、今回の動画像を再生するための今回再生エリアG1と、過去の動画像を再生するための過去再生エリアG2と、ボタンBT1~BT6とが配置されている。今回の動画像は、動画再生画面において再生された動画像であり、例えば、直近に撮像した動画像である。また、過去の動画像は、動画選択画面において選択された動画像である。また、同時再生画面におけるボタンBT1~BT6の機能は、動画再生画面のものと同様である。
制御部102の表示制御部1022は、同時再生画面において再生ボタンBT1が押下され入力を受け付けると、再生エリアG1に今回の動画像を、再生エリアG2に過去の動画像を同時に再生する。すなわち、タブレット端末10は、今回の動画像と過去の動画像とを並べて同時再生することができる。よって、1つの画面で2つの動画像を並べて同時に再生することができるため、撮像したその場で過去の動画像との比較を容易に行うことができる。そのため、対象者EPは、過去(例えば、入院時)と比べてどのくらい良くなったのかの回復状態(リハビリテーションの効果)をその場で容易に確認することができる。また、撮像したその場で、補助者SPと対象者EPとで動画像を比較して課題を共有し、その課題に対してのリハビリテーションメニューを実施することができる。
なお、過去と現在の動画像を並べて比較表示する際、それぞれの位置を変更したり、またはそれぞれの大きさを拡大縮小したりしてもよい。
また、現在の動画像を、互いに倍率を変えて2つ並べてもよい。例えば、一方は俯瞰した動画像で、他方がそのうちの一部を拡大した動画像であってもよい。
また、セラピストなどの患者ではない第三者を撮像した動画像と、対象者EPを撮像した動画像との2つを並べてもよい。この場合、セラピストなどの第三者の動作を手本として、対象者EPの動作を対比したりすることができる。
さらには、複数の動画像を並べて比較する際の並び配置を、横方向に並べることに限らず、縦方向に並べるようにしてもよい。動画像を縦方向に並べる場合、後述する再生箇所バーBR11、終了箇所バーBR12及び現在位置バーBR13を、縦並びの動画像の真横に配置してもよいし、または、縦並びの動画像の真下に配置してもよい。
同時再生画面には、今回の動画像に対応する再生箇所バーBR11、終了箇所バーBR12及び現在位置バーBR13が今回再生エリアG1の下部に配置される。また、同時再生画面には、過去の動画像に対応する再生箇所バーBR21、終了箇所バーBR22及び現在位置バーBR23が過去再生エリアG2の下部に配置される。補助者SPは、再生箇所バーBR11及び終了箇所バーBR12の位置を変更することにより、今回の動画像の再生箇所を調整することができる。また、補助者SPは、再生箇所バーBR21及び終了箇所バーBR22の位置を変更することにより、過去の動画像の再生箇所を調整することができる。
例えば、動画像の記録を開始してから動作を開始するまでの時間は、各動画像により異なる場合がある。よって、2つの動画像を同時に再生しても、各動画像において対象者EPが同時に動作を開始するとは限らない。そのため、2つの動画像をそのまま最初から再生させると、各動画像における対象者EPの動作のタイミングが異なり、比較し難い。これを解消するために、各動画像の再生箇所を動作の開始タイミング等に合わせて、2つの動画像における対象者EPの動作のタイミングが合うように調整することができる。
例えば、補助者SPは、再生箇所バーBR11及び再生箇所バーBR21を動作の開始タイミングの位置に調整した後、再生ボタンBT1を押下する。タブレット端末10の制御部102の表示制御部1022は、今回の動画像を再生箇所バーBR11に対応する箇所から、過去の動画像を再生箇所バーBR21に対応する箇所から同時再生する。これにより、2つの動画像を同時に再生したときに、2つの動画像において対象者EPが同時に動作を開始するため、差異を比較し易くなり、動作速度の変化等を容易に確認することができる。再生箇所バーBR1,BR11,BR21及び終了箇所バーBR2,BR12,BR22が、動画像における再生位置を指定する再生位置指定部を構成する。表示制御部1022は、動画像のうち、再生位置指定部において指定された再生位置を再生する。
また、タブレット端末10は、今回の動画像に限らず、記録した任意の動画像を選択して再生することができる。例えば、制御部102は、メニュー画面において動画再生が選択されると、再生する動画像を選択するための動画選択画面を表示部103に表示する。当該動画選択画面では、1つ又は2つの動画像を選択することができる。制御部102は、動画選択画面において1つの動画像が選択された場合には、選択された動画像を再生するための動画再生画面を表示部103に表示する。一方、制御部102は、動画選択画面において2つの動画像が選択された場合には、選択された2つの動画像を同時再生するための同時再生画面を表示部103に表示する。
また、タブレット端末10は、記録した動画像をパーソナルコンピュータやクラウド(サーバ装置)等の他の機器に転送してデータ移管をすることができる。例えば、制御部102は、メニュー画面において動画転送が選択されると、転送する動画像を選択するための動画選択画面を表示し、動画選択画面において選択された動画像に関するデータ(動画像データ及び、対応テーブルにおいて当該動画像に対応付けられる対応データ(対象者、動作カテゴリ及び日時))を転送する。転送手段は、例えば、コンピュータが読み取り可能な記録媒体を用いてもよいし、無線LAN(Local Area Network)やBluetooth(登録商標)等の無線通信を用いてもよい。
なお、タブレット端末10が、記録した動画像を他の機器に転送するデータ移管をする際、動画像に付したメモやマーカも、動画像と共にデータ移管してもよい。
また、タブレット端末10は、記憶部104の空き容量が少なくなると新たな動画像を記録できなくなるため、これを防ぐために、動画像に関するデータを自動的に他の機器に転送してデータ移管してもよい。これにより動画像データによる容量負荷を軽減することができる。転送するタイミングは、予めスケジューリングされていてもよいし、新たな動画像を記録したタイミングであってもよいし、記憶部104の空き容量が所定値以下になったタイミング等であってもよい。
また、タブレット端末10及びステーション20は、媒体40に紐づけられている対象者EP(媒体40が保持する個人情報)の解除と変更が可能である。対象者EPは定期的に退院していくので、退院後にはその対象者EPの媒体40は不要になる。よって、退院した対象者EPとの紐づけを解除し、新たな対象者EPを媒体40に紐づける必要がある。例えば、制御部102は、メニュー画面において患者カード登録が選択されると、現在、媒体40に紐づけされている対象者EPを解除し、新たな対象者EPを当該媒体40に紐づける処理を実行する。より具体的には、制御部102は、新たに媒体40に紐づける対象者EPの患者番号を含む個人情報をステーション20に送信する。ステーション20のペアリング読取部201は、媒体40の記憶部401が記憶する個人情報を、タブレット端末10から受信した新たな個人情報に書き換える。これにより、媒体40に紐づけられている対象者EPが変更される。
図11は、タブレット端末10による動画記録再生処理の一例を示すフローチャートである。本図には、タブレット端末10が対象者EPを撮像して動画像を記録し、記録した動画像を再生する処理を示す。タブレット端末10は、個人情報及び動作カテゴリをステーション20から受信したときに、本図に示す処理を実行する。
まず、補助者SPは、媒体40をステーションのペアリング読取部201にかざす。ステーション20は、ペアリング読取部201に媒体40がかざされると、媒体40から個人情報を読み取り、読み取った個人情報と、媒体40がかざされた読取エリアに対応する動作カテゴリとをタブレット端末10に送信する。
(ステップS201)制御部102は、接続部107を介してステーション20から個人情報及び動作カテゴリを受信して取得する。その後、ステップS202の処理に進む。
(ステップS201)制御部102は、受信した個人情報が権限者のものであるか否かを判定する。権限者は、タブレット端末10を操作する権限を有する者であって、例えば、補助者SPである。権限者であると制御部102が判定した場合には、ステップS203の処理に進む。また、権限者でない(すなわち、対象者EPである)と制御部102が判定した場合には、ステップS204の処理に進む。
(ステップS203)制御部102は、権限者が操作可能な処理を示す各種設定画面を表示部103に表示し、対応する各処理を実行する。権限者が操作可能な処理は、例えば、対象者EPの動画像の確認、対象者EP同士の動画像の比較、動画像の削除等である。なお、権限に種別を設け、種別に基づいて実行可能な処理が異なるようにしてもよい。例えば、第1権限者は全ての対象者EPの動画像の確認、比較、及び削除を可能とし、第2権限者は担当する対象者EPについてのみ動画像の確認、比較、及び削除を可能としてもよい。その後、処理を終了する。
(ステップS204)制御部102は、メニュー画面を表示部103に表示する。メニュー画面に表示される項目は、例えば、動画記録、動画再生、動画転送、患者カード登録、ログアウト等である。その後、ステップS205の処理に進む。
(ステップS205)制御部102は、メニュー画面から動画記録が選択されたか否かを判定する。動画記録が選択されたと制御部102が判定した場合には、ステップS207の処理に進む。また、動画記録が選択されなかったと制御部102が判定した場合には、ステップS206の処理に進む。
(ステップS206)制御部102は、メニュー画面において選択された各処理を実行する。その後、処理を終了する。
(ステップS207)制御部102は、撮像部101を起動して動画撮像画面を表示部103に表示する。その後、ステップS208の処理に進む。
(ステップS208)制御部102は、受信部106がリモコン30からスタート情報を受信したか否かを判定する。受信したと制御部102が判定した場合には、ステップS209の処理に進む。また、受信していないと制御部102が判定した場合には、ステップS208の処理を再度実行する。
(ステップS209)制御部102は、撮像部101が撮像する動画像の記録を開始する。その後、ステップS210の処理に進む。
(ステップS210)制御部102は、受信部106がリモコン30からストップ情報を受信したか否かを判定する。受信したと制御部102が判定した場合には、ステップS211の処理に進む。また、受信していないと制御部102が判定した場合には、ステップS210の処理を再度実行する。
(ステップS211)制御部102は、動画像の記録を終了する。その後、ステップS212の処理に進む。なお、動画像の記録を終了する前に、動画像の編集が行えるようにしてもよい。例えば、動画像の向きを回転させたり、トリミングをしたりした後に、動画像の記録を終了し、そしてステップS212の処理に進んでもよい。
(ステップS212)制御部102は、記録した動画像を、ステップS201において取得した個人情報及び動作カテゴリと、記録を終了した日時とに対応付けて記憶部104に書き込んで保存する。その後、ステップS213の処理に進む。
(ステップS213)制御部102は、記録した動画像を再生する動画再生画面を表示部103に表示する。その後、ステップS214の処理に進む。
(ステップS214)制御部102は、動画再生画面において同時再生ONボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS216の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS215の処理に進む。
(ステップS215)制御部102は、動画再生画面において終了ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS204の処理に戻る。また、入力を受け付けていないと制御部102が判定した場合には、ステップS213の処理に戻る。
(ステップS216)制御部102は、動画選択画面を表示部103に表示する。その後、ステップS217の処理に進む。
(ステップS217)制御部102は、動画選択画面において同時再生する動画像が選択されたか否かを判定する。選択されたと制御部102が判定した場合には、ステップS218の処理に進む。また、選択されていないと制御部102が判定した場合には、ステップS213の処理に戻る。
(ステップS218)制御部102は、動画選択画面において選択された動画像と、記録した動画像とを同時再生するための同時再生画面を表示部103に表示する。その後、ステップS219の処理に進む。
(ステップS219)制御部102は、同時再生画面において再生ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS220の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS221の処理に進む。
(ステップS220)制御部102は、選択された動画像と、記録した動画像とを同時再生する。その後、ステップS221の処理に進む。
(ステップS221)制御部102は、同時再生画面において終了ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS204の処理に戻る。また、入力を受け付けていないと制御部102が判定した場合には、ステップS218の処理に戻る。
以上説明したように、本実施形態のリハビリテーション支援システムS1は、可搬可能なタブレット端末10と、タブレット端末10を脱着可能なステーション20とを備える。ステーション20は、タブレット端末10が装着されているときに、タブレット端末10と接続してデータを送受信する第1の接続部204と、リハビリテーションの対象者を識別する対象者識別情報を取得するペアリング読取部201と、ペアリング読取部201が取得した対象者識別情報を第1の接続部204からタブレット端末10に送信する制御部203とを備える。タブレット端末10は、ステーション20に装着されているときに、ステーションと接続してデータを送受信する接続部107と、対象者を撮像する撮像部101と、撮像部101が撮像した動画像を記憶する記憶部104と、接続部107を介してステーション20から対象者識別情報を受信し、撮像部101が対象者を撮像した動画像に受信した対象者識別情報を対応付けて記憶部104に書き込む記録制御部1021と、を備える。
上記構成によれば、ステーション20の取得した対象者識別情報が自動的に動画像に対応付けられてタブレット端末10に記憶される。これにより、対象者EPを撮像した動画像を簡単な操作で対象者毎に分けて記憶することができる。よって、補助者SPは、業務終了後に、動画像を確認して対象者毎に仕分ける作業を行う必要がなく、操作性が向上する。
特にリハビリテーションの現場では、一般的に次のような手順で動画像の記録及び管理が行われている。まず、補助者SPが、リハビリテーション動作を定点観察するため、三脚にビデオカメラを設置して、対象者EPのリハビリテーション中の動きを撮像する。補助者SPは、撮像直後に撮像した動画像を確認し、問題がなければ三脚の片づけを行う。リハビリテーション終了後に、ビデオカメラから記録媒体を抜き取り、パーソナルコンピュータに動画像のデータをコピーする。その後、パーソナルコンピュータ上で、撮像した動画像を目視で確認しながら、リハビリテーションの対象者名と、どの動作をしたか等の記録を更新し、更にフォルダの仕分け等を行う。このように、従来の動画像の記録及び管理においては、作業の工数が多く、手間がかかるという問題がある。また、補助者SPが日中のリハビリテーション等の業務を終えた後から動画像の登録や整理を行うため、補助者SPの業務終了時間が遅くなってしまう場合がある。本実施形態のリハビリテーション支援システムS1により、動画像記録システムにおける操作性を向上するとともに、補助者SPの作業時間及び作業負担を低減することができる。
また、本実施形態におけるリハビリテーション支援システムS1において、ペアリング読取部201は、対象者識別情報とともに、リハビリテーションに係る動作カテゴリを取得し、制御部203は、対象者識別情報とともに動作カテゴリを第1の接続部204からタブレット端末10に送信し、記録制御部1021は、動画像に受信した対象者識別情報及び動作カテゴリを対応付けて記憶部104に書き込む。上記構成によれば、ステーション20の取得した対象者識別情報及び動作カテゴリが自動的に動画像に対応付けられてタブレット端末10に記憶される。これにより、対象者EPを撮像した動画像を簡単な操作で対象者及び動作カテゴリ毎に分けて記憶することができる。よって、補助者SPは、業務終了後に、動画像を確認して動作カテゴリ毎に仕分ける作業を行う必要がなく、操作性が向上する。
また、本実施形態におけるリハビリテーション支援システムS1において、ペアリング読取部201は、対象者識別情報を記憶する媒体40から対象者識別情報を読み取る。これにより、ペアリング読取部201に媒体40をかざすという簡単な操作1つで対象者識別情報をステーション20及びタブレット端末10に入力することができる。
また、本実施形態におけるリハビリテーション支援システムS1において、ペアリング読取部201は、対象者識別情報を記憶する媒体40から対象者識別情報を読み取る読取エリアを動作カテゴリ毎に備え、対象者識別情報を読み取った読取エリアにより動作カテゴリを取得する。これにより、これから対象者EPが行うリハビリテーションの動作カテゴリに対応する読取エリアに媒体40をかざすという簡単な操作1つで対象者識別情報及び動作カテゴリをステーション20及びタブレット端末10に入力することができる。
また、本実施形態におけるリハビリテーション支援システムS1において、タブレット端末10は、記憶部104が記憶する動画像を再生して表示する表示部103と、対象者EPの複数の動画像を表示部103に並べて同時再生する表示制御部1022と、を備える。上記構成によれば、タブレット端末10に記憶されている複数の動画像を並べて同時に再生することができる。よって、例えば、2つの動画像を同時再生して見比べることにより、過去のリハビリテーションの様子と容易に比較をすることができる。これにより、リハビリテーションの効果や回復状態等をより直観的に対象者EP又は補助者SPに提示することができる。
また、本実施形態におけるリハビリテーション支援システムS1において、タブレット端末10は、動画像における再生位置を指定する再生位置指定部(再生箇所バーBR1,BR11,BR21及び終了箇所バーBR2,BR12,BR22)を備え、表示制御部1022は、動画像のうち、再生位置指定部において指定された再生位置を再生する。上記構成によれば、同時再生する動画像の再生位置を調整することができる。よって、複数の動画像を動作の開始タイミング等に合わせて同時再生することができる。これにより、複数の動画像をより比較し易くなる。
[変形例]
次に、第1の実施形態における変形例について説明する。
図12は、本変形例においてタブレット端末10の表示部103に表示される動画再生画面の一例を示すイメージ図である。本図に示す動画再生画面には、図8と同様に、動画像を再生するための再生エリアGと、動画像を再生するための再生ボタンBT1と、再生開始位置まで現在の再生位置をリセットするためのリセットボタンBT2と、動画像をスロー再生するためのスローONボタンBT3と、複数の動画像を同時に再生するための同時再生ONボタンBT4と、再生する動画像を選択するための動画選択ボタンBT5と、動画再生画面を終了して元の画面に戻るための終了ボタンBT6とが配置されている。
また、動画再生画面には、図8と同様に再生箇所バーBR1と、終了箇所バーBR2と、現在位置バーBR3とが再生エリアGの下部に配置される。これに加えて、本変形例では、各種ボタンと並んで、動画像を所定の枚数の静止画に自動で分割する自動OUTPUTボタンBT7と、動画像を補助者SPが指定した複数の静止画に分割する手動OUTPUTボタンBT8が配置される。
制御部102の表示制御部1022は、動画再生画面において自動OUTPUTボタンBT7が押下され入力を受け付けると、再生箇所バーBR1で指定された位置から、終了箇所バーBR2で指定された位置までの動画像から所定の枚数の静止画像を抽出する。所定の枚数とは予め設定された枚数であってもよいし、自動OUTPUTボタンBT7の押下の前後で補助者SPが指定した枚数であってもよい。また、静止画を抽出する間隔は等間隔であってもよいし、所定の比率に基づいた時間間隔であってもよい。表示制御部1022は、抽出した静止画像を表示部103上に並べて表示する。動画像から所定の枚数の静止画像を抽出し表示することを自動OUTPUTとも称する。
制御部102の表示制御部1022は、動画再生画面において手動OUTPUTボタンBT8が押下され入力を受け付けると、動画像から入力受付時点に対応する静止画像を抽出し、表示部103上に表示する。手動OUTPUTボタンBT8が複数回押下されると、表示制御部1022は、抽出した各静止画像を表示部103上に並べて表示する。動画像から補助者SPが指定した静止画像を抽出し表示することを手動OUTPUTとも称する。
図13は、本変形例においてタブレット端末10の表示部103に表示される自動OUTPUT画面の一例を示す第1のイメージ図である。表示部103の上部には、データ名と分析時間が表示される。データ名は、データを識別する名称であり、例えば、自動OUTPUTを実行した年月日時分秒である。分析時間は、静止画像を抽出した範囲に対応する動画像の再生時間である。
表示部103内に、抽出された複数の静止画像が表示される。本図の例では、静止画像G1~G4が時系列に並べて表示されている。各静止画像G1~G4の下には、コメント欄があり、特徴的な動作シーンにコメントを記入して表示することができる。また、各種メモや担当からの評価を記入可能な欄もあわせて表示される。また、各静止画像に縦及び横の1以上のグリッド線を表示し、各静止画像間でグリッド線の表示位置を同期させてもよい。例えば、動作開始時の座った状態の座面位置に横のグリッド線を、体幹位置に縦のグリッド線を表示してもよい。これにより、例えば、立ち座り動作の過去比較を行う際に「以前より前傾がしっかり取れている」、「姿勢が安定している」等の確認が行いやすくなる。また、静止画像G1~G4のそれぞれにおいて、特徴的な動作シーンにマーカを書き加えて表示できるようにしてもよい。
表示部103の下部には、印刷ボタンBT11と、スタンプボタンBT12と、記録一覧ボタンBT13と、動画確認ボタンBT14と、角度測定ボタンBT15と、寸法測定ボタンBT16と、終了ボタンBT17とが配置される。印刷ボタンBT11を押下すると、表示部103に表示する内容を紙に印刷して出力することができる。スタンプボタンBT12を押下すると、矢印等の記号が表示され、当該記号を表示部103内の任意の場所に移動させることで、重要な箇所等を示すことができる。記録ボタンBT13を押下すると、記録した動画の一覧を表示する画面に遷移する。動画確認ボタンBT14を押下すると、選択された動画の再生画面に遷移する。角度測定ボタンBT15を押下すると、画面内に2本の線を引くことができ、その内角の角度を計測することができる。これにより、例えば、腕を上げた角度や、体幹の傾きの角度等を簡易に計測することができる。寸法測定ボタンBT16を押下すると、静止画像に写っている部分の基準寸法を入力することができ、基準寸法に基づいて静止画像内の寸法を簡易的に計測することができる。基準寸法とは、予め長さを計測してある部分の長さである。例えば、静止画像中の腕部分を選択し、予め計測してある腕の長さを入力することで、その長さを基準に静止画像内の寸法を測定することができる。終了ボタンBT17を押下すると、アプリケーションを終了する。なお、この例では印刷ボタンBT11に代えて、又は加えて、表示内容をデータとして出力し保存するボタンを配置してもよい。
このように、リハビリテーションの動作を撮像した動画像から所定の数の静止画を抽出し、表示することで、動作の変化を一覧して確認することができ、リハビリテーション動作の確認の効率を向上させることができる。特に、リハビリテーションの現場では情報伝達の手段として紙媒体のカルテを用いることが多い。従来は、1枚の資料に動画の画像を切り出して、1枚1枚貼り付けを実施することもあったが、作業に手間がかかり効率が悪かった。本変形例に係るリハビリテーション支援システムS1では、自動OUTPUTボタンBT7を押下することで、動画像から所定の枚数の静止画を抽出し、表示することができ、更に印刷ボタンBT11を押下することで、1枚の用紙で出力することができる。これによりカルテとあわせて出力した用紙を用いることで現場での確認作業を容易にすることができる。また、データとして出力することで、その後の資料作成等も容易に行うことができる。
図14は、本変形例においてタブレット端末10の表示部103に表示される自動OUTPUT画面の一例を示す第2のイメージ図である。表示部103は上段と下段に分割され、上段には、表示制御部1022によりリハビリテーション動作を記録した動画像から抽出された静止画像G1~G4が並んで表示される。下段には、表示制御部1022により上段と異なる動画像から抽出された静止画像G5~G8が表示される。上下の各静止画像を一画面に表示してすることで、複数枚の動画像から抽出された動作を容易に比較することができる。なお、抽出元の動画像は同じであって、再生範囲の異なる静止画像を抽出して表示してもよい。また、比較は上下2段に限らず、表示部103を左右に分割してもよいし、3つ以上に分割して3つ以上の静止画群を表示してもよい。また、メモ欄、コメント欄等は図13の例と同様に配置してもよいし、適宜レイアウトを変更して配置してもよい。
このように、リハビリテーションの動作を撮像した複数の動画像から所定の枚数の静止画を抽出し、抽出したそれぞれの所定の枚数の静止画を表示部103に表示することで、複数の動作を一覧して比較することができ、リハビリテーション動作の改善具合をより容易に把握することができる。
[第2の実施形態]
次に、第2の実施形態について説明する。図15は、本実施形態に係るリハビリテーション支援システムS2(動画像記録システム)のシステム構成を示す斜視図である。リハビリテーション支援システムS2は、リハビリテーションの対象者EPに対して、リハビリテーションの実施を支援するシステムである。リハビリテーション支援システムS2は、タブレット端末10、ステーション20A、センサ100、出力装置200及びリハビリテーション支援装置300を備える。
センサ100は、同センサ100の検出範囲800内(図15の破線で囲った範囲)で対象者EPを検出する。センサ100は、例えば、画像センサ、赤外線センサ、レーザセンサ、サーモセンサなど、対象者EPにマーカを装着することなく対象者EPの動きが検出できるセンサである。本実施形態では、このようなセンサの例として、センサ100に、距離センサと画像センサを組み込んだKinect(登録商標)を用いた場合を例に説明を行う。
センサ100は、例えば、画像センサ(不図示)を備える。前記画像センサは、(1)自らの正面方向をリアルタイムに撮像し、連続した複数枚の2次元画像(フレーム画像)を取得する動画カメラとしての機能と、(2)センサ100から、前記2次元画像(フレーム画像)内の各位置に対応する実際の位置までの距離の情報(距離情報を表示した画像)を取得する距離センサ(デプスセンサ)としての機能と、を有している。前記距離センサが有する機能により、対象者EPを撮像した画像と、当該画像に撮像された対象者EPの体の各部位の3次元空間における座標情報である距離画像情報とを取得する。センサ100が検出する3次元空間とは、図15に示すXYZ直交座標系によって示される空間である。
対象者EPの体の各部位とは、対象者EPの動作を認識するために検出することが求められる体の部位である。具体的には、対象者EPの体の各部位とは、例えば、対象者EPの頭、肩、腕、手、腰、足及び各関節部等の位置である。
センサ100は、検出した結果を示す情報(以下「検出結果情報」という。)をリハビリテーション支援装置300に出力する。検出結果情報とは、例えば、対象者EPの体の一部の位置情報である。
なお、センサ100は、対象者EPにマーカを装着し、そのマーカの検出により対象者EPを検出するセンサであっても構わない。
出力装置200は、対象者EPに対して行われるリハビリテーションに関する画像を出力する。出力装置200は、例えば、プロジェクタ等の画像投影装置である。出力装置200は、リハビリテーションを支援する画像を投影して、出力領域900に表示する。出力画像の例としては、対象者EPの体の一部の位置の移動履歴、及び、対象者EPの体の一部の移動目標位置を含む画像を挙げることができる。例えば、歩行のリハビリテーションの場合、出力装置200が対象者EPの足の位置の移動履歴、及び、対象者EPが足を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。また、手の移動のリハビリテーションの場合であれば、出力装置200が、対象者EPの手の位置の移動履歴、及び、対象者EPが手を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。以下の説明では、対象者EPの体の一部の位置の移動履歴を示す画像を履歴画像と称する。また、対象者EPの体の一部の移動目標位置を示す画像を目標画像と称する。
リハビリテーション支援装置300は、情報処理装置を用いて構成される。すなわち、リハビリテーション支援装置300は、バスで接続されたCPU、メモリ及び補助記憶装置を備える。リハビリテーション支援装置300は、リハビリテーション支援プログラムを実行することによって動作する。リハビリテーション支援装置300は、対象者が実施するリハビリテーションに係るアプリケーションを実行する。
タブレット端末10は、タブレット型の可搬可能な情報処理装置である。タブレット端末10は、ステーション20Aに装着することができ、また、ステーション20Aから離脱することができる。
ステーション20Aは、タブレット端末10を脱着可能なステーションである。ステーション20Aは、タブレット端末10を起立した状態で正面に向けて保持する。ステーション20Aは、タブレット端末10が装着されているときに、タブレット端末10が対象者EPを撮像可能な位置(例えば、リハビリテーション支援装置300の上部)に設置されている。また、ステーション20Aは、タブレット端末10が装着されているときに、タブレット端末10と接続してデータを送受信する。また、ステーション20Aは、電源に接続されており、タブレット端末10が装着されると、自動的にタブレット端末10に電力を供給する。
センサ100等は、脚部310によって支持される。脚部310は、上下方向に伸縮可能であり、センサ100、出力装置200の高さ位置を調整することができる。これにより、センサ100による検出範囲の広さを調整することが可能である。また、出力装置200が投影装置の場合、出力領域900の広さを調整することが可能である。また、脚部310は、キャスター311、312、313、314を備えている。キャスター311~314は転動可能であるため、手押しなどすることにより、リハビリテーション支援システムS2を、フロア上で自由に移動させることができる。
図16は、リハビリテーション支援システムS2に備わるリハビリテーション支援装置300の機能構成例を示す概略ブロック図である。リハビリテーション支援装置300は、入力部31、出力部32、記憶部33、制御部34、操作部35、表示部36及び接続部37を備える。
入力部31は、外部からの情報を入力するインタフェースである。例えば、入力部31は、センサ100から検出結果を示す情報(検出結果情報)を取得する。
出力部32は、制御部34によって生成された画像を出力装置200に対して出力するインタフェースである。
記憶部33は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部33は、キャリブレーション情報記憶部331、判定条件情報記憶部332、検出履歴情報記憶部333、パラメータ情報記憶部334、プログラム情報記憶部335を含む。
キャリブレーション情報記憶部331は、キャリブレーション情報を記憶する。キャリブレーション情報は、センサ100の検出結果を示す座標の座標系と、出力装置200が投影する画像面の座標系とを対応付ける情報である。従って、リハビリテーション支援装置300におけるキャリブレーションは、センサ100による検出範囲800と、出力装置200による画像の出力領域900との位置関係を把握し、両者に共通の座標系を設定する処理である。なお、センサ100が検出できる検出範囲は、図示する検出範囲800より広くてもよい。本実施形態における検出範囲800とは、出力領域900上で行われる対象者EPの動作において、対象者EPの検出目的とする体の一部の位置情報を取得するのに必要な検出範囲のことである。なお、出力領域900上とは、出力領域900で規定される平面の領域だけではなく、その領域において、出力領域900を基準とする所定高さまでの空間も含む。キャリブレーション情報は、例えば事前にキャリブレーションを実施することによって得てもよい。
出力装置200がマーカ画像を投影すると、センサ100は、各マーカ画像の位置を、センサ100の座標系(センサ100が検出位置を示すのに用いる座標系)における座標にてリハビリテーション支援装置300へ出力する。これにより、リハビリテーション支援装置300(制御部34)は、各マーカの位置を、センサ100の座標系における座標、及び、出力装置200の座標系における座標の両方で取得する。また、リハビリテーション支援装置300(制御部34)は、四隅等に投影されたマーカ画像により、出力装置200の座標系における出力領域900の範囲を示す座標を把握する。これにより、後述する目標決定部345は、出力領域900における出力装置200の座標系における目標位置を計算することができる。
リハビリテーション支援装置300(制御部34)は、得られた座標に基づいて、センサ100の座標系を補正するための情報をキャリブレーション情報として取得する。センサ100が座標系調整機能を有している場合、リハビリテーション支援装置300(制御部34)は、この機能を利用してセンサ100の座標系を出力装置200の座標系に合わせるためのキャリブレーション情報を生成する。あるいは、出力装置200が座標系調整機能を有している場合、リハビリテーション支援装置300(制御部34)が、この機能を利用して出力装置200の座標系をセンサ100の座標系に合わせるためのキャリブレーション情報を生成するようにしてもよい。
床面が光を散乱させてマーカ画像がぼやける場合など、センサ100によるマーカ画像の検出が困難な場合は、マーカ画像を用いた位置検出の代わりに補助者SPが手動で位置検出を行うようにしてもよい。出力装置200が出力領域900の全体に画像を投影している状態で、センサ100が画像センサで投影画像全体を含む領域を撮像する。リハビリテーション支援装置300は、センサ100による撮像画像を表示画面に表示する。そして、補助者SPは、モニタ画面に表示されている出力領域900の四隅の各々をタッチ操作にて指定する。
モニタ画面に表示されている画像は、センサ100が撮像した画像なので、補助者SPが指定した位置をセンサ100の座標系における座標で取得し得る。リハビリテーション支援装置300(制御部34)は、この座標と、出力装置200の座標系における出力領域900の四隅の座標とに基づいて、キャリブレーション情報を取得する。なお、高さ方向の座標として、フロアの座標を用いる。あるいは、補助者SPが、例えばコーンなど物理的なマーカを画像面の四隅位置に置くようにしてもよい。この場合、センサ100は、置かれたマーカを検出し、各マーカの座標を出力する。
出力装置200が床面に画像を投影する場合、リハビリテーション支援システム1の初回使用時にキャリブレーションを行えば、2回目の使用時以降はキャリブレーションを行う必要が無い。センサ100と床面との位置関係、及び、出力装置200と床面との位置関係のいずれも変わらないため、初回使用時に得られたキャリブレーション情報を2回目以降の使用時にも使用できるためである。
判定条件情報記憶部332は、動作領域を判定するための条件を記憶する。動作領域については後述する。
検出履歴情報記憶部333は、認識部341が認識した対象者EPの体の一部に関する位置情報(検出結果情報)の履歴を記憶する。例えば、歩行のリハビリテーションを行う場合、検出履歴情報記憶部333は、対象者EPの足の位置の検出結果情報の履歴を記憶する。また、手の移動のリハビリテーションを行う場合、検出履歴情報記憶部333は、対象者EPの手の位置の検出結果情報の履歴を記憶する。
パラメータ情報記憶部334は、後述する足用表示パラメータ設定部347が設定した足用表示パラメータ、後述する手用表示パラメータ設定部348が設定した手用表示パラメータ、後述する外乱用表示パラメータ設定部349が設定した外乱用表示パラメータを記憶する。
プログラム情報記憶部335は、リハビリテーション支援プログラムを記憶する。
制御部34は、CPUを用いて構成される。制御部34は、リハビリテーション支援プログラムを実行することによって、認識部341、表示制御部342、動作領域判定部343、記録部344、目標決定部345、評価部346、足用表示パラメータ設定部347、手用表示パラメータ設定部348、外乱用表示パラメータ設定部349、送受信制御部3410として機能する。
認識部341は、入力部31が取得した検出結果情報を取得し、検出結果情報が示す対象物を認識する。例えば、認識部341は、検出結果情報に基づいて、検出範囲800に存在する人、テーブル、床、壁等を認識する。例えば、Kinect(登録商標)を用いると、対象者EPの人体上の複数の部位の位置を認識することができる。例えば、認識部341は、テーブル上の長尺状の検出対象の先端部を認識すると、その先端部の単位時間ごとの位置情報を検出する。認識部341は、センサ100が時々刻々と検出したこれらの特徴点の位置情報により、対象者EPの体の一部の位置の動きを認識する。例えば、長尺状の対象物を検出した場合、認識部341は、その対象物の先端の位置の動きを認識する。当該先端の位置の動きは、例えば、対象者EPの手の位置として扱ってもよい。
また、認識部341は、検出結果情報が示す対象物の形状と人の骨格モデルとの比較を行って対象物が人と認識できる場合、各部位の位置を認識する機能を有していてもよい。この機能によれば、認識部341は、人体の各部位の位置情報を、その部位に対応付けて認識することができる。例えば、対象者EPがセンサ100の前で直立する。すると、認識部341は、その状態で検出された検出結果情報と人の骨格モデルとの比較を行い、対象物が人の形状をしていることから対象物は人であると認識する。さらに、認識部341は、例えば、左のつま先とその位置情報、右の踵とその位置情報、左右の手首とそれぞれの位置情報というように、各部位の位置情報をそれぞれの部位に対応付けて認識する。
骨格モデルによる各部位の位置を認識する機能(以下「骨格トラッキング機能」という。)を用いると、認識部341は、対象者EPの各部位の位置の動きを認識することができる。このように認識部341は、検出結果情報に含まれる所定の形状をした対象物の所定の位置をトラッキングすることにより、又は、骨格トラッキング機能により、対象者EPの体の一部の位置及びその動きを認識する。また、Kinect(登録商標)を用いると、検出範囲800に存在する物の座標情報(検出範囲800に存在する物の所定間隔ごとの座標情報を含む点群データ)を得ることができる。認識部341は、検出結果情報(点群データ)を分析し、所定の広さ以上の面積を有し、Z座標の値が変化しない面(要するに、Z座標の値がほぼ一定の点群の集合)を、壁、フロア、テーブル等との平面として認識する。また、認識部341は、検出結果情報のうち、どのデータが、後述する動作領域判定部343が判定した動作領域に関連する対象者EPの体の一部(検出対象部位)の検出データであるかを認識し、そのデータ(検出対象情報)を選択する。
ここで、動作領域とは、対象者EPのリハビリテーションの目的とする動作が行われる領域のことである。より具体的には、リハビリテーションによって回復することを目的とする動作に強く関連する部位が動作する空間内の所定の領域のことである。また、例えば、動作領域とは、対象者EPがリハビリテーションにおいてその部位を近接させる領域である。また、例えば、動作領域とは、対象者EPのリハビリテーションにおいて、その動作の目標(到達点)となる位置を含む領域である。また、動作領域とは、対象者EPがリハビリテーション中に目的とする動作を行う場所である。動作領域の具体例として、2次元領域の場合では、フロア、テーブル等を挙げることができる。例えば、フロアであれば、リハビリテーションによって回復することを目的とする動作に強く関連する部位は足であり、テーブルの場合の当該部位は手である。
また、対象者EPは、歩行動作のリハビリテーションにおいて足をフロアに近接させ、手の移動のリハビリテーションにおいては手をテーブルに近接させる。また、例えば、歩行動作のリハビリテーションにおいてフロアは、歩行動作の到達点となる位置(目標画像の表示位置)を含む領域であり、テーブルは手の移動のリハビリテーションにおける手の到達点となる位置(目標画像の表示位置)を含む領域である。また、フロア、テーブルはそれぞれ、歩行動作のリハビリテーション、手の移動のリハビリテーション中に目的となる動作を行う場所である。
なお、動作領域が3次元である場合の具体例としては、テーブル上のテーブル表面を基準とする所定高さの範囲の空間(以下「3次元動作領域」という)を挙げることができる。例えば、出力装置200は、テーブルに「10cm」を意味する目標画像を表示する。例えば、テーブル上のある位置に「10cm」と表示してもよい。これは、テーブルの当該目標画像が表示された位置の真上の空間の、テーブル表面を基準とする高さ10cmの位置が、手の到達点となる位置であることを意味する目標画像である。この目標画像が示す位置は、当該3次元動作領域に含まれている。この例の場合も、例えば、3次元動作領域は、リハビリテーションによって回復することを目的とする動作に強く関連する部位(手)が動作する領域である。
また、3次元動作領域は、手の移動のリハビリテーションにおいて、手を近接させる領域である。また、3次元動作領域は、手の移動の到達点となる位置(目標画像が示す位置)を含む領域である。また、3次元動作領域は、対象者EPが手の移動のリハビリテーション中に目的とする動作を行う場所である。なお、動作領域が3次元である場合の他の例として、出力領域900上の空間を挙げることができる。例えば、動作領域が出力領域900上の空間の場合、この空間に目標画像を投影し、対象者EPがその目標画像を手で触れる等のリハビリテーションを行ってもよい。
表示制御部342は、出力装置200が出力する画像を生成する。例えば、表示制御部342は、動作領域に表示して対象者EPの動作を誘導する目標画像、リハビリテーションの評価結果の情報を含む画像、リハビリテーション中に行った対象者EPの検出対象部位の動作の軌跡を示す画像などを生成する。
動作領域判定部343は、認識部341による認識結果に基づいて動作領域を判定する。後述するように、動作領域の判定方法は、様々であってよい。動作領域判定部343は、所定の判定条件に基づいて、例えば、動作領域がフロアであると判定する。また、例えば、動作領域判定部343は、動作領域がテーブルであると判定する。
動作領域判定部343は、動作領域を判定すると、対象者EPの動作領域に関連する検出対象となる部位(検出対象部位)を決定する。検出対象部位とは、リハビリテーションの目的とする動作に関係が深い体の一部である。例えば、動作領域判定部343は、動作領域をフロアであると判定した場合、対象者EPの足首を検出対象部位として決定する。あるいは、動作領域判定部343は、対象者EPのつま先を検出対象部位として決定してもよい。また、例えば、動作領域判定部343は、動作領域をテーブルであると判定した場合、対象者EPの手の甲を検出対象部位として決定する。あるいは、動作領域判定部343は、対象者EPの指先を検出対象部位として決定してもよい。
なお、動作領域に関連する検出対象部位は、予め記憶部33に設定されており、動作領域判定部343は、その情報と自らが判定した動作領域とに基づいて検出対象部位を決定する。検出対象部位には、例えば、リハビリテーションの目標とする動作において、動作範囲が大きい部位が設定されていてもよい。例えば、歩行動作のリハビリテーションであれば、動作範囲が大きい部位は、対象者EPの足(足首、つま先、踵など)である。手の移動のリハビリテーションであれば、動作範囲が大きい部位は、対象者EPの手(手首、指先、手の甲など)である。
あるいは、検出対象部位には、表示制御部342が生成する目標画像の表示位置に近接する部位が設定されていてもよい。例えば、歩行動作のリハビリテーションの場合、本実施形態では、対象者EPが歩行動作において足を踏み出すべき位置に足型などを模した目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者EPの足(足首、つま先、踵など)である。また、手の移動のリハビリテーションの場合、対象者EPがタッチすべき位置に目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者EPの手(手首、指先、手の甲など)である。
なお、認識部341は、検出結果情報に含まれる動作領域判定部343が決定した検出対象部位のデータ(体の一部の位置情報)を、記録部344を介して、検出履歴情報記憶部333に記録する。
記録部344は、検出結果情報を検出履歴情報記憶部333に書き込んで記録する。
目標決定部345は、認識部341が認識する対象者EPの体の一部(検出対象部位)の位置に基づいて対象者EPの体の一部の目標位置を決定する。例えば、歩行のリハビリテーションの場合、目標決定部345は、対象者EPの現在の足の位置、及び、対象者EPの足の位置の履歴のうち少なくともいずれかに基づいて、対象者EPの足の移動目標位置を決定する。特に、目標決定部345が、対象者EPの足の位置の履歴に基づいて対象者EPの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部345が、対象者EPの足の向きに基づいて対象者EPの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部345が、対象者EPの進行方向にかかわらず、例えばランダムな向きに、或いは所定のゴールの位置に向けて、移動目標位置を決定するようにしてもよい。
目標決定部345が、対象者EPの体の検出対象部位の移動量を算出し、算出した移動量に基づいて移動目標位置を決定するようにしてもよい。例えば、認識部341が対象者EPの足の位置を認識する場合、目標決定部345は、対象者EPの足の位置の履歴に基づいて対象者EPの歩幅を算出する。そして、目標決定部345は、対象者EPの足の現在位置から歩幅分だけ移動した位置に移動目標位置を設定する。対象者EPの歩幅は、対象者EPの足の移動量を示しており、対象者EPの体の検出対象部位の移動量の例に該当する。
認識部341が対象者EPの足の位置の動きを認識する場合、目標決定部345が、対象者EPの足が動いた間隔を歩幅として検出するようにしてもよい。あるいは、認識部341が、対象者EPが床面に足をついた位置を認識する場合、目標決定部345が、対象者EPが床面に足をついた位置から次に足をついた位置までの間隔を歩幅として検出するようにしてもよい。
評価部346は、対象者EPの体の検出対象部位の位置と移動目標位置との位置関係を評価する。例えば、評価部346は、認識部341が認識した対象者EPの体の部位の位置と、目標決定部345が決定した移動目標位置との距離を算出する。そして、評価部346は、算出した距離が所定の閾値以下か否かを判定する。対象者EPの体の検出対象部位と移動目標位置との距離が閾値以下であると判定した場合、評価部346は、目標位置到達と評価する。一方、対象者EPの体の検出対象部位と移動目標位置との距離が閾値より大きいと判定した場合、評価部346は、目標位置不到達と評価する。
評価部346が用いる距離の閾値は、複数の対象者EPに共通に予め設定された定数であってもよい。あるいは、評価部346が、対象者EPの歩幅の10分の1を閾値に設定するなど対象者EP毎に閾値を設定するようにしてもよい。また、評価部346が用いる距離の閾値は、複数種類のリハビリテーションに共通に設定されていてもよいし、リハビリテーションの種類毎に設定されていてもよい。また閾値の大きさは、手を移動させるリハビリテーションよりも足を移動させるリハビリテーションの方が大きくなるよう設定されていてもよい。
また、評価部346が、対象者EPの体の一部の位置(検出対象部位)と移動目標位置との相対的な位置関係を評価する段階数は、上述した目標位置到達又は目標位置不到達の2段階に限らず、3段階以上の多段階であってもよい。例えば、評価部346が、目標位置到達か否かの判定閾値に加えてさらに目標位置不到達の場合のずれの大小の判定閾値を用いて、目標位置到達、ずれ小、ずれ大の3段階で評価を行うようにしてもよい。
また、評価部346が対象者EPの体の検出対象部位の位置と移動目標位置との位置関係を評価する方法は、閾値を用いる方法のみに限らない。例えば、評価部346が、対象者EPの体の検出対象部位の位置と移動目標位置との重なりの有無を判定し、重なり有りと判定した場合に目標位置到達と評価するようにしてもよい。
さらに、例えば歩行のリハビリテーションの場合、目標決定部345が、移動目標位置を面積のある範囲にて床面上に決定し、認識部341が、対象者EPの足の位置を、対象者EPの足の形状の範囲にて認識するようにしてもよい。そして、評価部346が、移動目標位置として決定されている範囲と、対象者EPの足の位置として検出された範囲との重なりの有無を判定するようにしてもよい。
足用表示パラメータ設定部347は、歩行などの足を移動させるリハビリテーションにおいて、足用表示パラメータを設定する。足用表示パラメータは、対象者EPが足を移動させるときの目標画像の表示に用いられるパラメータである。
手用表示パラメータ設定部348は、手を動かすリハビリテーションにおいて、手用表示パラメータを設定する。手用表示パラメータは、対象者EPが手を動かすときの目標画像の表示に用いられるパラメータである。
外乱用表示パラメータ設定部349は、外乱用表示パラメータを設定する。外乱用表示パラメータは、リハビリテーションの対象者EPが足又は手を所定の目標画像まで移動させるときに、対象者EPが足又は手を目標画像まで移動させる妨げとなる外乱の表示に用いられるパラメータである。又は、外乱用表示パラメータは、リハビリテーションの対象者EPが足又は手を回避目標となる目標画像から回避させるときに、対象者EPが足又は手を目標画像から回避させる妨げとなる外乱の表示に用いられるパラメータである。
送受信制御部3410は、接続部37を介して、ステーション20Aにデータを送受信する。
操作部35は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部35は、指示をリハビリテーション支援装置300に入力する際に補助者SP等によって操作される。操作部35は、入力装置をリハビリテーション支援装置300に接続するためのインタフェースであってもよい。この場合、操作部35は、入力装置において補助者SP等の入力に応じ生成された入力信号をリハビリテーション支援装置300に入力する。操作部35は、表示部36と一体のタッチパネルとして構成されてもよい。
表示部36は、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、有機ELディスプレイ等の画像表示装置である。表示部36は、画像や文字を表示する。表示部36は、画像表示装置をリハビリテーション支援装置300に接続するためのインタフェースであってもよい。この場合、表示部36は、画像や文字を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
接続部37は、ステーション20Aと接続してデータを送受信するインタフェースである。
図17は、リハビリテーション支援システムS2に備わるタブレット端末10及びステーション20Aそれぞれの機能構成例を示す概略ブロック図である。
本実施形態におけるタブレット端末10の構成は、第1の実施形態と同様であるため、その説明を省略する。
本実施形態におけるステーション20Aは、第1の実施形態におけるステーション20のペアリング読取部201に代えて第2の接続部210を備える。第2の接続部210は、リハビリテーション支援装置300と接続してデータを送受信するインタフェースである。第2の接続部210は、対象者EPを識別する患者番号及びリハビリテーションに係る動作カテゴリ(アプリケーションの名称)をリハビリテーション支援装置300から受信して取得する取得部である。ステーション20Aの他の構成は、第1の実施形態におけるステーション20の構成と同様であるため、その説明を省略する。
図18は、タブレット端末10の記憶部104が記憶する対応テーブルのデータ構成及びデータ例を示す概略図である。図示するように対応テーブルは、対象者と、アプリ名と、日時と、動画像データとの各項目を有する。アプリ名は、対象者EPが実施したリハビリテーションに係るアプリケーションの名称である。結果画像は、結果画像のデータ名である。他の項目は、第1の実施形態における対応テーブルと同様であるため、その説明を省略する。
続いて、本実施形態におけるリハビリテーション支援システムS2の動作について図19及び図20を参照して説明する。図19は、リハビリテーション支援システムS2において対象者EPがリハビリテーションを行っている様子を示す斜視図である。図20は、リハビリテーション支援システムS2における処理の一例を示すシーケンス図である。リハビリテーション支援システムS2では、リハビリテーション支援装置300が実施する対象者EPのリハビリテーションの様子をタブレット端末10により動画像で記録し、記録した動画像をタブレット端末10において再生して確認することができる。
まず、補助者SPがこれから行おうとするリハビリテーション内容に応じて、対象者EPがリハビリテーションを行う環境にリハビリテーション支援システムS2を移動させる。また、脚部310の高さを適切に調節する。次に、対象者EPが、検出範囲800で、これから行うリハビリテーション内容に応じた姿勢を取る。例えば、テーブル上での腕のリハビリテーションを行う場合であれば、対象者EPは椅子に座ってテーブル上に手を置く姿勢を取る。また、例えば、歩行動作のリハビリテーションを行う場合、対象者EPは起立した姿勢を取る。
図19は、対象者EPがテーブルT上で手の移動のリハビリテーションを行っている様子を示している。例えば、対象者EPは、出力装置200がテーブルT(出力領域900)に出力する目標画像M1に基づいて、手の移動に関するリハビリテーションを行う。より具体的には、対象者EPは、出力装置200によって表示された目標画像M1の位置を自らの手で追いかけることによって、手や腕のリハビリテーションを行う。
目標画像M1の内容や表示する位置やタイミング等は、リハビリテーション内容によって異なる。リハビリテーション支援装置300には各リハビリテーションそれぞれに対応するアプリケーションが予め実装されている。そして、リハビリテーション支援装置300は、これから対象者EPがするリハビリテーションに対応するアプリケーションを実行することにより、出力装置200に目標画像M1を表示させる。
対象者EPがリハビリテーションを開始する姿勢を取ると、補助者SPは、対象者EPの患者番号、氏名、性別、身長等の個人情報と共に、準備開始指示情報をリハビリテーション支援装置300に入力する(ステップS301)。準備開始指示情報には、これから行うリハビリテーションに対応するアプリケーションを指定する情報が含まれる。リハビリテーション支援装置300の制御部34は、操作部35が準備開始指示情報を取得すると、動作領域を判定して目標画像の表示に用いられるパラメータを設定し、指定されたアプリケーションを実行する(ステップS302)。また、制御部34の送受信制御部3410は、指定されたアプリケーションの名称(以下、「アプリ名」と称する。)及び対象者EPの個人情報(入力された患者番号、氏名、性別、身長等)を接続部37からステーション20Aに送信する(ステップS303)。
ステーション20Aの制御部203は、第2の接続部210がアプリ名及び個人情報を受信すると、受信したアプリ名及び個人情報を第1の接続部204からタブレット端末10に送信する(ステップS304)。タブレット端末10の制御部102は、接続部107がアプリ名及び個人情報を受信すると、撮像部101を起動し、動画を記録するための動画記録画面を表示部103に表示する(ステップS305)。動画記録画面には、撮像部101が撮像する画像が表示される。また、動画記録画面には、受信した個人情報と、アプリ名とが表示される。
その後、補助者SPは、リハビリテーションの開始を指示するリハビリテーション開始指示情報をリハビリテーション支援装置300に入力する(ステップS306)。リハビリテーション支援装置300の制御部34は、操作部35がリハビリテーション開始指示情報を取得すると、指定されたアプリケーションを実行することにより、目標画像M1を出力装置200に表示させて、対象者EPのリハビリテーションを開始する(ステップS307~S309)。また、制御部34の送受信制御部3410は、リハビリテーションを開始する際に、リハビリテーションの開始を示すスタート情報を接続部37からステーション20Aに送信する(ステップS310)。ステーション20Aの制御部203は、第2の接続部210がスタート情報を受信すると、受信したスタート情報を第1の接続部204からタブレット端末10に送信する(ステップS311)。タブレット端末10の制御部102は、接続部107がスタート情報を受信すると、撮像部101が撮像する動画像の記録を開始する(ステップS312)。
センサ100は、対象者EPの動作を検出し続け、リハビリテーション支援装置300へ出力する(ステップS313、S314)。リハビリテーション支援装置300では、入力部31が検出結果情報を取得し、検出結果情報を、制御部34へ出力する。制御部34では、認識部341が検出結果情報を取得すると、その中から検出対象部位のデータを選択する(ステップS315)。例えば、認識部341は、検出結果情報の中から手(例えば、手の甲)の位置情報を選択する。認識部341は、選択した検出対象部位とその位置情報を記録部344へ出力する。記録部344は、検出対象部位の検出結果情報を検出履歴情報記憶部333へ記録する(ステップS316)。
その後、リハビリテーション支援装置300は、リハビリテーションが終了すると、制御部34における目標画像M1を生成して出力する処理や検出対象部位を検出してデータを記録する処理を終了する。例えば、補助者SPがリハビリテーション終了指示情報を入力した場合(ステップS317)、制御部34は、操作部35を介してその情報を取得し、リハビリテーションを終了すると判定する(ステップS318)。また、対象者EPが検出範囲800の外に出てしまった場合や対象者EPの手が検出範囲800の外に出てしまった場合、あるいは、予め設定されたリハビリテーションの実施時間が経過した場合にも、制御部34は、リハビリテーションを終了すると判定する。
また、制御部34の送受信制御部3410は、リハビリテーションが終了すると、リハビリテーションの終了を示すストップ情報を接続部37からステーション20Aに送信する(ステップS319)。ステーション20Aの制御部203は、第2の接続部210がストップ情報を受信すると、受信したストップ情報を第1の接続部204からタブレット端末10に送信する(ステップS320)。タブレット端末10の制御部102は、接続部107がストップ情報を受信すると、撮像部101が撮像する動画像の記録を終了し(ステップS321)、動画像データを記憶部104に書き込んで保存する(ステップS322)。このとき、制御部102は、ステーション20Aから受信した個人情報に含まれる患者番号と、アプリ名と、動画像の記録を終了した日時(撮像日時)と、動画像とを対応付けて記憶する。具体的には、制御部102は、患者番号と、アプリ名と、撮像日時と、動画像とを対応付けて記憶部104が記憶する対応テーブルに書き込む。すなわち、対象者と、アプリ名と、撮像日時とが自動的に動画像に対応付けられる。つまり、リハビリテーション支援装置300に対象者の個人情報及び実行するアプリケーションを入力すれば、自動的にこれらの情報がタブレット端末10に入力され、動画像に対応付けられる。よって、補助者SPはこれらの情報をタブレット端末10に入力する手間がなくなり、操作性が向上する。これにより、補助者SPの業務負担を軽減することができる。
また、リハビリテーション支援装置300の表示制御部342は、検出履歴情報記憶部333に記録された対象者EPの検出対象部位のデータ(検出対象情報)から、今回のリハビリテーションにおける対象者EPの動作結果(例えば、検出対象部位が動いた軌跡)を表示する結果画像を生成し(ステップS323)、出力装置200に結果画像を表示させる。また、送受信制御部3410は、表示制御部342が生成した結果画像を接続部37からステーション20Aに送信する(ステップS324)。ステーション20Aの制御部203は、第2の接続部210が結果画像を受信すると、受信した結果画像を第1の接続部204からタブレット端末10に送信する(ステップS325)。タブレット端末10の制御部102は、接続部107が結果画像を受信すると、当該結果画像を動画像に対応付けて記憶部104に書き込んで保存する(ステップS326)。具体的には、制御部102は、結果画像の画像データを記憶部104に書き込むとともに、結果画像の画像データ名を当該動画像に対応付けて記憶部104が記憶する対応テーブルに書き込む。これにより、動画像と結果画像とを対応付けて記憶することができる。
更に、記録した動画像は、その場で即時に再生可能である。例えば、補助者SPは、ステーション20Aからタブレット端末10を取り外して対象者EPと記録した動画像を確認することができる。タブレット端末10は、ステーション20Aから取り外し可能であるため、対象者EPはステーション20Aのある位置まで行く必要がない。対象者EPがいる位置は撮像ポイントであるため、ステーション20Aから離れていることが多い。その場合には、ステーション20Aからタブレット端末10を取り外して、対象者EPの前まで持って行くことができる。これにより、撮像したその場で補助者SPと対象者EPとが記録した動画像を確認して共有することができる。
タブレット端末10の制御部102の表示制御部1022は、動画像の記録が終了すると、記録した動画像を再生するための動画再生画面を表示部103に表示する(ステップS327)。
なお、上述した処理において、リハビリテーション支援装置300とタブレット端末10はステーション20Aを介さずに通信を行ってもよい。つまり、ステーション20Aの機能の一部又は全部をタブレット端末10のアプリケーションで実現してもよい。
図21は、タブレット端末10の表示部103に表示される動画再生画面の一例を示すイメージ図である。本図に示す動画再生画面には、結果画像を表示する結果画像エリアREと、動画像を再生するための再生エリアMVと、動画像を再生するための再生ボタンBT1と、再生開始位置まで現在の再生位置をリセットするためのリセットボタンBT2と、動画像をスロー再生するためのスローONボタンBT3と、複数の動画像を同時に再生するための同時再生ONボタンBT4と、再生する動画像を選択するための動画選択ボタンBT5と、動画再生画面を終了して元の画面に戻るための終了ボタンBT6とが配置されている。ボタンBT1~BT6の機能は、第1の実施形態と同様である。
また、動画再生画面には、再生箇所バーBR1と、終了箇所バーBR2と、現在位置バーBR3とが再生エリアMVの下部に配置される。バーBR1~BR3の機能は、第1の実施形態と同様である。
動画再生画面では、対応する結果画像を表示した状態で動画像を再生することができるため、リハビリテーションの結果を動画像と見比べて考察することができ、より確認し易くなる。
また、タブレット端末10は、過去の動作(リハビリテーションの様子)と比べて見るために、過去に撮像した動画像と今回撮像した動画像とを同時に再生することができる。補助者SPは、同時再生ONボタンBT4を押下する。タブレット端末10の制御部102の表示制御部1022は、動画再生画面において動画選択ボタンBT4が押下され入力を受け付けると、同時に再生する過去の動画像を選択するための動画選択画面を表示部103に表示する。
図22は、タブレット端末10の表示部103に表示される動画選択画面の一例を示すイメージ図である。本図に示す動画選択画面には、対象者EPの患者番号及び氏名が左上部分に表示されるとともに、対象者EPの動画像を示すアイコンが選択可能に一覧表示される。各アイコンは、対応する動画像で対象者EPが実施したアプリケーションを示すピクトグラム及び文字列によって構成される。これにより、各動画像で対象者EPが実施したアプリケーションを容易に判別することができる。ピクトグラムを用いてアプリケーションを表すことにより、言語に制約されずにアプリケーションの内容を直感的に伝達することができ、グローバル対応に向いた表現を実現している。
図示するように、アイコンは、動画像が撮像された日付毎に分けて表示される。更には、アイコンの下には撮像された時刻が表示される。また、アイコンは、各日付において撮像された時刻が午前であるか午後であるかが容易に識別可能な態様で表示される。例えば、午前のアイコンを赤いエリアで囲み、午後のアイコンを青いエリアで囲む等の色分けをしてもよい。
なお、動画選択画面には、動画再生画面において再生された動画像のアプリケーション(すなわち、リハビリテーション支援装置300が実行したアプリケーション)の動画像のみを一覧表示するようにしてもよい。或いは、動画選択画面には、アプリケーション毎に分けてアイコンを表示するようにしてもよい。
補助者SPは、動画選択画面において、同時再生する動画像のアイコンを選択して押下する。タブレット端末10の制御部102の表示制御部1022は、動画選択画面において選択されたアイコンの動画像及び対応する結果画像を記憶部104から読み出して、同時再生画面を表示部103に表示する。
図23は、タブレット端末10の表示部103に表示される同時再生画面の一例を示すイメージ図である。本図に示す同時再生画面には、今回の動画像に対応する結果画像を表示する結果画像エリアRE1と、今回の動画像を再生するための今回再生エリアMV1と、過去の動画像に対応する結果画像を表示する結果画像エリアRE2と、過去の動画像を再生するための過去再生エリアMV2と、ボタンBT1~BT6とが配置されている。今回の動画像は、動画再生画面において再生された動画像であり、例えば、直近に撮像した動画像である。また、過去の動画像は、動画選択画面において選択された動画像である。また、同時再生画面におけるボタンBT1~BT6の機能は、動画再生画面のものと同様である。
制御部102の表示制御部1022は、同時再生画面において再生ボタンBT1が押下され入力を受け付けると、再生エリアMV1に今回の動画像を、再生エリアMV2に過去の動画像を同時に再生する。すなわち、タブレット端末10は、今回の動画像と過去の動画像とを並べて同時再生することができる。よって、1つの画面で2つの動画像を並べて同時に再生することができるため、撮像したその場で過去の動画像との比較を容易に行うことができる。そのため、対象者EPは、過去(例えば、入院時)と比べてどのくらい良くなったのかの回復状態(リハビリテーションの効果)をその場で容易に確認することができる。これにより、撮像したその場で、補助者SPと対象者EPとで動画像を比較して課題を共有し、その課題に対してのリハビリテーションメニューを実施することができる。
また、同時再生画面には、今回の動画像に対応する再生箇所バーBR31、終了箇所バーBR32及び現在位置バーBR33が今回再生エリアMV1の下部に配置される。また、同時再生画面には、過去の動画像に対応する再生箇所バーBR41、終了箇所バーBR42及び現在位置バーBR43が過去再生エリアMV2の下部に配置される。バーBR31~BR33の機能は第1の実施形態におけるバーBR11~BR13の機能と同様であり、バーBR41~BR43の機能は第1の実施形態におけるバーBR21~BR23の機能と同様である。再生箇所バーBR1,BR31,BR41及び終了箇所バーBR2,BR32,BR42が、動画像における再生位置を指定する再生位置指定部を構成する。表示制御部1022は、動画像のうち、再生位置指定部において指定された再生位置を再生する。
また、タブレット端末10は、第1の実施形態と同様に、任意の動画像を再生する機能(同時に任意の2つの動画像を再生する機能を含む)や、他の機器に動画像をデータ移管する機能(自動的にデータ移管する機能を含む)等を備える。
図24は、リハビリテーション支援装置300によるアプリケーション実行処理の一例を示すフローチャートである。本図には、リハビリテーション支援装置300がリハビリテーションに係るアプリケーションを実行する際の処理を示す。補助者SPは、対象者EPの個人情報をリハビリテーション支援装置300に入力するとともに、実行するアプリケーションを選択する。
(ステップS401)制御部34は、操作部35においてアプリケーションの選択入力を受け付ける。その後、ステップS402の処理に進む。
(ステップS402)制御部34は、入力された個人情報及び選択されたアプリケーションのアプリ名を接続部37からステーション20Aに送信する。その後、ステップS403の処理に進む。
(ステップS403)制御部34は、選択されたアプリケーションを実行して、対象者EPのリハビリテーションのプレイを開始する。その後、ステップS404の処理に進む。
(ステップS404)制御部34は、スタート情報を接続部37からステーション20Aに送信する。その後、ステップS405の処理に進む。
(ステップS405)制御部34は、プレイの表示及び記録をする。具体的には、制御部34は、目標画像を出力装置200に表示させるとともに、センサ100により対象者EPの検出対象部位を検出し、検出した検出結果情報を記録する。その後、ステップS406の処理に進む。
(ステップS406)制御部34は、リハビリテーションのプレイが終了したか否かを判定する。終了したと制御部34が判定した場合には、ステップS407の処理に進む。また、終了していないと制御部34が判定した場合には、ステップS405の処理に戻る。
(ステップS407)制御部34は、ストップ情報を接続部37からステーション20Aに送信する。その後、ステップS408の処理に進む。
(ステップS408)制御部34は、結果画像を生成し、生成した結果画像を出力装置200に表示する。その後、ステップS409の処理に進む。
(ステップS409)制御部34は、生成した結果画像を接続部37からステーション20Aに送信する。その後、処理を終了する。
図25は、タブレット端末10による動画記録再生処理の一例を示すフローチャートである。本図には、タブレット端末10が対象者EPを撮像して動画像を記録し、記録した動画像を再生する処理を示す。タブレット端末10は、個人情報及びアプリ名をステーション20Aから受信したときに、本図に示す処理を実行する。
ステーション20Aは、上述したステップS402において、リハビリテーション支援装置300から個人情報及びアプリ名を受信すると、受信した個人情報及びアプリ名をタブレット端末10に出力する。
(ステップS501)制御部102は、接続部107を介してステーション20Aから受信した個人情報及びアプリ名を取得する。その後、ステップS502の処理に進む。
(ステップS502)制御部102は、撮像部101を起動して動画撮像画面を表示部103に表示する。その後、ステップS503の処理に進む。
(ステップS503)制御部102は、接続部107がステーション20Aを介して、上述したステップS404においてリハビリテーション支援装置300が送信したスタート情報を受信したか否かを判定する。受信したと制御部102が判定した場合には、ステップS504の処理に進む。また、受信していないと制御部102が判定した場合には、ステップS503の処理を再度実行する。
(ステップS504)制御部102は、撮像部101が撮像する動画像の記録を開始する。その後、ステップS505の処理に進む。
(ステップS505)制御部102は、接続部107がステーション20Aを介して、上述したステップS407においてリハビリテーション支援装置300が送信したストップ情報を受信したか否かを判定する。受信したと制御部102が判定した場合には、ステップS506の処理に進む。また、受信していないと制御部102が判定した場合には、ステップS505の処理を再度実行する。
(ステップS506)制御部102は、動画像の記録を終了する。その後、ステップS507の処理に進む。
(ステップS507)接続部107は、ステーション20Aを介して、上述したステップS409においてリハビリテーション支援装置300が送信した結果画像を受信する。その後、ステップS508の処理に進む。
(ステップS508)制御部102は、記録した動画像を、ステップS501において取得した個人情報及びアプリ名と、記録を終了した日時と、ステップS507において受信した結果画像とに対応付けて記憶部104に書き込んで保存する。その後、ステップS509の処理に進む。
(ステップS509)制御部102は、記録した動画像を再生する動画再生画面を表示部103に表示する。その後、ステップS510の処理に進む。
(ステップS510)制御部102は、動画再生画面において同時再生ONボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS412の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS511の処理に進む。
(ステップS511)制御部102は、動画再生画面において終了ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS518の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS509の処理に戻る。
(ステップS512)制御部102は、動画選択画面を表示部103に表示する。その後、ステップS513の処理に進む。
(ステップS513)制御部102は、動画選択画面において同時再生する動画像が選択されたか否かを判定する。選択されたと制御部102が判定した場合には、ステップS514の処理に進む。また、選択されていないと制御部102が判定した場合には、ステップS509の処理に戻る。
(ステップS514)制御部102は、動画選択画面において選択された動画像と、記録した動画像とを同時再生するための同時再生画面を表示部103に表示する。その後、ステップS515の処理に進む。
(ステップS515)制御部102は、同時再生画面において再生ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS516の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS517の処理に進む。
(ステップS516)制御部102は、選択された動画像と、記録した動画像とを同時再生する。その後、ステップS517の処理に進む。
(ステップS517)制御部102は、同時再生画面において終了ボタンが押下され入力を受け付けたか否かを判定する。入力を受け付けたと制御部102が判定した場合には、ステップS518の処理に進む。また、入力を受け付けていないと制御部102が判定した場合には、ステップS514の処理に戻る。
(ステップS518)制御部102は、メニュー画面を表示部103に表示し、対応する各処理を実行する。その後、処理を終了する。
以上説明したように、本実施形態のリハビリテーション支援システムS2は、可搬可能なタブレット端末10と、タブレット端末10を脱着可能なステーション20Aとを備える。ステーション20Aは、対象者が実施するリハビリテーションに係るアプリケーションを実行するリハビリテーション支援装置300から、リハビリテーションの対象者を識別する対象者識別情報を受信して取得する第2の接続部210と、タブレット端末10が装着されているときに、タブレット端末10と接続してデータを送受信する第1の接続部204と、第2の接続部210が取得した対象者識別情報を第1の接続部204からタブレット端末10に送信する制御部203とを備える。タブレット端末10は、ステーション20Aに装着されているときに、ステーション20Aと接続してデータを送受信する接続部107と、対象者を撮像する撮像部101と、撮像部101が撮像した動画像を記憶する記憶部104と、接続部107を介してステーション20Aから対象者識別情報を受信し、撮像部101が対象者を撮像した動画像に受信した対象者識別情報を対応付けて記憶部104に書き込む記録制御部1021と、を備える。
上記構成によれば、ステーション20Aがリハビリテーション支援装置300から受信した対象者識別情報が自動的に動画像に対応付けられてタブレット端末10に記憶される。これにより、リハビリテーション支援装置300に対象者識別情報を入力するだけで、撮像した動画像を対象者毎に分けて記憶することができる。よって、補助者SPは、業務終了後に、動画像を確認して対象者毎に仕分ける作業を行う必要がなく、操作性が向上する。
また、本実施形態におけるリハビリテーション支援システムS2において、第2の接続部210は、対象者識別情報とともに、リハビリテーションに係る動作カテゴリ(アプリケーションの名称)を取得し、制御部203は、対象者識別情報とともに動作カテゴリを第1の接続部204からタブレット端末10に送信し、記録制御部1021は、動画像に受信した対象者識別情報及び動作カテゴリを対応付けて記憶部104に書き込む。
上記構成によれば、リハビリテーション支援装置300が実行するアプリケーションが自動的に動画像に対応付けられてタブレット端末10に記憶される。これにより、対象者を撮像した動画像を簡単な操作で対象者及び動作カテゴリ毎に分けて記憶することができる。よって、補助者SPは、業務終了後に、動画像を確認して動作カテゴリ毎に仕分ける作業を行う必要がなく、操作性が向上する。
また、本実施形態におけるリハビリテーション支援システムS2において、タブレット端末10は、記憶部104が記憶する動画像を再生して表示する表示部103と、対象者の複数の動画像を表示部103に並べて同時再生する表示制御部1022と、を備える。上記構成によれば、タブレット端末10に記憶されている複数の動画像を並べて同時に再生することができる。よって、例えば、過去のリハビリテーションの様子を撮像した動画像と現在のリハビリテーションの様子を撮像した動画像とを同時再生して見比べることにより、過去のリハビリテーションの様子と容易に比較をすることができる。これにより、リハビリテーションの効果や回復状態等をより直観的に対象者に提示することができる。
また、本実施形態におけるリハビリテーション支援システムS2において、タブレット端末10は、動画像における再生位置を指定する再生位置指定部(再生箇所バーBR31,BR41,BR51及び終了箇所バーBR32,BR42,BR52)を備え、表示制御部1022は、動画像のうち、再生位置指定部において指定された再生位置を再生する。上記構成によれば、同時再生する動画像の再生位置を調整することができる。よって、複数の動画像を動作の開始タイミング等に合わせて同時再生することができる。これにより、複数の動画像をより比較し易くなる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、上述した実施形態では、対応テーブルにより対象者と動作カテゴリと日時とを動画像に対応付けているが、これに限らず、例えば、対象者毎に各動作カテゴリに対応するフォルダを生成して日付が付加された動画像データを振り分ける等、他の方法により対象者と動作カテゴリと日時とを動画像に対応付けてもよい。
また、上述した実施形態では、同時再生画面において2つの動画像を同時再生しているが、同時再生する動画像は2つ以上であってもよい。
また、上述した実施形態では、タブレット端末10及びステーション20,20Aが1台ずつである場合を例に説明したが、これに限らず、タブレット端末10及びステーション20,20Aを複数台含む構成であってもよい。また、タブレット端末10の台数とステーション20,20Aの台数は、異なっていてもよい。例えば、ステーション20,20Aの台数がタブレット端末10の台数より多くてもよい。複数のステーション20,20Aをそれぞれ異なる場所に設置することで、様々な位置での撮像が可能になる。また、複数のタブレット端末10が存在する場合、例えば、同期を管理するサーバ等を設置し、当該サーバ等が定期的に前回更新分からの差分データを各タブレット端末10から抽出することでデータの同期を行ってもよい。また、当該サーバ等で全てのタブレット端末10の情報を管理し、上述した動画像の比較や各種の出力を一元的に行ってもよい。
また、上述した実施形態では、タブレット端末10をステーション20,20Aに設置して撮像しているが、これに限らず、患者番号及び動作カテゴリを入力した後に、タブレット端末10をステーション20,20Aから取り外して撮像してもよい。これにより、任意の場所からの撮像が可能である。例えば、タブレット端末10を補助者SPや対象者EPが直接手にもって撮像することも可能である。
また、動画再生画面や同時再生画面において、動作の特徴的なタイミングをスクリーンショットすることで、その場面の静止画像を取得することができる。スクリーンショットで取得した静止画像や、自動OUTPUT及び手動OUTPUTで取得した静止画像群を印刷して出力することにより、看護記録や患者日誌等に記録として残すことができる。
また、タブレット端末10において撮像した動画像を電子化カルテと共有することも可能である。これにより、対象者EPの状態把握が医療関係者全てと共有することが可能となる。
また、タブレット端末10は、追加アプリケーションにより、動画像から関節角度や移動軌跡や移動量等を算出してもよい。これにより、動画像からより専門的なデータ抽出を行うことが可能となる。さらには、対象者EPの身体(例えば関節)に解析用のシール等を貼り、そして動画像内におけるシール等の移動軌跡や移動量等を画像解析により算出してもよい。この場合、移動軌跡や移動量等の解析精度をより向上させることが可能となる。
また、タブレット端末10は、他の機器と患者番号を統一しておくことにより、他の機器で計測した対象者EPに関するデータを登録することができる。なお、データの共有方法や通信方法は様々な方法が考えらえる。
また、ステーション20に可動式のスタンドを設置することにより、ステーション20を容易に移動させることができる。これにより、例えば、病棟での食事シーンや病棟での動作等、様々なシーンでの撮像が可能となる。より具体的には、作業療法の撮像や、言語聴覚士による発話練習の撮像や、言語聴覚士による食事時の嚥下状態の撮像や、看護師によるベッド周辺での動作安全確認のための撮像等が可能となる。
また、タブレット端末10は、ウェブカメラと連動して、2箇所以上の別の場所から同時に対象者EPを撮像してもよい。リハビリテーションにおける動作を記録する場合には、前方と側方等の2箇所からの撮像が求められる。よって、タブレット端末10にウェブカメラを接続し、複数個所から同時に対象者EPを撮像してもよい。なお、ウェブカメラ単独での撮像も可能であるため、違う場所からの撮像も容易になる。
また、上述した実施形態では、リハビリテーションに係る動作を撮像する場合について説明したが、動画像を撮像する分野はこれに限られない。ステーション20のペアリング読取部201に対応付ける動作カテゴリはカスタマイズ可能であり、介護の分野や看護の分野等の様々な分野での使用が可能である。また、ペアリング読取部201の読取エリア(すなわち、動作カテゴリ)は5つに限らず、5つより少なくてもよいし5つより多くてもよい。例えば、ペアリング読取部201に設置するボードを変更することにより、動作カテゴリを変更できるようにしてもよい。ボードには、各読取エリアに対応する動作カテゴリがセッティングされている。各動作カテゴリが初めからセッティングされているボードを予め準備してもよいし、自由に動作カテゴリをセッティングできるようにしてもよい。
また、歩行動作等は広範囲で撮像したいことが多い。よって、魚眼レンズを撮像部101に設置してもよい。広範囲に撮像することで、狭い部屋でも有効に動画像を撮像することが可能となる。
なお、上述のタブレット端末10、ステーション20,20A及びリハビリテーション支援装置300などとしての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述のタブレット端末10、ステーション20,20A及びリハビリテーション支援装置300などとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
[付記1]
(1)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおける動画像記録方法であって、前記ステーションが、前記情報処理装置と接続してデータを送受信するステップと、撮像の対象者を識別する対象者識別情報を取得するステップと、取得した前記対象者識別情報を前記情報処理装置に送信するステップと、前記情報処理装置が、前記ステーションと接続してデータを送受信するステップと、前記対象者を撮像するステップと、撮像した動画像を記憶するステップと、前記ステーションから前記対象者識別情報を受信し、前記対象者を撮像した動画像に受信した前記対象者識別情報を対応付けて記憶部に書き込むステップと、を有することを特徴とする動画像記録方法。
(2)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおいて、前記ステーションのコンピュータに、前記情報処理装置と接続してデータを送受信する手順と、撮像の対象者を識別する対象者識別情報を取得する手順と、取得した前記対象者識別情報を前記情報処理装置に送信する手順と、を実行させ、前記情報処理装置のコンピュータに、前記ステーションと接続してデータを送受信する手順と、前記対象者を撮像する手順と、撮像した動画像を記憶する手順と、前記ステーションから前記対象者識別情報を受信し、前記対象者を撮像した動画像に受信した前記対象者識別情報を対応付けて記憶部に書き込む手順と、を実行させるためのプログラム。
(3)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおける前記ステーションであって、前記情報処理装置と接続してデータを送受信する接続部と、撮像の対象者を識別する対象者識別情報を取得する取得部と、前記取得部が取得した前記対象者識別情報を前記接続部から前記情報処理装置に送信する制御部と、を備えることを特徴とするステーション。
(4)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおいて、前記ステーションが実行する動画像記録方法であって、撮像の対象者を識別する対象者識別情報を取得するステップと、前記情報処理装置と接続してデータを送受信する接続部から、取得した前記対象者識別情報を前記情報処理装置に送信するステップと、を有することを特徴とする動画像記録方法。
(5)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおける前記ステーションのコンピュータに、撮像の対象者を識別する対象者識別情報を取得する手順と、前記情報処理装置と接続してデータを送受信する接続部から、取得した前記対象者識別情報を前記情報処理装置に送信する手順と、を実行させるためのプログラム。
(6)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおける前記情報処理装置であって、前記ステーションと接続してデータを送受信する接続部と、対象者を撮像する撮像部と、前記撮像部が撮像した動画像を記憶する記憶部と、前記接続部を介して前記ステーションから対象者を識別する対象者識別情報を受信し、前記撮像部が前記対象者を撮像した動画像に受信した前記対象者識別情報を対応付けて前記記憶部に書き込む記録制御部と、を備えることを特徴とする情報処理装置。
(7)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおいて、前記情報処理装置が実行する動画像記録方法であって、前記ステーションと接続してデータを送受信する接続部を介して前記ステーションから対象者を識別する対象者識別情報を受信するステップと、前記対象者を撮像するステップと、前記対象者を撮像した動画像に、受信した前記対象者識別情報を対応付けて記憶部に書き込むステップと、を有することを特徴とする動画像記録方法。
(8)情報処理装置と、前記情報処理装置を脱着可能なステーションとを備える動画像記録システムにおける前記情報処理装置のコンピュータに、前記ステーションと接続してデータを送受信する接続部を介して前記ステーションから対象者を識別する対象者識別情報を受信する手順と、前記対象者を撮像する手順と、前記対象者を撮像した動画像に、受信した前記対象者識別情報を対応付けて記憶部に書き込む手順と、を実行させるためのプログラム。
[付記2]
(1)データを送受信する接続部と、撮像の対象者を識別する対象者識別情報を取得する取得部と、前記取得部が取得した前記対象者識別情報を前記接続部から送信する制御部と、を有するステーションに対して脱着可能な情報処理装置を備える動画像記録システムであって、
前記情報処理装置は、
前記ステーションの前記接続部と接続してデータを送受信する接続部と、
前記対象者を撮像する撮像部と、
前記撮像部が撮像した動画像を記憶する記憶部と、
前記接続部を介して前記ステーションから前記対象者識別情報を受信し、前記撮像部が前記対象者を撮像した動画像に受信した前記対象者識別情報を対応付けて前記記憶部に書き込む記録制御部と、
を備える動画像記録システム。
(2)前記情報処理装置が、
前記記憶部が記憶する動画像を再生して表示する表示部と、
前記対象者の複数の前記動画像を前記表示部に並べて同時再生する表示制御部と、
を備える上記(1)に記載の動画像記録システム。
(3)前記情報処理装置が、
前記動画像における再生位置を指定する再生位置指定部を備え、
前記表示制御部が、前記再生位置指定部において指定された再生位置に対応する前記動画像を再生する、
上記(2)に記載の動画像記録システム。
(4)前記情報処理装置が、
前記記憶部が記憶する動画像を再生して表示する表示部と、
前記動画像における再生位置を指定する再生位置指定部と、
前記再生位置指定部において指定された再生位置に対応する前記動画像から、所定の数の静止画像を抽出し出力する表示制御部と、
を備える上記(3)に記載の動画像記録システム。
(5)前記情報処理装置が、
前記記憶部が記憶する動画像を再生して表示する表示部と、
前記動画像における再生位置を指定する再生位置指定部と、
前記再生位置指定部において指定された再生位置に対応する前記動画像から、所定の数の静止画像を抽出し出力する表示制御部と、
を備える上記(1)に記載の動画像記録システム。
(6)前記情報処理装置が、
前記記憶部が記憶する動画像を再生して表示する表示部と、
前記動画像における再生位置を指定する再生位置指定部と、
前記再生位置指定部において指定された再生位置に対応する前記動画像から、所定の数の静止画像を抽出し出力する表示制御部と、
を備える上記(1)に記載の動画像記録システム。
(7)前記情報処理装置が、
前記記憶部が記憶する動画像を再生して表示する表示部と、
前記対象者の前記動画像、及び、前記動画像に対応してかつ前記対象者の動作結果を示す結果画像を、前記表示部に並べて表示する表示制御部と、
を備える上記(1)に記載の動画像記録システム。
(8)前記表示制御部が、前記対象者の複数の前記動画像及び前記結果画像を前記表示部に並べて表示する上記(7)に記載の動画像記録システム。
(9)前記情報処理装置が、
前記動画像における再生位置を指定する再生位置指定部を備え、
前記表示制御部は、前記再生位置指定部において指定された再生位置に対応する前記動画像を再生する、
上記(8)に記載の動画像記録システム。
(10)前記情報処理装置が、
前記動画像における再生位置を指定する再生位置指定部を備え、
前記表示制御部は、前記再生位置指定部において指定された再生位置に対応する前記動画像から、所定の数の静止画像を抽出し出力する、
上記(8)に記載の動画像記録システム。
各実施形態のリハビリテーション支援システムでは、タブレット端末10とステーション20を少なくとも使用しているが、これに限定されることなく、例えばステーション20を使用せずにステーション20が有する機能をタブレット端末10に追加してもよい。この場合、図26A及び図26Bの変形例に示すように、タブレット端末10を、ステーション20ではなく移動支持架台120に支持させてもよい。
移動支持架台120は、複数のキャスター121と、複数本の脚部122と、ポール123と、支持台124と、タブレット端末ホルダー125と、カメラホルダー126と、を備えている。
各キャスター121は、それぞれ各脚部122に取り付けられており、床面上を走行可能である。
ポール123は、各脚部122により支持された状態で鉛直方向に沿って起立しており、その鉛直方向に沿った長さ(高さ)が調整可能である。ポール123は、各脚部122上に立設されたパイプ123aと、このパイプ123a内に下端部が同軸に挿入された伸展部123bと、パイプ123aに対する伸展部123bの上下位置及び回転位置を固定または許可する調整部123cと、を有している。調整部123cを緩めた場合には、パイプ123aに対する伸展部123bの上下動作と回転動作できるので、後述する外部カメラECの高さと回転方向の向きとが最適な位置になるように調整することができる。調整後は、調整部123cを締め付けることで、伸展部123bの高さ及び回転位置、すなわち外部カメラECの高さ及び回転位置を固定することができる。
支持台124は、パイプ123aの鉛直方向に沿った途中位置に固定されており、その上面にタブレット端末10を受け入れ可能としている。
タブレット端末ホルダー125は、支持台124と共にタブレット端末10を保持する。外部カメラを用いずにタブレット端末10で動画像を撮像する場合、図26Aに示すように、タブレット端末10を支持台124の上面に対して垂直に固定することができる。また、撮像を行わずにタブレット端末10を操作する場合には、図26Bに示すように、タブレット端末10を支持台124の上面に対して斜めに立てかけることで画面が見やすくなり、操作が容易となる。何れの場合も、タブレット端末ホルダー125でタブレット端末10の背面を支える。
カメラホルダー126は、伸展部123bの上端に対して揺動可能に固定されており、外部カメラEC(ウェブカメラなど)が取付可能である。カメラホルダー126は、左右方向の首振り動作と、鉛直方向の傾斜動作とが可能である。したがって、タブレット端末10で撮像する代わりに外部カメラECで撮像する場合には、タブレット端末10の画面に対して反対側(破線矢印の方向)を向くように、外部カメラECをまずカメラホルダー126に固定する。そして、前記調整部123cを操作して伸展部123bの高さ及び回転位置を調整する。さらに、カメラホルダー126の上下方向の向きを調整する。これにより、外部カメラECの撮像方向を対象者EPに向けることができる。また、対象者EPとの距離が短い場合であっても、外部カメラECの向きを変えることで対応可能であるので、柔軟に対応することができる。例えば、リハビリを行う場所が狭くて対象者EPとの距離が短い場合であっても、外部カメラECの高さを高めにすることで、対象者EPの顔の表情とテーブル上の作業内容とを、一つの画面内に含めて撮像することができる。
なお、外部カメラECとタブレット端末10との間における、動画像の送信を含む各種通信は、有線で行っても良いし、または無線で行っても良い。
利用者は、タブレット端末10の画面上で対象者EPを識別する個人情報を入力または選択することができる。なお、対象者EPの氏名を個人情報と共にタブレット端末10に予め登録しておき、選択できるようにしてもよい。または、対象者EPを識別する個人情報を対象者EP固有の識別番号に紐付けてタブレット端末10に予め登録しておき、選択できるようにしてもよい。
利用者は、タブレット端末10の画面上でリハビリテーションに係る動作カテゴリを入力または選択することができる。例えば、タブレット端末10に動作カテゴリ「座位」、「立ち上がり」、「歩行」等が表示される。
これにより、利用者は媒体40を使用せずに(媒体40の個人設定を別途することなく)、本リハビリテーション支援システムを使用できる。
この場合、図7のシーケンスについて、媒体40のステップS101及びステーション20のステップS103は削除され、ステーション20のステップS102はタブレット端末10で行われる。図20のシーケンスについて、ステーション20Aに入力される各ステップ(S303、S310、S319、S324)はタブレット端末10に入力される。つまり、ステップS303とS304は1つのステップに統合され、ステップS310とS311は1つのステップに統合され、ステップS324とS325は1つのステップに統合される。