JP6565212B2 - 表示装置、表示方法およびプログラム - Google Patents

表示装置、表示方法およびプログラム Download PDF

Info

Publication number
JP6565212B2
JP6565212B2 JP2015033754A JP2015033754A JP6565212B2 JP 6565212 B2 JP6565212 B2 JP 6565212B2 JP 2015033754 A JP2015033754 A JP 2015033754A JP 2015033754 A JP2015033754 A JP 2015033754A JP 6565212 B2 JP6565212 B2 JP 6565212B2
Authority
JP
Japan
Prior art keywords
display
video
unit
image
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015033754A
Other languages
English (en)
Other versions
JP2016158057A5 (ja
JP2016158057A (ja
Inventor
北澤 幸行
幸行 北澤
田中 英樹
英樹 田中
裕也 丸山
裕也 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015033754A priority Critical patent/JP6565212B2/ja
Priority to US15/050,743 priority patent/US9810907B2/en
Publication of JP2016158057A publication Critical patent/JP2016158057A/ja
Publication of JP2016158057A5 publication Critical patent/JP2016158057A5/ja
Application granted granted Critical
Publication of JP6565212B2 publication Critical patent/JP6565212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、表示装置、表示方法およびプログラムに関するものである。
脳卒中により脳内の神経回路が損傷を受けたとき、手足が動かせなくなることがある。このような患者がリハビリを行う方法が考案されている。その1つに、麻痺した手足を動かすように患者に考えさせるとともに、麻痺した手足が動く画像を見せて手足が動いていると患者に錯覚させる方法がある。
事故等により手足が欠損した患者に手足が痛む感覚が生じることがある。この現象を幻肢痛と称す。このような患者においても同様な方法が有効であることが解明されている。欠損した手足が実在するように錯覚させる画像を患者にみせる方法である。この方法により、患者の脳内では欠損した手足の認識が適切に行われて痛みが消える、または、緩和される。
そして、患者に麻痺した手や欠損した手が動いているように見せる装置が特許文献1に開示されている。それによると、患者の身体に複数の磁気センサーを設置する。そして、患者に所定の磁場を加えて患者の姿勢を検出する。そして、表示装置に手の映像を表示する。このとき、患者と映像の手とが一体となるように映像の手の位置、姿勢、大きさを調整する。
患者は映像を見て映像の手が自分の身体の一部であると錯覚する。手が欠損している患者は脳内で手の一体感を再体験することにより手の、痛みが消える、または緩和される。手が麻痺している患者は脳内で神経回路が再構築されるので、手の麻痺が改善される。
特開2004−298430号公報
特許文献1において患者が参照する映像は画像生成部が生成する画像である。その画像はコンピューターにより生成されたアニメーションが用いられている。リアルタイムで画像が生成されることから映像は写実的な像でなく。多面体で構成される単純化させた画像と考えられる。また、撮影された画像を用いる示唆があるがこのときには患者の動きには連動しない映像であると考えられる。
患者は訓練を重ねることにより脳内の神経回路が再構築される。患者が訓練に慣れていないときには映像の速度は遅い方が良く、動作が変わるときの待機時間を長くした方が良いことがわかっている。特許文献1の装置の場合にはアニメーションを用いる場合と撮影画像を用いる示唆がある。アニメーションを用いるときには、実際の身体部分とは異なる画像であり患者が訓練に集中し難い画像である。そして、この方法が患者に適していないときには訓練の効果がでにくい。そして、訓練する方法には撮影画像を手本にして欠損する場所や麻痺する場所を動かす訓練法がある。他にも、鏡を利用して正常な身体部分の動きの像を手本にして行う有効な方法がある。そこで、患者が自分の訓練に合った複数の映像を用いて、効率良く訓練を行うことができる表示装置が望まれていた。
本発明は、上述の課題を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
[適用例1]
本適用例にかかる表示装置であって、実況映像を出力する実況映像出力部と、録画映像を出力する録画映像出力部と、前記実況映像を反転した反転映像を形成する反転映像形成部と、前記実況映像から肌色を有する像を抽出して反転した肌色反転映像を形成する肌色像抽出部と、第1表示部及び第2表示部を有する映像表示部と、前記第1表示部及び前記第2表示部に表示する内容である表示内容を設定する表示内容設定部と、を備え、前記表示内容として、前記実況映像、前記録画映像、前記反転映像及び前記肌色反転映像が設定可能であることを特徴とする。
本適用例によれば、表示装置は映像表示部を備え、映像表示部は第1表示部及び第2表示部を有する。そして、第1表示部及び第2表示部にそれぞれ映像が表示される。表示装置は撮影部、録画出力部、反転映像形成部、肌色像抽出部及び表示内容設定部を備えている。撮影部は身体を撮影した実況映像を映像表示部に出力する。録画出力部は映像表示部に録画映像を出力する。反転映像形成部は映像表示部に実況映像の反転映像を出力する。肌色像抽出部は映像表示部に実況映像から肌色を有する像を抽出して反転した肌色反転映像を出力する。
表示内容設定部では第1表示部及び第2表示部に表示する内容である表示内容を設定できる。従って、訓練する内容に合わせて、第1表示部及び第2表示部の表示内容を設定することで脳梗塞の訓練及び幻肢痛の訓練を行うことができる。そして、患者が訓練し易い映像を実況映像、録画映像、反転映像及び肌色反転映像から選択できる。従って、患者は第1表示部及び第2表示部に自分の訓練に合った映像の組合せを選択して表示させることができる為、効率良く訓練を行うことができる。
[適用例2]
上記適用例にかかる表示装置において、前記表示内容設定部は前記表示内容の入力を促す設定画面を表示させ、1つの前記設定画面において、前記第1表示部の表示内容及び前記第2表示部の表示内容が設定可能であることを特徴とする。
本適用例によれば、表示内容設定部は表示内容の入力を促す設定画面を表示する。そして、1つの設定画面において第1表示部の表示内容及び第2表示部の表示内容を設定できる。従って、1つの設定画面にて第1表示部の表示内容及び第2表示部の表示内容を設定できる。従って、設定画面を切り換えずに第1表示部及び第2表示部の表示内容を設定できる為、容易に映像表示部の表示内容を設定できる。
[適用例3]
上記適用例にかかる表示装置において、前記第1表示部及び前記第2表示部の一方に前記実況映像を表示し、他方に前記録画映像を表示することを特徴とする。
本適用例によれば、映像表示部に録画映像及び実況映像を表示している。表示装置を用いて患者は脳梗塞の訓練をできる。患者は録画映像を手本にして麻痺した身体部分を動かす。そして、患者は実況映像にて身体部分の動きを確認して訓練できる。訓練の効果を確認しながら訓練できる為、効率良く訓練を行うことができる。
[適用例4]
上記適用例にかかる表示装置において、前記映像表示部は光透過ヘッドマウントディスプレイであり、前記第1表示部及び前記第2表示部に映像を表示しない場合、前記映像表示部を透過した景色が見えることを特徴とする。
本適用例によれば、映像表示部は光透過ヘッドマウントディスプレイである。第1表示部を非表示にするとき第1表示部は透けるので、患者は第1表示部を透かして自分の身体部分を見ることができる。同様に、第2表示部を非表示にするとき第2表示部は透けるので、患者は第2表示部を透かして自分の身体部分を見ることができる。従って、患者は容易に自分の身体部分の動きを確認できる。
[適用例5]
本適用例にかかる表示装置であって、第1表示部及び第2表示部を有する映像表示部、を備え、前記第1表示部及び前記第2表示部の一方に実況映像を表示し、他方に前記実況映像とは異なる映像を表示することを特徴とする。
本適用例によれば、表示装置は撮影部、実況映像出力部、録画映像出力部及び映像表示部を備えている。そして、患者は脳梗塞等の訓練を行う。映像表示部には実況映像及び映像が表示されている。患者は映像を手本にして麻痺した身体部分を動かす。そして、患者は実況映像にて身体部分の動きを確認して訓練する。従って、手本と自分の身体部分の動作を同時に見ることができる為、効率良く訓練を行うことができる。
[適用例6]
上記適用例にかかる表示装置において、前記映像は手本となる動作を撮影した録画映像であることを特徴とする。
本適用例によれば、映像は手本となる動作を撮影した録画映像である。従って、患者は訓練し易い動きを録画した映像で訓練できる。その結果、患者は効率良く訓練を行うことができる。
[適用例7]
上記適用例にかかる表示装置において、前記映像は前記実況映像を反転した反転映像であることを特徴とする。
本適用例によれば、映像は実況映像を反転した反転映像である。そして、反転映像は患者の健常な身体部分の動作の映像を反転した映像である。従って、患者は動作の手本を自分で操作する為、訓練し易い動きの形態の映像で訓練できる。その結果、患者は効率良く訓練を行うことができる。
[適用例8]
上記適用例にかかる表示装置において、前記映像は前記実況映像から肌色を有する像を抽出して反転した肌色反転映像であることを特徴とする。
本適用例によれば、映像は肌色反転映像である。肌色反転映像では背景の画像が削除されるので、患者は身体部分の動きに集中できる。
[適用例9]
本適用例にかかる表示方法であって、第1表示部に録画映像を表示し、第2表示部に実況映像を表示する第1組合せと、前記第1表示部に前記実況映像を表示し、前記第2表示部に前記実況映像を反転した反転映像を表示する第2組合せと、前記第1表示部及び前記第2表示部に録画映像を表示する第3組合せと、のうちいずれか1つの組合せで前記第1表示部及び前記第2表示部に映像を表示することを特徴とする。
本適用例によれば、第1組合せ、第2組合せ及び第3組合せと、のうち1つを選択し、第1表示部及び第2表示部を見て身体部分の一部を動かすように訓練する。第1組合せでは脳梗塞の訓練を行うことができる。第1表示部に録画映像を表示し第2表示部に身体部分の一部の実況映像を表示する。録画映像を手本して身体部分の一部を動かしつつ身体部分の一部の動きを確認できる。従って、手本と自分の身体部分の動作を同時に見ることができる為、効率良く訓練を行うことができる。
第2組合せでは幻肢痛の訓練を行うことができる。第1表示部に身体部分の一部の実況映像を表示し第2表示部に身体部分の一部の実況映像を反転した反転映像を表示する。実況映像及び反転映像を見て欠損した身体部分を動かすように思念する。健常な身体部分では思念し易い動きをする。そして、その動作の反転映像を見て思念する訓練をする為、反転映像に集中して訓練できる。その結果、効率良く訓練を行うことができる。
第3組合せでは幻肢痛の訓練を行うことができる。第1表示部及び第2表示部に録画映像を表示する。患者は録画映像を見ながら欠損した身体部分を動かすように思念する。このとき、患者は録画画像が示す身体部分の動きに集中して見ることができる為、効率良く訓練を行うことができる。患者は第1組合せ、第2組合せ及び第3組合せから選択できるので、1つの装置を複数の状態の患者に適用して効率良く訓練を行うことができる。
[適用例10]
上記適用例にかかる表示方法において、前記第2組合せでは、前記第2表示部に前記実況映像から肌色を有する像を抽出して反転した肌色反転映像を表示することを特徴とする。
本適用例によれば、第2表示部に肌色反転映像を表示している。肌色反転映像では背景の画像が削除されるので、患者は身体部分の動きに集中して訓練できる。
[適用例11]
本適用例にかかるプログラムであって、コンピューターを、実況映像を出力する実況映像出力手段と、録画映像を出力する録画映像出力手段と、前記実況映像を反転した反転映像を形成する反転映像形成手段と、前記実況映像から肌色を有する像を抽出して反転した肌色反転映像を形成する肌色像抽出手段と、第1表示部及び第2表示部に表示する内容である表示内容を設定する表示内容設定手段と、として機能させるためのプログラムであって、前記表示内容として、前記実況映像、前記録画映像、前記反転映像及び前記肌色反転映像が設定可能であることを特徴とする。
本適用例によれば、プログラムは、コンピューターを、実況映像を出力する実況映像出力手段と、録画映像を出力する録画映像出力手段と、実況映像を反転した反転映像を形成する反転映像形成手段と、実況映像から肌色を有する像を抽出して反転した肌色反転映像を形成する肌色像抽出手段と、第1表示部及び第2表示部に表示する内容である表示内容を設定する表示内容設定手段と、として機能させる。従って、訓練する内容に合わせて、第1表示部及び第2表示部の表示内容を設定可能とすることで脳梗塞の訓練及び幻肢痛の訓練を行うことができる。そして、患者が訓練し易い映像を実況映像、録画映像、反転映像及び肌色反転映像から選択できる。従って、患者は自分の訓練に合った映像の組合せを選択できる為、効率良く訓練を行うことができる。
[適用例12]
本適用例にかかる表示装置であって、映像を記憶した録画映像を出力する録画出力部と、第1表示部及び第2表示部を有する光透過ヘッドマウントディスプレイと、を備え、前記第1表示部及び前記第2表示部の一方に前記録画映像を表示することを特徴とする。
本適用例によれば、表示装置は録画出力部及び光透過ヘッドマウントディスプレイを備えている。第1表示部及び第2表示部の一方には録画映像が表示される。そして、他方では映像表示部を透かして患者の身体部分を見ることができる。従って、患者は録画映像を手本にして麻痺した身体部分を動かし、麻痺した身体部分の動きを確認できる。従って、手本と自分の身体部分の動作を同時に見ることができる為、訓練の効果を確認しながら訓練できる。その結果、効率良く訓練を行うことができる。
第1の実施形態にかかわるリハビリ支援装置の構成を示すブロック図。 表示画面を説明するための模式図。 リハビリ方法のフローチャート。 リハビリ方法を説明するための模式図。 リハビリ方法を説明するための模式図。 リハビリ方法を説明するための模式図。 第2の実施形態にかかわるリハビリ支援装置の構成を示すブロック図。 第3の実施形態にかかわるリハビリ支援装置の構成を示すブロック図。 リハビリ方法を説明するための模式図。 リハビリ方法を説明するための模式図。 リハビリ方法を説明するための模式図。 第4の実施形態にかかわるリハビリ支援装置の構成を示すブロック図。
本実施形態では、リハビリ支援装置と、このリハビリ支援装置を用いてリハビリ治療を行う方法との特徴的な例について、図に従って説明する。以下、実施形態について図面に従って説明する。尚、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材毎に縮尺を異ならせて図示している。
(第1の実施形態)
第1の実施形態にかかわるリハビリ支援装置について図1及び図2に従って説明する。図1は、リハビリ支援装置の構成を示すブロック図である。図1に示すように、表示装置としてのリハビリ支援装置1は映像表示部及び光透過ヘッドマウントディスプレイとしてのヘッドマウントディスプレイ2を備え、ヘッドマウントディスプレイ2は患者3の頭部3aに設置されている。ヘッドマウントディスプレイ2は患者3の眼3bと対向する場所に鏡部2aが設置されている。ヘッドマウントディスプレイ2は投影部2bを備え、投影部2bは鏡部2aに光を射出する。光は鏡部2aにて反射して眼3bに入射する。患者3は眼3bに入った光により虚像の映像を見ることができる。ヘッドマウントディスプレイ2は右眼と左眼とにそれぞれ別の映像を見せることができる。従って、ヘッドマウントディスプレイ2は患者3に平面画面に加え、立体画像の虚像を見せることができる。
鏡部2aは透過型の鏡であり、ヘッドマウントディスプレイ2は光透過ヘッドマウントディスプレイと称される。投影部2bが光を射出しないときには患者3は鏡部2aを透かして前方の景色である外界像を見ることができる。投影部2bが光を射出するとき、患者3には前方の景色に重ねて投影部2bが投影する画像が見える。
リハビリ支援装置1は撮影部としてのカメラ4を備えている。カメラ4は高速度撮影が可能であり、1秒間に300画面の撮影をできる。カメラ4は内部に対物レンズ及びCCD(Charge Coupled Device)撮像素子が組み込まれたものである。カメラ4はフォーカスの合う範囲が長い対物レンズを備えている。視界にある物で反射した光をカメラ4は対物レンズを通して入力し、対物レンズを通過した光がCCD撮像素子に結像する。そして、CCD撮像素子が結像した画像を電気信号に変換することにより視界にある物を撮像することが可能となっている。尚、カメラ4はCCD撮像素子に代えて撮像管やCMOS(相補性金属酸化膜半導体)イメージセンサーを用いることができる。他にも赤外線イメージセンサーを用いてもよい。
ヘッドマウントディスプレイ2は通信部2cを備えている。リハビリ支援装置1はコンピューターとしての制御装置5を備え、通信部2cは制御装置5と通信しデータを送受信する。通信部2cは電波を媒体とした通信や、光を媒体とした通信等の無線通信や有線での通信の形態でも良い。本実施形態では、例えば、通信部2cはブルートゥース通信を行う装置となっている。
患者3は身体としての手3cを有している。患者3は一方の手3cが欠損または麻痺しており、他方の手3cが健康な状態となっている。患者3はリハビリ支援装置1を用いて欠損した手3cに感じる痒みや痛みを除去する訓練を行う。または、患者3はリハビリ支援装置1を用いて麻痺した手3cを動かせる状態になるように訓練を行う。カメラ4は手3cを撮影した撮影画像(実況映像)を通信部2cに出力する。通信部2cは撮影画像のデータを制御装置5に送信する。
制御装置5は入出力インターフェイス6を備え、入出力インターフェイス6には表示内容設定部としての入出力端末7、スピーカー8、通信装置9が接続されている。入出力端末7には入力キー7a、タッチパネル7b及び表示部7cを備えている。入力キー7aは患者3がリハビリ支援装置1を操作するときに指示する内容を入力するボタンである。タッチパネル7bはヘッドマウントディスプレイ2及び表示部7cが表示する画像内のポインターを操作する部位である。タッチパネル7bの表面を指で触れて移動することによりポインターを移動させることができる。また、タッチパネル7bの表面を軽くたたくことによりポインターが位置する部位を選択する指示を行うことができる。タッチパネル7bには、例えば、静電容量式のセンサーや圧力センサーを用いることができる。
患者3がヘッドマウントディスプレイ2を装着したとき患者3は入力キー7aを見難くなる。このとき、患者3は手探りでタッチパネル7bを操作してヘッドマウントディスプレイ2に表示される画面内のポインターを操作してリハビリ支援装置1を操作できる。表示部7cにはヘッドマウントディスプレイ2に表示する映像や画像と同じ映像や画像が表示される。患者3の訓練を補助する補助者が表示部7cの映像を見て患者3を指導できる。さらに、補助者が入力キー7a及びタッチパネル7bを操作してリハビリ支援装置1を操作できる。
スピーカー8は音声信号にて患者3にメッセージを伝える機能を備えている。患者3がリハビリ訓練中のとき、患者3が鏡部2aに映る映像に意識を集中していないときにも制御装置5はスピーカー8から患者3にメッセージを伝えることができる。
通信装置9はヘッドマウントディスプレイ2に設置された通信部2cと通信を行う装置である。通信装置9と通信部2cとは投影部2bから射出する映像のデータ等を通信する。
制御装置5は他にもプロセッサーとして各種の演算処理を行う演算手段としてのCPU10(中央演算処理装置)と、各種情報を記憶する記憶部11とを備えている。入出力インターフェイス6及び記憶部11はデータバス12を介してCPU10に接続されている。
記憶部11は、RAM、ROM等といった半導体メモリーや、ハードディスク、DVD−ROMといった外部記憶装置を含む概念である。機能的には、投影部2bが投影する映像データ13を記憶するための記憶領域が設定される。映像データ13にはカメラ4が撮影した映像のデータやCPU10が加工した映像のデータが含まれる。他にも、ヘッドマウントディスプレイ2が表示する内容である表示内容のデータである設定データ14を記憶するための記憶領域が設定される。他にも、リハビリ支援装置1の動作の制御手順が記述されたプログラムとしてのプログラムソフト15を記憶する記憶領域が設定される。他にも、CPU10のためのワークエリアやテンポラリーファイル等として機能する記憶領域やその他各種の記憶領域が設定される。
CPU10は、記憶部11内に記憶されたプログラムソフト15に従って、リハビリ支援装置1の制御を行うものである。具体的な機能実現部として、表示内容設定手段としての表示内容設定部16、実況映像出力手段としての実況映像出力部17、録画映像出力部及び録画映像出力手段としての録画出力部18、反転映像形成手段としての反転映像形成部21、肌色像抽出手段としての肌色像抽出部22及び映像出力部としての映像送信部23等を有する。表示内容設定部16はヘッドマウントディスプレイ2に表示する表示内容を設定する。表示内容設定部16はヘッドマウントディスプレイ2及び表示部7cに表示する表示内容の入力を促す画面を表示する。そして、患者3や補助者が入力キー7aやタッチパネル7bを操作して表示内容を入力する。そして、表示内容設定部16は表示内容を設定データ14として記憶部11に記憶する。
他にも、CPU10は実況映像出力部17を有する。実況映像出力部17はカメラ4が撮影した実況映像を映像データ13として記憶部11に記憶する。この実況映像は手3cの動作を撮影した映像である。さらに、実況映像を反転映像形成部21、肌色像抽出部22及び映像送信部23に出力する。他にも、CPU10は録画出力部18を有する。録画出力部18は記憶部11に記憶された映像データ13に含まれる録画済みの映像である録画映像を映像送信部23に出力する。従って、CPU10は手3cが正常に動く録画映像を出力できる。
他にも、CPU10は反転映像形成部21を有する。反転映像形成部21は、手3cが正常に動く実況映像を反転した反転映像を形成する。実況映像が右手の映像のとき、反転映像は左手が動くように見える映像になる。実況映像が左手の映像のとき、反転映像は右手が動くように見える映像になる。そして、反転映像形成部21は反転映像を映像データ13として記憶部11に記憶し映像送信部23に出力する。
他にも、CPU10は肌色像抽出部22を有する。肌色像抽出部22は実況映像から肌色を有する手3cの像の部分を抽出する。さらに、肌色像抽出部22は抽出した手3cの像を反転した肌色反転映像を形成する。肌色反転映像は手3cの像が表示され、実況映像で表示される背景が除去されている。肌色反転映像では手3cの像以外の部分は黒色の背景、すなわち投影部2bから光を射出しない領域となっている。そして、ヘッドマウントディスプレイ2は光透過式であり、肌色反転映像の黒色の部分は、鏡部2aを透かして背景が見えるようになっている。患者3が肌色反転映像を見るとき、鏡部2aを透かして見える背景に手3cの像が重ねて表示される。肌色像抽出部22は肌色反転映像を映像データ13として記憶部11に記憶し映像送信部23に出力する。
他にも、CPU10は映像送信部23を有する。映像送信部23は映像データ13に含まれる実況映像、録画映像、反転映像及び肌色反転映像をヘッドマウントディスプレイ2及び表示部7cに転送する機能を有する。ヘッドマウントディスプレイ2は映像のデータを記憶するメモリーを備えている。そして、映像送信部23は映像のデータをヘッドマウントディスプレイ2のメモリーへ転送する。ヘッドマウントディスプレイ2ではメモリーに転送された映像データを用いて投影部2bが映像を投影する。
図2は、表示画面を説明するための模式図である。図2に示す映像表示部としての表示画面24はヘッドマウントディスプレイ2及び表示部7cに表示される画面である。表示画面24は画像部24aと設定画面としてのダイアログ部24bとを備えている。画像部24aには実況映像、録画映像、反転映像及び肌色反転映像が表示される。画像部24aに何も映像が表示されないとき患者3は鏡部2aを透かして背景が見える。
画像部24aには第1表示部25及び第2表示部26が設置されている。第1表示部25と第2表示部26とは並べて配置されており患者3は第1表示部25及び第2表示部26を同時に見て訓練を行う。第1表示部25には左手の像27aまたは患者3の左手が表示される。第2表示部26には右手の像27bまたは患者3の右手が表示される。本実施形態では手3cを欠損した患者3または手3cの動きが麻痺した患者3の訓練の実施形態である。録画映像、反転映像及び肌色反転映像では掌を開いた状態から掌を握った状態に移行し、さらに、掌を握った状態から掌を開いた状態に移行する動きを反復する手の像27の映像になっている。
ダイアログ部24bは患者3または補助者が画像部24aに表示する表示内容を設定する画面である。表示内容設定部16はダイアログ部24bを表示して患者3や補助者に設定内容の入力を促す。ダイアログ部24bの図中上側には第1入力部28及び第2入力部29が設置されている。第1入力部28は第1表示部25の表示内容を設定するための画面であり、第2入力部29は第2表示部26の表示内容を設定するための画面である。1つの画面に第1入力部28及び第2入力部29が設置されているので、画面を切り換えずに第1表示部25の表示内容及び第2表示部26の表示内容を設定できる。第1入力部28で設定する項目と第2入力部29で設定する項目は略同じ項目である。まず、第1入力部28の設定項目を説明する。
第1入力部28の図中上側には録画表示選択部30が設置されている。録画表示選択部30が選択されると、録画出力部18は記憶部11の映像データ13に含まれる録画映像を映像送信部23に出力する。映像送信部23は録画映像のデータをヘッドマウントディスプレイ2に送信する。ヘッドマウントディスプレイ2は録画映像のデータを受信して第1表示部25に録画映像を表示する。そして、第1表示部25に録画映像が表示される。この録画映像は左手の像27aが動く映像である。
録画表示選択部30の図中下側にはカメラ表示選択部31が設置されている。カメラ表示選択部31が選択されると、実況映像出力部17はカメラ4によって撮影された実況映像のデータを通信装置9に出力する。通信装置9は実況映像のデータをヘッドマウントディスプレイ2に送信する。ヘッドマウントディスプレイ2は実況映像のデータを受信して第1表示部25に実況映像を表示する。
カメラ表示選択部31の図中下側には右手反転表示選択部32が設置されている。右手反転表示選択部32が選択されると、反転映像形成部21は実況映像を反転した反転映像を形成する。次に、反転映像形成部21は反転映像を通信装置9に出力する。通信装置9は反転映像のデータをヘッドマウントディスプレイ2に送信する。ヘッドマウントディスプレイ2は反転映像のデータを受信して第1表示部25に反転映像を表示する。第1表示部25に表示する反転映像は右手を撮影した右手の像27bを反転した画像の映像である。
右手反転表示選択部32の図中下側には右手反転肌色抽出表示選択部33が設置されている。右手反転肌色抽出表示選択部33が選択されると、肌色像抽出部22が実況映像から肌色を有する像を抽出し、反転させた肌色反転映像を形成する。次に、肌色像抽出部22は肌色反転映像を通信装置9に出力する。通信装置9は肌色反転映像のデータをヘッドマウントディスプレイ2に送信する。ヘッドマウントディスプレイ2は肌色反転映像のデータを受信して第1表示部25に肌色反転映像を表示する。第1表示部25に表示する肌色反転映像は右手を撮影した映像から右手の像27bを抽出して反転した画像の映像である。肌色反転映像は背景が除去されている。
右手反転肌色抽出表示選択部33の図中下側には非表示選択部34が設置されている。非表示選択部34が選択された場合、第1表示部25に映像を表示せずに患者3に鏡部2aを透過する背景を見させることができる。次に、第2入力部29の設定項目を説明する。
第2入力部29の図中上側には録画表示選択部35が設置されている。録画表示選択部35が選択されると、第2表示部26に録画映像が表示される。この録画映像は右手の像27bが動く映像である。録画表示選択部35の図中下側にはカメラ表示選択部36が設置されている。カメラ表示選択部36が選択されると、第2表示部26に実況映像が表示される。
カメラ表示選択部36の図中下側には左手反転表示選択部37が設置されている。左手反転表示選択部37が選択されると、第2表示部26には反転映像が表示される。第2表示部26に表示する反転映像は左手を撮影した左手の像27aを反転した画像の映像である。
左手反転表示選択部37の図中下側には左手反転肌色抽出表示選択部38が設置されている。左手反転肌色抽出表示選択部38が選択されると、第2表示部26に肌色反転映像が表示される。第2表示部26に表示する肌色反転映像は左手を撮影した映像から左手の像27aを抽出して反転した画像の映像である。肌色反転映像は背景が除去されている。
左手反転肌色抽出表示選択部38の図中下側には非表示選択部41が設置されている。非表示選択部41が選択されると、第2表示部26に映像を表示せずに患者3に鏡部2aを透過する背景を見させることができる。
ダイアログ部24bにはポインター42が表示されている。ポインター42は矢印の形状をしたマークである。患者3及び補助者はタッチパネル7bを指で触れて移動させることによりポインター42を移動させることができる。そして、録画表示選択部30〜非表示選択部41に設置された白丸状のマークにポインター42を合わせてタッチパネル7bを指で軽く叩くときポインター42が示す項目が選択される。そして、白丸状のマークの中心に黒丸のマークが設置されるので、選択された項目がわかるようになっている。
第1入力部28では録画表示選択部30〜非表示選択部34のうち1つの項目のみ選択できる。例えば、録画表示選択部30が選択された状態でカメラ表示選択部31を選択するとき、黒丸のマークが録画表示選択部30からカメラ表示選択部31に移動する。同様に、第2入力部29では録画表示選択部35〜非表示選択部41のうち1つの項目のみ選択できる。
第1入力部28の図中下側には終了マーク43が設置されている。患者3又は補助者が終了マーク43にポインター42を合わせてタッチパネル7bを指で軽く叩くときリハビリ支援装置1の動作を停止させることができる。第2入力部29の図中下側にはダイアログ非表示マーク44が設置されている。ダイアログ非表示マーク44にポインター42を合わせてタッチパネル7bを指で軽く叩くときダイアログ部24bの表示を停止して画像部24aの面積を大きくできる。リハビリ支援装置1の起動及びダイアログ部24bの再表示は入力キー7aを操作することで実施できる。
次に上述したリハビリ支援装置1を用いた幻肢痛治療方法について図3〜図6にて説明する。図3は、リハビリ方法のフローチャートであり、図4〜図6はリハビリ方法を説明するための模式図である。図3のフローチャートにおいて、ステップS1は表示内容設定工程に相当する。患者3や補助者が第1表示部25に表示する表示内容と第2表示部26に表示する表示内容を設定する工程である。次にステップS2に移行する。ステップS2は訓練工程である。この工程は、患者3が第1表示部25及び第2表示部26を見て訓練する工程である。次にステップS3に移行する。ステップS3は終了判定工程である。第1表示部25及び第2表示部26の表示内容を変更するときステップS1に移行する。訓練を終了するときリハビリを終了する。
次に、図4〜図6を用いて、図3に示したステップと対応させて、リハビリ方法を詳細に説明する。図4〜図6はステップS1の表示内容設定工程及びステップS2の訓練工程に対応する図である。図4では患者3が右手を麻痺しており、右手をリハビリする例になっている。ステップS1において患者3または補助者は第1入力部28の録画表示選択部30及び第2入力部29の非表示選択部41を選択する。これにより、第1表示部25には左手の像27aが掌を開閉する録画映像が表示される。そして、第2表示部26を通して患者3は右側の手3cの実況映像を見ることができる。この組合せが第1組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25の録画映像を見ながら右手の掌を開閉させる。このとき、患者3は録画映像と患者3の手3cの実況映像とを同時に見ることができる。録画映像は患者3が模倣する手本の映像になっている。そして、患者3は録画映像を模倣して手3cを動かし、第2表示部26の実況映像を見て手3cの動きを確認する。この方法を運動模倣によるリハビリ療法と称す。この方法では模倣するべき手本と模倣している手3cの動きとを両方同時に見ることができる。従って、行動の目標と行動の結果とが同時に確認できる為、患者3の意欲を向上させることができる。その結果、患者3は効率良く訓練を行うことができる。尚、録画映像は患者3が麻痺している程度に合わせて掌の開閉速度を変えられるように複数の映像を備えるのが好ましい。
図5では患者3が右手を欠損しており、右手の幻肢痛をリハビリする例になっている。ステップS1において患者3または補助者は第1入力部28の非表示選択部34及び第2入力部29の左手反転肌色抽出表示選択部38を選択する。これにより、第1表示部25には映像が表示されずに患者3は鏡部2aを透過して見える左側の手3cを見ることができる。そして、第2表示部26では左手の肌色反転映像が表示される。患者3は手3cを反転した手の像27bと鏡部2aを透過して見える背景とを重ねて見ることができる。この組合せが第2組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25及び第2表示部26を見ながら右手の掌を低速で開閉させるように思念する。このとき、患者3は第2表示部26に左手を反転させて鏡像となった像27bを見ることができる。そして、患者3は第2表示部26で動く像27bを見ながら右手を動かすように思念する。この方法をミラー療法と称す。この方法では参考にする掌の開閉速度や掌を開閉する程度を患者3が操作できる。従って、患者3は掌の開閉の速度や開閉する程度を思念し易いように調整できる。その結果、患者3は効率良く訓練を行うことができる。
図6では患者3が両手または一方の手が欠損しており、幻肢痛をリハビリする例を示している。または、患者3が両手または一方の手が麻痺しており、神経因性疼痛をリハビリする例を示している。ステップS1において患者3または補助者は第1入力部28の録画表示選択部30及び第2入力部29の録画表示選択部35を選択する。これにより、第1表示部25では患者3は左手の像27aが動く録画映像を見ることができる。そして、第2表示部26では患者3は右手の像27bが動く録画映像を見ることができる。録画映像は掌を低速で開閉を繰り返す映像になっている。この組合せが第3組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25及び第2表示部26を見ながら両手の掌を低速で開閉させるように思念する。この方法を視覚介入法と称す。この方法では参考にする手の像27の動きの速度や掌を開閉する程度を映像に従って行う。従って、患者3が訓練に不慣れなときには、映像を参考にして訓練になれることができる。また、その結果、手の像27の動きの速度や掌を開閉する程度を変えた映像を用意することにより、患者3が思念し易くできる。従って、患者3は効率良く訓練を行うことができる。
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、脳梗塞の訓練では画像部24aに録画映像及び実況映像を表示している。患者3は録画映像を手本にして麻痺した身体を動かす。そして、患者3は実況映像にて身体の動きを確認して訓練できる。幻肢痛の訓練では画像部24aに反転映像及び実況映像を表示する。このとき患者3は反転映像を見て欠損した手3cを動かすように思念する。そして、患者3は実況映像及び反転映像を見て手3cの動きを確認して訓練できる。幻肢痛の訓練では表示画面24に肌色反転映像を背景に重ねて表示している。肌色反転映像では撮影した画像における背景の画像が削除されるので、患者3は身体の動きに集中できる。
(2)本実施形態によれば、表示内容設定部16では第1表示部25及び第2表示部26に表示する内容である表示内容を設定できる。従って、訓練する内容に合わせて、第1表示部25及び第2表示部26の表示内容を設定することで脳梗塞の訓練及び幻肢痛の訓練を行うことができる。そして、患者3が訓練し易い映像を実況映像、録画映像、反転映像及び肌色反転映像から選択できる。従って、患者3は自分の訓練に合った映像の組合せを選択できる為、効率良く訓練を行うことができる。
(3)本実施形態によれば、表示内容設定部16は画像部24aに表示する表示内容の入力を促すダイアログ部24bを表示する。そして、1つのダイアログ部24bにおいて第1表示部25の表示内容及び第2表示部26の表示内容を設定できる。従って、1つのダイアログ部24bにて第1表示部25の表示内容及び第2表示部26の表示内容を設定できる。従って、ダイアログ部24bを切り換えずに設定できる為容易にヘッドマウントディスプレイ2の表示内容を設定できる。
(4)本実施形態によれば、ヘッドマウントディスプレイ2は光透過ヘッドマウントディスプレイである。第1入力部28で非表示選択部34が選択されると、ヘッドマウントディスプレイ2の鏡部2aは透けるので、患者3は第1表示部25にて鏡部2aを透過して見える自分の手3cを見ることができる。同様に、第2入力部29で非表示選択部41が選択されると、ヘッドマウントディスプレイ2の鏡部2aは透けるので、患者3は第2表示部26にて鏡部2aを透過して見える自分の手3cを見ることができる。
(5)本実施形態によれば、肌色像抽出部22は肌色反転映像を形成する。肌色反転映像では背景の画像が削除されるので、患者3は手3cの動きに集中できる。
(6)本実施形態によれば、図4において、第1表示部25には録画映像が表示される。そして、第2表示部26にはヘッドマウントディスプレイ2を通して患者3の手3cを見ることができる。従って、患者3は録画映像を手本にして麻痺した手3cを動かし、麻痺した手3cの動きを確認できる。従って、手本と自分の手3cの動作を同時に見ることができる為、効率良く訓練を行うことができる。
(第2の実施形態)
次に、リハビリ支援装置の一実施形態について図7のリハビリ支援装置の構成を示すブロック図を用いて説明する。本実施形態が第1の実施形態と異なるところは、ヘッドマウントディスプレイ2にカメラが設置されている点にある。尚、第1の実施形態と同じ点については説明を省略する。
すなわち、本実施形態では、図7に示すように、リハビリ支援装置46ではヘッドマウントディスプレイ2にカメラ47が設置されている。カメラ47が撮影する実況映像は通信部2cにより通信装置9に送信される。カメラ47は第1の実施形態におけるカメラ4と同様の機能を有している。
ヘッドマウントディスプレイ2にカメラ47が設置されているので、カメラ47が映す映像は患者3の頭部3aの動きと連動する。そして、カメラ47が撮影する方向は患者3の視線が向く方向に合わせてある。従って、カメラ47が撮影する実況映像は患者3が肉眼で見る景色と同じ映像になる。その結果、患者3が手3cを移動させるとき、手3cの動きに合わせて頭部3aを動かすことによりカメラ47が撮影する方向を調整できる。
(第3の実施形態)
次に、リハビリ支援装置の一実施形態について図8〜図11を用いて説明する。図8はリハビリ支援装置の構成を示すブロック図である。図9〜図11はリハビリ方法を説明するための模式図である。本実施形態が第1の実施形態と異なるところは、ヘッドマウントディスプレイ2に代えてパネル型のディスプレイが設置されている点にある。尚、第1の実施形態と同じ点については説明を省略する。
すなわち、本実施形態では、図8に示すように、リハビリ支援装置51はディスプレイ52を備えている。ディスプレイ52は表示部52a、スタンド52b及び通信部52cを備えている。ディスプレイ52は液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ、プラズマディスプレイ、表面電界ディスプレイ等を用いることができる。ディスプレイ52はカラー表示の方が白黒表示に比べて現実の手3cに近い表示にできるので好ましい。
ディスプレイ52にはスタンド52bが設置され、スタンド52bは表示部52aを所定の角度にできる。そして、患者3が表示部52aを見易い角度にして訓練をできる。ディスプレイ52には通信部52cが設置され、通信部52cは制御装置5の通信装置9と交信する。そして、通信部52cが制御装置5から映像データを受信し、表示部52aが受信した映像データを映像にして表示する。
図9〜図11はステップS1の表示内容設定工程及びステップS2の訓練工程に対応する図である。図9では患者3が右手を麻痺しており、右手をリハビリする例になっている。ステップS1において患者3または補助者は第1入力部28の録画表示選択部30及び第2入力部29のカメラ表示選択部36を選択する。これにより、第1表示部25には左手の像27aが掌を開閉する録画映像が表示される。そして、第2表示部26にはカメラ4により撮影された右手の像27bの実況映像が表示される。この組合せが第1組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25の録画映像を見ながら右手の掌を開閉させる。このとき、患者3は録画映像と患者3の手3cの実況映像とを同時に見ることができる。録画映像は患者3が模倣する手本の映像になっている。そして、患者3は録画映像を模倣して手3cを動かし、第2表示部26の実況映像を見て手3cの動きを確認する。この方法を運動模倣によるリハビリ療法と称す。この方法では模倣するべき手本と模倣している手3cの動きとを両方同時に見ることができる。従って、行動の目標と行動の結果とが同時に確認できる為、患者3の意欲を向上させることができる。その結果、患者3は効率良く訓練を行うことができる。尚、録画映像は患者3が麻痺している程度に合わせて掌の開閉速度を変えられるように複数の映像を用意するのが好ましい。
図10では患者3が右手を欠損しており、右手の幻肢痛をリハビリする例になっている。ステップS1において患者3または補助者は第1入力部28のカメラ表示選択部31及び第2入力部29の左手反転表示選択部37を選択する。これにより、第1表示部25にはカメラ4により撮影された患者3の左手の像27aの実況映像が表示される。そして、第2表示部26では左手の反転映像が表示される。この組合せが第2組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25及び第2表示部26を見ながら左手の掌を低速で開閉させる。このとき、患者3は第2表示部26に左手を反転させて鏡像となった像27bを見ることができる。そして、患者3は第2表示部26で動く像27bを見ながら右手を動かすように思念する。この方法をミラー療法と称す。この方法では参考にする像27bの動きの速度や掌を開閉する程度を患者3が操作できる。従って、患者3は掌の開閉の速度や開閉する程度を思念し易いように調整できる。その結果、患者3は効率良く訓練を行うことができる。
図11では患者3が両手または一方の手が欠損しており、幻肢痛をリハビリする例を示している。または、患者3が両手または一方の手が麻痺しており、神経因性疼痛をリハビリする例を示している。ステップS1において患者3または補助者は第1入力部28の録画表示選択部30及び第2入力部29の録画表示選択部35を選択する。これにより、第1表示部25では患者3は左手の像27aが動く録画映像を見ることができる。そして、第2表示部26では患者3は右手の像27bが動く録画映像を見ることができる。録画映像は掌を低速で開閉を繰り返す映像になっている。この組合せが第3組合せに相当する。
ステップS2の訓練工程では、患者3が第1表示部25及び第2表示部26を見ながら両手の掌を低速で開閉させるように思念する。この方法を視覚介入法と称す。この方法では参考にする手の像27の動きの速度や掌を開閉する程度を映像に従って行う。従って、患者3が訓練に不慣れなときには、映像を参考にして訓練になれることができる。また、その結果、手の像27の動きの速度や掌を開閉する程度を変えた映像を用意することにより、患者3が思念し易くできる。従って、患者3は効率良く訓練を行うことができる。
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、図9において、患者3は脳梗塞等で麻痺した右手の訓練を行っている。表示画面24には実況映像及び録画映像が表示されている。患者3は録画映像を手本にして麻痺した手3cを動かす。そして、患者3は実況映像にて手3cの動きを確認して訓練する。従って、手本と自分の手3cの動作を同時に見ることができる為、効率良く訓練を行うことができる。
(2)本実施形態によれば、図10において、第2表示部26には実況映像を反転した反転映像が表示される。そして、反転映像は患者が動かせる手3cの映像を反転した映像である。従って、患者は訓練し易い動きの形態の映像で訓練できる。その結果、患者3は効率良く訓練を行うことができる。
(第4の実施形態)
次に、リハビリ支援装置の一実施形態について図12を用いて説明する。図12はリハビリ支援装置の構成を示すブロック図である。本実施形態が第3の実施形態と異なるところは、ディスプレイ52に代えてプロジェクターが設置されている点にある。尚、第3の実施形態と同じ点については説明を省略する。
すなわち、本実施形態では、図12に示すように、リハビリ支援装置55はプロジェクター56及びスクリーン57を備えている。プロジェクター56は通信部56cを備えている。通信部56cは制御装置5の通信装置9と交信する。そして、通信部56cが制御装置5から映像データを受信し、プロジェクター56が受信した映像データを映像にしてスクリーン57に投影する。
患者3はスクリーン57を見ながら訓練を行う。スクリーン57に投影された映像はディスプレイ52に表示される映像に比べて大きな画面にできる。従って、患者3は映像を見やすくなる為、視力の低下した患者3においても負担なく訓練を行うことができる。
尚、本実施形態は上述した実施形態に限定されるものではなく、本発明の技術的思想内で当分野において通常の知識を有する者により種々の変更や改良を加えることも可能である。変形例を以下に述べる。
(変形例1)
前記第1の実施形態では、右手に不具合のある患者3の事例を示した。左手に不具合のある患者3にもリハビリ支援装置1を適用できる。このときには第1表示部25に表示する内容と第2表示部26に表示する内容を入れ替えることで対応できる。
(変形例2)
前記第1の実施形態では、ヘッドマウントディスプレイ2に光透過ヘッドマウントディスプレイを使用した。ヘッドマウントディスプレイ2に光透過型でないヘッドマウントディスプレイを用いても良い。そして、第1入力部28では非表示選択部34の代わりにカメラ表示選択部31を選択し、第2入力部29では非表示選択部41の代わりにカメラ表示選択部36を選択する。これにより、表示画面24に実況映像を表示させることができる。更に、鏡部2aにカバーをつけて透過型と非透過型とを切り替えるようにしても良い。手3cが動くように体感し易い方を選択できる。
(変形例3)
前記第1の実施形態では、図5に示す第2入力部29において患者3または補助者が左手反転肌色抽出表示選択部38を選択した。左手反転肌色抽出表示選択部38の代わりに左手反転表示選択部37を選択してもよい。肌色反転映像より反転映像を形成し易いので、撮影した映像から短時間で反転映像を形成して表示画面24に表示できる。
(変形例4)
前記第1の実施形態では、制御装置5は外部機器と接続されていなかった。制御装置5は通信装置9及びネットワークを介してサーバーと接続されても良い。そして、患者3がリハビリ支援装置1を駆動させるときの設定データ14をサーバーに記憶させる。そして、患者3が訓練を行うときにはサーバーから設定データ14を転送しても良い。リハビリ支援装置1が複数設置されているときには異なる装置を使用しても前回記憶した設定データ14や映像データ13を活用できる。
(変形例5)
前記第1の実施形態では、リハビリ支援装置1を用いて手3cの治療を行った。リハビリ支援装置1を用いて指の治療を行っても良い。指が動く映像を用いることにより、第1の実施形態と同様に行うことができる。このときにも、患者3または補助者が入出力端末7を用いて表示画面24に表示する表示内容を設定し、患者3は設定した映像を見ることができる。他にも、肘、膝、足のくるぶし等、いろいろな場所の治療に用いることができる。変形例4及び変形例5の内容は前記第2〜第4の実施形態にも適用しても良い。
(変形例6)
前記第3の実施形態では、図10に示す第2入力部29において患者3または補助者が左手反転表示選択部37を選択した。左手反転表示選択部37の代わりに左手反転肌色抽出表示選択部38を選択してもよい。背景が除去されるので、患者3が訓練に集中し易くできる。
前記の第1実施形態において、実況映像出力部17、録画出力部18及び反転映像形成部21の3つを備える構成としていたが、これら3つのうち少なくとも一つを備える構成としても良い。同様に、表示内容として、実況映像、録画映像、反転映像及び肌色反転映像のうち少なくとも1つを設定可能としても良い。
1…表示装置としてのリハビリ支援装置、2…映像表示部および光透過ヘッドマウントディスプレイとしてのヘッドマウントディスプレイ、4…撮影部としてのカメラ、5…コンピューターとしての制御装置、7…表示内容設定部としての入出力端末、15…プログラムとしてのプログラムソフト、16…表示内容設定手段としての表示内容設定部、17…実況映像出力手段としての実況映像出力部、18…録画映像出力部及び録画映像出力手段としての録画出力部、21…反転映像形成手段としての反転映像形成部、22…肌色像抽出手段としての肌色像抽出部、24…映像表示部としての表示画面、24b…設定画面としてのダイアログ部、25…第1表示部、26…第2表示部。

Claims (6)

  1. 人の手または足の麻痺または欠損のリハビリテーション支援に用いられる表示装置であって、
    麻痺または欠損に係る前記手または足とは異なる他の手または足の動きを撮影した実況映像を出力する実況映像出力部と、
    前記他の手または足の動きを撮影した録画映像を出力する録画映像出力部と、
    前記出力された実況映像左右反転した反転映像を形成する反転映像形成部と、
    前記出力された実況映像から肌色を有する像を抽出して左右反転した肌色反転映像を形成する肌色像抽出部と、
    第1画面及び第2画面表示する映像表示部と、
    前記第1画面及び前記第2画面のそれぞれについて、前記録画映像、前記反転映像、及び前記肌色反転映像のうちの一の表示、並びに前記録画映像、前記反転映像、及び前記肌色反転映像のいずれも非表示、のいずれかを表示内容として設定する表示内容設定部と、を備える表示装置。
  2. 請求項1に記載の表示装置であって、
    前記表示内容設定部は前記表示内容の入力を促す設定画面を表示させ、
    1つの前記設定画面において、前記第1画面の表示内容及び前記第2画面の表示内容が設定可能である、表示装置。
  3. 請求項1または2に記載の表示装置であって、
    前記第1画面及び前記第2画面の一方を非表示とし、他方に前記録画映像を表示する、表示装置。
  4. 請求項1〜3のいずれか一項に記載の表示装置であって、
    前記映像表示部は光透過ヘッドマウントディスプレイであり、
    前記第1画面及び前記第2画面に映像を表示しない場合、前記映像表示部を透過した景色が見える、表示装置。
  5. 請求項1〜のいずれか一項に記載の表示装置であって、
    前記録画映像は、手本となる動作を撮影した映像である、表示装置。
  6. 請求項1〜のいずれか一項に記載の表示装置であって、
    前記録画映像は、掌を開閉する映像である、表示装置。
JP2015033754A 2015-02-24 2015-02-24 表示装置、表示方法およびプログラム Active JP6565212B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015033754A JP6565212B2 (ja) 2015-02-24 2015-02-24 表示装置、表示方法およびプログラム
US15/050,743 US9810907B2 (en) 2015-02-24 2016-02-23 Display apparatus, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015033754A JP6565212B2 (ja) 2015-02-24 2015-02-24 表示装置、表示方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2016158057A JP2016158057A (ja) 2016-09-01
JP2016158057A5 JP2016158057A5 (ja) 2018-03-22
JP6565212B2 true JP6565212B2 (ja) 2019-08-28

Family

ID=56690654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015033754A Active JP6565212B2 (ja) 2015-02-24 2015-02-24 表示装置、表示方法およびプログラム

Country Status (2)

Country Link
US (1) US9810907B2 (ja)
JP (1) JP6565212B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6870264B2 (ja) 2016-09-30 2021-05-12 セイコーエプソン株式会社 運動訓練装置およびプログラム
US11037369B2 (en) * 2017-05-01 2021-06-15 Zimmer Us, Inc. Virtual or augmented reality rehabilitation
AT520385B1 (de) * 2017-06-07 2020-11-15 Vorrichtung mit einer Erfassungseinheit für die Position und Lage einer ersten Gliedmasse eines Benutzers
CN109151539B (zh) * 2017-06-16 2021-05-28 武汉斗鱼网络科技有限公司 一种基于unity3d的视频直播方法、系统及设备
FR3071723B1 (fr) * 2017-10-04 2022-08-26 Dessintey Dispositif pour la mise en œuvre de la therapie miroir et procede correspondant
CN108392816A (zh) * 2018-04-19 2018-08-14 温州医科大学 一种下肢数字化镜像疗法康复训练系统
JP7230370B2 (ja) * 2018-08-28 2023-03-01 セイコーエプソン株式会社 プロジェクター、及びプロジェクターの制御方法
US11798272B2 (en) 2019-09-17 2023-10-24 Battelle Memorial Institute Activity assistance system
CA3149544A1 (en) * 2019-09-17 2021-03-25 Samuel COLACHIS Activity assistance system
TWI777239B (zh) * 2020-09-15 2022-09-11 長庚大學 肢體復健系統
JP2022168966A (ja) * 2021-04-27 2022-11-09 公立大学法人北九州市立大学 リハビリテーション支援システム、プログラム及び制御装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274918A (ja) * 1997-03-31 1998-10-13 Uinetsuto:Kk 身体動作練習システムおよび身体動作練習用教材
AU733993B2 (en) * 1997-07-21 2001-05-31 Rovi Guides, Inc. Systems and methods for displaying and recording control interfaces
JP4025230B2 (ja) 2003-03-31 2007-12-19 株式会社東芝 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法
US7869630B2 (en) * 2005-03-29 2011-01-11 Seiko Epson Corporation Apparatus and method for processing image
JP4618795B2 (ja) * 2005-07-15 2011-01-26 独立行政法人産業技術総合研究所 リハビリ装置
JP5359645B2 (ja) * 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5712351B2 (ja) * 2010-06-18 2015-05-07 パナソニックIpマネジメント株式会社 ミラーセラピーシステム
US8911343B2 (en) * 2012-10-20 2014-12-16 Pieter C Wiest System and method utilizing a smart phone for alleviating phantom limb discomfort
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法

Also Published As

Publication number Publication date
US20160249008A1 (en) 2016-08-25
US9810907B2 (en) 2017-11-07
JP2016158057A (ja) 2016-09-01

Similar Documents

Publication Publication Date Title
JP6565212B2 (ja) 表示装置、表示方法およびプログラム
TWI642039B (zh) 頭戴式太極拳輔助學習系統
CA2896240C (en) System and method for role-switching in multi-reality environments
JP6027764B2 (ja) ミラーシステム、および、その制御方法
US20170038829A1 (en) Social interaction for remote communication
US7771343B2 (en) System and method for treating chronic pain
CN103744518B (zh) 立体交互方法及其显示装置和系统
JP2015039522A (ja) リハビリ装置および幻肢痛治療支援装置
JP2011110215A (ja) リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
EP3050046B1 (en) Method and device for controlling a haptic device
JP2006320424A (ja) 動作教示装置とその方法
CN108140421A (zh) 运动训练
JP6611145B1 (ja) 三人称視点vrシステム及びその使用方法
US20180036506A1 (en) Display device, display method, and non-transitory computer-readable medium
JP7023971B2 (ja) サービス提供システム、サービス提供方法およびサービス提供システム用管理装置
Maeda et al. Immersive tele-collaboration with Parasitic Humanoid: how to assist behavior directly in mutual telepresence
JP3510732B2 (ja) 仮面型表示装置
JP6775717B1 (ja) 仮想現実動画再生装置、及びそれを使用する方法
JP7390542B2 (ja) アニメーション制作システム
JP2024056349A (ja) 運動支援装置およびプログラム
JP2021125234A (ja) 仮想現実動画再生装置、及びそれを使用する方法
JP2021124715A (ja) 仮想現実動画再生装置、及びそれを使用する方法
JP2022185536A (ja) プログラム、コンピュータ装置、及び制御方法。
CN116964544A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP2002123165A (ja) 疑似体験販売システムおよび疑似体験販売方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180905

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150