JP7523765B2 - 練習支援装置、練習支援方法、プログラム及び練習支援システム - Google Patents
練習支援装置、練習支援方法、プログラム及び練習支援システム Download PDFInfo
- Publication number
- JP7523765B2 JP7523765B2 JP2020076283A JP2020076283A JP7523765B2 JP 7523765 B2 JP7523765 B2 JP 7523765B2 JP 2020076283 A JP2020076283 A JP 2020076283A JP 2020076283 A JP2020076283 A JP 2020076283A JP 7523765 B2 JP7523765 B2 JP 7523765B2
- Authority
- JP
- Japan
- Prior art keywords
- practice
- data
- sample
- image data
- pressure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000011156 evaluation Methods 0.000 claims description 67
- 239000002131 composite material Substances 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 59
- 230000005540 biological transmission Effects 0.000 claims description 48
- 230000001360 synchronised effect Effects 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 24
- 238000003786 synthesis reaction Methods 0.000 description 24
- 210000004247 hand Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Description
本発明は、手の動かし方の練習を支援するための練習支援装置、練習支援方法、プログラム及び練習支援システムに関する。
従来、手術の練習をするための装置が知られている。特許文献1には、手術時の鉗子の動かし方の見本を示す教材画像に、練習者が動かしている鉗子の画像を重ねて表示する技術が開示されている。
従来の装置を用いることで、練習者は、教材画像を見ながら適切な手の動かし方を練習することができる。しかしながら、練習者は、手で操作する対象物(例えば臓器)の触感を得ることができないため、実際に作業をする場合との状況の差が大きく、練習の効果を十分に得ることができないという問題が生じていた。
そこで、本発明はこれらの点に鑑みてなされたものであり、練習者が手を用いる作業を練習する際の環境を実際の作業環境に近づけることを目的とする。
本発明の第1の態様の練習支援装置は、手を用いる作業を練習する練習者を支援する練習支援装置であって、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、を有する。
前記データ取得部は、前記見本画像データに同期した第1音データと、前記見本圧力データに同期した第2音データとをさらに取得し、前記練習支援装置は、前記第1音データと前記第2音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部をさらに有し、前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信してもよい。
前記データ送信部は、前記合成画像データ及び前記練習用圧力データに同期して、前記第1音データと前記第2音データとが合成された合成音データを前記練習装置に送信してもよい。
前記データ送信部は、前記練習者の手の位置と前記見本作業者の手の位置とが所定の範囲以上で一致している場合に、前記練習用圧力データを前記練習装置に送信してもよい。
前記データ送信部は、前記見本作業者の手の動きに対する前記練習者の手の動きの遅延時間が所定の遅延許容時間以内であることを条件として前記練習用圧力データを前記練習装置に送信してもよい。
前記練習支援装置は、前記見本画像データに含まれる前記見本作業者の手の動きと、前記特定部が特定した前記練習者の手の動きとの類似度に基づいて決定した前記練習者の評価結果を出力する評価部をさらに有してもよい。
前記評価部は、前記見本作業者の手の状態が変化するタイミングと前記練習者の手の状態が変化するタイミングとの時間差に基づいて前記評価結果を算出してもよい。
前記評価部は、所定の評価期間において前記時間差を累積した値に基づいて前記評価結果を算出してもよい。
前記評価部は、前記見本作業者の手の画像と前記練習者の手の画像とが重なった面積に基づいて前記評価結果を算出してもよい。
前記練習装置は、前記練習者が目を覆うように装着するゴーグル型装置であり、前記見本画像データは、前記見本作業者の上方から前記見本作業者の手の動きを撮影する撮像装置の基準方向である第1基準方向に対して所定の範囲が撮影された画像データにより構成されており、前記データ送信部は、前記練習装置の基準方向である第2基準方向に対する前記練習装置の移動量に対応する、前記見本画像データにおける前記第1基準方向に対する方向に基づいて選択された領域の画像データを含む前記見本画像データと前記練習画像データとが合成された前記合成画像データを前記練習装置に送信してもよい。
本発明の第2の態様の練習支援方法は、コンピュータが実行する、手を用いる作業を練習する練習者を支援する練習支援方法であって、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するステップと、前記作業の練習をしている間の前記練習者の手の動きを特定するステップと、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するステップと、を有する。
本発明の第3の態様のプログラムは、手を用いる作業を練習する練習者を支援するために用いられるコンピュータを、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部、及び前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部、として機能させる。
本発明の第4の態様の練習支援システムは、手を用いる作業を練習する練習者を支援する練習支援システムであって、前記作業を行っている見本作業者の手の動きを撮像して見本画像データを作成する撮像装置と、前記見本作業者の手に加わっている圧力を示す見本圧力データを作成する見本者グローブと、前記練習者が視認可能な頭部装着型表示装置及び前記練習者が装着する練習者グローブにより構成される練習装置と、前記見本画像データ及び前記見本圧力データに基づく練習用圧力データを前記練習装置に送信する練習支援装置と、を備え、前記練習支援装置は、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する前記練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、を有し、前記頭部装着型表示装置は、前記合成画像データを表示し、前記練習者グローブは、前記練習用圧力データに対応する圧力を前記練習者の手に加える。
本発明によれば、練習者が手を用いる作業を練習する際の環境を実際の作業環境に近づけることができるという効果を奏する。
[練習支援システムSの概要]
図1は、練習支援システムSの概要を説明するための図である。練習支援システムSは、手を用いる作業を練習する練習者Uを支援するためのシステムである。練習支援システムSは、外科医、ものづくり職人、工場技術者、調理師及び菓子職人のような手を用いる作業を行う見本作業者Tの手の動きに倣って、練習者Uが正しい手の動かし方を練習することを支援するために用いられる。本実施形態においては、作業が外科手術であり、見本作業者Tが経験豊富な医師であり、練習者Uが経験の浅い医師である場合を例にして説明するが、練習支援システムSは任意の手作業の練習に用いることができる。
図1は、練習支援システムSの概要を説明するための図である。練習支援システムSは、手を用いる作業を練習する練習者Uを支援するためのシステムである。練習支援システムSは、外科医、ものづくり職人、工場技術者、調理師及び菓子職人のような手を用いる作業を行う見本作業者Tの手の動きに倣って、練習者Uが正しい手の動かし方を練習することを支援するために用いられる。本実施形態においては、作業が外科手術であり、見本作業者Tが経験豊富な医師であり、練習者Uが経験の浅い医師である場合を例にして説明するが、練習支援システムSは任意の手作業の練習に用いることができる。
図1に示すように、練習支援システムSは、撮像装置1と、グローブ2と、練習支援装置3と、頭部装着型表示装置4と、グローブ5とを備える。頭部装着型表示装置4及びグローブ5は、練習者Uが手作業の練習をするために用いる練習装置を構成する。撮像装置1及びグローブ2、並びに頭部装着型表示装置4及びグローブ5は、ネットワークNを介して練習支援装置3との間で各種のデータを送受信する。
撮像装置1は、作業を行っている見本作業者Tの上方から見本作業者Tの手の動きを撮影して見本画像データを作成する。撮像装置1は、例えば360度の方向を撮影できる360度カメラである。撮像装置1は、例えば手術台の上方における、見本作業者Tの目の位置の近傍(例えば、目の高さと同じ高さで、見本作業者Tの前方の位置)に設置されており、見本作業者Tの手が動く範囲の動画を含む見本画像データを作成する。
撮像装置1は、撮像部の位置と見本作業者Tの手の位置との関係が、練習者Uが装着した状態における頭部装着型表示装置4のディスプレイの位置と練習者Uの手の位置との位置関係と同等になるように、設置位置を調整可能であってもよい。また、撮像装置1は、音を収集するマイクロフォンを有しており、収集した音に対応する第1音データを作成する。撮像装置1は、作成した見本画像データ及び第1音データを練習支援装置3に送信する。
見本画像データは、例えば、撮像装置1の基準方向である第1基準方向に対して所定の範囲が撮影された画像データにより構成されている。第1基準方向は、例えば見本作業者Tと手術台の中央位置とを結ぶ方向である。
グローブ2は、見本作業者Tが手に装着している見本者グローブ(手袋)である。グローブ2は、圧力センサーを有しており、見本作業者Tの手に加わっている圧力(すなわち見本作業者Tの触感)を示す見本圧力データを作成する。グローブ2は、例えばそれぞれの指の先端付近に設けられた複数の圧力センサーを有しており、それぞれの指に関連付けられた圧力データを含む見本圧力データを作成する。グローブ2は、作成した見本圧力データを練習支援装置3に送信する。
グローブ2は、音を収集するマイクロフォンを有しており、収集した音に対応する第2音データを作成してもよい。グローブ2は、作成した第2音データを練習支援装置3に送信する。グローブ2の代わりに、見本作業者Tの手の付近に設けられたマイクロフォンが第2音データを練習支援装置3に送信してもよい。グローブ2が温度センサーを有しており、温度を示す温度データを練習支援装置3に送信してもよい。
練習支援装置3は、例えばコンピュータであり、撮像装置1から受信した見本画像データ及びグローブ2から受信した見本圧力データに基づいて、練習者Uの練習を支援するための各種のデータを作成する。練習支援装置3は、例えば、見本画像データと練習者Uの手の位置及び動きを示す練習画像データとが合成された合成画像データを作成する。また、練習支援装置3は、見本圧力データに基づいて、合成画像データと同期した練習用圧力データを作成する。練習支援装置3は、合成画像データを頭部装着型表示装置4に送信し、練習用圧力データをグローブ5に送信する。
頭部装着型表示装置4は、練習者が画面を視認可能なディスプレイを有する装置である。頭部装着型表示装置4の形態は任意であるが、頭部装着型表示装置4は、例えば練習者Uが目を覆うように装着できるゴーグル型のディスプレイ又は眼鏡型のディスプレイである。頭部装着型表示装置4は、練習支援装置3から受信した合成画像データを表示する。また、頭部装着型表示装置4は、練習者Uの手の動きが評価された結果を表示する。
グローブ5は、練習者が手に装着する練習者グローブである。グローブ5は、練習者の手の各部の動きを検出するセンサー(例えば加速度センサー)を有しており、基準位置に対する手の各部の位置を示す練習画像データを練習支援装置3に送信する。また、グローブ5は、練習支援装置3から受信した練習用圧力データに基づいて形状を変化させたり移動したりすることにより練習者Uの手に圧力、振動又は熱を加えるハプティックスデバイスを有する。練習者Uは、グローブ5を介して、見本作業者Tの手に加わった圧力、振動又は温度を感じることができる。
図2は、練習支援システムSにおけるデータの処理の概要を示す図である。以下、図1及び図2を参照しながら、練習支援システムSにおけるデータの処理の概要を説明する。
まず、撮像装置1及びグローブ2は、ネットワークNを介して、見本画像データ及び見本圧力データを練習支援装置3に送信する(図1の(1))。撮像装置1は、見本画像データに同期した状態で、撮像装置1が収集した音を示す第1音データを送信し、グローブ2は、見本圧力データに同期した状態で、グローブ2が収集した音を示す第2音データを送信する。
練習支援装置3は、見本画像データと見本圧力データとを同期させる(図1の(2))。具体的には、まず、練習支援装置3は、第1音データの波形と第2音データの波形が一致するように第1音データ又は第2音データのタイミングをずらすことにより、図2に示すように、第1音データのタイミングと第2音データのタイミングとを一致させる。見本画像データは第1音データに同期しており、見本圧力データは第2音データに同期しているので、練習支援装置3は第1音データと第2音データとを同期させることにより、見本画像データと見本圧力データとを同期させることができる。
練習支援装置3が見本画像データと見本圧力データとを同期させる処理と並行して、練習支援装置3は、練習者Uの手の各部の位置を示す位置データを取得する(図1の(3))。練習支援装置3は、位置データに基づいて、練習者Uの手の動きを特定し、特定した手の動きを示す練習画像データを作成する。位置データは、例えばグローブ5が有する加速度センサーが検出した加速度に基づいて特定されたグローブ5の位置を示すデータであるが、頭部装着型表示装置4が有するカメラが生成した撮像画像に含まれるグローブ5の位置を示すデータであってもよい。
練習支援装置3は、作成した練習画像データを見本画像データと合成することにより合成画像データを作成する(図1の(4))。この際、練習支援装置3は、合成画像データの作成に要する時間だけ見本圧力データを遅延させた練習用圧力データを作成し、合成画像データと練習用圧力データとを同期させた状態で送信する(図1の(5))。
練習支援装置3は、見本画像データに含まれる見本作業者Tの手の位置と位置データが示す練習者Uの手の位置との関係により、練習者Uの手の動かし方を評価する。練習支援装置3は、評価結果を示す情報をさらに頭部装着型表示装置4に送信する。頭部装着型表示装置4は、受信した合成画像データ及び評価結果を表示する。グローブ5は、受信した練習用圧力データに対応する圧力を練習者Uの手に加える。グローブ5は、グローブ2が練習支援装置3に送信した温度データに対応する熱を練習者Uの熱に加えてもよい。
練習支援システムSがこのように動作することで、練習者Uは、見本作業者Tの手の動きを見るとともに見本作業者Tが手で触れた対象物の形状、硬さ又は温度等を感じながら自身の手を動かして、手の動かし方の評価結果のフィードバックを得ることができるので、効果的に練習することができる。以下、練習支援装置3の構成及び動作を詳細に説明する。
[練習支援装置3の構成及び動作]
図3は、練習支援装置3の構成を示す図である。練習支援装置3は、通信部31と、記憶部32と、制御部33とを有する。制御部33は、データ取得部331と、同期処理部332と、特定部333と、合成処理部334と、評価部335と、データ送信部336とを有する。
図3は、練習支援装置3の構成を示す図である。練習支援装置3は、通信部31と、記憶部32と、制御部33とを有する。制御部33は、データ取得部331と、同期処理部332と、特定部333と、合成処理部334と、評価部335と、データ送信部336とを有する。
通信部31は、ネットワークNを介して撮像装置1、グローブ2、頭部装着型表示装置4及びグローブ5との間で各種のデータを送受信するための通信コントローラを含む。通信部31は、ネットワークNを介して受信したデータをデータ取得部331に入力する。通信部31は、データ送信部336から入力されたデータをネットワークNに向けて送信する。
記憶部32は、各種のデータを記憶する記憶媒体として、例えばROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスクを含む。記憶部32は、撮像装置1から受信した見本画像データ、グローブ2から受信した見本圧力データ、及びグローブ5から受信した位置データを一時的に記憶する。また、記憶部32は、制御部33が実行するプログラムを記憶する。
制御部33は、例えばCPU(Central Processing Unit)を含む。制御部33は、記憶部32に記憶されたプログラムを実行することにより、データ取得部331、同期処理部332、特定部333、合成処理部334、評価部335及びデータ送信部336として機能する。
データ取得部331は、通信部31を介して、作業を行っている見本作業者である見本作業者Tの手の動きを示す見本画像データと、見本画像データに同期した、見本作業者Tの手に加わっている圧力を示す圧力データと、を取得する。また、データ取得部331は、通信部31を介して、見本画像データに同期した第1音データと、圧力データに同期した第2音データとをさらに取得する。データ取得部331は、取得した見本画像データ、圧力データ、第1音データ及び第2音データを同期処理部332に入力する。
さらに、データ取得部331は、通信部31を介して、練習者Uの手の各部の位置を示す位置データを頭部装着型表示装置4又はグローブ5から取得する。データ取得部331は、取得した位置データを特定部333に入力する。位置データには、例えば、左右のグローブ5のいずれか一方の基準位置を原点とする左右のグローブ5の複数の位置の座標データが含まれる。基準位置は、例えば、練習者Uが練習を開始した時点(以下、「練習開始時点」という。)における左手に装着されたグローブ5の手首の左端に対応する位置である。
練習開始時点は、例えば、練習者Uが頭部装着型表示装置4に表示された所定の位置(例えば「練習開始」アイコン)を視認したことを頭部装着型表示装置4が検出した時点である。データ取得部331は、練習開始時点において、練習が開始されたことを示す情報を頭部装着型表示装置4から取得し、取得した情報を合成処理部334に通知してもよい。
同期処理部332は、データ取得部331から入力された第1音データと第2音データとに基づいて、見本画像データと見本圧力データとを同期させる。具体的には、図2を参照しながら説明したように、同期処理部332は、まず、第1音データの波形と第2音データの波形が一致するように第1音データ又は第2音データのタイミングをずらすことにより、第1音データのタイミングと第2音データのタイミングとを一致させる。
同期処理部332は、第1音データのタイミングと第2音データのタイミングとを一致させた状態で、第1音データに同期した見本画像データと第2音データに同期した見本圧力データとを関連付けることにより、見本画像データと圧力データとを同期させる。同期処理部332は、同期させた後の見本画像データ及び見本圧力データを合成処理部334に入力する。
特定部333は、作業の練習をしている間の練習者の手の動きを特定する。具体的には、特定部333は、データ取得部331から入力された位置データに含まれる複数の座標データに基づいて、基準位置に対するグローブ5の各部の位置の変化を特定することにより、練習者の手の動きを特定し、特定した手の動きを示す練習画像データを作成する。特定部333は、作成した練習画像データを合成処理部334に入力する。
合成処理部334は、同期処理部332から入力された見本画像データと、特定部333から入力された練習画像データとが合成された合成画像データを作成する。合成処理部334は、例えば、データ取得部331から通知された練習開始時点において見本画像データにおける左手のグローブ2の手首の左端を見本画像データにおける見本基準位置として、見本基準位置が練習画像データの基準位置と一致するように、見本画像データと練習画像データとを合成する。合成処理部334は、作成した合成画像データを評価部335及びデータ送信部336に入力する。
また、合成処理部334は、第1音データと第2音データとを合成した合成音データを作成する。合成処理部334は、作成した合成音データをデータ送信部336に入力する。さらに、合成処理部334は、同期処理部332から取得した見本圧力データをデータ送信部336に入力する。
図4は、合成処理部334が合成画像データを作成する方法について説明するための図である。図4(a)は、見本画像データと練習画像データとが合成される前の見本画像データを示しており、見本作業者Tの左手に装着されているグローブ2Lと右手に装着されているグローブ2Rとを示す画像(斜線の領域)が含まれている。図4(a)における左側のグローブ2Lの左下の位置が見本基準位置となっている。
図4(b)は、練習開始時点における合成画像データである。当該合成画像データにおいては、グローブ2Lの見本基準位置とグローブ5Lの基準位置とが一致するようにグローブ2の画像及びグローブ5の画像が合成されている。
図4(c)は、練習開始時点から時間が経過した後の合成画像データの一例である。当該合成画像データにおいては、グローブ2L、グローブ2R、グローブ5L及びグローブ5Rの形状及び位置が、図4(b)に示した形状及び位置から変化している。このように、合成処理部334は、時間の経過とともに変化する見本作業者Tの手の動きを示す画像と練習者Uの手の動きを示す画像とが重なった合成画像データを作成する。
評価部335は、見本画像データに含まれる見本作業者Tの手の動きと、特定部333が特定した練習者Uの手の動きとの類似度に基づいて決定した練習者Uの評価結果を出力する。評価結果は、例えば、図4(c)に表示されているように、総合評価点とともに、手の動かし方のタイミング、手の形、手を動かす強さ及びミスの回数の少なくともいずれかを含む。評価部335は、例えば、見本作業者Tの手の状態が変化するタイミングと練習者Uの手の状態が見本作業者Tの手の状態と同様に変化するタイミングとの時間差に基づいて評価結果を算出する。評価部335は、時間差が小さければ小さいほど評価結果を高くする。
評価部335は、所定の評価期間において時間差を累積した値に基づいて評価結果を算出してもよい。所定の評価期間は、一時的な手の動きの変化が評価結果に与える影響を軽減することができる期間であり、例えば5秒である。評価部335は、時間差の累積値が小さければ小さいほど評価結果を高くする。
評価部335は、見本作業者Tの手の画像と練習者Uの手の画像とが重なった面積に基づいて評価結果を算出してもよい。評価部335は、合成処理部334から入力された合成画像データに含まれるグローブ2L及びグローブ2Rを示す画像の第1領域と、グローブ5L及びグローブ5Rを示す画像の第2領域とを比較する。評価部335は、第1領域と第2領域とが重なっている重複領域の面積が大きい場合に、当該面積が小さい場合よりも良い評価結果を出力する。
評価部335は、グローブ2L及びグローブ2Rにおける指の領域を第1領域とし、グローブ5L及びグローブ5Rにおける指の領域を第2領域としてもよい。評価部335が指の領域の重複度合いによって練習者Uを評価することにより、指の動かし方が適切かどうかを練習者Uが把握しやすくなる。
評価部335は、第1領域又は第2領域の面積に対する重複領域の面積の割合が大きければ大きいほど良い評価結果を出力してもよい。評価部335は、合成画像データを用いる代わりに、同期処理部332から取得した見本画像データと特定部333から取得した練習画像データとに基づいて評価結果を出力してもよい。評価部335は、データ送信部336を介して、頭部装着型表示装置4又はその他の外部装置に評価結果を出力する。
データ送信部336は、通信部31を介して、見本画像データと練習者の手の動きを示す練習画像データとが合成された合成画像データと、見本圧力データに対応する練習用圧力データとを、練習者が装着する頭部装着型表示装置4及びグローブ5から構成される練習装置に送信する。データ送信部336は、同期処理部332が見本画像データと練習用圧力データとを同期させた後の合成画像データ及び練習用圧力データを練習装置に送信する。練習用圧力データは、見本圧力データと実質的に同じ圧力を示し、合成画像データに同期したデータである。
データ送信部336は、評価部335から入力された評価結果をさらに練習装置に送信してもよい。データ送信部336は、例えば合成画像データ及び評価結果を頭部装着型表示装置4に送信し、練習用圧力データをグローブ5に送信する。頭部装着型表示装置4は、受信した合成画像データ及び評価結果を図4(c)のような態様でディスプレイに表示し、グローブ5は、練習用圧力データに対応する圧力を練習者Uが感じるように、グローブ5が有するハプティックスデバイスを動作させる。データ送信部336は、合成画像データ、評価結果、及び練習用圧力データを頭部装着型表示装置4に送信し、頭部装着型表示装置4が練習用圧力データに基づいてグローブ5のハプティックスデバイスを制御してもよい。
練習者Uは、このような合成画像データ及び評価結果を見ながら練習をすることで、評価点が高くなるように手の動かし方を改善することができる。また、練習者Uは、合成画像データに同期して見本作業者Tが感じている圧力と同じ圧力を感じることができるので、見本作業者Tの手の触感を体験しながら手の動かし方を練習することができる。
データ送信部336は、合成画像データ及び練習用圧力データに同期して、第1音データと第2音データとが合成された合成音データを練習装置に送信してもよい。例えば頭部装着型表示装置4が、受信した合成音データをスピーカから出力することにより、練習者Uは、見本作業者Tが作業をしている場所で聞こえている音を聞きながら手を動かす練習をすることができるので、より臨場感がある練習をすることができる。
データ送信部336は、練習者Uの手の位置と見本作業者Tの手の位置とが所定の範囲以上で一致している場合に、練習用圧力データを練習装置に送信してもよい。所定の範囲は、練習者Uの手の位置においても見本作業者Tと同じ触感を得られる蓋然性が十分に高いと判定し得る範囲である。
データ送信部336は、例えば、図4(b)に示す例のように、練習者Uの手の位置と見本作業者Tの手の位置とが重なっている重複領域の面積が面積閾値未満である場合に練習用圧力データを練習装置に送信せず、図4(c)に示す例のように、重複領域の面積が面積閾値以上である場合に練習用圧力データを練習装置に送信する。データ送信部336がこのように動作することで、練習者Uの手の位置が、見本作業者Tが得ている触感を得られる位置である場合に、見本作業者Tが得ている触感を練習者Uが体験できる。したがって、練習者Uが適切な動きをできているかどうかを手の触感により把握することができるので、練習効果が高まる。
データ送信部336は、見本作業者Tの手の動きに対する練習者Uの手の動きの遅延時間が所定の遅延許容時間以内であることを条件として練習用圧力データを練習装置に送信してもよい。データ送信部336は、例えば見本作業者Tの手の形状が変化してから、同じ形状に練習者Uの手の形状が変化するまでの遅延時間を計測し、計測した遅延時間が遅延許容時間以内である場合に練習用圧力データを送信し、遅延時間が遅延許容時間よりも大きい場合に練習用圧力データを送信しない。データ送信部336がこのように動作することで、練習者Uは、手の動きに合った圧力を感じることができるので、違和感を抱くことなく練習をすることができる。
データ送信部336は、見本画像データにおける一部の領域を含む合成画像データを頭部装着型表示装置4に送信してもよい。この場合、データ送信部336は、まず、頭部装着型表示装置4の基準方向である第2基準方向に対する頭部装着型表示装置4の移動量に対応する、見本画像データにおける第1基準方向に対する方向に基づいて、送信する対象となる一部の領域を選択する。データ送信部336は、選択した領域の画像データを含む見本画像データと練習画像データとが合成された合成画像データを頭部装着型表示装置4に送信する。
第2基準方向は、練習者Uが練習を開始するための操作をした時点の頭部装着型表示装置4の方向である。練習開始時点から、頭部装着型表示装置4は、内蔵する加速度センサーにより頭部装着型表示装置4の方向(すなわち練習者Uの顔の向き)を監視することにより、第2基準方向に対する頭部装着型表示装置4の移動量を特定し、特定した移動量を練習支援装置3に送信する。データ取得部331は、頭部装着型表示装置4から取得した移動量をデータ送信部336に通知し、合成処理部334は、見本画像データのうち、取得した移動量に基づいて特定した方向に対応する領域の画像データを練習画像データと合成することにより合成画像データを作成する。
データ送信部336がこのような合成画像データを頭部装着型表示装置4に送信することで、頭部装着型表示装置4は、頭部装着型表示装置4の方向に対応する領域の見本画像データを表示することができる。したがって、練習者Uは、自身が顔を動かした場合に、顔の向きに対応する見本画像データを視認することができる。このように練習者Uは、あたかも自身が見本作業者Tが立っている位置で作業をしているかのような臨場感がある画像を見ながら練習できるので、高い練習効果を得ることができる。
[練習支援装置3における処理の流れ]
図5は、練習支援装置3における処理の流れを示すフローチャートである。図5に示すフローチャートは、頭部装着型表示装置4が、練習者Uが練習を開始するための操作を受け付けた練習開始時点から開始している。
図5は、練習支援装置3における処理の流れを示すフローチャートである。図5に示すフローチャートは、頭部装着型表示装置4が、練習者Uが練習を開始するための操作を受け付けた練習開始時点から開始している。
データ取得部331は、練習者Uが練習を開始したという通知を頭部装着型表示装置4から受けると、見本画像データ及び見本圧力データの取得を開始する(S21)。同期処理部332は、取得された見本画像データと見本圧力データとを同期させる(S22)。
S21及びS22の処理と並行して、データ取得部331は、練習者の手の動きを示す位置データを頭部装着型表示装置4又はグローブ5から取得する(S23)。特定部333は、位置データに基づいて、練習者Uの手の動きを示す練習画像データを作成する(S24)。合成処理部334は、見本画像データと練習画像データとが合成された合成画像データを作成し、データ送信部336が合成画像データを頭部装着型表示装置4に送信する(S25)。
データ送信部336は、合成画像データの送信と並行して、練習用圧力データを頭部装着型表示装置4に送信し(S26)、合成音データを頭部装着型表示装置4に送信する(S27)。練習支援装置3は、データ取得部331が、練習を終了するという通知を頭部装着型表示装置4から取得するまでの間(S28においてNO)、S21からS27までの処理を繰り返す。
[第1変形例]
以上の説明においては、練習支援装置3がコンピュータにより構成されており、練習支援装置3が合成画像データ、合成音データ及び練習用圧力データを作成し、作成したこれらのデータを頭部装着型表示装置4又はグローブ5に送信する場合を例示した。しかしながら、練習支援装置3の態様はこれに限らず、頭部装着型表示装置4又はグローブ5が練習支援装置3の機能を有していてもよい。
以上の説明においては、練習支援装置3がコンピュータにより構成されており、練習支援装置3が合成画像データ、合成音データ及び練習用圧力データを作成し、作成したこれらのデータを頭部装着型表示装置4又はグローブ5に送信する場合を例示した。しかしながら、練習支援装置3の態様はこれに限らず、頭部装着型表示装置4又はグローブ5が練習支援装置3の機能を有していてもよい。
図6は、練習支援装置として機能する頭部装着型表示装置4の構成を示す図である。図6に示す頭部装着型表示装置4は、通信部41と、ディスプレイ42と、スピーカ43と、記憶部44と、制御部45とを有する。制御部45は、データ取得部451と、同期処理部452と、特定部453と、合成処理部454と、評価部455とを有する。
通信部41は、撮像装置1及びグローブ2と各種のデータを送受信するための通信インターフェースである。ディスプレイ42は、合成画像データ及び評価結果を表示する。スピーカ43は、合成音データに基づく合成音を出力する。
記憶部44は、例えばROM及びRAMを有しており、制御部45が実行するプログラムを記憶している。また、記憶部44は、合成画像データ及び合成音データ等の各種のデータを一時的に記憶する。
制御部45は、例えばCPUを有しており、記憶部44に記憶されたプログラムを実行することにより、データ取得部451、同期処理部452、特定部453、合成処理部454、及び評価部455として機能する。データ取得部451、同期処理部452、特定部453、合成処理部454及び評価部455のそれぞれは、図3に示したデータ取得部331、同期処理部332、特定部333、合成処理部334及び評価部335に対応する。
合成処理部454は、作成した合成画像データに基づく画像をディスプレイ42に表示させ、合成音データに基づく音をスピーカ43に出力させ、練習用圧力データをグローブ5に送信する。このように頭部装着型表示装置4が練習支援装置3の機能を有する場合、練習支援装置3がない場合であっても、練習者Uは練習支援装置3がある場合と同等の練習をすることができる。
[第2変形例]
以上の説明においては、見本作業者Tが作業をしている間に合成画像データが頭部装着型表示装置4に表示される場合を例示したが、合成処理部334又は合成処理部454が、予め作成された見本画像データと練習画像データとを合成して合成画像データを作成してもよい。このようにすることで、練習者Uは、見本作業者Tが作業をしている間に限らず、任意の時間において、見本画像データを見ながら練習を繰り返すことができる。
以上の説明においては、見本作業者Tが作業をしている間に合成画像データが頭部装着型表示装置4に表示される場合を例示したが、合成処理部334又は合成処理部454が、予め作成された見本画像データと練習画像データとを合成して合成画像データを作成してもよい。このようにすることで、練習者Uは、見本作業者Tが作業をしている間に限らず、任意の時間において、見本画像データを見ながら練習を繰り返すことができる。
[練習支援システムSによる効果]
以上説明したように、練習支援システムSにおいては、練習支援装置3又は頭部装着型表示装置4が、見本画像データと練習者Uの手の動きを示す練習画像データとが合成された合成画像データを頭部装着型表示装置4に表示させ、見本圧力データに対応する練習用圧力データをグローブ5に送信する。練習支援システムSがこのように動作することで、練習者Uが手を用いる作業を練習する際の環境を実際の作業環境に近づけることができるので、練習効果を高めることができる。
以上説明したように、練習支援システムSにおいては、練習支援装置3又は頭部装着型表示装置4が、見本画像データと練習者Uの手の動きを示す練習画像データとが合成された合成画像データを頭部装着型表示装置4に表示させ、見本圧力データに対応する練習用圧力データをグローブ5に送信する。練習支援システムSがこのように動作することで、練習者Uが手を用いる作業を練習する際の環境を実際の作業環境に近づけることができるので、練習効果を高めることができる。
特に、練習支援システムSにおいては、撮像装置1の撮像部の位置と見本作業者Tの手の位置との関係が、頭部装着型表示装置4の表示部の位置と練習者Uの手の位置との関係と同等である。したがって、頭部装着型表示装置4を装着した練習者Uが、撮像装置1で作成された見本画像データを視認することで、見本作業者Tと同等の状態を体験することができるので、練習支援システムSは、高い練習効果を提供することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 撮像装置
2 グローブ
3 練習支援装置
4 頭部装着型表示装置
5 グローブ
31 通信部
32 記憶部
33 制御部
41 通信部
42 ディスプレイ
43 スピーカ
44 記憶部
45 制御部
331 データ取得部
332 同期処理部
333 特定部
334 合成処理部
335 評価部
336 データ送信部
451 データ取得部
452 同期処理部
453 特定部
454 合成処理部
455 評価部
2 グローブ
3 練習支援装置
4 頭部装着型表示装置
5 グローブ
31 通信部
32 記憶部
33 制御部
41 通信部
42 ディスプレイ
43 スピーカ
44 記憶部
45 制御部
331 データ取得部
332 同期処理部
333 特定部
334 合成処理部
335 評価部
336 データ送信部
451 データ取得部
452 同期処理部
453 特定部
454 合成処理部
455 評価部
Claims (12)
- 手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第1音データと、前記見本圧力データに同期した第2音データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
前記第1音データと前記第2音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部と、
を有し、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、
練習支援装置。 - 前記データ送信部は、前記合成画像データ及び前記練習用圧力データに同期して、前記第1音データと前記第2音データとが合成された合成音データを前記練習装置に送信する、
請求項1に記載の練習支援装置。 - 手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
を有し、
前記データ送信部は、前記練習者の手の位置と前記見本作業者の手の位置とが所定の範囲以上で一致している場合に、前記練習用圧力データを前記練習装置に送信する、
練習支援装置。 - 手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
を有し、
前記データ送信部は、前記見本作業者の手の動きに対する前記練習者の手の動きの遅延時間が所定の遅延許容時間以内であることを条件として前記練習用圧力データを前記練習装置に送信する、
練習支援装置。 - 前記見本画像データに含まれる前記見本作業者の手の動きと、前記特定部が特定した前記練習者の手の動きとの類似度に基づいて決定した前記練習者の評価結果を出力する評価部をさらに有する、
請求項1から4のいずれか一項に記載の練習支援装置。 - 前記評価部は、前記見本作業者の手の状態が変化するタイミングと前記練習者の手の状態が変化するタイミングとの時間差に基づいて前記評価結果を算出する、
請求項5に記載の練習支援装置。 - 前記評価部は、所定の評価期間において前記時間差を累積した値に基づいて前記評価結果を算出する、
請求項6に記載の練習支援装置。 - 前記評価部は、前記見本作業者の手の画像と前記練習者の手の画像とが重なった面積に基づいて前記評価結果を算出する、
請求項5から7のいずれか一項に記載の練習支援装置。 - 前記練習装置は、前記練習者が目を覆うように装着するゴーグル型装置であり、
前記見本画像データは、前記見本作業者の上方から前記見本作業者の手の動きを撮影する撮像装置の基準方向である第1基準方向に対して所定の範囲が撮影された画像データにより構成されており、
前記データ送信部は、前記練習装置の基準方向である第2基準方向に対する前記練習装置の移動量に対応する、前記見本画像データにおける前記第1基準方向に対する方向に基づいて選択された領域の画像データを含む前記見本画像データと前記練習画像データとが合成された前記合成画像データを前記練習装置に送信する、
請求項1から8のいずれか一項に記載の練習支援装置。 - コンピュータが実行する、手を用いる作業を練習する練習者を支援する練習支援方法であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第1音データと、前記見本圧力データに同期した第2音データと、を取得するステップと、
前記作業の練習をしている間の前記練習者の手の動きを特定するステップと、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するステップと、
前記第1音データと前記第2音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させるステップと、
前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信するステップと、
を有する練習支援方法。 - 手を用いる作業を練習する練習者を支援するために用いられるコンピュータを、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第1音データと、前記見本圧力データに同期した第2音データと、を取得するデータ取得部、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部、及び
前記第1音データと前記第2音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部
として機能させ、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、プログラム。 - 手を用いる作業を練習する練習者を支援する練習支援システムであって、前記作業を行っている見本作業者の手の動きを撮像して見本画像データを作成する撮像装置と、前記見本作業者の手に加わっている圧力を示す見本圧力データを作成する見本者グローブと、前記練習者が視認可能な頭部装着型表示装置及び前記練習者が装着する練習者グローブにより構成される練習装置と、前記見本画像データ及び前記見本圧力データに基づく練習用圧力データを前記練習装置に送信する練習支援装置と、を備え、
前記練習支援装置は、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第1音データと、前記見本圧力データに同期した第2音データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する前記練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
前記第1音データと前記第2音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部と、
を有し、
前記頭部装着型表示装置は、前記合成画像データを表示し、
前記練習者グローブは、前記練習用圧力データに対応する圧力を前記練習者の手に加え、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、練習支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076283A JP7523765B2 (ja) | 2020-04-22 | 練習支援装置、練習支援方法、プログラム及び練習支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076283A JP7523765B2 (ja) | 2020-04-22 | 練習支援装置、練習支援方法、プログラム及び練習支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021173823A JP2021173823A (ja) | 2021-11-01 |
JP7523765B2 true JP7523765B2 (ja) | 2024-07-29 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001071140A (ja) | 1999-09-02 | 2001-03-21 | Toshiba Corp | 手溶接支援装置、手溶接支援方法、手溶接訓練装置、および手溶接訓練方法 |
JP2003005623A (ja) | 2001-06-18 | 2003-01-08 | Nisshin Seifun Group Inc | 職人技再現システム |
JP2003196681A (ja) | 2001-12-26 | 2003-07-11 | Sharp Corp | 作業指図システム、作業指図方法及びそれを実現するためのプログラムを格納した記録媒体 |
JP2004240264A (ja) | 2003-02-07 | 2004-08-26 | Mitsubishi Electric Corp | 体感型訓練システム |
JP2009273551A (ja) | 2008-05-13 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 運動学習支援装置 |
JP2016148765A (ja) | 2015-02-12 | 2016-08-18 | 国立大学法人大阪大学 | 手術トレーニング装置 |
JP2019012965A (ja) | 2017-06-30 | 2019-01-24 | 富士通株式会社 | 映像制御方法、映像制御装置、及び映像制御プログラム |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001071140A (ja) | 1999-09-02 | 2001-03-21 | Toshiba Corp | 手溶接支援装置、手溶接支援方法、手溶接訓練装置、および手溶接訓練方法 |
JP2003005623A (ja) | 2001-06-18 | 2003-01-08 | Nisshin Seifun Group Inc | 職人技再現システム |
JP2003196681A (ja) | 2001-12-26 | 2003-07-11 | Sharp Corp | 作業指図システム、作業指図方法及びそれを実現するためのプログラムを格納した記録媒体 |
JP2004240264A (ja) | 2003-02-07 | 2004-08-26 | Mitsubishi Electric Corp | 体感型訓練システム |
JP2009273551A (ja) | 2008-05-13 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 運動学習支援装置 |
JP2016148765A (ja) | 2015-02-12 | 2016-08-18 | 国立大学法人大阪大学 | 手術トレーニング装置 |
JP2019012965A (ja) | 2017-06-30 | 2019-01-24 | 富士通株式会社 | 映像制御方法、映像制御装置、及び映像制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7116696B2 (ja) | 学習支援システム及びプログラム | |
CN108815804B (zh) | 基于myo臂环和移动端的vr上肢康复训练平台及方法 | |
JP5989877B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
US8994729B2 (en) | Method for simulating operation of object and apparatus for the same | |
EP3797931B1 (en) | Remote control system, information processing method, and program | |
EP1916592A2 (en) | Haptic feedback apparatus and method | |
JP2009276996A (ja) | 情報処理装置、情報処理方法 | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP2019012965A (ja) | 映像制御方法、映像制御装置、及び映像制御プログラム | |
JP6830829B2 (ja) | プログラム、表示装置、表示方法、放送システム及び放送方法 | |
WO2017094356A1 (ja) | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP2022500801A (ja) | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム | |
JP6312512B2 (ja) | 遠隔見守りシステム | |
JP2010257081A (ja) | 画像処理方法及び画像処理装置 | |
JP5419100B2 (ja) | 感覚呈示システム及び感覚呈示装置 | |
WO2020152779A1 (ja) | 高次脳機能障害用のリハビリテーションシステム及び画像処理装置 | |
JP2015181314A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011152333A (ja) | 身体技能習得支援装置および身体技能習得支援方法 | |
US20190138463A1 (en) | Information processing apparatus, information processing method, and program | |
JP7523765B2 (ja) | 練習支援装置、練習支援方法、プログラム及び練習支援システム | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
KR102152595B1 (ko) | 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 | |
JP2021173823A (ja) | 練習支援装置、練習支援方法、プログラム及び練習支援システム | |
JP7262763B2 (ja) | リハビリ支援装置、及びプログラム | |
JP4217661B2 (ja) | 画像処理方法、画像処理装置 |