JP7237316B2 - 職業訓練装置 - Google Patents

職業訓練装置 Download PDF

Info

Publication number
JP7237316B2
JP7237316B2 JP2020153409A JP2020153409A JP7237316B2 JP 7237316 B2 JP7237316 B2 JP 7237316B2 JP 2020153409 A JP2020153409 A JP 2020153409A JP 2020153409 A JP2020153409 A JP 2020153409A JP 7237316 B2 JP7237316 B2 JP 7237316B2
Authority
JP
Japan
Prior art keywords
user
evaluation
virtual space
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020153409A
Other languages
English (en)
Other versions
JP2022047565A (ja
Inventor
俊之 波多間
健司 林
智幸 高野
裕輝 石原
Original Assignee
株式会社ビーライズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ビーライズ filed Critical 株式会社ビーライズ
Priority to JP2020153409A priority Critical patent/JP7237316B2/ja
Publication of JP2022047565A publication Critical patent/JP2022047565A/ja
Application granted granted Critical
Publication of JP7237316B2 publication Critical patent/JP7237316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、仮想空間を利用して職業の訓練を可能にする職業訓練装置に関する。
近年、バーチャルリアリティー(VR)技術が一般にも浸透してきており、例えば家庭用ゲーム機等でもVR体験が可能になっている。このVRの技術を利用して、実際の現場に行くことなく、職業体験や職業訓練を行う装置が知られている(例えば、特許文献1~3参照)。
特許文献1には、様々な職業を体験可能にする職業体験施設をVR技術で仮想空間に構成し、利用者に様々な職業を擬似体験させる装置が開示されている。
特許文献2には、職業訓練の対象となる事象をVR技術で仮想空間に擬似的に再現し、所定の訓練シナリオに基づいて様々なシミュレーションを実行する装置が開示されている。
特許文献3には、仮想設備をVR技術で仮想空間に構成し、利用者が保持するデバイスの情報に基づいて仮想空間における利用者のアクションを認識し、アクションの認識結果から利用者の評価を行う装置が開示されている。利用者の評価は、所定の作業が終了したか否か、アクションの実行方向と仮想設備との位置関係、利用者の姿勢や所作等に基づいて行われる。
特開2003-67472号公報 特開2006-72193号公報 特開2019-197165号公報
ところで、企業で人を採用する時に、その人が採用職種に対してどの程度適しているのかを事前に判断するべく、採用試験が実施されている。しかし、採用試験だけでその人の適性を判断することは難しく、採用後、実際に現場で作業にあたらせた段階で適性が無いと判断される場合がある。
また、就職する時に、本人が応募職種に対する適性を知るために、適性診断を受けることがある。しかし、適性試験だけで本人の適性を判断することは難しく、就職後、実際に現場で作業にあたった段階で適性が無いと分かる場合がある。
また、そもそも、その職業に適しているか否かを判断すること自体が難しく、明確な基準を作るのは困難であった。例えば、本人はその職業に対する適性がないと思っていても、他の者から見ると適性があると判断される場合があり得る。反対に、本人はその職業に対する適性があると思っているのに、他の者から見ると適性がないと判断されたり、また別の者から見ると適性があると判断されることもあり、適性の判断には属人性がある。
そこで、例えば特許文献1~3に開示されているようなVR技術を利用して仮想空間で職業を体験させることによってその職業に対する適性を判断することが考えられる。
ところが、特許文献1に開示されている装置では、様々な職業を体験可能にすることが目的となっており、様々な職業を体験するだけで終わるので、適性を判断するには至らない。
また、特許文献2に開示されている装置で実行される訓練シナリオはヒューマンエラーを誘発するトラップを持っており、この訓練シナリオを実行することで職業の適性を判断することができるものではない。
さらに、特許文献3では、利用者の評価を、作業の終了、アクションの位置、利用者の姿勢や所作等に基づいて行っているが、これは自身の作業の理解度を客観的に見るためのものであり、適性を判断することができるものではない。
職業に対する適性を判断する際に、作業のスピード、正確性等は試験等である程度の判断が可能であるが、特に、作業の丁寧さについては試験等で判断することは難しい。丁寧さは作業を行う上で重要な項目であり、職種に応じて、例えば丁寧な作業が最優先される場面があったり、丁寧さよりもスピードが優先される場面があったり、適度な丁寧さが要求される場合があったりする。ところが、丁寧さに関する評価を適切にかつ客観的に行える職業訓練装置は存在しなかった。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、丁寧さに関する評価を適切にかつ客観的に行える職業訓練装置を提供することにある。
上記目的を達成するために、第1の発明は、仮想空間で職業の訓練を可能にする職業訓練装置において、職業訓練を行うための仮想空間画像を表示する仮想空間表示部と、物を取り扱う職業の現場を再現し、前記職業訓練装置の利用者に物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を前記仮想空間表示部に表示させる表示制御部と、前記作業時における前記利用者の動作に関する情報として前記利用者の手の加速度、位置、角度及び目標位置に対する相対的な距離を取得する取得部と、前記利用者が前記物を取り扱うときに前記取得部により取得された前記動作に関する情報を利用し、前記仮想空間における前記物と前記物の受け渡し先との位置関係に基づいて、前記物と前記物の受け渡し先との相対的な距離が近いほど丁寧な動作であると判定するとともに、前記物が前記物の受け渡し先に近くなるほど前記物の移動速度を低下させた場合には丁寧な動作であると判定する評価部と、前記評価部で評価された評価結果を表示する結果表示部とを備えている
この構成によれば、利用者は、物を取り扱う職業の現場が再現された仮想空間画像を見ることができ、この仮想空間画像により、物を取り扱う作業を仮想的に実行することができ、これにより、職業訓練を実行することができるとともに、職業を擬似体験することができる。職業訓練及び擬似体験中、利用者が物を取り扱うときには、利用者の動作に関する情報が取得部により取得される。利用者の動作に関する情報としては、動作の速度、速度の変化(加速度)、目標位置に対する相対的な距離等が含まれる。評価部は、取得された動作に関する情報に基づいて利用者の丁寧さを評価する。例えば物を動かし始めたときにゆっくりとした動作であれば丁寧であると評価でき、反対に物を動かし始めたときに速い動作であれば丁寧でないと評価できる。物を動かし終わるときも同様に評価できる。利用者の動作に関する情報を利用しているので、丁寧さの評価の際に属人性が排除されて公平でかつ適切な評価結果を得ることができる。得られた評価結果は結果表示部に表示されるので、利用者はもちろん、利用者以外の者も利用者の丁寧さの評価結果を把握できる。
また、利用者の手の加速度、位置及び角度に基づくことで、利用者の丁寧さを的確に評価できる。
また、前記表示制御部は、前記利用者に、器具を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を前記仮想空間表示部に表示させ、前記評価部は、前記利用者が前記器具を取り扱うときに前記取得部により取得された前記前記利用者の手の加速度、位置、角度及び目標位置に対する相対的な距離に基づいて前記利用者の丁寧さを評価する。
この構成によれば、各種器具を取り扱う職業を訓練できる。器具を取り扱う職業としては、例えば飲食業があるが、これに限られるものではなく、例えば製造業や土木工事等であってもよい。これらの業種では、器具を使用することが多く、器具の取り扱いにも丁寧さが要求される場面が多いので、器具を取り扱うときに取得された動作に関する情報に基づくことで、利用者の丁寧さを的確に評価できる。器具は、例えば調理器具、電動ドライバー、各種作業器具等を挙げることができるが、これらに限定されるものではない。
また、前記表示制御部は、前記利用者に飲食物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を前記仮想空間表示部に表示させ、前記評価部は、前記利用者が前記飲食物を取り扱うときに前記取得部により取得された前記前記利用者の手の加速度、位置、角度及び目標位置に対する相対的な距離に基づいて前記利用者の丁寧さを評価する。
すなわち、飲食物を取り扱う際には、その動かし方によって容器から飲食物がこぼれたり、形が崩れるといった事象が起こり得る。このような事象が生じ得る環境下で取得された動作に関する情報に基づくことで、利用者の丁寧さを的確に評価できる。
また、前記表示制御部は、荷物を取り扱う職業の現場を再現し、前記利用者に前記荷物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を前記仮想空間表示部に表示させ、前記評価部は、前記利用者が前記荷物を取り扱うときに前記取得部により取得された前記前記利用者の手の加速度、位置、角度及び目標位置に対する相対的な距離に基づいて前記利用者の丁寧さを評価する。
この構成によれば、荷物を取り扱う職業を訓練できる。荷物を取り扱う職業では、例えば壊れやすい物等のように荷物の種類によって丁寧さが要求される場面が多いので、荷物を取り扱うときに取得された動作に関する情報に基づくことで、利用者の丁寧さを的確に評価できる。また、丁寧さがあまり要求されない荷物も存在しており、そのような荷物の場合には丁寧さよりもスピードを重視した動作がなされているか否かを評価することもできる。
の発明は、前記評価部は、所定の判定基準に基づいて丁寧さを判定し、前記利用者が取り扱う物に応じて前記判定基準を変更する。
一般的に、各種職業では、丁寧さが最優先される物を取り扱う場合と、丁寧さがそれほど要求されない物を取り扱う場合とがある。前者の場合、丁寧さの判定基準としての閾値を高めておく一方、後者の場合、前者の場合よりも閾値を低くすることで、場面に応じた丁寧さの評価が可能になる。
本発明によれば、利用者に物を取り扱わせる作業を仮想的に実行可能にし、利用者が物を取り扱うときに取得された動作に関する情報に基づいて利用者の丁寧さを適切にかつ客観的に行うことができる。
本発明の実施形態に係る職業訓練装置の使用状態を説明する図である。 職業訓練装置のブロック図である。 職業選択の手順を示すフローチャートである。 スイーツショップステージが選択された場合の評価手順を示すフローチャートである。 スイーツショップの店内を仮想的に表示した場合を示す模式図である。 スイーツショップの店内に表示される注文リストの一例を示す図である。 空港ソーティングステージが選択された場合の評価手順を示すフローチャートである。 空港ソーティングの現場を仮想的に表示した場合を示す模式図である。 発送レーン上の表示の表示の一例を示す図である。 発送荷物の伝票の一例を示す図である。 RPGショップが選択された場合の評価手順を示すフローチャートである。 RPGショップの店内を仮想的に表示した場合を示す模式図である。 RPGショップの店内に表示される注文リストの一例を示す図である。 結果表示用ユーザーインターフェース画面の一例を示す図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
図1は、本発明の実施形態に係る職業訓練装置1の使用状態を説明する図である。職業訓練装置1は、バーチャルリアリティー(VR)技術を利用した仮想空間で各種職業の訓練及び疑似体験を可能にする装置である。職業訓練装置1の利用者Aとしては、例えば就職前の者、就職後の者、学生等を挙げることができ、例えば子供が利用者Aとなることもでき、利用者Aは特に限定されるものではない。
職業訓練装置1は、コンピュータ10と、ヘッドマウントディスプレイ(以下、HMDという)2と、右側コントローラ3と、左側コントローラ4とを備えている。HMD2は、職業訓練及び疑似体験を行うための仮想空間画像を表示する仮想空間表示部である。HMD2、右側コントローラ3及び左側コントローラ4は、例えば上記特許文献に記載された各種訓練の分野や、ゲーム等の分野において従来から用いられている周知の機器であり、汎用品であってもよいし、専用品であってもよい。この実施形態では、Facebook社のOculus Questを使用している。右側コントローラ3及び左側コントローラ4は、例えば手を入れることが可能なグローブ型(手袋型)であってもよく、その形状や構造や問わない。
HMD2は、利用者Aの頭部に装着可能に構成されており、装着状態で利用者Aの目の前に配置される液晶パネルや有機EL(Electro-Luminescence)パネル等からなる表示スクリーン2aを備えている。表示スクリーン2aは、後述するコンピュータ10の表示制御部20によって制御されて利用者Aの目の前に仮想空間画像を表示する。表示制御部20はHMD2に内蔵されていてもよい。仮想空間の表示技術は従来から周知の技術(上記特許文献等に開示されている技術)を適用すればよいので、詳細な説明は省略する。また、HMD2は、利用者Aの左右の耳に対応する部分にスピーカ2bがそれぞれ設けられている。スピーカ2bは後述するコンピュータ10によって制御することができる。さらに、HMD2には、図示しないが右側コントローラ3及び左側コントローラ4の位置を検出するトラッキングカメラも内蔵されている。
右側コントローラ3及び左側コントローラ4は、それぞれ利用者Aの右手及び左手に装着可能に構成されている。右側コントローラ3及び左側コントローラ4の構造や機能は同じであり、形状が左右対称になっているだけである。右側コントローラ3及び左側コントローラ4は、例えば6自由度のコントローラであり、加速度センサや利用者Aの指で操作可能なスイッチ等を有している。
右側コントローラ3及び左側コントローラ4に内蔵されている加速度センサや、HMD2のトラッキングカメラによって右側コントローラ3及び左側コントローラ4の加速度や位置、角度、速度、角速度等を取得する取得部5が構成されている。右側コントローラ3の加速度や位置、角度、速度、角速度等は、利用者Aの右手の加速度や位置、角度、速度、角速度等と略同じであり、また、左側コントローラ4の加速度や位置、角度、速度、角速度等は、利用者Aの左手の加速度や位置、角度、速度、角速度等と略同じである。手の加速度や位置、角度、速度、角速度等は、利用者Aの動作に関する情報であり、略リアルタイムに取得されて更新される。また、右側コントローラ3及び左側コントローラ4の加速度や位置に基づいて、利用者Aの右手及び左手の速度を算出することもでき、これも利用者Aの動作に関する情報である。また、側コントローラ3及び左側コントローラ4の速度から利用者Aの右手及び左手の加速度を算出することができる。さらに、右側コントローラ3及び左側コントローラ4の角速度から利用者Aの右手及び左手の角速度も算出できる。
取得部5の構成は上述した構成に限られるものではなく、従来から周知の各種位置検出方法や加速度検出方法、角速度検出方法に基づいて利用者Aの右手及び左手の位置、角度、速度、角速度等を取得することができる。
コンピュータ10は、デスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末、スマートフォン等であってもよい。この実施形態では、コンピュータ10がデスクトップ型パーソナルコンピュータである場合について説明する。また、後述するコンピュータ10の各機能のうち一部または全部がHMD2に内蔵されていてもよい。
図2に示すように、コンピュータ10は、本体部11と、ディスプレイ12と、キーボード13と、マウス14と、記憶部15とを備えている。本体部11には、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、通信モジュール24等が内蔵されており、この実施形態では、SSD(Solid State Drive)やハードディスクドライブ等からなる記憶部15も内蔵されている。記憶部15は、本体部11とは別体であってもよく、例えばHMD2に内蔵されていてもよい。
ディスプレイ12には、各種設定画面や、HMD2に表示されている画像等を表示させることができる。キーボード13やマウス14は、本体部11を操作するためのデバイスであり、各種設定等を行う際に使用される。記憶部15には、本体部11を動作させるためのプログラムや、後述する評価結果等を記憶することができる。
尚、ノート型パーソナルコンピュータの場合、本体部11、ディスプレイ12、キーボード13、マウス14及び記憶部15が一体化されることになる。また、タブレット端末、スマートフォンの場合、キーボード13及びマウス14の代わりにタッチパネル式の操作デバイスが設けられているが、キーボード13及びマウス14と同様な操作が可能になっている。
本体部11は、上記通信モジュール24の他に、表示制御部20、アクション認識部21、評価部22及び結果表示画像生成部23も有している。表示制御部20、アクション認識部21、評価部22及び結果表示画像生成部23は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよいし、ハードウェアとソフトウェアの組み合わせで構成されていてもよい。また、本体部11側で右側コントローラ3及び左側コントローラ4の位置を取得できる場合には、取得部5の一部が本体部11に内蔵されていてもよい。
本体部11と、HMD2とは通信モジュール24を介して近距離通信が可能に構成されている。通信モジュール24によって画像データや音声データをHMD2に送信できる。本体部11と、HMD2との通信形態は、無線通信であってもよいし、有線通信であってもよい。
また、本体部11と、右側コントローラ3及び左側コントローラ4は、通信モジュール24を介して近距離通信が可能に構成されている。右側コントローラ3及び左側コントローラ4が有するスイッチの操作状態が本体部11に出力される。尚、右側コントローラ3及び左側コントローラ4と、HMD2とを通信可能にし、HMD2を介して右側コントローラ3及び左側コントローラ4のスイッチの操作状態を本体部11に出力してもよい。この場合の通信形態は、無線通信であってもよいし、有線通信であってもよい。
表示制御部20は、仮想空間画像をHMD2に表示させる部分であり、この実施形態では本体部11に設けられているが、HMD2と一体化されていてもよい。仮想空間画像の具体例については後述するが、物を取り扱う職業の現場を再現した画像であり、その画像を利用者Aに見せ、利用者Aに物を取り扱わせる作業を仮想的に実行可能にする画像である。職業の現場は、第1の職業の現場、第2の職業の現場、第3の職業の現場を含んでおり、これらは全て異なる職業とすることができる。例えば、第1の職業は、飲食物を取り扱う職業(飲食店の職業)とすることができ、例えば喫茶店、レストラン、ファーストフード店、屋台等を挙げることができる。第2の職業は、荷物を取り扱う職業とすることができ、例えば、運送会社の荷役、空港における荷役、各種配達所の荷役、会社内の荷役等を挙げることができる。これら職業を運送業の一部と呼ぶこともできる。第3の職業は、例えば実在しない職業とすることができ、あるゲーム内の職業や、仮想の職業等を挙げることができる。
アクション認識部21には、取得部5で取得された利用者Aの動作に関する情報が入力される。アクション認識部21は、利用者Aの動作に関する情報に基づいて利用者Aがどのような動作を行ったかを推測する。例えば、右側コントローラ3が持ち上げられたら利用者Aが右手を挙げたと、右側コントローラ3が下げられたら利用者Aが右手を下げたと、アクション認識部21が認識する。その他にも、右側コントローラ3及び左側コントローラ4の位置情報等に基づいて、利用者Aの左右の手の姿勢や位置、移動速度を認識できるとともに、利用者Aの体の位置や移動速度等も認識することができる。この認識手法は従来から周知の手法を用いることができる。
評価部22は、第1評価部22aと、第2評価部22bと、第3評価部22cと、総合評価部22dとを有している。詳細は後述するが、第1評価部22aは、上記第1の職業の現場で利用者Aが物を取り扱うときに取得部5により取得された利用者Aの動作に関する情報に基づいて利用者Aの丁寧さを評価する部分である。また、第2評価部22bは、上記第2の職業の現場で利用者Aが物を取り扱うときに取得部5により取得された利用者Aの動作に関する情報に基づいて利用者Aの丁寧さを評価する部分である。また、第3評価部22cは、上記第3の職業の現場で利用者Aが物を取り扱うときに取得部5により取得された利用者Aの動作に関する情報に基づいて利用者Aの丁寧さを評価する部分である。
(第1評価部22a)
第1評価部22aは、飲食店で食品を調理器具で掴んで運ぶピッキング動作と、飲食物を盛り付ける盛り付け動作と、調理器具を扱う動作の3種類の動作にて丁寧さを評価する。尚、飲食物、容器、道具等は、全て仮想空間に立体的に表示される仮想的なものであり、利用者Aが視認可能なオブジェクトと呼ぶこともできる。また、オブジェクトには、電子レンジやオーブン、コンロのような加熱用調理器具が含まれていてもよい。加熱用調理器具を取り扱うときの利用者の手の加速度、位置、速度、角速度等に基づいて、利用者の丁寧さを評価することができる。例えば、電子レンジやオーブンの扉の開け閉め時にゆっくりと操作する場合には丁寧であると評価し、扉の開け閉めの速度が所定以上に速いと丁寧でないと評価する。
また、食品を客に渡すときや、客のテーブルに出すときの利用者の手の加速度、位置、速度、角速度等に基づいて、利用者の丁寧さを評価することもできる。食品を客にゆっくりと渡す場合には丁寧であると評価し、食品を渡す際の速度が所定以上に速いと丁寧でないと評価する。
また、例えば注文を受けるためのタブレット端末や受注専用端末を操作するときの利用者の手の加速度、位置、速度、角速度等に基づいて、利用者の丁寧さを評価することもできる。端末の操作時に強く端末を叩くような動作の場合、丁寧でないと評価する。
以下、第1評価部22aによる具体的な評価手法について説明する。
1.ピッキング動作時における丁寧さの評価
飲食物を入れる食器を取り扱うときの取り扱い方によって利用者Aの丁寧さを評価する。飲食物を入れる前の空の食器を取り扱う時には、その容器の受け渡し先(場所または人)、コントローラ3、4の加速度、角度、速度、角速度、コントローラ3、4の位置情報等を用いて丁寧さを評価する。飲食物が入った食器を取り扱う時には、その容器の受け渡し先、コントローラ3、4の加速度、角度、速度、角速度、コントローラ3、4の位置情報に加えて、容器の角度を用いて判定する。容器の角度は、コントローラ3、4の角度から求めることができる。尚、容器を仮想空間で利用者Aが把持する操作は、コントローラ3、4のボタン操作で行うことができる。例えば、コントローラ3、4のボタンが押されると、その動作が把持動作であるとして、仮想空間上で仮想の利用者Aが仮想の容器を把持する。また、把持した容器を利用者Aが放す動作も、コントローラ3、4のボタン操作で行うことができる。例えば、コントローラ3、4のボタンから指が放されると、その動作が放す動作であるとして、仮想空間上で仮想の利用者Aが仮想の容器を放す。
コントローラ3、4の加速度や速度によって把持された容器の加速度や速度を求めることができる。容器を所定の判定値(閾値)未満の加速度及び速度で動かすと丁寧な動作であると判定するが、判定値を超えて速く動かすと丁寧でないと判定する。また、容器の傾斜角度についても判定値を設けておき、容器の傾斜角度が判定値未満であれば丁寧な動作であると判定するが、判定値を超えて傾けると丁寧でないと判定する。このとき、角速度も同様に判定値として利用することができる。
上記加速度および角度の判定値は、変更することが可能である。例えば、こぼれたり崩れやすい飲食物(ジュース、コーヒー、酒、シチュー、カレーや生クリーム等)と、こぼれたり崩れにくい飲食物(おにぎり、煮物、パン等)によって判定値を変えてもよい。こぼれたり崩れやすい飲食物が容器に入っている場合には、こぼれたり崩れにくい飲食物が容器に入っていない場合に比べて、加速度及び速度の判定値を低くする。容器を速く動かすと飲食物がこぼれてしまうからである。こぼれたり崩れやすい飲食物が容器に入っている場合には、こぼれたり崩れにくい飲食物が容器に入っていない場合に比べて、容器の傾斜角度の判定値を鉛直に近い判定値にする。容器を傾斜させると飲食物がこぼれてしまうからである。
2.盛り付け動作
容器に食品を盛り付ける動作によっても丁寧さを評価する。すなわち、利用者Aに飲食物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を表示制御部20が生成し、HMD2に表示させ、第1評価部22aは、利用者Aが飲食物を取り扱うときに取得部5により取得された動作に関する情報に基づいて利用者Aの丁寧さを評価する。
例えば、容器に対する食品の相対的な位置が重要でない食器への盛りつけ動作(ごはんや煮物等)では、コントローラ3、4の加速度、角度、速度、角速度を用いて丁寧さを評価する。食品が容器に近づくほど食品の速度を低下させる動作を行った場合には丁寧な動作であると判定し、食品が容器に近づいても食品の速度を低下させない場合には丁寧でないと判定する。また、容器に対する食品の相対的な位置や食品同士の相対的な位置が重要な盛り付け(パフェやケーキ等)では、コントローラ3、4の加速度および角度に加えて、食品同士の相対位置情報を用いて判定したり、食品と容器との相対位置情報を用いて判定する。食品同士の相対位置が予め定められた位置関係に近いほど丁寧な動作であると判定し、予め定められた位置関係から離れるほど丁寧でないと判定する。同様に、食品と容器との相対位置についても、予め定められた位置関係に近いほど丁寧な動作であると判定し、予め定められた位置関係から離れるほど丁寧でないと判定する。尚、食品を仮想空間で利用者Aが把持する操作は、コントローラ3、4のボタン操作で行うことができる。例えば、コントローラ3、4のボタンが押されると、その動作が食品の把持動作であるとして、仮想空間上で仮想の利用者Aが仮想の食品を把持する。食品は手で把持する物であってもよいし、後述する調理器具で把持する物であってもよい。食品を放す操作は、コントローラ3、4のボタンを放す操作とすることができる。
3.調理器具を扱う動作
調理器具としては、例えばトング、箸、スプーン、おたま、しゃもじ、フォーク等を挙げることができる。調理器具は、飲食物を作るための道具であり、この場合、利用者Aに、飲食物を作るための道具を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を表示制御部20が生成し、HMD2に表示させることができる。
調理器具を取り扱う動作に基づいて丁寧さを評価することもできる。例えば、トングを把持する操作は、食器の場合と同様にコントローラ3、4のボタン操作で行うことができる。トングの場合、コントローラ3、4の加速度、速度、位置情報、食品との相対位置情報、食器との相対位置情報を用いて判定する。例えば、トングを判定値未満の加速度及び速度で動かすと丁寧な動作であると判定するが、判定値を超えて速く動かすと丁寧でないと判定する。また、トングが容器や容器内の食品に近づくほどトングの速度を低下させる動作を行った場合には丁寧な動作であると判定し、トングが容器や容器内の食品に近づいてもトングの速度を低下させない場合には丁寧でないと判定する。こぼれやすい食品を扱うスプーンやおたま、しゃもじを利用者Aが取り扱う場合、コントローラ3、4の加速度、位置情報、食品との相対位置情報、食器との相対位置情報に加えて、傾斜角度を用いて判定する。調理器具を放す操作は、コントローラ3、4のボタンを放す操作とすることができる。
(第2評価部22b)
表示制御部20は、荷物を取り扱う職業の現場を再現し、利用者Aに荷物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像をHMD2に表示させることができる。この場合、第2評価部22bは、利用者Aが荷物を取り扱うときに取得部5により取得された動作に関する情報に基づいて利用者Aの丁寧さを評価する。
例えば、荷物を取り扱う職業(例えば運送業)での丁寧さを評価することが可能であり、具体的には、荷物を運ぶピッキング動作で丁寧さを評価する。尚、荷物は、仮想空間に立体的に表示される仮想的なものであり、利用者Aが視認可能なオブジェクトと呼ぶこともできる。
以下、第2評価部22bによる具体的な評価手法について説明する。
例えば運送業では、頑丈なダンボールに入った荷物、壊れ物表示がされたダンボールに入った荷物、天地無用の表示がされたダンボールに入った荷物等を仮想的に取り扱うものとし、これら仮想的な荷物を表示制御部20が生成し、ランダムに、または所定の順番にHMD2に表示させる。
頑丈なダンボールと、壊れ物表示があるダンボールでは、搬送先、加速度、角度、速度、角速度、位置情報を用いて丁寧さを判定する。複数の搬送先の中から予め決められた搬送先に間違いなく運んだ場合には丁寧な動作であると判定し、誤った搬送先に運んだ場合には丁寧でないと評価する。壊れ物表示があるダンボールを取り扱う場合、頑丈なダンボールを取り扱う場合に比べて加速度の判定値を低くする。壊れ物表示があるダンボールを頑丈なダンボールに比べてゆっくりと移動させた場合には、丁寧な動作であると判定するが、両者を同等の速度で移動させた場合には、丁寧でないと評価する。
天地無用の表示があるダンボールでは、搬送先、加速度、位置情報に加えて、角度を用いて判定する。
(第3評価部22c)
表示制御部20は、あるゲーム内の職業の現場を再現し、利用者Aに品物(商品)を取り扱わせる作業を仮想的に実行可能にする仮想空間画像をHMD2に表示させることができる。この場合、第3評価部22cは、利用者Aが商品を取り扱うときに取得部5により取得された動作に関する情報に基づいて利用者Aの丁寧さを評価する。
すなわち、ゲーム内のみに存在する職業で利用者Aの丁寧さを評価することが可能であり、具体的には商品を運ぶピッキング動作で丁寧さを評価する。尚、商品は、仮想空間に立体的に表示される仮想的なものであり、利用者Aが視認可能なオブジェクトと呼ぶこともできる。
以下、第3評価部22cによる具体的な評価手法について説明する。例えば、ロールプレイングゲーム内の商店における販売者を利用者Aが演じる場面で丁寧さを評価することができる。注文された商品を間違うことなく選択して販売した場合には、丁寧な動作であると判定し、誤った商品を選択して販売した場合には、丁寧でないと評価する。商品の数についても、注文された数だけ提供した場合には、丁寧な動作であると判定し、誤った数を提供した場合には、丁寧でないと評価する。
(総合評価部22d)
総合評価部22dは、第1評価部22a、第2評価部22b及び第3評価部22cの評価結果をまとめて利用者Aの丁寧さを最終的に評価する部分である。例えば、第1評価部22aによる評価結果が良くても、第2評価部22b及び第3評価部22cの評価結果が悪ければ、総合評価としては悪いと評価する。また、第1評価部22a、第2評価部22b及び第3評価部22cの評価結果のうち、任意の評価結果に重み付けをし、その評価結果を重視した総合評価結果を生成することもできる。例えば、第1評価部22aによる評価結果に重み付けした場合、第2評価部22b及び第3評価部22cの評価結果が悪くても、総合評価としては良いと評価する。上述した総合評価結果を生成することなく、第1評価部22a、第2評価部22b及び第3評価部22cの評価結果をそのまま提示してもよい。また、第1評価部22a、第2評価部22b及び第3評価部22cの評価結果のうち、任意の1つのみまたは2つのみを提示してもよい。
評価結果は、例えばA、B、Cのようなランク評価であってもよいし、0~100点のような点数評価であってもよい。
(結果表示画像生成部23)
結果表示画像生成部23は、利用者Aの識別情報(例えば名前)、第1評価部22a、第2評価部22b及び第3評価部22cの評価結果、総合評価結果等を一覧形式で表示するユーザーインターフェース画面を生成する部分である。結果表示画像生成部23で生成された画面は、ディスプレイ12に表示される。
(丁寧さの評価手順)
次に、上記のように構成された職業訓練装置1を利用して利用者Aの丁寧さを評価する手順の具体例を説明する。図3は、丁寧さの評価手順を示すフローチャートである。このフローチャートは、職業訓練装置1のアプリケーションを立ち上げるか、所定の開始操作を行うことによってスタートする。
スタート後のステップSA1では、本体部11が選択画像をHMD2に表示させる。選択画像は、第1の職業の現場、第2の職業の現場及び第3の職業の現場の名称やアイコン等を表示する画像である。本例では、第1の職業が飲食物を取り扱う職業であるので、その現場としてスイーツショップステージとし、また、第2の職業が荷物を取り扱う職業であるので、その現場として空港ソーティングステージとし、また、第3の職業が実在しない職業であるので、その現場としてRPG(ロールプレイングゲーム)ショップとする。これら3つのアイコンのうち、どのアイコンを選択するかは、利用者Aの右側コントローラ3または左側コントローラ4の操作状態を検出することによって可能である。例えば、アイコンを指すポインタのようなオブジェクトをHMD2に表示させ、このオブジェクトを右側コントローラ3または左側コントローラ4で操作可能にしておくことができる。アクション認識部21で右側コントローラ3または左側コントローラ4の操作状態を検出することで、ポインタが指しているアイコンを特定できる。選択操作は、右側コントローラ3または左側コントローラ4のボタンで実行することもできる。
利用者Aによる選択操作が行われると、ステップSA2に進み、選択操作が本体部11によって受け付けられる。スイーツショップステージが選択された場合にはステップSA3に進み、空港ソーティングステージが選択された場合にはステップSA4に進み、RPGショップステージが選択された場合にはステップSA5に進む。
また、例えば、図3に示すフローチャートのステップSA1の選択画像中に終了アイコンを設けておき、この終了アイコンの操作によって職業訓練を終了するようにしてもよい。
ステップSA3に進むと、図4に示すフローチャートのステップSB1に進む。ステップSB1では、スイーツショップステージで丁寧さの評価を行う前に操作の練習を行うか否かの選択を受け付ける。この選択は、上記選択操作と同様に、利用者Aが右側コントローラ3または左側コントローラ4を操作することで実行できる。
ステップSB1でYESと判定されて利用者Aが練習を選択した場合にはステップSB2に進み、ナレーションをHMD2に表示させるとともに、例えば容器やトングを掴む操作、食品の盛り付け操作等を1回ずつ練習させる。
ステップSB1でNOと判定された場合、及びステップSB2を経た後、ステップSB3に進む。ステップSB3では、利用者Aのスタート操作を待つ。スタート操作は、上記選択操作と同様に、利用者Aが右側コントローラ3または左側コントローラ4を操作することで実行できる。
本体部11は、スタート操作がなされたことを検出すると、表示制御部20に図5Aに示すようなスイーツショップの店内50を仮想的に表示した画像を生成してHMD2に表示させる。この図5Aは、スイーツショップの店内50を上方から見た場合を模式的に示しており、このスイーツショップでは、仮想的な客Bから注文されたパフェを作って提供する。スイーツショップの店内50には、壁面51とドア52とが設けられている。また、カウンター53、カウンター53上のマット53a、注文票53bが設けられるとともに、パフェの作り方が表示される作り方表示パネル54と、注文リストが表示される注文リスト表示パネル55とが設けられている。さらに、食器が置いてある食器棚56、パフェのベースとなる複数種の具材が収容されたベース具材収容箱57、スプーンが収容されたスプーン収容箱57a、パフェに使用される複数種のアイスクリームが収容されたアイスクリーム収容箱58、デッィシャーが収容されたデッィシャー収容箱58a、パフェに使用される複数種のソースが収容されたソース収容箱59、パフェに使用される複数種のトッピングが収容されたトッピング収容箱60、トングが収容されたトング収容箱61が設けられている。利用者Aも店内50に仮想的に表示される。利用者Aの両手も仮想的に表示され、右側コントローラ3及び左側コントローラ4を動かすと、店内50の利用者Aの手もそれに応じて動くようになっている。
図5Bは、注文リスト表示パネル55に表示される注文リストの表示例を示す図である。注文リスト表示パネル55には、商品のアイコン、商品名、注文数、ピッキング数(提供したパフェの数)等が表示される。
図4に示すスローチャートのステップSB4~SB8が職業訓練フロー及び丁寧さの判定フローである。ステップSB4では、図5Aに示すように客Bがドア52から入り、カウンター53の前まで移動してくるとともに、商品であるパフェを注文する。注文されたパフェは注文リスト表示パネル55に表示され、注文されたパフェの作り方は作り方表示パネル54に表示される。これらの仮想的な画像は、全て表示制御部20が生成してHMD2に表示させる。以後、同様である。また、スピーカ2bから効果音やBGM等の音楽等を流してもよい。
ステップSB5では、注文されたパフェを作る。利用者Aは、仮想空間内で作り方表示パネル54を見ながら、右側コントローラ3及び左側コントローラ4を動かす。まず、食器棚56に並べておいてある複数の食器の中から1つの食器(容器、専用グラス等)を把持する。その後、スプーン収容箱57aに収容されているスプーンを把持し、ベース具材収容箱57に収容された所望の具材をすくう動作を行い、すくった具材を食器に入れる動作を行う。スプーンはスプーン収容箱57aに戻す。
次いで、デッィシャー収容箱58aに収容されているデッィシャーを把持し、アイスクリーム収容箱58に収容された所望のアイスクリームをすくう動作を行い、すくったアイスクリームを食器に入れる動作を行う。デッィシャーはデッィシャー収容箱58aに戻す。
そして、ソース収容箱59から所望のソースが入った入れ物を把持して容器内の食材にかける動作を行った後、トング収容箱61に収容されているトングを把持し、トッピング収容箱60に収容された所望のトッピングを掴んで食器に入れる動作を行う。
どこになる何が把持されたかは右側コントローラ3及び左側コントローラ4の操作状態を検出することで認識可能である。また、ステップSB5の各手順が実行されたか否かは右側コントローラ3及び左側コントローラ4の操作状態を検出することで判定できる。ステップSB5の各手順が実行されているとき、利用者Aの丁寧さも評価される。ステップSB5の各手順が実行されると、ステップSB6に進む。ステップSB6では、利用者Aが作ったパフェ(注文されたパフェ)及び注文票53bをカウンター53に置く動作を行う。次に行うべき動作は仮想空間上にガイド表示されるので、利用者Aはそのガイド表示を見ながら上記動作を行うことができる。
ステップSB7では、ステップSB6で置かれたパフェが正しく作られたパフェであるか否かを判定する。例えば食材が指定された食材でない場合には、ステップSB7でNOと判定されてステップSB5に戻る。パフェが正しく作られたパフェである場合にはステップSB8に進み、この職業訓練で獲得したスコアを加点し、客Bが退店する。
ステップSB4が開始されてからタイマーがスタートするようになっており、経過時間が仮想空間に表示される。ステップSB9では、経過時間が所定時間(制限時間)を超えると、途中であっても訓練が終了する。
ステップSB10では訓練結果や丁寧さの評価結果の表示画面を結果表示画像生成部23が生成し、ディスプレイ12に表示させる。ステップSB11では、ランキング表示を行う。訓練結果としては、正しく作られたパフェの数が多いほど良い結果となるようにしたり、丁寧さの評価が高いほど良い結果となるようにすることができる。また、訓練の途中で、スプーン等の調理器具を落としたり、食材を落とした場合には訓練結果を悪くする。訓練結果や丁寧さの評価結果は点数で表示することもできる。また、ランキング表示では、これまで職業訓練装置1を利用した利用者Aが複数いる場合に、全利用者中、何位であるかを表示する。
ステップSB12では、利用者Aの名前を入力する。名前が入力されると、訓練結果及び丁寧さの評価結果が名前を関連付けられて記憶部15に記憶される。ステップSB13の後、図3に示すフローチャートのステップSA1に進む。
図3に示すフローチャートのステップSA4に進んで空港ソーティングステージが選択された場合には、図6に示すフローチャートのステップSC1に進む。ステップSC1~SC3は、図4に示すフローチャートのステップSB1~SB3と同じである。
ステップSC4では、本体部11が、スタート操作がなされたことを検出すると、表示制御部20に図7Aに示すような空港ソーティングの現場70を仮想的に表示した画像を生成してHMD2に表示させる。この図7Aは、空港ソーティングの現場70を上方から見た場合を模式的に示しており、この空港ソーティングの現場70には、仕訳対象の荷物が複数流れてくる到着レーン71、到着レーン71上の荷物が入ったボックス71a、第1発送レーン72、第2発送レーン73、第3発送レーン74、第4発送レーン75、情報表示パネル76が設けられている。第1発送レーン72、第2発送レーン73、第3発送レーン74、第4発送レーン75は行き先が異なっている。また、第1発送レーン72の上には第1表示器72a、第2発送レーン73の上には第2表示器73a、第3発送レーン74の上には第3表示器74a、第4発送レーン75の上には第4表示器75aが設けられている。各表示器72a、73a、74a、75aには、それぞれ、出発までの残り時間と、行き先を示す国旗及び国名と、航空会社名とが表示される(図7B及び図7C参照)。また、荷物には伝票が付されており、その伝票には、行き先を示す国旗及び国名と、航空会社名とが表示される。また、荷物には、壊れ物表示、天地無用の表示等が付されているものが混在しており、これらをランダムに、または所定の順番にボックス71a内に表示させる。
ステップSC4では、荷物が入ったボックス71aが到着レーン71上を流れてくる。利用者Aがボックス71a内の荷物をピッキングする。利用者Aが右側コントローラ3または左側コントローラ4のボタンを操作することで実行できる。ステップSC6では、利用者Aが荷物の伝票を見て、対応する発送レーン72~75上、即ち、伝票の国名及び航空会社名と、表示器72a、73a、74a、75aの表示とが一致する発送レーン72~75に置く動作を行う。
ステップSC6では荷物が置かれた発送レーン72~75が正しいレーンであったか否かを判定する。正しいレーンであった場合には、ステップSC9にてスコアが加点される。その後、ステップSC8に進み、ボックス71a内の全荷物の発送が完了したか、及び、各発送レーン72~75がフライト時間になったかを判定する。各発送レーン72~75がフライト時間になっておらず、かつ、全荷物の発送が完了した場合には、ステップSC4に戻る。各発送レーン72~75がフライト時間になった場合には、ボックス71a内に荷物が残っていてもステップSC10に進む。
ステップSC4が開始されてからタイマーがスタートするようになっており、経過時間が仮想空間に表示される。ステップSC10では、経過時間が所定時間(制限時間)を超えると、途中であっても訓練が終了する。その後、ステップSC11~SC14に進む。ステップSC11~SC14は、図4に示すフローチャートのステップSB10~SB13と同様である。ステップSC14の後、図3に示すフローチャートのステップSA1に進む。
図3に示すフローチャートのステップSA5に進んでRPGショップステージが選択された場合には、図8に示すフローチャートのステップSD1に進む。ステップSD1~SD3は、図4に示すフローチャートのステップSB1~SB3と同じである。
ステップSD4では、本体部11が、スタート操作がなされたことを検出すると、表示制御部20に図9Aに示すようなRPGショップの店内80を仮想的に表示した画像を生成してHMD2に表示させる。この図9Aは、RPGショップの店内80を上方から見た場合を模式的に示しており、このRPGショップの店内80には、壁面81とドア82とが設けられている。また、カウンター83、カウンター83上のマット83a、注文票83bが設けられるとともに、注文リストが表示される注文リスト表示パネル84が設けられている。さらに、各種商品が収容された収容箱85、86がカウンター83の上に設置されている。注文リスト表示パネル84には、図9Bに示すように商品のアイコン、商品名、注文数、ピッキング数(提供した商品の数)等が表示される。
ステップSD4では、図9Aに示すように客Bがドア82から入り、カウンター83の前まで移動してくるとともに、商品を注文する。注文された商品は図9Bに示すように注文リスト表示パネル84に表示される。
ステップSD5では、利用者Aが注文された商品を注文された数だけピッキングする。ステップSD6では、利用者Aがピッキングした商品(注文された商品)及び注文票83bをカウンター83に置く動作を行う。
ステップSD7では、ステップSD6で置かれた商品が正しい商品であるか否かを判定する。ステップSD7では商品の個数も注文通りであるか否か判定する。例えば商品が指定された商品でない場合には、ステップSD7でNOと判定されてステップSD5に戻る。置かれた商品が正しい商品である場合にはステップSD8に進む。また、商品が指定された個数でない場合には、ステップSD7でNOと判定されてステップSD5に戻る。置かれた商品の個数が正しい個数である場合にはステップSD8に進む。商品の判定と個数の判定をAND条件としてもよい。判定後、職業訓練で獲得したスコアを加点し、客Bが退店する。
ステップSD4が開始されてからタイマーがスタートするようになっており、経過時間が仮想空間に表示される。ステップSD9では、経過時間が所定時間(制限時間)を超えると、途中であっても訓練が終了する。その後、ステップSD10~SD13に進む。ステップSD10~SD13は、図4に示すフローチャートのステップSB10~SB13と同様である。ステップSD13の後、図3に示すフローチャートのステップSA1に進む。
(結果表示)
図10は、結果表示用ユーザーインターフェース画面90の一例を示す図である。結果表示用ユーザーインターフェース画面90は、結果表示画像生成部23が生成し、ディスプレイ12に表示させる。例えば職業訓練装置1の利用者Aや管理者が結果表示操作を実行すると、結果表示画像生成部23が結果表示用ユーザーインターフェース画面90を生成してディスプレイ12に表示させることができる。
結果表示用ユーザーインターフェース画面90には、利用者Aの名前を表示する名前表示領域90a、結果を集計した期間やデータ数を表示する表示領域90bが設けられている。さらに、結果表示用ユーザーインターフェース画面90には、スイーツショップステージ、空港ソーティングステージ及びRPGショップステージごとにデータ数、プレイ時間(訓練時間)、平均スコア、丁寧さ評価等を表示する結果表示領域90cも設けられている。本発明の結果表示部は、ディスプレイ12で構成されている。結果は利用者Aにフィードバックしてもよいし、利用者Aにフィードバックしなくてもよい。
(実施形態の作用効果)
以上説明したように、この実施形態によれば、利用者Aは、物を取り扱う職業の現場が再現された仮想空間画像を見ることができ、この仮想空間画像により、物を取り扱う作業を仮想的に実行することができ、これにより、職業訓練を実行することができる。職業訓練中、利用者Aが物を取り扱うときには、利用者Aの動作に関する情報が取得部5により取得される。取得された動作に関する情報に基づいて評価部22が利用者Aの丁寧さを評価する。この評価結果は、ディスプレイ12に表示されるので、利用者Aはもちろん、利用者A以外の者も利用者Aの丁寧さの評価結果を把握できる。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
利用者の動作に関する情報を取得する取得部の例は、上述したコントローラ3、4を用いる例に限られるものではなく、いわゆるハンドトラッキングの技術を利用して利用者の動作に関する情報を取得してもよい。例えば、HMD2に内蔵されているカメラによって利用者の両手を撮像可能にしておき、撮像された画像を本体部11やHMD2に内蔵された画像処理手段によって画像処理することによって利用者の手を判別する。これにより、手の位置、姿勢、角度を取得することができるとともに、各指が伸びているか、曲がっているか、あるいはどの程度曲がっているかも情報として取得できる。手を判別する手法、及び手の位置等を取得する手法は従来から周知の手法を利用できる。
また、職業訓練装置1は、食品関連や荷役関連の業種以外にも、例えば各種製造業や土木作業時の丁寧さを評価する装置として利用することもできる。例えば電動ドライバーや各種作業機械等を仮想オブジェクトとして表示させ、これらを利用者が動かしたり、操作する際の加速度や位置、角度、速度、角速度等を利用して丁寧さを評価できる。
以上説明したように、本発明に係る職業訓練装置は、例えば物を取り扱う作業の訓練を実行する際に用いることができる。
1 職業訓練装置
2 HMD(仮想空間表示部)
5 取得部
12 ディスプレイ(結果表示部)
20 表示制御部
22 評価部

Claims (2)

  1. 仮想空間で職業の訓練を可能にする職業訓練装置において、
    職業訓練を行うための仮想空間画像を表示する仮想空間表示部と、
    物を取り扱う職業の現場を再現し、前記職業訓練装置の利用者に物を取り扱わせる作業を仮想的に実行可能にする仮想空間画像を前記仮想空間表示部に表示させる表示制御部と、
    前記作業時における前記利用者の動作に関する情報として前記利用者の手の加速度、位置、角度及び目標位置に対する相対的な距離を取得する取得部と、
    前記利用者が前記物を取り扱うときに前記取得部により取得された前記動作に関する情報を利用し、前記仮想空間における前記物と前記物の受け渡し先との位置関係に基づいて、前記物と前記物の受け渡し先との相対的な距離が近いほど丁寧な動作であると判定するとともに、前記物が前記物の受け渡し先に近くなるほど前記物の移動速度を低下させた場合には丁寧な動作であると判定する評価部と、
    前記評価部で評価された評価結果を表示する結果表示部とを備えていることを特徴とする職業訓練装置。
  2. 請求項に記載の職業訓練装置において、
    前記評価部は、所定の判定基準に基づいて丁寧さを判定し、前記利用者が取り扱う物に応じて前記判定基準を変更することを特徴とする職業訓練装置。
JP2020153409A 2020-09-14 2020-09-14 職業訓練装置 Active JP7237316B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020153409A JP7237316B2 (ja) 2020-09-14 2020-09-14 職業訓練装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020153409A JP7237316B2 (ja) 2020-09-14 2020-09-14 職業訓練装置

Publications (2)

Publication Number Publication Date
JP2022047565A JP2022047565A (ja) 2022-03-25
JP7237316B2 true JP7237316B2 (ja) 2023-03-13

Family

ID=80781117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020153409A Active JP7237316B2 (ja) 2020-09-14 2020-09-14 職業訓練装置

Country Status (1)

Country Link
JP (1) JP7237316B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191348A (ja) 2018-04-24 2019-10-31 株式会社日立産機システム シミュレーション装置およびシミュレーション方法
JP2019197165A (ja) 2018-05-10 2019-11-14 日本電気株式会社 作業訓練装置、作業訓練方法、およびプログラム
WO2020148919A1 (ja) 2019-01-17 2020-07-23 オムロン株式会社 情報処理装置、提示システム、及び情報処理プログラム
JP2020129018A (ja) 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191348A (ja) 2018-04-24 2019-10-31 株式会社日立産機システム シミュレーション装置およびシミュレーション方法
JP2019197165A (ja) 2018-05-10 2019-11-14 日本電気株式会社 作業訓練装置、作業訓練方法、およびプログラム
WO2020148919A1 (ja) 2019-01-17 2020-07-23 オムロン株式会社 情報処理装置、提示システム、及び情報処理プログラム
JP2020129018A (ja) 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法

Also Published As

Publication number Publication date
JP2022047565A (ja) 2022-03-25

Similar Documents

Publication Publication Date Title
US11117253B2 (en) Methods and systems for food preparation in a robotic cooking kitchen
US20170348854A1 (en) Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with containers and electronic minimanipulation libraries
JP7358352B2 (ja) 選択されたレシピに従って食品を自動的に調理するためのシステム及びその作動方法
JP2017536247A (ja) 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム
CN110047338A (zh) 基于虚拟现实的模拟学习方法、装置和计算机介质
CN106390416A (zh) 诊断服务器、诊断系统、诊断方法、诊断程序、记录介质
WO2013106087A1 (en) System and method for displaying recipes visually
JP7237316B2 (ja) 職業訓練装置
JP6535714B2 (ja) ゲームプログラム、方法、及び情報処理装置
Weissker et al. Holding hands for short-term group navigation in social virtual reality
US20220314091A1 (en) Information processing device, information processing method, and program
JP7078221B2 (ja) 投影システム
CN107007993A (zh) 电子设备、系统、提示方法以及记录介质
WO2020171087A1 (ja) 食品調理装置及び制御プログラム
Achberger et al. Propellerhand: A hand-mounted, propeller-based force feedback device
Balcomb et al. The Effects of Hand Representation on Experience and Performance for 3D Interactions in Virtual Reality Games
US20210394365A1 (en) Information processing apparatus, information processing method, and information processing program
JP2019051419A (ja) ゲームプログラム、方法、及び情報処理装置
WO2018069984A1 (ja) 生成プログラム、生成方法および生成装置
WO2024157961A1 (ja) 仮想環境提供装置、方法、およびプログラム
CN106975212A (zh) 电子设备、系统、分析方法以及记录介质
Arunkumar et al. Low-cost virtual reality game for upper limb rehabilitation using kinect and p5 glove
JP2016214605A (ja) 茶道技術支援システム
CN115885239A (zh) 信息处理装置、触感提供系统和程序
KR101536617B1 (ko) 요리 강습용 패키지

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R150 Certificate of patent or registration of utility model

Ref document number: 7237316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531