JP7082384B1 - 学習システム及び学習方法 - Google Patents

学習システム及び学習方法 Download PDF

Info

Publication number
JP7082384B1
JP7082384B1 JP2021090361A JP2021090361A JP7082384B1 JP 7082384 B1 JP7082384 B1 JP 7082384B1 JP 2021090361 A JP2021090361 A JP 2021090361A JP 2021090361 A JP2021090361 A JP 2021090361A JP 7082384 B1 JP7082384 B1 JP 7082384B1
Authority
JP
Japan
Prior art keywords
learning
learner
exercise
learning program
glass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021090361A
Other languages
English (en)
Other versions
JP2022182673A (ja
Inventor
浩平 田仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Society50
Original Assignee
Society50
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Society50 filed Critical Society50
Priority to JP2021090361A priority Critical patent/JP7082384B1/ja
Priority to US17/826,407 priority patent/US20220392361A1/en
Application granted granted Critical
Publication of JP7082384B1 publication Critical patent/JP7082384B1/ja
Publication of JP2022182673A publication Critical patent/JP2022182673A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied

Abstract

Figure 0007082384000001
【課題】
本発明は、学習対象についてより効果的に学習することができる学習システムを提供することを目的とする。
【解決手段】
少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、グラス型ウェアラブル端末に備えられた撮像機能又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報又は音声情報を取得する演習情報取得手段とを備える、学習システム。
【選択図】 図７

Description

本発明は、グラス型ウェアラブル端末を用いた学習システム及び学習方法に関する。
近年、ＡＲ技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）が注目されている。ＡＲ技術は、ユーザが視認する現実空間に付加的な情報を重畳して提示できるため、グラス型ウェアラブル端末にＡＲ技術を適用すると、手による作業を止めることなく、情報を確認することができる。このことから、様々な分野への活用が期待されている。
例えば、医療現場において、医療従事者であるユーザに、業務遂行に必要な情報を提供する情報提供システムが開示されている（特許文献１参照）。医療業務の遂行中に、必要な操作等の作業を中断することなく、ハンズフリーで必要な医療機器に関する情報を確認することができる。また、グラス型ウェアラブル端末を用いることで、紙等の操作マニュアルに触れることなく、清潔性を保って操作等をすることができる。
このような医療機器を操作するための情報は、医療従事者だけでなく、医療機器の操作をこれから習得する必要のある学習者にとっても重要である。しかしながら、特許文献１では医療従事者向けの情報提供を目的としており、医療機器の操作を学ぶ学習者向けの用途については考慮されていない。
また、例えば、学習現場において、ＡＲ技術を活用したウェアラブル端末の利用として、作業工程学習支援システムが開示されている（特許文献２参照）。しかし、この作業工程学習支援システムには、学習者の操作が正しいか否かを評価する方法は備えられておらず、学習者にとって更なる改良が求められていた。
特開２０１８－１３２８８９号公報 特開２０１６－０６２０２６号公報
本発明は、このような課題を解決するためになされたものである。すなわち、本発明の目的は、学習対象についてより効果的に学習することができる学習システムを提供することである。
本発明によれば、上記目的は、
［１］少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得手段とを備える、学習システム；
［２］取得した演習の状況又は結果に関する、画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する評価手段とを備える、［１］に記載の学習システム；
［３］評価手段による評価の結果に応じて、更なる学習が必要とされる学習項目を出力する出力手段とを備える、［２］に記載の学習システム；
［４］学習対象が、機器の使用方法、又は、手技の実行方法である、［１］～［３］のいずれかに記載の学習システム；
［５］グラス型ウェアラブル端末に備えられた撮像機能又は音声取得機能により、学習プログラムの実行時における学習者の動作に関する画像情報又は音声情報を取得する入力指示取得手段と、取得した学習者の動作に関する画像情報又は音声情報に応じて、学習プログラムの進行のための入力を実行する入力手段とを備える、［１］～［４］のいずれかに記載の学習システム；
［６］評価手段が、学習者による演習の開始から終了までの時間、及び、取得した演習の状況又は結果に関する、画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する、［２］～［５］のいずれかに記載の学習システム；
［７］評価手段が、学習者の演習の状況又は結果として、学習の到達度、学習対象に対する理解度、及び／又は、学習対象の習熟度を出力する、［２］～［６］のいずれかに記載の学習システム；
［８］演習情報取得手段が、演習の状況又は結果に関する動画像情報を取得し、取得した動画像情報、及び／又は音声情報をもとに動画像、及び／又は音声を再生する再生手段とを備える、［１］～［７］のいずれかに記載の学習システム；
［９］学習者が学習している空間の環境情報を測定する環境測定手段とを備え、学習プログラム実行手段が、測定された環境に応じた学習プログラムを実行する、［１］～［８］のいずれかに記載の学習システム；
［１０］さらに、指導者が操作するコンピュータ装置を備え、コンピュータ装置が、学習者が装着するグラス型ウェアラブル端末と通信接続が可能である、［１］～［９］のいずれかに記載の学習システム；
［１１］少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する画像情報、及び／又は音声情報を取得する演習情報取得ステップとを有する、学習方法；
により達成することができる。
本発明によれば、学習対象についてより効果的に学習することができる学習システムを提供できる。
本発明の実施の形態にかかる学習システムの構成を示すブロック図である。 本発明の実施の形態にかかるサーバ装置の構成を示すブロック図である。 本発明の実施の形態にかかる学習者端末の構成を示すブロック図である。 本発明の実施の形態にかかるリストデータ表示処理のフローチャートを示す図である。 本発明の実施の形態にかかる学習者端末の表示画面の一例を示す概略図である。 本発明の実施の形態にかかる学習プログラム実行開始処理のフローチャートを示す図である。 本発明の実施の形態にかかる学習者端末に表示される学習プログラムの一例を示す概略図である。 本発明の実施の形態にかかる学習者端末の表示画面の一例を示す概略図である。 本発明の実施の形態にかかる学習プログラム実行処理のフローチャートを示す図である。 本発明の実施の形態にかかる学習者端末に表示される評価結果の一例を示す概略図である。
以下、本発明の実施の形態について説明をするが、本発明の趣旨に反しない限り、本発明は以下の実施の形態に限定されない。以下、効果に関する記載は、本発明の実施の形態の効果の一側面であり、ここに記載するものに限定されない。
図１は、本発明の実施の形態にかかる学習システムの構成を示すブロック図である。図示するように、学習システムは、学習者端末１と、サーバ装置２と、通信ネットワーク３とから構成されている。学習システムは、複数の学習者によって使用される複数の学習者端末１（学習者端末１ａ、１ｂ、・・・１ｚ）を有していてもよい。複数の学習者がそれぞれ同時に学習者端末１を使用可能とすることが好ましい。さらに、学習者端末１は、学習者に装着されるグラス型ウェアラブル端末である。また、学習システムは、指導者端末４を有していてもよいし、複数の指導者端末４を有していてもよい。サーバ装置２は、通信ネットワーク３を介して、他のコンピュータ装置、つまり、学習者端末１又は指導者端末４と通信接続が可能である。
指導者端末４は、表示画面と入力部を有するコンピュータ装置であれば特に限定されない。指導者端末４は、据え置き型であってもよく、学習者が装着するグラス型ウェアラブル端末と同様のものであってもよい。学習者端末４としては、例えば、グラス型ウェアラブル端末、腕時計型ウェアラブル端末、従来型の携帯電話、タブレット型端末、スマートフォン、デスクトップ型・ノート型のパーソナルコンピュータなどが挙げられる。また、学習者端末４としては、ＡＩ機能を有する対話型の音声操作に対応したスピーカ端末でもよい。
本発明の実施の形態にかかる学習システムは、学習現場において、学習者に、学習対象について学習するための情報を提供するものである。まず、グラス型ウェアラブル端末である学習者端末１を学習者が装着する。学習者が学ぶ学習対象の学習プログラムに従って、学習者端末１から、音声の出力や画像の表示がなされる。学習者は、出力された音声や表示された画像に従い、演習を実施する。そして、学習者が実施した演習時の演習情報を学習者端末１にて取得する。演習情報は、画像や動画、音声などである。学習者端末１にて取得した演習情報を、サーバ装置２に送信する。サーバ装置２にて、演習情報を受信し、演習情報を記憶する。記憶された演習情報に基づいて、サーバ装置２にて、学習者の演習情報を解析し、学習者によって実施された演習を評価する。また、記憶された演習情報は、学習者端末１や指導者端末４にて、再生することができる。
これにより、学習者は、学習者端末１から出力される学習プログラムにしたがって演習を実施することで、学習対象について学ぶことができる。学習者端末１から、学習プログラムが、音声出力、画像表示、及び／又は、動画表示されるので、学習対象について、初めて学習する場合であっても、学習プログラムに従って、実際の機器を確認しながら容易に演習を実施することができる。また、自分が実施した演習に対して、評価を速やかに確認することや復習することができる。
なお、ここで、学習現場における「学習者」とは、学習対象について学習が必要な学生、生徒、研修生、受講生等であり、年齢や性別は問わない。「学習対象」とは、特に限定されないが、例えば、機器の使用方法や操作方法、手技の実行方法等である。「学習プログラム」とは、学習対象について学習するための演習の実施を学習者に促すものであり、１以上の学習項目から構成される。「学習項目」とは、学習対象について学習するために必要な項目である。学習項目には、文章、音声、画像、及び／又は、動画などの情報が含まれる。例えば、ある機器の使用方法についての学習プログラムは、機器の準備、機器の組み立て、機器の操作等の学習項目から構成される。また、学習項目は、例えば、機器に関する基礎知識や、「機器が故障した場合はどうする？」といった機器についての知識を問うような問題を含むものでもよい。また、本明細書中における「機器」には、機械、器械、装置、設備、器具といった概念が含まれる。また、「器具」には道具、用具、治具といった概念が含まれる。
［サーバ装置］
図２は、本発明の実施の形態にかかるサーバ装置の構成を示すブロック図である。サーバ装置２は、制御部２１、ＲＡＭ２２、ストレージ部２３及び通信インタフェース２４を少なくとも備え、それぞれ内部バスにより接続されている。
制御部２１は、ＣＰＵやＲＯＭから構成され、ストレージ部２３に格納されたプログラムを実行し、サーバ装置２の制御を行う。また、制御部２１は時間を計時する内部タイマを備えている。ＲＡＭ２２は、制御部２１のワークエリアである。ストレージ部２３は、プログラムやデータを保存するための記憶領域である。制御部２１は、プログラム及びデータをＲＡＭ２２から読み出し、学習者端末１から受信した情報等をもとに、プログラム実行処理を行う。
［学習者端末］
学習者端末１は、表示部を有するスマートグラス、ヘッドマウントディスプレイ等の眼鏡型のウェアラブルコンピュータである。学習者端末１は、例えば、学習者の頭部において、眼及び顔の前面を覆うように装着され、視界を遮らないレンズ及びディスプレイを有する。このとき、学習者端末１のレンズ及びディスプレイは、少なくとも片目の前方に配置されていればよい。つまり、装着時に安定性があれば、片目用メガネのようなグラスであってもよい。学習者は、学習プログラムの演習の実施において、上下左右を向く等の操作をしながら利用することが考えられる。したがって、演習中に装着する学習者端末１が落下することのないよう、装着の安定性があることが好ましい。また、演習の妨げにならないよう、軽量であり、かつ、装着による違和感のないことが好ましい。
図３は、本発明の実施の形態にかかる学習者端末１の構成を示すブロック図を示す。学習者端末１は、制御部１１、ＲＡＭ１２、ストレージ部１３、グラフィックス処理部１４、通信インタフェース１５、インタフェース部１６、表示部１８、音声取得部１１１、撮像部１１２、音声出力部１１３からなり、それぞれ内部バスにより接続されている。また、学習者端末１は、センサ部１１４を備えていてもよい。センサ部１１４は、気温センサ１１４ａ、湿度センサ１１４ｂ、気圧センサ１１４ｃ、ジャイロセンサ、加速度センサ等の各種センサを備えられている。
制御部１１は、ＣＰＵやＲＯＭから構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、学習者端末１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部１４に出力する。
グラフィックス処理部１４は表示部１８に接続されている。表示部１８は表示画面１９を有している。制御部１１が描画命令をグラフィックス処理部１４に出力すると、グラフィックス処理部１４は、表示画面１９に画像を表示するためのビデオ信号を出力する。
通信インタフェース１５は無線又は有線により通信ネットワーク３に接続が可能であり、通信ネットワーク３を介して、サーバ装置２又は指導者端末４とデータを送受信することが可能である。これにより、学習者端末１は、屋内での操作に加えて、遠隔での操作が可能になる。つまり、学習者端末１は教室等の屋内だけでなく、学習者の自宅や野外においても利用可能である。通信インタフェース１５を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。インタフェース部１６には外部メモリ１７（例えば、ＳＤカード等）が接続されている。
音声取得部１１１は、学習者端末１を装着する学習者が発した音声を取得する。音声取得部１１１は、マイク等によって取得された学習者の発話を音声認識して、特定の信号を抽出する機能を有する。音声取得部１１１が取得する音声は、例えば、学習プログラムの起動開始終了の操作、表示画面１９に表示された文字や画像などの表示位置や表示サイズ変更の操作、学習プログラムや学習項目の選択の操作、演習開始終了の操作、出力音声の音量変更の操作等の各操作を実行するための操作信号である。また、音声取得部１１１が取得する音声は、例えば、演習の状況又は結果を評価するための信号である。また、音声により、要求する情報を特定することができる。具体的には、特定の学習項目を要求する場合、音声により、どの学習対象を要求するのか、また、どの学習項目を要求するのかを特定することができる。また、音声取得部１１１は、学習者端末１の周囲の環境の音を取得することができる。例えば、音声取得部１１１は、学習者の音声を取得する内部マイクと、周囲の環境の音声を取得する外部マイクとを有していてもよい。
撮像部１１２は、学習者が学習者端末１を介して視認できる範囲を撮像する。撮像部１１２は、例えば、学習者端末１の内臓カメラである。撮像部１１２は、学習者が学習者端末１を装着した場合に、学習者の視線方向と撮像部１１２の視軸方向とが、略平行となるように設けられていることが好ましい。音声出力部１１３は、種々の音声情報を出力する。出力された音声情報は、学習者端末１を装着する学習者が聞き取ることができる。例えば、音声出力部１１３は、スピーカであり、ヘッドホン、イヤホン、骨伝導イヤホン等を利用したものでもよい。また、例えば、音声出力部１１３は、後述のリストデータの音声出力、学習項目に含まれる音声情報の出力、評価結果に含まれる音声情報の出力を行う。
［指導者端末］
指導者端末４は、サーバ装置２と同様の構成を有するものであり、例えば、制御部、ＲＡＭ、ストレージ部、グラフィックス処理部、通信インタフェース、入力部からなり、それぞれ内部バスにより接続されている。また、指導者端末４は、学習者端末１と同様の構成としてもよい。
本発明の実施の形態にかかる学習システムの処理を、リストデータ表示処理、学習プログラム実行開始処理、学習プログラム実行処理の順に説明する。なお、以下では、主に、学習対象を医療機器の操作方法と想定して説明する。また、以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。
［リストデータ表示処理］
まず、リストデータ表示処理について説明する。図４は、本発明の実施の形態にかかるリストデータ表示処理のフローチャートを示す図である。学習者に装着された学習者端末１は、学習対象の学習プログラムのリストデータを要求する音声を音声取得部１１１により取得する（ステップＳ１０）。リストデータとして表示される学習プログラムは、取得された音声によって特定できる学習プログラムでもよいし、学習者端末１より視認可能な範囲に存在する医療機器等に関する学習プログラムでもよい。
学習者端末１からサーバ装置２へ、リストデータ送信要求を送信し（ステップＳ１１）、サーバ装置２において、リストデータ送信要求を受信する（ステップＳ１２）。リストデータ送信要求には、特定の学習プログラムのリストデータを要求する学習者の音声情報や学習者端末１より視認可能な範囲に存在する医療機器に関する画像情報が含まれる。学習者の音声は音声取得部１１１により取得され、医療機器に関する画像は撮像部１１２により取得される。撮像部１１２は、学習者が学習者端末１を装着した場合に、学習者の視線方向が撮像部１１２の視軸方向と略平行となるように設けられている。よって、撮像部１１２は、学習者が学習者端末１を介して視認できる範囲を撮像することが可能である。
サーバ装置２にて、受信したリストデータ送信要求に基づいて、リストデータを抽出する（ステップＳ１３）。抽出されたリストデータを、サーバ装置２から学習者端末１へ送信する（ステップＳ１４）。学習者端末１において、リストデータを受信し（ステップＳ１５）、リストデータを表示する（ステップＳ１６）。
ここで、図５（Ａ）に、本発明の実施の形態にかかる学習者端末１の表示画面の一例の概略図を示す。学習者端末１を装着した学習者は、表示画面を通して、医療機器１２１ａ、１２１ｂ、１２１ｃを視認する。ステップＳ１０において学習対象の学習プログラムのリストデータを要求する音声が音声取得部１１１により取得されると、学習者端末１の撮像部１１２によって、画像情報を取得する。学習者端末１又はサーバ装置２には、医療機器１２１ａ、１２１ｂ、１２１ｃのそれぞれに対応する学習プログラムが予め記憶されている。取得した画像情報から、それぞれの医療機器等に対応した学習プログラムを抽出するため、医療機器１２１ａ、１２１ｂ、１２１ｃには、特定の識別情報が付されていることが好ましい。例えば、特定のマークやＱＲコード（登録商標）等の識別情報が付されているとしてもよい。また、取得した画像情報をもとに、人工知能を利用することにより、その形状、色彩等から医療機器１２１ａ、１２１ｂ、１２１ｃを画像認識してもよい。
図５（Ｂ）に、学習者端末１に表示されるリストデータの一例の概略図を示す。ステップＳ１１において、医療機器１２１ａ、１２１ｂ、１２１ｃの画像情報が送信された場合、ステップＳ１６において、表示画面１９には、医療機器１２１ａ、１２１ｂ、１２１ｃにそれぞれ対応する医療機器等の学習プログラム１２２ａ、１２２ｂ、１２２ｃのリストデータが表示される。学習プログラム１２２ａ、１２２ｂ、１２２ｃのリストデータは表示画面１９上の表示領域２００に表示される。
これらのステップＳ１０～Ｓ１６の処理を通して、学習者は、視認可能な範囲に存在する医療機器等の学習プログラムのリストデータを表示することができる。ここでは、視認可能な範囲の医療機器の学習プログラムのリストデータを表示したが、学習者の音声により特定される、視認可能な範囲に存在しない医療機器等の学習プログラムのリストデータを表示してもよい。また、リストデータ表示処理を複数回繰り返して、リストデータの学習プログラムに含まれる学習項目のリストデータを表示してもよいし、リストデータから学習プログラムを選択し、選択した学習プログラムについて後述の学習プログラム実行開始処理に進んでもよい。例えば、図５（Ｂ）において、医療機器等の学習プログラム１２２ａを選択し、学習プログラム１２２ａに含まれる学習項目のリストデータを表示してもよいし、後述の学習プログラム実行開始処理に進んでもよい。
［学習プログラム実行開始処理］
次に、学習プログラム実行開始処理について説明する。図６は、本発明の実施の形態にかかる学習プログラム実行開始処理のフローチャートを示す図である。まず、学習者端末１は、学習者の発する音声又は動作画像を音声取得部１１１又は撮像部１１２により取得する（ステップＳ２０）。学習者端末１からサーバ装置２へ、学習プログラム送信要求が送信され（ステップＳ２１）、サーバ装置２において、学習プログラム送信要求を受信する（ステップＳ２２）。サーバ装置２において、受信した学習プログラム送信要求に基づいて、学習プログラムを抽出する（ステップＳ２３）。サーバ装置２において、学習プログラムの実行が開始される（ステップＳ２４）。
ステップＳ２３の学習プログラムの抽出において、学習プログラムの実施が２回目以降のとき、学習者に応じた学習プログラムを抽出することができる。例えば、学習者の学習の傾向や学習者のよる学習時の演習の状況又は結果に応じて、より詳細な説明が付された学習プログラムや、動画像が多い学習プログラムを人工知能により抽出することができる。また、１回目の学習プログラムの実施の際も、学習プログラム送信要求時に画像の多い学習プログラムや文章の多い学習プログラムといったように、学習者は、好みの学習プログラムを要求することもできる。また、例えば、後述の学習者の到達度、理解度、習熟度に応じて、抽出する学習プログラムを変化させてもよい。学習者の到達度、理解度、習熟度が上がっていくにつれ、表示される情報や出力される音声を少なくすることができる。学習項目が複数含まれる学習プログラムの場合、学習項目の項数を増減することができる。これにより、学習者に合わせた学習プログラムを提供でき、効率よく学習対象について学ぶことができる。
ステップＳ２４において実行開始された学習プログラムは、後述の学習プログラム実行処理において、演習についての指示（学習項目ともいう）をサーバ装置２より学習者端末１に送信し、学習者端末１において学習項目が実行される。学習者端末１が受信した学習項目は、受信を完了してから再生されてもよいし、ストリーミング再生されてもよい。学習項目には、文章、音声、画像、及び／又は、動画などの情報が含まれる。音声は音声出力部１１３より出力され、文章、画像、及び動画は表示部１８の表示画面１９に出力される。これらのステップＳ２０～Ｓ２４までの処理を通して、学習者は、再生された学習プログラムにしたがって、選択した医療機器の操作に関する演習を行うことができる。なお、ステップＳ２２～２４の処理は、学習者端末１にて行ってもよい。
実行された学習プログラムに複数の学習項目が含まれる場合、学習者端末１が、学習者の発する音声又は動作画像を音声取得部１１１又は撮像部１１２により取得することで、学習項目の切り替えを行うことができる。学習項目の再生は、学習プログラムに含まれる学習項目一式が終了するまで行われることが好ましい。また、学習者が選択した学習項目のみを再生することもできる。
図７に本発明の実施の形態にかかる学習者端末１に表示される学習プログラムの一例の概略図を示す。図７に示すように、表示画面１９の表示領域２００に表示される内容は、例えば、演習指示文章表示領域２０１と、演習指示動画像表示領域２０２と、時間表示領域２０３とより構成される。演習指示文章表示領域２０１には、医療機器の操作の演習に必要な文字情報が表示される。なお、音声出力される学習プログラムは、演習指示文章表示領域２０１に表示された文章と一致していることが好ましい。これにより、学習者は表示された文字情報と音声出力された音声情報とを混乱することなく聞き取ることができる。また、音声出力される学習プログラムは、演習指示文章表示領域２０１に表示された文章と一致していなくてもよい。これにより、学習項目の演習の実施に係る時間を短縮することができる。
演習指示動画像表示領域２０２には、操作に必要な動画や画像が表示される。演習指示動画像表示領域２０２に表示される動画は、学習者の音声や動作等の入力によって、一時停止やもう一度見るといった操作を行うことができる。時間表示領域２０３には、表示されている学習項目について演習を行った演習時間と、学習プログラム全体の演習時間の合計とが表示される。つまり、学習者端末１は、時刻を管理する時計や計時機能を有する内部タイマを備えてもよい。内部タイマから取得する時刻を表示することで、学習者は、時刻を確認することができる。また、内部タイマを利用して計時する時間を表示可能とすることで、学習者は、演習時間や学習時間等の管理をすることができる。このとき、時刻等は常に表示する必要はなく、学習者の音声等で要求されたタイミングで表示してもよい。
表示領域２００に表示される内容は、学習者の音声や動作等の入力によって、任意に切り替えることができる。また、表示領域２００に表示される内容は、透過性を有し、学習者は自身の演習と、表示された指示内容とを見比べながら、医療機器の操作の演習を続けることができる。また、表示画面１９において、演習の操作を行っている機器に対して、演習の操作をするうえで重要となる部分にマーカーを重畳して表示してもよいし、演習の操作を補助するガイドラインを重畳して表示してもよい。
本発明の実施の形態にかかる学習プログラムにおいて、学習者の発する音声情報や動作画像情報に関連付けられた処理を行うことができる。例えば、音声にて「ＯＫ」と発すれば、次の学習項目を表示する。「バック」と発すれば、前の学習項目に戻る。また、「もう一度」と発すれば、同じ学習項目を表示する。
ここで、動作画像とは、学習者の手の振りや瞬きといった学習者の動作に関する画像である。例えば、加速度センサにより取得した学習者の頭部の動きの利用、指の振りといった学習者の体の動きの利用、学習者の眼の動きの利用等ができる。具体的には、目の動きを利用する場合、学習者の瞬きの回数等を取得し、所定の回数瞬きをすると、それに対応する処理が実行される。また、視線スイッチを利用する場合、学習者が所定のアイコン等を一定時間以上目視した場合、そのアイコンに対応する処理が実行される。
学習プログラム送信に係る学習者からの入力において、音声や動作画像を利用することで、学習プログラム送信要求の送信や学習項目の選択が可能となる。これにより、学習者が手で用いて行っている操作を中断することなく、学習プログラム送信要求を送信することが可能となる。ステップＳ２０は、音声又は動作画像を取得したが、操作ボタンの操作等で学習プログラム送信要求の送信や学習項目の選択をしてもよい。さらに、指導者端末４からの操作により、学習者端末１にて再生される学習プログラムや学習項目を変更することもできる。
図７において、マークｍ０１は、後述する『評価モード』が起動中であるか否か確認可能な表示である。マークｍ０２は、後述する『ヘルプモード』が起動中であるか否かを確認可能な表示である。マークｍ０１、ｍ０２は、各モードが起動前と、起動中とで異なる色で表示される。これにより、学習者は各モードが起動されたか否かを容易に確認することができる。
『ヘルプモード』は、学習者が機器の操作等の演習について再生された学習項目だけでは理解できない場合、より詳しい演習指示を要求するためのモードである。学習者端末１の音声取得部１１１が、学習者から発せられた「ヘルプ」という音声を取得することで、『ヘルプモード』が起動される。学習項目は、『ヘルプモード』において提供されるデータとすることもできる。サーバ装置２は、ヘルプモードにおいて、機器の操作や取り付け等のより詳しい演習指示を要求された場合に提供する情報を学習項目として記憶することができる。例えば、通常の処理で表示される操作方法や取り付け説明方法等の演習指示情報は、静止画等を利用する簡単な説明である場合であっても、ヘルプモードで表示される演習指示情報は、動画等を利用するより詳しい説明とすることができる。これにより、通常の演習指示のみでは理解できなかった学習者は、ヘルプモードにおいて、より詳しい演習指示の提供を受けることができる。例えば、ヘルプモードでは、正確な組み立てや操作方法の開始から終了までを連続した動画により、視覚的に確認することができる。
マークｍ０３は、温度の表示部である。マークｍ０４は、湿度の表示部である。マークｍ０５は、気圧の表示部である。各マークｍ０３～ｍ０５は、各センサ１１４ａ～１１４ｃで計測された値が表示される。学習者端末１の周囲環境の温度は、温度センサ１１４ａによって計測される。学習者端末１の周囲環境の湿度は、湿度センサ１１４ｂによって計測される。学習者端末１の周囲環境の気圧は、気圧センサ１１４ｃによって計測される。機器の操作や取り付けには、温度、湿度、気圧等の値が必要なことがある。具体的には、人工呼吸器等の医療機器は、細い管に高速でガスを流すため、ガスの膨張率やガスの流れに温度、湿度、気圧が影響を与える。また、機器の修理、点検整備、精度管理等の保守管理においては、温度、湿度、気圧等の把握が重要になる。具体的には、温度や湿度の影響により金属等の素材が劣化し、変形や歪みを生じる場合がある。したがって、表示画面１９に温度センサ１１４ａ、湿度センサ１１４ｂ、気圧センサ１１４ｃ等で計測した値を表示し、学習者が確認可能とすることで、より実践に近い機器の操作等を学ぶことができる。
また、ステップＳ２３の学習プログラムの抽出において、各センサで取得した学習者端末１の周囲環境の情報に基づいて、学習プログラムを抽出してもよい。周囲環境の情報は、各センサによる情報に加えて、音声取得部１１１より取得した周囲の音や撮像部１１２より取得した周囲の明るさ、振動等を取得してもよい。例えば、取得した周囲環境の情報から、学習者が屋内にいるか屋外にいるか判断し、その状況に応じた学習プログラムを実行することができる。屋外にいる場合、利用できる機器の種類が少ないといった問題が生じることが多いため、そういった場合にどのように対応するか、学ぶことができる。例えば、災害時の状況を再現した学習が可能となる。また、学習者が日本にいるか、海外にいるかを判断し、学習者の所属する国の規定に合わせた学習プログラムを実行することもできる。学校といった教育現場においては、基礎的な説明が多い学習プログラムを実行し、実際の医療現場においては、基礎的な説明を減らし、操作に関する説明を増やすといった、より実践的な学習プログラムを提供することができる。
図８は、本発明の実施の形態にかかる学習者端末１の表示画面１９の一例を示す概略図である。表示画面１９の一部分には、表示領域２００が存在する。学習者端末１は、学習者からの指示により表示領域２００の位置を動かすことができる。これにより、学習者や演習内容に応じて、好ましい表示位置に情報を表示することができる。例えば、右利きの学習者であり、右側に操作対象の機器がある場合、左側に表示領域２００が位置した方が、表示される情報が業務の妨げとなる恐れが少ないことがある。一方、左利きの学習者であり、左側に操作対象の機器がある場合、右側に表示領域２００が位置した方が、表示される情報が業務の妨げとなる恐れが少ないことがある。表示領域２００は、表示画面１９の内部に存在すればよく、その大きさや位置に制限はない。
ここで、表示画面１９への表示は、少なくとも学習者の片目で視認できるように情報を表示すればよい。グラス型ウェアラブル端末である学習者端末１は、演習実行中の学習者に装着される。したがって、両目で視認されるように情報を表示すると、学習者の演習の妨げになる恐れがある。また、両目で視認されるように表示すると、脳が混乱する恐れがある。したがって、移動中や演習中には片目のみに表示することで、別の目では周囲の環境情報を視認可能とすることができる。逆に、学習者が静止状態や希望する際には両目に表示することで、学習プログラムに集中することができる。また、表示領域２００は、学習者の視界の中心部以外に位置することが好ましい。これにより、表示領域２００による情報の表示が学習者の演習の妨げとなるのを防止することができる。
［学習プログラム実行処理］
次に、学習プログラム実行処理について説明する。図９は、本発明の実施の形態にかかる学習プログラム実行処理のフローチャートを示す図である。まず、サーバ装置２は、学習者端末１に演習についての指示を送信し（ステップＳ３０）、学習者端末１において、演習についての指示を受信する（ステップＳ３１）。学習者端末１において、学習者の発する演習開始の音声を音声取得部１１１にて取得する（ステップＳ３２）。演習開始は、学習者の特定の動作画像を取得することによって行われてもよい。学習者端末１において、演習時の画像及び／又は音声を撮像部１１２及び／又は音声取得部１１１にて取得する（ステップＳ３３）。演習時の画像、及び／又は音声は、演習開始から終了までの間に、評価が必要な学習項目において１回以上取得することが好ましい。複数の学習項目からなる学習プログラムの場合、演習時の画像、及び／又は音声は、演習開始から終了までの間、評価が必要な複数の学習項目においてそれぞれ取得することが好ましい。また、演習開始から演習終了までの動画を取得してもよい。
学習者端末１において、学習者から演習終了の音声を音声取得部１１１が取得すると（ステップＳ３４）、学習者端末１からサーバ装置２へ、評価要求が送信される（ステップＳ３５）。演習終了は、学習者の特定の動作画像を取得することによって行われてもよい。評価要求には、演習時の画像情報及び／又は音声情報が含まれる。サーバ装置２において、評価要求を受信し、（ステップＳ３６）、演習時の画像情報及び／又は音声情報が、サーバ装置２のＲＡＭ、ストレージ部等の記憶手段に記憶される（ステップＳ３７）。サーバ装置２において、記憶した演習時の画像情報及び／又は音声情報を解析し、演習について評価する（ステップＳ３８）。評価の結果、更なる学習が必要と判断されると（ステップＳ３９にてＹｅｓ）、ステップＳ４３に移行し、演習の結果、更なる学習が必要ないと判断されると（ステップＳ３９にてＮｏ）、ステップＳ４０に移行する。
ステップＳ３８の学習者の演習の評価について、説明する。学習者の演習は、１つの学習項目について問題なく演習の実施ができているか、また、全体の演習をとおして問題なく演習の実施がなされているかについて、評価できる。本発明の実施の形態において、学習者の演習に関する画像情報、音声情報、動画情報を記録しているため、それらの情報を用いて、人工知能、指導者、及び／又は、学習者による客観的評価ができる。客観的評価には、特に限定されないが、例えば、到達度、理解度、実施時間、習熟度、達成時間、学習項目の演習時間、操作のタイミング、完成度、形状、演習の精度等が用いられる。
画像情報を用いて評価を行う場合、評価が必要な各学習項目について、学習項目ごとに演習時の画像情報とあらかじめ登録した判定用の画像情報とを比較する。これらの判定は、人工知能により行われる。判定用の画像情報は、医療機器の使用方法であれば、機器が正確に取り付けられた理想的な状態のパターンの画像情報等である。また、間違った状態の画像情報を含んでいてもよい。例えば、演習で実施すべき操作や作業が適切に行われた場合における画像情報と、操作や作業が適切に行われなかった場合における画像情報を予め登録しておき、それぞれの画像情報に得点を設定しておく。学習者が演習を実行することで得られた画像情報の特徴量が、予め登録された画像情報のいずれの特徴量に一致又は類似するかに応じて、一致又は類似する画像情報に対応する得点を、学習者の演習による得点として付与することができる。これにより、より精密な判定を行うことができる。
また、１つの学習項目について、複数の判定用の画像情報を用いて、演習の評価を行ってもよい。例えば、Ａ手順、Ｂ手順、Ｃ手順からなる学習項目において、取得した演習時の画像情報に、Ａ手順を行った画像、Ｂ手順を行った画像、Ｃ手順を行った画像が順番どおり含まれるか対比し確認する。これにより、学習者が、Ａ手順、Ｂ手順、Ｃ手順の順番で演習を行っているか確かめることができる。
画像情報による演習の評価は、評価が必要な学習項目すべてで実施され、それぞれの学習項目ごとに得点が付与されるのが好ましい。学習項目ごとの得点は適宜設定できるが、学習項目の難易度や重要度に応じて、得点を設定することができる。学習プログラムに複数の学習項目が含まれる場合は、複数の学習項目の得点を合計した得点が、学習プログラムの得点となる。
動画情報を用いて評価を行う場合、上記と同様の方法で評価を行うことができる。評価が必要な各学習項目について、学習項目ごとに演習時の動画情報とあらかじめ登録した判定用の画像情報とを比較する。動画情報の中から、判定用の画像情報と同じ場面の画像を検出する。検出した画像について、上述の判定を行う。これらの判定は、人工知能により行われる。複数の場面において、学習者の演習の実施を評価する場合は、動画情報から必要な場面の画像を複数検出して、判定を行ってもよい。
また、音声情報を用いて評価を行う場合、表示画面に表示される、もしくは、音声出力された複数の選択肢から正解の選択肢を選択できるかを確認することで評価を行う。また、一連の演習をとおして、学習者のミスや失敗を連想させる言葉を発した回数を取得して、評価に加味することもできる。例えば、「しまった」「失敗した」といった音声情報を取得し、その回数に応じて、学習者の評価を下げてもよい。さらに、一般的に、人が動揺すると、その声は通常の声の周波数とは異なる周波数や音質になることが知られている。声の周波数や音質、発する声の抑揚の幅等の音声情報を解析することにより、学習者の動揺や疲れ、情緒等を判定することができる。したがって、一連の演習の音声情報を解析し、所定の大きさよりも大きな声又は小さな声（抑揚ともいう）、並びに通常と異なる音質及び周波数等を取得し、その回数や通常と異なる音質や周波数を発している時間の長さに応じて、学習者の評価を下げてもよい。例えば、通常時の声の周波数を予め登録しておき、所定の周波数とは異なる周波数の音声情報を取得し、その回数やそのような声を発している時間の長さに応じて、学習者の評価を下げてもよい。また、例えば、一連の演習をとおして、学習者の声の周波数の平均値を算出し、平均値から大きく外れた回数や時間が長い学習項目について、ステップＳ３９において、更なる学習が必要と判断してもよい。
上述の演習の評価は、評価が必要な学習項目ごとに判定を行い、その結果、演習の状況や結果に応じて、学習項目ごとに一定の得点を付与する。学習項目の難易度や重要度に応じて得点を変化させてもよい。また、判定の結果、演習の状況や結果に問題がある場合、該当する学習項目について得点を与えないとしてもよいし、学習プログラム全体の得点から一定の得点を減点してもよい。また、例えば、学習者のミスや失敗を連想させる言葉を発した回数に応じて、学習者の評価を下げる場合、１回につき、１点を全体の得点から減点をするとしてもよい。
学習者の演習の評価は、例えば、到達度、理解度、実施時間、習熟度の項目で評価することができる。到達度は、ある学習対象についての学習プログラムの実施が完了したかを示す。具体的には、医療機器の操作に関する学習プログラムの場合、その学習プログラムを１回以上実施されたとき、その学習プログラムについて、到達度は１００％と判断される。学習プログラムが関連する複数の学習項目からなる場合は、全ての学習項目の実施が完了したことで、到達度を１００％としてもよい。例えば、複数の学習項目から構成される学習プログラムの場合、それぞれの学習項目ごとに得点が付されており、学習者が実施した学習項目についての得点の合計を、すべての学習項目の得点の合計で除した値を到達度とすることができる。この得点は、演習の実施に応じて付与される得点である。
理解度は、ある学習対象について学習者が理解できているかを示す。具体的には、ある学習対象について学習プログラムを実施した結果、一定の得点を取得できた場合、理解度は１００％と判断される。例えば、学習項目ごとに、学習者に演習を実施させ、その実施結果に応じて得点を付与するような場合、すべての学習項目を実施することで学習者が取得した得点の合計を、すべての学習項目で最高点を取得した場合における得点の合計で除した値を理解度とすることができる。
実施時間は、ある学習プログラムの演習の実施に要した時間を示し、学習プログラムを時間内に終わらせることができたかを評価する。具体的には、ある学習対象について学習プログラムを実施し、所定の終了時間内に演習の実施を終了できた場合、実施時間の評価は１００％と判断される。実施時間は、学習項目ごとの演習時間を評価してもよい。学習項目の演習時間を参照する場合、１つの学習項目について、時間内に終わらせることができたかを評価する。学習プログラムに含まれるすべての学習項目について、時間内に終わらせられたかどうかの評価を行ってもよいし、特定の学習項目について評価を行ってもよい。時間内に終わらせた学習項目について、得点を付与してもよいし、時間超過に応じて得点を減算してもよい。実施時間の評価において、例えば、学習項目ごとに、学習者に演習を実施させ、その実施の時間に応じて得点を付与するような場合、すべての学習項目で最高点を取得した場合における得点の合計で除した値を実施時間の評価とすることができる。実施時間は、学習者の演習開始の合図から、演習終了の合図までの時間としてもよい。
習熟度は、ある学習対象について、学習プログラムを問題なく実施できるかを示す。具体的には、ある学習対象について学習プログラムを実施した結果、一定の理解度に達し、かつ、演習の実施が一定の時間以内に終了したことができた（実施時間の評価が所定の値に達するともいう）場合、習熟度は１００％と判断される。例えば、理解度と実施時間の比率は適宜設定できるが、理解度と実施時間を２：３の割合で習熟度を算出する場合、理解度が１００％であり、実施時間が８０％であれば、習熟度は８８％となる。なお、学習プログラムが途中で終了された場合、習熟度の算出はなされない。また、習熟度は、上記に加え、学習者端末１において取得されるピッチ、傾き、ぶれ、振動、演習した対象物の形状変化等を総合的に評価して算出してもよい。さらに、習熟度が１００％となるまでに要した時間を達成時間として、学習者の評価に加えてもよい。
学習者の演習の評価は、さらに、操作のタイミング、完成度、形状、演習の精度等の項目で評価することができる。操作のタイミングは、正しい順序で、かつ所定の条件を満たして演習を行ったかを評価する。例えば、Ａ手順、Ｂ手順からなる学習項目において、Ｂ手順はＡ手順中のＸ装置の測定値が所定の値になったことを確認して所定の時間内（例えば５秒以内）に操作が行われる場合、取得した演習時の画像情報に、Ａ手順を行った画像、Ｂ手順を行った画像が順番通り含まれるか、また、Ｂ手順はＸ装置の測定値が所定の値になってから５秒以内に行われたかを確認する。正しい順序で、かつ所定の条件を満たして演習を行っていれば、操作のタイミングの難易度や重要度等に応じた得点を付与するとしてもよい。また、正しい順序で演習を行っているが、所定の条件を満たしていない場合、該当の学習項目や学習プログラムについて、更なる学習が必要と判断させてもよい。
完成度は、学習対象の形状等の仕上がりの度合いを示す。例えば、ベッドメイキングの学習プログラムの場合、演習後のベッドのシーツのしわの形状や枕の位置等を確認する。完成した画像と未完成の画像を予め登録しておき、それぞれの画像情報に得点を設定しておく。演習後に得られた画像情報の特徴量が、予め登録された画像情報のいずれの特徴量に一致又は類似するかに応じて、一致又は類似する画像情報に対応する得点を、学習者の演習による得点として付与することができる。また、完成した画像との一致又は類似の割合によって、完成度を算出してもよい。教師データとして記憶される画像には、多数の完成した画像と多数の未完成の画像が記憶されていることが好ましい。これにより、より正確な評価を行うことができる。学習プログラムに複数の学習項目が含まれる場合、それぞれの学習項目について、完成度を算出してもよい。
演習の精度は、学習者の演習の状況又は結果の正確さを示す。具体的には、学習者の演習の状況又は結果の画像情報と判定用画像との一致の度合いを算出する。画像情報だけでなく、評価に必要なパラメータ（ピッチ、振動、傾き、速度等）をあらかじめ登録しておき、取得した画像情報及び動画情報からパラメータを検出してもよい。演習の精度では、学習者の演習の実施において、対象物との距離、間隔、角度、操作の速さ、操作を行った部位等を検出して評価を行う。例えば、採血方法の学習プログラムの場合、消毒をする部位、針を刺す角度、速さ、並びに部位、及び、学習者の手の位置等を画像情報及び動画情報から抽出する。予め登録した判定用の画像情報と、学習者が演習の実施をした際の画像情報を比較し、判定対象が所定の範囲内にあれば、演習の精度を１００％としてもよいし、所定の範囲からどれだけ外れたかによって、得点を減算する等といったように評価を下げてもよい。
以上の学習者の演習の評価は、人工知能によって行うことができる。これにより、客観的に演習の評価がなされるので、公平な評価を行うことができる。さらに、学習者の演習の評価は、記録された学習者の演習に関する画像情報、音声情報、動画情報に基づき、指導者、及び／又は学習者によって行われてもよいし、指導者、及び／又は学習者の評価と人工知能の評価とを組み合わせて行ってもよい。
なお、上述の学習プログラム実行処理においては、一連の学習項目を終了してから学習者の演習に関して評価を行ったが、１つの学習項目ごとに、演習について評価を行い、演習の結果が問題なければ、次の学習項目に進む処理としてもよい。この場合、学習項目を終えるたびに評価の結果に応じた得点を加点又は減点して、全体の得点を算出することもできる。
ステップＳ３５の評価要求の送信は、『評価モード』の起動によって行われてもよい。『評価モード』は、ステップＳ３０及びＳ３１の処理によらず、学習プログラムの演習の途中において行うことができる。これにより、例えば、機器の取り付けを行う学習項目を行う学習者が、自身の演習結果について自信のない場合、その場で演習結果の正誤について確認することができる。なお、学習プログラムの途中で、『評価モード』を起動した場合、全体の評価に係る得点にその学習項目に関する得点を含めないとしてもよいし、全体の評価に係る得点から一定の得点を除くとしてもよい。
ステップＳ３８の評価の結果、ステップＳ３９において更なる学習が必要ないと判断された場合、サーバ装置２から学習者端末１に評価結果を送信し（ステップＳ４０）、学習者端末１において、評価結果を受信する（ステップＳ４１）。学習者端末１にて、評価結果を表示される（ステップＳ４２）。評価結果は、表示画面１９に文字情報や画像情報で表示される。また、評価結果は、音声出力部１１３より音声出力されてもよい。
ステップＳ３８の評価の結果、ステップＳ３９において更なる学習が必要と判断された場合、サーバ装置２にて、学習項目を抽出する（ステップＳ４３）。抽出される学習項目は、評価結果に基づく。例えば、判定の結果、得点が与えられなかった学習項目や、減点があった学習項目を抽出できる。また、得点が与えられなかった学習項目や、減点があった学習項目だけでなく、それに関連した学習項目を抽出してもよい。さらに、全体の得点が一定以下の場合、学習プログラム全体を抽出することもできる。また、学習者の理解度が一定以下の場合、学習者に応じた学習プログラムを抽出することもできる。例えば、より詳細な説明が付された学習プログラムや、動画像情報が多い学習プログラムを抽出することができる。
ステップＳ３９の更なる学習が必要かどうかに関する判断は、ステップＳ３８の評価に応じて、適宜設定できる。例えば、更なる学習が必要ないと判断されるのは、到達度、理解度、実施時間、及び／又は、習熟度の評価項目が一定の値以上であること、必須の学習項目を実施していること、特定の学習項目において、画像情報による演習の評価の得点が一定得点以上であること、学習プログラム全体の得点が一定得点以上であること等が挙げられる。また、例えば、更なる学習が必要と判断されるのは、到達度、理解度、実施時間、及び／又は、習熟度の評価項目が一定の値以下であること、必須の学習項目を実施していないこと、特定の学習項目において、画像情報による演習の評価の得点が一定得点以下であること、学習プログラム全体の得点が一定得点以下であること、演習の実施の最中に実施に関係のない操作や作業を行っていたこと、演習の実施が途中で終了されたこと等が挙げられる。更なる学習が必要かどうかに関する判断には、さらに、操作のタイミング、完成度、形状、演習の精度等の評価を用いてもよい。
サーバ装置２にて、評価結果と抽出した学習項目とを学習者端末１に送信し（ステップＳ４４）、学習者端末１において、評価結果と抽出された学習項目とを受信する（ステップＳ４５）。学習者端末１において、評価結果が表示され、抽出された学習項目が実行される（ステップＳ４６）。学習項目の実行においては、抽出された学習項目を強制的に実行してもよいし、学習者が復習したい学習項目を選択し、その学習項目を実行するとしてもよい。なお、抽出された学習項目が複数含まれる場合、抽出された学習項目の実行は、学習者が選択することで実行できる。
図１０（Ａ）及び（Ｂ）は、本発明の実施の形態にかかる学習者端末１に表示される評価結果の一例を示す概略図であり、機器の取り付けに関する学習項目について、学習者の演習の結果を評価した際の、学習者端末１の表示画面１９の一例である。
図１０（Ａ）は、画像情報を評価した結果、問題ないと判断された場合の表示結果の概略図である。表示画面１９の表示領域２００には、実施した学習プログラムに関する学習者の到達度、理解度、習熟度が表示される。マークｍ１０は到達度の割合が表示され、マークｍ１１には理解度の割合が表示され、マークｍ１２には習熟度の割合が表示されている。学習者は表示画面１９をとおして、医療機器の部位１２３ａ及び１２３ｂを視認できる。演習の結果、医療機器の部位１２３ａ及び１２３ｂが、問題なく取り付けられている場合、表示画面１９に判定結果２０４が表示される。例えば、表示画面１９において、医療機器の部位１２３ａと医療機器の部位１２３ｂとの接続部を丸で囲って、医療機器の部位１２３ａ及び１２３ｂとが接続されていることを、学習者に視認できるようにして、「ＯＫ」と表示してもよい。
図１０（Ｂ）は、画像情報を評価した結果、問題ありと判断された場合の表示結果の概略図である。表示画面１９の表示領域２００には、上述の実施した学習プログラムに関する学習者の到達度、理解度、習熟度が表示される。演習の結果、医療機器の部位１２３ａ及び１２３ｂが取り付けられていない場合、判定結果２０４が表示される。例えば、表示画面１９において、医療機器の部位１２３ａと医療機器の部位１２３ｂとの接続部を丸で囲って、医療機器の部位１２３ａ及び１２３ｂとが接続されていないことを、学習者に視認できるようにして、「ＮＧ」と表示してもよい。さらに、サーバ装置２によって抽出された学習項目１２４が表示画面１９に表示される。抽出された学習項目を実行する必要があることを、音声出力部１１３より出力し、学習者に対して注意喚起してもよいし、表示画面１９に表示してもよい。学習者は、表示された学習項目１２４のうち、学習したい学習項目を選択し、選択した学習項目について実行することができる。また、表示されていない学習項目を選択することもできる。
ステップＳ３８による演習の評価は、学習者端末１だけでなく、指導者端末４に送信され、指導者端末４において学習者の評価情報を記憶してもよい。これにより、指導者は学習者の学習進捗を把握することができる。また、人工知能により学習者の演習を評価するため、指導者の学習者に対するバイアスがかかることなく、公平な評価をすることができる。
ステップＳ３７において記録された演習時の画像情報及び／又は音声情報は、学習者端末１及び指導者端末４において、任意のタイミングで再生することができる。これにより、学習者は学習プログラムの実施後に自身の演習について、記録された演習時の画像情報及び／又は音声情報を参照して復習することができる。自分の行った演習を、自身の視点によって振り返ることができるので、演習時の記憶を効果的に呼び起こすことができ、総合的に学習効率を向上することができる。また、指導者は、学習者の演習において、人工知能では判断できない細やかな評価について、評価することができる。
演習時の画像情報及び／又は音声情報は、学習者の任意のタイミングでサーバ装置２に記憶してもよい。例えば、学習者が、「レコード（ｒｅｃｏｒｄ）」等と音声を発すると、内臓カメラにより取得した演習時の画像情報、学習者端末２のグラスに備わる内外のマイクにより取得した音声情報、及び／又は表示画面１９に表示された情報をサーバ装置２に記憶させる。このとき、記憶させた時刻を関連付けて記憶させてもよい。時刻を画像や音声等と共に記憶することで、記憶された演習がどの演習の際の値であるかを確認することができる。
以上、医療機器の操作方法を想定して主に説明してきたが、本発明の学習システムはこれに限らず、他の学習に用いることができる。例えば、包帯の巻き方、ベッドメイキングのやり方、点滴静脈内注射の実施方法といった手技・手法の実行方法などである。また、調理の実習、美容に関する実習、トリマーの実習、工具の取り扱いなど、様々な分野の教育において活用することができる。また、例えば、学習者端末１の表示画面１９に事例を表示させ、「こういった場合、どのように対応する？」といった学習者に答えを考えさせるような学習にも用いることができる。
さらに、学習者端末１と指導者端末４とは通信接続が可能である。これにより、例えば、学習者が演習する場所に指導者がいない場合においても、学習者の実施に関する動画像情報や音声情報を指導者端末４に転送し、リアルタイムで指導者にアドバイスを求めることができる。このとき、指導者は、学習者端末１から送信された動画像情報や音声情報を確認し、学習者端末１の動画像情報に自身の手や目印を重畳して、学習者端末１の表示画面１９に表示させることができる。さらに、指導者からのアドバイスを文字情報で表示してもよいし、指導者の音声を学習者端末１より出力してもよい。これにより、学習者は指導者からのアドバイスを誤認することなく理解できる。また、実施に関する動画像情報や音声情報を指導者端末４から学習者端末１に転送し、実施の手本を学習者に提示することができる。指導者端末４は複数の学習者端末１とも通信接続が可能であるので、複数の学習者が存在する教育現場において、効率よく指導者からの情報を学習者に提示することができる。また、指導者が学習者端末１と同様のグラス型ウェアラブル端末を用いる場合、学習者は指導者の目線の画像情報を閲覧することができるので、再現良く学習者は演習を実施することができる。
以下に本発明の参考例１及び参考例２について説明をするが、本発明はこれらにより何ら限定されるものではない。
［参考例１］
本発明の実施の形態にかかる学習システムを、血液透析回路の組み立てとプライミングの学習に用いた。血液透析回路の組み立てとプライミングには、物品準備、組み立て、最終点検等の学習項目が含まれる。
学習者が装着するグラス型ウェアラブル端末には、学習項目が表示される。具体的には、操作内容に関する文章と画像である。また、学習者は、「ＯＫ・ＮＧ・もう一度・前に戻る」の音声を発話することで、表示画面や前後の学習項目を選択することができる。
（学習システムの構成）
学習システムは、グラス型ウェアラブル端末、コントローラ、ワイヤレスヘッドセット、及びコンピュータ装置より構成されたものを用いた。グラス型ウェアラブル端末は、画面解像度が１２８０×７２０、ＲＧＢのスマートグラスを使用した。グラス型ウェアラブル端末は、上述の表示機能を有する。さらに、上述の音声取得機能、音声出力機能を有するＢｌｕｅｔｏｏｔｈヘッドセットを使用した。
また、音声認識機能が備えられているコントローラを使用した。認識した音声による表示画面の制御には、コンピュータ装置に組み込まれた現場作業支援ソリューションソフトウェアを改良し、使用した。学習プログラムの作成では、画面表示に必要な部品とプライミング工程ごとの写真を撮影し、その工程でのガイダンス内容を文字列とし、演習の操作指示（学習項目）データを作成した。工程にしたがって学習項目の表示順序を決め、現場作業支援ソリューションソフトウェア内のマニュアル作成用Ｅｘｃｅｌファイルに入力し、プログラム化した。学習項目は３７工程のものを用いた。
学習の対象者は、血液透析回路組み立て未経験者９名とした。また、評価者は，血液透析回路の組み立てとプライミング方法をすでに習得した１０名とした。
以上より構成された学習システムを用いて、血液透析回路の組み立てとプライミングの操作に関する学習プログラムを図６及び図９のステップＳ３０、Ｓ３１のフローチャートに従って演習を実施させた。その後、１週間おきに５回、学習プログラムによる演習を実施させた。５回目の演習の実施直後に学習プログラムを用いずに演習の実施を行った。さらにその１か月後に学習プログラムを用いずに演習の実施を行い、評価項目について採点した。学習効果の評価には、ギブアップ率、出来栄え点、及び一連の演習の所要時間を用いた。
（ギブアップ率）
作業が完了出来ないと対象者が判断し、ギブアップを宣言した人数を対象者の人数で除して、ギブアップ率を算出した。また、ギブアップ者の実験結果は、出来栄え点及び所要時間の判定から外した。
（出来栄え点）
出来栄え点は、評価者の採点によって行った。組み立てを完了後、評価者が出来栄え点の表にしたがって評価を行い、１５点満点とした。
［参考例２］
グラス型ウェアラブルに表示される学習項目の操作を学習者の発話による音声入力ではなく、手動（学習者の合図により第三者が画面の切り替えを行う）による入力に変更した。また、学習項目は４２工程のものを用いた。また、学習プログラムによる演習の実施は、最初に演習を実施させ、２週間おきに２回、演習の実施を行った。さらにその２か月後に学習プログラムを用いずに操作を行い、評価項目について採点した。参考例２の学習システムには音声認識機能、音声取得機能、音声出力機能は備えられていない。その他の事項は、参考例１と同様の学習システムを用いた。
なお、学習の対象者は、血液透析回路組み立て未経験者１８名とした。また、評価者は、血液透析回路の組み立てとプライミング方法をすでに習得した５名程度とした。
また、参考例２において、出来栄え点は１０点満点とした。
［結果］
参考例２と参考例１との結果を比較すると、ギブアップ率は６／１８（３３％）：１／９（１１％）、出来栄え点は８．６／１０（８６％）：１３．６／１５（９１％）、所要時間は１８．３分：１７．３分であった。ギブアップ率が下がり、出来栄え点及び所要時間が向上した。
以上から明らかなように、本発明の学習システムによれば、学習者に効果的な学習方法を提供することができる。
１、１ａ、１ｂ、１ｚ：学習者端末 ２：サーバ装置 ３：通信ネットワーク
４：指導者端末 １１：制御部 １２：ＲＡＭ １３：ストレージ部
１４：グラフィックス処理部 １５：通信インタフェース
１６：インタフェース部 １７：外部メモリ １８：表示部 １９：表示画面
２１：制御部 ２２：ＲＡＭ ２３：ストレージ部 ２４：通信インタフェース
１１１：音声取得部 １１２：撮像部 １１３：音声出力部 １１４：センサ部
１１４ａ：温度センサ １１４ｂ：湿度センサ １１４ｃ：気圧センサ
１２１ａ、１２１ｂ、１２１ｃ：医療機器
１２２ａ、１２２ｂ、１２２ｃ：学習プログラム
１２３ａ、１２３ｂ：医療機器の部位 １２４：学習項目 ２００：表示領域
２０１：演習指示文章表示領域 ２０２：演習指示動画像表示領域
２０３：時間表示領域 ２０４：判定結果

Claims (15)

  1. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得手段と
    を備え、
    学習プログラム実行手段が、グラス型ウェアラブル端末の撮像機能によって取得された画像内の学習対象の画像に基づき、該学習対象に関する学習プログラムを出力し、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習システム。
  2. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、
    グラス型ウェアラブル端末に備えられた音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する音声情報を取得する演習情報取得手段と、
    取得した演習の状況又は結果に関する音声情報をもとに、学習者の演習の状況又は結果を評価する評価手段と
    を備え、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習システム。
  3. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得手段と、
    取得した演習の状況又は結果に関する画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する評価手段と、
    評価手段による評価の結果に応じて、更なる学習が必要とされる学習項目を出力する出力手段と
    を備え、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習システム。
  4. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得手段と、
    グラス型ウェアラブル端末に備えられた撮像機能により、学習プログラムの実行時における学習者の動作に関する画像情報を取得する入力指示取得手段と、
    取得した学習者の動作に関する画像情報に応じて、該画像情報に関連付けられた学習プログラムの進行のための入力を実行する入力手段と
    を備え、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習システム。
  5. 学習対象が、機器の使用方法、又は、手技の実行方法である、請求項１～４のいずれかに記載の学習システム。
  6. 取得した演習の状況又は結果に関する画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する評価手段を
    備え、
    評価手段が、学習者による演習の開始から終了までの時間、及び、取得した演習の状況又は結果に関する、画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する、請求項１～５のいずれかに記載の学習システム。
  7. 評価手段が、学習者の演習の状況又は結果として、学習の到達度、学習対象に対する理解度、及び／又は、学習対象の習熟度を出力する、請求項２～６のいずれかに記載の学習システム。
  8. 演習情報取得手段が、演習の状況又は結果に関する動画像情報を取得し、
    取得した動画像情報、及び／又は音声情報をもとに動画像、及び／又は音声を再生する再生手段と
    を備える、請求項１～７のいずれかに記載の学習システム。
  9. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムであって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行手段と、
    学習者が学習している空間の環境情報を測定する環境測定手段と
    を備え、
    学習プログラム実行手段が、測定された環境に応じた学習プログラムを実行する、学習システム。
  10. さらに、指導者が操作するコンピュータ装置を備え、
    コンピュータ装置が、学習者が装着するグラス型ウェアラブル端末と通信接続が可能である、請求項１～９のいずれかに記載の学習システム。
  11. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得ステップと
    を有し、
    学習プログラム実行ステップが、グラス型ウェアラブル端末の撮像機能によって取得された画像内の学習対象の画像に基づき、該学習対象に関する学習プログラムを出力し、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習方法。
  12. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、
    学習者が学習している空間の環境情報を測定する環境測定ステップと
    を有し、
    学習プログラム実行ステップが、測定された環境に応じた学習プログラムを実行する、学習方法。
  13. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、
    グラス型ウェアラブル端末に備えられた音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する音声情報を取得する演習情報取得ステップと、
    取得した演習の状況又は結果に関する音声情報をもとに、学習者の演習の状況又は結果を評価する評価ステップと
    を有し、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習方法。
  14. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得ステップと、
    取得した演習の状況又は結果に関する画像情報又は音声情報をもとに、学習者の演習の状況又は結果を評価する評価ステップと、
    評価手段による評価の結果に応じて、更なる学習が必要とされる学習項目を出力する出力手段と
    を有し、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習方法。
  15. 少なくとも、学習者が装着するグラス型ウェアラブル端末を備え、演習を通して学習対象について学習をするための学習システムにおいて実行される学習方法であって、
    学習対象について学習するための演習の実施を学習者に促す学習プログラムを実行する学習プログラム実行ステップと、
    グラス型ウェアラブル端末に備えられた撮像機能、及び／又は音声取得機能により、学習プログラムの実行時における学習者による演習の状況又は結果に関する、画像情報、及び／又は音声情報を取得する演習情報取得ステップと、
    グラス型ウェアラブル端末に備えられた撮像機能により、学習プログラムの実行時における学習者の動作に関する画像情報を取得する入力指示取得ステップと、
    取得した学習者の動作に関する画像情報に応じて、該画像情報に関連付けられた学習プログラムの進行のための入力を実行する入力ステップと
    を有し、
    学習プログラムが、グラス型ウェアラブル端末に表示され、
    学習者が、学習プログラムを視認して演習を実施する、学習方法。
JP2021090361A 2021-05-28 2021-05-28 学習システム及び学習方法 Active JP7082384B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021090361A JP7082384B1 (ja) 2021-05-28 2021-05-28 学習システム及び学習方法
US17/826,407 US20220392361A1 (en) 2021-05-28 2022-05-27 Learning system and learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021090361A JP7082384B1 (ja) 2021-05-28 2021-05-28 学習システム及び学習方法

Publications (2)

Publication Number Publication Date
JP7082384B1 true JP7082384B1 (ja) 2022-06-08
JP2022182673A JP2022182673A (ja) 2022-12-08

Family

ID=81940201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021090361A Active JP7082384B1 (ja) 2021-05-28 2021-05-28 学習システム及び学習方法

Country Status (2)

Country Link
US (1) US20220392361A1 (ja)
JP (1) JP7082384B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145553B1 (ja) 2022-06-23 2022-10-03 英明 原田 遠隔指導管理装置及び遠隔指導システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527866B1 (ko) * 2022-12-09 2023-04-28 황지섭 산업용 장비의 교육을 위한 딥러닝 콘솔장치 및 그 장치의 구동방법
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007185400A (ja) 2006-01-16 2007-07-26 Univ Waseda 医療用手技評価システム、手技評価装置及び手技評価装置用プログラム
JP2011227365A (ja) 2010-04-22 2011-11-10 Osaka Prefecture Univ 医療看護技術学習支援装置および医療看護技術学習方法
JP2013148667A (ja) 2012-01-18 2013-08-01 Idemitsu Kosan Co Ltd プラント訓練装置およびプラント訓練方法
WO2015097825A1 (ja) 2013-12-26 2015-07-02 独立行政法人科学技術振興機構 動き学習支援装置及び動き学習支援方法
JP2016062026A (ja) 2014-09-19 2016-04-25 株式会社日立ソリューションズ 作業工程学習支援システム
US20160125763A1 (en) 2014-11-05 2016-05-05 Illinois Tool Works Inc. System and method of reviewing weld data
JP2016170362A (ja) 2015-03-14 2016-09-23 国立大学法人 千葉大学 手術トレーニングプログラム及び手術トレーニングシステム
JP2016194564A (ja) 2015-03-31 2016-11-17 Ｎｅｃソリューションイノベータ株式会社 技能学習支援装置、技能学習支援方法、及びプログラム
JP2018132889A (ja) 2017-02-14 2018-08-23 浩平 田仲 情報提供システム、情報提供装置、情報提供方法及び情報提供プログラム
JP2020087091A (ja) 2018-11-28 2020-06-04 株式会社日立ビルシステム 熟練度判定システム
JP2020086075A (ja) 2018-11-22 2020-06-04 株式会社タマイインベストメントエデュケーションズ 学習支援システム、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057899A (ko) * 2012-11-05 2014-05-14 주식회사 차후 위치 기반 서비스를 이용한 외국어 체험학습 시스템
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US10105782B2 (en) * 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
KR101963867B1 (ko) * 2016-12-23 2019-07-31 (주)뮤테이션 이러닝 서버, 이를 포함하는 이러닝 시스템 및 그 서비스 방법
US11227439B2 (en) * 2018-03-29 2022-01-18 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
US11200811B2 (en) * 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
US10607084B1 (en) * 2019-10-24 2020-03-31 Capital One Services, Llc Visual inspection support using extended reality

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007185400A (ja) 2006-01-16 2007-07-26 Univ Waseda 医療用手技評価システム、手技評価装置及び手技評価装置用プログラム
JP2011227365A (ja) 2010-04-22 2011-11-10 Osaka Prefecture Univ 医療看護技術学習支援装置および医療看護技術学習方法
JP2013148667A (ja) 2012-01-18 2013-08-01 Idemitsu Kosan Co Ltd プラント訓練装置およびプラント訓練方法
WO2015097825A1 (ja) 2013-12-26 2015-07-02 独立行政法人科学技術振興機構 動き学習支援装置及び動き学習支援方法
JP2016062026A (ja) 2014-09-19 2016-04-25 株式会社日立ソリューションズ 作業工程学習支援システム
US20160125763A1 (en) 2014-11-05 2016-05-05 Illinois Tool Works Inc. System and method of reviewing weld data
JP2016170362A (ja) 2015-03-14 2016-09-23 国立大学法人 千葉大学 手術トレーニングプログラム及び手術トレーニングシステム
JP2016194564A (ja) 2015-03-31 2016-11-17 Ｎｅｃソリューションイノベータ株式会社 技能学習支援装置、技能学習支援方法、及びプログラム
JP2018132889A (ja) 2017-02-14 2018-08-23 浩平 田仲 情報提供システム、情報提供装置、情報提供方法及び情報提供プログラム
JP2020086075A (ja) 2018-11-22 2020-06-04 株式会社タマイインベストメントエデュケーションズ 学習支援システム、プログラム
JP2020087091A (ja) 2018-11-28 2020-06-04 株式会社日立ビルシステム 熟練度判定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
藤田保健衛生大学とサン電子産学連携でスマートグラスを医学教育現場での活用に向けた共同実証実験を開始，[online]，2017年03月15日，インターネット: <URL：https://acereal.jp/news/detail/?id=2>，[検索日2021.11.24]

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145553B1 (ja) 2022-06-23 2022-10-03 英明 原田 遠隔指導管理装置及び遠隔指導システム
JP2024002129A (ja) * 2022-06-23 2024-01-11 英明 原田 遠隔指導管理装置及び遠隔指導システム

Also Published As

Publication number Publication date
US20220392361A1 (en) 2022-12-08
JP2022182673A (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
JP7082384B1 (ja) 学習システム及び学習方法
Damian et al. Augmenting social interactions: Realtime behavioural feedback using social signal processing techniques
US20040152058A1 (en) Video instructional system and method for teaching motor skills
KR102114207B1 (ko) 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
US20190130788A1 (en) Virtual Reality Microsimulation Platform
US20030044757A1 (en) Video instructional system and method for teaching motor skills
WO2020179128A1 (ja) 学習支援システム、学習支援装置及びプログラム
JP4631014B2 (ja) 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム
CN103959357A (zh) 用于眼科检查培训的系统、方法和计算机程序
US9248361B1 (en) Motion capture and analysis systems for use in training athletes
KR20190074563A (ko) 모션인식과 가상현실을 이용한 치매고위험군과 경도인지장애를 위한 평가 및 훈련장치와 그 방법
JP2011227365A (ja) 医療看護技術学習支援装置および医療看護技術学習方法
KR101960815B1 (ko) 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
US20200251211A1 (en) Mixed-Reality Autism Spectrum Disorder Therapy
KR20190048144A (ko) 발표 및 면접 훈련을 위한 증강현실 시스템
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
KR20210051278A (ko) 언어장애인의 언어기능 개선을 위한 웹 음성인식 및 몰입형 가상현실 기반 인지 언어 재활 원격 훈련 시스템
US20190005831A1 (en) Virtual Reality Education Platform
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
KR102312298B1 (ko) 스마트 글라스를 이용한 cpr 및 aed ar 교육 시스템 및 그 방법
CN113748449A (zh) 评估和培训系统
KR20200092659A (ko) 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법
WO2022070747A1 (ja) アシストシステム、アシスト方法、およびアシストプログラム
Fitzgerald et al. Usability evaluation of e-motion: a virtual rehabilitation system designed to demonstrate, instruct and monitor a therapeutic exercise programme
KR102325506B1 (ko) 가상현실 기반의 의사소통 개선 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210603

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220519

R150 Certificate of patent or registration of utility model

Ref document number: 7082384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150