JP7393445B2 - 訓練教材提示システムおよび訓練教材提示方法 - Google Patents

訓練教材提示システムおよび訓練教材提示方法 Download PDF

Info

Publication number
JP7393445B2
JP7393445B2 JP2022007065A JP2022007065A JP7393445B2 JP 7393445 B2 JP7393445 B2 JP 7393445B2 JP 2022007065 A JP2022007065 A JP 2022007065A JP 2022007065 A JP2022007065 A JP 2022007065A JP 7393445 B2 JP7393445 B2 JP 7393445B2
Authority
JP
Japan
Prior art keywords
work
simulated
information
training
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022007065A
Other languages
English (en)
Other versions
JP2022064925A (ja
Inventor
貴之 藤原
慎太郎 土屋
健太郎 大西
克朗 菊地
賀仁 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2022007065A priority Critical patent/JP7393445B2/ja
Publication of JP2022064925A publication Critical patent/JP2022064925A/ja
Application granted granted Critical
Publication of JP7393445B2 publication Critical patent/JP7393445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、対象機器の保守作業向け訓練教材を訓練者に提示する訓練教材提示システムおよび訓練教材提示方法に関する。
対象機器の保守作業が実施される前に、作業者に保守作業の手順・内容を理解させるための訓練が行われている。通常、訓練は、インストラクタが対象機器の構造、保守作業の手順・内容などを実際の対象機器を用いて説明する、集合教育の形式で行われている。
一方、集合教育の代わりに、或いは併用して、コンピュータを利用して作業者を個別に訓練するための訓練システムも既に知られている(例えば、特許文献1参照)。
特許文献1には、保守作業における準備作業、必要工具、作業内容を提供する図面、画像、テキスト、音声などのマルチメディアデータを編集して教材とする、プラント用の保守教育訓練システムが開示されている。
特開平10-268746号公報
しかしながら、特許文献1に記載の従来のプラント用の保守教育訓練システムにあっては、保守作業の対象機器について訓練者がある程度の専門知識を有していることを前提としたものであり、訓練者に保守作業の対象機器についての専門知識がなくても保守作業の手順・内容を理解させることに関して、何ら考慮されていなかった。
本発明は、上述のような課題を解決するためになされたものであり、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる保守作業訓練システムおよび保守作業訓練方法を提供することを目的とする。
本発明に係る訓練教材提示システムは、上記目的を達成するため、対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、を備え、前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報である第1の入力情報を取得可能であり、前記出力情報生成装置が、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記インストラクタとは異なる訓練者(4)が前記模擬作業を行う際に用いられる前記所定の出力条件であって、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定し、前記所定の出力条件に基づいて、前記模擬作業の作業対象部位および前記模擬作業に使用する適切なツールを操作対象画像表示領域(502)に表示出力するとともに、前記訓練者が行うべき前記模擬作業の操作入力の指示をインストラクション表示領域(501)に表示出力するための表示画面を生成するとともに、前記訓練者による前記模擬作業の操作入力に応じて、前記保守作業の作業手順に従って表示画面を遷移させ、前記操作対象画像表示領域(502)内で、前記作業対象部位(402)の画像の近くに、その作業対象部位の操作に使用する適切なツールの画像(403)を表示することを特徴としている。
この構成により、インストラクタの模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。
また、本発明の訓練教材提示システムでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであってもよい。
また、本発明の訓練教材提示方法は、対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、を含む各ステップをコンピュータにより実行する訓練教材提示方法であり、前記情報入力ステップでは、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、前記出力情報生成ステップでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記インストラクタとは異なる訓練者(4)が前記模擬作業を行う際に用いられる前記所定の出力条件であって、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定し、前記所定の出力条件に基づいて、前記模擬作業の作業対象部位および前記模擬作業に使用する適切なツールを操作対象画像表示領域(502)に表示出力するとともに、前記訓練者が行うべき前記模擬作業の操作入力の指示をインストラクション表示領域(501)に表示出力するための表示画面を生成するとともに、前記訓練者による前記模擬作業の操作入力に応じて、前記保守作業の作業手順に従って表示画面を遷移させ、前記操作対象画像表示領域(502)内で、前記作業対象部位(402)の画像の近くに、その作業対象部位の操作に使用する適切なツールの画像(403)を表示することを特徴としている。
この構成により、インストラクタの模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。
また、本発明の訓練教材提示方法では、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであってもよい。
本発明によれば、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる訓練教材提示システムおよび訓練教材提示方法を提供することができる。
本発明の実施形態に係る訓練教材提示システムの構成図である。 図1に示された動作取得端末の構成図である。 図2に示された作業情報記録データベースの構成図である。 図1に示された訓練教材生成サーバの構成図である。 図4に示されたテンプレートデータベースの構成図である。 図1に示された訓練教材実行端末の構成図である。 図6に示された実行情報記録データベースの構成図である。 本実施形態に係る訓練教材提示方法のフローチャートである。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(教育モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(機器構造説明用)を示す図である。
以下、本発明の実施形態に係る訓練教材提示システムについて、図面を参照して説明する。
本実施形態に係る訓練教材提示システム1は、対象機器の保守作業の技術、特に作業手順を習得するための訓練教材を訓練者に提示するためのシステムである。以下では、対象機器の例としてエアロバイク(登録商標)を用いて説明するが、保守作業の対象機器がこれに限定されないことは勿論である。
本実施形態に係る訓練教材提示システム1は、対象機器401の保守作業に関連する3次元画像(3DCG(Three-dimensional computer graphics)データ)を含む訓練教材を作業空間表示と共に提示する一方、保守作業の各段階に対応する模擬作業の操作入力に応じて訓練教材の提示内容を変化させるようになっている。
図1は、本発明の実施形態に係る訓練教材提示システム1の構成を示す構成図である。図1に示すように、訓練教材提示システム1は、動作取得端末10と、訓練教材生成サーバ20と、訓練教材実行端末30とを備え、それらが通信ネットワーク40を介して接続されている。
訓練教材提示システム1は、通信ネットワーク40を介さない構成であってもよく、また、動作取得端末10と訓練教材生成サーバ20と訓練教材実行端末30とのうち任意の2つの組合せを統合して1つの装置(或いはサーバ又は端末)として実現してもよいし、3つを統合して1つの装置としてもよい。
(動作取得端末)
まず、動作取得端末10について説明する。
動作取得端末10は、タブレット端末、パーソナルコンピュータ(PC)、スマートフォンなどであり、保守作業の訓練教材を生成(オーサリング)するための情報を取得するようになっている。具体的には、動作取得端末10は、保守作業の各段階に対応する模擬作業における、インストラクタ3による選択操作もしくは操作入力の情報(第1の入力情報という)を取得するようになっている。なお、動作取得端末10は本発明の情報入力装置および出力情報生成装置に対応する。
例えば、保守作業の対象機器がエアロバイクの場合、エアロバイクのコンソール取り外し段階に対応する模擬作業の「選択操作・操作入力」は、使用するツール(工具)の選択操作、ツールを使用する作業対象部位(例えば六角ボルト)の選択操作、コンソールを特定方向に移動させて取り外す操作入力などである。
動作取得端末10は、模擬作業におけるインストラクタ3の画像、動画、音声、身体の動き、作業場所の位置情報などの情報を取得するようにしてもよい。これらの情報を画像処理等により分析することにより、模擬作業における選択操作・操作入力の情報を得ることができる。
図2は、動作取得端末10の構成を示す構成図である。図2に示すように、動作取得端末10は、制御部100、各種処理プログラムを格納したメモリ110、各種データベースを格納したストレージ120、通信部101、センシング部102、録音部103、録画部104、表示部105、操作部106、および電源供給部107を備えており、これらが接続ライン(或いはバス)130により接続されている。
制御部100は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ110に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
通信部101は、通信ネットワーク40を介して訓練教材生成サーバ20および訓練教材実行端末30と通信を行うようになっている。
録音部103は、マイクを備え、作業時のインストラクタ3の音声、作業対象機器から発する音、周囲の音などを録音するようになっている。
録画部104は、カメラまたはビデオカメラを備え、例えば、作業対象機器とインストラクタ3の腕が映り込むようにして、作業を録画するようになっている。
表示部105は、例えば液晶ディスプレイであり、パーソナルコンピュータ(PC)、タブレット端末などの表示部で構成される。
操作部106は、例えばキーボード、マウス、タッチパネルなどを備え、インストラクタ3からの入力操作を検知できるようになっている。
センシング部102は、ToF(Time Of Flight)センサを備え、作業対象機器とインストラクタ3との距離を測定することにより、作業対象機器に対するインストラクタ3の空間的な位置関係を検知するようになっている。これにより、例えば、インストラクタ3と作業対象機器との接触を検知できるようになっている。また、センシング部102は、GPS(Global Positioning System)により動作取得端末10の位置を検出できるようになっている。
電源供給部107は、動作取得端末10を駆動するのに必要な電力を供給するようになっている。
メモリ110には、動作集計処理部111、教材生成処理部112、および情報送受信処理部113を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部100のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
動作集計処理部111は、制御部100のCPUにより処理プログラムが実行されることにより、インストラクタ3の動作(選択操作・操作入力)の情報を取得し、集計するようになっている。インストラクタ3の動作の情報は、ストレージ120に格納された作業情報記録データベース121に記憶されるようになっている。
教材生成処理部112は、制御部100のCPUにより処理プログラムが実行されることにより、3DCGエンジンを用いて訓練教材(コンテンツ)を作成する処理を実行するようになっている。
情報送受信処理部113は、制御部100のCPUにより処理プログラムが実行されることにより、通信部101を駆動、制御して訓練教材生成サーバ20または訓練教材実行端末30と情報を送受する処理を実行するようになっている。
ストレージ120には、作業情報記録データベース121が格納されている。
図3は、作業情報記録データベース121の構成を示す構成図である。図3に示すように、作業情報記録データベース121の各レコード(行)に記録される項目は、インストラクタ番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、記録動画、および記録音声である。
インストラクタ番号は、各インストラクタ3に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。
使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた識別番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。
記録動画は、作業を記録した動画ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時に音声を記録した音声ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録音声にアクセスできるようになっている。
なお、記録動画、記録音声は、インストラクタ3が動作取得端末10の表示部105に選択可能または操作可能に表示された画像に対して、操作部106を用いて選択操作を行う場合には、記録動画、記録音声は無くてもよい。
作業情報記録データベース121には、インストラクタ3が作業番号と手順番号で特定される作業工程を実施するごとに、レコード(行)データが追加されるようになっている。
(訓練教材生成サーバ)
次に、訓練教材生成サーバ20について説明する。
図4は、訓練教材生成サーバ20の構成図である。図4に示すように、訓練教材生成サーバ20は、制御部200、各種処理プログラムを格納したメモリ210、各種データベースを格納したストレージ220、通信部201、表示部205、操作部206、および電源供給部207備えており、これらが接続ライン(或いはバス)230により接続されている。
なお、訓練教材生成サーバ20が本発明の出力情報生成装置に対応し、ストレージ220が、本発明の記憶装置に対応する。
制御部200は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、訓練教材生成サーバ20の機能の一部または全部は、メモリ210に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
通信部201は、通信ネットワーク40を介して動作取得端末10および訓練教材実行端末30と通信を行うようになっている。
表示部205は、液晶ディスプレイ等で構成され、訓練教材、インストラクタ3の作業映像、訓練教材提示システムの管理状況等を表示できるようになっている。
操作部206は、例えばキーボード、マウス、タッチパネルなどを備え、操作者からの入力操作を検知できるようになっている。
電源供給部207は、訓練教材生成サーバ20を駆動するのに必要な電力を供給するようになっている。
メモリ210には、動作集計処理部211、教材生成処理部212、および情報送受信処理部213を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部200のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
動作集計処理部211は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報の集計処理を行うようになっている。
教材生成処理部212は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報を基に3DCGエンジンを用いて訓練教材の生成処理を行うようになっている。
情報送受信処理部213は、制御部200のCPUにより処理プログラムが実行されることにより、通信部201を駆動、制御して動作取得端末10または訓練教材実行端末30と情報を送受する処理を実行するようになっている。
ストレージ220には、テンプレートデータベース221、および訓練教材データベース222が格納されている。
図5は、テンプレートデータベース221の構成を示す構成図である。図5に示すように、テンプレートデータベース221の各レコード(行)に記録される項目は、テンプレート番号、進行パターン番号、および画面構成番号である。
テンプレート番号は、訓練教材が用いるテンプレートに一意に割り当てられた識別番号である。進行パターン番号は、訓練者4からの操作入力により表示画面が進行するパターンに一意的に割り当てられた識別番号である。例えば、進行パターン番号が1の場合、表示部205に表示される画面構成は、訓練者4からの操作入力がある度に画面構成番号1→画面構成番号2→画面構成番号4のように変化(進行)していく。
画面構成番号は、表示部205に表示される画面構成に一意的に割り当てられた識別番号である。例えば、画面構成番号1は、図9に示すように、画面右上にインストラクション表示領域501と、画面右下に操作対象画像表示領域502と、画面左にガイド表示領域503とを有し、操作対象画像表示領域502に対象機器401を示す操作対象画像400が表示される配置パターンを示す。
教材生成処理部212は、テンプレートデータベース221に登録されているテンプレート番号を指定することにより、訓練画面の進行パターンを特定することができる。
新たな進行パターンが考案されるごとに、レコード(行)データが追加されるようになっている。
訓練教材データベース222は、教材生成処理部212により生成された訓練教材を記憶したものである。訓練教材は、各教材に一意に割り当てられた教材番号、対象機器名、作業内容等によって紐付けられており、教材番号等の情報を基に検索、取得できるようになっている。
(訓練教材実行端末)
次に訓練教材実行端末30について説明する。
訓練教材実行端末30は、例えば、タブレット端末、PCなどである。なお、訓練教材実行端末30は本発明の情報入力装置、および表示出力装置に対応する。
図6は、訓練教材実行端末30の構成を示す構成図である。図6に示すように、訓練教材実行端末30は、制御部300、各種処理プログラムを格納したメモリ310、各種データベースを格納したストレージ320、通信部301、表示部305、操作部306、および電源供給部307を備えている。
制御部300は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ310に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
通信部301は、通信ネットワーク40を介して訓練教材生成サーバ20および動作取得端末10と通信を行うようになっている。
表示部305は、例えば液晶ディスプレイであり、タブレット端末、PCなどの表示部で構成される。
操作部306は、例えばキーボード、マウス、タッチパネルなどを備え、訓練者4からの入力操作を検知できるようになっている。
電源供給部307は、訓練教材実行端末30を駆動するのに必要な電力を供給するようになっている。
メモリ310には、教材実行処理部311、実行データ集計処理部312、および情報送受信処理部313を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部300のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
教材実行処理部311は、制御部300のCPUにより処理プログラムが実行されることにより、訓練教材生成サーバ20から配信された訓練教材を実施する処理を実行するようになっている。訓練教材の実施とは、訓練教材に含まれる表示画面を表示部305に表示し、操作部306に対する訓練者4からの操作入力に従って演習や教育を進行していくことである。
実行データ集計処理部312は、制御部300のCPUにより処理プログラムが実行されることにより、訓練者4が実行した選択操作・操作入力の情報を取得し、集計するようになっている。訓練者4の実行情報は、ストレージ320に格納された実行情報記録データベース321に記憶されるようになっている。
情報送受信処理部313は、制御部300のCPUにより処理プログラムが実行されることにより、通信部301を駆動、制御して訓練教材生成サーバ20または動作取得端末10と情報を送受する処理を実行するようになっている。
ストレージ320には、実行情報記録データベース321が格納されている。
図7は、実行情報記録データベース321の構成を示す構成図である。図7に示すように、実行情報記録データベース321の各レコード(行)に記録される項目は、訓練者番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、正誤、および習熟度である。
訓練者番号は、各訓練者4に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。
使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。
正誤は、訓練者4による作業内容(使用工具、作業対象部位、操作)がインストラクタ3の作業内容と一致しているか否かを示す。例えば、○印は一致を示し、×印は不一致を示す。
習熟度は、訓練者4の作業の習熟度を示し、訓練者4による作業内容(使用工具、作業対象部位、操作)とインストラクタ3の作業内容との一致度合いに応じてランク付けされている。習熟度は例えばA,B,Cの3段階(A>B>C)で表し、図7では、手順1~3のうち2つが正解で、1つが不正解であったので、習熟度は中間のBとされている。
実行情報記録データベース321には、訓練者4が作業番号と手順番号で特定される作業を行うごとに、レコード(行)データが追加されるようになっている。
次に、本実施形態に係る訓練教材提示方法を説明する。
図8は、本実施形態に係る訓練教材提示方法のフローチャートである。まず、訓練教材の生成段階について説明する。
訓練教材の生成段階では、動作取得端末10において、インストラクタ3が模擬作業を行い、模擬作業における操作入力の情報を取得する(S1)。具体的には、インストラクタ3が、動作取得端末10の表示画面に操作可能に表示された対象機器の3DCGデータの画像に対して、マウス、キーボード、タッチパネルなどの操作部106を用いて操作し、その操作入力の情報を動作取得端末10が取得する。
模擬作業での操作入力の情報は、インストラクタ3による模擬作業を撮影した映像を基に画像処理等を用いて取得するようにしてもよい。
一方、訓練教材生成サーバ20は、保守作業の作業対象部位と保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像としてストレージ220に記憶するとともに(S2)、ステップS1で取得した操作入力の情報を基に模擬作業の操作入力の手順をストレージ220に記憶する(S3)。
次に、訓練教材生成サーバ20が、ステップS2、S3で記憶された記憶情報に基づいて、第1~第3表示画面を含めて訓練教材の表示画面を表示出力可能に生成する(S4)。第1表示画面(図16の70A)は、ステップS2で記憶した複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定のツールを表示する画面である。第2表示画面(図17の70B)は、複数の操作対象画像のうち特定工程の作業対象部位を表示する画面である。第3表示画面(図18の70C)は、特定工程の作業対象部位に対する模擬作業の操作入力を実行可能な画面である。
上述したように、第1表示画面、第2表示画面および第3表示画面の各画面は、インストラクション表示領域(701)と操作対象画像表示領域(702)とを含んでいる。インストラクション表示領域は、選択操作または操作入力を要求する表示領域である。操作対象画像表示領域は、複数の操作対象画像のうちインストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する選択操作または模擬作業の操作入力を実行可能に表示する表示領域である。
次に、訓練教材の実行段階について説明する。
図8に示すように、まず、訓練者4が保守作業の対象となる機器名および訓練メニューを訓練教材実行端末30に入力する(S5)。訓練メニューの項目としては、例えば、教育モード、演習モードがある。
次に、訓練者4が入力した機器名および訓練メニューの情報が訓練教材生成サーバ20に送信される(S6)。
訓練教材生成サーバ20は、訓練教材実行端末30から受信した機器名および訓練メニューの情報を基に対応する訓練教材(コンテンツ)を検索し、検索で見つかった訓練教材を訓練教材実行端末30に配信する(S7)。
次いで、訓練教材実行端末30が、表示部305の表示画面上に、配信された訓練教材の第1表示画面、第2表示画面および第3表示画面の各画面を所定の出力条件に従って表示出力する(S8)。
訓練者4は、訓練教材実行端末30の表示画面のインストラクション表示領域に表示された指示に従って、操作部306を用いて操作を行い、訓練教材実行端末30は模擬作業におけるこの操作入力の情報を取得する(S9)。
ステップS10では、訓練或いは工程が終了したか否かを判断し、未終了の場合はステップS8に戻り、終了の場合はステップS11に進む。
ステップS11では、ステップS9において取得した訓練者4の操作入力と、訓練教材の生成段階のステップ1で取得したインストラクタ3による操作入力とを比較判定し、その一致度合に応じて保守作業の習熟度を評価する(S11)。例えば、習熟度をA,B,C(習熟度はA>B>C)や、1~10の整数(大きいほど習熟度大)によりランク付けしてもよい。
訓練教材実行端末30は、保守作業についての訓練者4の習熟度をストレージ320の実行情報記録データベース321に記録し管理する(S12)。
次に、訓練教材実行端末30における訓練教材の実行について、表示部305の表示画面を参照して説明する。
まず、訓練メニューのモードが「教育」の場合について説明する。
図9、図10、図11は、教育モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図9に示すように、教育モードの表示画面50Aは、インストラクション表示領域501、操作対象画像表示領域502、およびガイド表示領域503を含む。
インストラクション表示領域501は、訓練者4に対する指示内容が表示される領域であり、例えば、「「バルブ交換」をクリックしてください」などと表示される。
操作対象画像表示領域502は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。
ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。
図9の表示画面50Aにおいて、訓練者4がガイド表示領域503に記載された「バルブ交換」をマウスでクリックすると、操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する部品(作業対象部位402)の表示色が変わるようになっている。
次いで、図10の表示画面50Bに進み、インストラクション表示領域501に「「(1)カバーを外す」をクリックしてください」と表示される。操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する作業対象部位402(ネジ)が点滅して表示される。また、作業対象部位402の近くに工具404(ネジまわし)が映った工具画像403が表示される。また、ガイド表示領域503内でクリックされて操作が完了した項目は、色が変わるか、下線が付されるか、太字にされるかなどの表示により完了したことが分かるようになっている。この状態で、訓練者4は、ガイド表示領域503内の「(1)カバーを外す」をマウス等でクリックする。
次いで、図11の表示画面50Cに進む。インストラクション表示領域501に「「(3)バルブを外す」をクリックしてください」と表示される。また、操作対象画像表示領域502に重なるようにして注意喚起表示領域504が表示される。注意喚起表示領域504には、「取り外す前の回転方向に注意」などと点滅表示され、バルブを取り外す際の回転方向に注意するよう訓練者4に伝える。訓練者4がガイド表示領域503内の「(3)バルブを外す」をマウス等でクリックすると、さらに次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域501に表示された指示に従ってガイド表示領域503の項目をクリックしていくだけで、保守作業の手順・内容を理解できるようになっている。
次に、訓練メニューのモードが「演習」の場合について説明する。
図12、図13、図14は、演習モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図12に示すように、訓練モードの表示画面60Aは、インストラクション表示領域601、操作対象画像表示領域602、ガイド表示領域603、およびツール表示領域604を含む。
インストラクション表示領域601は、訓練者4に対する指示内容が表示される領域であり、例えば、「カバーの取り外しに必要な工具を選択してください」などと表示される。
操作対象画像表示領域602は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。
ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。
ツール表示領域604には、保守作業に使用される工具の画像403a、403b、403c、403d、・・・が横方向にスクロール可能に表示される。訓練者4は、インストラクション表示領域601の指示に従ってツール表示領域604に表示された工具のうち使用する工具をマウス等で選択する。
訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、図13の表示画面60Bに進む。不正解の場合は、正解するまで選択操作を繰り返すようにしてもよい。
図13の表示画面60Bでは、インストラクション表示領域601に、「カバー取り外しに必要なネジの位置を本数分クリックしてください」と表示されている。
操作対象画像表示領域602には、作業対象部位402(ネジ)が埋め込まれた対象機器401の3DCGモデルの画像が表示される。訓練者4が必要な本数分マウス等でクリックすると、そのクリックした位置が作業対象部位であれば、「正解」の表示がされ、間違っていれば「不正解」の表示がされ、次の問題、すなわち図14の表示画面60Cに進む。
図14の表示画面60Cでは、インストラクション表示領域601に、「カバー取り外す目的を選択してください」と表示されている。
解答表示領域605には解答文章606a、606b、606cが表示される。訓練者4は、解答文章のうち正しいと思うものをクリックして選択する。訓練者4が選択した解答文章が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域601に表示された指示に従って選択操作を行っていくだけで、保守作業の演習問題を解答できるようになっている。
次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。
図15は、教育モードにおいて訓練教材実行端末30の表示画面80を示す図である。図15に示すように、表示画面80は、インストラクション表示領域801、操作対象画像表示領域802、ガイド表示領域803、805、および注意喚起表示領域804を含む。
ガイド表示領域803には作業項目が列挙されており、「ドライブベルトの交換」における「(1)固定ネジを緩める」項目が訓練者4により選択された状態となっている。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。
ガイド表示領域805は保守作業のうちどの手順(作業)を行っているのかを表示する領域であり、例えば「手順:ドライブベルトの交換」などと表示される。
操作対象画像表示領域802には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。また、操作対象画像表示領域802には注意喚起表示領域804が重ねて設けられており、「注意 ネジは少し緩めるだけ、外さないこと。」などと「(1)固定ネジを緩める」作業における注意点を訓練者4に知らせるようになっている。また、操作対象部位である固定ネジを点滅させるか、或いは表示色を変更して強調表示するようにしてもよい。
インストラクション表示領域801には、訓練者4に対する指示が表示されており、ここでは「ユーザ操作:確認したらクリックしてください。」などと表示される。訓練者4は、「ドライブベルトの交換」における「(1)固定ネジを緩める」作業における操作対象部位や作業の注意点を理解して、次の操作である「(2)ベルトテンションプーリを緩める」をクリックする。訓練者4のクリック操作により、次の表示画面に進むようになっている。
次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。
図16は、演習モードにおける、訓練教材実行端末30の表示画面70Aを示す図である。図16に示すように、表示画面70Aは、インストラクション表示領域701、操作対象画像表示領域702、ガイド表示領域703、およびツール表示領域704を含む。なお、この表示画面70Aは、本発明の表示画面に対応する。
ガイド表示領域703には作業項目が列挙されており、「コンソール交換」項目が訓練者4により選択された状態である。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。
操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。
ツール表示領域704には、複数の工具(ツール)404a、404b、404c、404d、・・・がそれぞれ映った複数の工具(ツール)画像403a、403b、403c、403d、・・・が表示されるようになっている。図16では、4個の工具画像が表示されているが、横スクロールすることにより別の工具画像を表示させることができる。例えば、エアロバイクの保守作業に用いられるすべての工具について工具画像を用意しておき、ツール表示領域704に表示するようにしてもよい。
インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソール取り外し時の工具を選択してください」と表示されている。訓練者4は、ツール表示領域704に表示された工具群の中から、コンソール取り外し時に使用する工具を選択する。選択は、マウスなどのポインティングデバイスで選択対象を指示した状態でクリック操作することにより行うことができる。
訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、図17に示す次の問題の表示画面に進むようになっている。
図17は、次の問題の表示画面70Bを示す図である。
操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールを外すための六角ボルトの位置を本数分クリックしてください。」と表示されている。
訓練者4は、操作対象画像表示領域702に表示されたエアロバイクの一部が映った操作対象画像400内の六角ボルト(作業対象部位402)の位置をすべてクリック選択する。クリックした六角ボルトの位置がすべて正しければ「正解」の表示がされ、1つでも間違っていれば「不正解」の表示がされた後、図18に示す次の問題の表示画面に進むようになっている。なお、この表示画面70Bは、本発明の第2表示画面に対応する。
図18は、次の問題の表示画面70Cを示す図である。
操作対象画像表示領域702には、対象機器401であるエアロバイクのコンソールの部分が映った操作対象画像400が表示されている。コンソールの近くには、コンソールを取り外すときに移動させる方向を示す矢印が3つ表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールをポストから外すとき、最初にコンソールを移動する方向を選択してください。」と表示されている。
訓練者4は、操作対象画像表示領域702に表示されたエアロバイクのコンソールを取り外す方向を示す矢印のうち、正しいと思った矢印をクリック選択する。クリックした矢印が示す方向が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、次の問題の表示画面に進むようになっている。このようにして、訓練者4は、インストラクション表示領域701に表示された指示に従って選択操作或いは操作入力を行っていくだけで、保守作業の演習を行うことができるようになっている。なお、この表示画面70Cは、本発明の第3表示画面に対応する。
上記説明では、訓練教材データベース222は、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404を表示する第1表示画面70A、複数の操作対象画像のうち特定工程の作業対象部位402を表示する第2表示画面70B、および特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能な画面である第3表示画面70Cを生成する構成であったが、構成はこれに限定されない。訓練教材データベース222は、ストレージ220(記憶装置)の記憶情報に基づいて、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404、複数の操作対象画像のうち特定工程の作業対象部位402、および特定工程の作業対象部位402に対する模擬作業の操作入力405のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面を、それぞれ表示出力可能に生成する構成であってもよい。
例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するようにしてもよい。また、例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するとともに、特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。この場合、当該特定工程に対して生成される表示画面は1つであってもよい。また、例えば、第2表示画面70Bに、複数の操作対象画像のうち特定工程の作業対象部位402を表示し、かつ特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。いずれの場合も、各表示画面70A、70B、70Cにおいて、保守作業の各段階に対応する模擬作業の操作入力または選択操作に応じて訓練教材の提示内容が変化していくようになっている。
図19は、訓練教材実行端末30の表示部305の別の表示画面の例を示す図である。図19(a)に示すように、表示部305には組み立てられたエアロバイクの画像が表示されている。訓練者4が操作部306を用いて所定の操作、例えば表示画面内の任意の場所をクリックする操作を行うと、図19(b)に示すような分解図が示されるようになっている。
図19(a)、図19(b)において、マウスをドラッグ操作等することによりエアロバイク或いはその部品群をドラッグ方向に回転できるようにしてもよい。このようにすることで、任意の方向からエアロバイク或いはその部品群を見ることができ、対象機器の構造がより理解しやすくなる。
次に、作用・効果について説明する。
上述のように、本実施形態に係る訓練教材提示システム1および訓練教材提示方法は、第1ないし第3表示画面70A、70B、70Cの各画面が、工具(ツール)404や作業対象部位402の選択操作または選択済み作業対象部位への操作入力405を要求するインストラクション表示領域701と、その表示内容に対応する特定の操作対象画像400の選択操作または模擬作業操作入力を実行可能な操作対象画像表示領域702とを含んでいる。この構成により、各画面に対するユーザの操作入力に応じて画面表示内容が順次変更されていき、作業手順を実機無しで容易・的確に把握することができる。
また、本実施形態に係る訓練教材提示システム1では、動作取得端末10が、インストラクタ3による選択操作もしくは模擬作業の操作入力の情報である第1の入力情報を取得可能であり、訓練教材実行端末30が、訓練者4による選択操作もしくは模擬作業の操作入力の情報である第2の入力情報を取得可能であり、訓練教材生成サーバ20が、第1の入力情報に基づいて、模擬作業の操作入力の手順に対応する所定の出力条件を設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。
また、本実施形態に係る訓練教材提示システム1では、訓練教材生成サーバ20が、インストラクタ3による第1の入力情報に基づき、第1表示画面70Aで選択すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、所定の出力条件の一部として、それぞれ設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、的確な訓練教材や演習教材を容易・迅速に作成可能となる。
また、本実施形態に係る訓練教材提示システム1は、表示画面上に、第1表示画面70Aで選択操作すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、それぞれ案内表示する教育用教材提示機能を有している。この構成により、訓練者4が案内表示に基づき学習することで保守作業手順を実機無しで容易・的確に把握することができる。
また、本実施形態に係る訓練教材提示システム1は、表示画面上のインストラクション表示領域701に、第1表示画面70Aまたは第2表示画面70Bでの選択操作を要求しまたは第3表示画面70Cでの模擬作業の操作入力の実行を要求するインストラクション表示を実行するとともに、第1表示画面70Aまたは第2表示画面70Bでの選択操作の入力内容または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、第1の入力情報に基づいて設定された特定のツール、特定工程の作業対象部位および模擬作業の基準操作入力の内容と、第2の入力情報から取得した選択操作または模擬作業の操作入力の内容とに応じて、インストラクション表示領域701および操作対象画像表示領域702とにおける訓練教材の提示内容を変化させ、訓練者に模擬作業の演習を実行させる演習用教材提示機能を有している。この構成により、訓練者4が演習を実行することで保守作業手順を実機無しで容易・的確に把握することができる。
また、本実施形態に係る訓練教材提示システム1は、訓練教材生成サーバ20が、保守作業の少なくとも一部の段階について、第1表示画面70Aないし第3表示画面70Cでの選択操作または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、該選択操作または該模擬作業の操作入力の内容を、第1表示画面70Aで選択操作すべき特定のツール、第2表示画面70Bで選択すべき特定工程の作業対象部位、および第3表示画面70Cで実行すべき模擬作業の操作入力の内容と比較して、訓練者4による模擬作業の習熟度合いを評価する機能と、訓練者4による模擬作業の習熟度合いの評価結果を管理する機能とを有している。この構成により、保守作業について訓練者の習熟度合いを評価および管理することができるので、訓練者4の訓練に対するモチベーションを高めるとともに、訓練者4に対して適切な指導を行うことができる。
以上説明したように、本発明は、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができるという効果を有し、訓練教材提示システムおよび訓練教材提示方法の全般に有用である。
1 訓練教材提示システム
3 インストラクタ
4 訓練者
10 動作取得端末(情報入力装置)
20 訓練教材生成サーバ(出力情報生成装置)
30 訓練教材実行端末(情報入力装置、表示出力装置)
40 通信ネットワーク
50A、50B、50C、60A、60B、60C 表示画像
70A 第1表示画面
70B 第2表示画面
70C 第3表示画面
100、200、300 制御部
101、201、301 通信部
102 センシング部
103 録音部
104 録画部
105、205、305 表示部
106、206、306 操作部
107、207、307 電源供給部
110、210、310 メモリ
111、211 動作集計処理部
112、212 教材生成処理部
113、213、313 情報送受信処理部
120、220、320 ストレージ(記憶装置)
121 作業情報記録データベース
221 テンプレートデータベース
222 訓練教材データベース
311 教材実行処理部
312 実行データ集計処理部
321 実行情報記録データベース
400 操作対象画像
401 対象機器
402 作業対象部位
403 工具画像
404 工具(ツール)
405a、405b、405c 操作入力
501、601、701、801 インストラクション表示領域
502、602、702、802 操作対象画像表示領域
503、603、703、803、805 ガイド表示領域
504、804 注意喚起表示領域
604、704 ツール表示領域
605 解答表示領域
606a、606b、606c 解答文章

Claims (4)

  1. 対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、
    前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、
    前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、
    前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、
    表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、
    を備え、
    前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、
    前記出力情報生成装置が、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記インストラクタとは異なる訓練者(4)が前記模擬作業を行う際に用いられる前記所定の出力条件であって、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定し、前記所定の出力条件に基づいて、前記模擬作業の作業対象部位および前記模擬作業に使用する適切なツールを操作対象画像表示領域(502)に表示出力するとともに、前記訓練者が行うべき前記模擬作業の操作入力の指示をインストラクション表示領域(501)に表示出力するための表示画面を生成するとともに、前記訓練者による前記模擬作業の操作入力に応じて、前記保守作業の作業手順に従って表示画面を遷移させ
    前記操作対象画像表示領域(502)内で、前記作業対象部位(402)の画像の近くに、その作業対象部位の操作に使用する適切なツールの画像(403)を表示することを特徴とする訓練教材提示システム。
  2. 前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであることを特徴とする請求項1に記載の訓練教材提示システム。
  3. 対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、
    前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、
    前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、
    前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、
    表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、
    を含む各ステップをコンピュータにより実行する訓練教材提示方法であり、
    前記情報入力ステップでは、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、
    前記出力情報生成ステップでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記インストラクタとは異なる訓練者(4)が前記模擬作業を行う際に用いられる前記所定の出力条件であって、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定し、前記所定の出力条件に基づいて、前記模擬作業の作業対象部位および前記模擬作業に使用する適切なツールを操作対象画像表示領域(502)に表示出力するとともに、前記訓練者が行うべき前記模擬作業の操作入力の指示をインストラクション表示領域(501)に表示出力するための表示画面を生成するとともに、前記訓練者による前記模擬作業の操作入力に応じて、前記保守作業の作業手順に従って表示画面を遷移させ
    前記操作対象画像表示領域(502)内で、前記作業対象部位(402)の画像の近くに、その作業対象部位の操作に使用する適切なツールの画像(403)を表示することを特徴とする訓練教材提示方法。
  4. 前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであることを特徴とする請求項3に記載の訓練教材提示方法。
JP2022007065A 2018-11-20 2022-01-20 訓練教材提示システムおよび訓練教材提示方法 Active JP7393445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022007065A JP7393445B2 (ja) 2018-11-20 2022-01-20 訓練教材提示システムおよび訓練教材提示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018217702A JP7014698B2 (ja) 2018-11-20 2018-11-20 訓練教材提示システムおよび訓練教材提示方法
JP2022007065A JP7393445B2 (ja) 2018-11-20 2022-01-20 訓練教材提示システムおよび訓練教材提示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018217702A Division JP7014698B2 (ja) 2018-11-20 2018-11-20 訓練教材提示システムおよび訓練教材提示方法

Publications (2)

Publication Number Publication Date
JP2022064925A JP2022064925A (ja) 2022-04-26
JP7393445B2 true JP7393445B2 (ja) 2023-12-06

Family

ID=70773987

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018217702A Active JP7014698B2 (ja) 2018-11-20 2018-11-20 訓練教材提示システムおよび訓練教材提示方法
JP2022007065A Active JP7393445B2 (ja) 2018-11-20 2022-01-20 訓練教材提示システムおよび訓練教材提示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018217702A Active JP7014698B2 (ja) 2018-11-20 2018-11-20 訓練教材提示システムおよび訓練教材提示方法

Country Status (3)

Country Link
JP (2) JP7014698B2 (ja)
CN (2) CN115841777A (ja)
WO (1) WO2020105221A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065524A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 智能工作台管理系统、智能工作台、方法、设备及介质
CN117745496B (zh) * 2024-02-19 2024-05-31 成都运达科技股份有限公司 一种基于混合现实技术的智能考评方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318584A (ja) 2000-05-11 2001-11-16 Mitsubishi Electric Corp 擬似修理装置および記録媒体
JP2002073600A (ja) 2000-09-01 2002-03-12 Shimadzu Corp ガイド記憶学習用ソフトウエアを記憶した記憶装置
WO2002101689A1 (en) 2001-06-08 2002-12-19 Anabasis Software, Llc Software-based system for educational tools
US20120270196A1 (en) 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes
JP2017134116A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10293525A (ja) * 1996-12-24 1998-11-04 Toko Seiki Kk 知的教育訓練方法及びそのシステム
JP2002304112A (ja) * 2001-04-06 2002-10-18 Mitsubishi Heavy Ind Ltd プラントデザイン装置、プラントデザイン方法、および、プログラム
JP2006099558A (ja) * 2004-09-30 2006-04-13 Seiko Epson Corp 生産ナビゲーションシステムおよびナビゲーション端末
JP2006139163A (ja) * 2004-11-15 2006-06-01 Osaka Gas Co Ltd 保安作業訓練システム
JP5803861B2 (ja) * 2012-03-19 2015-11-04 カシオ計算機株式会社 学習装置及び学習プログラム
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
JP6159217B2 (ja) * 2013-10-11 2017-07-05 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
JP6272249B2 (ja) * 2015-02-09 2018-01-31 株式会社日立製作所 組立ナビゲーションシステム及び組立ナビゲーション方法
CN106157725A (zh) * 2016-08-31 2016-11-23 安徽伟合电子科技有限公司 一种虚拟仿真教学训练系统
CN106571078A (zh) * 2016-09-23 2017-04-19 江西洪都航空工业集团有限责任公司 一种飞机地勤维护虚拟训练装置
CN107886453A (zh) * 2017-12-26 2018-04-06 广州水镜信息科技有限公司 教育培训管理系统及教育培训方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318584A (ja) 2000-05-11 2001-11-16 Mitsubishi Electric Corp 擬似修理装置および記録媒体
JP2002073600A (ja) 2000-09-01 2002-03-12 Shimadzu Corp ガイド記憶学習用ソフトウエアを記憶した記憶装置
WO2002101689A1 (en) 2001-06-08 2002-12-19 Anabasis Software, Llc Software-based system for educational tools
US20120270196A1 (en) 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes
JP2017134116A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2020086041A (ja) 2020-06-04
WO2020105221A1 (ja) 2020-05-28
CN112400197B (zh) 2023-04-14
CN112400197A (zh) 2021-02-23
CN115841777A (zh) 2023-03-24
JP2022064925A (ja) 2022-04-26
JP7014698B2 (ja) 2022-02-01

Similar Documents

Publication Publication Date Title
Carruth Virtual reality for education and workforce training
JP7393445B2 (ja) 訓練教材提示システムおよび訓練教材提示方法
US10629093B2 (en) Systems and methods providing enhanced education and training in a virtual reality environment
US10685582B2 (en) Adaptive training system, method and apparatus
US9336686B2 (en) Tablet-based welding simulator
Chan et al. VR and AR virtual welding for psychomotor skills: a systematic review
KR102222983B1 (ko) 가상 현실 환경에서의 향상된 교육 및 훈련을 제공하는 시스템 및 방법
WO1998052175A2 (en) Machining tool operator training system
Ikeda et al. An AR debugging tool for robotics programmers
Vahdatikhaki et al. Feedback support system for training of excavator operators
CN110570709A (zh) 一种专业设备操作技师训练系统
Heibel et al. Virtual reality in welding training and education: A literature review
CN110942519B (zh) 一种计算机组装虚拟实验系统及其实现方法
Grandi et al. A training methodology based on virtual reality to promote the learning-by-doing approach
KR20220053939A (ko) 가상현실기반 항공정비 훈련용 시스템을 활용한 훈련 방법
WO2020105222A1 (ja) 訓練教材提示システムおよび訓練教材提示方法
CN110580834A (zh) 特种机械虚拟导师触感式实时主动训练装置及其训练方法
Langroodi Design of a Feedback Support System for the Training of Construction Equipment Operators
US20240233563A9 (en) Visualizing Causality in Mixed Reality for Manual Task Learning
Dreesbach et al. AR-BASED LEARNING IN VOCATIONAL TRAINING–EVALUATION OF LEARNING OUTCOME COMPARING AUGMENTED REALITY AND TEACHER-INSTRUCTED LEARNING UNITS
Damgrave et al. Engineering workshop education and supervision: AR for machine operation guidance and safety instructions
Park et al. The design of an intelligent augmented reality welder training system
Universityof Teaching Robotic Assembly Tasks Using a 3D Simulation Environment
Celato XR technologies in the automotive industry: guidelines for their implementation
Ahmad et al. Investigating the Effectiveness of Learning Data Structure and Algorithm (DSA) Programming using Augmented Reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231124

R150 Certificate of patent or registration of utility model

Ref document number: 7393445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150