JP7289190B2 - コンテンツ提示システム - Google Patents

コンテンツ提示システム Download PDF

Info

Publication number
JP7289190B2
JP7289190B2 JP2018124689A JP2018124689A JP7289190B2 JP 7289190 B2 JP7289190 B2 JP 7289190B2 JP 2018124689 A JP2018124689 A JP 2018124689A JP 2018124689 A JP2018124689 A JP 2018124689A JP 7289190 B2 JP7289190 B2 JP 7289190B2
Authority
JP
Japan
Prior art keywords
work
training
information
content
trainee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018124689A
Other languages
English (en)
Other versions
JP2020004218A (ja
Inventor
貴之 藤原
慎太郎 土屋
健太郎 大西
克朗 菊地
賀仁 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2018124689A priority Critical patent/JP7289190B2/ja
Priority to PCT/JP2018/031353 priority patent/WO2020003546A1/ja
Priority to EP18924816.4A priority patent/EP3637390A4/en
Priority to US16/626,023 priority patent/US20210335148A1/en
Publication of JP2020004218A publication Critical patent/JP2020004218A/ja
Priority to JP2023088776A priority patent/JP2023107814A/ja
Application granted granted Critical
Publication of JP7289190B2 publication Critical patent/JP7289190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、模擬作業空内で作業対象機器の現場作業を模擬的に行わせるための3DCGを含む訓練用コンテンツを提示するコンテンツ提示システムに関する。
例えば、工業製品等の各種装置では、その製造や保守作業において熟練した技術を必要とするものが少なくない。そのため、上述した作業を行う作業員、特に、熟練した技術を持たない者に対しては上述した各種作業のための訓練を行うことが重要になる。
今日、仮想現実や拡張現実技術の進展により、各種装置を作業対象機器とし、実機の各箇所に作業指令等の情報を拡張表示し、該情報に従って作業対象機器の現場作業等の作業を行うことも可能になりつつある。
一方、作業対象機器の中には、例えば、高温、高電圧等、作業における危険対象因子となり得る構造要素を有するものがあり、該構造要素を有する作業対象機器の現場作業に先立って、火傷や感電などの危険を抑制する訓練の必要性が高まっている。
現場作業等における作業員の危険防止対策として、作業員の危険に対する意識を向上させるべく、危険予知採点表の情報を表示し、作業員となる講習者に絞り込ませた危険項目要因に基づいて当該講習者の危険予知に関する採点を行う技術が特許文献1に提案されている。
特開2008-139479号公報
しかしながら、特許文献1に記載のものは、危険予知採点表を用いて講習者の危険に対する知識を習得できるものの、事故を模擬体験することについての配慮がなかったため、講習者が作業員となって作業対象機器の現場作業を行う際に十分な安全性を確保できないという問題点があった。
本発明は、このような従来の課題を解決するためになされたものであって、訓練段階で模擬的な事故を発生させて該事故の危険性を訓練者に強く印象付け、現場における作業対象機器の現場作業での事故の危険性を確実に抑制可能なコンテンツ提示システムを提供することを目的とする。
上記課題を解決するために、本発明の請求項1に係るコンテンツ提示システムは、作業対象機器の3次元形状情報と作業手順に基づく訓練用コンテンツを訓練者(R1)に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って現場作業の模擬作業を実行させるコンテンツ提示システムであって、前記作業対象機器の3次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部(36a)と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部(35e、43)とを有するコンテンツ出力装置(3)と、前記現場作業を実行する模範作業者(R2)または前記訓練者の3次元作業動作を測定情報として取得する動作測定装置(35a、65a)と、前記模範作業者により行われた前記3次元作業動作の測定情報に基づいて、前記訓練者により行われた前記作業動作の正確性を示す評価値を生成する際の基準レベルとしての評価基準値を含む評価基準情報を作成する評価基準作成装置(35b、65b)と、前記3次元作業動作の測定情報および前記評価基準情報に基づいて前記訓練用コンテンツを作成するコンテンツ作成装置(35c、65c)と、を備え、前記評価基準作成装置は、前記模範作業者の所定の3次元身体動作から前記現場作業の事故発生要因となり得る所定の情報が入力されたとき、該情報に係る前記作業手順の特定段階の作業動作の評価値が下がるように該特定段階の前記評価基準情報を調整し、前記コンテンツ作成装置は、前記調整された評価基準情報に基づいて前記訓練用コンテンツを更新し、前記コンテンツ出力装置は、前記訓練者による作業段階が前記特定段階であるか否かを判定し、前記特定段階である場合、前記調整された評価基準情報に基づき前記特定段階の作業動作の評価値を生成し、前記特定段階の評価値が所定レベル以下の場合に模擬的な事故の発生を報知することを特徴とする。
この構成により、本発明の請求項1に係るコンテンツ提示システムは、訓練段階で模擬作業空間内での作業対象機器の現場作業を体験させる際、事故発生の危険性を訓練者に強く印象付けることができる。これにより、訓練者が訓練を終了して現場での作業員として作業対象機器の現場作業を行う際、事故発生の危険性を強く意識してその作業に臨むことができ、上記意識が充分とはいえなかったこれまでの現場作業に比べて、事故発生の危険性を大幅に低減することができる。
本発明の請求項2に係るコンテンツ提示システムは、前記コンテンツ作成装置は、前記模擬的な事故の発生を、音、テキストメッセージ、光、および振動の少なくとも1つにより前記訓練者に印象付けることを特徴とする。
この構成により、本発明の請求項2に係るコンテンツ提示システムは、訓練段階で模擬的な事故発生を体験する訓練者に対して、当該事故発生の危険性をより強くかつ確実に印象付けることができ、現場での危険をより確実に抑制できる。
本発明の請求項3に係るコンテンツ提示システムは、前記模擬的な事故の発生確率が高い作業項目を抽出し、該作業項目について危険発生要因を定義する危険行動判定処理手段(75b、76b)と、前記現場作業での前記作業項目の作業に際し、訓練を終了した訓練者に対し、前記危険発生要因による危険行動を抑制させるための報知を行う危険行動抑制制御手段(65f)と、をさらに有することを特徴とする。
この構成により、本発明の請求項3に係るコンテンツ提示システムは、訓練段階で事故発生を体験した訓練者が、現場で作業者として作業を行う際に、段階的に危険を抑制できるようになる。
本発明の請求項4に係るコンテンツ提示システムは、前記現場作業の作業環境を記述した作業報告書を作成する作成手段(75a、76a)と、作成された前記作業報告書と既に作成されている既作業報告書との間に前記作業環境が現状から変化した記述があるかを判定し、前記記述があった場合、変化した作業環境に応じ、前記作業項目についての前記危険発生要因の定義を更新する更新手段(65f)と、を有することを特徴とする。
この構成により、本発明の請求項4に係るコンテンツ提示システムは、現場作業において、現況に変化があった場合でも、現況の変化に合わせて段階的に危険を抑制できるようになる。
本発明の請求項5に係るコンテンツ提示システムは、前記作業項目についての前記危険対象の定義と、前記訓練を終了した訓練者の作業者スキルを含む指標情報に基づいて当該作業項目を含む前記現場作業中に段階的に実施する警告項目を設定する設定手段(75b)と、前記現場作業中、前記警告項目に基づいて段階的に警告を行う警告手段(65f)と、を有することを特徴とする。
この構成により、本発明の請求項5に係るコンテンツ提示システムは、訓練で事故を模擬体験可能な訓練者が、訓練終了後、作業者としての現場作業時に、訓練中の事故発生率が高い項目について、自分の作業スキル等に合わせて段階的に危険を抑制することが可能となる。
本発明は、訓練段階で模擬的な事故を発生させて該事故の危険性を訓練者に強く印象付け、現場における作業対象機器の現場作業での事故の危険性を確実に抑制可能なコンテンツ提示システムを提供することができる。
本発明の一実施形態に係るコンテンツ提示システムの全体構成図である。 本発明の一実施形態に係るコンテンツ提示システムの訓練管理サーバおよび訓練支援端末の機能構成を示すブロック図である。 本発明の一実施形態に係るコンテンツ提示システムの現場管理サーバおよび現場支援端末の機能構成を示すブロック図である。 本発明の一実施形態に係るコンテンツ提示システムの第1の危険行動抑制制御に係る現場管理サーバおよび現場支援端末間の動作シーケンスを示す図である。 本発明の一実施形態に係るコンテンツ提示システムの第1の危険行動抑制制御に係る現場管理サーバおよび訓練管理サーバ間の動作シーケンスを示す図である。 本発明の一実施形態に係るコンテンツ提示システムの第1の危険行動抑制制御に係る訓練管理サーバおよび訓練支援端末間の動作シーケンスを示す図である。 図6のステップ64における模擬作業空間内での模擬作業中に模擬的に発生した事故に係る評価判定結果の表示例を示す概略図である。 本発明の一実施形態に係るコンテンツ提示システムの第2の危険行動抑制制御に係る現場管理サーバおよび現場支援端末間の動作シーケンスを示す図である。 本発明の一実施形態に係るコンテンツ提示システムの現場支援端末における第3の危険行動抑制制御動作を示すフローチャートである。 本発明の一実施形態に係るコンテンツ提示システムの第4の危険行動抑制制御動作を示すフローチャートである。 本発明の一実施形態に係るコンテンツ提示システムにおける作業管理サーバで管理される複数の作業の進行状況を示す進行表コンテンツの説明図である。 図11に示す複数の作業のうち最初の作業の作業手順とその作業手順上の各段階で熟練者からの収報を含み訓練者に提示されるコンテンツデータ素材を例示する手順表コンテンツの説明図である。 図12に示すコンテンツデータ素材を熟練者から収集するための測定データシートの説明図である。
以下、本発明に係るコンテンツ提示システム1の一実施形態について図面を用いて説明する。なお、本実施形態では、主として、作業対象機器の保守作業の訓練用コンテンツを訓練者R1に提示する場合について述べるが、本発明は、システムや設備を対象とする各種の現場作業の訓練用コンテンツを提示する場合に適用できるものである。
本発明に係るコンテンツ提示システム1は、図1に示すように、それぞれネットワーク接続された訓練管理システム5、現場管理サーバ6、現場支援端末7を有している。訓練管理システム5は、模擬作業空間での訓練者R1による作業対象機器の現場作業に関する訓練の管理を行うものであり、訓練管理サーバ3、訓練支援端末4により構成される。
コンテンツ提示システム1において、訓練管理サーバ3、現場管理サーバ6は、例えば、PC(パーソナル・コンピュータ)等の情報処理装置により構成される。また、訓練支援端末4、現場支援端末7としては、例えば、スマートフォン、タブレット、HMD(Head Mount Display)等の携帯型端末が用いられる。
訓練管理サーバ3、訓練支援端末4、現場管理サーバ6、および現場支援端末7は、いずれも、3次元グラフィックデータ描画機能を有している。すなわち、コンテンツ提示システム1は、作業対象機器の保守作業に関する情報を訓練と現場間で相互に活用するばかりでなく、訓練で用いる画像と現場での情報収集に用いる画像の処理に3DCGを積極的に採用している。特に、本実施形態では、訓練においては作業対象機器の3DCGデータを用い、現場では上述した作業対象機器の3DCGを元にして、現実の作業対象機器に対する作業指令等の拡張表示(AR)を行う。
まず、現場での模範作業者R2による作業対象機器(実機)の保守作業に係る訓練用コンテンツ作成のための情報収集と、その訓練用コンテンツに基づく訓練者R1に対する訓練の作業概要について説明する。
図1において、現場で運用される現場管理サーバ6および現場支援端末7のうち、現場支援端末7は、模範作業者R2の現実の作業対象機器に対する保守作業の動作情報(活動情報)を、音声、手や足などの動作、視線などの身体動作情報とともに3次元作業動作記録(以下、単に作業動作という)として記憶する。ここで、作業対象機器の画像は3DCGデータとして処理される。
上述した身体動作情報の収集に際しては、それに先立ち、模範作業者R2に対して、測定用の機材、例えば、HMD、DoFセンサ付手袋、マイクなどの身体動作情報検出用センサを装着することを報知する。この報知は、例えば、現場支援端末7の表示部73に対するメッセージ表示により行う。上述した保守作業が終了すると、現場支援端末7は、当該保守作業中に記憶した作業動作記録を現場管理サーバ6に配信する。
現場管理サーバ6は、現場支援端末7から配信される作業動作記録に基づき、当該保守作業を模した模擬作業を行わせるための訓練用コンテンツを作成し、該訓練用コンテンツを保存する。また、現場管理サーバ6は、現場支援端末7から配信される作業動作記録を訓練管理サーバ3に配信する。
訓練管理サーバ3は、現場管理サーバ6から配信される作業動作記録に基づき、模擬作業を行わせるための訓練用コンテンツを作成し、該訓練用コンテンツを保存する。その後、訓練管理サーバ3は、例えば、訓練者R1による所定の操作に基づく訓練開始指令に基づき、保存しておいた訓練用コンテンツを訓練支援端末4に送信する。
訓練支援端末4は、訓練管理サーバ3から配信された訓練用コンテンツを受信し、該訓練用コンテンツに基づいて模擬作業を実行させる。具体的に、訓練支援端末4は、訓練用コンテンツに基づいて作業対象機器の3DCGデータを表示部43(図2参照)に表示する。これにより、訓練支援端末4において、訓練者R1に対し、仮想現実(Virtual Reality;VR)の模擬空間内で、作業対象機器の保守作業に関する模擬作業(訓練)を実行させるための環境が整う。
訓練者R1による上記模擬空間による模擬作業の実行中、訓練支援端末4は、訓練用コンテンツに基づいて作業対象機器の3DCGデータを表示部43に表示し、かつ、保守作業の作業手順に従った、例えばテキスト文章などからなる作業命令を、当該模擬作業の進行に合わせかつ各段階に対応させて表示部43に表示する。これにより、訓練者R1は、仮想現実の模擬作業空間内で、3DCG表示された作業対象機器に対し、併せて表示された作業命令等に従って当該作業対象機器の保守作業の訓練を行うことが可能になる。
上述した訓練(模擬作業)において、訓練支援端末4は、訓練者R1の仮想の作業対象機器に対する保守作業の動作情報(活動情報)を、身体動作情報検出用センサにより収集した手や腕などの動作、視線などの身体動作情報とともに訓練時作業動作記録Bとして取込む。さらに、訓練支援端末4は、訓練管理サーバ3が現場管理サーバ6から既に取得している模範作業者R2が行った保守作業の際の作業動作記録(以下、収集時作業動作記録Aという)を取込み、当該訓練時作業動作記録Bと収集時作業動作記録Aとに基づいて訓練者R1による作業手順の作業動作の正確性(熟練度)を評価する処理を行う。
訓練支援端末4は、作業の正確性を評価する処理において、例えば、訓練時作業動作記録Bと収集時作業動作記録Aの各値を比較し、訓練時作業動作記録Bの値が収集時作業動作記録Aの値に対して近いほど評価値を高い価とする一方、訓練時作業動作記録Bに値が収集時作業動作記録Aの値に対して所定の閾値を超えて乖離している場合には評価値を低い値とするような処理を行う。このとき、訓練支援端末4は、上記評価結果を訓練者R1が目視確認できるように画像化して表示部43に表示する。
上述した訓練、および現場での情報収集に際して訓練支援端末4および現場支援端末7が扱う3DCGデータは、3次元座標を有している。このため、事前に現場で収集している模範作業者R2の手の3次元座標と、訓練中の訓練者R1の手の3次元座標とを比較することで、訓練者R1の手が作業対象機器のどの箇所に接触したかを判定することができる。
特に、本実施形態では、訓練中の3DCG処理については、訓練者R1の手や体が作業対象機器の危険対象因子(例えば、高温発生要素、高電圧発生要素)に相当する構成要素に近接、あるいは接触する状況を判断し、訓練者R1が行った作業が失敗に近い状態であること、あるいは失敗したことを訓練者R1の強く印象付ける方法で報知するようになっている。この報知の処理については、後で図6、図7を参照して詳述する。
上述した現場での情報収集並びに訓練の作業概要を踏まえ、本実施形態に係るコンテンツ提示システム1の構成および動作について詳しく説明する。
まず、コンテンツ提示システム1の各装置の構成について説明する。コンテンツ提示システム1において、訓練管理システム5に含まれる訓練管理サーバ3および訓練支援端末4は、例えば、図2に示す構成を有している。
図2に示すように、訓練管理サーバ3は、CPU31、通信部32、表示部33、メモリ35、データベース(以下、DBという)36を有している。CPU31は、訓練管理サーバ3の全体の動作を制御する。通信部32は、訓練支援端末4および現場管理サーバ6との間で情報の通信を行うものである。表示部33は、各種情報を表示するものであり、例えば、LCD等により構成される。
メモリ35は、例えば、ROM、RAM等を含み、訓練管理システム5としての機能動作を実現するためのプログラム等、各種の情報を記憶している。この例では、メモリ35は、動作測定処理部35a、評価基準作成処理部35b、コンテンツ作成処理部35c、コンテンツ配信処理部35d、模擬作業処理部35e、危険行動抑制処理部35fの各処理部を実現するための各プログラムを記憶している。なお、当該各処理部は、CPU31が各プログラムをメモリ35から読み出して実行することにより実現される。
動作測定処理部35aは、後述する訓練支援端末4の測定情報取得部44で取得される訓練者R1の活動情報を通信部32経由で受け取り、訓練者R1の3次元作業動作の測定情報として処理する。
評価基準作成処理部35bは、訓練者R1の3次元作業動作の測定情報に基づいて訓練者R1の作業動作についての評価基準情報を作成する。評価基準情報は、訓練者R1が後述する模擬作業空間内で行う作業対象機器の保守作業(模擬作業)の作業手順中、特定段階(危険対象因子を対象とする作業段階)または他の段階の作業動作にそれぞれ対応して作成される。
コンテンツ作成処理部35cは、動作測定処理部35aにより処理される訓練者R1の3次元作業動作の測定情報と、評価基準作成処理部35bにより作成される評価基準情報とに基づいて訓練用コンテンツを作成する。
コンテンツ配信処理部35dは、コンテンツ作成処理部35cにより作成された訓練用コンテンツを通信部32経由で現場管理サーバ6に配信する。
模擬作業処理部35eは、訓練支援端末4と連携し、作業対象機器の保守作業を模擬作業として実現するための処理を行う。具体的に、模擬作業処理部35eは、作業対象機器の3次元形状情報と作業手順に基づく訓練用コンテンツを訓練支援端末4の表示部43に表示させて訓練者R1に提示し、仮想現実または拡張現実の模擬作業空間内で作業手順に従って保守作業の模擬作業を実行させる制御を行う。
危険行動抑制処理部35fは、上記模擬作業空間内での模擬作業中、訓練者R1が作業対象機器の危険対象因子に接触するなどの危険動作を抑制するための制御を行う。危険対象因子とは、後述する高温発生要素、高電圧発生要素、あるいは高所作業等、当該箇所の作業にあたって訓練者R1に危険をもたらす要素のことをいうものとする。
DB36は、コンテンツ管理DB36a、危険対象因子管理DB36b、受講履歴管理DB36cを有する。コンテンツ管理DB36aは、上述した訓練用コンテンツを記憶し、危険対象因子管理DB36bは、危険行動抑制処理部35fの危険動作抑制制御に用いられる上記危険対象因子に関する情報を記憶し、管理する。受講履歴管理DB36cは、模擬作業空間内での模擬作業による作業対象機器の保守作業のための訓練を受講した履歴情報を記憶、管理する。
同じく図2に示すように、訓練支援端末4は、CPU41、通信部42、表示部43、測定情報取得部44、メモリ45およびDB46を有している。CPU31は、訓練支援端末4全体の動作を制御する。通信部42は、訓練管理サーバ3との間で情報の通信を行う。表示部43は、作業対象機器の保守作業の訓練に用いる模擬作業空間の情報等、各種情報を表示する。
測定情報取得部44は、訓練者R1が装着しているToF(Time Of Flight)センサ等の各種センサの検出信号を、訓練者R1の3次元作業動作の活動情報として取得するものである。
メモリ45は、例えば、ROM、RAM等を含み、訓練管理システム5としての機能動作を実現するためのプログラム等、各種の情報を記憶している。この例では、メモリ45は、危険行動判定処理部45aを実現するためのプログラムを記憶している。すなわち、危険行動判定処理部45aは、CPU41が上記プログラムをメモリ45から読み出して実行することにより実現される。危険行動判定処理部45aは、上記模擬作業空間内での模擬作業中、訓練者R1が作業対象機器の危険対象因子に接触するなどの危険行動を判定するための制御を行う。
DB46は、危険対象因子管理DB46aを有する。危険対象因子管理DB46aは、危険行動判定処理部45aで危険行動と判定された危険対象因子の情報を記憶し、管理する。
図2に示す構成中、コンテンツ管理DB36aは、本発明の記憶部に相当する。また、模擬作業処理部35e、表示部43は、本発明の出力部に相当する。また、これらコンテンツ管理DB36a、模擬作業処理部35eおよび表示部43を有する訓練管理サーバ3は、本発明のコンテンツ出力装置を構成する。また、動作測定処理部35a、評価基準作成処理部35b、コンテンツ作成処理部35cは、それぞれ、本発明の動作測定装置、評価基準作成装置、コンテンツ作成装置を構成する。
また、コンテンツ提示システム1において、現場管理サーバ6および現場支援端末7は、図3に示す構成を有している。
図3に示すように、現場管理サーバ6は、CPU61、通信部62、表示部63、メモリ65、DB66を有している。CPU61は、現場管理サーバ6全体の動作を制御する。通信部62は、現場支援端末7および訓練管理サーバ3との間で情報の通信を行うものである。表示部63は、各種情報を表示するものであり、例えば、LCD等により構成される。
メモリ65は、例えば、ROM、RAM等を含み、各種機能動作を実現するためのプログラム等や各種情報を記憶している。この例では、メモリ65は、動作測定処理部65a、評価基準作成処理部65b、コンテンツ作成処理部65c、コンテンツ配信処理部65d、保守作業処理部65e、危険行動抑制処理部65fの各処理部を実現するための各プログラムを記憶している。なお、これらの各処理部は、CPU61が上記各プログラムをメモリ65から読み出して実行することにより実現される。
動作測定処理部65aは、後述する現場支援端末7の測定情報取得部74で取得される模範作業者R2または作業者R3の活動情報を通信部72経由で受け取り、模範作業者R2または作業者R3の3次元作業動作の測定情報として処理する。ここで、作業者R3は、例えば、訓練管理システム5での訓練を終了した訓練者R1である。
評価基準作成処理部65bは、例えば模範作業者R2または作業者R3の3次元作業動作の測定情報に基づいて該模範作業者R2または作業者R3の作業動作についての評価基準情報を作成する。評価基準情報は、模範作業者R2または作業者R3が後述する現場支援端末7の表示部73のAR画面を利用して行う作業対象機器の実機を用いた作業手順中、特定段階または他の段階の作業動作にそれぞれ対応して作成される。
コンテンツ作成処理部65cは、動作測定処理部65aにより処理される模範作業者R2の3次元作業動作の測定情報と、評価基準作成処理部65bにより作成される評価基準情報とに基づいて訓練用コンテンツを作成する。
コンテンツ配信処理部65dは、コンテンツ作成処理部65cにより作成された訓練用コンテンツを通信部62経由で訓練管理サーバ3に配信する。
保守作業処理部65eは、現場支援端末7と連携し、作業者R3に作業対象機器の保守作業を実行させるための処理を行う。具体的に、保守作業処理部65eは、現場支援端末7である例えばHMDの透過型画面からなる表示部73上で、作業対象機器(実機)に対してその保守作業の作業手順に基づく作業指令等を追加的に表示(AR表示)させて作業者R3に提示する。これにより、作業者R3は、AR表示された作業指令を確認しながら、作業対象機器の保守作業をおこなうことができる。
危険行動抑制処理部65fは、上記AR表示画面を用いた保守作業の実行中、作業者R3が作業対象機器の危険対象因子に接触するなどの危険動作を抑制する制御を行う。
DB66は、危険対象因子管理DB66aを有する。危険対象因子管理DB66aは、危険行動抑制処理部65fの危険動作抑制制御に用いられる上記危険対象因子に関する情報を記憶し、管理する。
同じく図3に示すように、現場支援端末7は、CPU71、通信部72、表示部73、測定情報取得部74、メモリ75およびDB76を有している。CPU71は、現場支援端末7全体の動作を制御する。通信部72は、現場管理サーバ6との間で情報の通信を行う。表示部73は、作業対象機器(実機)の保守作業に用いるAR表示画面等、各種情報を表示する。
測定情報取得部74は、模範作業者R2または作業者R3が装着しているToFセンサ等の各種センサの検出信号を、模範作業者R2または作業者R3の3次元作業動作の活動情報として取得するものである。
メモリ75は、例えば、ROM、RAM等を含み、各種機能動作を実現するためのプログラム等、及び各種情報を記憶している。この例では、メモリ75は、作業報告管理処理部75a、危険行動判定処理部75bを実現するためのプログラムを記憶している。すなわち、作業報告管理処理部75a、危険行動判定処理部75bは、CPU71が上記プログラムをメモリ75から読み出して実行することにより実現される。作業報告管理処理部75aは、上記AR表示画面を用いた作業対象機器の保守作業についての作業報告書を作成する。危険行動判定処理部75bは、保守作業の実行中、例えば、作業者R3が作業対象機器の危険対象因子に接触するなどの危険行動を判定するための制御を行う。
DB76は、作業報告管理DB76a、危険対象因子管理DB76bを有する。作業報告管理DB76aは、作業報告管理処理部75aにより作成された作業報告書の情報を記憶し、管理する。危険対象因子管理DB76bは、危険行動判定処理部75bで危険行動と判定された危険対象因子の情報を記憶し、管理する。
図3に示す構成中、動作測定処理部65a、評価基準作成処理部65b、コンテンツ作成処理部65cは、それぞれ、本発明の動作測定装置、評価基準作成装置、コンテンツ作成装置を構成する。
次に、本実施例に係るコンテンツ提示システム1(図1~図3参照)における危険行動抑制機能について説明する。この機能は、訓練者R1が訓練を終了し、現場で作業者R3として対象作業機器(実機)の保守作業を行う際、対象作業機器の危険対象因子に対する接触事故などの事故を抑制するための機能である。本実施形態においては、特に、以下の第1から第4の危険行動抑制機能を例に挙げて説明する
(第1の危険行動抑制機能)
第1の危険行動抑制機能は、訓練段階の模擬作業空間内での保守作業中に模擬的な事故を発生させ、訓練者R1に事故の発生を強く印象付けることにより、危険行動を抑制するものである。
この機能を実現するため、例えば、訓練管理サーバ3の危険行動抑制処理部35fは、模範作業者R2の所定の3次元身体動作から保守作業の事故発生要因となり得る所定の情報が入力されたとき、該情報に係る保守作業の作業手順の特定段階または他の段階の作業動作について評価基準情報を調整するようになっている。
そのうえで、危険行動抑制処理部35fは、コンテンツ作成処理部35cによって、模擬作業中の特定段階または他の段階の作業動作について模擬的な事故の発生確率を高め、模擬的な事故発生に、訓練者R1に事故発生を強く印象づけるような訓練用コンテンツを更新させるよう制御する。
また、危険行動抑制処理部35fは、模擬的な事故の発生を、音、テキストメッセージ、光、振動などで訓練者R1に印象付けるようになっている。
第1の危険行動抑制機能に係る制御動作について、図4~図7を参照して説明する。まず、現場において、模範作業者R2の所定の3次元身体動作から保守作業の事故発生要因となり得る所定の情報が入力されたとき、該情報に係る作業手順の特定段階または他の段階の作業動作について評価基準情報を調整する処理について図4および図5を参照して説明する。
図4に示すように、この処理の開始にあたってはまず、現場管理サーバ6が、現場での模範作業者R2の活動情報を記憶すべく、現場支援端末7に対して作業指示を配信する(ステップS11)。
現場支援端末7は、上記作業指示を受信すると、作業記録開始を検出したか否かを判定する(ステップS22)。作業記録開始は、例えば、「作業開始」と発生する、ハンドジェスチャで示す、専用マーカを現場支援端末7のカメラの前にかざすなどの方法によって指示することができる。ここで作業記録開始を検出していないと判定された場合(ステップS22でNO)、ステップS22での検出処理を続行する。これに対し、作業記録開始を検出したと判定された場合(ステップS22でYES)、動作測定処理部65aは、現場支援端末7の測定情報取得部74によって取得された活動情報を通信部62を通じて取込み、記憶する処理を行う(ステップS23)。
活動情報の記憶処理実行中、動作測定処理部65aは、危険対象因子に対応する作業段階か否かを判定する(ステップS24)。ここで危険対象因子に対応する作業段階ではないと判定された場合(ステップS24でNO)、ステップS26へと進む。これに対し、危険対象因子に対応する作業段階であると判定された場合(ステップS24でYES)、動作測定処理部65aは、記録中の活動情報について、危険対象因子に対応する作業段階である旨を当該作業段階に対応付けて記録し(ステップS25)、記録完了後、ステップS26へと進む。
なお、上記ステップS24の処理に合わせて、例えば、模範作業者R2は、3次元身体動作の作業記録中に、危険個所を例えば音声により危険個所を逐一知らせるアクションを実行する。具体的に、模範作業者R2は、作業対象機器の保守作業を段階的に実施していく中で、「ここには絶対触れないようにする。」、「ここを触ったら火傷する。」、「ここを触ったら感電する。」等の発生を行いつつ作業を続行する。
一方、現場支援端末7において、危険行動判定処理部75bは、上述した発生に基づいて、危険対象因子を特定し、該特定対象因子を、その発生がなされた各作業段階に対応付けて危険対象因子管理DB76bに記憶させる処理を行う。そして、動作測定処理部65aは、危険対象因子管理DB76bを参照して、上記ステップS24での危険対象因子に対応する作業段階か否かについての判定処理を実行するようになっている。
ステップS26において、動作測定処理部65aは、作業記録の終了を検出したか否かを判定する。ここで作業記録終了を検出していないと判定された場合(ステップS26でNO)、ステップS23以降の処理を繰り返し実行する。この間、作業記録終了を検出したと判定された場合(ステップS26でYES)、評価基準作成処理部65bは、それまでに作成した作業記録に基づいて、訓練中の模擬作業の各作業段階に対応した評価値を含む評価基準情報を作成する(ステップS27)。次いで、動作測定処理部65aは、作業記録、および評価基準情報を現場管理サーバ6に対して配信する(ステップS28)。
一方、現場管理サーバ6は、現場支援端末7から作業記録、および評価基準情報を受信すると、評価基準情報が既に作成されているか否かを判定する(ステップS12)。ここで、評価基準情報が作成されていないと判定された場合(ステップS12でNO)、現場支援端末7から送られてきた作業記録に基づいて当該作業記録に対応する評価基準情報を作成し(ステップS13)、当該作業記録、および評価基準情報をそれぞれ保存する(ステップS16)。
これに対し、現場管理サーバ6は、現場支援端末7から作業記録、および評価基準情報を受信すると、評価基準情報が既に作成されているか否かを判定する(ステップS12)。ここで、評価基準情報が作成されていると判定された場合(ステップS12でYES)、現場支援端末7から送られてきた作業記録内に危険対象因子に対応する作業段階の設定があるか否かを判定する(ステップS14)。ここで、作業記録内に危険対象因子に対応する作業段階(危険対象因子に対応する作業段階を特定段階という)の設定があると判定された場合(ステップS14でYES)、当該作業記録内の該当する作業段階に対応する評価基準情報の評価値を調整(ステップS15)し、該調整処理完了後、一連の処理を終了する。また、作業記録内に危険対象因子に対応する作業段階の設定がないと判定された場合(ステップS14でNO)、直ちに処理を終了する。
上記ステップS16の処理終了後、あるいは、上記ステップS15での評価基準情報の調整処理後、現場管理サーバ6は、訓練管理サーバ3との間で図5に示す制御シーケンスに従った現場/訓練間情報伝達処理を実行する。
図5に示す処理においてはまず、現場管理サーバ6は、訓練管理サーバ3に対して作業動作記録、および評価基準情報を配信する(ステップS31)。ここで、動作記録は、作業対象機器の保守作業中における危険対象因子を含むものであり、評価基準情報は、当該危険対象因子に対する保守作業の作業段階に対応して評価値が調整されたものである。
訓練管理サーバ3は、上記作業動作記録、および評価基準情報を受信すると、既存の訓練マニュアルを読み込み(ステップS41)、上記作業動作記録に基づいて訓練用コンテンツを作成する処理を行う(ステップS42)。この訓練用コンテンツは、訓練者R1に作業対象機器の所定の作業手順に従った保守作業を模擬作業として訓練者R1に実行させるための情報であり、作業対象機器の3次元形状情報と、模擬作業として実行させるための模擬作業空間とを含むものである。
上記ステップS42での訓練用コンテンツの作成処理が完了すると、訓練管理サーバ3は、作成された訓練用コンテンツを表示する画面(作成画面)を表示部33に表示させる(ステップ43)。この作成画面は、上述した危険対象因子に対応する作業段階にあっては、例えば、作業対象機器の3DCG画像に、当該危険対象因子に対応する作業指令としての危険動作抑制メッセージを重畳させた内容としてもよい。
また、訓練管理サーバ3は、上記ステップS43で作成画面を表示させつつ、当該作成画面の内容を承認する指示があるか否かを判定する(ステップS44)。ここで、作成画面の内容を承認する指示がないと判定された場合(ステップS44でNO)、ステップS42以降の処理を続行する。これに対し、作成画面の内容を承認する指示があると判定された場合(ステップS44でYES)、ステップS42で作成された訓練用コンテンツをコンテンツ管理DB36aに記憶させる処理を行う。
なお、図5に示す制御シーケンスにおいて、現場管理サーバ6は、ステップS31での配信処理の前後に、作業動作記録、および評価基準情報に基づいて訓練用コンテンツを作成する処理を実行してもよい。特に、図5においては、現場管理サーバ6は、ステップS31での配信処理完了後に訓練用コンテンツを作成する例を挙げている。なお、その際、訓練管理サーバ3では、危険行動抑制処理部35fが、受信した作業動作記録に含まれる上記危険対象因子の情報(危険対象因子管理DB76bと同内容)を危険対象因子管理DB36bに記憶させる処理を実行するようにしてもよい。
図5における上記ステップS45での訓練用コンテンツの保存処理完後、訓練管理サーバ3は、訓練支援端末4と連携して図6に示す制御シーケンスに従った訓練作業評価制御を実行する。この訓練作業評価制御の中には、危険行動抑制処理部35fによる危険行動抑制制御が含まれている(ステップS63~S65参照)。そのため、図6は、第1の危険行動抑制制御に係る訓練管理サーバ3および訓練支援端末4間の動作シーケンスともいえる。
図6に示す訓練作業評価制御においてはまず、訓練管理サーバ3は、模擬作業処理部35eにより、訓練支援端末4に対して訓練用コンテンツを配信する(ステップS51)。
訓練支援端末4は、訓練管理サーバ3から訓練用コンテンツを受信すると、CPU41が当該訓練用コンテンツの実行を開始する(ステップS51)。ステップS51での処理において、CPU41は、作業対象機器の3次元形状情報と該作業対象機器の保守作業の作業手順に基づく上記訓練用コンテンツを訓練者R1に提示する。具体的に、CPU41は、仮想現実または拡張現実(Augmented Reality;AR)の模擬作業空間を表示部43に表示させ、当該模擬作業空間内で、作業対象機器の保守作業の作業手順に従って当該保守作業の模擬作業を実行させるようになっている。
その際、訓練者R1は、熟練作業者R2と同様、HMD、DoFセンサ付手袋、マイクなどを装着して上記模擬作業を行う。これにより、訓練者R1の当該模擬作業中の手や足などの動作、視線などの身体動作情報が測定情報として測定情報取得部74から取り込まれる。そして、この測定情報から訓練者R1の当該模擬作業での作業動作記録が得られ、これが、後述するS64、S65の判定処理において、現場支援端末7から作業動作記録とともに受信した評価基準情報と比較され、当該模擬作業の評価判定がなされる。
訓練支援端末4は、上記ステップS61での模擬作業空間内での作業対象機器の保守作業の模擬作業の開始後、該模擬作業としての保守作業の評価判定が必要とされる作業段階の画面になったか否かを判定する(ステップS62)。ここで、評価判定が必要とされる作業段階の画面になっていないと判定されると(ステップS62でNO)、CPU41は当該ステップS62の処理を続行する。
これに対し、評価判定が必要とされる作業段階の画面になったと判定されると(ステップS62でYES)、次いでCPU41は、判定対象が危険対象因子であるか否かを判定する(ステップS63)。ここで、判定対象が危険対象因子ではないと判定されると(ステップS63でNO)、CPU41は、当該作業段階の評価基準情報に基づいてこの時の保守作業の評価判定処理を実行し、かつ、その判定結果を報知する処理を行う(ステップS65)。
ステップS65においては、CPU41は、例えば訓練管理サーバ3の評価基準作成処理部35bから取得した評価基準情報に基づいて画面に表示されている作業段階の作業に関する評価処理を行う。
一方、判定対象が危険対象因子であると判定されると(ステップS63でYES)、CPU41は、当該危険対象因子に対する作業段階の評価基準情報に基づく評価判定処理を行ったうえで、評価判定結果が所定のレベル以下の場合には、模擬的な事故が発生したことを強調する報知処理を実行する(ステップS64)。
ステップS64の処理について、さらに詳しく説明する。図4の制御シーケンスによれば、現場管理サーバ6では、現場支援端末7から作業動作記録とともに受信した評価基準情報を元に、危険対象因子の設定があれば、当該作業段階に対応する評価基準値を調整するようになっている(ステップS14、S15参照)。その際、通常の作業段階よりも厳しい評価値となるよう基準評価情報を調整すると、当該評価値に基づく評価判定は通常の作業段階に対して低い評価値を得ることとなる。なお、基準評価情報の調整方法としては危険対象因子に対する作業時の危険度合いに応じた調整幅で評価値を調整する方法と、予め設定した調整幅で評価値を調整する方法がある。
再び図6の制御シーケンスに戻って説明を続けると、ステップS64の処理においては、危険対象因子に対する作業段階の厳しい評価値に基づく評価判定においては、通常の作業段階の評価結果に対してより低い評価結果をもたらすこととなる。本実施形態において、訓練支援端末4では、ステップS64での評価判定結果が所定のレベル以下の場合、模擬的な事故が発生したことを強調するような報知処理を実行する。
具体的には、例えば、模擬作業空間内で、作業対象機器に「ここを触ったら火傷する」という内容のメッセージがAR表示されているにも関わらず、この作業段階での作業を実行した結果、その評価判定値が上記所定レベルよりも低い場合には、例えば、図7に示すような態様のメッセージを表示する。図7の例では、作業対象機器Mの高温発生要素M1に対する保守作業の模擬作業に際し、評価判定結果が所定のレベルより低いために、「あなたは、今、やけどしました。」というテキストメッセージが当該要素の近接位置に表示されている。
図7の例では、模擬作業の実行中、作業対象機器Mの高温発生要素M1の接触する模擬的な事故の発生について述べたが、本実施形態ではこれに限らず、種々の応用、あるいは変形が可能である。この種の模擬的な事故での危険報知として、作業対象機器Mの高電圧発生要素に接触する事故を模擬的に発生させて、「あなたは、今、感電しました。」という報知を行ってもよい。また、作業対象機器Mの先鋭、あるいは鋭利な構成要素に接触する模擬的な事故を発生させて、「あなたは、今、ケガをしました。」等の報知を行ってもよい。
また、図7例では、模擬的な事故の発生を、テキストメッセージで報知するようになっているが、本実施形態では、これに限らず、音、光、振動などで報知する形態、あるいはテキストメッセージ、音、光、振動を任意に組み合わせた形態で報知してもよい。
また、上記の説明では、図4に示すように、模範作業者R2の所定の3次元身体動作から保守作業の事故発生要因となり得る所定の情報が入力されたとき(ステップS24、S25)、該情報に係る保守作業の作業手順の特定段階または他の段階の作業動作について評価基準情報を調整する処理(ステップS15)について述べてきた。しかしながら、本実施形態は、これに限るものではない。この種の評価基準情報の調整処理については、訓練管理サーバ3と訓練支援端末4とにより、訓練者R1の所定の3次元身体動作から保守作業の事故発生要因となり得る所定の情報が入力されたとき、上述したような評価基準情報の調整処理を行うようにしてもよい。
なお、本実施形態に係るコンテンツ提示システム1で扱う訓練用コンテンツの一例について図11~図13に基づいて説明する。
図11は、コンテンツ提示システム1における現場管理サーバ6で管理される複数の作業の進行状況を示す進行表コンテンツの説明図である。図12は、図11に示す複数の作業のうち最初の作業の作業手順とその作業手順上の各段階で熟練者からの収報を含み訓練者に提示されるコンテンツデータ素材を例示する手順表コンテンツの説明図である。図13は、図12に示すコンテンツデータ素材を熟練者から収集するための測定データシートの説明図である。
図11に示す進行表コンテンツにおいては、複数の作業の実施予定日、開始・終了時刻および該当する作業名とその結果が作業の予定順のIndex番号と併せて示されている。その作業のうち例えば最初の作業は、Index1の完了した作業「空調機、電気回路交換」であり、次の作業は、Index2の進行中の作業「空調集中コントロール機、基盤交換」であり、次の作業は、Index3の未実施の作業「空調集中コントロール機、配線点検」である。
図12に示す手順表コンテンツは、図11に示す進行表コンテンツの最初の作業に対応する手順を例示しており、作業手順の各段階のIndexが番号で示されるとともに、複数段階の作業動作による作業の作業名が表示され、各段階の作業動作が対応するコンテンツデータ素材と共に、手順として示されている。
この手順表コンテンツにおいては、同図に示す作業名「空調機、電気回路交換」について、複数段階の作業動作が、index1の作業動作「対象物を確認する」から、index2の作業動作「カバーを開ける」、index3の作業動作「回路を取り外す」、index4の作業動作「回路を取り付ける」、index5の作業動作「カバーを取り付ける」へと順に進行し、index6の「動作に問題ないことを確認する」という作業動作で終了する。
そして、この進行表コンテンツに基づき、訓練支援端末4においては、index1の作業動作中に、作業対象領域や作業対象物を特定するための写真(item.jpg)や3DCG(item.fbx)と現作業動作上の注意点等について説明表示(manual_1.txt)がなされる。
また、index2の作業動作中には、カバーを開けるために、カバーの写真(Cover.jpg)や3DCG(Cover.fbx)の表示がなされるとともに、現作業動作内容を説明する音声付の動画(instruction_2.mp4)の再生および説明表示(manual_2.txt)がなされ、index3の作業動作中には、交換前の電気回路を取り外すために、その電気回路基板等の写真(electronic_circuit.jpg)やその装着部位周辺の3DCG(electronic_circuit.fbx)が表示されるとともに、現作業動作内容を説明する音声付き動画(instruction_3.mp4)の再生および説明表示(manual_3.txt)がなされる。
次のindex4の作業動作中には、新しい電気回路を交換対象部位に取り付けるために、その電気回路基板等の写真(electronic_circuit.jpg)やその装着部位周辺の3DCG(electronic_circuit.fbx)が表示されるとともに、現作業動作内容を説明する音声付き動画(instruction_4.mp4)の再生および説明表示(manual_4.txt)がなされる。
次のindex5の作業動作中には、カバーを装着するために、そのカバーの写真(Cover.jpg)や3DCG(Cover.fbx)の表示がなされるとともに、現作業動作内容を説明する音声付の動画(instruction_5.mp4)の再生および説明表示(manual_5.txt)がなされ、最後のindex6の作業動作中には、一連作業手順における各段階の作業動作に問題ないことを確認するべく、作業後の作業対象領域や作業対象物を特定するための写真(Item.jpg)や3DCG(item.fbx)と現作業動作上の注意点等についての説明表示(manual_6.txt)がなされる。
本実施形態では、以上に例示したような情報提示を伴う訓練用コンテンツを作成するに際して、その作業手順を盛り込んだコンテンツの作成前あるいはその作成途中に、現場支援端末7を装着した熟練作業者R2に所定の作業手順で模範作業をしてもらい、その作業のうち少なくとも熟練作業者R2のノウハウ活用や注意喚起を行うべき特定段階の作業動作を特定し、その特定段階の作業動作についての評価基準となる模範作業の作業動作の情報を取得する(図13参照)。
図12に示した空調機の電気回路交換という作業については、作業対象機器が空調機であり、該空調機の回路を外す、あるいは取り付ける作業は危険対象因子(例えば、高温発生要素、高電圧発生要素)となり得るものである。また、本実施形態において、訓練用コンテンツとは、図12に示すようなコンテンツデータ素材を用いて、作業対象機器の3次元形状と作業手順を、映像、音、テキストメッセージ等を用いて模擬作業空間内に提示し得る情報のことである。
このように、第1の危険行動抑制機能は、作業者R2または訓練者R1の所定の3次元身体動作から保守作業の事故発生要因となり得る所定の情報が入力されたとき、該情報に係る保守作業の作業手順の特定段階または他の段階の作業動作について評価基準情報を調整する(図4のS15参照)ようになっている。そのうえで、本制機能は、模擬作業中の特定段階(危険対象因子を対象する作業段階)または他の段階の作業動作について模擬的な事故の発生確率を高め、模擬的な事故発生に、訓練者R1に事故発生を強く印象づける(図6のS64、図7参照)よう訓練用コンテンツを更新するものである。
この第1の危険行動抑制機能を有する構成によれば、訓練段階で模擬作業空間内での作業対象機器の保守作業における模擬的な事故発生を体験させる際、事故発生の危険性を訓練者R1に強く印象付けることができる。これにより、訓練者R1が訓練を終了して現場での作業員として作業対象機器の保守作業を行う際、事故発生の危険性を強く意識して作業に臨むことができ、上記意識が充分とはいえなかったこれまでの保守作業に比べて、事故発生の危険性を大幅に低減することができる。
また、第1の危険行動抑制機能は、模擬的な事故の発生を、音、テキストメッセージ、光、振動などで訓練者R1に印象付けるようになっている。この構成によれば、訓練段階で模擬的な事故発生を体験する訓練者R1に対して、当該事故発生の危険性をより強くかつ確実に印象付けることができ、危険動作をより確実に抑制できるようになる。
(第2の危険行動抑制機能)
第2の危険行動抑制機能は、訓練管理サーバ3での制御に基づく訓練支援端末4での所定の作業に関する模擬作業の訓練の結果、事故発生率が高い項目を抽出し、当該項目について危険対象(危険発生要因)を定義するものである。
この機能を実現するため、コンテンツ提示システム1は、第1の危険行動抑制機能を実現するための構成に加え、以下の構成を有している。例えば、訓練支援端末4は、危険行動判定処理部45a、危険対象因子管理DB46aを有し、現場支援端末7は、危険行動判定処理部75b、危険対象因子管理DB76bを有している。訓練支援端末4において、危険行動判定処理部45aは、模擬作業空間における所定の作業の模擬作業(訓練)の実行中、事故の発生を監視し、事故発生率が高い作業項目について、危険因子を定義する。具体的には、事故発生率が高い項目ごとに、起こり得る危険を特定し、当該危険の内容(危険発生要因)とその危険の回避方法を上記項目に対応して危険対象因子管理DB46aに格納する。
危険対象因子管理DB46aには、設定項目として、事故発生率が高い項目(第1の項目)、危険内容(第2の項目)が設けられている。危険行動判定処理部45aは、訓練の結果、事故発生率が高い項目として、例えば、高所作業を抽出した場合、第1の項目および第2の項目に、それぞれ、「高所作業」、「落下」を設定(定義)する。また、事故発生率が高い項目として、例えば、物品破損を抽出した場合、第1の項目および第2の項目に、それぞれ、「物品破損」、「確認不注意、歩行不注意」を設定する。
コンテンツ提示システム1は、訓練支援端末4の危険対象因子管理DBに設定された定義情報を、訓練管理サーバ3を介して現場管理サーバ6に配信する。現場管理サーバ6は、訓練管理サーバ3から配信される上記定義内容をさらに現場支援端末7に配信する。そして、現場支援端末7では、危険行動判定処理部75bが、現場管理サーバ6から配信される上記定義内容を危険対象因子管理DB76bに格納する。
以後、現場支援端末7では、CPU71が、現場管理サーバ6の危険行動抑制処理部65fの制御下で、危険対象因子管理DB76bに格納されている危険対象の定義に基づいて危険行動抑制制御を実行する。この危険行動抑制制御について、図8を参照して説明する。
このコンテンツ提示システム1では、現場支援端末7での作業対象機器に対する作業を行わせるには、図8に示すように、現場管理サーバ6から現場支援端末7に対して保守作業開始指示を配信する(ステップS71)。
現場支援端末7は、上記保守作業開始指示を受信することにより、作業対象機器に対する作業を開始する(ステップS81)。作業が開始されると、現場支援端末7は、作業の進行に合わせて当該作業の各段階に対応する画面を順次に更新して表示する(ステップS82)。表示される各作業段階の画面は、作業対象機器(実機)に対応する作業段階の作業指令等がAR表示された画面内容である。
現場支援端末7は、作業の進行に合わせて危険対象因子管理DB76bを参照し、当該作業段階に対応して危険対象が定義されているか否かを判定する(ステップS83)。ここで、危険対象が定義されていると判定された場合(ステップS38でYES)、CPU71は、当該危険対象の定義内容に基づいて危険動作抑制メッセージを当該面中にAR表示する(ステップS84)。ここでは、例えば、高所作業の作業段階であれば、「落下注意」というメッセージを表示し、物品破損を引き起こす作業段階であれば、「確認注意、歩行注意」等のメッセージを表示させる。その後、現場支援端末7は、ステップS85に移行する。
また、危険対象が定義されていないと判定された場合(ステップS83でNO)、現場支援端末7は、直ちにステップS85に移行する。ステップ85において、現場支援端末7は、作業が終了したか否かを判定する。ここで、作業が終了していないと判定された場合(ステップS85でNO)、CPU71は、ステップS83以降の処理を続行する。一方、作業が終了したと判定された場合(ステップS85でYES)、CPU71は、上述した一連の危険行動抑制制御を終了する。
なお、上記の説明では、訓練支援端末4で、危険行動判定処理部45aが危険対象因子管理DB46aを構築して現場管理サーバ6および現場支援端末7に配信する例について述べたが、現場支援端末7において、危険行動判定処理部75bが、例えば作業者R3による作業対象機器に対する保守作業中に事故の発生を監視し、事故発生率が高い作業項目について、危険因子を危険対象因子管理DB76bとして定義するようにしてもよい。
このように、第2の危険行動抑制機能は、模擬作業空間を使った訓練の結果、事故発生率が高い項目について、危険対象を定義し、現場作業時に、該定義に基づいて危険動作抑制メッセージをAR表示するようになっている。この機能を有する構成によれば、訓練段階で事故発生を体験した訓練者R1が、現場で作業者R3として作業を行う際に、段階的に危険を抑制できるようになる。
(第3の危険行動抑制機能)
第3の危険行動抑制機能は、現場作業により作成される作業報告書に現状からの変化を示す記述がある場合、現状変化に合わせて危険対象を更新するものである。
この機能に係る構成要素として、コンテンツ提示システム1は、上述した第1及び第2の危険行動抑制機能を実現するための構成に加え、以下の構成を有している。すなわち、現場支援端末7は、作業報告管理処理部75a、作業報告管理DB76aを有している。作業報告管理処理部75aは、例えば、作業対象機器の保守作業の作業内容、及び作業環境を記述した作業報告書を作成する処理、および該作業報告書を作業報告管理DB76aに登録する処理の各処理機能を有する。また、現場支援端末7において、CPU71は、新たに作成された作業報告書と、既に登録されている作業報告書との間に、作業内容、作業環境が変化したことに関する記述があるか否を判定する処理等に関する処理機能を有している。
以下、現場支援端末7における現場作業時の第3の危険行動抑制制御について、図9を参照して説明する。この危険行動抑制制御を行うためにはまず、現場支援端末7において、作業報告管理処理部75aが、作業対象機器の保守作業が終わる度に、当該保守作業に関する作業報告書を新たに作成する(ステップS86)。
次いで、作業報告管理処理部75aは、作業報告管理DB76aに登録されている既作業報告書を読み出し(ステップS87)、新たな作業報告書と既作業報告書との間に、例えば、作業環境が現状から変化したか否かを判定する(ステップS88)。この判定は、例えば、新たな作業報告書に、危険対象となり得る項目について、既作業報告書の記述に対して変化したことを示す記述があるか否かをチェックすることで実現できる。
ここで、現状から変化したと判定された場合(ステップS88でYES)、作業報告管理処理部75aは、危険対象因子管理DB76bに設定されている危険対象を更新する処理を行う(ステップS89)。
ステップS89での危険対象の更新処理の具体例について説明する。例えば、ステップS88での判定に際し、新たな作業報告書に、例えば、作業対象機器を設置している部屋のレイアウトが変わって狭い通路が形成された旨の記述があった場合、危険行動判定処理部75bは、危険対象因子管理DB76bに、第1の項目が「レイアウト変更により通路がせまくなった。」が定義され、第2の項目に「運搬時の壁破損注意」が定義された新たな設定項目を追記する。
その後、現場支援端末7では、CPU71が、現場管理サーバ6の危険行動抑制処理部65fの制御下で、危険対象因子管理DB76bに格納されている危険対象の定義に基づいて危険行動抑制制御を実行する。この危険行動抑制制御は、危険対象の定義が変わる以外は、図8のフローチャートに示す手順で実行可能である。なお、図9のステップS87において、上述した設定項目を追記する更新処理が行われた場合、当該危険行動抑制制御においては、作業現場での上記画面に対して、「運搬時の壁破損注意」といった危険行動抑制メッセージが表示されることとなる。
このように、第3の危険行動抑制機能は、作業報告書で現状変化に関する記述がある場合に、危険対象因子管理DB76bに設定されている危険対象を更新するようになっている。この機能を有する構成によれば、現場作業において、現況に変化があった場合でも、作業の進行を映す画面上に当該現況変化に合わせた危険動作抑制メッセージをAR表示することで、現況の変化に合わせて段階的に危険を抑制できるようになる。
(第4の危険行動抑制機能)
第4の危険行動抑制機能を実現するために、コンテンツ提示システム1は、第1乃至第3の危険行動抑制機能を実現するための構成に加え、以下の構成を有している。例えば、現場支援端末7において、危険対象因子管理DB76bには、上述した危険対象の定義内容に加えて、対象機器の種別、現場状況、作業者スキルなどの指標情報が格納されている。この指標情報は、例えば、危険行動判定処理部75bの制御により事前に格納することができる。また、危険行動判定処理部75bは、危険対象因子管理DB76bに設定されている危険対象を元に、上記指標情報から段階的警告要素を抽出する機能と、該段階的警告要素に対応する段階的な警告表示を行う制御機能を有している。
以下、現場支援端末7における現場作業時の第4の危険行動抑制制御について、図10を参照して説明する。
この危険行動抑制制御が開始されると、現場支援端末7において、危険行動判定処理部75bは、危険対象因子管理DB76bから危険対象項目および指標情報を読み出す(ステップS91)。引き続き、危険行動判定処理部75bは、読出した危険対象項目から危険要素を抽出する(ステップS92)。さらに、危険行動判定処理部75bは、抽出した危険要素と上記指標情報とに基づいて段階的警告項目を決定する(ステップS93)。
例えば、上記指標情報として、現場の作業対象機器の種別、現場状況、作業者スキルが設定されている場合、危険行動判定処理部75bでは、「作業対象機器の入出庫時に作業者スキルに応じて注意喚起」、「作業対象機器の作業時に作業者スキルに応じて注意喚起」といった段階的警告項目を決定可能である。さらに、危険行動判定処理部75bでは、危険度が高い作業については、「統制側への事前確認を要請する」、「作業対象機器の電源を強制OFF」等の段階的警告項目を決定することもできる。決定された段階的警告項目は、例えば、危険対象因子管理DB76bに設定される。
上記ステップS93で段階的警告項目を設定した後、この危険行動抑制制御は、現場支援端末7において現場での作業対象機器の保守作業を実行(図8のステップS81~S85参照)する段階に移行する。当該作業対象機器の保守作業の実行中、危険行動判定処理部75bは、現場管理サーバ6の危険行動抑制処理部65fの制御下でステップS94の処理を実行する。すなわち、危険行動判定処理部75bは、現場での作業対象機器の保守作業時、当該作業の各段階に合わせて、ステップS93で決定され、危険対象因子管理DB76bに設定されている警告項目に基づいて段階的な危険行動抑制制御を実行し(ステップS94)、その後、一連の処理を終了する。具体的に、ステップS94においては、「作業対象機器の入出庫時に作業者スキルに応じて注意喚起」、「作業対象機器の作業時に作業者スキルに応じて注意喚起」等の処理を段階的に実行する。注意喚起の具体例としては、例えば、当該注意喚起を実現し得る危険行動抑制メッセージを各段階の画面上にAR表示する。
このように、第4の危険行動抑制機能は、危険対象因子管理DB76bに設定(定義)されている危険対象を元に、現場の対象機器、現場状況、作業者スキルなどの情報から段階的警告要素を抽出し、該段階的警告要素に対応する段階的な警告表示を行うようになっている。この機能を有する構成によれば、訓練管理システム5での訓練で事故を仮想体験可能な訓練者R1が、訓練終了後、作業者としての現場作業時に、訓練中の事故発生率が高い項目について、自分の作業スキル等に合わせて段階的に危険を抑制することが可能となる。
以上のように、本発明に係るコンテンツ提示システムは、訓練段階で模擬的な事故を発生させて事故の危険性を訓練者に強く印象付け、現場における作業対象機器の保守作業での事故の危険性を確実に抑制可能であるという効果を奏し、作業者に危険をもたらす構成要素を有する装置の3DCGを用いた訓練を行う訓練システム全般に適用可能である。
1 コンテンツ提示システム
3 訓練管理サーバ
4 訓練支援端末
5 訓練管理システム
6 現場管理サーバ
7 現場支援端末
35a、65a 動作測定処理部(動作測定装置)
35b、65b 評価基準作成処理部(評価基準作成装置)
35c、65c コンテンツ作成処理部(コンテンツ作成装置)
35f、65f 危険行動抑制処理部
36a コンテンツ管理データベース(DB)(記憶部)
45a、75b 危険行動判定処理部
65f 危険行動抑制処理部(危険行動抑制制御手段、更新手段、警告手段)
75a 作業報告管理処理部(作成手段)
75b 危険行動判定処理部(危険行動判定処理手段、設定手段)
76a 作業報告管理データベース(DB)(作成手段)
76b 危険対象因子管理DB(危険行動判定処理手段)
M 作業対象機器
M1 高温発生要素
R1 訓練者
R2 模範作業者
R3 作業者

Claims (5)

  1. 作業対象機器の3次元形状情報と作業手順に基づく訓練用コンテンツを訓練者(R1)に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って現場作業の模擬作業を実行させるコンテンツ提示システムであって、
    前記作業対象機器の3次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部(36a)と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部(35e、43)とを有するコンテンツ出力装置(3)と、
    前記現場作業を実行する模範作業者(R2)または前記訓練者の3次元作業動作を測定情報として取得する動作測定装置(35a、65a)と、
    前記模範作業者により行われた前記3次元作業動作の測定情報に基づいて、前記訓練者により行われた前記作業動作の正確性を示す評価値を生成する際の基準レベルとしての評価基準値を含む評価基準情報を作成する評価基準作成装置(35b、65b)と、
    前記3次元作業動作の測定情報および前記評価基準情報に基づいて前記訓練用コンテンツを作成するコンテンツ作成装置(35c、65c)と、を備え、
    前記評価基準作成装置は、前記模範作業者の所定の3次元身体動作から前記現場作業の事故発生要因となり得る所定の情報が入力されたとき、該情報に係る前記作業手順の特定段階の作業動作の評価値が下がるように該特定段階の前記評価基準情報を調整し、
    前記コンテンツ作成装置は、前記調整された評価基準情報に基づいて前記訓練用コンテンツを更新し、
    前記コンテンツ出力装置は、前記訓練者による作業段階が前記特定段階であるか否かを判定し、前記特定段階である場合、前記調整された評価基準情報に基づき前記特定段階の作業動作の評価値を生成し、前記特定段階の評価値が所定レベル以下の場合に模擬的な事故の発生を報知することを特徴とするコンテンツ提示システム。
  2. 前記コンテンツ作成装置は、前記模擬的な事故の発生を、音、テキストメッセージ、光、および振動の少なくとも1つにより前記訓練者に印象付けることを特徴とする請求項1に記載のコンテンツ提示システム。
  3. 前記模擬的な事故の発生確率が高い作業項目を抽出し、該作業項目について危険発生要因を定義する危険行動判定処理手段(75b、76b)と、
    前記現場作業での前記作業項目の作業に際し、訓練を終了した訓練者に対し、前記危険発生要因による危険行動を抑制させるための報知を行う危険行動抑制制御手段(65f)と、
    をさらに有することを特徴とする請求項1または2に記載のコンテンツ提示システム。
  4. 前記現場作業の作業環境を記述した作業報告書を作成する作成手段(75a、76a)と、
    作成された前記作業報告書と既に作成されている既作業報告書との間に前記作業環境が現状から変化した記述があるかを判定し、前記記述があった場合、変化した作業環境に応じ、前記作業項目についての前記危険発生要因の定義を更新する更新手段(65f)と、
    を有することを特徴とする請求項3に記載のコンテンツ提示システム。
  5. 前記作業項目についての前記危険発生要因の定義と、前記訓練を終了した訓練者の作業者スキルを含む指標情報に基づいて当該作業項目を含む前記現場作業中に段階的に実施する警告項目を設定する設定手段(75b)と、
    前記現場作業中、前記警告項目に基づいて段階的に警告を行う警告手段(65f)と、
    を有することを特徴とする請求項3または4に記載のコンテンツ提示システム。
JP2018124689A 2018-06-29 2018-06-29 コンテンツ提示システム Active JP7289190B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018124689A JP7289190B2 (ja) 2018-06-29 2018-06-29 コンテンツ提示システム
PCT/JP2018/031353 WO2020003546A1 (ja) 2018-06-29 2018-08-24 コンテンツ提示システム
EP18924816.4A EP3637390A4 (en) 2018-06-29 2018-08-24 CONTENT PRESENTATION SYSTEM
US16/626,023 US20210335148A1 (en) 2018-06-29 2018-08-24 Content presentation system
JP2023088776A JP2023107814A (ja) 2018-06-29 2023-05-30 コンテンツ提示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018124689A JP7289190B2 (ja) 2018-06-29 2018-06-29 コンテンツ提示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023088776A Division JP2023107814A (ja) 2018-06-29 2023-05-30 コンテンツ提示システム

Publications (2)

Publication Number Publication Date
JP2020004218A JP2020004218A (ja) 2020-01-09
JP7289190B2 true JP7289190B2 (ja) 2023-06-09

Family

ID=68984791

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018124689A Active JP7289190B2 (ja) 2018-06-29 2018-06-29 コンテンツ提示システム
JP2023088776A Pending JP2023107814A (ja) 2018-06-29 2023-05-30 コンテンツ提示システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023088776A Pending JP2023107814A (ja) 2018-06-29 2023-05-30 コンテンツ提示システム

Country Status (4)

Country Link
US (1) US20210335148A1 (ja)
EP (1) EP3637390A4 (ja)
JP (2) JP7289190B2 (ja)
WO (1) WO2020003546A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210169B2 (ja) * 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
US11508253B1 (en) * 2020-02-12 2022-11-22 Architecture Technology Corporation Systems and methods for networked virtual reality training
US11474596B1 (en) 2020-06-04 2022-10-18 Architecture Technology Corporation Systems and methods for multi-user virtual training
JP6987290B1 (ja) * 2021-07-15 2021-12-22 東京瓦斯株式会社 危険予知訓練支援装置
WO2023145250A1 (ja) * 2022-01-27 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 装着型端末、提示方法、及び、プログラム
JP7200414B1 (ja) 2022-03-03 2023-01-06 旭国際テクネイオン株式会社 情報処理装置及び保全支援システム
JPWO2023223388A1 (ja) * 2022-05-16 2023-11-23
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system
JP7406038B1 (ja) * 2023-09-19 2023-12-26 株式会社日立パワーソリューションズ 作業支援システム及び作業支援方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010230996A (ja) 2009-03-27 2010-10-14 Systec:Kk 電気事故防止のための作業者教育装置
US20170148214A1 (en) 2015-07-17 2017-05-25 Ivd Mining Virtual reality training
JP2017518530A (ja) 2014-06-02 2017-07-06 リンカーン グローバル,インコーポレイテッド 手溶接訓練のためのシステム及び方法
US20180090029A1 (en) 2016-09-29 2018-03-29 Simbionix Ltd. Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment
US20180102061A1 (en) 2014-08-18 2018-04-12 Illinois Tool Works Inc. Weld training systems and methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
JP2008139479A (ja) 2006-11-30 2008-06-19 Toshiba Corp 教育用危険予知訓練採点装置、教育用危険予知訓練採点方法、および教育用危険予知訓練採点用プログラム
US9754512B2 (en) * 2009-09-30 2017-09-05 University Of Florida Research Foundation, Inc. Real-time feedback of task performance
JP2014081947A (ja) * 2013-12-04 2014-05-08 Denso Corp 情報配信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010230996A (ja) 2009-03-27 2010-10-14 Systec:Kk 電気事故防止のための作業者教育装置
JP2017518530A (ja) 2014-06-02 2017-07-06 リンカーン グローバル,インコーポレイテッド 手溶接訓練のためのシステム及び方法
US20180102061A1 (en) 2014-08-18 2018-04-12 Illinois Tool Works Inc. Weld training systems and methods
US20170148214A1 (en) 2015-07-17 2017-05-25 Ivd Mining Virtual reality training
US20180090029A1 (en) 2016-09-29 2018-03-29 Simbionix Ltd. Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment

Also Published As

Publication number Publication date
US20210335148A1 (en) 2021-10-28
EP3637390A1 (en) 2020-04-15
EP3637390A4 (en) 2021-04-14
WO2020003546A1 (ja) 2020-01-02
JP2023107814A (ja) 2023-08-03
JP2020004218A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP7289190B2 (ja) コンテンツ提示システム
US10769536B2 (en) Work support system and work support program
CN107924173B (zh) 监视装置、监视系统及计算机可读存储介质
JP6912150B2 (ja) 作業支援装置、作業支援方法及びプログラム
US20210343182A1 (en) Virtual-reality-based personal protective equipment training system
JP7210169B2 (ja) コンテンツ提示システムおよびコンテンツ提示方法
JP5609600B2 (ja) 加工管理用表示システムとその表示方法
JP7265667B2 (ja) 作業支援システムおよび作業支援方法
JP7191560B2 (ja) コンテンツ作成システム
CN108284434B (zh) 机器学习装置、示教装置的冲击抑制系统及机器学习方法
US20210255693A1 (en) Augmented reality interactive messages and instructions for batch manufacturing and procedural operations
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
US11455750B2 (en) Operator characteristic-based visual overlays
WO2019202694A1 (ja) 保全記録作成装置及び保全記録作成方法
CN207259864U (zh) 纤维幅材机的信息装置
CN111145511B (zh) 机器人的警报通知系统
CN117041502B (zh) 一种基于机器视觉的危险场景分析监测系统及方法
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
JPH10187232A (ja) 監視制御装置
TW202302299A (zh) 管理機器人之動作程式的管理裝置、網路系統及方法
CN113436491A (zh) 矿山事故的虚拟培训方法、装置、终端设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230530

R150 Certificate of patent or registration of utility model

Ref document number: 7289190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150