JP6646511B2 - 技能伝承システム及び方法 - Google Patents
技能伝承システム及び方法 Download PDFInfo
- Publication number
- JP6646511B2 JP6646511B2 JP2016081072A JP2016081072A JP6646511B2 JP 6646511 B2 JP6646511 B2 JP 6646511B2 JP 2016081072 A JP2016081072 A JP 2016081072A JP 2016081072 A JP2016081072 A JP 2016081072A JP 6646511 B2 JP6646511 B2 JP 6646511B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- user
- information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012546 transfer Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 34
- 238000010801 machine learning Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 35
- 238000007726 management method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 238000012423 maintenance Methods 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
図1は、実施の形態の技能伝承システムの構成を示す。実施の形態の技能伝承システムは、眼鏡端末1、操作機器2、サーバ3、管理端末4を含み、それらの要素が通信網6を介して通信可能に接続されている。眼鏡端末1と操作機器2は例えば有線通信インタフェースで通信ケーブル5を通じて接続されている。操作機器2とサーバ3は、例えば無線通信インタフェースの無線通信網を含む通信網6を介して接続されている。サーバ3と管理端末4は通信網6を介して接続されている。
図2は、眼鏡端末1の構成を示す。眼鏡端末1は、表示方式としては、透過、投射表示方式を用いている。即ち、眼鏡端末1を装着したユーザの視界には、外界がそのまま透過されて視えると共に、眼鏡レンズ面に投射表示画像が重ね合わせて表示される。図2では、ユーザの眼7に対して、眼鏡端末1を内側から見た構成を示す。視線方向20は、ユーザの眼7から外界を視る視線方向を示す。なお、説明上の方向として、眼鏡端末1の表示画面を構成する交差する2つの方向をX方向及びY方向とし、その表示画面に対して交差する、視線方向20に対応する方向をZ方向とする。画面内水平方向をX方向とし、画面内垂直方向をY方向とする。
図3は、技能伝承システムの各装置の基本的な構成を示す。眼鏡端末1は、制御部101、記憶部102、通信部103、入力部104、及び前述の表示画面部12等を備える。操作機器2は、制御部201、記憶部202、通信部203、入力部204、電源部205等を備える。サーバ3は、制御部301、記憶部302、通信部303、DB304等を備える。
図4は、技能伝承システムの機能ブロックの構成として、主に第1ユーザUAに係わる眼鏡端末1A、操作機器2A、及びサーバ3を含む部分の構成を示す。
図5は、図4と関連する技能伝承システムの機能ブロック構成として、主に第2ユーザUBに係わる眼鏡端末1B、操作機器2B、及びサーバ3を含む部分の構成を示す。図5の眼鏡端末1B及び操作機器2Bの構成は、図4の眼鏡端末1A及び操作機器2Aの構成と同様である。
実施の形態の技能伝承方法は、実施の形態の技能伝承システムにおいて実行されるステップを含む方法であり、主に以下の第1ステップS1、第2ステップS2により構成される。
第1ステップS1の構成は以下である。第1ステップS1は、詳しくは以下のステップS1−1〜S1−5を含む。
第2ステップS2の構成は以下である。第2ステップS2は、詳しくは以下のステップS2−1〜S2−6を含む。
図6は、支援表示データD37の画像フレームの例を示す。画像フレーム601は、第2ユーザUBの第2画像データD23の画像フレームに対応した、矩形の背景の画像フレームである。背景は透過領域である。画像フレーム601内に、注目箇所である領域602を有する。点P及び領域602の少なくとも一方が表示される。画像フレーム601内における点Pの位置座標が(Xp,Yp)である。領域602は、この例では、点Pを中心とした矩形の領域であり、領域602のサイズとして、横幅HX、縦幅HYである。領域602の表示図形として、矩形、楕円、等から選択して設定可能であり、本例では矩形である。
図7は、実施の形態の技能伝承システムにおける、第1ユーザUA及び第2ユーザUBが装置を通して視る現場9の画像及び対応する画面の例を示す。現場9として屋外で建物や道路等を斜めから視る例である。図7の左側は、第1ユーザUAが眼鏡端末1Aの画面を通じて視る現場9Aの画像及び画面の例を示す。図7の右側は、第2ユーザUBが眼鏡端末1Aの画面を通じて視る現場9Bの画像及び画面の例を示す。
上記のように、実施の形態の技能伝承システム及び方法によれば、眼鏡端末1及び機械学習等を用いて、ベテラン社員と非ベテラン社員との間で、視線等を連携できる。ベテラン社員の注目箇所を含む支援情報を非ベテラン社員の視界に表示できる。ベテラン社員の注目箇所、視線や知見等をデータや情報にして、非ベテラン社員に伝えることができる。ベテラン社員の技能等を非ベテラン社員に効率的に教示、伝承することができる。これにより、非ベテラン社員の技能や作業効率等の向上が期待でき、現場の業務の品質向上や危険回避等につながり、ベテラン社員の技能等をより活用できる。また、実施の形態によれば、ベテラン社員の教師データの入力や修正、フィードバック学習等についても、少ない手間で実現できる。また、多数のユーザ、多数の現場に適用することができ、学習により効率を高めることができる。
実施の形態の技能伝承システムの変形例として以下も可能である。この変形例では、第2ユーザUBの第2視線データD24を利用して、第2ユーザUBの注目箇所を判定する。操作機器2Bもしくはサーバ3は、第2視線データD24を用いて、第2画像内の視点を判断し、例えば凝視時間を判断し、第2ユーザUBの注目箇所を判定する。サーバ3は、その第2ユーザUBの注目箇所の情報をDBに登録する。また、第2ユーザUBの入力操作に基づいて、第2ユーザUBの注目箇所の情報をDBに登録してもよい。
Claims (9)
- ユーザ間での技能の伝承を支援する技能伝承システムであって、
第1ユーザが装着する第1ウェアラブル端末と、
第2ユーザが装着する第2ウェアラブル端末と、
前記第1ウェアラブル端末及び前記第2ウェアラブル端末に接続されるサーバ装置と、
を備え、
前記第1ウェアラブル端末は、
前記第1ユーザの視界の第1画像を撮影して第1画像データとして前記サーバ装置へ送信し、
前記第1画像内の視線を追跡して第1視線データとして前記サーバ装置へ送信し、
前記サーバ装置は、
機械学習の教師データを入力し、
前記第1画像データ及び前記第1視線データをDBに蓄積し、前記DBのデータ、及び前記教師データに基づいて、前記機械学習を行って、前記第1画像から特徴情報を抽出して特徴データとして前記DBに登録し、
前記教師データとして、前記第1画像内での前記第1ユーザの注目箇所の情報を入力して注目箇所データとして前記DBの前記特徴データに関連付けるように登録し、
前記第2ウェアラブル端末から前記第2ユーザの視界の第2画像を撮影した第2画像データを受信し、前記第2画像と前記特徴データとをマッチングして該当する前記特徴データに関連付けられている前記注目箇所データを読み出し、
前記注目箇所データを用いた支援表示データを作成して前記第2ウェアラブル端末へ送信し、
前記第2ウェアラブル端末は、
前記第2ユーザの視界の前記第2画像を撮影して前記第2画像データとして前記サーバ装置へ送信し、
前記サーバ装置から前記支援表示データを受信して、前記注目箇所の情報を前記第2ユーザの視界に重ね合わせるように表示を行う、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記支援表示データは、画像フレーム内において前記注目箇所の位置を表す情報と、前記注目箇所のタイプを表す情報と、を含む、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
管理端末を有し、
前記管理端末は、前記第1画像を表示し、前記第1ユーザまたは管理者の操作に基づいて、前記注目箇所の情報を入力して、前記サーバ装置へ送信し、
前記サーバ装置は、前記管理端末からの前記注目箇所の情報に基づいて、前記注目箇所データを登録する、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記第1ウェアラブル端末は、前記第1ユーザの操作に基づいて、前記注目箇所の情報を入力して、前記サーバ装置へ送信し、
前記サーバ装置は、前記第1ウェアラブル端末からの前記注目箇所の情報に基づいて、前記注目箇所データを登録する、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記第1ウェアラブル端末または前記サーバ装置は、前記第1視線データを用いて前記第1画像内での視点の位置を判断して前記注目箇所を判定し、前記注目箇所の情報とする、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記第2ウェアラブル端末は、前記第2画像内の視線を追跡して第2視線データとして取得し、
前記第2ウェアラブル端末または前記サーバ装置は、前記第2視線データを用いて前記第2画像内での視点の位置を判断し、
前記サーバ装置は、前記第2画像内での視点の位置を利用して、前記マッチングを行う、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記サーバ装置は、前記第2ウェアラブル端末で前記第2ユーザが前記注目箇所を確認したかどうかを表す実績情報を記録し、前記実績情報を出力する、
技能伝承システム。 - 請求項1記載の技能伝承システムにおいて、
前記第2ウェアラブル端末は、前記第2画像内の視線を追跡して第2視線データとして取得し、
前記第2ウェアラブル端末または前記サーバ装置は、前記第2視線データを用いて前記第2画像内での注目箇所を判定し、
前記サーバ装置は、前記第1ユーザの前記注目箇所と前記第2ユーザの前記注目箇所とにおける両者の差異の情報を前記DBに登録し、前記差異の情報を出力する、
技能伝承システム。 - ユーザ間での技能の伝承を支援するための技能伝承方法であって、
第1ユーザが装着する第1ウェアラブル端末と、第2ユーザが装着する第2ウェアラブル端末と、前記第1ウェアラブル端末及び前記第2ウェアラブル端末に接続されるサーバ装置と、を備えるシステムにおいて実行されるステップとして、
前記サーバ装置が、機械学習の教師データを入力するステップと、
前記第1ウェアラブル端末が、前記第1ユーザの視界の第1画像を撮影して第1画像データとして前記サーバ装置へ送信し、前記第1画像内の視線を追跡して第1視線データとして前記サーバ装置へ送信するステップと、
前記サーバ装置が、前記第1画像データ及び前記第1視線データをDBに蓄積し、前記DBのデータ、及び前記教師データに基づいて、前記機械学習を行って、前記第1画像から特徴情報を抽出して特徴データとして前記DBに登録するステップと、
前記サーバ装置が、前記教師データとして、前記第1画像内での前記第1ユーザの注目箇所の情報を入力して注目箇所データとして前記DBの前記特徴データに関連付けるように登録するステップと、
前記第2ウェアラブル端末が、前記第2ユーザの視界の前記第2画像を撮影して前記第2画像データとして前記サーバ装置へ送信するステップと、
前記サーバ装置が、前記第2ウェアラブル端末から前記第2画像データを受信し、前記第2画像と前記特徴データとをマッチングして該当する前記特徴データに関連付けられている前記注目箇所データを読み出し、前記注目箇所データを用いた支援表示データを作成して前記第2ウェアラブル端末へ送信するステップと、
前記第2ウェアラブル端末が、前記サーバ装置から前記支援表示データを受信して、前記注目箇所の情報を前記第2ユーザの視界に重ね合わせるように表示を行うステップと、
を有する、技能伝承方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081072A JP6646511B2 (ja) | 2016-04-14 | 2016-04-14 | 技能伝承システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081072A JP6646511B2 (ja) | 2016-04-14 | 2016-04-14 | 技能伝承システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017191490A JP2017191490A (ja) | 2017-10-19 |
JP6646511B2 true JP6646511B2 (ja) | 2020-02-14 |
Family
ID=60084908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081072A Active JP6646511B2 (ja) | 2016-04-14 | 2016-04-14 | 技能伝承システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6646511B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7143592B2 (ja) * | 2018-01-22 | 2022-09-29 | トヨタ自動車株式会社 | 位置探索支援システム |
US11537871B2 (en) * | 2018-04-25 | 2022-12-27 | Fujitsu Limited | Deep neural network training for application program generation |
WO2020090943A1 (ja) * | 2018-10-30 | 2020-05-07 | Cyberdyne株式会社 | インタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システム |
JP2020155827A (ja) * | 2019-03-18 | 2020-09-24 | 本田技研工業株式会社 | 視認装置および視認方法 |
JP7052062B2 (ja) * | 2019-10-21 | 2022-04-11 | 株式会社日立システムズ | ナレッジ情報抽出システムおよびナレッジ情報抽出方法 |
JP6755529B1 (ja) * | 2019-11-21 | 2020-09-16 | 株式会社スワローインキュベート | 情報処理方法、情報処理装置、及び制御プログラム |
WO2021199853A1 (ja) * | 2020-03-30 | 2021-10-07 | 日本電気株式会社 | 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体 |
CN111209708B (zh) * | 2020-04-22 | 2020-08-14 | 西南交通大学 | 基于机器学习的桩-土相互作用预测分析方法 |
JP7253216B2 (ja) * | 2020-04-28 | 2023-04-06 | 株式会社日立製作所 | 学習支援システム |
JP6802549B1 (ja) * | 2020-08-17 | 2020-12-16 | 株式会社スワローインキュベート | 情報処理方法、情報処理装置、及び制御プログラム |
JP7222388B2 (ja) * | 2020-12-28 | 2023-02-15 | 横河電機株式会社 | 装置、方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3753882B2 (ja) * | 1999-03-02 | 2006-03-08 | 株式会社東芝 | マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法 |
JP3931339B2 (ja) * | 2003-09-30 | 2007-06-13 | マツダ株式会社 | 車両用情報提供装置 |
JP5099182B2 (ja) * | 2010-06-24 | 2012-12-12 | 日本電気株式会社 | 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム |
JP2013200440A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 映像表示装置 |
JP6157170B2 (ja) * | 2013-03-28 | 2017-07-05 | 大阪瓦斯株式会社 | 監視支援システム |
JP2015061339A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社日立製作所 | 結線作業支援システム |
JP2016001467A (ja) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2016
- 2016-04-14 JP JP2016081072A patent/JP6646511B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017191490A (ja) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6646511B2 (ja) | 技能伝承システム及び方法 | |
CN102981616B (zh) | 增强现实中对象的识别方法及系统和计算机 | |
US10095030B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
KR101816041B1 (ko) | 시스루 스마트 안경 및 그 투시 방법 | |
JP6454851B2 (ja) | 3次元上の注視点の位置特定アルゴリズム | |
CN108351522A (zh) | 注视方向映射 | |
DE102014225222A1 (de) | Bestimmung der Position eines HMD relativ zum Kopf des Trägers | |
US20210264677A1 (en) | Information processing apparatus, information processing method, and program | |
US11893836B1 (en) | Augmented reality system for remote product inspection | |
US11137600B2 (en) | Display device, display control method, and display system | |
WO2015005102A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
JP2016110542A (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
JP2018106358A (ja) | 設営アシストシステム | |
JP6597702B2 (ja) | 設営アシストシステム | |
JP7094759B2 (ja) | システム、情報処理方法及びプログラム | |
JP7036559B2 (ja) | 杭位置検査装置及び杭位置検査方法 | |
JP2016062336A (ja) | 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ | |
KR102339044B1 (ko) | 비상 상황 통제 방법 및 장치 | |
CN109348209B (zh) | 增强现实显示装置和视觉标定方法 | |
WO2024075817A1 (ja) | 表示方法、表示システム | |
JP2021047499A (ja) | 情報処理装置、情報処理方法、プログラム、および、情報処理システム | |
JP2019159942A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2017111721A (ja) | クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6646511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |