JP7138499B2 - 作業支援システム、作業支援システム用のサーバ装置およびプログラム - Google Patents

作業支援システム、作業支援システム用のサーバ装置およびプログラム Download PDF

Info

Publication number
JP7138499B2
JP7138499B2 JP2018131182A JP2018131182A JP7138499B2 JP 7138499 B2 JP7138499 B2 JP 7138499B2 JP 2018131182 A JP2018131182 A JP 2018131182A JP 2018131182 A JP2018131182 A JP 2018131182A JP 7138499 B2 JP7138499 B2 JP 7138499B2
Authority
JP
Japan
Prior art keywords
work
worker
viewpoint
viewpoint position
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018131182A
Other languages
English (en)
Other versions
JP2020009276A (ja
Inventor
靖仁 西崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018131182A priority Critical patent/JP7138499B2/ja
Publication of JP2020009276A publication Critical patent/JP2020009276A/ja
Application granted granted Critical
Publication of JP7138499B2 publication Critical patent/JP7138499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • General Factory Administration (AREA)

Description

本発明は、作業支援システム、作業支援システム用のサーバ装置およびプログラムに関する。
現地作業者の作業を支援するために、遠隔作業者が現地作業者と携帯端末を通じて映像を共有して作業支援を行う作業支援システムが知られている(例えば、特許文献1)。
この作業支援システムは、現地作業者の携帯端末と、遠隔作業者の携帯端末と、サーバとを備える。現地作業者は、携帯端末のカメラを用いて、作業対象の機器を撮影し、その撮影映像を、遠隔作業者の携帯端末へ送信して映像を共有する。これにより、現地と遠隔地との両者で映像を共有しながら遠隔連携作業が可能となる。
特開2018-36812号公報
特許文献1に記載の遠隔作業者が作業支援を行う場合、作業支援者が必要となる。また、作業支援は行われるものの、現地作業の状況が記録されておらず、作業者の技能の定量的評価、育成に反映されていない。
本発明は、上述の事情に鑑みてなされたものであり、作業支援者がいなくても作業に対応することができ、現地作業者の技能レベルを判定可能とし、技能レベルの向上に寄与することを目的とする。
上記の目的を達成するため、本発明の作業支援システムは、作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、生成部が生成した視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、作業曲線に対して作業工程内の各作業手順内に設定された第1の基準点と第2の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、作業者の作業習熟度を判定する判定部と、を備え、第1の基準点と第2の基準点の視点位置は、作業手順において確認が必須の作業箇所に対する視点位置である。
また、本発明の作業支援システムは、作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、生成部が生成した視点位置データから記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、作業曲線に対して作業工程内の各作業手順内に設定された第1の基準点と第2の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、作業者の作業習熟度を判定する判定部と、を備え、第1の基準点と第2の基準点の視点位置は、作業手順における作業開始時の視点位置である。
本発明によれば、現地作業の状況を作業者の視点位置から検出して作業者の作業習熟度を判定できる。この判定を活用することにより技能レベルの向上を図ることができる。
本発明の第1の実施の形態に係る作業支援システムの構成を示す図 本発明の第1の実施の形態に係るHMDの外観構成を例示する図 (a)、(b)は、本発明の第1の実施の形態に係る携帯端末の構成を示す図 本発明の第1の実施の形態に係るサーバ装置の機能的構成を示す図 本発明の第1の実施の形態に係るサーバ装置のハードウェア構成を示す図 図4に示すサーバ装置の映像情報処理部の機能的構成を示す図 作業者の視点分布の一例を示す図 作業者の作業中の視点を示す作業曲線の一例を示す図 図4に示す作業履歴データベースの構成例を示す図 図4に示す作業者習熟度データベースの構成例を示す図 (a)、(b)、(c)は、作業手順書の変更の一例を示す図 作業手順書の表示を変更する処理の流れを示す図 携帯端末とサーバ装置の処理の流れを示す図 本発明の第3の実施の形態に係る作業支援システムの構成を示す図 本発明の第3の実施の形態に係る携帯端末とサーバ装置の処理の流れを示す図 本発明の第3の実施の形態に係るサーバ装置の処理の流れを示す図
以下、本発明の作業支援システム及びサーバ装置の実施の形態について図面を参照して詳細に説明する。
(第1の実施の形態)
本実施の形態の作業支援システムは、図1に示すように、作業場所4にいる作業者が携帯して作業の状況を送信するとともに作業指示を受信する携帯端末1と、作業者が装着するヘッドマウント装置(HMD:Head Mounted Display)5と、携帯端末1とネットワーク3を介してデータを送受信するサーバ装置2と、を備える。サーバ装置2は、携帯端末1から供給された情報を記憶するとともに供給された情報に基づいて作業者の作業習熟度を判定し、保守作業に必要とされる作業手順書を読み出して携帯端末1に提供する。また、HMD5は、携帯端末1に有線あるいは無線により接続されている。
HMD5は、図2に示すように、メガネ型であり、作業者が見る方向を撮影する視野カメラ6、作業者の目の動きを撮影するアイカメラ7、表示部8を備える。
視野カメラ6は、作業者が見ている視野を撮影するために作業者の前方に向けてメガネのフレームに設置されたビデオカメラである。ビデオカメラで撮影された視野映像は携帯端末1に送られる。
アイカメラ7は、作業者の目の領域を撮影するためにメガネのフレームに取り付けられている。アイカメラ7は、撮影した目の映像を、携帯端末1に送信する。後述するように、携帯端末1は、この映像を画像処理することによって作業者の視線がどこにあるかを特定する。
表示部8は、メガネのレンズ部分に配置されており、携帯端末1から送られてきた画像を表示する。表示部8は、作業者が作業場所4で作業対象物の保守、修理等の作業をしている時に作業の手順を示す作業手順書を表示する。表示部8は、透過型の液晶表示パネル、有機EL表示パネル等の透過型の表示パネルから構成される。したがって、作業者が見ている現実空間に表示画像が重ね合わされた状態となり、作業者は、表示部8に表示された画像と表示部8を透過して見える画像との両方を見ることができ、現実の作業をしながら表示部8に写し出された画像を見ることができる。HMD5は、さらにマイク、ヘッドフォンを有するヘッドセットを備えてもよい。また、HMD5は、携帯端末1と一体となった構成でもよい。
図1に示す携帯端末1は、図3(a)に示すように、各種制御を行う制御部11と、データを記憶する記憶部12と、サーバ装置2とデータを送受信するための通信部13と、HMD5とデータ通信を行う入出力部14と、作業時間入力、検査結果入力等を行う操作部15と、を備える。
制御部11は、プロセッサを備え、記憶部12に記憶されている動作プログラムを実行することにより、作業を支援するための種々の作業を実行する。例えば、制御部11は、アイカメラ7で撮影された目の映像を処理し、作業者の視線の位置を示す視点位置座標を求め、この視点位置座標を表すデータ(以下、視点位置データという)を視野カメラ6の映像に重畳して合成した画像をサーバ装置2に送る。また、制御部11は、作業の手順を記載した作業手順書をサーバ装置2から受信し、記憶部12に記憶するとともに、HMD5の表示部8に表示する。
記憶部12は、制御部11が実行する制御プログラムを記憶する。また、記憶部12は、視野カメラ6、アイカメラ7で撮影された映像の記憶、作業手順書の記憶のための記憶部としても機能する。
通信部13は、ネットワーク3を介してサーバ装置2との間で通信を行う。
入出力部14は、HMD5との間でデータを送受信する入出力インタフェースである。
操作部15は、制御部11に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
上記ハードウェア構成により、携帯端末1は、図3(b)に示すように、機能的に、各種情報を処理する情報処理部20と、情報処理された情報を記憶する記憶部21と、を有する。
情報処理部20は、作業者の視野映像、視点位置データを処理する画像処理部22、作業手順書をHMD5の表示部8に表示するための作業手順表示部23を有している。
画像処理部22は、アイカメラ7で撮影された目の動きの映像を画像処理して、視点位置データを生成する生成部と、視点位置データを視野カメラ6の映像に重畳して画像を合成する合成部からなり、合成された映像をサーバ装置2に送る。
作業手順表示部23は、サーバ装置2から受信した作業手順書を記憶部21の作業手順記憶部25に記憶するとともに、HMD5の表示部8に表示する。
記憶部21は、画像処理部22で処理された視野映像、視点位置データを記憶する映像記憶部24と、作業手順書を記憶する作業手順記憶部25を有している。
携帯端末1は、作業時に作業者が操作部15から入力する作業時間、作業結果等のデータ、作業者の作業時の映像、視点位置データを、ネットワーク3を介してサーバ装置2に送信する。
サーバ装置2は、図4に示すように、情報を処理する情報処理部30と、ネットワーク3を介して携帯端末1からのデータを受信するネットワーク入力部31と、携帯端末1にデータを出力するネットワーク出力部32と、データベース37~40を備えている。情報処理部30は、作業者の作業時の映像データ・視点位置データを処理する映像情報処理部33と、作業対象・作業内容等の作業者の作業履歴を作成する作業履歴作成部34と、作業者の作業習熟度を表すデータベースを作成する習熟度データベース作成部35と、作業手順書を作成する作業手順作成部36と、を備えている。また、データベースは、作業者の作業中の映像情報・視点位置データを記憶する映像情報データベース37と、作業対象・作業内容等の履歴を記憶する作業履歴データベース38と、作業者別の作業習熟度を記憶する作業者習熟度データベース39と、作業手順書を記憶する作業手順データベース40と、を備えている。
作業履歴作成部34は、作業者が作業時に携帯端末1に入力した作業場所、作業対象、作業開始日時、作業終了日時、保守・メンテナンス作業の検査結果の情報を携帯端末1から取得し、これらの履歴情報を作業履歴データベース38に記録するとともに作業者習熟度データベース39に反映させる。
作業履歴データベース38は、保守・メンテナンス作業の実績の確認・評価に用いられ、最新の作業実績を確認するために、現場での検査項目についての作業が完了するごとにデータが保存される。データは、機種別、作業者別、工程別に管理される。
作業手順作成部36は、携帯端末1に対して作業指示するための作業手順書を作成する。作業手順作成部36は、作業者習熟度データベース39に記録された習熟度判定に基づき、作業手順データベース40を参照して判定された習熟度に応じた作業手順書を作成し、携帯端末1に送信する。
作業手順データベース40は、作業別にどのような作業をどのように進めるべきかを示す作業手順書を作業種別に格納するデータベースである。作業手順書は、作業工程ごとに複数の作業手順に分かれており、各作業手順には作業内容が示されている。
習熟度データベース作成部35は、作業履歴データベース38に記録された作業場所、作業対象、工程毎の作業時間等の情報、後述する作業者の作業視点に基づく作業習熟度の判定、管理者が入力する評価情報を作業者習熟度データベース39に反映させる。
映像情報処理部33は、携帯端末1から送られてきた視野カメラ6の映像データとアイカメラ7の視点位置データを取得して、視点の分布データ、作業曲線を作成する。さらに視点分布データ、作業曲線の分析を行い、後述するように作業者の作業視点に基づく作業習熟度を判定して、映像情報データベース37に記憶する。
映像情報処理部33の詳細については、さらに後述する。
映像情報データベース37は、携帯端末1から送られてきた視野カメラ6の映像データとアイカメラ7の視点位置データ、視点分布作成部63で作成された視点分布データ、作業曲線作成部64で作成された作業者の作業視点の時間変化を示す作業曲線を記憶する。
図1に示すサーバ装置2は、図5に例示するように、ハードウェア的には、制御部51と、記憶部52と、表示部53と、入力部54と、通信部55と、を備える。
制御部51は、プロセッサを備え、記憶部52に記憶されている動作プログラムを実行することにより、図4に示した各機能を実現するための処理を行う。
記憶部52は、制御部51が実行する制御プログラムを記憶する。また、記憶部52は、図4に示す各種データベース37~40としても機能する。
表示部53は、操作画面、映像などを表示する。
入力部54は、制御部51に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
通信部55は、ネットワーク3を介して携帯端末1との間で通信を行う。通信部55は、制御部51と協働して、図4に示すネットワーク入力部31とネットワーク出力部32を構成する。
映像情報処理部33の機能は、図6に示すように、視点位置データの位置座標を変換する座標変換部61と、映像データから作業対象物の位置を抽出する作業対象物認識抽出部62と、作業者の視点の分布を示す視点分布データを作成する視点分布作成部63と、作業者の視点の時間的変化を示す作業曲線を作成する作業曲線作成部64と、作業者の視点分布データを基準視点分布と比較したり、作業者の作業曲線を基準曲線と比較して作業習熟度を判定する判定部65と、を備える。
座標変換部61に入力される視点位置データの位置座標は、視野カメラ6で撮影された視野に対するものであるので、頭を動かしたりして視野が変わった場合と視野が変わらない場合では作業対象物の同じ場所を見ていたとしても視点位置の座標は異なる。そこで、作業対象物認識抽出部62によって作業対象物を抽出し、抽出された作業対象物の位置を基準として視点位置座標を絶対座標に変換する。
作業対象物認識抽出部62は、視点位置座標変換のために作業対象物を抽出すべく、視野カメラ6により取得された画像から、作業対象物をパターンマッチングで認識する。パターンマッチングは、映像情報データベース37に予め記憶された作業対象物の基準パターンに基づいて行われる。
座標変換部61は、パターンマッチングにより作業対象物の特徴点が検出されると、この特徴点を基準として、視点位置の座標を絶対座標に変換する。
変換された視点位置座標データは映像情報データベース37に記憶されるとともに、視点分布作成部63、作業曲線作成部64に送られる。
視点分布作成部63は、視野カメラ6の映像にアイカメラ7の視点位置データを重畳した情報から一工程の作業中の作業者の視点がどこに集中していたかを表す、図7に示すような作業視点の分布を作成する。
作業視点分布は、作業者の視線の停留時間の分布であり、作業対象物の画像が複数の区画に分けられて、視線の停留時間の長さに応じて各区画が濃淡で表示される。各区画は、その区画内での視線の停留時間が長いほど濃く表示され、停留時間が短くなるほど薄く表示される。ここで、視線の停留時間は一工程内における停留時間の合計である。分布の解像度は任意に設定できるものとする。
また、比較のため、熟練作業者による同一工程作業時の視点位置データを予め取得しておき、所得された視点位置データから視点分布を作成して基準視点分布として映像情報データベース37に記憶しておく。図7において、左側の視点分布は作業者の視点分布であり、右側の視点分布は熟練者による基準視点分布を示している。保守・メンテナンス作業において同じ仕様の対象物であっても作業者によって作業時間に大きな差異が生じる場合がある。作業時間の遅い作業者は作業時間の早い作業者に比べ、作業対象物がどこにあるのか迷うことにより作業者の見る範囲が広くばらついたり、逆にある箇所に偏よったりする傾向にある。作成された視点分布は映像情報データベース37に記憶されるとともに、作業履歴データベース38に連動し、作業者習熟度データベース39の作成の参考とされる。また、後述する判定部65において基準視点分布と比較判定される。
作業曲線作成部64は、作業時間中の作業者の時系列の視点の変化を示す作業曲線を作成する。作業曲線は、例として図8に示すように、横軸を時間、縦軸を横方向の視点(視点位置座標のX座標)とした曲線と、縦軸を縦方向の視点(視点位置座標のY座標)とした曲線である。すなわち、同じ時間軸に対して2つの曲線が作成される。図8の上の曲線が縦軸を横方向の視点としたもの、下の曲線が縦軸を縦方向の視点としたものである。また、曲線のうち、実線で表されたものが作業者の視点を示す実績曲線であり、破線で表されたものが熟練作業者の視点を示す基準曲線である。
判定部65は、視点分布作成部63で作成された作業者の視点分布を熟練者の基準視点分布と比較する。複数に区分けされた区画ごとに存在する視線の停留時間を熟練者の基準視点分布の対応する区画の視線の停留時間と比較する。作業者の視線の停留時間と熟練者の視線の停留時間の差が所定値を超える区画が複数存在し、その数が所定数を超える場合は、作業者の視点が広くばらついていると判定される。また、作業者の視線の停留時間と熟練者の視線の停留時間の差が極端に大きい区画が存在する場合は、作業者の視点が1箇所に偏っていると判定される。判定結果は、習熟度データベース作成部35に送られ、習熟度判定の参考とされ、作業者習熟度データベース39に記録される。
また判定部65は、作業曲線作成部64で作成された作業者の実績曲線を熟練者の基準曲線と比較して習熟度を判定する。この基準曲線と実績曲線を比較することによって、どの作業が未習熟であるか、習熟度合いがどの程度なのかを知ることができる。実際の作業における習熟度を詳細に知ることができることにより、作業者の習熟度の評価を行いやすくなり、実際の作業における有効なフィードバックが可能となり、さらに適切な教育へのフィードバックが可能となる。
習熟度判定のために基準とされる熟練者の作業曲線である基準曲線は、熟練者の視点位置データを予め取得して作成されたものであり、予め記憶されている。基準曲線には、一工程内の作業手順ごとに比較判定のための基準点が設定されている。基準点は、各作業手順において、確認が必須の重要な作業箇所に対する視点位置であって、作業にとってポイントとなる視点位置を示す。この基準点は各作業手順に少なくとも1つ設けられる。例えば、各作業手順における作業開始時の視点位置である。この基準点における基準曲線の視点位置が作業者の作業時の視点を示す実績曲線と比較される。具体的には、作業者が基準点における基準曲線の視点位置に所定の基準時間内に到達したか比較判定される。ここで基準時間とは、熟練者が1つの基準点から次の基準点に移動するまでに要する時間である。
作業者の視点位置が基準曲線の基準点における視点位置に基準時間内に移動していれば、作業者はその作業手順の作業を滞りなく完了したと判定される。すなわち作業者はその作業をマスターしていると判定される。作業者の視点が熟練者の基準曲線より遅れて移動した場合、作業者はその作業手順の作業に時間がかかり、手間取ったと判定される。すなわち作業者はその作業をまだ十分にマスターしていないと判定される。逆に作業者の視点が熟練者の基準曲線より早く移動した場合、作業者はその作業手順の作業を熟練者より手早く完了したと判定される。すなわち作業者はその作業を十分にマスターしていると判定される。ただし、あまりにも早く移動した場合は、作業が適切になされていない可能性もあり、作業者が入力した作業結果を参照する必要がある。
基準点での比較は縦軸を横方向の視点(視点位置座標のX座標)とした曲線と、縦軸を縦方向の視点(視点位置座標のY座標)とした曲線の双方で比較判定され、双方ともが一致している必要がある。一方の座標のみが一致する場合は、横方向あるいは縦方向に作業の見落としがあるものと考えられる。
この比較判定について図8の作業曲線を例に具体的に説明する。図8において、期間A,B,Cは、それぞれ一工程内の作業手順1,2,3の熟練者による作業時間である基準時間を示す。基準曲線上の黒丸で表された点が基準点であり、この基準点に対応する実績曲線上の位置が白丸で示されている。P1は熟練者の作業手順1の作業開始位置を示し、P2は熟練者の作業手順2の作業開始位置を示し、P3は熟練者の作業手順3の作業開始位置を示している。また、P4は熟練者の作業手順3の作業終了位置を示している。P1からP2までの間が期間A、P2からP3までの間が期間B、P3からP4までの間が期間Cである。ここで、作業手順1,2に関して、基準時間は、作業時間に次の作業手順に移行するまでの時間を加えた時間である。作業手順3は、一工程内の最後の作業であるため、基準時間は作業開始から作業終了までの時間としている。
これに対して、期間a,b,cは、それぞれ一工程内の作業手順1,2,3の作業者による作業時間に次の作業手順に移行するまでの時間を加えた実績時間を示す。P1’はP1と同じ視点位置であり、作業者の作業手順1の作業開始位置を示し、P2’はP2と同じ視点位置であり、作業者の作業手順2の作業開始位置を示し、P3’はP3と同じ視点位置であり、作業者の作業手順3の作業開始位置を示している。また、P4’はP4と同じ視点位置であり、作業者の作業手順3の作業終了位置を示している。P1’からP2’までの間が期間a、P2’からP3’までの間が期間b、P3’からP4’までの間が期間cである。
この例では、作業手順2の作業者の作業時間bは基準時間Bと同じである。すなわち、作業者の視点位置が基準曲線の基準点における視点位置に対応する位置P3’に基準時間B内に移動しており、作業者はその作業手順の作業を滞りなく完了したと判定される。よって作業手順2について作業者は作業をマスターしていると判断される。また、作業手順3の作業者の作業時間cは基準時間Cよりも短い。すなわち、作業者の視点が熟練者の基準曲線より早く移動しており、作業者はその作業手順の作業を熟練者より手早く完了したと判定される。よって作業手順3について作業者は作業を十分マスターしていると判断される。これに対して、作業手順1の作業者の作業時間aは、基準時間Aよりも長い。すなわち、作業者の視点が熟練者の基準曲線より遅れて移動しており、作業者はその作業手順の作業に時間がかかり、手間取ったと判定される。よって作業者は作業手順1について作業をマスターしていないと判断される。
上述のように、視点分布、作業曲線は判定部65に送られ、作業者の作業習熟度が判定され、判定結果は習熟度データベース作成部35に送られる。
習熟度データベース作成部35は、これらの情報に加え、作業履歴データベース38に記録された情報に基づき作業者習熟度データベース39に記録する。
作業履歴データベース38は、作業者別に作業者の作業時間、作業対象、作業結果、作業映像を作業履歴として、図9に示すように、作業時間として作業を開始した日時、作業を終了した日時、作業対象として作業対象の機種、型名が記録されるとともに、各工程における状況が記録される。
作業者習熟度データベース39は、図10に示すように、作業者ごとに機種別に技能を管理するスキルマップのマスタ表である。工程に分かれて習熟度の評価が記録される。
習熟度データベース作成部35は、判定部65の視点による判定、作業履歴データベース38から読み出された作業時間、同一工程の作業の経験回数、最終作業日からの経過日数、過去の判定結果等を一覧として表示する。管理者は、この実績一覧、視点分布、作業曲線をもとに作業者の習熟度を評価し、評価結果を一覧とともに作業者習熟度データベース39に記録する。
評価は「A:作業を一人でできる且つ作業を人に教えられる」「B:作業を一人でできるが、作業を人に教えられない」「C:作業を一人でできない」「D:作業をしたことがない」の4段階に区分して記録される。マスタ表の配列として作業者、機種、工程は任意に組み替えることができる。
このように、作業者習熟度データベース39の記録は、一工程の作業時間だけで判断されるものではなく、作業者の作業中の視点、すなわち視点分布、作業曲線、視点位置データに基づく判定も含めて判断されていることから、より細かな教育への対応が可能である。
作業者習熟度データベース39に記録された習熟度の判定結果は、作業手順作成部36において判定結果に応じた作業者別の作業手順書を作成することに利用される。その一例として図11に示すように、作業手順作成部36は、作業工程1について熟練度に応じて3パターンの作業手順書を作成する。まだ作業に慣れていない初心者、例えば作業者習熟度データベース39に記録された管理者の評価がC,Dである作業者に対しては、図11(a)に示すように、熟練度パターン1の作業手順書が提供される。熟練度パターン1の作業手順書には、作業手順1から作業手順3までの各手順が記載されている。ある程度慣れた作業者、例えば作業者習熟度データベース39に記録された管理者の評価がBである作業者に対しては、図11(b)に示すように、熟練度パターン2の作業手順書が提供される。熟練度パターン2の作業手順書には、ある程度の熟練者であれば常識的な手順について表示が省略されている。ここでは、作業手順1が省略されている。習熟度の高い熟練者、例えば作業者習熟度データベース39に記録された管理者の評価がAである作業者に対しては、図11(c)に示すように、熟練度パターン3の作業手順書が提供される。熟練度パターン3の作業手順書には、習熟度の高い熟練者であれば手引きがなくても大丈夫な作業について表示が省略されている。ここでは作業手順1に加えて作業手順2の表示が省略されている。ただし、品質、安全上漏れが許されないような重要項目に対しては最低限の表示がされる。このように、習熟度に応じて作業手順書の内容が変更されることにより、初心者はより丁寧な説明を参照することによって迷わずに作業することができる。また熟練者は、余計な作業手順の記載が省略されることによって、必要な作業手順だけを瞬時に参照することができ、作業効率が高まる。
作業手順の表示について、作業曲線の比較判定の結果、マスターしていないと判定された作業手順の表示は省略されず、マスターしたと判定された作業手順の表示は省略されてもよい。また、上記では、作業手順の記載の表示、非表示としたが、作業手順の説明を部分的に表示、非表示としてもよい。また、表示、非表示とするのではなく、簡略に説明がなされたもの、詳細に説明がなされたものをいくつか用意しておき、判定結果に応じて選択してもよい。
この習熟度判定結果に基づき、作業手順書は作成される。したがって、熟練者になるほど作業手順書に表示される作業手順は減少するが、熟練者でも久しぶりの作業により忘れや、作業の遅れが発生する場合は作業手順の表示を増加させる。また、習熟度判定結果は、その作業の経験回数、前回の作業からの経過時間に応じて変更されてもよい。
作業者による実作業終了後に視点位置データにより判定した結果が作業者習熟度データベース39に記憶され、作業者習熟度データベース39に記憶されたこれまでの作業回数、前回からの作業経過時間、これまでの習熟度判定結果等に基づき、作業手順書の内容は変更される。
これに対して、リアルタイムにおいて作業者の作業中の視点位置データから作業手順書の内容を動的に変更することも可能である。
作業者の作業中における視点データから作業中の作業の習熟度を判定して作業手順書の表示にリアルタイムに反映させる例を、図8の作業曲線と図12のフローチャートにしたがって示す。
ここでは、作業手順ごとに基準曲線に設定された基準点における基準視点位置と時間が作業者の作業時の視点を示す実績曲線と比較され、作業手順書の手順内容の増減が判断される。
まず、熟練作業者の基準曲線の一工程における最初の作業手順1の作業位置P1から次の作業手順の作業位置であるP2に作業者の視点が移動したかどうか判断される(ステップS101)。この判断は熟練者が作業手順1に要する基準時間より多少短い時間が経過してから開始される。あまりに時間が短い場合、作業が適切に行われていないおそれがあるからである。作業者の視点がP2に移動した場合(ステップS101:Yes)、次に基準時間-αが経過したかどうか判断される(ステップS102)。ここで基準時間-αは、作業者が熟練者以上に作業をマスターしていると判定される基準となる時間であり、基準時間よりもαだけ短い時間である。ただし、前述の作業が適切に行われていないと判断される時間より長い時間である。基準時間-αが経過していない場合(ステップS102:No)、熟練者以上に作業をマスターしていると判断されて作業手順書の表示が非表示とされ(ステップS103)、作業手順2の作業位置P2から次の作業手順3の作業位置P3に作業者の視点が移動したかどうか判断される(ステップS108)。基準時間-αが経過していた場合(ステップS102:Yes)、作業手順1をマスターしていると判断されて作業手順書の表示が減少され(ステップS104)、作業手順2の作業位置P2から次の作業手順3の作業位置P3に作業者の視点が移動したかどうか判断される(ステップS108)。作業者の視点が作業位置P1から作業位置P2に移動していない場合(ステップS101:No)、熟練者が作業手順1に要する基準時間が経過したかどうか判断される(ステップS105)。基準時間が経過していない場合(ステップS105:No)、引き続き作業者の視点が作業位置P2に移動したかどうかが判断される。基準時間が経過した場合(ステップS105:Yes)、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され(ステップS106)、引き続き作業者の視点が作業位置P2に移動したかどうかが判断される(ステップS107)。作業位置P2に移動したと判断された場合(ステップS107:Yes)、次の作業手順3の作業位置P3に作業者の視点が移動したかどうかが判断される(ステップS108)。
作業者の視点がP3に移動した場合(ステップS108:Yes)、基準時間-αを経過したかどうか判断される(ステップS109)。基準時間-αが経過していない場合(ステップS109:No)、熟練者以上に作業をマスターしていると判断されて作業手順書の表示が非表示とされ(ステップS110)、作業手順3の作業終了位置P4に作業者の視点が移動したかどうか判断される(ステップS115)。基準時間-αが経過していた時(ステップS109:Yes)は、作業手順2をマスターしていると判断されて作業手順書の表示が減少され(ステップS111)、作業手順3の作業終了位置P4に作業者の視点が移動したかどうか判断される(ステップS115)。作業者の視点が作業位置P2から作業位置P3に移動していない場合(ステップS108:No)、熟練者が作業手順2に要する基準時間が経過したかどうか判断される(ステップS112)。基準時間が経過していない場合(ステップS112:No)、引き続き作業者の視点が作業位置P3に移動したかどうかが判断される。基準時間が経過した場合(ステップS112:Yes)、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され(ステップS113)、引き続き作業者の視点が作業位置P3に移動したかどうかが判断される(ステップS114)。作業位置P3に移動したと判断された場合(ステップS114:Yes)、作業手順3の終了位置P4に作業者の視点が移動したかどうかが判断される(ステップS115)。
作業者の視点がP4に移動した場合(ステップS115:Yes)、基準時間-αが経過したかどうか判断される(ステップS116)。基準時間-αが経過していない場合(ステップS116:No)、熟練者以上に作業をマスターしていると判断して作業手順書の表示が非表示とされ(ステップS117)、この工程の処理は終了される。基準時間-αが経過していた場合(ステップS116:Yes)、作業手順3をマスターしていると判断されて作業手順書の表示が減少され(ステップS118)、この工程の処理は終了される。作業者の視点が作業位置P3から作業終了位置P4に移動していない場合(ステップS115:No)、熟練者が作業手順3に要する基準時間が経過したかどうか判断される(ステップS119)。基準時間が経過していない場合(ステップS119:No)、引き続き作業者の視点が作業終了位置P4に移動したかどうかが判断される。基準時間が経過した場合(ステップS119:Yes)、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され(ステップS120)、引き続き作業者の視点が作業終了位置P4に移動したかどうかが判断される(ステップS121)。作業終了位置P4に移動したと判断された場合(ステップS121:Yes)、この工程の処理は終了される。
図8を例とした場合、作業位置P1からP2への移動の基準時間である期間A内に作業者の視点位置はP2に移動しておらず(ステップS101:No)、期間A経過後にP2に対応するP2’に移動している。基準時間経過時において作業者の視点はP2に移動していないので(ステップS105:Yes)、その作業をマスターしてないと判断され、作業手順書の表示は増加される(ステップS106)。このように、作業の実績が遅れている時、詳細な作業手順書が表示される。
作業位置P2(P2’)への移動が確認されたところで(ステップS107:Yes)、次に作業位置P3へ移動したかどうかが判断される(ステップS108)。作業位置P3(P3’)への移動は基準時間内に確認されることから(ステップS108:Yes、ステップS109:Yes)、作業手順書の表示を減少させる(ステップS111)。このように、作業が順調にすすんでいる時は位置と時間に差が生じないため作業手順書の表示は少なくなる。そして次の基準点である作業終了位置P4に移動したかどうかが判断される(ステップS115)。ここでは基準時間より短い基準時間-α内で作業終了位置P4(P4’)へ視点が移動している(ステップS115:Yes、ステップS116:No)。作業が基準時間-α内で終了した場合、作業手順書は非表示とされる(ステップS117)。以上により作業の進捗、作業者の熟練度に合わせた動的な作業手順書の表示は可能となる。
上記の例において、基準点は各作業手順の最初の位置のみに設定された。しかし、たまたま視点がその位置にあっただけでそれ以外の視点は熟練者の視点と異なっている場合も生じ得る。この場合、作業者はその作業手順をマスターしていないにも関わらず、マスターしていると誤って判断される。そこで、基準点が作業手順の最初の位置だけでなく、特徴点となる複数位置に設定されてもよい。ここで、基準点となるのは、作業手順において作業者が必ず確認をする必要がある重要な作業箇所の視点位置である。
例えば図8において、作業手順1の作業開始位置以外に作業終了位置と中間位置の2箇所が基準点として追加されている。作業手順2において、作業終了位置と中間位置として2箇所の合計3箇所、作業手順3において、作業終了位置と中間位置の2箇所が基準点として追加設定されている。
各基準点の間は熟練者による基準時間が設定されており、判断対象の基準点が増えること以外は図12のフローチャートと同様の流れで判断がなされる。
これによって、作業者がその作業手順についてマスターしているのかがより確実に判断される。また、作業者がその作業手順の中でどの部分についてまだ未習熟であるのかより細かに判断できる。
次に本システムにおいて作業者が作業を行うときの携帯端末1への入力とこのときのサーバ装置2の動作処理について、図13のフローチャートを参照して説明する。
作業場所4にいる作業者は、作業開始に合わせて携帯端末1を起動して、サーバ装置2にログインする(ステップS201)。サーバ装置2は携帯端末1のログインによりユーザ認証を行い、担当作業者が作業対象物について作業を開始することを認識する(ステップS202)。作業者は、保守・メンテナンス作業の対象物の機種を選択する(ステップS203)。サーバ装置2は、ログインした作業者と選択された作業対象物から作業者が作業する保守・メンテナンス作業の項目を対応づけ、検査結果の記録及び作業時間の記録を開始する(ステップS204)。作業者はアイカメラ7と視野カメラ6を起動する(ステップS205)。サーバ装置2は携帯端末1から送られてくる映像データ・視点位置データを記録する(ステップS206)。アイカメラ7、視野カメラ6の起動を忘れると携帯端末1への試験入力を不可能とすることで、アイカメラ7、視野カメラ6の稼動漏れを防止する。
現地の作業者が作業を開始し(ステップS207)、作業者の保守・メンテナンス作業が完了すると(ステップS208:Yes)、サーバ装置2は作業者の作業時間の記録、作業者の映像データ・視点位置データの記録を終了する(ステップS209)。
また作業者は携帯端末1をログアウトし現地作業を終了する(ステップS210)。
(第2の実施の形態)
第1の実施の形態では、作業手順ごとに基準点を設けて、基準点における熟練者の基準視点位置と作業者の視点を比較して熟練度を判定した。これに対して一工程内の作業手順毎に作業曲線を区分けして、作業手順毎の熟練者の視点位置の軌跡を基準曲線パターンとして、この作業手順毎の基準曲線パターンと作業者の視点位置の軌跡である作業曲線を作業手順毎にパターン比較して熟練度を判定してもよい。
作業者の作業曲線と基準曲線パターンが一致していれば、その作業についてマスターしていると判定される。縦軸の動きは同じではあるものの、横軸である時間軸と一致しておらず、曲線が時間軸方向に延びている場合は、作業内容は理解されているものの作業に時間がかかっていると判定される。逆に曲線が時間軸方向に縮んでいる場合は、その作業を十分マスターしていると判断される。ただし、あまりにも時間が短縮されている場合は作業が丁寧になされていない可能性もあり、作業者が作業の際に入力した作業結果を参照する必要がある。作業曲線が基準パターンと一致しない場合は、作業をマスターしていないと判定される。
(第3の実施の形態)
第1の実施の形態は、他の作業者による作業支援を受けずに作業者が一人で作業する場合であったが、図14に示すように、作業者が遠隔作業者による作業支援を受けている場合の映像データ、作業時間等の作業状況の記録について説明する。
作業場所71に作業者U1が作業しており、別の作業場所72に作業者U2が作業している。作業者U1は携帯端末73を所持し、HMD75を装着している。同様に、作業者U2は携帯端末74を所持し、HMD76を装着している。HMD75,76は、図2と同様の構成であり、視野カメラ6、アイカメラ7、表示部8を有している。
作業者U1は、携帯端末73とサーバ装置70の間でネットワークを介して送受信が可能であり、作業者U2は、携帯端末74とサーバ装置70の間でネットワークを介して送受信が可能である。作業者U1と作業者U2は、携帯端末73と携帯端末74の間でサーバ装置70を通じて送受信が可能である。
作業者U1は、現在作業中の作業内容に不明な箇所が発生すると作業者U2の携帯端末74にサーバ装置70を介して連絡をする。作業者U1は、作業者U1の視点データが含まれた作業箇所の映像データを作業者U2の携帯端末74に送り、作業者U1と作業者U2は映像データを共有する。作業者U2は送られてきた映像データに基づき、作業者U1に作業指示を行う。
サーバ装置70は、第1の実施の形態と同様に、携帯端末73の起動時から作業者U1の作業時間のデータと映像データを記録している。しかしながら、作業支援を受けている場合と作業支援を受けていない場合では、両者のデータは異なってくるため、同じ基準で作業習熟度を判定することができない。そこで、サーバ装置70は、作業支援を受けている場合、作業支援を受けていない場合と区別して作業時間のデータと映像データを記録する。
作業支援を受ける場合の作業者U1の携帯端末73、作業者U2の携帯端末74、サーバ装置70の処理の流れが、図15に示される。
作業場所71において作業者U1は、現地の作業開始に合わせて携帯端末73を起動してサーバ装置70にログインする(ステップS401)。サーバ装置70は携帯端末73のログインによりユーザ認証を行う(ステップS402)。同様に作業場所72において作業者U2は、携帯端末74よりサーバ装置70にログインし(ステップS403)、サーバ装置70はユーザ認証を行う(ステップS404)。
現地の作業者U1は、保守・メンテナンス作業の対象物である保守機種を選択する(ステップS405)。作業対象物が選択されるとサーバ装置70は検査データおよび作業時間の記録を開始する(ステップS406)。作業者U1はアイカメラ7と視野カメラ6を起動する(ステップS407)。サーバ装置70は視野カメラ6からの映像データと現地の作業者U1の視点の時間的変化を示す視点位置データを記録する(ステップS408)。アイカメラ7と視野カメラ6の起動を忘れると携帯端末73への試験入力を不可能とすることでアイカメラ7および視野カメラ6の稼動漏れを防止する。
同様に作業者U2も作業対象物である保守機種を選択する(ステップS409)ことにより、作業時間の記録が開始され、作業者からの検査結果等の入力が記録される(ステップS410)。さらに作業者はアイカメラ7と視野カメラ6を起動する(ステップS411)。サーバ装置70は視野カメラ6からの映像データと作業者U2の視点の時間的変化を示す視点位置データを記録する(ステップS412)。
作業者U1は、作業内容について不明な箇所が発生した場合、作業者U2へ連絡する(ステップS413)。この連絡は電話もしくは本システムの携帯端末1を利用してもよい。作業者U2は作業者U1の連絡を受けると携帯端末74を送信モードにする(ステップS414)。
作業者U1のアイカメラ7と視野カメラ6の映像データは、作業者U1の携帯端末73からサーバ装置70を介して作業指示者である作業者U2の携帯端末74に送られる(ステップS415)。作業者U2は作業者U1から送られてきた映像データに基づき携帯端末74を通して作業者U1に作業を指示する(ステップS416)。映像データには作業者U1の視点位置データが含まれていることから、作業者U2は、作業者U1が作業対象物に対してどこを見ているのかが分かる。よって作業者U2は作業者U1に対してより的確に作業指示を行うことができる。サーバ装置70は、携帯端末74から送信モードであることを受けて、作業者U1が作業者U2から作業支援を受けている状態であると判断し、作業者U1の作業時間および映像データ・視点位置データを通常作業の状態と区別して記録する(ステップS417)。また、サーバ装置70は、作業者U2は作業を指示している状態であると判断し、作業者U2の作業時間および映像データ・視点位置データを通常作業の状態と区別して記録する。
作業者U1が作業を行い(ステップS418)、作業を完了すると(ステップS419)、作業者U2は作業者U1の連絡を受け、携帯端末74を通常モードに戻し、自身の作業に戻る(ステップS420)。
作業者U1の保守・メンテナンス作業が完了するとサーバ装置70は作業者U1の作業時間の記録、作業者U1の映像データ・視点データの記録を終了する(ステップS421)。
また作業者U1は携帯端末73をログアウトし現地作業を終了する(ステップS422)。
同様に作業者U2の保守・メンテナンス作業が完了すると(ステップS423:Yes)、サーバ装置70は作業者U2の作業時間の記録、作業者U2の映像データ・視点データの記録を終了する(ステップS424)。
作業者U2は携帯端末74をログアウトし現地作業を終了する(ステップS425)。
上記の場合、サーバ装置70は、作業者U2の携帯端末74から送信モードの通知を受けて作業者U1の作業時間および映像データ・視点データの記録を通常状態と区別して記録していた。
これに対して、他の例として、図16に示すように、サーバ装置70が作業者U1から直接連絡を受けることにより記録の区別を変更する処理の流れを示す。
作業者U1が携帯端末73からサーバ装置70にログインすると、サーバ装置70はユーザ認証を行なう(ステップS501)。作業が開始されると、サーバ装置70は、保守・メンテナンスの作業で入力された検査データと検査の工程ごとの作業時間を記録する(ステップS502)。並行してサーバ装置70は、作業者U1の視野映像のデータと視点位置データを記録する(ステップS503)。作業者U1が作業途中で不明点やトラブルの発生により指示を仰ぐ時受信モードに切り替えて携帯端末73からサーバ装置70を介して作業者U2の携帯端末74に連絡をする(ステップS504:Yes)。サーバ装置70はこの連絡を受けて作業者U1からの作業時間と映像データを通常モードと区別して記録する(ステップS505)。この受信モードの切り替えによりサーバ装置70は通常作業時間と遠隔指示を受けながらの作業時間を区別して作業時間を記録する(ステップS506)。並行してサーバ装置70は、作業者U1の視野映像のデータと視点位置データを通常モードと区別して記録する(ステップS507)。遠隔作業指示が終了すると携帯端末74は受信モードを通常モードに切り替えて、サーバ装置70に通知し、サーバ装置70は作業支援終了を判断する(ステップS508:Yes)。サーバ装置70はこの連絡を受けて作業者U1からの作業時間と映像データ・視点位置データの記録を通常モードに戻す(ステップS509)。作業者U1の作業が完了すると、サーバ装置70はこの連絡を受けて作業完了を判断し(ステップS510:Yes)、作業者U1からの作業時間と映像データ・視点位置データの記録を終了する。
本実施の形態において、図8の作業手順書は視覚的な作業手順を提示するものであったが、音声にて携帯端末から提示するものであってもよい。作業の状況、作業者によって視覚的パターンの作業手順のみ、音声パターンの作業手順のみ、または視覚的パターンと音声パターンの両方を選択することができる。
本実施の形態では、保守・メンテナンス作業について説明したが、本発明はこれに限らず、組み立て作業等種々の作業に適用可能であり、実施の形態に限定されない。本実施の形態では、視点分布作成、作業曲線作成、習熟度判定をサーバ装置が行っているが、これに限らず、携帯端末内で行ってもよい。
本実施の形態においては、HMD5と携帯端末1とサーバ装置2を備えるシステムを例示したが、同様の機能を実現できるならば、システム構成は任意である。例えば、固定カメラを用いて、作業者の目の画像を取得する等してもよい。また、全ての画像処理を1台の端末で実施してもよい。また、コンピュータをこれらの装置として機能させるプログラムを配布し、このプログラムを実行することにより、システムを実現してもよい。
1,73,74 携帯端末、2,70 サーバ装置、3 ネットワーク、4,71,72 作業場所、5,75,76 HMD、6 視野カメラ、7 アイカメラ、8 表示部、11 制御部、12 記憶部、13 通信部、14 入出力部、15 操作部、20 情報処理部、21 記憶部、22 画像処理部、23 作業手順表示部、24 映像記憶部、25 作業手順記憶部、30 情報処理部、31 ネットワーク入力部、32 ネットワーク出力部、33 映像情報処理部、34 作業履歴作成部、35 習熟度データベース作成部、36 作業手順作成部、37 映像情報データベース、38 作業履歴データベース、39 作業者習熟度データベース、40 作業手順データベース、51 制御部、52 記憶部、53 表示部、54 入力部、55 通信部、61 座標変換部、62 作業対象物認識抽出部、63 視点分布作成部、64 作業曲線作成部、65 判定部。

Claims (8)

  1. 作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
    前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
    前記作業曲線に対して作業工程内の各作業手順内に設定された第1の基準点と第2の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、前記作業者の作業習熟度を判定する判定部と、を備え
    前記第1の基準点と前記第2の基準点の視点位置は、作業手順において確認が必須の作業箇所に対する視点位置である、
    作業支援システム。
  2. 作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
    前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
    前記作業曲線に対して作業工程内の各作業手順内に設定された第1の基準点と第2の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、前記作業者の作業習熟度を判定する判定部と、を備え
    前記第1の基準点と前記第2の基準点の視点位置は、作業手順における作業開始時の視点位置である、
    作業支援システム。
  3. 前記基準時間は、熟練者の視点位置が前記第1の基準点の視点位置から前記第2の基準点の視点位置まで移動するのに要する時間である請求項1又は2に記載の作業支援システム。
  4. さらに前記判定部の判定結果に基づいて作業手順書を作成する作業手順作成部を有する請求項1又は2に記載の作業支援システム。
  5. 作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
    前記作業曲線に対して予め設定された第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部と、を備え
    前記第1の基準点と前記第2の基準点の視点位置は、作業手順において確認が必須の作業箇所に対する視点位置である、
    作業支援システム用のサーバ装置。
  6. 作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
    前記作業曲線に対して予め設定された第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部と、を備え
    前記第1の基準点と前記第2の基準点の視点位置は、作業手順における作業開始時の視点位置である、
    作業支援システム用のサーバ装置。
  7. コンピュータを、
    作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
    前記作業曲線に対して予め設定された作業手順において確認が必須の作業箇所に対する視点位置である第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部、
    として機能させるプログラム。
  8. コンピュータを、
    作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
    前記作業曲線に対して予め設定された作業手順における作業開始時の視点位置である第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部、
    として機能させるプログラム。
JP2018131182A 2018-07-11 2018-07-11 作業支援システム、作業支援システム用のサーバ装置およびプログラム Active JP7138499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018131182A JP7138499B2 (ja) 2018-07-11 2018-07-11 作業支援システム、作業支援システム用のサーバ装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131182A JP7138499B2 (ja) 2018-07-11 2018-07-11 作業支援システム、作業支援システム用のサーバ装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2020009276A JP2020009276A (ja) 2020-01-16
JP7138499B2 true JP7138499B2 (ja) 2022-09-16

Family

ID=69151909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131182A Active JP7138499B2 (ja) 2018-07-11 2018-07-11 作業支援システム、作業支援システム用のサーバ装置およびプログラム

Country Status (1)

Country Link
JP (1) JP7138499B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052822B2 (ja) * 2020-05-15 2022-04-12 三菱電機株式会社 作業支援装置、作業支援方法及びプログラム
JP2023053626A (ja) * 2021-10-01 2023-04-13 ダイキン工業株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP7425166B1 (ja) 2022-11-30 2024-01-30 カリツー株式会社 物流作業評価支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269588A (ja) 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
JP2012234406A (ja) 2011-05-02 2012-11-29 Kawasaki Heavy Ind Ltd 作業支援装置および作業支援方法
WO2017119127A1 (ja) 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017162307A (ja) 2016-03-10 2017-09-14 富士通株式会社 支援装置、支援方法および支援プログラム
JP2017187961A (ja) 2016-04-07 2017-10-12 富士電機株式会社 画像処理装置、画像処理システム及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269588A (ja) 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
JP2012234406A (ja) 2011-05-02 2012-11-29 Kawasaki Heavy Ind Ltd 作業支援装置および作業支援方法
WO2017119127A1 (ja) 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017162307A (ja) 2016-03-10 2017-09-14 富士通株式会社 支援装置、支援方法および支援プログラム
JP2017187961A (ja) 2016-04-07 2017-10-12 富士電機株式会社 画像処理装置、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
JP2020009276A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
US11231897B2 (en) Display system, display device, information display method, and program
US10642564B2 (en) Display system, display device, information display method, and program
CN108986766B (zh) 信息显示终端以及信息显示方法
JP7138499B2 (ja) 作業支援システム、作業支援システム用のサーバ装置およびプログラム
US10339382B2 (en) Feedback based remote maintenance operations
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
JP6646511B2 (ja) 技能伝承システム及び方法
US10539509B2 (en) Display system, display device, display method, and non-transitory computer readable recording medium
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
JP2012160898A (ja) 画像処理装置
US11375559B2 (en) Communication connection method, terminal device and wireless communication system
JP6517255B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
JP6240353B1 (ja) 仮想空間において情報を提供するための方法、そのためのプログラム、および、そのための装置
US20180316911A1 (en) Information processing apparatus
WO2019130991A1 (ja) 情報処理装置
CN105760123A (zh) 眼镜、显示终端、图像显示处理系统及方法
CN107329573B (zh) 控制方法及电子设备
CN111610886A (zh) 触控屏幕亮度的调整方法、设备及计算机可读存储介质
US20210400234A1 (en) Information processing apparatus, information processing method, and program
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2017062650A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
GB2582106A (en) Display device and display device control method
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
JP2021082344A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220906

R150 Certificate of patent or registration of utility model

Ref document number: 7138499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150