JP7265667B2 - Work support system and work support method - Google Patents
Work support system and work support method Download PDFInfo
- Publication number
- JP7265667B2 JP7265667B2 JP2022081394A JP2022081394A JP7265667B2 JP 7265667 B2 JP7265667 B2 JP 7265667B2 JP 2022081394 A JP2022081394 A JP 2022081394A JP 2022081394 A JP2022081394 A JP 2022081394A JP 7265667 B2 JP7265667 B2 JP 7265667B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- information
- worker
- video
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
Description
本発明は、作業支援システムおよび作業支援方法に関する。 The present invention relates to a work support system and work support method.
作業者が実際に現場で保守、点検等の各種作業を行う前に、作業者に所要の技能・知識を習得させるための訓練が行われている。訓練は、例えば、熟練者が行った作業を手本とし、熟練者の作業スキルを作業者に伝えるように行われる（例えば、特許文献１等参照）。
Prior to actually performing various operations such as maintenance and inspection at the site, workers are trained to acquire necessary skills and knowledge. For example, the training is carried out so as to transfer the work skills of the expert to the worker, using the work performed by the expert as a model (see, for example,
特許文献１には、熟練者の現場作業の内容、および作業中の設備音、熟練者の視線などの知覚情報をもとに、熟練者の判断基準を取得し、それを基に作業者を育成するための育成情報を生成する技術が開示されている。
In
一方、現場作業では、訓練を受けた者であっても作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムは既に知られている（例えば、特許文献２等参照）。
On the other hand, in field work, even a person who has received training needs various information such as work procedure information, work target equipment information, and work tool information. 2. Description of the Related Art Support systems that provide necessary information to workers working on-site to support their work on-site are already known (see, for example,
特許文献２には、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、および作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する作業支援装置が開示されている。
In
しかしながら、特許文献２等に記載の従来の作業支援装置にあっては、熟練者の高度な作業スキルを作業者に伝えるのには資するが、作業スキルの低い作業者による作業の成否を確実に判定して作業ミスを防止することに対しては考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースが増えており、作業ミスや作業忘れの発生、作業中の傷害事故も増加傾向にある。事故発生による社会的影響は大きく、再発防止策として作業品質の向上に加え、２人作業での確認、作業チェックリストや作業報告書の詳細化が求められる場合もある。また、従来はチェックリストの生成や作業報告書の作成を作業者等が行っていたので、手間がかかり効率が悪かった。
However, in the conventional work support device described in
本発明は、上述のような課題を解決するためになされたものであり、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる作業支援システムおよび作業支援方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and is a work support system that can prevent work mistakes by reliably performing work checks even for workers with low work skills. and to provide a work support method.
本発明に係る作業支援システムは、上記目的を達成するため、（１）第１作業者（２）が行う作業の映像を取得する第１映像取得装置（１１）と、前記作業中の前記第１作業者の音声を取得する音声取得装置（１２）と、前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報（７０）を生成するものであって、前記作業チェック情報が作業の特定段階における注意項目と作業開始時から前記特定段階までの経過時間とを含む、作業チェック情報生成装置（３４０）と、第２作業者（３）が行う作業の映像を取得する第２映像取得装置（２１）と、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより、前記第２作業者の作業の成否を判定する判定装置（３３８）と、前記判定装置による判定結果を作業支援情報として出力する支援情報出力装置（２３）と、前記作業チェック情報および前記第２作業者の作業の経時情報に基づき、前記第２作業者の作業開始時からの経過時間が前記特定段階における注意項目と関連付けられた経過時間より所定時間前となった時点において前記支援情報出力装置に更なる作業支援情報として前記特定段階の作業についての注意喚起のための注意情報を出力させる注意喚起制御装置（３３８）と、を備えることを特徴とする。 In order to achieve the above object, the work support system according to the present invention includes: (1) a first image acquisition device (11) that acquires an image of work performed by a first worker (2); Standards for checking work based on a sound acquisition device (12) that acquires the voice of a worker, a work video acquired by the first video acquisition device, and information on the voice acquired by the voice acquisition device A work check information generation device ( 340), a second image acquisition device (21) that acquires an image of the work performed by the second worker (3), and an image of the work of the first worker and the second worker based on the work check information. a judgment device (338) for judging the success or failure of the second worker's work by comparing images of the work , and a support information output device (23) for outputting the judgment result of the judgment device as work support information. , based on the work check information and the time-lapse information of the work of the second worker, the elapsed time from the start of the work of the second worker is a predetermined time before the elapsed time associated with the attention item in the specific stage. and an alerting control device (338) that causes the support information output device to output alert information for calling attention to the work in the specific stage as further work support information at the time when the work is completed.
この構成により、注意喚起制御装置が作業チェック情報および経時情報（例えば作業経過時間や作業段階）に基づき注意喚起を要する特定段階の前に、特定段階の作業についての注意喚起のための注意情報を出力させるので、作業ミスや事故を効果的に防止することができるとともに、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる。それにより、作業の質を高めることができる。With this configuration, the attention-calling control device provides caution information for calling attention to a specific stage of work before a specific stage requiring attention based on work check information and time-lapse information (e.g., elapsed work time and work stage). Since the information is output, work mistakes and accidents can be effectively prevented, and work mistakes can be reliably prevented even for workers with low work skills. Thereby, the quality of work can be improved.
また、本発明の作業支援システムにおいて、（２）前記注意喚起のための注意情報は、作業ミス、怪我／事故防止、作業効率化に関する作業の工夫、コツのいずれかを指示するものであってもよい。Further, in the work support system of the present invention, (2) the attention information for calling attention indicates any of work ideas and tricks related to work mistakes, injury/accident prevention, and work efficiency improvement. good too.
また、本発明の作業支援方法は、（３）コンピュータにより実行される作業支援方法であって、第１作業者が行う作業の映像を取得する第１映像取得ステップと、前記作業中の前記第１作業者の音声を取得する音声取得ステップと、前記第１映像取得ステップにより取得された作業の映像と、前記音声取得ステップにより取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成するものであって、前記作業チェック情報が作業の特定段階における注意項目と作業開始時から前記特定段階までの経過時間とを含む、作業チェック情報生成ステップと、第２作業者が行う作業の映像を取得する第２映像取得ステップと、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより、前記第２作業者の作業の成否を判定する判定ステップと、前記判定ステップによる判定結果を作業支援情報として出力する支援情報出力ステップと、前記作業チェック情報および前記第２作業者の作業の経時情報に基づき、前記第２作業者の作業開始時からの経過時間が前記特定段階における注意項目と関連付けられた経過時間より所定時間前となった時点において前記支援情報出力ステップにより更なる作業支援情報として前記特定段階の作業についての注意喚起のための注意情報を出力させる注意喚起制御ステップと、を備えることを特徴とする。 Further, the work support method of the present invention is (3) a work support method executed by a computer, comprising: a first image acquisition step of acquiring an image of work performed by a first worker; A work that serves as a reference for a work check based on a voice acquisition step of acquiring a voice of one worker, the video of the work acquired by the first video acquisition step, and the information of the voice acquired by the voice acquisition step. A work check information generating step, wherein check information is generated, wherein the work check information includes a caution item in a specific stage of work and an elapsed time from the start of work to the specific stage; a second image acquiring step of acquiring an image of the work to be performed; and comparing the image of the work of the first worker and the image of the work of the second worker based on the work check information. a support information output step of outputting the determination result of the determination step as work support information; and based on the work check information and the time information of the work of the second worker , the 2. When the elapsed time from the start of the work of the worker reaches a predetermined time before the elapsed time associated with the attention item in the specific stage, the work in the specific stage is output as further work support information by the support information output step . and an alerting control step of outputting alerting information for alerting about.
この構成により、注意喚起制御装置が作業チェック情報および経時情報（例えば作業経過時間や作業段階）に基づき注意喚起を要する特定段階の前に、特定段階の作業についての注意喚起のための注意情報を出力させるので、作業ミスや事故を効果的に防止することができるとともに、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる。それにより、作業の質を高めることができる。With this configuration, the attention-calling control device provides caution information for calling attention to a specific stage of work before a specific stage requiring attention based on work check information and time-lapse information (e.g., elapsed work time and work stage). Since the information is output, work mistakes and accidents can be effectively prevented, and work mistakes can be reliably prevented even for workers with low work skills. Thereby, the quality of work can be improved.
また、本発明の作業支援方法において、（４）前記注意喚起のための注意情報は、作業ミス、怪我／事故防止、作業効率化に関する作業の工夫、コツのいずれかを指示するものであってもよい。In addition, in the work support method of the present invention, (4) the attention information for calling attention indicates any of work ideas and tricks related to work mistakes, injury/accident prevention, and work efficiency improvement. good too.
本発明によれば、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる作業支援システムおよび作業支援方法を提供することができる。 According to the present invention, it is possible to provide a work support system and a work support method that can prevent work mistakes by reliably performing work checks even for workers with low work skills.
以下、本発明の実施形態に係る作業支援システムについて、図面を参照して説明する。 A work support system according to an embodiment of the present invention will be described below with reference to the drawings.
（第１の実施形態）
本発明の第１の実施形態に係る作業支援システム１は、現場で作業者３により行われる作業の成否をリアルタイムで判定することにより作業ミスを防止するシステムである。具体的には、作業支援システム１は、熟練者２の作業記録（作業映像・作業音声）に基づいて作業チェック情報を生成し、作業チェック情報に基づいて熟練者２の作業映像と作業者３の作業映像を対比することにより作業者３の作業の成否を判定している。なお、支援対象の作業は、保守・点検作業に限定されず、現場で行われるどんな作業であってもよい。
(First embodiment)
The
図１は、本発明の第１の実施形態に係る作業支援システム１の構成を示す構成図である。図１に示すように、作業支援システム１は、熟練者端末１０と、作業者端末２０と、作業情報生成サーバ３０と、を備え、それらがネットワーク４を介して相互に接続されている。
FIG. 1 is a configuration diagram showing the configuration of a
熟練者端末１０には、映像取得装置（例えば、カメラ）１１と音声取得装置（例えば、マイク）１２とが有線あるいは近接無線により接続されている。また、作業者端末２０には、映像取得装置（例えば、カメラ）２１と音声取得装置（例えば、マイク）２２と支援情報出力装置（例えば、イヤホン、スピーカ、ディスプレイなど）２３が有線あるいは近接無線により接続されている。作業情報生成サーバ３０には、各種データベースを格納した記憶装置３１が接続されている。
An
本実施形態では、映像取得装置１１および音声取得装置１２が熟練者端末１０に接続された構成であるが、これに限定されない。映像取得装置１１および音声取得装置１２が、それぞれネットワーク４を介して作業情報生成サーバ３０に接続されるようにしてもよい。この場合には、熟練者端末１０は必ずしも必要ではない。
In this embodiment, the
また、本実施形態では、映像取得装置２１、音声取得装置２２、および支援情報出力装置２３が、作業者端末２０に接続された構成であるが、これに限定されない。映像取得装置２１、音声取得装置２２、および支援情報出力装置２３が、それぞれネットワーク４を介して作業情報生成サーバ３０に接続されるようにしてもよい。この場合には、作業者端末２０は必ずしも必要ではない。
Further, in the present embodiment, the
なお、本実施形態の熟練者２、作業者３、熟練者端末１０、および作業者端末２０は、それぞれ本発明の第１作業者、第２作業者、第１端末、および第２端末に対応する。また、本実施形態の映像取得装置１１、および映像取得装置２１は、それぞれ本発明の第１映像取得装置、および第２映像取得装置に対応する。
The
（熟練者端末）
まず、熟練者端末１０について説明する。
熟練者端末１０は、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ（ＨＭＤ）、ノート型ＰＣなどである。また、熟練者端末１０は、熟練者２に装着した映像取得装置（例えば、耳掛けカメラ）１１から作業の映像（作業映像）を取得し、熟練者２に装着した音声取得装置（例えば、マイク）１２から作業中に熟練者２が発した音声（作業音声）を取得するようになっている。映像取得装置１１は、携帯可能な例えば、耳掛けカメラであるが、任意の場所に固定して用いる固定カメラであってもよい。
(expert terminal)
First, the
The
映像取得装置１１および音声取得装置１２のいずれか一方、両方が、熟練者端末１０に組み込まれたものであってもよい。
Either or both of the
図２は、熟練者端末１０の構成を示す構成図である。図２に示すように、熟練者端末１０は、制御部１４、各種処理プログラムを格納したメモリ１５、各種データベースを格納したストレージ１６、通信部１７、映像取得部１１ａ、音声取得部１２ａ、表示部１３、および電源供給部１８を備えている。
FIG. 2 is a configuration diagram showing the configuration of the
制御部１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ１５に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。
The
通信部１７は、ネットワーク４を介して作業情報生成サーバ３０と通信を行うようになっている。
The
音声取得部１２ａは、作業時の熟練者２の音声を例えばマイクなどの音声取得装置１２から取得するようになっている。
The
映像取得部１１ａは、例えば耳掛けカメラなどの映像取得装置１１が撮影した熟練者２の作業映像を取得するようになっている。
The
表示部１３は、熟練者２に作業情報等を提示するためのものであり、具体的には、スマートフォン、タブレット端末など表示部で構成される。
The
電源供給部１８は、熟練者端末１０を駆動するのに必要な電力を供給するようになっている。
The
メモリ１５には、映像記録処理部１５ｂ、音声記録処理部１５ａ、および情報送受信処理部１５ｃを構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部１４のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。
The
映像記録処理部１５ｂは、制御部１４のＣＰＵにより処理プログラムが実行されることにより、映像取得部１１ａを駆動、制御して作業の映像を記録（録画）する処理を実行するようになっている。作業映像は動画であるが、静止画であってもよい。いずれの場合でも、動画あるいは静止画を構成する各画像と時間情報（時刻、開始時からの経過時間など）とが対応付けられてストレージ１６の熟練者作業行動情報記録データベース１６ａに記録される。
A processing program is executed by the CPU of the
音声記録処理部１５ａは、制御部１４のＣＰＵにより処理プログラムが実行されることにより、音声取得部１２ａを駆動、制御して作業中の音声を記録する処理を実行するようになっている。音声情報は、時間情報（時刻、開始時からの経過時間など）と対応付けられてストレージ１６の熟練者作業行動情報記録データベース１６ａに記録される。
A processing program is executed by the CPU of the
情報送受信処理部１５は、制御部１４のＣＰＵにより処理プログラムが実行されることにより、通信部１７を駆動、制御して作業情報生成サーバ３０と情報を送受する処理を実行するようになっている。
A processing program is executed by the CPU of the
ストレージ１６には、熟練者作業行動情報記録データベース１６ａが格納されている。
The
図５は、熟練者作業行動情報記録データベース１６ａの構成例を示す構成図である。図５に示すように、熟練者作業行動情報記録データベース１６ａの各レコード（行）に記録される項目は、例えば、熟練者２の作業者Ｎｏ、作業Ｎｏ、記録映像、記録音声、作業時間などである。
FIG. 5 is a configuration diagram showing an example of the configuration of the expert work behavior
作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。記録映像は、作業を記録した動画ファイル名である。記録音声は、作業時の音声を記録した音声ファイル名である。作業時間は、作業に要した時間である。 Worker No. is an identification number uniquely assigned to each worker. Work No. is a number uniquely assigned to identify the work. Recorded video is the name of the video file in which the work was recorded. Recorded voice is the name of the voice file in which the voice during work is recorded. The work time is the time required for the work.
熟練者作業行動情報記録データベース１６ａには、熟練者２が作業Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。
Record (line) data is added to the expert work behavior
なお、熟練者２の作業映像と作業音声を取得しつつ、それらのデータを作業情報生成サーバ３０に送信し、作業情報生成サーバ３０の記憶装置３１に記憶する場合には、熟練者端末１０に熟練者作業行動情報記録データベース１６ａを格納しておかなくてもよい。
In addition, when acquiring the work video and work voice of the
（作業者端末）
次に作業者端末２０について説明する。
作業者端末２０は、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ（ＨＭＤ）、ノート型ＰＣなどである。また、作業者端末２０は、作業者３に装着した映像取得装置（例えば、耳掛けカメラ）２１から作業の映像（作業映像）を取得し、作業者３に装着した音声取得装置（例えば、ピンマイク）２２から作業中に作業者３が発した音声（作業音声）を取得するようになっている。また、作業者端末２０は、作業支援情報を支援情報出力装置２３（例えば、イヤホン、スピーカなど）に出力するようになっている。
(Worker terminal)
Next, the
The
映像取得装置２１、音声取得装置２２、および支援情報出力装置２３のいずれか１つまたは２つ、或いはすべては、作業者端末２０に組み込まれたものであってもよい。
Any one or two of the
図３は、作業者端末２０の構成を示す構成図である。図３に示すように、作業者端末２０は、制御部２４、各種処理プログラムを格納したメモリ２５、各種データベースを格納したストレージ２６、通信部２７、音声取得部２２ａ、映像取得部２１ａ、表示部２３ａ、音声／映像出力部２３ｂ、および電源供給部２８を備えている。表示部２３ａは、作業支援情報を動画または静止画で表示する場合に、支援情報出力装置としても機能する。
FIG. 3 is a configuration diagram showing the configuration of the
作業者端末２０の制御部２４、各種処理プログラムを格納したメモリ２５、通信部２７、音声取得部２２ａ、映像取得部２１ａ、表示部２３ａ、および電源供給部２８は、熟練者端末１０の対応する構成要素と同じ機能を有するので、詳細な説明は省略する。
The
音声／映像出力部２３ｂは、作業者３に作業支援情報（作業の成否、注意喚起など）を音声または／および映像で伝えるために支援情報出力装置２３（イヤホン、スピーカ、ディスプレイなど）に音声または／およびデータを出力するようになっている。
The audio/
メモリ２５には、映像記録処理部２５ｂ、音声記録処理部２５ａ、および情報送受信処理部２５ｃを構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部２４のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。上記処理プログラムは、熟練者端末１０の対応する処理プログラムと同様の機能を実現するので、詳細な説明は省略する。
The
ストレージ２６には、現地作業者作業情報記録データベース２６ａが備えられている。
The
図６は、現地作業者作業情報記録データベース２６ａの構成例を示す構成図である。図６に示すように、現地作業者作業情報記録データベース２６ａの各レコード（行）に記録される項目は、例えば、作業者Ｎｏ、作業日時、作業Ｎｏ、要素作業Ｎｏ、チェック項目、作業時間、作業成否、記録動画、記録音声などである。
FIG. 6 is a configuration diagram showing a configuration example of the local worker work
作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。作業日時は、作業者３が作業を行った日時である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。要素作業Ｎｏは、作業を要素作業に分割した場合の要素作業を特定する番号である。チェック項目は、チェック内容を示す。作業時間は、作業者３が要素作業に要した時間である。作業成否は、作業の成否判定の結果である。記録動画は、作業を記録した動画ファイル名である。記録音声は、作業時の音声を記録した音声ファイル名である。
Worker No. is an identification number uniquely assigned to each worker. The work date and time is the date and time when the
現地作業者作業情報記録データベース２６ａには、作業者３が作業Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。
Record (line) data is added to the on-site worker work
なお、現地作業者作業情報記録データベース２６ａは、作業者端末２０のストレージ２６および作業情報生成サーバ３０のストレージ３０２のいずれか一方、或いは両方に記憶するようにしてもよい。
The field worker work
（作業情報生成サーバ）
次に、作業情報生成サーバ３０について説明する。
(Work information generation server)
Next, the work
図４は、作業情報生成サーバ３０の構成図である。図４に示すように、作業情報生成サーバ３０は、制御部３００、各種処理プログラムを格納したメモリ３０１、各種データベースを格納したストレージ３０２、通信部３０７、表示部３０３、認証部３０８、外部機器接続部３１１、電源供給部３１２、作業者端末管理部３３０、および作業分析／解析部３３５を備えている。
FIG. 4 is a configuration diagram of the work
制御部３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、作業情報生成サーバ３０の機能の一部または全部は、メモリ３０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。
The
通信部３０７は、ネットワーク４を介して熟練者端末１０および作業者端末２０と通信を行うようになっている。
The
表示部３０３は、液晶ディスプレイ等で構成され、熟練者２および／または作業者３の作業映像やシステム管理状況等を表示できるようになっている。
The
認証部３０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみが作業情報生成サーバ３０を利用できるようになっている。
The
外部機器接続部３１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。
The external
電源供給部３１２は、作業情報生成サーバ３０を駆動するのに必要な電力を供給するようになっている。
The
＜メモリ＞
メモリ３０１には、映像データ処理部３１３、音声データ処理部３１４、情報重畳処理部３１５、情報送受信処理部３１６、位置データ処理部３１８、および空間データ処理部３１９を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部３００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。
<Memory>
The
映像データ処理部３１３は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された作業映像データに対して、各種データ処理を行うようになっている。映像データ処理部３１３は、例えば、画像認識処理を行い、作業対象機器、熟練者２や作業者３の腕や手、作業工具などを認識できるようになっている。また、映像データ処理部３１３は、例えば、作業映像（動画）に含まれる各画像について、特徴点の抽出や特徴量の算出をするようになっている。これら特徴点や特徴量の情報を基に、２画像の類否判定、画像中の対象物の存否判定などを行うことができる。
The image
音声データ処理部３１４は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された作業音声データに対して、各種データ処理を行うようになっている。具体的には、音声データ処理部３１４は、音声認識処理部、言語変換処理部などを備えている。
A processing program is executed by the CPU of the
音声認識処理部は、熟練者端末１０から送信される熟練者２の音声データ、または作業者端末２０から送信される作業者３の音声データに対して、音声認識処理を実行し、テキストデータに変換する。また、言語変換処理部は、熟練者２の作業音声を音声認識処理して得られた日本語のテキストデータを、指定された外国語に変換（翻訳）する。支援情報出力装置２３は、該外国語に翻訳された、作業支援情報を伝えるテキストデータを、音声または／および映像で出力する。なお、本実施形態の音声データ処理部３１４が本発明の言語変換装置に対応する。
The voice recognition processing unit performs voice recognition processing on the voice data of the
情報重畳処理部３１５は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。
A processing program is executed by the CPU of the
情報送受信処理部３１６は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、通信部３０７を駆動、制御して熟練者端末１０および作業者端末２０と情報を送受する処理を実行するようになっている。
When the CPU of the
位置データ処理部３１８は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された位置データに対して、各種データ処理を実行するようになっている。
A processing program is executed by the CPU of the
空間データ処理部３１９は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。
The spatial
＜作業者端末管理部＞
作業者端末管理部３３０は、作業支援情報配信部３３１、および機器状態管理部３３２を備えている。
<Worker terminal management part>
The worker
作業支援情報配信部３３１は、作業支援情報を作業者端末２０に配信するようになっている。具体的には、作業支援情報配信部３３１は、作業者３が行った作業の成否の判定結果や、要注意段階の前に作業者３に与える注意喚起のメッセージなどの作業支援情報を作業者端末２０に送信する。作業者端末２０では、受信した作業支援情報のデータを音声／映像出力部２３ｂを介して支援情報出力装置２３に送る。支援情報出力装置２３は、作業支援情報を、音声および映像（動画）の少なくとも一方で選択的に出力できるようになっている。作業支援情報の映像データは表示部２３ａに表示するようにしてもよい。この場合、表示部２３ａは支援情報出力装置２３として機能する。
The work support
作業の成否の判定結果、作業が失敗の場合に送信される音声または映像のメッセージとしては、例えばネジを外す作業において「外すネジが間違っています！」などである。作業の成否の判定結果、作業が成功の場合には、特にメッセージを送信しなくてもよいし、或いは「ネジを外す作業が正常に終わりました」などのメッセージを送信してもよい。注意喚起のための音声または映像のメッセージとしては、例えば部品交換の作業において「感電に注意！」などである。 An audio or video message that is transmitted when the task is unsuccessful as a result of determining the success or failure of the task is, for example, "You are removing the wrong screw!" As a result of determining the success or failure of the work, if the work is successful, it is not necessary to send a particular message, or a message such as "the work to unscrew the screw has been completed normally" may be sent. The audio or video message for calling attention is, for example, "Watch out for electric shock!" in parts replacement work.
作業支援情報として、例えば、作業手順、環境情報およびステータス情報を含むようにしてもよい。作業手順の説明としては、例えば「作業１：ネジを外してください」というメッセージが挙げられる。環境情報としては、例えば現場環境の温度、湿度が挙げられる。ステータス情報としては、作業の進捗度、経過時間などが挙げられる。 Work support information may include, for example, work procedures, environmental information, and status information. As an explanation of the work procedure, for example, there is a message "Work 1: Please remove the screw". Environmental information includes, for example, the temperature and humidity of the site environment. The status information includes the degree of progress of work, elapsed time, and the like.
機器状態管理部３３２は、作業対象機器を含めて作業に関係する機器の仕様およびその状態、ならびに作業現場の環境に関する情報を記憶し、管理するようになっている。
The equipment
＜作業分析／解析部＞
作業分析／解析部３３５は、作業行動記録集計部３３６、作業記録分析部３３８、分析結果出力部３３９、作業チェック情報生成部３４０、および作業報告書作成部３４１を備えている。なお、本実施形態の作業記録分析部３３８が、本発明の判定装置および注意喚起制御装置に対応する。
<Work Analysis / Analysis Department>
The work analysis/
作業行動記録集計部３３６は、熟練者２または作業者３による作業行動の記録（作業映像、作業音声）を取得し、集計するようになっている。熟練者２の作業行動の情報は、ストレージ３０２に格納された熟練者作業行動情報記録データベース３２３に記憶され、作業者３の作業行動の情報は、現地作業者作業情報記録データベース３２４に記憶されている。
The work action
作業記録分析部３３８は、作業チェック情報に基づき、作業者３の作業記録（作業映像、作業音声などの作業行動情報）を、熟練者２の作業記録（作業映像、作業音声などの作業行動情報）と対比、分析し、作業者３の作業の成否を判定するようになっている。
Based on the work check information, the work
また、作業記録分析部３３８は、作業チェック情報および作業者３の作業の経時情報（経過時間または作業段階の情報）に基づき作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させる制御を行うようになっている。
In addition, the work
分析結果出力部３３９は、作業記録の分析結果を作業者端末管理部３３０の作業支援情報配信部３３１や作業報告書作成部３４１等に出力するようになっている。
The analysis
作業チェック情報生成部３４０は、熟練者作業行動情報記録データベース３２３に記憶された熟練者２の作業映像および作業音声を基に作業チェック情報７０を生成する。生成した作業チェック情報は、例えば、現地作業者作業情報記録データベース３２４や熟練者作業行動情報記録データベース３２３などストレージ３０２の適当な場所に格納しておく。
The work check
作業報告書作成部３４１は、作業記録分析部３３８による作業者３の各作業の成否の判定結果、各作業に要した時間などの情報を含む作業報告書を電子ファイルの形式で作成し、現地作業者作業情報記録データベース３２４などストレージ３０２内の適当な場所に格納する。作業報告書には、作業者Ｎｏ、作業者名、作業日時、作業Ｎｏ（作業内容）なども併せて記録される。作業報告書は、必要に応じて作業者端末２０に送信され、作業者３が作業報告書の内容を見ることができる。
The work
＜ストレージ＞
ストレージ３０２には、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４、および作業対象機器情報記録データベース３２５が格納されている。ストレージ３０２は図１の記憶装置３１に対応する。
<Storage>
The
熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４については、熟練者端末１０または作業者端末２０の対応するデータベース構造と同じであるので、詳細な説明は省略する。なお、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４に格納する作業映像の情報は、元の映像データの代わりに、映像を構成する各画像に対して画像処理を行って得られた特徴点や特徴量などの情報であってもよい。
The expert work behavior
図７は、作業対象機器情報記録データベース３２５の構成を示す構成図である。図７に示すように、作業対象機器情報記録データベース３２５の各レコード（行）に記録される項目は、機器Ｎｏ、作業Ｎｏ、仕様、および画像である。
FIG. 7 is a configuration diagram showing the configuration of the work target device
機器Ｎｏは、作業Ｎｏで特定される作業において対象となる機器を特定する識別番号である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。仕様の欄には、機器Ｎｏで特定される機器の仕様（スペック）の情報を記録したファイル名が入っている。画像の欄には、機器Ｎｏで特定される機器の画像ファイル名が入っている。 The device No. is an identification number that identifies the target device in the work identified by the work No. Work No. is a number uniquely assigned to identify the work. The column of specifications contains the name of a file that records the information of the specifications of the device identified by the device number. The image column contains the image file name of the device specified by the device number.
次に、図８を参照して作業チェック情報の生成において映像情報および音声情報を分割する方法を説明する。 Next, a method of dividing video information and audio information in generating work check information will be described with reference to FIG.
作業チェック情報生成部３４０は、熟練者２の作業映像および作業音声を熟練者２の作業音声の情報に基づいて要素作業に分割し、作業記録分析部３３８は要素作業ごとに作業の成否を判定する。
The work check
具体的には、まず映像取得装置１１が、熟練者２の作業映像を取得し、音声取得装置１２が、熟練者２の作業音声を取得する。熟練者端末１０は、取得した作業映像および作業音声のデータを受け取り、熟練者作業行動情報記録データベース１６ａに格納する。作業映像は、動画ファイル５１であり、所定時間間隔で撮影された一連の画像を含んでいる。作業音声は、音声ファイル５２であり、熟練者２が発した音声が含まれている。熟練者端末１０は、通信部１７を介して、熟練者作業行動情報記録データベース１６ａに格納された熟練者２の作業映像（動画ファイル５１）および作業音声（音声ファイル５２）を作業情報生成サーバ３０に送信する。
Specifically, first, the
作業情報生成サーバ３０は、熟練者２の作業映像および作業音声を熟練者作業行動情報記録データベース３２３に格納する。次いで、音声データ処理部３１４が、熟練者２の作業音声のデータに対して、音声認識処理を実施する。次いで、作業チェック情報生成部３４０が、音声認識処理の結果から、「作業１ 〇〇〇を実施」などのメッセージを見つけ、各要素作業（作業１、作業２、・・・）の開始時間を特定する。作業チェック情報生成部３４０は、各要素作業の開始時間の情報を基に、作業映像および作業音声のファイルを各要素作業に分割し、ストレージ３０２内の適当な場所に記憶する。
The work
次に、図９を参照して作業チェック情報生成部３４０による作業チェック情報７０の生成処理を説明する。
Next, generation processing of the
作業チェック情報７０の生成処理は、熟練者２の作業映像および作業音声の分割処理と同時に行うが、これに限定されず、分割処理の前、あるいは後に行ってもよい。
The process of generating the
作業チェック情報生成部３４０は、音声データ処理部３１４を用いて、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業音声のデータに対して音声認識処理を実施し、成否をチェックすべき作業（作業チェック項目）および注意すべき事項（注意項目）を特定し、作業チェック情報７０としてストレージ３０２内の適当な場所に記憶する。
The work check
作業チェック項目を特定するため、例えば、各作業の開始を示す特定の語句（例えば「作業１」、「作業２」など）を含む作業開始メッセージ（例えば「作業１ ネジを外す」、「作業２ 蓋を取る」など）を特定し、そのメッセージ内容と時間（基準となる時刻からの経過時間）を取得する。
In order to specify the work check items, for example, a work start message (for example, "
図９に示すように、例えば、作業チェック情報生成部３４０は、熟練者２の作業音声から、「作業１ ネジを外す」、「作業２ 蓋を取る」、「作業３ 部品を交換する」、「作業４ 蓋を閉める」、「作業５ ネジを締める」などという作業開始メッセージを特定した場合、作業チェック情報７０の作業Ｎｏ、作業時間、作業チェック項目の各欄に特定した情報を記録する。
As shown in FIG. 9, for example, the work check
作業チェック項目は、作業開始メッセージから取得するだけでなく、各作業の作業中に熟練者２が発するメッセージから作業チェック項目を取得してもよい。例えば、熟練者２の「交換した部品を回収箱に入れる」というメッセージから、「交換した部品を回収箱に入れる」という内容を作業チェック項目の欄に記録し、その時間も記録しておく。
The work check items may be obtained not only from the work start message, but also from the message issued by the
また、作業チェック情報生成部３４０は、熟練者２の作業音声から注意項目を特定するため、例えば、注意喚起を示す注意メッセージを特定し、そのメッセージ内容と経過時間（基準となる時刻（例えば作業開始時）からの経過時間）を取得する。
In addition, the work check
例えば、図９に示すように、作業チェック情報生成部３４０が、熟練者２の作業音声から、「感電に注意」や「指挟みに注意」などという注意メッセージを特定した場合、注意項目、経過時間の各欄に特定した情報を作業チェック情報７０として記録する。
For example, as shown in FIG. 9 , when the work check
＜作業成否判定法１＞
次に、図１０Ａおよび図１０Ｂを参照して作業チェックにおける作業成否判定法１を説明する。
<Work success/
Next, the work success/
作業記録分析部３３８が、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。
The work
具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。
Specifically, the work
図１０Ａに示すように、例えば、作業チェック項目が作業１の「ネジを外す」である場合、作業１の熟練者２の作業映像中に対象機器から作業対象のネジが外れた画像Ａが存在する。よって、作業者３の作業映像中に対象機器からネジが外れた画像Ａが存在しないならば、「ネジを外す」という作業は実施されていないと判定できる。そこで、作業者３の作業映像中にネジが外された画像Ａに相当する画像が存在するか否かを調べ、存在していれば、作業は成功であると判定し（図１０Ａ）、存在していなければ、作業は失敗であると判定する（図１０Ｂ）。
As shown in FIG. 10A, for example, if the work check item is
作業者３の作業映像中に特定状態の対象物の画像Ａに対応する画像が存在するか否かは、例えば、比較する画像が画像Ａと同様の特徴点または／および特徴量を有しているか否かにより判断することができる。
Whether or not an image corresponding to the image A of the object in the specific state exists in the work video of the
作業者３の作業映像中における画像Ａの存否判断は、熟練者２の画像Ａが出現する時間ｔ１の±Δｔの範囲において作業者の作業映像に画像Ａに対応する画像が存在するか否かを判断する。このように対比判断する画像範囲を限定することにより、作業の迅速な成否判定が可能となる。
The presence or absence of image A in the work video of
本実施形態では、作業者３の作業映像において対比する画像範囲を経過時間により所定範囲に限定したが、これに限定されない。作業者３の作業映像の最初の画像Ｓから最後の画像Ｅまでの全画像について対比判断してもよい。また、対比中に画像Ａに対応する画像が存在することが分かった場合、後の画像については対比を省略してもよい。
In the present embodiment, the range of images to be compared in the work video of the
図１０Ｂに示すように、時間ｔ１±Δｔの範囲で、作業者３の作業映像中に画像Ａに対応する画像が存在しない場合には、作業１の開始時間ｔｓからの時間ｔ１＋Δｔが経過した後の適当な時点で、「ネジを外してください」などと音声または／および映像で注意喚起する。
As shown in FIG. 10B, in the range of time t1±Δt, when there is no image corresponding to the image A in the work video of the
ここで、作業者３の作業開始・作業終了の判断法を説明する。図１０Ａおよび図１０Ｂに示すように、作業１における熟練者２の作業映像の先頭には特定の対象物を撮影した画像Ｓが存在し、末尾には画像Ｅが存在している。例えば、作業者３の作業映像に画像Ｓに対応する画像が出現すれば、作業１が開始したものと判断し、作業者３の作業映像に画像Ｅに対応する画像が出現すれば、作業１が終了したものと判断する。このようにして、作業者３が作業Ｎｏで一意的に特定される作業（或いは要素作業）を開始したか、或いは終了したか否かを判断することができる。
Here, a method for determining whether the
別法として、作業者３が音声取得装置２２（例えばマイク）に発した音声に対して、音声データ処理部３１４により音声認識処理し、例えば「作業１を開始する」などのメッセージ音声を検出すると、それを合図に作業映像において作業１が開始したと判断するようにしてもよい。
Alternatively, if the speech
＜作業成否判定法２＞
次に、図１１を参照して作業チェックにおける別の作業成否判定法２を説明する。
<Work success/
Next, another work success/
作業成否判定法２では、作業記録分析部３３８は、熟練者２の作業映像に含まれない対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。
In work success/
具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。
Specifically, the work
図１１に示すように、例えば、作業チェック項目が作業１の「ネジを外す」である場合、作業１の熟練者２の作業映像中に対象機器から作業対象のネジ以外のネジが外れた画像Ｂは存在しない。よって、作業者３の作業映像中に対象機器からネジ以外のネジが外れた画像Ｂが存在するならば、「ネジを外す」という作業は成功裡に実施されていないと判定できる。そこで、作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像が存在するか否かを調べ、存在していなければ、作業は成功であると判定し、存在していれば、作業は失敗であると判定する（図１１）。
As shown in FIG. 11, for example, if the work check item is "Remove a screw" for
作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像が存在するか否かは、例えば、画像の特徴点または／および特徴量が類似しているか否かにより判断することができる。
Whether or not there is an image in the work video of the
作業者３の作業映像中に熟練者２の作業映像中の画像に対応する画像が存在するか否かの判断は、作業者３の作業映像の画像が出現する時間ｔ１の±Δｔの範囲において熟練者２の作業映像に対応する画像が存在するか否かを判断してもよい。このように対比判断する画像範囲を限定することにより、迅速な成否判定が可能となる。
The determination of whether or not an image corresponding to the image in the work video of the
図１１に示すように、例えば、作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像Ｂが存在する場合には、例えば「外すネジが間違っています」などと音声または／および映像で注意喚起する。
As shown in FIG. 11, for example, when there is an image B that does not correspond to any of the images in the work video of the
＜作業成否判定法３＞
次に、図１２を参照して作業チェックにおける別の作業成否判定法３を説明する。
<Work success/
Next, another work success/
作業成否判定法３では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に所定の順序で含まれているか否かにより作業の成否を判定する。
In the work success/
具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。
Specifically, the work
図１２に示すように、例えば、熟練者２の作業映像または／および作業音声から、作業１について作業手順１、作業手順２、作業手順３の順に作業を進めるべきであることが分かっている場合、作業１の成否判定は次のようにする。まず、熟練者２の作業映像から作業手順１、２、３にそれぞれ対応する画像Ａ、Ｂ、Ｃを特定する。次いで、作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像が存在し、かつ、それらがその順で出現しているか否かを調べる。作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像がその順序で存在している場合には、作業は成功であると判定し、存在していなければ、作業は失敗であると判定する（図１２）。
As shown in FIG. 12, for example, when it is known from the work video and/or work audio of the
作業者３の作業映像中に熟練者２の作業映像の画像Ａ、Ｂ、Ｃに対応する画像が存在するか否かは、例えば、対比する両画像の特徴点または／および特徴量が類似しているか否かにより判断することができる。
Whether or not images corresponding to the images A, B, and C of the work video of the
作業者３の作業映像中に熟練者２の作業映像中の画像Ａ、Ｂ、またはＣに対応する画像が存在するか否かの判断は、熟練者２の作業映像の画像Ａ、Ｂ、またはＣが出現する時間ｔ１の±Δｔの範囲において作業者３の作業映像に対応する画像が存在するか否かを判断してもよい。このように対比判断する画像範囲を限定することにより、迅速な成否判定が可能となる。
Determination of whether or not an image corresponding to the images A, B, or C in the work video of the
図１２に示すように、作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像がその順序で存在していない場合には、例えば「作業手順が間違っています」などと音声または／および映像で注意喚起する。
As shown in FIG. 12, when the images corresponding to the images A, B, and C do not exist in the work video of the
＜注意喚起方法１＞
次に、図１３を参照して注意喚起方法１を説明する。
<
Next, the
この注意喚起方法１では、作業記録分析部３３８は、作業チェック情報および作業者３の作業の経時情報に基づき作業中の特定段階の前に支援情報出力装置に作業支援情報として注意情報を出力させる。
In this
ここで、「特定段階」とは、作業中に注意喚起を行うべき段階であり、例えば、「部品を交換する」作業３において交換のために「部品を把持する」段階や、「蓋を閉める」作業４において「蓋を本体に載せる」段階などが該当する。作業チェック情報生成部３４０が、作業チェック情報として、熟練者２の作業音声の情報に基づいて特定段階を決定する。
Here, the "specific stage" is a stage in which attention should be called during the work. ' and the step of 'placing the lid on the main body' in
本実施形態において、「経時情報」は作業者３の作業開始からの経過時間の情報である。作業チェック情報生成部３４０は、熟練者２の作業音声を分析し、例えば「感電に注意」などの注意項目を抽出するとともに、そのメッセージが発せられた時間（作業開始時からの経過時間）を記録している。
In the present embodiment, "time information" is information on elapsed time since the
図１３に示すように、作業記録分析部３３８は、作業者３の作業開始時からの経過時間を監視し、特定段階（画像Ｄに対応）の時間ｔ２よりΔｔだけ前の時間ｔ１に、音声または／および映像で例えば「感電に注意」と注意喚起する。ｔ１＝ｔ２－Δｔである。
As shown in FIG. 13, the work
＜注意喚起方法２＞
次に、図１４を参照して別の注意喚起方法２を説明する。
<
Next, another alerting
本実施形態では、作業者３の作業開始からの経過時間に基づいて注意喚起を行っているが、この構成に限定されず、作業者３の作業映像から認定される作業段階の情報に基づいて注意喚起を行うようにしてもよい。
In this embodiment, attention is called based on the elapsed time from the start of the work of the
図１４に示すように、作業チェック情報生成部３４０は、予め熟練者２の作業映像を分析し、注意喚起すべき特定段階（画像Ｄに対応）の前に作業段階１、２、３（それぞれ画像Ａ、Ｂ、Ｃに対応）がこの順に存在することを確認、記録しておく。そして、作業記録分析部３３８は、作業者３の作業中にリアルタイムで作業映像を分析し、画像Ａ、Ｂ、Ｃに対応する画像が出現することを監視し、画像Ｃに対応する画像を検出すると、音声または／および映像で例えば「感電に注意」と注意喚起する。すなわち、画像Ｄに対応する特定段階の前の作業段階で確実に注意喚起するようになっている。
As shown in FIG. 14, the work check
次に、本実施形態に係る作業支援方法を説明する。 Next, a work support method according to this embodiment will be described.
図１５は、本実施形態に係る作業支援方法のフローチャートである。
作業情報生成サーバ３０において、予め、作業チェック情報生成部３４０が、熟練者２の作業音声を基に熟練者２の作業映像および作業音声を要素作業に分割するとともに、熟練者２の作業映像および作業音声を基に作業チェック情報７０を生成しておく（Ｓ１）。作業者３の作業時には、作業情報生成サーバ３０において作業記録分析部３３８が、作業チェック情報７０を基に、作業者３が行った作業に対して作業チェックをリアルタイムで実施する（Ｓ２）。作業終了後に、作業情報生成サーバ３０において作業報告書作成部３４１が、作業チェックの実施結果を基に作業報告書を作成する（Ｓ３）。
FIG. 15 is a flowchart of the work support method according to this embodiment.
In the work
次に、作業チェック情報７０の生成方法を説明する。
Next, a method for generating the
図１６は、作業チェック情報７０の生成方法を示すフローチャートである。
まず、熟練者２の作業中の映像・音声を取得する（Ｓ１０）。具体的には、熟練者２が装着した映像取得装置（例えば耳掛けカメラ）１１により撮影した映像と、音声取得装置（例えばマイク）１２により取得した音声を熟練者端末１０に取り込み、ネットワーク４を介して作業情報生成サーバ３０に送信する。作業情報生成サーバ３０において受信した作業映像および作業音声は、熟練者作業行動情報記録データベース３２３に記憶しておく。
FIG. 16 is a flow chart showing a method of generating the
First, the video/audio of the
次いで、熟練者２の作業映像および作業音声のファイルを、熟練者２の作業音声に基づいて要素作業に分割する（Ｓ１１）。具体的には、作業情報生成サーバ３０において音声データ処理部３１４により熟練者２の作業音声に対して音声認識処理を行う。音声認識処理の結果、「作業１ ○○○を実施」などの要素作業を特定するメッセージを検出し、各要素作業（作業１、作業２、・・・）の開始時間を特定する。そして、各要素作業の開始時間の情報を基に、作業映像および作業音声のファイルを各要素作業に分割する。
Next, the work video and work audio files of the
次いで、熟練者２の作業音声から作業チェック項目を抽出する（Ｓ１２）。具体的には、作業情報生成サーバ３０において熟練者２の作業音声に対して行った音声認識処理の結果から、作業チェック項目を抽出する。例えば、「作業１ ネジを外す」、「作業２ 蓋を取る」、「作業３ 部品を交換する」、「作業４ 蓋を閉める」、「作業５ ネジを締める」などのメッセージを検出すると、作業チェック項目として、作業１「ネジを外す」、作業２「蓋を取る」、作業３「部品を交換する」、作業４「蓋を閉める」、作業５「ネジを締める」などが抽出される。作業チェック情報生成部３４０は、作業チェック項目を、作業に要する作業時間と共に作業チェック情報７０として記憶する。
Next, work check items are extracted from the work voice of the expert 2 (S12). Specifically, work check items are extracted from the results of voice recognition processing performed on the work voice of the
また、作業チェック情報生成部３４０は、例えば、「感電に注意」、「指挟みに注意」などの注意喚起のメッセージを検出すると、該メッセージを注意項目として認識し、基準時点（例えば作業開始時）からの経過時間の情報とともに作業チェック情報７０として記憶する。
In addition, when the work check
次に、図１７を参照して、作業者３が行った作業に対して作業チェックを実施する方法を説明する。
Next, with reference to FIG. 17, a method of checking the work performed by the
まず、作業情報生成サーバ３０の作業記録分析部３３８が、作業チェック情報７０から最初の作業チェック項目を取得する（Ｓ２０）。具体的には、ストレージ３０２に記憶された作業チェック情報７０の作業１に対応する作業チェック項目、作業時間などの情報を取り出す。
First, the work
次に、作業記録分析部３３８が、作業チェック情報７０のうち、作業１に対応する注意項目が存在するか、すなわち注意喚起が必要か否かを判断する（Ｓ２１）。注意喚起が必要であれば（Ｓ２１でＹｅｓ）、作業記録分析部３３８は、作業開始から所定の経過時間がたった時に、支援情報出力装置２３に音声または／および映像で注意喚起を行わせる（Ｓ２２）。例えば、作業３の開始から６０秒たった時に「感電に注意」と音声または／および映像により作業者３に注意喚起する。注意喚起が必要でなければ（Ｓ２１でＮｏ）、ステップＳ２３に進む。
Next, the work
ステップＳ２３では、作業記録分析部３３８が、熟練者２の作業映像と作業者３の作業映像を対比することにより、作業者３の作業に対して作業チェックを実施する。具体的には、上記の作業成否判定法１～３のいずれか、或いは任意の組合せを順に用いて、作業の成否を判定する。作業の内容によって作業成否判定法を変えてもよい。
In step S<b>23 , the work
判定により作業チェック項目が不合格（失敗）ならば（Ｓ２４でＮｏ）、作業記録分析部３３８は、支援情報出力装置２３に音声または／映像で作業者３に警告させる（Ｓ２５）。例えば、作業５の「ネジを締める」という作業チェック項目が首尾良く実施されていない場合に、「ネジを締めてください」というメッセージを支援情報出力装置２３を介して作業者３に音声または／および映像で知らせる。警告を受けた作業者３は作業をやり直し（Ｓ２６）、ステップＳ２３に戻り、作業チェックを実施する。
If the work check item fails (failure) as a result of the determination (No in S24), the work
判定により作業チェック項目が合格（成功）ならば（Ｓ２４でＹｅｓ）、ステップＳ２７に進み、作業記録分析部３３８は、作業チェック項目の合格、作業時間などの情報をストレージ３０２の現地作業者作業情報記録データベース３２４などに記録する（Ｓ２７）。そして、作業チェック情報７０に作業チェックすべき他の作業チェック項目が有れば（Ｓ２８でＹｅｓ）、ステップＳ２０に戻り、上記ステップを繰り返す。作業チェック情報７０に作業チェックすべき他の作業チェック項目が無ければ（Ｓ２８でＮｏ）、作業チェックを終了する。
If the work check item is passed (successful) by determination (Yes in S24), the process proceeds to step S27. It is recorded in the
次に、作用・効果について説明する。 Next, functions and effects will be described.
上述のように、本実施形態に係る作業支援システム１は、作業チェック情報生成部３４０が、音声取得装置１２により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報７０を生成するとともに、作業記録分析部３３８が作業チェック情報に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定する。
As described above, in the
この構成により、作業記録分析部３３８が作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像により指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。
With this configuration, the work
また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。この構成により、作業に必須の特定の対象物の存否を基に作業の成否を判定することにより、作業忘れを確実に検出することができる。
Further, in the
また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれない対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定するようにしてもよい。この構成により、作業に不要な対象物の存否を基に作業の成否を判定することにより、誤作業（作業内容の間違い）を確実に検出することができる。
In addition, in the
また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に所定の順序で含まれているか否かにより作業の成否を判定するようにしてもよい。この構成により、作業に必須の対象物が所定順序で出現するか否かを基に作業の成否を判定することにより、手順ミスを確実に検出することができる。
Further, in the
また、本実施形態の作業支援システム１では、作業チェック情報生成部３４０は、熟練者２の作業映像を熟練者２の音声情報に基づいて要素作業に分割し、作業記録分析部３３８は要素作業ごとに作業の成否を判定するようになっている。この構成により、長時間の作業であっても適当な所要時間の要素作業に分割することにより、作業の成否をより正確に判定することができる。
Further, in the
また、本実施形態の作業支援システム１では、支援情報出力装置２３は、作業支援情報を、音声および映像（動画や静止画）の少なくとも一方で選択的に出力できるようになっている。この構成により、作業環境に応じて最適な方法（音声のみ／動画のみ／音声と動画）を選択して作業支援を行うことができる。
Further, in the
また、本実施形態の作業支援システム１は、支援情報出力装置２３より出力される作業支援情報を伝える音声を、指定された言語に変換する音声データ処理部３１４をさらに備えている。この構成により、日本語の分からない外国人の作業者に対しても該外国人の理解できる外国語で作業支援を行うことができる。
Further, the
また、本実施形態の作業支援システム１は、作業記録分析部３３８による作業の判定結果を含む作業報告書を作成する作業報告書作成部３４１をさらに含んでいる。この構成により、現場での作業が完了すると作業報告書が自動的に作成されるので、作業者３が作業報告書を作成する手間が省ける。
In addition, the
また、本実施形態の作業支援システム１では、作業記録分析部３３８は、作業チェック情報７０および作業者３の作業開始からの経過時間の情報に基づき作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させるようになっている。この構成により、作業記録分析部３３８が作業チェック情報７０および経過時間に基づき注意喚起を要する特定段階の前に注意情報を出力させるので、作業ミスや事故を効果的に防止することができる。それにより、作業の質を高めることができる。
In addition, in the
また、本実施形態の作業支援システム１では、作業チェック情報生成部３４０は、作業チェック情報として、熟練者２の作業中の音声情報に基づいて特定段階を決定する。この構成により、注意喚起を要する特定段階を容易に指定することができる。
In addition, in the
また、本実施形態の作業支援システム１では、作業記録分析部３３８は、作業チェック情報７０および作業者３の作業映像から認定される作業段階の情報に基づき、作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させるようにしてもよい。この構成により、より適切な時に注意喚起を行うことができる。
Further, in the
また、本実施形態の作業支援システム１は、少なくとも作業チェック情報生成部３４０を備えた作業情報生成サーバ３０と、映像取得装置１１および音声取得装置１２を有し、作業情報生成サーバ３０に接続される熟練者端末１０と、映像取得装置２１および支援情報出力装置２３を有し、作業情報生成サーバ３０に接続される作業者端末２０と、を備えた構成である。この構成により、サーバを用いることにより、現場の作業者が携える作業者端末２０の構成を簡素にすることができる。
Further, the
なお、本実施形態は、作業情報生成サーバ３０が、作業記録分析部３３８、熟練者作業行動情報記録データベース３２３などを有し、作業者３の作業チェック（成否判定）を行う構成であるが、この構成に限定されない。作業者端末２０が作業記録分析部３３８、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４などを有し、作業者端末２０において作業者３の作業チェック（成否判定）を行う構成であってもよい。また、本実施形態は、作業情報生成サーバ３０が、作業報告書作成部３４１を有し、作業報告書の作成を行う構成であるが、この構成に限定されない。作業者端末２０が作業報告書作成部３４１を有し、作業者端末２０において作業報告書の作成処理を行う構成であってもよい。
In this embodiment, the work
また、本実施形態の作業支援方法は、作業チェック情報生成ステップＳ１において、音声取得ステップＳ１０により取得された音声ファイル５２の情報に基づいて、作業チェックの基準となる作業チェック情報７０を生成するとともに、判定ステップＳ２において作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定する。
In addition, in the work check information generation step S1 of the work support method of the present embodiment,
この構成により、判定ステップＳ２にて作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像で指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。
With this configuration, the success or failure of the work is determined by comparing the work image of the
（第２の実施形態）
次に、本発明の第２の実施形態について、図面を参照して説明する。以下の説明において、第１の実施形態の構成要素と同一の構成要素については同一の符号を付し、その詳細な説明は適宜省略する。
(Second embodiment)
Next, a second embodiment of the invention will be described with reference to the drawings. In the following description, the same components as those of the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted as appropriate.
図１８は、本発明の第２の実施形態に係る作業支援システム１Ａの概略構成を示す図である。作業支援システム１Ａは、現場の作業者３と例えば音声や端末画面により対話を行うことにより作業者３の作業を支援するシステムである。具体的には、図１８に示すように、作業支援システム１Ａは、作業者端末２０と作業支援サーバ３０Ａとを備え、それらがネットワーク４を介して相互に接続されている。作業支援サーバ３０Ａは作業情報生成サーバ３０の構成を含んでいてもよい。
FIG. 18 is a diagram showing a schematic configuration of a
作業者端末２０には、作業の映像を取得する映像取得装置（例えば、耳掛けカメラ）２１、作業中の音声を取得する情報取得装置としての音声取得装置（例えば、マイク）２２、作業支援情報を出力する支援情報出力装置（例えば、イヤホン、スピーカ、ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）２３、作業の対象物の画像（例えば、写真）を取得する画像取得装置（例えば、カメラ）１２２、および作業に関連する情報を感知するセンサ装置１２３が、有線あるいは近接無線により接続されている。作業支援サーバ３０Ａには、各種データベースを格納した記憶装置３１が接続されている。なお、本実施形態に係る支援情報出力装置２３が、本発明の情報出力装置に対応する。
The
作業者端末２０は、例えば、スマートフォンやタブレット端末などの携帯端末であり、音声取得装置２２、画像取得装置１２２、映像取得装置２１、支援情報出力装置２３のいずれか或いはすべてが作業者端末２０に内蔵されたものであってもよい。例えば、支援情報出力装置２３は、スマートフォンやタブレット端末などの作業者端末２０に内蔵されたスピーカやディスプレイなどであってもよい。作業者端末２０は、作業者による画面操作の情報を取得する、情報取得装置としての画面操作取得装置（例えばタッチパネル）１２１を備えてもよい（図１９参照）。作業者端末２０に接続される上記の各種装置は、内蔵されているか外部機器かに関わらず、作業内容、作業環境、作業者の技能レベル、後で説明する作業支援パターン等に応じて必要なものだけが適宜装備され使用される。
The
作業者３の代表的な装備として、限定するものではないが、例えば（ｉ）作業者端末２０としてのスマートフォンのみ、（ｉｉ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホン、（ｉｉｉ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのＡＲグラス、（ｉｖ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホンと映像取得装置２１としての耳掛けカメラ、（ｖ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホンとセンサ装置１２３としての身体センサ、等のケースが挙げられる。
Examples of typical equipment for the
（ｉ）の装備ケースでは、作業者３はタッチパネル付きのスマートフォンを携帯して作業を行い、スマートフォンのタッチパネルの画面表示および画面操作で作業支援システム１Ａと画面上の対話を行うことにより作業支援を受ける。この装備ケースでは、低コストで作業支援システムを構築できる。
In the equipment case of (i), the
（ｉｉ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンを装着して作業を行い、イヤホンとスマートフォン内蔵のマイクで作業支援システム１Ａと音声対話を行うことにより作業支援を受ける。この装備ケースでは、低コストで作業支援システムを構築できるとともに、作業中に作業者３がスマートフォンを操作する必要がなく、両手を自由に使えるので作業性がよい。
In the equipment case (ii), the
（ｉｉｉ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにＡＲグラスをかけて作業を行い、ＡＲグラスに表示される映像により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、またＡＲ技術により作業対象物に重畳して支援情報を表示できるので高機能な支援が可能である。
In the equipment case of (iii), the
（ｉｖ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンと耳掛けカメラを装着し作業を行い、耳掛けカメラから作業の映像情報を作業支援システム１Ａに送るとともに、イヤホンから音声により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、また作業の映像情報を基に作業の成否をより正確に判定することができるので、高機能な支援が可能である。
In the equipment case of (iv), the
（ｖ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンと身体センサを装着し作業を行い、身体センサから身体情報（例えば、動作、指先感覚、指先圧力など）を作業支援システム１Ａに送るとともに、イヤホンから音声により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、また作業者３の身体情報を基に作業の成否をより正確に判定することができるので、高機能な支援が可能である。
In the equipment case (v), the
上記各装備ケースでは、必要に応じて、スマートフォンは、カメラ機能、スピーカ機能、マイク機能、表示機能、タッチセンサ機能のいずれか或いはすべてを内蔵したものを使用する。なお、上記各装備ケースの作業者端末２０としてのスマートフォンは、タブレット端末などの他の携帯端末であってもよいことは勿論である。
In each of the equipment cases described above, the smart phone incorporates any or all of a camera function, a speaker function, a microphone function, a display function, and a touch sensor function, if necessary. Note that the smart phone as the
図１９は、本発明の第２の実施形態に係る作業支援システム１Ａの機能ブロックを示す図である。図１９に示すように、作業支援システム１Ａは、作業支援サーバ３０Ａ側に制御装置１００、およびストレージ３０２を備え、作業者３側に支援情報出力装置２３、情報取得装置１２０、画像取得装置１２２、映像取得装置２１、およびセンサ装置１２３を備えている。情報取得装置１２０は、作業者３からの音声や画面操作などの情報を取得するものであり、音声取得装置２２、および画面操作取得装置１２１を備えている。なお、本実施形態に係る制御装置１００が、本発明の判定装置に対応する。
FIG. 19 is a diagram showing functional blocks of a
制御装置１００は、情報取得装置１２０が取得した作業者３からの情報を基に所定の判定基準に従って作業の成否を判定するものであり、対話部１０１と情報入出力部１０８と判定部１１２と書類作成部１１７とを備えている。
The
対話部１０１は、作業者３との音声対話、または支援情報出力装置２３として作業者端末３付属のタッチパネル等の画面（以下、単に「画面」ともいう）による対話を行うものであり、作業指示部１０２と注意情報出力部１０３と情報検出部１０４と問い掛け確認部１０７とを備えている。情報検出部１０４は、情報取得装置１２０が取得した情報を検出するものであり、発話検出部１０５と画面操作検出部１０６とを備えている。
The
作業指示部１０２は、ストレージ３０２の作業チェック情報記憶部１３０に記憶された作業チェック情報に基づき、作業を指示する指示情報を、支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい（以下同様）。例えば、作業指示部１０２は、作業開始時に、「ネジ締め作業を実施してください」という指示メッセージを、支援情報出力装置２３から音声により出力させる。
Based on the work check information stored in the work check
作業指示部１０２は、映像取得装置２１が取得した作業の映像やセンサ装置１２３が取得した作業情報等に基づいて、判定部１１２が作業は未完了であると判定した場合には、作業が未完了であることを示す注意情報を、リアルタイムで支援情報出力装置２３から音声等で出力させるようにしてもよい。作業ミス等により作業が未完了の場合に、作業指示部１０２がリアルタイムで音声による注意情報を作業者３に通知することで、作業ミスをより効果的に防止することができる。
If the
注意情報出力部１０３は、ストレージ３０２の作業チェック情報記憶部１３０に記憶された作業チェック情報に基づき、作業の注意情報を支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。例えば、注意情報出力部１０３は、作業開始時に、「ネジ締め作業を実施してください」という指示メッセージに続けて、「ネジとドライバを両手で持たないでください」という注意メッセージを、支援情報出力装置２３から音声等により出力させる。このように、作業の開始時などに、注意情報出力部１０３が作業の注意情報を支援情報出力装置２３から音声等で出力させることで、作業者３に注意を喚起することができ、作業ミス、作業事故を効果的に低減することができる。
The caution
情報検出部１０４は、支援情報出力装置２３による指示情報の出力後に、情報取得装置１２０が取得した情報から指示情報に応答した応答情報を検出するようになっている。
After the support
発話検出部１０５は、公知の音声認識技術を利用して、支援情報出力装置２３による指示情報の出力後に、音声取得装置２２が取得した音声情報から指示情報に応答した音声の応答情報を検出するようになっている。例えば、発話検出部１０５は、作業終了時あるいは問い掛け確認時に作業者３が発する「完了」という言葉を検出する。発話検出部１０５により検出した応答情報を示す音声情報は、作業のエビデンスとして、ストレージ３０２に設けられた音声記憶部１３３に格納される。
The
発話検出部１０５が検出する作業者３の特定の発話としては、「完了」に限定されるものではなく、他の単語、単語の組合せ、フレーズ、文章、造語などであってもよいことは勿論である。
The specific utterance of the
画面操作取得装置１２１は、支援情報出力装置２３として作業者端末３付属のタッチパネル等の画面に対する作業者３の操作（例えば、タップ、ダブルタップ、ソフトキー入力など）の情報を取得するようになっている。以下では、作業者３による画面の操作を「画面操作」という。
The screen
問い掛け確認部１０７は、後で説明する判定部１１２が作業を成功と判定した後、作業の完了を確認する問い掛け情報を、支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。例えば、問い掛け確認部１０７は、「最後まで締め切りましたか？」という問い掛け確認メッセージを、支援情報出力装置２３から音声により出力させる。
The
また、情報入出力部１０８は、作業者端末２０に内蔵または接続された画像取得装置１２２、映像取得装置２１、センサ装置１２３などから情報を入力するとともに、支援情報出力装置２３に各種支援情報を出力するようになっており、画像・映像情報取得部１０９、センサ情報取得部１１０、および支援情報出力部１１１を備えている。
In addition, the information input/
画像・映像情報取得部１０９は、画像取得装置１２２が取得した作業の対象物の画像情報を取得し、かつ／または、映像取得装置２１が取得した映像の情報を取得するようになっている。画像・映像情報取得部１０９により取得された画像情報および映像情報は、ストレージ３０２に設けられた画像・映像記憶部１３１に格納される。画像・映像記憶部１３１に格納された作業の画像情報および映像情報は、作業のエビデンスとして、或いは公知のＡＩ（人工知能）技術に基づいた作業比較モデルの機械学習に用いられる。なお、本実施形態の画像・映像情報取得部１０９が、本発明の画像情報取得部および映像情報取得部に対応する。
The image/video
センサ情報取得部１１０は、センサ装置１２３が検知した作業に関連する情報を取得するようになっている。センサ装置１２３としては、例えば、作業者３に装着して作業者３の動作を検出する動作センサ、作業者３の指先に装着して指先の感覚、圧力を検出するセンサ、現場の匂いを検出する匂いセンサ、温度センサ、湿度センサ、味覚センサ、現場の設備音や音響を検出する音センサ、振動を検出する振動センサ、加速度センサ、作業者３の視線を検出する視線センサなどが挙げられる。センサ情報取得部１１０が取得した情報に基づいて、判定部１１２により作業の完了が判定されるようにしてもよい。このようにすることで、より正確に作業の完了を判定することができる。
The sensor
支援情報出力部１１１は、制御装置１００の判定部１１２による判定結果に基づいて作業支援情報を支援情報出力装置２３に出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。
The support information output unit 111 outputs work support information to the support
また、判定部１１２は、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっており、判定切替え部１１３と第１判定部１１４と第２判定部１１５と第３判定部１１６とを備えている。
The
判定切替え部１１３は、作業の重要度に応じて第１判定部１１４、第２判定部１１５、第３判定部１１６のいずれか１つを選択するようになっており、判定切替え部１１３により選択された判定部が作業の成否を判定する。
The
第１判定部１１４は、作業指示部１０２および支援情報出力装置２３による指示情報の出力後に、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「ネジ締め作業を実施してください」という指示メッセージを音声で出力した後、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第１判定部１１４は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。
The
第２判定部１１５は、問い掛け確認部１０７および支援情報出力装置２３による問い掛け情報の出力後、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「最後まで締め切りましたか？」という問い掛けメッセージを音声で出力した後、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第２判定部１１５は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。
After the
ここで問い掛けのメッセージは、作業の終了を確認する上記表現だけではなく、ランプの色や入力数値を確認したり(例えば、「ランプの色は何色ですか？」や「入力数値はいくつですか？」)、作業の終了状態を確認する(例えば「バルブのレバーの向きはどちら向きですか？」)等を音声で出力するようにしてもよい。その応答は、ランプの色は「青」ですや、バルブの向きは「右」向きです等、具体的に返答する完了通知でもよい。また、それら問い掛けと応答を複数回繰り返してもよい。 Here, the question message is not only the above expression to confirm the completion of work, but also to confirm the color of the lamp and the input numerical value (for example, "What is the color of the lamp?" or "What is the input numerical value?"). ?”), confirming the state of work completion (for example, “Which direction is the lever of the valve facing?”), etc. may be output by voice. The response may be a specific completion notification, such as the color of the lamp being "blue" or the direction of the bulb being directed to the "right". Also, these questions and responses may be repeated multiple times.
第３判定部１１６は、画像・映像情報取得部１０９が作業の対象物の写真などの画像情報を取得していない場合は作業が未完了であると判定し、作業の対象物の画像情報を取得している場合は、支援情報出力装置２３による指示情報の出力後に、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「ネジ締め作業を実施してください」という指示メッセージを音声で出力した後、画像・映像情報取得部１０９が作業の対象物の写真などの画像情報を取得した場合は、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第３判定部１１６は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。
The
第３判定部１１６は、画像・映像情報取得部１０９が取得した画像情報（証拠写真）が適切な撮影位置や適切な撮影方向で撮影されたものであるか等を基準にその適否を判定してもよい。作業指示部１０２は、第３判定部１１６が画像情報は不適であるか或いはアップロードされていないと判定した場合には、画像情報を要求する指示情報を、支援情報出力装置２３から音声等で出力させるようにしてもよい。これにより、不適切な画像情報（証拠写真）を取得することが防止できる。また、作業者３の注意を喚起することにもなり、作業ミスを低減することができる。
The
本実施形態では、判定部１１２が作業の重要度に応じて第１～３判定部１１４、１１５、１１６のいずれか１つを選択して使用するので、重要性の低い作業に対しては判定基準の緩い例えば第１判定部１１４を使用し、重要度の高い作業に対しては判定基準の厳格な例えば第２判定部１１５や第３判定部１１６を使用するといった柔軟な対応が可能であり、作業の効率を落とさずに作業ミスを効果的に低減することができる。
In this embodiment, the
また、書類作成部１１７は、作業に関し必要な書類（例えば、チェックリスト、作業報告書など）を作成する機能を有しており、データ取得部１１８と作業書類生成部１１９とを備えている。
The
データ取得部１１８は、判定部１１２が作業は正常に完了したものと判定したとき、該作業に関連したデータを取得するようになっている。具体的には、データ取得部１１８は、例えば、判定部１１２による作業の成否の判定結果および該作業に要した作業時間の情報を取得するようになっている。
The
作業書類生成部１１９は、データ取得部１１８が取得した作業に関連したデータを基にチェックリスト、作業報告書などの作業書類を生成するようになっている。具体的には、作業書類生成部１１９は、例えば、判定部１１２が情報検出部１０４により検出された発話や画面操作などの応答情報に基づいて作業が完了したものと判定した場合に、チェックリストなどの作業書類を生成するようになっている。このように、作業者３からの「完了」を示す関連情報を契機として、作業書類生成部１１９によりチェックリストなどの作業書類が自動的に生成されるので、作業者３の負担が軽減され、記載ミスや記載漏れが防止されるとともに、作成作業に要する工数が低減される。また、作業書類生成部１１９は、判定部１１２による判定結果と作業時間の情報を含めてチェックリストなどの作業書類を生成するようになっている。これにより、より適切な作業書類を作成することができる。
The work
また、ストレージ３０２は、作業に関連する情報、各種データベース等を記憶しておく記憶装置であり、作業チェック情報記憶部１３０、音声記憶部１３３、画像・映像記憶部１３１、および作業書類記憶部１３２を含んでいる。
Further, the
作業チェック情報記憶部１３０は、作業チェック（作業の成否判定）の基準となる作業チェック情報７０を記憶するようになっている。
The work check
音声記憶部１３３は、情報検出部１０４の発話検出部１０５により検出された作業者３の発話の音声情報を、作業のエビデンスとして、作業項目、作業日時などの情報と関連付けて記憶するようになっている。音声記憶部１３３に記憶された音声情報は、トレーサビリティの確保に資するものである。
The
画像・映像記憶部１３１は、画像・映像情報取得部１０９により取得された画像情報および映像情報を、作業項目、作業日時などの情報と関連付けて記憶するようになっている。これらの画像情報や映像情報は、作業のエビデンスとしてトレーサビリティの確保に資するものであり、またＡＩ技術に基づいた作業比較モデルの機械学習に用いることもできる。
The image/
作業書類記憶部１３２は、作業書類生成部１１９により生成されたチェックリストや作業報告書などの作業書類の情報を記憶するようになっている。
The work
本実施形態に係る制御装置１００は、判定部１１２により成否が判定される作業の範囲を作業者の技能レベルに応じて変更するようにしてもよい。このようにすると、作業支援をより効率的に行うことができる。例えば、技能レベルの高い作業者には、作業Ａと作業Ｂとを合わせた範囲の作業について作業の成否を判定することにより、作業Ａと作業Ｂの間で中断されずに作業を行うことができる。また、例えば技能レベルの低い作業者には、作業Ａと作業Ｂそれぞれの作業の成否を判定することにより、きめ細かく作業支援を行うことができる。
The
図２０は、本実施形態に係る制御装置１００の概略構成を示す図である。図２０に示すように、制御装置１００は、バス１４３により相互に接続されたＣＰＵ１４０、ＲＯＭ１４１、ＲＡＭ１４２、入出力Ｉ／Ｆ１４４、および通信Ｉ／Ｆ１４５を備えており、図１９に示す制御装置１００の各機能ブロックは、例えば、ＲＯＭ１４１やストレージ３０２などに記憶された各種プログラムをＲＡＭ１４２に読み出してＣＰＵ１４０により実行することで実現される。
FIG. 20 is a diagram showing a schematic configuration of the
次に、本実施形態における作業支援パターン（方法）について図面を参照しつつ説明する。以下では、まず音声による作業支援について説明し、次いで画面表示による作業支援について説明する。 Next, a work support pattern (method) in this embodiment will be described with reference to the drawings. In the following, work support by voice will be described first, and then work support by screen display will be described.
＜音声による作業支援＞
音声による作業支援の場合、作業支援システム１Ａは、例えば、制御装置１００を備えた作業支援サーバ３０Ａと、ネットワーク４を介して作業支援サーバ３０Ａに接続された作業者端末２０と、支援情報を出力する支援情報出力装置２３と、を備えている。以下では、スマートフォン（作業者端末２０に対応）、Ｂｒｕｅｔｏｏｔｈ（登録商標）によりスマートフォンに接続されたイヤホン（支援情報出力装置２３に対応）、スマートフォンに内蔵されたマイク（音声取得装置２２に対応）を用いる場合について作業支援パターン１～４を説明する。
<Voice work support>
In the case of voice work support, the
なお、本構成では音声単独ではなく、スマートフォンなどのスマートデバイスの画面も併用したハイブリッド型であってもよい。この際、スマートデバイスには作業の詳細や作業動画、作業全体における現作業の位置や、不明点問い合わせの連絡等について、表示してもよい。 Note that this configuration may be of a hybrid type in which the screen of a smart device such as a smartphone is also used instead of the voice alone. At this time, the smart device may display the details of the work, the video of the work, the position of the current work in the entire work, the communication of inquiries about unclear points, and the like.
［作業支援パターン１］
図２１は、本実施形態に係る作業支援パターン１を説明する図である。破線内は作業Ｂに対する作業支援を示す。以下、作業支援の各ステップを順に説明する。
[Work support pattern 1]
FIG. 21 is a diagram illustrating
（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。さらに、作業の内容について、説明を加えてもよい。
(1) Work instruction step: At the start of work B, the work instruction unit 102 of the
（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。
(2) Attention calling step: following the output of the instruction information, the attention
（３）完了通知ステップ：作業の終了時に、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。ここで、完了通知は、完了などの終了状態のみではなく、ランプの色は「青」ですや、バルブの向きは「右」向きです等、具体的に返答する完了通知でもよい。
(3) Completion notification step: At the end of the work, the
そして、判定部１１２が、発話検出部１０５が検出した発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。
Then, the
このように、作業支援パターン１では、作業支援システム１Ａと作業者３とが音声により対話を行うことにより、作業者３の作業を支援するので、簡素な構成により低コストで作業支援システム１Ａを構築でき、作業者３は両手が自由に使えるので使い勝手もよく、作業者３の発話に基づいて作業の成否を判定するので、効率的に作業ミスを防止することができる。
As described above, in the
［作業支援パターン２］
図２２は、本実施形態に係る作業支援パターン２を説明する図である。破線内は作業Ｂに対する作業支援を示す。以下、作業支援の各ステップを順に説明する。
[Work support pattern 2]
FIG. 22 is a diagram illustrating
（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。この際、上記作業の内容について追加説明してもよい。
(1) Work instruction step: At the start of work B, the work instruction unit 102 of the
（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。
(2) Attention calling step: following the output of the instruction information, the attention
（３）完了通知ステップ：作業の終了時に、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。
(3) Completion notification step: At the end of the work, the
（４）問い掛け確認ステップ：完了通知の後、作業支援システム１Ａの問い掛け確認部１０７が、作業者３に音声による問い掛け確認を行う。具体的には、判定部１１２が作業を成功と判定すると、問い掛け確認部１０７が、作業の完了を確認する問い掛け情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から音声で問い掛け情報を出力する。問い掛け情報は、例えば、「最後まで締め切りましたか？」という音声による問い掛けメッセージである。このメッセージは、「ランプの色は何色ですか？」や、「バルブの向きはどっちですか？」等、具体的に問いかけてもよい。
(4) Question confirmation step: After the notification of completion, the
（５）完了通知ステップ：問い掛けメッセージを受けた後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。また、問い掛けメッセージに応じて、具体的な状態や状況を発話してもよい。また、（４）と（５）を複数回繰り返してもよい。
(5) Completion notification step: After receiving the question message, the
そして、判定部１１２が、支援情報出力装置２３による問い掛けの音声出力後、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。
Then, after the support
このように、作業支援パターン２では、判定部１１２が作業の成功を判定した後、問い掛け確認部１０７および支援情報出力装置２３が、作業の完了を確認する問い掛けを行うので、作業者３に作業ミスを気付かせる可能性を高めることができ、作業ミスを効果的に低減することができる。
As described above, in the
［作業支援パターン３］
図２３は、本実施形態に係る作業支援パターン３を説明する図である。破線内は作業Ｂに対する作業支援を示す。作業支援パターン３では、画像取得装置１２２（スマートフォンに内蔵されたカメラ）も使用する。以下、作業支援の各ステップを順に説明する。
[Work support pattern 3]
FIG. 23 is a diagram illustrating
（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください。完了後、対象部分の写真をアップしてください。」という音声による指示メッセージである。この際、作業の内容についても言及してもよい。
(1) Work instruction step: At the start of work B, the work instruction unit 102 of the
（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。
(2) Attention calling step: following the output of the instruction information, the attention
（３）写真アップロードステップ：作業が終わると、作業者３が、作業を行った対象部分を画像取得装置１２２（内蔵カメラ）で撮影し、撮影した写真データを画像・映像情報取得部１０９が取得する。
(3) Photo uploading step: When the work is finished, the
（４）完了通知ステップ：写真アップロードの後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。この際、送付された写真に対して正解画像と比較を行い、正解・不正解を確認してその結果を通知してもよい。この際、正解画像と異なる場合には、対象作業の初めからやり直しをさせてもよい。
(4) Completion notification step: After uploading the photo, the
そして、判定部１１２は、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。
Then, the
（５）再要求ステップ：判定部１１２は、画像・映像情報取得部１０９が作業の対象物の画像情報（写真データ）を取得していない場合は作業が未完了であると判定し、作業指示部１０２は、画像情報（写真データ）を再要求する指示情報を、支援情報出力装置から音声で出力させる。この指示情報は、例えば、「写真がアップされていません。再度アップしてください。」という音声による再要求メッセージである。
また、本ブロックで送付画像について、予め保存されている正解画像との比較を実施し、正確・不正解を確認してその結果を送付してもよい。その場合、正解画像と異なっていると判定する場合には、対象作業を初めからやり直すように制御していもよい。
(5) Re-request step: If the image/video
In addition, in this block, the image to be sent may be compared with correct images stored in advance to check whether the images are correct or incorrect, and the results may be sent. In that case, when it is determined that the image is different from the correct image, control may be performed so that the target work is restarted from the beginning.
（６）完了通知ステップ：再要求メッセージを受けた後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。
(6) Completion notification step: After receiving the re-request message, the
そして、判定部１１２が、支援情報出力装置２３による再要求の音声出力後、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。
Then, after the support
このように、作業支援パターン３では、判定部１１２は、画像・映像情報取得部１０９が作業の対象物の画像情報（証拠写真）を取得していない場合は作業が未完了であると判定するので、作業者３はより注意深く作業を行うことになり、作業ミスをより効果的に低減することができる。また、作業対象物の画像情報（証拠写真）を取得しておくことで、トレーサビリティを実現することもでき、さらには、該画像情報は、作業の成否モデルの機械学習において教師データとして使用することもできる。
Thus, in the
また、作業支援パターン３において、判定部１１２は、画像・映像情報取得部１０９が取得した画像情報（証拠写真）に基づいて作業の完了を判定するようにしてもよい。このようにすると、より正確に作業の完了を判定することができる。
Further, in
作業者３の作業を画像取得装置１２２（カメラ）で撮影する場合、作業画像をエビデンスとして画像・映像記憶部１３１に記憶しておき、後で説明する作業報告書に音声データとともにパスを記載しておく。
When the work of the
［作業支援パターン４］
図２４は、本実施形態に係る作業支援パターン４を説明する図である。作業支援パターン４では、例えば作業者３の動作や指先の感覚等の身体情報を検知するセンサ装置１２３および映像取得装置２１（耳かけカメラ）を使用する。以下、作業支援の各ステップを順に説明する。
[Work support pattern 4]
FIG. 24 is a diagram illustrating
（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。
(1) Work instruction step: At the start of work B, the work instruction unit 102 of the
（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。
(2) Attention calling step: following the output of the instruction information, the attention
（３）センサ情報取得ステップ：作業中、センサ情報取得部１１０は、センサ装置１２３により取得された作業者３の身体情報を取得する。
(3) Sensor information acquisition step: During work, the sensor
（４）指摘ステップ：判定部１１２は、センサ情報取得部１１０が取得した作業者３の身体情報に基づいて作業状況を認識し、作業の完了を判定する。作業が正常に実施されていない場合、支援情報出力部１１１は、作業が正常でない旨の注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジ締めの作業を行っていますか？」という音声による注意メッセージである。
(4) Pointing out step: The
（５）正常自動確認ステップ：判定部１１２は、画像・映像情報取得部１０９が取得した作業者３の作業の映像を基に映像認識を行い、作業が正常に行われたか否か（作業の完了）を自動で確認する。これにより、より正確に作業の完了を判定することができる。
(5) Normality automatic confirmation step: The
具体的には、映像取得装置２１により作業者３の作業映像を動画で撮影し、画像・映像情報取得部１０９を介して画像・映像記憶部１３１に格納しておき、もともと取得しておいた模範的な作業映像と比較して違いが大きければ作業ミスと判断し、支援情報出力装置２３により作業者３に作業ミスを指摘するようにしてもよい。これは、作業中でも作業終了後に行ってもよい。作業員の作業進捗については、映像や身体センサにより認識を行ってもよい。また、格納されている正常音データと比較する事で、異音等を検出して作業員に指摘してもよい。また、振動センサや周辺環境センサ(天候、気温、湿度、風向き、明るさ、時間)等の情報を認識して、予め定められたアルゴリズムに応じて作業のミスや判断を指摘してもよい。
Specifically, the work image of the
（６）終了通知ステップ：（５）の代わりに、作業者３が音声で終了通知を行ってもよい。具体的には、作業者３が「ネジ締め作業終了」と発話（復唱）し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「ネジ締め作業終了」という音声情報を検出する。
(6) Completion notification step: Instead of (5), the
そして、判定部１１２は、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「ネジ締め作業終了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「ネジ締め作業終了」以外であれば、作業は失敗あるいは未完了であると判定する。
Then, the
（７）センサ情報取得部１１０が取得したセンサ情報や、画像・映像情報取得部１０９が取得した映像情報から、判定部１１２が作業は正常に完了していると判定した場合には、終了通知を行わず、作業Ｃに移行するようにしてもよい。作業Ｃでは、開始時に行われる作業指示と注意喚起のステップを省略してもよい。このようにすると、作業Ｂと作業Ｃとの間で中断されずに作業を行うことができる。
(7) From the sensor information acquired by the sensor
次に、図２５を参照して画像データや映像データの利用法を説明する。 Next, how to use image data and video data will be described with reference to FIG.
画像・映像情報取得部１０９により取得された画像（写真）データおよび映像データは、ストレージ３０２の画像・映像記憶部１３１に送られ格納される。作業対象物の写真データ（証拠写真）や映像データをエビデンスとして取得しておくことで、トレーサビリティを実現することができる。また、画像・映像記憶部１３１に格納される写真データおよび映像データは、もともと蓄えられている作業終了状態の写真データ(証拠写真)や映像データと比較することにより、現場でリアルタイムに作業ミスの指摘をすることも可能となる。
The image (photograph) data and video data acquired by the image/video
画像・映像記憶部１３１に格納された写真データおよび映像データは、作業比較モデル１３６の機械学習において教師データとして使用される。具体的には、画像・映像記憶部１３１に格納された写真データおよび映像データについて、人間が作業の成否の判定を行い、その判定結果から各写真データや映像データに成否のラベル付けを行う。具体的には、例えば、（ｉ）撮影位置が正しいか、（ｉｉ）正常に終了しているか等を観点にラベル付けを行う。ラベル付けられた写真データや映像データ（教師データ）を用いて、作業比較モデル１３６の機械学習を行う。機械学習においては、熟練者が作業を行った際に撮影した写真データおよび映像データも教師データとして使用される。
The photo data and video data stored in the image/
＜画面による作業支援＞
次に、画面表示による作業支援について説明する。
<Work support by screen>
Next, work support by screen display will be described.
上述した音声による作業支援は、音声のみによる作業支援も可能であるが、支援情報出力装置２３（スマートフォンに内蔵されたタッチパネル）の画面による作業支援を併用することもできる。以下では、音声による作業支援パターン１～４において併用される画面による作業支援を説明する。
As for the above-described work support by voice, work support by voice alone is also possible, but work support by the screen of the support information output device 23 (touch panel built into the smart phone) can also be used together. In the following, screen-based work support that is used in combination with voice-based
［画面による作業支援パターン１］
図２６は、上述した音声による作業支援パターン１における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業誘導画面１５１を示す。
[
FIG. 26 is a diagram showing an example of the display screen of the support information output device 23 (touch panel) in the
作業誘導画面１５１は、作業指示エリア１５２と模範作業エリア１５３と注意喚起エリア１５４とを備え、ソフトキーとして、完了ソフトキー１５５、再スタートソフトキー１５６、作業詳細ソフトキー１５７、作業ナビソフトキー１５８、および問合せソフトキー１５９を有している。
The
作業指示エリア１５２には、作業支援システム１Ａから作業者３への作業指示メッセージが表示される。例えば、「側面のネジ締めを行ってください。終了したら完了を押してください。」などの作業指示メッセージが表示される。
A work instruction message from the
模範作業エリア１５３は、作業者３が参考にするため、熟練者などによる模範作業の動画が表示されるエリアである。この模範作業の動画は、通常はタップ時か、あるいは作業開始とともに再生される。また、模範作業の動画は、作業者３の作業を認識して、同期して再生されるようにしてもよい。このエリアをタップすると、動画が拡大して表示されるようにしてもよい。また、模範作業の動画は、作業者３の現在の作業段階と模範作業の作業段階が一致（同期）するように動画位置が調整されて再生されるようにしてもよい。作業者３の現在の作業状況は、映像取得装置２１や音声取得装置２２などにより取得される映像情報や音声情報に基づいて認識される。
The
注意喚起エリア１５４は、例えば、「ドライバを落とさないように両手で持つ」などの注意メッセージが表示されるようになっている。
The
完了ソフトキー１５５には、例えば「完了」と表示され、作業の終了時に作業者３が完了ソフトキー１５５を押すと、完了情報が作業支援システム１Ａに通知されるようになっている。
For example, "Complete" is displayed on the completion
再スタートソフトキー１５６には、例えば「初めから」と表示され、作業者３が再スタートソフトキー１５６を押すと、模範作業エリアに表示される模範作業の動画が初めから再生されるようになっている。
For example, "from the beginning" is displayed on the restart
作業詳細ソフトキー１５７は、作業者３が押すと、作業のマニュアルなどの技術資料が表示されるようになっている。
When the work detail
作業ナビソフトキー１５８は、作業者３が押すと、一連の作業全体における現在の作業の位置が表示されるようになっている。例えば、一連の作業のフロー図において、現在の作業を示す文字のサイズを大きくする、文字の色を変える、などにより現在の作業の位置を強調表示するようにしてもよい。
When the work navigation
問合せソフトキー１５９は、作業者３が押すと、問合せ先の情報が表示されるようになっている。
When the inquiry
上記の各ソフトキーは、作業者３が押して選択するようになっているが、これに加えて、作業者３が発した音声を音声認識技術により選択できるようにしてもよい。例えば、作業者３が「問合せ」と発すると、問合せ先の情報が表示されるようにしてもよい。
Each of the soft keys described above is selected by being pressed by the
［画面による作業支援パターン２］
図２７は、上述した音声による作業支援パターン２における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、問い掛け確認時の画面を示す。
[
FIG. 27 is a diagram showing an example of the display screen of the support information output device 23 (touch panel) in the
図２７の問い掛け確認時の画面は、図２６の作業誘導画面１５１において作業終了時に作業者３が完了ソフトキー１５５を押した後に表示される画面である。問い掛け確認エリア１６０に、例えば、「最後まで締め切りましたか」という問い掛け確認メッセージが表示され、「はい」と表示された応答ソフトキー１６１を作業者３が押すと、完了情報が作業支援システム１Ａに通知される。
27 is a screen displayed after the
［画面による作業支援パターン３］
図２８は、上述した音声による作業支援パターン３における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業誘導画面１５１を示す。
[
FIG. 28 is a diagram showing an example of the display screen of the support information output device 23 (touch panel) in the
作業指示エリア１５２には、作業支援システム１Ａから作業者３への作業指示メッセージが表示されるようになっている。例えば、「側面のネジ締めを行ってください。完了後、対象部分の写真をアップしてください。」などの作業指示メッセージが表示される。
In the
注意喚起エリア１５４には、例えば、「ドライバを落とさないように両手で持つ」などの注意メッセージが表示されるようになっている。
In the alerting
写真撮影ソフトキー１６３には、例えば「写真」と表示され、作業者３が写真撮影ソフトキー１６３を押すと、カメラ機能の画面に移行し、作業対象物の写真が撮れるようになっている。撮影された写真データは作業支援システム１Ａにアップロードされる。
For example, "Photograph" is displayed on the photographing
作業者３は、作業指示メッセージに従って作業を行い、作業が完了すると、写真撮影ソフトキー１６３をタップし、作業対象物の写真を撮影し、写真データを作業支援システム１Ａにアップロードする。次いで、作業者３は、完了ソフトキー１５５をタップし、作業支援システム１Ａに完了通知する。
The
図２９は、作業支援パターン３における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、写真データのアップロードの再要求時の画面を示す。
FIG. 29 is a diagram showing an example of the display screen of the support information output device 23 (touch panel) in
図２９の写真データのアップロードの再要求時の画面は、図２８の作業誘導画面１５１において作業者３が完了ソフトキー１５５を押した後、判定部１１２が写真データのアップロードを確認できないか、適切な写真データでない場合に表示される画面である。再要求エリア１６４に、例えば、「写真がアップされていません。再度アップしてください。」という再要求メッセージが表示され、「写真の再撮影」と表示された写真再撮影ソフトキー１６５を作業者３が押すと、カメラ機能の画面に移行し、作業対象物の写真が撮影可能になる。撮影された写真データは作業支援システム１Ａにアップロードされる。次いで、作業者３は、完了ソフトキー１５５を押し、作業支援システム１Ａに完了通知する。
29 shows a screen for re-requesting photo data upload. After
［画面による作業支援パターン４］
図３０は、上述した音声による作業支援パターン４における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業ミスの指摘時の画面を示す。
[
FIG. 30 is a diagram showing an example of the display screen of the support information output device 23 (touch panel) in
図３０の作業ミスの指摘時の画面は、判定部１１２が、センサ装置１２３により取得されたセンサ情報を基に作業認識を行い、作業ミスと判断される場合に表示される画面を示す。指摘エリア１６６には、例えば、「ネジ締めの作業を行っていますか？」という指摘メッセージが表示される。作業者３は、作業終了時に、例えば「ネジ締め作業終了」と表示された作業終了ソフトキー１６７をタップし、作業支援システム１Ａに作業終了通知を行う。
The screen when a work error is indicated in FIG. 30 shows a screen displayed when the
上述したように、本実施形態に係る作業支援システム１Ａは、音声対話による作業支援と画面上での対話による作業支援とを併用して作業支援を行うことができるが、これに限定されず、音声対話のみによる作業支援や画面上での対話のみによる作業支援を行うこともできる。画面上での対話のみによる作業支援を行う場合、作業者３は少なくともタッチパネル（支援情報出力装置２３）を内蔵したスマートフォン（作業者端末２０）を携帯すればよい。また、音声対話と画面上での対話を併用する場合、作業者３による完了通知は、音声で行ってもよいし、画面操作で行ってもよい。
As described above, the
＜作業書類＞
作業支援サーバ３０Ａの作業書類生成部１１９は、全体作業の終了後に、データ取得部１１８が取得した各作業に関連したデータを基にチェックリスト、作業報告書、作業分析書などの作業書類を自動的に作成し、ストレージ３０２に格納する。ストレージ３０２に格納された作業書類は、必要に応じて作業者端末２０や作業支援サーバにて表示器に表示させることができる。書類作成部１１７により作成される作業書類の形式や記載事項は、任意に設定できるようになっている。
<Work documents>
The work
図３１は、支援情報出力装置２３（タッチパネル）に表示された作業書類画面１６８示す。作業書類画面１６８は、チェックリストを兼ねた作業報告書を示す。作業報告書は、上部に作業日時、作業場所、作業内容、作業担当者など作業を特定する情報が記され、下部には作業ＩＤ、作業名称、作業時間、完了チェックボックス、エビデンス、品質、リトライ／詳細確認の欄が設けられている。
FIG. 31 shows a
作業時間の欄は、標準時間と作業時間を含み、「標準時間」は、作業チェック情報の抽出（生成）時に求めておいた標準的な作業時間または予め設定された標準的な作業時間であり、同欄の「作業時間」は、現作業において実際に計測した作業時間である。 The work time column includes standard time and work time, and "standard time" is the standard work time obtained at the time of extracting (creating) the work check information or the preset standard work time. , "work time" in the same column is the work time actually measured in the current work.
完了の欄には、判定部１１２による作業成否の判定結果がチェックボックスに示される。例えば、音声による作業指示に対して応答された音声による完了通知に基づく作業成否の判定結果（作業支援パターン１）、音声による問い掛け確認に対して応答された音声による完了通知に基づく作業成否の判定結果（作業支援パターン２）、音声による作業指示に対して応答した写真アップおよび音声による完了通知に基づく作業成否の判定結果（作業支援パターン３）、音声による作業指示および音声による作業ミス指摘に対して応答した音声による終了通知に基づく作業成否の判定結果（作業支援パターン４）などが完了の欄のチェックボックスに示される。
In the Completion column, check boxes indicate the result of determination by the
エビデンスの欄には、作業指示に対して応答された完了通知の音声のデータファイル（作業支援パターン１）、問い掛け確認に対して応答された完了通知の音声のデータファイル（作業支援パターン２）、アップロードされた画像（写真）のデータファイル（作業支援パターン３）、作業指示および作業ミス指摘に対して応答した終了通知の音声のデータファイル（作業支援パターン４）にリンクが張られている。 In the Evidence column, a data file of the voice of the completion notification in response to the work instruction (work support pattern 1), a data file of the voice of the completion notification in response to the inquiry confirmation (work support pattern 2), Links are provided to a data file of uploaded images (photographs) (work support pattern 3) and a data file of audio of end notifications in response to work instructions and work error indications (work support pattern 4).
品質の欄には、例えば、映像取得装置２１（耳掛けカメラ）により取得した作業の映像や作業時間などに基づいて判定された作業の品質（上からＡ，Ｂ，Ｃ順に区分）が記載される。 The column of quality describes, for example, the quality of the work (classified in the order of A, B, and C from the top) determined based on the video of the work acquired by the video acquisition device 21 (ear hook camera), the work time, and the like. be.
リトライ／詳細確認の欄には、作業においてリトライや詳細確認を行った回数が記載される。 The retry/detailed confirmation column describes the number of retries and detailed confirmations performed in the work.
図３２は、支援情報出力装置２３（タッチパネル）に表示された作業分析書画面１６９を示す。作業分析書画面１６９は、作業を分析した結果を示す作業分析書を表示する画面である。作業分析書は、上部に作業日時、作業場所、作業内容、作業担当者など作業を特定する情報が記され、下部には各作業ＩＤの作業時間と標準時間の差が分かるように両者が対比して表示されるとともに、全作業の標準時間に対する作業時間の比率（％）が示されている。また、リトライ／詳細確認の回数が作業ＩＤごとに表示されている。リトライ／詳細確認の回数表示に近接して「詳細」ソフトキーが表示され、タップすると、問合せ内容や詳細確認履歴が表示されるようになっている。そして、標準作業時間に対する実際の作業時間の比率、リトライ／詳細確認の回数に基づいて判定された全体的な作業レベル（上からＡ，Ｂ，Ｃ順に区分）が表示されている。
FIG. 32 shows a work
作業分析書画面１６９の右下部には、「推奨する教育プログラム」ソフトキーが表示され、タップすると、判定された作業レベルに基づいて推奨される教育プログラムのＷｅｂアプリが起動するようになっている。
A "recommended educational program" soft key is displayed in the lower right part of the
本実施形態では、現場の作業を例として説明したが、本技術は、その他に、料理や家電／家具の取り付け、組立支援などでの実施も可能である。料理の例について説明する。各家庭特有の調理方法である通称「お袋の味」を保存、次の世代に教示するために、本技術を用いて伝承を行うことが考えられる。次の料理工程や調理での注意点や怪我防止のポイント等が抽出された支援コンテンツに対して、スマートフォンやタブレットを介して、音声や画面を用いて本明細書に記載の技術を用いて料理の支援を行う使用法に適用できる。また、味覚センサを用いて、各工程での味付けの数値を予め保存されている味覚の数値と比較して違いを指摘してもよい。また、予め保存されている盛り付けの画像と比較して、違いを指摘してもよい。 In the present embodiment, on-site work has been described as an example, but the present technology can also be applied to cooking, installation of home appliances/furniture, assembly support, and the like. Describe a cooking example. It is conceivable to use this technology to pass down the so-called "mother's taste", which is a cooking method peculiar to each family, and to teach it to the next generation. Cooking using the technology described in this specification using voice and screen via smartphones and tablets for support content that extracts points to note in the next cooking process and cooking, points to prevent injuries, etc. applicable to usages that support A taste sensor may also be used to compare the flavoring values at each step to pre-stored taste values to point out differences. Also, the difference may be pointed out by comparing with the pre-saved image of the presentation.
以上説明したように、本発明は、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができるという効果を有し、作業支援システムおよび作業支援方法の全般に有用である。 INDUSTRIAL APPLICABILITY As described above, the present invention has the effect of being able to prevent work mistakes by reliably performing work checks even for workers with low work skills. useful in general.
［付記１］
付記１の作業支援システム１は以下の通りである。
[Appendix 1]
The
［背景技術］
保守・点検等を含めて各種の現場作業では、作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。一方、作業者の作業スキルは高低様々である。そこで、現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムが提案されている（例えば、特開２００９－０６９９５４号公報等参照）。
[Background technology]
Various kinds of information such as information on work procedures, information on equipment to be worked on, and information on working tools to be used are required for various field works including maintenance and inspection. On the other hand, the work skills of workers vary from high to low. Therefore, a support system has been proposed that provides necessary information to workers working on-site to support on-site work (see, for example, Japanese Unexamined Patent Application Publication No. 2009-069954).
特開２００９－０６９９５４号公報には、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、および作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する作業支援装置が開示されている。 Japanese Patent Application Laid-Open No. 2009-069954 describes a measurement unit for grasping the situation where an object to be worked is placed, and controls the measurement unit, and performs appropriate information processing on the obtained information, Furthermore, an information processing unit for constructing visual information to be presented to the worker and a display unit for providing the worker with visual information superimposed on the target object are provided, so that the work to be done by the worker can be performed at the work site. A work support device for instructing in is disclosed.
［発明の概要］
［発明が解決しようとする課題］
しかしながら、特開２００９－０６９９５４号公報に記載の従来の作業支援装置にあっては、熟練者の高度な作業スキルを作業者に伝えるのには資するが、作業スキルの低い作業者が犯す作業ミスを確実に防止することには何ら考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースが増えており、作業ミスや作業忘れの発生、作業中の傷害事故も増加傾向にある。事故発生による社会的影響は大きく、再発防止策として作業品質の向上に加え、２人作業での確認、作業チェックリストや作業報告書の詳細化が求められる場合もある。
[Summary of Invention]
[Problems to be solved by the invention]
However, in the conventional work support device described in Japanese Patent Application Laid-Open No. 2009-069954, although it contributes to conveying the advanced work skills of experts to workers, work mistakes made by workers with low work skills No consideration has been given to the reliable prevention of At actual work sites, there are an increasing number of cases where foreign workers with low work skills and inexperienced Japanese are working, and the number of work mistakes, forgetting work, and injuries during work is increasing. The social impact of an accident is significant, and in addition to improving the quality of work as measures to prevent recurrence, confirmation by two people, and detailed work checklists and work reports may be required.
本発明は、上述のような課題を解決するためになされたものであり、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる作業支援システムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a work support system that can reliably prevent work mistakes even for workers with low work skills. and
［課題を解決するための手段］
本発明に係る作業支援システム（１）は、上記目的を達成するため、第１作業者（２）が行う作業の映像を取得する第１映像取得装置（１１）と、前記作業中の前記第１作業者の音声を取得する音声取得装置（１２）と、前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報（７０）を生成する作業チェック情報生成装置（３０）と、第２作業者（３）が行う作業の映像を取得する第２映像取得装置（２１）と、前記第２作業者への作業支援情報を出力する支援情報出力装置（２３）と、前記作業チェック情報および前記第２作業者の作業の経時情報に基づき作業中の特定段階の前に前記支援情報出力装置に前記作業支援情報として注意情報を出力させる注意喚起制御装置（３０）と、を備えることを特徴とする。
[Means to solve the problem]
In order to achieve the above object, the work support system (1) according to the present invention includes a first image acquisition device (11) that acquires an image of the work performed by the first worker (2), Standards for checking work based on a sound acquisition device (12) that acquires the voice of a worker, a work video acquired by the first video acquisition device, and information on the voice acquired by the voice acquisition device A work check information generation device (30) that generates work check information (70) as follows, a second image acquisition device (21) that acquires an image of the work performed by the second worker (3), and the second work a support information output device (23) for outputting work support information to the second worker; and an attention calling control device (30) for outputting caution information as work support information.
この構成により、注意喚起制御装置が作業チェック情報および経時情報（例えば作業経過時間や作業段階）に基づき注意喚起を要する特定段階の前に注意情報を出力させるので、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる。 With this configuration, the alerting control device outputs alerting information before a specific stage requiring attention based on work check information and time-lapse information (e.g., elapsed work time and work stage). However, it is possible to reliably prevent work mistakes.
［付記２］
付記２の作業支援システム１Ａは以下の通りである。
[Appendix 2]
The
特許文献２等に記載の従来の作業支援装置にあっては、作業者の作業性を損なわず、低コストで作業支援を行うことに対しても考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースも増えており、作業者が作業しやすい軽微な装備にて低コストで作業支援を行うことが求められている。
In the conventional work support device described in
本発明は、作業スキルが低い作業者に対しても、作業者の作業性を損なわず簡単な構成で作業支援を行うことができる作業支援システムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a work support system capable of supporting even a worker with low work skill with a simple configuration without impairing the workability of the worker.
本発明に係る作業支援システムは、上記目的を達成するため、作業支援システム（１Ａ）であって、作業者からの情報を取得する情報取得装置（１２０）と、前記作業の成否を判定する判定装置（１００）と、作業支援情報を出力する情報出力装置（２３）と、を備え、前記判定装置は、前記作業を指示する指示情報を、前記情報出力装置から出力させる作業指示部（１０２）と、前記情報出力装置による前記指示情報の出力後に、前記情報取得装置が取得した情報から前記指示情報に応答した応答情報を検出する情報検出部（１０４）と、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する判定部（１１２）と、を備えることを特徴とする。 In order to achieve the above object, the work support system according to the present invention is a work support system (1A) comprising an information acquisition device (120) that acquires information from a worker, and a judgment that determines whether the work is successful or not. A device (100) and an information output device (23) for outputting work support information, wherein the determination device is a work instruction unit (102) for causing the information output device to output instruction information for instructing the work. an information detection unit (104) for detecting response information in response to the instruction information from the information acquired by the information acquisition device after the information output device outputs the instruction information; and a judgment unit (112) for judging the success or failure of the work based on the response information.
この構成により、作業の開始時に、作業指示部および情報出力装置が作業の指示情報を音声や画面表示により作業者に伝え、作業終了時に、情報取得部が作業者からの情報を音声や画面操作などにより取得する。その際、情報検出部が指示情報に応答した応答情報を検出し、判定部がその応答情報の内容から作業の成否を判定する。このように、作業支援システムと作業者とが例えば音声や画面により対話を行うことにより、作業者の作業を支援するものである。簡素な構成により低コストで作業支援システムを構築でき、作業者は両手が自由に使えるので使い勝手もよく、作業者の発話や画面操作など作業者からの情報に基づいて作業の成否を判定するので、効率的に作業ミスを防止することができる。 With this configuration, at the start of work, the work instruction unit and the information output device convey work instruction information to the worker by voice or screen display, and at the end of the work, the information acquisition unit receives information from the worker by voice or screen operation. etc. At this time, the information detection unit detects response information in response to the instruction information, and the determination unit determines whether the work is successful or not based on the content of the response information. In this way, the work support system and the worker interact with each other through voice or screen, for example, to support the work of the worker. The simple configuration makes it possible to build a work support system at low cost, and it is easy to use because the worker can use both hands freely. , can effectively prevent work mistakes.
１、１Ａ 作業支援システム
２ 熟練者（第１作業者）
３ 作業者（第２作業者）
４ ネットワーク
１０ 熟練者端末（第１端末）
１１ 映像取得装置（第１映像取得装置）
１２、２２ 音声取得装置
２０ 作業者端末（第２端末）
２１ 映像取得装置（第２映像取得装置）
２３ 支援情報出力装置
３０ 作業情報生成サーバ（サーバ）
３０Ａ 作業支援サーバ
３１ データベース
５１ 動画ファイル
５２ 音声ファイル
６０ 要素作業情報
６１ 要素作業１の作業記録
６２ 要素作業２の作業記録
６３ 要素作業３の作業記録
７０ 作業チェック情報
１００ 制御装置（判定装置）
１０１ 対話部
１０２ 作業指示部
１０３ 注意情報出力部
１０４ 情報検出部
１０５ 発話検出部
１０６ 画面操作検出部
１０７ 問い掛け確認部
１０８ 情報入出力部
１０９ 画像・映像情報取得部
１１０ センサ情報取得部
１１１ 支援情報出力部
１１２ 判定部
１１３ 判定切替え部
１１４ 第１判定部
１１５ 第２判定部
１１６ 第３判定部
１１７ 書類作成部
１１８ データ取得部
１１９ 作業書類生成部
１２０ 情報取得部
１２１ 画面操作取得装置
１２２ 画像取得装置
１２３ センサ装置
１３０ 作業チェック情報記憶部
１３１ 画像・映像記憶部
１３２ 作業書類記憶部
１５０ 作業者端末の表示器の画面
１５１ 作業誘導画面
１５２ 作業指示エリア
１５３ 模範作業エリア
１５４ 注意喚起エリア
１５５ 完了ソフトキー
１５６ 再スタートソフトキー
１５７ 作業詳細ソフトキー
１５８ 作業ナビソフトキー
１５９ 問合せソフトキー
１６０ 問い掛け確認エリア
１６１ 応答ソフトキー
１６３ 写真撮影ソフトキー
１６４ 再要求エリア
１６５ 写真再撮影ソフトキー
１６６ 指摘エリア
１６７ 応答ソフトキー
１６８ 作業報告書画面
１６９ 作業分析書画面
３１４ 音声データ処理部（言語変換装置）
３２３ 熟練者作業行動情報記録データベース
３２４ 現地作業者作業情報記録データベース
３３８ 作業記録分析部（判定装置、注意喚起制御装置）
３４０ 作業チェック情報生成部（作業チェック情報生成装置）
３４１ 作業報告書作成部（作業報告書作成装置）
1, 1A
3 Worker (second worker)
4
11 video acquisition device (first video acquisition device)
12, 22
21 video acquisition device (second video acquisition device)
23 support
30A
101 dialogue unit 102
323 Skilled worker work behavior
340 work check information generation unit (work check information generation device)
341 Work report creation unit (work report creation device)
Claims (4)
第１作業者が行う作業の映像を取得する第１映像取得装置と、
前記作業中の前記第１作業者の音声を取得する音声取得装置と、
前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成するものであって、前記作業チェック情報が作業の特定段階における注意項目と作業開始時から前記特定段階までの経過時間とを含む、作業チェック情報生成装置と、
第２作業者が行う作業の映像を取得する第２映像取得装置と、
前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより、前記第２作業者の作業の成否を判定する判定装置と、
前記判定装置による判定結果を作業支援情報として出力する支援情報出力装置と、
前記作業チェック情報および前記第２作業者の作業の経時情報に基づき、前記第２作業者の作業開始時からの経過時間が前記特定段階における注意項目と関連付けられた経過時間より所定時間前となった時点において前記支援情報出力装置に更なる作業支援情報として前記特定段階の作業についての注意喚起のための注意情報を出力させる注意喚起制御装置と、
を備える作業支援システム。 A work support system,
a first image acquisition device for acquiring an image of the work performed by the first worker;
a voice acquisition device that acquires the voice of the first worker during the work;
Based on the video of the work acquired by the first video acquisition device and the information of the audio acquired by the audio acquisition device, work check information is generated as a reference for work check, wherein the work check a work check information generating device whose information includes attention items in a specific stage of work and the elapsed time from the start of work to the specific stage ;
a second image acquisition device that acquires an image of the work performed by the second worker;
a judgment device for judging success or failure of the work of the second worker by comparing an image of the work of the first worker and an image of the work of the second worker based on the work check information;
a support information output device that outputs a result of determination by the determination device as work support information;
Based on the work check information and the time-lapse information of the work of the second worker, the elapsed time from the start of the work of the second worker is a predetermined time before the elapsed time associated with the attention item in the specific stage. an attention alerting control device that causes the support information output device to output attention information for alerting about the work in the specific stage as further work support information at the time point ;
work support system.
第１作業者が行う作業の映像を取得する第１映像取得ステップと、
前記作業中の前記第１作業者の音声を取得する音声取得ステップと、
前記第１映像取得ステップにより取得された作業の映像と、前記音声取得ステップにより取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成するものであって、前記作業チェック情報が作業の特定段階における注意項目と作業開始時から前記特定段階までの経過時間とを含む、作業チェック情報生成ステップと、
第２作業者が行う作業の映像を取得する第２映像取得ステップと、
前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより、前記第２作業者の作業の成否を判定する判定ステップと、
前記判定ステップによる判定結果を作業支援情報として出力する支援情報出力ステップと、
前記作業チェック情報および前記第２作業者の作業の経時情報に基づき、前記第２作業者の作業開始時からの経過時間が前記特定段階における注意項目と関連付けられた経過時間より所定時間前となった時点において前記支援情報出力ステップにより更なる作業支援情報として前記特定段階の作業についての注意喚起のための注意情報を出力させる注意喚起制御ステップと、
を備える作業支援方法。 A computer-implemented work support method comprising:
a first video acquisition step of acquiring a video of the work performed by the first worker;
a voice acquisition step of acquiring the voice of the first worker during the work;
Based on the video of the work acquired by the first video acquisition step and the information of the audio acquired by the audio acquisition step, work check information is generated as a reference for the work check, wherein the work check A work check information generation step in which the information includes attention items in a specific stage of work and the elapsed time from the start of work to the specific stage ;
a second video acquisition step of acquiring a video of the work performed by the second worker;
a determination step of determining success or failure of the work of the second worker by comparing a video of the work of the first worker and a video of the work of the second worker based on the work check information;
a support information output step of outputting the determination result of the determination step as work support information;
Based on the work check information and the time-lapse information of the work of the second worker, the elapsed time from the start of the work of the second worker is a predetermined time before the elapsed time associated with the attention item in the specific stage. a warning control step for outputting warning information for calling attention to the work in the specific stage as further work support information by the support information output step at the time point ;
A work support method comprising:
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019094746 | 2019-05-20 | ||
| JP2019094746 | 2019-05-20 | ||
| PCT/JP2019/041384 WO2020235120A1 (en) | 2019-05-20 | 2019-10-21 | Work assistance system and work assistance method |
| JP2020547232A JP7077415B2 (en) | 2019-05-20 | 2019-10-21 | Work support system and work support method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020547232A Division JP7077415B2 (en) | 2019-05-20 | 2019-10-21 | Work support system and work support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022103336A JP2022103336A (en) | 2022-07-07 |
| JP7265667B2 true JP7265667B2 (en) | 2023-04-26 |
Family
ID=73458475
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020547232A Active JP7077415B2 (en) | 2019-05-20 | 2019-10-21 | Work support system and work support method |
| JP2022081394A Active JP7265667B2 (en) | 2019-05-20 | 2022-05-18 | Work support system and work support method |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020547232A Active JP7077415B2 (en) | 2019-05-20 | 2019-10-21 | Work support system and work support method |
Country Status (3)
| Country | Link |
|---|---|
| JP (2) | JP7077415B2 (en) |
| CN (1) | CN112470180A (en) |
| WO (1) | WO2020235120A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023019009A (en) * | 2021-07-28 | 2023-02-09 | 川崎重工業株式会社 | Work state analysis system and work state analysis method |
| JP7406038B1 (en) * | 2023-09-19 | 2023-12-26 | 株式会社日立パワーソリューションズ | Work support system and work support method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003167613A (en) | 2001-11-30 | 2003-06-13 | Sharp Corp | Operation management system and method and recording medium with its program for realizing the same method stored |
| JP2014021823A (en) | 2012-07-20 | 2014-02-03 | Mitsubishi Heavy Ind Ltd | Design support device, method and program |
| JP2014241016A (en) | 2013-06-11 | 2014-12-25 | 株式会社東芝 | Index creation device, index creation system, index creation method and index creation program |
| JP2019004923A (en) | 2017-06-20 | 2019-01-17 | キヤノンメディカルシステムズ株式会社 | Radiotherapy system and treatment time management device |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2738308B2 (en) * | 1994-10-19 | 1998-04-08 | 日本電気株式会社 | Voice work instruction device |
| JPH1140469A (en) * | 1997-07-16 | 1999-02-12 | Nikon Corp | Lithography system and method of control work thereof |
| JP2007094841A (en) * | 2005-09-29 | 2007-04-12 | Nec Fielding Ltd | Cellular telephone with function for reporting work acceptance/work completion |
| JP2010287145A (en) * | 2009-06-15 | 2010-12-24 | Nec Corp | Work recording support system, and work recording support method and program |
| JP5696545B2 (en) * | 2011-03-18 | 2015-04-08 | 富士通株式会社 | Work support device and work support program |
| JP6391540B2 (en) * | 2015-08-25 | 2018-09-19 | 株式会社日立ビルシステム | Elevator inspection support system |
| CN108604393B (en) * | 2016-03-04 | 2022-12-30 | 日铁系统集成株式会社 | Information processing system, information processing device, information processing method, and computer-readable storage medium |
| JP2018045059A (en) * | 2016-09-13 | 2018-03-22 | 株式会社ジェイテクト | Education support device |
| JP6466988B2 (en) * | 2017-03-31 | 2019-02-06 | 三菱重工業株式会社 | Virtual witness method and virtual witness system |
| JP2019036132A (en) * | 2017-08-16 | 2019-03-07 | オリンパス株式会社 | Work assistance system, wearable device, imaging apparatus, work assistance method |
| JP2019079144A (en) * | 2017-10-20 | 2019-05-23 | オリンパス株式会社 | Work support system, imaging device, wearable device, and work support method |
-
2019
- 2019-10-21 WO PCT/JP2019/041384 patent/WO2020235120A1/en active Application Filing
- 2019-10-21 JP JP2020547232A patent/JP7077415B2/en active Active
- 2019-10-21 CN CN201980045825.6A patent/CN112470180A/en active Pending
-
2022
- 2022-05-18 JP JP2022081394A patent/JP7265667B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003167613A (en) | 2001-11-30 | 2003-06-13 | Sharp Corp | Operation management system and method and recording medium with its program for realizing the same method stored |
| JP2014021823A (en) | 2012-07-20 | 2014-02-03 | Mitsubishi Heavy Ind Ltd | Design support device, method and program |
| JP2014241016A (en) | 2013-06-11 | 2014-12-25 | 株式会社東芝 | Index creation device, index creation system, index creation method and index creation program |
| JP2019004923A (en) | 2017-06-20 | 2019-01-17 | キヤノンメディカルシステムズ株式会社 | Radiotherapy system and treatment time management device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020235120A1 (en) | 2020-11-26 |
| JP7077415B2 (en) | 2022-05-30 |
| JP2022103336A (en) | 2022-07-07 |
| JPWO2020235120A1 (en) | 2021-06-10 |
| CN112470180A (en) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7265667B2 (en) | Work support system and work support method | |
| US11037573B2 (en) | Management and execution of equipment maintenance | |
| US10769536B2 (en) | Work support system and work support program | |
| US11586852B2 (en) | System and method to modify training content presented by a training system based on feedback data | |
| JP2008003781A (en) | Operation monitoring system | |
| KR20190015177A (en) | Information input method, information input apparatus and information input system | |
| US20220276701A1 (en) | Remote work support system | |
| KR20200030816A (en) | Smart glass device and work instruction method using the same | |
| US20230092405A1 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US20210004764A1 (en) | Work support system, work support server, work situation determination apparatus, device for worker, and work object equipment | |
| JP2017156978A (en) | Work operation recognition system | |
| US10133900B2 (en) | Controlling the output of contextual information using a computing device | |
| US11586946B2 (en) | System and method to generate training content based on audio and image feedback data | |
| KR102291740B1 (en) | Image processing system | |
| US20210064646A1 (en) | System and method to index training content of a training system | |
| JP2018165854A (en) | Failure component replacement support method | |
| US11651528B2 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US11688107B2 (en) | Systems and methods for modifying context-based data provided for an industrial automation system | |
| US20230089251A1 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US11455750B2 (en) | Operator characteristic-based visual overlays | |
| CN111081090B (en) | Information output method and learning device in point-to-read scene | |
| US11829126B2 (en) | Systems and methods for providing context-based data for an industrial automation system based on a virtual coordinate system | |
| JP2021056922A (en) | Human movement support system and method thereof | |
| JP2007156838A (en) | Assembling operation confirmation system and assembling operation confirmation method | |
| US20230078915A1 (en) | Work sequence management device, work sequence management method, and work sequence management program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221007 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230414 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7265667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |