WO2021100388A1 - 作業指示システムおよび作業指示方法 - Google Patents

作業指示システムおよび作業指示方法 Download PDF

Info

Publication number
WO2021100388A1
WO2021100388A1 PCT/JP2020/039332 JP2020039332W WO2021100388A1 WO 2021100388 A1 WO2021100388 A1 WO 2021100388A1 JP 2020039332 W JP2020039332 W JP 2020039332W WO 2021100388 A1 WO2021100388 A1 WO 2021100388A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
worker
element work
completion
instruction system
Prior art date
Application number
PCT/JP2020/039332
Other languages
English (en)
French (fr)
Inventor
慎也 藤本
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP20890305.4A priority Critical patent/EP4064170A4/en
Priority to US17/770,291 priority patent/US20220391810A1/en
Priority to KR1020227010935A priority patent/KR20220054666A/ko
Priority to CN202080070073.1A priority patent/CN114503040A/zh
Publication of WO2021100388A1 publication Critical patent/WO2021100388A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる作業指示システムを実現する。作業指示システム（１）は、対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影装置（１０）と、要素作業毎に要素作業の完了を判定する完了判定部（２４）および作業者が次に行うべき要素作業を特定する作業特定部（２５）を含む情報処理装置（２０）と、作業者が次に行うべき要素作業を表示する表示装置（７０）と、を備える。

Description

作業指示システムおよび作業指示方法
　本発明は作業指示システムおよび作業指示方法に関する。
　工場等の作業者に対して、作業内容を指示する作業指示システムが知られている。例えば、特許文献１には、作業内容指示画像を載置手段に投影する投影装置を備える作業指示システムが開示されている。
日本国特許第６１９８９９０号公報
　しかしながら、上述のような従来技術では、複数の要素作業（例えばケーブルを差し込む要素作業およびねじを締める要素作業）が同時に表示されるため、作業者は各要素作業を行う順序を把握することが難しい。したがって、作業者が各要素作業に習熟するまでの間、作業速度が低下するという問題がある。また、未習熟の作業者が望ましい順序とは異なる順序で各要素作業が行った場合、完成品の品質に不具合が生じる虞がある。
　本発明の一態様は、未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる作業指示システムを実現することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る作業指示システムは、対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影装置と、前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定部および前記完了判定部の前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定部を含む情報処理装置と、前記作業者が次に行うべき前記要素作業を表示する表示装置と、を備える。
　上記の課題を解決するために、本発明の一態様に係る作業指示方法は、対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影ステップと、前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定ステップと、前記完了判定ステップの前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定ステップと、前記作業者が次に行うべき前記要素作業を表示する表示ステップと、を含む方法である。
　本発明の一態様によれば、未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる作業指示システムを提供することができる。
本発明の実施形態１に係る作業指示システムの構成の一例を表すブロック図である。 図１に係る作業指示システムにおける工程と要素作業との関係の一例を模式的に示す図である。 図１に係る作業指示システムの作業指示方法を示すフローチャートである。 図１に係る作業指示システムにおいて、表示装置として眼鏡型ＨＭＤを使用した場合に、作業者が表示装置を通して見る視野の一例を示す図である。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。
　〔実施形態１〕
　§１　適用例
　＜作業指示システム＞
　図１は、本発明の実施形態１に係る作業指示システム１の構成の一例を表すブロック図である。作業指示システム１は、対象物に対して複数の要素作業を行う作業者に作業内容を指示する。
　図２は、図１に係る作業指示システム１における工程と要素作業との関係の一例を模式的に示す図である。図２に示すように、対象物に関する製造の工程全体は、工程Ａ１～Ａ４を含む。各工程は、複数の要素作業を含む。例えば工程Ａ３のネジ締め工程は、より詳細には、要素作業Ｂ１～Ｂ４を含む。要素作業Ｂ２では、作業者がドライバでネジ締めを行う。
　＜表示装置を通して見る視野＞
　図４は、図１に係る作業指示システム１において、表示装置７０として眼鏡型の頭部装着ディスプレイ（Head Mounted Display；以下、ＨＭＤとも称す）を使用した場合に、作業者が表示装置７０を通して見る視野Ｅ１００の一例を示す図である。視野Ｅ１００では、作業者が表示装置７０を装着していない場合に見る視野に、表示装置７０の表示画像が重なっている。
　図４の例では、表示装置７０は、作業者Ｅ１が次に行うべき要素作業Ｂ２（図２に示す）を表示している。要素作業Ｂ２では、作業者Ｅ１が、対象物Ｅ２のネジ穴Ｅ２１に、ドライバ（道具）Ｅ４でネジ（取り付ける部材）Ｅ３を締める。表示装置７０は、要素作業Ｂ２について、工程説明Ｄ５、ネジ説明文Ｄ７１、ネジ位置Ｄ７２、ネジ締め説明文Ｄ８１およびネジ締め位置Ｄ８２を表示する。
　上記の構成によると、情報処理装置２０が要素作業毎に要素作業の完了を判定し、表示装置が次に行うべき要素作業を表示するので、未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる。
　§２　構成例
　＜作業指示システム＞
　図１は、本発明の実施形態１に係る作業指示システム１の構成の一例を表すブロック図である。作業指示システム１は、対象物に対して複数の要素作業を行う作業者に作業内容を指示する。
　図２は、図１に係る作業指示システム１における工程と要素作業との関係の一例を模式的に示す図である。図２に示すように、対象物に関する製造の工程全体は、工程Ａ１～Ａ４を含む。工程Ａ１は、基板洗浄工程である。工程Ａ２は、グリス塗布工程である。工程Ａ３は、ネジ締め工程である。工程Ａ４は、梱包工程である。
　各工程は、複数の要素作業を含む。例えば工程Ａ３のネジ締め工程は、より詳細には、要素作業Ｂ１～Ｂ４を含む。要素作業Ｂ１では、作業者が対象物を治具に設置する。要素作業Ｂ２では、作業者がドライバでネジ締めを行う。要素作業Ｂ３では、作業者が対象物を治具から取り外す。要素作業Ｂ４では、作業者が対象物の外観検査を行う。
　各要素作業は、作業者による複数の動作を含む。例えば要素作業Ｂ２は、より詳細には、動作Ｃ１～Ｃ４を含む。動作Ｃ１では、作業者がネジを手に取る。動作Ｃ２では、作業者がドライバを手に取る。動作Ｃ３では、作業者がドライバを回し、ネジを締める。動作Ｃ４では、作業者がドライバを所定の位置に戻す。
　本明細書において、要素作業とは、目的を同じくする一連の動作の集まりとして定義することができる。例えば、図２の例では、「ドライバでネジ締めを行う」という目的のために、作業者によって動作Ｃ１～Ｃ４が行われる。したがって、動作Ｃ１～Ｃ４が１つの要素作業Ｂ２を構成する。これに対し、要素作業Ｂ１およびＢ３はそれぞれ、「対象物を治具に設置する」および「対象物を治具から取り外す」という別の目的を有するので、要素作業Ｂ２とは異なる要素作業である。
　あるいは、要素作業とは、対象物に対して使用する道具を同じくする一連の動作の集まりとして定義してもよい。例えば、図２の例では、動作Ｃ１～Ｃ４は、対象物に対して使用する道具がドライバである。したがって、動作Ｃ１～Ｃ４が１つの要素作業Ｂ２を構成する。これに対し、要素作業Ｂ１およびＢ３では、対象物に対して使用する道具は治具であるので、要素作業Ｂ１およびＢ３は、要素作業Ｂ２とは異なる要素作業である。なお、要素作業Ｂ１およびＢ３は連続した一連の動作ではないので、それぞれ独立した要素作業である。
　あるいは、要素作業とは、対象物に対して取り付けるまたは取り外す部材を同じくする一連の動作の集まりとして定義してもよい。例えば、図２の例において、動作Ｃ１～Ｃ４では、対象物に対して「ネジ」が取り付けられる。したがって、動作Ｃ１～Ｃ４が１つの要素作業Ｂ２を構成する。これに対し、要素作業Ｂ１では、対象物に対して「治具」が取り付けられ、要素作業Ｂ３では、対象物から「治具」が取り外される。したがって、要素作業Ｂ１およびＢ３は、要素作業Ｂ２とは異なる要素作業である。
　図１に示すように、作業指示システム１は、外部の入力装置８０および製造実行システム（Manufacturing Execution System；以下、ＭＥＳとも称す）９０と接続されており、撮影装置１０と、情報処理装置２０と、表示装置７０と、を備える。
　撮影装置１０は、作業者を含む撮影画像を撮影する。撮影装置１０が撮影する撮影画像は、静止画像であってもよく、または動画であってもよい。
　情報処理装置２０は、製品情報取得部３１と、作業リスト取得部３２と、撮影画像取得部２１と、動作認識部２２と、物体検知部２３と、完了判定部２４と、作業特定部２５と、作業時間計測部４１と、異常作業判定部４２と、異常通知部４３と、を備える。
　製品情報取得部３１は、外部の入力装置８０から、対象物の製品情報を取得する。入力装置８０は、例えば作業指示書のバーコードを読み取るバーコードリーダであってもよい。あるいは、製品情報取得部３１は、外部のＭＥＳ９０から、対象物の製品情報を取得してもよい。
　作業リスト取得部３２は、製品情報取得部３１が取得した製品情報に基づいて、対象物に対して行われる工程の工程リストおよび各工程に含まれる要素作業の作業リストをＭＥＳ９０から取得する。工程リストは、例えば図２に示す工程Ａ１、Ａ２、Ａ３およびＡ４を含む。作業リストは、各工程の要素作業のリストを含む。例えば工程Ａ３についての作業リストは、要素作業Ｂ１、Ｂ２、Ｂ３およびＢ４を含む。
　撮影画像取得部２１は、撮影装置１０が撮影した撮影画像を取得する。動作認識部２２は、撮影画像取得部２１が取得した撮影画像における作業者の動作を認識する。例えば、動作認識部２２は、作業者の手の位置に基づいて、作業者の動作を認識してもよい。物体検知部２３は、撮影画像取得部２１が取得した撮影画像における対象物の位置を検知する。
　完了判定部２４は、動作認識部２２が認識した作業者の動作および物体検知部２３が検知した対象物の位置に基づいて、要素作業毎に要素作業の完了を判定する。言い換えると、完了判定部２４は、撮影装置１０が撮影した撮影画像に基づいて、要素作業毎に要素作業の完了を判定する。完了判定部２４は、要素作業毎に、該要素作業が完了したと判定する条件を予め記憶している。
　完了判定部２４は、撮影画像における作業者の手の位置および対象物の位置に基づいて、要素作業の完了を判定してもよい。この場合、作業者の手の動きに個人差があっても、要素作業の完了を適切に判定することができる。また、完了判定部２４は、作業者が要素作業を中断した場合でも、対象物の位置に基づいて、要素作業が完了したか否かを適切に判定することができる。完了判定部２４は、作業者が行うべき要素作業が完了したと判定したら、該要素作業が完了した旨を作業特定部２５に通知する。
　作業特定部２５は、作業リスト取得部３２が取得した工程リストおよび作業リストならびに完了判定部２４の判定に基づいて、複数の要素作業のうち作業者が次に行うべき要素作業を特定する。作業特定部２５は、作業者が次に行うべき要素作業を、完了判定部２４に通知する。
　作業時間計測部４１は、完了判定部２４の判定に基づいて、作業者が各要素作業を行うために掛かった作業時間を計測する。また、作業時間計測部４１は、計測した作業時間を例えばＭＥＳ９０に記録してもよい。ＭＥＳ９０は、作業時間計測部４１により記録された作業時間のデータを蓄積し、平均値を算出することにより、各要素作業の標準作業時間を算出してもよい。
　異常作業判定部４２は、作業時間計測部４１により計測された作業時間を、例えばＭＥＳ９０により算出された標準作業時間と比較して、作業者が行った要素作業が異常であるか否かを判定する。例えば、作業時間計測部４１により計測された作業時間が、ＭＥＳ９０により算出された標準作業時間よりも大幅に長い場合、作業者が行った要素作業が異常であると判定してもよい。
　異常通知部４３は、異常作業判定部４２の判定に基づいて、異常を通知する。異常通知部４３は、例えば表示装置７０または管理者のコンピュータに、作業者が行った要素作業が異常であることを通知してもよい。
　情報処理装置２０の各部のうち、例えば、撮影画像取得部２１、動作認識部２２、物体検知部２３および完了判定部２４は、パーソナルコンピュータ（Personal Computer；以下、ＰＣとも称す）が備えてもよい。また、作業特定部２５、製品情報取得部３１、作業リスト取得部３２、作業時間計測部４１、異常作業判定部４２および異常通知部４３は、プログラマブルコントローラ（Programmable Logic Controller；以下、ＰＬＣとも称す）が備えてもよい。あるいは、動作認識部２２および物体検知部２３は、撮影装置１０が備えてもよい。
　表示装置７０は、作業特定部２５が特定した作業者が次に（今から）行うべき要素作業を表示する。表示装置７０は、複数の要素作業を同時に表示するとともに、作業者が次に行うべき要素作業を強調表示する。表示装置７０としては、一般的な各種ディスプレイを使用することができる。また、表示装置７０として、例えば作業者が装着する頭部装着ディスプレイ（Head Mounted Display；ＨＭＤ）を使用してもよく、特に眼鏡型のＨＭＤを使用してもよい。
　＜作業指示方法＞
　図３は、図１に係る作業指示システム１の作業指示方法を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。図３に示す一連の処理は、例えば、作業者が入力装置８０（図１に示す）に対象物の情報を入力することに伴って開始される。
　作業者は、複数の種類（複数の製品）の対象物の組み立てを行う。作業位置に搬送されて来た対象物の種類に応じて組み立て方法が異なる。そのため、例えば、工程Ａ３を担当する作業者は、対象物が作業位置に搬送されて来ると、入力装置８０に対象物の製品情報を入力する。
　ステップＳ２で、製品情報取得部３１は、入力装置８０から対象物の製品情報を取得する。ステップＳ４で、作業リスト取得部３２は、Ｓ２で取得した製品情報に基づいて、対象物に対応する工程リストおよび作業リストをＭＥＳ９０から取得する。
　ステップＳ６で、作業特定部２５は、Ｓ４で取得した工程リストに基づいて、作業者が最初に行うべき工程を特定する。ステップＳ８で、作業特定部２５は、Ｓ４で取得した工程リストおよび要素作業リストに基づいて、作業者が最初に行うべき要素作業を特定する。
　ステップＳ１０で、作業特定部２５は、Ｓ８で特定した最初に行うべき要素作業を表示装置７０に表示させる。ステップＳ１２（撮影ステップ）で、撮影画像取得部２１は、撮影装置１０に作業者を含む撮影画像を撮影させ、撮影装置１０が撮影した撮影画像を取得する。そして、動作認識部２２は、撮影画像取得部２１が取得した撮影画像における作業者の動作を認識する。また、物体検知部２３は、撮影画像取得部２１が取得した撮影画像における対象物の位置を検知する。
　ステップＳ１４（完了判定ステップ）で、完了判定部２４は、動作認識部２２が認識した作業者の動作および物体検知部２３が検知した対象物の位置に基づいて、現在の要素作業が完了したか否かを判定する。言い換えると、完了判定部２４は、撮影装置１０が撮影した撮影画像に基づいて、要素作業毎に要素作業の完了を判定する。
　例として、ドライバでネジ締めを行う要素作業Ｂ２（図２に示す）について検討する。完了判定部２４は、作業者の動作（例えば手の位置）および対象物の位置が所定の条件を満たしたとき、要素作業Ｂ２が完了したと判定する。例えば、完了判定部２４は、要素作業Ｂ２に含まれる複数の動作Ｃ１～Ｃ４が行われたか（完了したか）を判定し、複数の動作Ｃ１～Ｃ４が行われたら、要素作業Ｂ２が完了したと判定する。
　例えば、完了判定部２４は、作業者の手の位置がネジのストッカの位置から所定範囲内にあるとき、「ネジを取る」という動作Ｃ１が完了したと判定する。動作Ｃ１の後、完了判定部２４は、作業者の手の位置がドライバの位置から所定範囲内にあるとき、「ドライバを取る」という動作Ｃ２が完了したと判定する。動作Ｃ２の後、完了判定部２４は、作業者の手の位置が対象物の位置から所定範囲内にあるとき、「ドライバで締める」という動作Ｃ３が完了したと判定する。動作Ｃ３の後、完了判定部２４は、作業者の手の位置がドライバ置き場の位置から所定範囲内にあるとき、「ドライバを戻す」という動作Ｃ４が完了したと判定する。
　また、例えば、完了判定部２４は、例えば作業者の手の位置がネジ穴の近傍にあることを動作認識部２２が認識した後、ネジが対象物のネジ穴に挿入されていることを物体検知部２３が検知した場合に、現在の要素作業Ｂ２が完了したと判定してもよい。
　完了判定部２４が、現在の要素作業が完了していないと判定した場合（Ｓ１４でＮＯ）、Ｓ１２に戻る。完了判定部２４が、現在の要素作業が完了したと判定した場合（Ｓ１４でＹＥＳ）、ステップＳ１６に進み、作業特定部２５は、現在の工程が完了したか否かを判定する。例えば工程Ａ３（図２に示す）について検討すると、作業特定部２５は、完了判定部２４が要素作業Ｂ１、Ｂ２、Ｂ３およびＢ４の全てが完了したと判定した場合に、現在の工程Ａ３が完了したと判定してもよい。
　作業特定部２５は、現在の工程が完了していないと判定した場合（Ｓ１６でＮＯ）、ステップＳ２０（作業特定ステップ）に進み、作業特定部２５は、作業者が次に行うべき要素作業を特定する。そして、ステップＳ２２（表示ステップ）で、作業特定部２５は、Ｓ２０で特定した作業者が次に行うべき要素作業を表示装置７０に表示させる。Ｓ２２の後、Ｓ１２に戻る。
　作業特定部２５が、現在の工程が完了したと判定した場合（Ｓ１６でＹＥＳ）、ステップＳ１８に進み、作業特定部２５は、作業リスト取得部３２が取得した工程リストおよび作業リストに基づいて、全ての工程が完了したか否かを判定する。例えば図２に示す工程全体について検討すると、作業特定部２５は、工程Ａ１、Ａ２、Ａ３およびＡ４が完了した場合に、全ての工程が完了したと判定してもよい。
　作業特定部２５が、全ての工程が完了していないと判定した場合（Ｓ１８でＮＯ）、ステップＳ２４に進み、作業特定部２５は、作業者が次に行うべき工程を特定する。Ｓ２４の後、Ｓ２０に進む。そして、作業特定部２５が、全ての工程が完了したと判定した場合（Ｓ１８でＹＥＳ）、作業指示システム１の作業指示が終了する。
　＜表示装置を通して見る視野＞
　図４は、図１に係る作業指示システム１において、表示装置７０として眼鏡型ＨＭＤを使用した場合に、作業者が表示装置７０を通して見る視野Ｅ１００の一例を示す図である。視野Ｅ１００では、作業者が表示装置７０を装着していない場合に見る視野に、表示装置７０の表示画像が重なっている。
　図４の例では、表示装置７０は、作業者Ｅ１が次に行うべき要素作業Ｂ２（図２に示す）を表示している。要素作業Ｂ２では、作業者Ｅ１が、対象物Ｅ２のネジ穴Ｅ２１に、ドライバ（道具）Ｅ４でネジ（取り付ける部材）Ｅ３を締める。表示装置７０は、要素作業Ｂ２について、工程説明Ｄ５、ネジ説明文Ｄ７１、ネジ位置Ｄ７２、ネジ締め説明文Ｄ８１およびネジ締め位置Ｄ８２を表示する。
　工程説明Ｄ５は、工程Ａ３の要素作業Ｂ１～Ｂ４（図２に示す）の説明の表示である。要素作業Ｂ１～Ｂ４の説明のうち、作業者Ｅ１が次に行うべき要素作業Ｂ２の説明の「２．ドライバでネジを２か所締める」のみが濃い色で強調表示されており、その他の要素作業Ｂ１、Ｂ３およびＢ４の説明は薄い色で表示されている。言い換えると、表示装置７０は、工程説明Ｄ５において、複数の要素作業Ｂ１～Ｂ４を同時に表示するとともに、作業者が次に行うべき要素作業Ｂ２を強調表示している。
　ネジ説明文Ｄ７１は、ネジＥ３についての動作Ｃ１（図２に示す）の説明の表示であり、ネジＥ３の近傍に「ネジを取る」と表示されている。ネジ位置Ｄ７２は、ネジＥ３が入った箱の位置を示す表示であり、ネジＥ３が入った箱を囲む略長方形の図形として表示されている。
　ネジ締め説明文Ｄ８１は、ネジ締めについての動作Ｃ３（図２に示す）の説明の表示であり、ネジ穴Ｅ２１の近傍に「締める位置」と表示されている。ネジ締め位置Ｄ８２は、ネジ穴Ｅ２１の位置を示す表示であり、ネジ穴Ｅ２１を囲む円形の図形として表示されている。
　＜作用効果＞
　上記の構成によると、情報処理装置２０が要素作業毎に要素作業の完了を判定し、表示装置が次に行うべき要素作業を表示するので、未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる。
　また、表示装置７０は、複数の要素作業を同時に表示するとともに、作業者が次に行うべき要素作業を強調表示するので、作業者が複数の要素作業の流れを容易に把握することができる。したがって、作業者が複数の要素作業をより適切かつ迅速に行うことができる。
　また、完了判定部２４は、作業者の手および対象物の位置に基づいて、要素作業の完了を判定するので、作業者の手の動きに個人差があっても、要素作業の完了を適切に判定することができる。また、完了判定部２４は、作業者が要素作業を中断した場合でも、対象物の位置に基づいて、要素作業が完了したか否かを適切に判定することができる。
　＜変形例＞
　本実施形態において、図４の工程説明Ｄ５に示すように、表示装置７０は、複数の要素作業を同時に表示するとともに、作業者が次に行うべき要素作業を強調表示している。しかし、本発明はこれに限定されず、表示装置７０は、複数の要素作業のうちの１つのみを同時に表示してもよい。この場合、表示装置７０は、各要素作業を１つずつ表示するので、表示装置７０の画面の大きさに限りがある場合でも、作業者が次に行うべき要素作業を容易に把握することができる。したがって、作業者が複数の要素作業をより適切かつ迅速に行うことができる。
　また、本実施形態において、図３に示すように、撮影ステップＳ１２は、作業特定部２５が最初に行うべき要素作業を表示装置７０に表示させた後（Ｓ１０の後）、完了判定ステップＳ１４の前に行われる。しかし、本発明はこれに限定されず、撮影ステップＳ１２は、製品情報取得部３１が対象物の製品情報を取得した後（Ｓ２の後）、完了判定ステップＳ１４の前のいずれのタイミングで行われてもよい。
　また、撮影ステップＳ１２は、例えば製品情報取得部３１が対象物の製品情報を取得した後（Ｓ２の後）、作業リスト取得部３２が工程リストおよび作業リストを取得する前に、動画として撮影を開始してもよい。
　〔ソフトウェアによる実現例〕
　情報処理装置２０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　〔まとめ〕
　本発明の一態様に係る作業指示システムは、対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影装置と、前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定部および前記完了判定部の前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定部を含む情報処理装置と、前記作業者が次に行うべき前記要素作業を表示する表示装置と、を備える。
　上記の構成によれば、情報処理装置が要素作業毎に要素作業の完了を判定し、表示装置が次に行うべき要素作業を表示するので、未習熟の作業者であっても、複数の要素作業を適切かつ迅速に行うことができる。
　本発明の一態様に係る作業指示システムは、前記表示装置は、前記複数の要素作業を同時に表示するとともに、前記作業者が次に行うべき前記要素作業を強調表示してもよい。上記の構成によれば、作業者が複数の要素作業の流れを容易に把握することができるので、作業者が複数の要素作業をより適切かつ迅速に行うことができる。
　本発明の一態様に係る作業指示システムは、前記表示装置は、前記複数の要素作業のうちの１つのみを同時に表示してもよい。上記の構成によれば、表示装置の画面の大きさに限りがある場合でも、作業者が次に行うべき要素作業を容易に把握することができる。したがって、作業者が複数の要素作業をより適切かつ迅速に行うことができる。
　本発明の一態様に係る作業指示システムは、前記完了判定部は、前記撮影画像における前記作業者の手の位置および前記対象物の位置に基づいて、前記要素作業の完了を判定してもよい。上記の構成によれば、完了判定部は、作業者の手および対象物の位置に基づいて、要素作業の完了を判定するので、作業者の手の動きに個人差があっても、要素作業の完了を適切に判定することができる。また、完了判定部は、作業者が要素作業を中断した場合でも、対象物の位置に基づいて、要素作業が完了したか否かを適切に判定することができる。
　本発明の一態様に係る作業指示システムは、前記要素作業は、目的を同じくする一連の動作の集まりであってもよい。あるいは、本発明の一態様に係る作業指示システムは、前記要素作業は、前記対象物に対して使用する道具を同じくする一連の動作の集まりであってもよい。あるいは、本発明の一態様に係る作業指示システムは、前記要素作業は、前記対象物に対して取り付けるまたは取り外す部材を同じくする一連の動作の集まりであってもよい。
　上記の課題を解決するために、本発明の一態様に係る作業指示方法は、対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影ステップと、前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定ステップと、前記完了判定ステップの前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定ステップと、前記作業者が次に行うべき前記要素作業を表示する表示ステップと、を含む方法である。
　本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
１　作業指示システム
１０　撮影装置
２０　情報処理装置
２２　動作認識部
２３　物体検知部
２４　完了判定部
２５　作業特定部
７０　表示装置
Ｂ１、Ｂ２、Ｂ３、Ｂ４　要素作業
Ｄ５　工程説明
Ｅ１　作業者
Ｅ２　対象物
Ｅ２１　ネジ穴
Ｅ３　ネジ（取り付ける部材）
Ｅ４　ドライバ（道具）
Ｓ１２　撮影ステップ
Ｓ１４　完了判定ステップ
Ｓ２０　作業特定ステップ
Ｓ２２　表示ステップ

Claims (8)

  1. 　対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影装置と、
    　前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定部および前記完了判定部の前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定部を含む情報処理装置と、
    　前記作業者が次に行うべき前記要素作業を表示する表示装置と、
    を備える作業指示システム。
  2. 　前記表示装置は、前記複数の要素作業を同時に表示するとともに、前記作業者が次に行うべき前記要素作業を強調表示する、請求項１に記載の作業指示システム。
  3. 　前記表示装置は、前記複数の要素作業のうちの１つのみを同時に表示する、請求項１に記載の作業指示システム。
  4. 　前記完了判定部は、前記撮影画像における前記作業者の手の位置および前記対象物の位置に基づいて、前記要素作業の完了を判定する、請求項１から３のいずれか１項に記載の作業指示システム。
  5. 　前記要素作業は、目的を同じくする一連の動作の集まりである、請求項１から４のいずれか１項に記載の作業指示システム。
  6. 　前記要素作業は、前記対象物に対して使用する道具を同じくする一連の動作の集まりである、請求項１から５のいずれか１項に記載の作業指示システム。
  7. 　前記要素作業は、前記対象物に対して取り付けるまたは取り外す部材を同じくする一連の動作の集まりである、請求項１から６のいずれか１項に記載の作業指示システム。
  8. 　対象物に対して複数の要素作業を行う作業者を含む撮影画像を撮影する撮影ステップと、
    　前記撮影画像に基づいて、前記要素作業毎に前記要素作業の完了を判定する完了判定ステップと、
    　前記完了判定ステップの前記判定に基づいて、前記複数の要素作業のうち前記作業者が次に行うべき前記要素作業を特定する作業特定ステップと、
    　前記作業者が次に行うべき前記要素作業を表示する表示ステップと、
    を含む作業指示方法。
PCT/JP2020/039332 2019-11-22 2020-10-20 作業指示システムおよび作業指示方法 WO2021100388A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20890305.4A EP4064170A4 (en) 2019-11-22 2020-10-20 WORK INSTRUCTION SYSTEM AND WORK INSTRUCTION PROCEDURES
US17/770,291 US20220391810A1 (en) 2019-11-22 2020-10-20 Work instruction system and work instruction method
KR1020227010935A KR20220054666A (ko) 2019-11-22 2020-10-20 작업 지시 시스템 및 작업 지시 방법
CN202080070073.1A CN114503040A (zh) 2019-11-22 2020-10-20 作业指示系统以及作业指示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-211642 2019-11-22
JP2019211642A JP7395988B2 (ja) 2019-11-22 2019-11-22 作業指示システムおよび作業指示方法

Publications (1)

Publication Number Publication Date
WO2021100388A1 true WO2021100388A1 (ja) 2021-05-27

Family

ID=75963456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039332 WO2021100388A1 (ja) 2019-11-22 2020-10-20 作業指示システムおよび作業指示方法

Country Status (6)

Country Link
US (1) US20220391810A1 (ja)
EP (1) EP4064170A4 (ja)
JP (1) JP7395988B2 (ja)
KR (1) KR20220054666A (ja)
CN (1) CN114503040A (ja)
WO (1) WO2021100388A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022135007A (ja) * 2021-03-04 2022-09-15 株式会社Subaru 作業適正判定装置
KR20240042932A (ko) 2022-09-26 2024-04-02 주식회사 빨간화덕푸드 자동 판매기 및 그것의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096068A (ja) * 2012-11-09 2014-05-22 Hitachi Ltd 作業管理システム及び作業管理方法
JP2015114676A (ja) * 2013-12-09 2015-06-22 三菱電機株式会社 作業確認システム
JP6198990B2 (ja) 2015-04-01 2017-09-20 三菱電機株式会社 作業指示システム
JP2019086827A (ja) * 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499001B1 (en) * 2000-06-20 2002-12-24 Lsi Logic Corporation Engineering database feedback system
JP2004029932A (ja) * 2002-06-21 2004-01-29 Mitsubishi Heavy Ind Ltd 電子マニュアル表示装置および電子マニュアル表示方法
JP2006010489A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 情報装置、情報入力方法およびプログラム
JP2006099558A (ja) * 2004-09-30 2006-04-13 Seiko Epson Corp 生産ナビゲーションシステムおよびナビゲーション端末
BR112015013028A2 (pt) * 2012-12-19 2017-07-11 Hitachi Ltd terminal, sistema e método de suporte de operação
JP2016138908A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
CN106231160A (zh) * 2015-06-02 2016-12-14 株式会社理光 工作指令系统、图像处理设备和信息处理方法
US10366521B1 (en) * 2017-03-15 2019-07-30 Amazon Technologies, Inc. Augmented reality assembly assistance and monitoring
WO2019226688A1 (en) * 2018-05-22 2019-11-28 Agilent Technologies, Inc. Method and system for implementing augmented reality (ar)-based assistance within work environment
GB201817061D0 (en) * 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
JP7234787B2 (ja) * 2019-05-09 2023-03-08 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
JP7340792B2 (ja) * 2019-11-06 2023-09-08 パナソニックＩｐマネジメント株式会社 作業表示方法、及び、作業表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096068A (ja) * 2012-11-09 2014-05-22 Hitachi Ltd 作業管理システム及び作業管理方法
JP2015114676A (ja) * 2013-12-09 2015-06-22 三菱電機株式会社 作業確認システム
JP6198990B2 (ja) 2015-04-01 2017-09-20 三菱電機株式会社 作業指示システム
JP2019086827A (ja) * 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4064170A4

Also Published As

Publication number Publication date
CN114503040A (zh) 2022-05-13
EP4064170A4 (en) 2023-10-18
JP7395988B2 (ja) 2023-12-12
EP4064170A1 (en) 2022-09-28
JP2021082204A (ja) 2021-05-27
KR20220054666A (ko) 2022-05-03
US20220391810A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
WO2021100388A1 (ja) 作業指示システムおよび作業指示方法
CA3030226A1 (en) System and method for combined automatic and manual inspection
KR20180129651A (ko) 촬영 장치, 시스템, 및 방법
CN101807061B (zh) 集成电路切筋系统的视觉检测控制系统及方法
US20200333759A1 (en) Facility diagnosis method using facility diagnosis system
CN102789405A (zh) 主板自动化测试方法及系统
JP3994925B2 (ja) 表示方法および品質管理装置ならびに品質管理システム
JP2004145504A (ja) 画像処理システム
KR101964805B1 (ko) 머신 비전을 위한 가이드 제공 방법 및 장치
US20190355112A1 (en) System and method of distributed processing for machine-vision analysis
KR102507591B1 (ko) 제품 품질 관리 시스템 및 방법
CN103984967A (zh) 一种应用于商品标签检测的自动检测系统及自动检测方法
EP3477580A1 (en) Image processing apparatus, image processing system, and recording medium
JP5824550B1 (ja) データ管理装置及びデータ管理プログラム
JP2012204455A (ja) 実装不良解析システム及び工程異常モニタリングシステム
JP7136479B2 (ja) 検査装置、検査方法及び検査プログラム
WO2020250501A1 (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2003224400A (ja) 認識データ修正方法、認識データ修正システム、及び認識データ修正プログラム
JPH05338616A (ja) 電子部品のテーピング装置
JP2015092141A (ja) 印字検査装置
US11219148B2 (en) Production system and production method
WO2021079728A1 (ja) 欠陥位置判定システム、外観検査方法およびプログラム
Thomas et al. Design and Development of Industrial Vision Sensor (IVIS) for Next Generation Industrial Applications
JP2022129404A (ja) 監視装置、監視システム、監視方法および監視プログラム
KR20150017478A (ko) 전자부품의 검사방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890305

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227010935

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020890305

Country of ref document: EP

Effective date: 20220622