JP7217996B2 - 作業管理システム及び教師データの生成方法 - Google Patents
作業管理システム及び教師データの生成方法 Download PDFInfo
- Publication number
- JP7217996B2 JP7217996B2 JP2020179612A JP2020179612A JP7217996B2 JP 7217996 B2 JP7217996 B2 JP 7217996B2 JP 2020179612 A JP2020179612 A JP 2020179612A JP 2020179612 A JP2020179612 A JP 2020179612A JP 7217996 B2 JP7217996 B2 JP 7217996B2
- Authority
- JP
- Japan
- Prior art keywords
- assembly
- image
- work
- parts
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1に、本実施形態に係る作業管理システムが例示される。当該システムは、組立作業の進捗を管理するシステムであって、作業管理装置10及び撮像器40を含んで構成される。
図3には、撮像器40により撮像された、組立現場の画像が例示される。例えば撮像器40は、組立現場を上から俯瞰するようなアングルとなるように位置、角度、画角等が定められる。なお、図3の組立現場、及び図4の組立工程は、本実施形態に係る作業管理システムが適用される対象の一例であって、種々の組立現場及び組立工程に、本実施形態に係る作業管理システムが適用可能である。
図2を参照して、工程推定部33は、例えば学習済みのニューラルネットワークを含んで構成される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク(CNN)から構成される。このニューラルネットワークは、例えばSSDアルゴリズム(Single Shot MultiBox Detector)による演算処理が実行可能となっている。
図8には、組立工程1~8と並んで、これらの組立工程で使用される部品の順番が例示される。この部品の順番は、正しい組立工程に則った部品の順番を示すものであり、規定部品順と呼ばれる。
作業抜けの判定に当たり、組立現場における部品、その置かれている位置、及び作業者により部品が取られているか否かの3点が推定される必要がある。この推定が部品アクセス推定部31により実行される。
図15には、本実施形態に係る作業管理システムにおける、作業抜け判定フローが例示される。部品アクセス推定部31は、撮像器40による組立現場の撮像画像を取得する(S20)。次に部品アクセス推定部31は、SSDアルゴリズムを用いて、位置確信度及びクラス確信度に重み付けを加えた評価関数のスコアを候補抽出枠ごとに求め、スコアが最高値の候補出力枠を求める(S22)。
図16には、本実施形態に係る作業管理システムにおける、作業抜け判定フローの別例が示される。この別例では、図15と比較して、ステップS24及びステップS28の条件分岐が省略され、また、ステップS28の代わりに、実作業部品順が規定部品順と異なっていることを検出するステップS38が設けられる。
Claims (4)
- 組立作業の進捗を管理する、作業管理システムであって、
組立現場を撮像する撮像器と、
前記撮像器による撮像画像から、組立に用いられる複数種類の部品がそれぞれ収納された複数の収納場所の画像領域である部品画像を抽出するとともに、当該部品画像において作業者が部品を取ったことを示す部品アクセスの有無を推定する部品アクセス推定部と、
前記部品アクセス推定部によって前記部品アクセスがあったと推定された部品を時系列に並べた実作業部品順が、組立品の組立工程に沿った部品の使用順が規定された規定部品順とは異なったときに、組立工程における作業抜けが生じたと判定する判定部と、
を備え、
前記部品アクセス推定部は、前記部品画像の抽出及び前記部品アクセスの有無推定に当たり、入力層に画像データが入力され、出力層に前記部品画像を標的とした抽出領域を示す抽出枠、前記抽出枠の位置予測に関する位置確信度、及び前記抽出枠内の画像に対するクラスに関するクラス確信度が出力される、学習済みのSSDアルゴリズムが用いられ、
前記抽出枠の出力に当たり、前記SSDアルゴリズムでは、前記位置確信度及び前記クラス確信度に重み付けを加えた評価関数のスコアが複数の候補抽出枠ごとに求められ、前記部品アクセス推定部は、前記スコアが最高値である前記候補抽出枠を出力し、
前記SSDアルゴリズムの前記評価関数では、前記位置確信度に対する重み付けが前記クラス確信度に対する重み付けよりも低く設定される、
作業管理システム。 - 請求項1に記載の作業管理システムであって、
前記撮像器による撮像画像から、組立品の画像領域である組立品画像を抽出するとともに、組立工程別の組立品の撮像画像に基づいて、抽出された前記組立品画像に対応する組立工程を推定する工程推定部と、
を備える、作業管理システム。 - 請求項2に記載の作業管理システムであって、
前記工程推定部は、前記撮像器による撮像画像が入力される入力層と、複数段階に分かれる組立工程のいずれかのみが出力される出力層とを有するニューラルネットワークを備える、
作業管理システム。 - 請求項1に記載の作業管理システムであって、
前記SSDアルゴリズムの教師データは、前記組立現場の撮像画像であって、それぞれの前記収納場所の位置が変更された複数の画像に対して、前記部品画像の抽出枠及び当該部品画像に対する前記クラスが付与される、
作業管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179612A JP7217996B2 (ja) | 2020-10-27 | 2020-10-27 | 作業管理システム及び教師データの生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179612A JP7217996B2 (ja) | 2020-10-27 | 2020-10-27 | 作業管理システム及び教師データの生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022070512A JP2022070512A (ja) | 2022-05-13 |
JP7217996B2 true JP7217996B2 (ja) | 2023-02-06 |
Family
ID=81534796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179612A Active JP7217996B2 (ja) | 2020-10-27 | 2020-10-27 | 作業管理システム及び教師データの生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7217996B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149154A (ja) | 2018-02-27 | 2019-09-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2020034850A1 (zh) | 2018-08-16 | 2020-02-20 | 腾讯科技(深圳)有限公司 | 识别码识别方法、装置、计算机设备和存储介质 |
JP2020149101A (ja) | 2019-03-11 | 2020-09-17 | 株式会社デンソーウェーブ | 作業支援装置及び作業支援プログラム |
-
2020
- 2020-10-27 JP JP2020179612A patent/JP7217996B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149154A (ja) | 2018-02-27 | 2019-09-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2020034850A1 (zh) | 2018-08-16 | 2020-02-20 | 腾讯科技(深圳)有限公司 | 识别码识别方法、装置、计算机设备和存储介质 |
JP2020149101A (ja) | 2019-03-11 | 2020-09-17 | 株式会社デンソーウェーブ | 作業支援装置及び作業支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022070512A (ja) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997711B2 (en) | Appearance inspection device | |
JP2016157357A (ja) | 作業者品質管理方法及び作業者品質管理装置 | |
CN110458198B (zh) | 多分辨率目标识别方法及装置 | |
Santur et al. | An adaptive fault diagnosis approach using pipeline implementation for railway inspection | |
CN110895716A (zh) | 检查装置以及机器学习方法 | |
WO2021100483A1 (ja) | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム | |
US20150356780A1 (en) | Method for providing real time guidance to a user and a system thereof | |
JP5155110B2 (ja) | 監視装置 | |
CN1296862C (zh) | 图像处理装置 | |
JP7217996B2 (ja) | 作業管理システム及び教師データの生成方法 | |
US11790505B2 (en) | Information processing apparatus, information processing method, and information processing system | |
CN111797993A (zh) | 深度学习模型的评价方法、装置、电子设备及存储介质 | |
CN114846513A (zh) | 动作分析系统和动作分析程序 | |
US20220309771A1 (en) | Method, device, and computer program for an uncertainty assessment of an image classification | |
US9716837B2 (en) | Video/vision based access control method and system for parking occupancy determination, which is robust against abrupt camera field of view changes | |
JP6897100B2 (ja) | 判定装置、判定方法、および判定プログラム | |
CN115719347A (zh) | 行为识别方法、装置、电子设备及车辆 | |
US20220335254A1 (en) | Computer vision inferencing for non-destructive testing | |
JP2000331169A (ja) | 画像の動きベクトル計測方法及び装置 | |
Ojelade et al. | Construction worker posture estimation using OpenPose | |
JP2009110239A (ja) | 作業動作分析システム及び作業動作分析方法 | |
US20230274408A1 (en) | Inspection device | |
JP2022135007A (ja) | 作業適正判定装置 | |
US20230316570A1 (en) | Target detection device, target detection method, and target detection program | |
US20230237843A1 (en) | Information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |