JP6828093B2 - 操作検出装置、操作検出方法及び操作検出システム - Google Patents
操作検出装置、操作検出方法及び操作検出システム Download PDFInfo
- Publication number
- JP6828093B2 JP6828093B2 JP2019118627A JP2019118627A JP6828093B2 JP 6828093 B2 JP6828093 B2 JP 6828093B2 JP 2019118627 A JP2019118627 A JP 2019118627A JP 2019118627 A JP2019118627 A JP 2019118627A JP 6828093 B2 JP6828093 B2 JP 6828093B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- operator
- operation detection
- detection device
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 249
- 238000012549 training Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 description 64
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Manufacturing & Machinery (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
(操作検出装置100の構成)
まず、第1の実施形態に係る操作検出装置100の構成について、図1を参照しながら説明する。また、操作検出装置は各種の部品を含み、図1には、第1の実施形態の技術思想に関する部品のみが示されており、その他の部品は省略している。
以下、動作フローチャートに基づいて、本発明の第1の実施形態に係る操作検出装置100及びそれが用いる操作検出方法について説明する。
以下、本発明の第1の実施形態の操作検出装置100の実施例1について説明する。
以下、実施例1の操作検出装置100が実行する動作である操作検出方法について、図12を参照しながら説明する。また、図12に示すステップS3060、S3062、S3064は操作検出部104の動作であるため、図12に示す動作フローは、図3におけるステップS306の代わりに、ステップS3060、S3062、S3064を用いて得られるものである。
以下、第1の実施形態の操作検出装置100の実施例2について説明する。
以下、実施例2の操作検出装置100が実行する動作である操作検出方法について、図18を参照しながら説明する。また、図18に示すステップS3060、S3061、S3063、S3065は操作検出部104の動作であるため、図18に示す動作フローは、図3におけるステップS306の代わりに、ステップS3060、S3061、S3063、S3065を用いて得られるものである。
以下、第1の実施形態の操作検出装置100の実施例3について説明する。
図22は、操作検出装置100が実行する実施例3の動作である操作検出方法のフローである。図22において、実施例2の操作検出装置100が実行する動作と同一の動作には同一符号を付け、重複する説明を省略する。
以下、第2の実施形態に係る操作検出装置100Aについて説明する。
図23は、第2の実施形態の操作検出装置100Aの構成を示す図である。図23において、第1の実施形態の操作検出装置100の構造を示す図である図1と同一の要素には同一の符号を付け、重複説明を省略する。
図24は第2の実施形態の操作検出装置100Aの動作フローチャートである。図24において、第1の実施形態の操作検出装置100が実行する動作である図3に示す動作と同一の動作には同一の符号を付け、重複する説明を省略する。
以上、各実施形態について説明したが、本発明は前記実施形態、実施例及び変形例に限定されるものではない。例えば、当業者が上述した各実施形態、実施例及び変形例に対して適宜構成要素の追加、削除、設計変更を行ったもの、各実施形態、実施例又は変形例の特徴を適宜組み合わせたものも、本発明の技術的思想に合致する限り本発明の範囲に含まれる。
Claims (9)
- それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得部と、
前記複数枚のトレーニング画像と、前記対象検出モデル取得部により取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得部と、
前記オペレータの操作を撮像することにより得られた動画像を入力する動画像入力部と、
前記対象情報取得部により取得された前記対象タイプ及び前記対象関係と、前記動画像入力部により入力された前記動画像とに基づいて、前記オペレータの操作の種類を検出する操作検出部と、を備える操作検出装置。 - 前記操作検出部は、
前記対象情報取得部により取得された前記対象タイプ及び対象関係に基づいて、1以上のイベントを生成するイベント生成手段と、
前記イベント生成手段により生成された前記1以上のイベントを用いて前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
前記動画像入力部により入力された前記動画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項1記載の操作検出装置。 - 前記操作検出部は、
前記対象情報取得部により取得された前記対象タイプ及び前記対象関係に基づいて、1以上のイベントを生成するイベント生成手段と、
前記イベント生成手段により生成された前記1以上のイベントを用いて前記オペレータの動作を示す1以上の動作モードを生成する動作モード生成手段と、
前記動作モード生成手段により生成された前記1以上の動作モードに基づいて、前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
前記動画像入力部により入力された前記動画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項1記載の操作検出装置。 - 前記操作モード生成手段は、
前記イベント生成手段により生成された前記イベントと、前記動作モード生成手段により生成された前記動作モードとに基づいて、前記操作モードを生成する請求項3に記載の操作検出装置。 - 前記1以上のイベントは、
前記オペレータの操作に係る対象についての対象位置が変化することにより、前記対象関係が生じるか、もしくは、前記対象関係が変化する第1イベント、および、
前記オペレータの操作に係る対象が前記複数枚のトレーニング画像に現れるか、もしくは、前記オペレータの操作に係る対象が前記複数枚のトレーニング画像から消える第2イベント
の少なくともいずれか一方のイベントを含む請求項2乃至請求項4の何れか一項記載の操作検出装置。 - 前記操作検出部により検出された前記種類の前記オペレータの操作の開始時間および終了時間を検出する操作時間検出部をさらに備える請求項1乃至請求項5の何れか一項記載の操作検出装置。
- 前記対象情報は、少なくとも対象名称、対象種別、対象位置、及び対象位置の変化を含む請求項1乃至請求項6の何れか一項記載の操作検出装置。
- 前記対象が撮像された前記複数枚のトレーニング画像を取得するトレーニング画像取得装置と、
前記トレーニング画像取得装置により取得された前記複数枚のトレーニング画像に基づいて、前記対象検出モデルを生成する対象検出モデル生成装置と、
請求項1乃至請求項7のいずれか一項記載の操作検出装置と、
を備える操作検出システム。 - それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得ステップと、
前記複数枚のトレーニング画像と、前記対象検出モデル取得ステップにより取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得ステップと、
前記オペレータの操作を撮像することにより得られた動画像を入力する動画像入力ステップと、
前記対象情報取得ステップにより取得された前記対象タイプ及び前記対象関係と、前記動画像入力ステップにより入力された前記動画像とに基づいて、前記オペレータの操作の種類を検出する操作検出ステップと、を備える操作検出方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811249823.2 | 2018-10-25 | ||
CN201811249823.2A CN111105109A (zh) | 2018-10-25 | 2018-10-25 | 操作检测装置、操作检测方法及操作检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020068009A JP2020068009A (ja) | 2020-04-30 |
JP6828093B2 true JP6828093B2 (ja) | 2021-02-10 |
Family
ID=70388533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019118627A Active JP6828093B2 (ja) | 2018-10-25 | 2019-06-26 | 操作検出装置、操作検出方法及び操作検出システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6828093B2 (ja) |
CN (1) | CN111105109A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115511367B (zh) * | 2022-10-21 | 2023-07-25 | 上海数瞳信息科技有限公司 | 生产线的质量智能管理系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9665777B2 (en) * | 2013-05-10 | 2017-05-30 | Robert Bosch Gmbh | System and method for object and event identification using multiple cameras |
JP6231302B2 (ja) * | 2013-06-12 | 2017-11-15 | 株式会社ブリヂストン | 検査補助装置 |
WO2016098264A1 (ja) * | 2014-12-19 | 2016-06-23 | 富士通株式会社 | 分析装置における処理方法、処理プログラム、分析装置、検出動作の設定方法および設定プログラム |
JP6672712B2 (ja) * | 2015-11-04 | 2020-03-25 | 日本電気株式会社 | 異常作業検出システムおよび異常作業検出方法 |
JP6907634B2 (ja) * | 2017-03-28 | 2021-07-21 | 日本電気株式会社 | 作業支援装置、作業支援方法、及び作業支援プログラム |
JP6330093B1 (ja) * | 2017-08-21 | 2018-05-23 | ミライアプリ株式会社 | 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置 |
KR101900237B1 (ko) * | 2017-10-20 | 2018-09-19 | 주식회사 삼진엘앤디 | 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법 |
WO2019097676A1 (ja) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | 3次元空間監視装置、3次元空間監視方法、及び3次元空間監視プログラム |
CN108491759A (zh) * | 2018-02-10 | 2018-09-04 | 合肥迪宏自动化有限公司 | 一种基于深度学习的工序检测装置及其工序检测方法 |
CN108681690B (zh) * | 2018-04-04 | 2021-09-03 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
-
2018
- 2018-10-25 CN CN201811249823.2A patent/CN111105109A/zh active Pending
-
2019
- 2019-06-26 JP JP2019118627A patent/JP6828093B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN111105109A (zh) | 2020-05-05 |
JP2020068009A (ja) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210390678A1 (en) | Method for monitoring manufacture of assembly units | |
US20130010068A1 (en) | Augmented reality system | |
EP3441836B1 (en) | Algorithm and method for detecting faults of a machine based on machine-learning technique | |
TWI618940B (zh) | 印刷電路板的盲孔檢測裝置與方法 | |
US10330724B2 (en) | Measurement arrangement | |
US20210064000A1 (en) | Apparatus and Method for Identifying Differences Between a Real Installation and a Digital Twin of the Installation | |
US20210358110A1 (en) | Device and Method for Processing at Least One Work Area With a Processing Tool | |
CN107370823B (zh) | 数据采集及远程控制方法、装置和计算机可读存储介质 | |
JP6795562B2 (ja) | 検査装置及び機械学習方法 | |
US20180165622A1 (en) | Action analysis device, acton analysis method, and analysis program | |
CN108693839B (zh) | 智能加工调变系统及方法 | |
JP6828093B2 (ja) | 操作検出装置、操作検出方法及び操作検出システム | |
JP5371674B2 (ja) | 試験装置 | |
EP2154591B1 (en) | Device and method for testing systems with visual output | |
US20200098102A1 (en) | Quality estimation device, quality estimation method, and quality estimation program | |
JP6823025B2 (ja) | 検査装置及び機械学習方法 | |
TW201835596A (zh) | 印刷電路板的鑽孔檢測裝置與方法 | |
WO2018158815A1 (ja) | 点検支援装置、点検支援方法および記録媒体 | |
JP5480424B1 (ja) | 不良位置分析システム及び方法 | |
JP5824550B1 (ja) | データ管理装置及びデータ管理プログラム | |
JP2009110239A (ja) | 作業動作分析システム及び作業動作分析方法 | |
Campaniço et al. | Worker Support and Training Tools to Aid in Vehicle Quality Inspection for the Automotive Industry | |
Su et al. | Characterisation and evaluation of identicality for digital twins for the manufacturing domain | |
Ramler et al. | What you see is what you test-augmenting software testing with computer vision | |
US20240153069A1 (en) | Method and arrangement for testing the quality of an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6828093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |