JP6715282B2 - 品質監視システム - Google Patents
品質監視システム Download PDFInfo
- Publication number
- JP6715282B2 JP6715282B2 JP2018057425A JP2018057425A JP6715282B2 JP 6715282 B2 JP6715282 B2 JP 6715282B2 JP 2018057425 A JP2018057425 A JP 2018057425A JP 2018057425 A JP2018057425 A JP 2018057425A JP 6715282 B2 JP6715282 B2 JP 6715282B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- equipment
- processing unit
- images
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims description 113
- 238000011156 evaluation Methods 0.000 claims description 60
- 238000007689 inspection Methods 0.000 claims description 35
- 230000005856 abnormality Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
- G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31308—Capture image asynchronously with processing of analysis, identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37572—Camera, tv, vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1に表したように、実施形態に係る品質監視システム1は、撮像部10、検査部20、処理部30、出力部40、及び記憶部50を備える。品質監視システム1は、設備の動作と、当該設備で処理されたワークの品質と、の相関を分析して調べるために用いられる。
図2に表した例では、設備90が、コンベヤ上を流れるワーク91を処理している。この例では、ワーク91は、組み立て途中の仕掛品である。撮像部10は、設備90及びワーク91を撮影する。画像には、監視対象の設備及びワーク以外の他の被写体が含まれていても良い。ただし、監視の精度を向上させるためには、他の被写体の動きが小さい又は無いことが望ましい。
図6において、横軸は、処理部30による設備の評価を示す。縦軸は、品質を示す。一例として、図6では、評価は、異常度合いに関する。品質は、不良数に関する。図6は、各異常度合いにおいて、どの程度不良が発生しているかを示す。例えば、処理部30による相関分析の結果、直線Lで表されるように、評価と品質とに相関が有ると判定される。処理部30は、例えば、図6に表したグラフを、出力部40に表示させる。
処理部30は、複数の第1画像から、2つの第1画像を抽出し、それらの第1画像を複数のメッシュに分割する。処理部30は、対応するメッシュ同士の間でそれぞれ特徴量の差を算出する。処理部30は、最も特徴量の差が大きかった第1メッシュを抽出する。処理部30は、複数の第1画像の第1メッシュにおける特徴量を、それぞれ複数の評価とする。処理部30は、複数の評価と複数の品質との相関を分析する。
処理部30は、対応するメッシュ同士の間で、2番目に特徴量の差が大きかった第2メッシュを抽出する。処理部30は、複数の第1画像の第2メッシュにおける特徴量を、それぞれ複数の評価とする。処理部30は、複数の評価と複数の品質との相関を分析する。
撮像部10は、第1動作を繰り返す設備について、第1動作の第1タイミングにおける設備を撮影した第1画像を繰り返し取得する(ステップS1)。検査部20は、設備で処理されたワークの品質を検査する(ステップS2)。処理部30は、複数の第1画像に基づいて、第1画像に写された設備の複数の評価を決定する(ステップS3)。
処理部30は、複数の第1画像に基づいて、第1画像に写された設備の異常を判定しても良い。ここでは、異常とは、例えば、設備の通常の動作に対して、特定の動作の遅れ、設備の特定部位の可動域の変化、処理されるワークの位置や傾きの変化などを含む。
撮像部10は、第1動作を繰り返す設備について、第1動作の第1タイミングにおける設備を撮影した第1画像を繰り返し取得する(ステップS11)。検査部20は、設備で処理されたワークの品質を検査する(ステップS12)。処理部30は、設備の動作に関する情報を取得する(ステップS13)。この情報は、例えば、設備から出力される信号である。処理部30は、新規の第1画像を、過去の複数の第1画像と比較し、機械学習を行う(ステップS14)。また、処理部30は、新規の第1画像と過去の複数の第1画像との比較結果、及び設備の動作に関する情報に基づき、設備の動作が正常か判定する(ステップS15)。
Claims (4)
- ワークを処理する第1動作が繰り返される設備について、前記第1動作の第1タイミングにおける前記設備を撮影した第1画像を繰り返し取得する撮像部と、
処理後の前記ワークの品質を検査する検査部と、
複数の前記第1画像に基づいて前記複数の第1画像のそれぞれに写された前記設備の評価を決定し、複数の前記評価と複数の前記品質との相関を分析する処理部と、
を備え、
前記処理部は、
2つの前記第1画像をそれぞれ複数のメッシュに分割し、対応するメッシュ同士の間で最も特徴量の差が大きい第1メッシュを抽出し、
前記複数の第1画像の前記第1メッシュにおける特徴量を、それぞれ、前記複数の評価とし、
前記複数の評価と、前記複数の品質と、の相関を分析する、
品質監視システム。 - 前記処理部は、前記複数の第1画像の特徴量をそれぞれ前記複数の評価とし、前記複数の評価と前記複数の品質との相関を分析する請求項1記載の品質監視システム。
- 前記品質と前記評価との間に相関がある場合、前記処理部は、前記評価と、前記品質と、前記相関と、を示す情報を出力する請求項1または2に記載の品質監視システム。
- ワークを処理する第1動作が繰り返される設備について、前記第1動作の第1タイミングにおける前記設備を撮影した第1画像を繰り返し取得する撮像部と、
処理後の前記ワークの品質を検査する検査部と、
新規の前記第1画像が取得された際に、過去の複数の前記第1画像に基づき、前記新規の第1画像に写された前記設備の異常を判定し、
前記新規の第1画像に写された前記設備に異常が有った場合に、前記新規の第1画像及び前記過去の複数の第1画像に基づき、それぞれの前記第1画像に写された前記設備の評価を決定し、複数の前記評価と複数の前記品質との相関を分析する処理部と、
を備え、
前記処理部は、
2つの前記第1画像をそれぞれ複数のメッシュに分割し、対応するメッシュ同士の間で最も特徴量の差が大きい第1メッシュを抽出し、
前記複数の第1画像の前記第1メッシュにおける特徴量を、それぞれ、前記複数の評価とし、
前記複数の評価と、前記複数の品質と、の相関を分析する、
品質監視システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018057425A JP6715282B2 (ja) | 2018-03-26 | 2018-03-26 | 品質監視システム |
DE112018007375.0T DE112018007375T5 (de) | 2018-03-26 | 2018-09-25 | Qualitätsüberwachungssystem |
PCT/JP2018/035333 WO2019187228A1 (ja) | 2018-03-26 | 2018-09-25 | 品質監視システム |
US16/423,907 US10789705B2 (en) | 2018-03-26 | 2019-05-28 | Quality monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018057425A JP6715282B2 (ja) | 2018-03-26 | 2018-03-26 | 品質監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019169022A JP2019169022A (ja) | 2019-10-03 |
JP6715282B2 true JP6715282B2 (ja) | 2020-07-01 |
Family
ID=68060990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018057425A Active JP6715282B2 (ja) | 2018-03-26 | 2018-03-26 | 品質監視システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6715282B2 (ja) |
DE (1) | DE112018007375T5 (ja) |
WO (1) | WO2019187228A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6786136B1 (ja) * | 2020-04-17 | 2020-11-18 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
JP7493390B2 (ja) | 2020-06-15 | 2024-05-31 | 株式会社日立ハイテク | 監視システム |
WO2022130640A1 (ja) * | 2020-12-18 | 2022-06-23 | 三菱電機株式会社 | 学習装置、推論装置、診断システム、モデル生成方法及びプログラム |
DE102022103875A1 (de) | 2022-02-18 | 2023-08-24 | TRUMPF Werkzeugmaschinen SE + Co. KG | Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine |
WO2024134339A1 (en) * | 2022-12-23 | 2024-06-27 | G.D S.P.A | System for monitoring a manufacturing machine |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH046404A (ja) * | 1990-04-25 | 1992-01-10 | Seikosha Co Ltd | 画像監視方法 |
JPH09200734A (ja) * | 1996-01-12 | 1997-07-31 | Fuji Photo Film Co Ltd | 監視装置 |
JP2003044120A (ja) * | 2001-08-02 | 2003-02-14 | Sharp Corp | 製品データ管理システム、そのシステムを動作させるためのプログラム、そのプログラムが記録された記録媒体および製品データ管理方法 |
JP6088679B1 (ja) * | 2016-02-19 | 2017-03-01 | ファナック株式会社 | カメラの画像により故障を判定するロボットシステムの故障診断装置 |
JP2017215239A (ja) * | 2016-06-01 | 2017-12-07 | ティー・エス・ビー株式会社 | 太陽電池検査システム |
-
2018
- 2018-03-26 JP JP2018057425A patent/JP6715282B2/ja active Active
- 2018-09-25 WO PCT/JP2018/035333 patent/WO2019187228A1/ja active Application Filing
- 2018-09-25 DE DE112018007375.0T patent/DE112018007375T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2019187228A1 (ja) | 2019-10-03 |
JP2019169022A (ja) | 2019-10-03 |
DE112018007375T5 (de) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6715282B2 (ja) | 品質監視システム | |
JP6121425B2 (ja) | ラスタ画像のエッジ検出によるベルト摩耗の測定 | |
JP6805199B2 (ja) | 設備監視システム | |
US11521312B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US10699400B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR102108956B1 (ko) | 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 | |
JP5168215B2 (ja) | 外観検査装置 | |
JP2006293820A (ja) | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム | |
CN109313442B (zh) | 用于事件检测的自动视觉和声学分析 | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
US20240046443A1 (en) | Analysis apparatus, analysis system, analysis program, and analysis method | |
JP2023047003A (ja) | 機械学習システム、学習データ収集方法及び学習データ収集プログラム | |
US10789705B2 (en) | Quality monitoring system | |
US10922823B2 (en) | Motion analyis device, motion analysis method, and program recording medium | |
JP2020042668A (ja) | 検査装置及び機械学習方法 | |
US11120541B2 (en) | Determination device and determining method thereof | |
TWI793883B (zh) | 用於線材皮膜的缺陷檢測方法及系統 | |
KR102233109B1 (ko) | 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법 | |
WO2021070173A2 (en) | Motion in images used in a visual inspection process | |
JP7464451B2 (ja) | 骨格検出システム及び作業管理装置 | |
JP7130170B1 (ja) | 異常検知プログラム、異常検知装置及び異常検知方法 | |
KR20240020507A (ko) | 펄프몰드 제품의 불량 판정 및 그 방법 | |
WO2023234079A1 (ja) | データ処理装置、データ処理システム、データ処理方法及びプログラム | |
WO2023132131A1 (ja) | 検査装置、検査方法およびプログラム | |
JP7327548B2 (ja) | 点検支援装置、点検支援方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6715282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |