JP6715282B2 - 品質監視システム - Google Patents

品質監視システム Download PDF

Info

Publication number
JP6715282B2
JP6715282B2 JP2018057425A JP2018057425A JP6715282B2 JP 6715282 B2 JP6715282 B2 JP 6715282B2 JP 2018057425 A JP2018057425 A JP 2018057425A JP 2018057425 A JP2018057425 A JP 2018057425A JP 6715282 B2 JP6715282 B2 JP 6715282B2
Authority
JP
Japan
Prior art keywords
image
equipment
processing unit
images
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018057425A
Other languages
English (en)
Other versions
JP2019169022A (ja
Inventor
理佐 酒井
理佐 酒井
山田 渉
渉 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018057425A priority Critical patent/JP6715282B2/ja
Priority to DE112018007375.0T priority patent/DE112018007375T5/de
Priority to PCT/JP2018/035333 priority patent/WO2019187228A1/ja
Priority to US16/423,907 priority patent/US10789705B2/en
Publication of JP2019169022A publication Critical patent/JP2019169022A/ja
Application granted granted Critical
Publication of JP6715282B2 publication Critical patent/JP6715282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31308Capture image asynchronously with processing of analysis, identification
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37572Camera, tv, vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明の実施形態は、品質監視システムに関する。
設備で処理されるワーク(製品)の品質を監視するシステムがある。このような品質監視システムについて、より簡便に設備の動作と品質との相関を分析できる技術の開発が望まれている。
特開2017−144532号公報
本発明が解決しようとする課題は、より簡便に設備の動作と品質との相関を分析できる品質監視システムを提供することである。
実施形態に係る品質監視システムは、撮像部と、検査部と、処理部と、を備える。前記撮像部は、ワークを処理する第1動作が繰り返される設備について、前記第1動作の第1タイミングにおける前記設備を撮影した第1画像を繰り返し取得する。前記検査部は、処理後の前記ワークの品質を検査する。前記処理部は、複数の前記第1画像に基づいて前記複数の第1画像のそれぞれに写された前記設備の評価を決定し、複数の前記評価と複数の前記品質との相関を分析する。前記処理部は、2つの前記第1画像をそれぞれ複数のメッシュに分割し、対応するメッシュ同士の間で最も特徴量の差が大きい第1メッシュを抽出する。前記処理部は、前記複数の第1画像の前記第1メッシュにおける特徴量を、それぞれ、前記複数の評価とする。
実施形態に係る品質監視システムの構成を表すブロック図である。 実施形態に係る品質監視システムを説明するための模式図である。 実施形態に係る品質監視システムを説明するための模式図である。 実施形態に係る品質監視システムを説明するための模式図である。 実施形態に係る品質監視システムを説明するための模式図である。 実施形態に係る品質監視システムによる分析結果を例示するグラフである。 実施形態に係る品質監視システムの動作を表すフローチャートである。 実施形態の変形例に係る品質監視システムの動作を表すフローチャートである。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、実施形態に係る品質監視システムの構成を表すブロック図である。
図1に表したように、実施形態に係る品質監視システム1は、撮像部10、検査部20、処理部30、出力部40、及び記憶部50を備える。品質監視システム1は、設備の動作と、当該設備で処理されたワークの品質と、の相関を分析して調べるために用いられる。
撮像部10は、ある第1動作を繰り返す設備を撮影し、静止画を取得する。具体的には、撮像部10は、設備が第1動作を開始してから第1時間が経過した、第1タイミングにおける設備の様子を繰り返し撮影する。これにより、第1タイミングにおける設備を表す第1画像が繰り返し取得されていく。撮像部10は、撮影した画像を、記憶部50に記憶する。
検査部20は、設備で処理されたワークの品質を検査する。例えば、検査部20は、ワークの外観から品質(出来映え)を検査する。この他に、検査部20は、ワークの電気特性、熱特性、強度、又は耐久性などを検査しても良い。検査部20は、検査結果を記憶部50に記憶する。
処理部30は、記憶部50を参照し、撮影された複数の第1画像を取得する。処理部30は、複数の第1画像に基づき、第1画像に写された設備の評価を決定する。評価は、例えば、1つの第1画像に写された設備が、別の1つの第1画像に写された設備に対して、どの程度異常かを示す。
例えば、過去の第1画像に写された設備の状態と、新規の第1画像に写された設備の状態と、が実質的に同じ場合、異常の度合いは小さい。これは、例えば、評価が低い状態に対応する。過去の第1画像中の設備の状態と、新規の第1画像中の設備の状態と、が大きく異なる場合、異常の度合いは大きい。これは、例えば、評価が高い状態に対応する。評価は、例えば数値で表される。
処理部30は、さらに、記憶部50を参照し、検査部20による品質の検査結果を取得する。処理部30は、品質と評価との間の相関を分析する。例えば、評価が高くなるほど、品質が低下している場合、品質と評価は相関している。相関は、例えば、複数の品質の検査結果と複数の評価とを用いて、教師無しの機械学習を行うことで分析できる。処理部30は、例えば、判定結果を出力部40へ送信する。
出力部40は、例えば、品質と、評価と、相関と、を示す情報を表示させる。出力部40は、当該情報を予め設定された宛先に送信しても良い。情報は、例えば、グラフ又は表を含む。この他に、出力部40は、ユーザに注意を促すための音や光などを発しても良い。
撮像部10は、例えばカメラである。処理部30は、CPU(Central Processing Unit)及びメモリなどを含む。出力部40は、例えば、モニタ、プリンタ、スピーカ、又は照明などである。
検査部20の具体的構成は、実施される検査内容に応じて適宜変更できる。例えば、設備で処理されたワークの外観検査を行う場合、検査部20は、カメラを含む。ワークの電気特性を検査する場合、検査部20は、電気特性を計測するための計測器や制御ユニットを含む。
実施形態に係る品質監視システム1によれば、設備の動作に関する評価と、その設備によって処理されるワークの品質と、の相関を分析できる。また、当該評価は、新しい第1画像と、過去の第1画像と、に基づいて決定される。このため、当該評価を決定するための参照データ等を用意する必要が無い。従って、品質監視システム1は、監視したい設備に、より簡便に導入することができる。当該評価と品質との相関の分析を容易に実施できる。例えば、稼働したばかりの設備に対しても、参照データを用意することなく、品質監視システム1を適用できる。
また、品質監視システム1によれば、新しい第1画像を取得し、ワークの検査結果が得られた際に、評価と品質との相関を分析できる。このため、設備と品質との関係をリアルタイムに分析し、品質を監視できる。これにより、例えば、品質の低下が将来発生しそうな場合は、設備を事前に停止でき、低品質の製品が量産されることを防止できる。また、品質監視システム1によれば、評価と品質の相関が分析されることで、どうすれば品質を向上できるかをユーザに提示することも可能である。
撮像部10は、設備を動画撮影しても良い。処理部30は、その動画の一部を切り出すことで複数の第1画像を取得する。ただし、この場合、データ量が非常に大きくなる。このため、撮像部10は、第1動作の第1タイミングで設備を撮影し、静止画を取得することが望ましい。すなわち、撮像部10は、第1動作の第1タイミング以外の少なくとも一部では、設備を撮影しない。特定の瞬間の静止画のみを取得することで、データ量を小さくできる。
また、撮像部10は、さらに、第1動作の別のタイミングにおいて、設備を繰り返し撮影しても良い。例えば、撮像部10は、第1動作の第2タイミング及び第3タイミングにおいて設備を撮影し、第2画像及び第3画像を取得する。第2タイミングは、第1タイミングよりも前である。第3タイミングは、第2タイミングよりも前である。
処理部30は、第2画像及び第3画像についても、上述した処理を行っても良い。すなわち、処理部30は、複数の第2画像に基づき、第2画像に写された設備の評価を決定する。処理部30は、複数の第3画像に基づき、第3画像に写された設備の評価を決定する。処理部30は、それぞれの評価と、品質と、の相関を分析する。
図2〜図5は、実施形態に係る品質監視システムを説明するための模式図である。
図2に表した例では、設備90が、コンベヤ上を流れるワーク91を処理している。この例では、ワーク91は、組み立て途中の仕掛品である。撮像部10は、設備90及びワーク91を撮影する。画像には、監視対象の設備及びワーク以外の他の被写体が含まれていても良い。ただし、監視の精度を向上させるためには、他の被写体の動きが小さい又は無いことが望ましい。
コンベヤ上を流れたワーク91は、検査部20により撮影される。この例では、検査部20は、処理されたワーク91の外観を検査する。例えば、検査部20は、ワーク91のある部分と別の部分との位置関係や、ある部分の別の部分に対する傾きなどを検査する。例えば、検査部20は、予め設定された値に対するずれ量、処理されたワーク91がOKかNGか、などの品質の検査結果を出力する。
図3(a)〜図3(c)は、設備90の正常な動作を例示している。設備90は、図3(a)〜図3(c)に表した一連の動作(第1動作)を、繰り返し実行する。例えば、撮像部10は、第1動作の第1タイミングにおける設備90を撮影し、図3(c)に表した第1画像A1を取得する。撮像部10は、第1動作が行われるたびに、設備90及びワーク91を繰り返し撮影する。
撮像部10は、例えば、設備90の動作に関連する信号を受信する。この信号を受信したタイミングを基準に、設備90を撮影するタイミングを特定する。一例として、撮像部10は、第1動作を開始させる際に、設備90に入力される制御信号を受信する。撮像部10は、この制御信号の受信を、時間の測定の起点とする。撮像部10は、この起点から所定時間経過後の特定のタイミングで、設備90を撮影する。又は、撮像部10は、設備90の動画を撮影し、設備90又はワーク91が特定の状態となったときを、時間の測定の起点としても良い。
図4において、横軸は時間Tを表す。撮像部10は、例えば図4に表したように、第1タイミングT1で設備90及びワーク91を撮影し、第1画像A1を取得する。設備90が第1動作を行うたびに、撮像部10による撮影が行われる。この結果、図4に表したように、複数の第1画像A1が取得される。
処理部30は、検査部20でワーク91の品質が検査されると、その検査されたワーク91が処理されていたときに撮影された設備90の第1画像を参照する。例えば、第1動作の起点から検査部20による検査が実行されるまでの時間がユーザにより設定される。処理部30は、設定された時間を基に、ワークの品質の検査結果と、そのワークを処理した際の設備に関する評価と、を対応付ける。又は、処理部30は、設備90が撮影されたタイミングと、ワーク91が搬送された際の信号などを基に、検査結果と評価とを対応付けても良い。あるいは、ワーク91に固有の識別情報が付されている場合、その識別情報を利用して検査結果と評価とを対応付けても良い。例えば、設備90でワーク91が処理される際、及び検査部20でワーク91が検査される際に、この識別情報が読み取られる。処理部30は、同じ識別情報のワーク91に関する検査結果と評価を対応付ける。
処理部30は、その第1画像と、過去の第1画像と、その第1画像に写された設備の評価を決定する。評価は、例えば、画像に写された設備の異常度合いに関し、2つの画像の間の特徴量の差で表される。例えば、特徴量の差が大きいほど、一方の画像は、もう一方の画像に対して異常度合いが大きいことを示す。特徴量の抽出方法(アルゴリズム)としては、例えば、SIFT(Scale-Invariant Feature Transform)又はSURF(Speed-Upped Robust Feature)などを用いることができる。
評価は、画像に写された設備の正常度合いに関し、2つの画像の間の類似度で表されても良い。類似度が高いほど、2つの画像は類似しており、正常度合いが大きい(異常度合いが小さい)ことを示す。処理部30は、品質の検査結果と評価との相関を分析する。
図5(a)〜図5(c)は、設備90に異常が生じている場合の第1動作を例示している。図5(a)及び図5(b)は、それぞれ、図3(a)及び図3(b)に表した正常時の動作と同じである。一方、図5(c)では、設備90のアーム90aの位置(角度)及びハンド90bの位置が、図3(c)に表した状態と異なる。処理部30は、図3(c)の第1画像A1と図5(c)の第1画像A1とから、図5(c)の第1画像A1に写された設備90に関する評価を決定する。この場合、設備90は、異常度合いが大きいと評価される。
図6は、実施形態に係る品質監視システムによる分析結果を例示するグラフである。
図6において、横軸は、処理部30による設備の評価を示す。縦軸は、品質を示す。一例として、図6では、評価は、異常度合いに関する。品質は、不良数に関する。図6は、各異常度合いにおいて、どの程度不良が発生しているかを示す。例えば、処理部30による相関分析の結果、直線Lで表されるように、評価と品質とに相関が有ると判定される。処理部30は、例えば、図6に表したグラフを、出力部40に表示させる。
評価と品質とに相関が有ると判定された場合、処理部30は、さらに分析を行っても良い。例えば、処理部30は、時間に対する異常度合いの変化を算出する。異常度合いが増加傾向にある場合は、不良数がその後増加することが予測される。例えば、処理部30は、その予測結果を出力する。
又は、第1画像に写された設備の評価は、その第1画像に基づいて決定されても良い。この場合、評価は、例えば、その第1画像の特徴量で表される。処理部30は、複数の特徴量と、複数の品質と、の相関を分析する。この方法においても、品質の監視を効果的に行うことができる。
特徴量を評価として用いる場合、処理部30は、第1画像をメッシュ処理しても良い。メッシュ処理では、画像が複数のメッシュに分割され、メッシュごとに特徴量が算出される。処理部30は、複数の第1画像のそれぞれにおいて、複数のメッシュの1つにおける特徴量を、評価とする。
または、処理部30は、以下の方法により、評価と品質の相関を分析しても良い。
処理部30は、複数の第1画像から、2つの第1画像を抽出し、それらの第1画像を複数のメッシュに分割する。処理部30は、対応するメッシュ同士の間でそれぞれ特徴量の差を算出する。処理部30は、最も特徴量の差が大きかった第1メッシュを抽出する。処理部30は、複数の第1画像の第1メッシュにおける特徴量を、それぞれ複数の評価とする。処理部30は、複数の評価と複数の品質との相関を分析する。
上記の処理において、相関が無いと判定された場合、処理部30は、例えば以下の処理をさらに行う。
処理部30は、対応するメッシュ同士の間で、2番目に特徴量の差が大きかった第2メッシュを抽出する。処理部30は、複数の第1画像の第2メッシュにおける特徴量を、それぞれ複数の評価とする。処理部30は、複数の評価と複数の品質との相関を分析する。
この分析方法によれば、評価と品質との相関をより効率的に分析できる。例えば、処理部30による計算量を低減できる。
処理部30は、第1画像をメッシュ処理する際に、被写体の動きが大きい部分は、より小さなメッシュに分割し、被写体の動きが小さい(又は無い)部分は、大きなメッシュに分割しても良い。こうすることで、特徴量に重み付けすることができ、特徴量の変化を検出し易くなる。画像中における、細かくメッシュ処理する領域と粗くメッシュ処理する領域は、例えば、第1画像と、その直前の画像と、の間の特徴量の変化を基に決定される。
例えば、処理部30は、n回目(n=1、2、3・・・)の第2タイミングで撮影された第2画像を複数のメッシュに分割する。第2タイミングは、第1タイミングの前である。処理部30は、n回目の第1タイミングで撮影された第1画像を複数のメッシュに分割する。処理部30は、第1画像と第2画像との間で、対応するメッシュ同士の間の特徴量の差をそれぞれ算出する。特徴量の差が大きいほど、そのメッシュにおける被写体の動きが大きいことを示す。
処理部30は、特徴量の差が小さかったメッシュ同士を結合させ、より大きなメッシュとする。処理部30は、特徴量の差が大きかったメッシュを複数に分割し、より小さなメッシュとする。これにより、被写体の動きが大きい部分ほど、特徴量をより大きく重み付けできる。
図7は、実施形態に係る品質監視システムの動作を表すフローチャートである。
撮像部10は、第1動作を繰り返す設備について、第1動作の第1タイミングにおける設備を撮影した第1画像を繰り返し取得する(ステップS1)。検査部20は、設備で処理されたワークの品質を検査する(ステップS2)。処理部30は、複数の第1画像に基づいて、第1画像に写された設備の複数の評価を決定する(ステップS3)。
処理部30は、複数の品質と複数の評価が相関しているか分析する(ステップS4)。相関していない場合、ステップS1〜S3が繰り返される。相関している場合、処理部30は、その結果を出力しても良い。又は、処理部30は、図7に表したように、評価の変化から将来の品質の変化を予測しても良い(ステップS5)。品質が低下すると予測される場合、処理部30は、その結果を出力する(ステップS6)。例えば、処理部30は、設備を停止させるための信号を送信する、又はユーザに通知する。
以上で説明した実施形態に係る品質監視システム1によれば、より簡便に設備の動作と品質との相関を分析できる。
(変形例)
処理部30は、複数の第1画像に基づいて、第1画像に写された設備の異常を判定しても良い。ここでは、異常とは、例えば、設備の通常の動作に対して、特定の動作の遅れ、設備の特定部位の可動域の変化、処理されるワークの位置や傾きの変化などを含む。
撮像部10で新規の第1画像が取得されると、処理部30は、記憶部50を参照し、過去の第1画像を取得する。処理部30は、過去の複数の第1画像に基づき、新規の第1画像に含まれる設備に異常が有るか判定する。例えば、過去の第1画像に写された設備の状態と、新規の第1画像に写された設備の状態と、実質的に同じ場合、設備は正常と判定される。過去の第1画像中の設備の状態と、新規の第1画像中の設備の状態と、が大きく異なる場合、設備は異常と判定される。
処理部30は、複数の第1画像A1を用いて、例えば、教師無し学習を行う。教師無し学習の具体的な手法としては、主成分分析又はクラスタリングなどを用いることができる。処理部30は、教師無し学習により生成された、第1画像A1中の設備の異常を判定するためのモデルを、記憶部50に記憶する。
図5(a)〜図5(c)は、設備90に異常が有る場合の第1動作を例示している。例えば、処理部30は、新規の第1画像と、過去の複数の第1画像の1つと、の特徴量の差を算出する。過去の複数の第1画像の当該1つは、例えば、新規の第1画像の直前に取得された第1画像である。処理部30は、算出された差と、第1閾値と、を比較する。当該差が第1閾値を超えているときに、処理部30は、新規の第1画像の被写体である設備に異常が有ると判定する。
第1閾値は、特徴量データに基づいて設定される。例えば、過去の特徴量データを基に、その平均値及び標準偏差を算出する。3σを計算し、それを第1閾値と設定する。機械学習により、設定された第1閾値と、新たに取得された第1画像に基づく特徴量と、が比較され、閾値内に入っているか判定される。
例えば、図3(c)に表した画像同士の間では、特徴量の差が小さい。図3(c)に表した画像と、図5(c)に表した画像と、では、アーム90a及びハンド90bの位置が大きく異なる。このため、これらの画像の間では特徴量の差が大きく、図5(c)に表した画像中の設備90が異常と判定される。
処理部30は、新規の第1画像と、過去の第1画像と、をそれぞれメッシュ処理しても良い。処理部30は、いずれかのメッシュにおける特徴量の差が第1閾値以上の場合、設備が異常と判定する。また、第1画像をメッシュ処理することで、第1画像において設備の異常が生じている箇所(メッシュ)を特定できる。
処理部30は、第1画像をメッシュ処理する際に、上述した通り、被写体の動きが大きい部分は、より小さなメッシュに分割し、被写体の動きが小さい(又は無い)部分は、大きなメッシュに分割しても良い。
処理部30は、設備の異常を判定する際に、第1画像に加えて、設備で発生する信号を利用しても良い。例えば、設備90では、アーム90a及びハンド90bを駆動させる際、設備90における電圧値又は電流値の変化が生じるとする。この場合、処理部30は、設備90における電圧値又は電流値を検出するセンサから、電圧値又は電流値を示す信号を受信する。処理部30は、受信した信号の強度を、予め設定された第1範囲と比較する。処理部30は、例えば、新規の第1画像と過去の第1画像との特徴量の差が第1閾値を超え、且つ、信号強度が第1範囲を外れていた場合に、設備90が異常と判定する。
設備に異常が生じている場合、典型的には、設備から出力される信号にも異常が生じる。撮影された画像と、設備から出力される信号と、に基づいて設備の異常を判定することで、判定の精度を向上させることができる。これにより、例えば、設備に異常が生じていないにも拘わらず異常と判定される可能性を低減できる。処理部30は、電圧値及び電流値以外に、例えば、設備における圧力やガス流量などを示す信号を利用し、設備の異常を判定しても良い。
処理部30は、新規の第1画像と、過去の複数の第1画像の1つと、の間の類似度を算出し、この類似度に基づいて第1画像に写された設備の異常を判定しても良い。処理部30は、算出された類似度と、予め設定された閾値と、を比較する。類似度が閾値未満であるときに、処理部30は、新規の第1画像の被写体である設備に異常が有ると判定する。
または、処理部30は、複数の第1画像をそれぞれメッシュ処理し、対応するメッシュ同士の間の類似度をそれぞれ算出しても良い。処理部30は、第1画像をメッシュ処理する際に、被写体の動きの大きさに応じて、メッシュの大きさを変化させても良い。また、処理部30は、類似度に加えて、設備で発生する信号を異常の判定に用いても良い。
出力部40による出力内容は、処理部30における処理に応じて適宜変更できる。出力部40は、第1画像において、異常が生じている箇所を具体的に示しても良い。例えば、処理部30で第1画像がメッシュ処理された場合、第1画像において異常が生じている箇所(メッシュ)を特定できる。出力部40は、処理部30により特定された箇所を示す。これにより、設備のどこが品質監視システム1により異常と判定されたか、ユーザが容易に把握できる。
処理部30は、新規の第1画像に写された設備が異常と判定された場合に、品質と評価との相関を分析しても良い。異常と判定された場合に相関を分析することで、その異常が品質に与える影響を分析できる。処理部30による計算量も低減できる。
図8は、実施形態の変形例に係る品質監視システムの動作を表すフローチャートである。
撮像部10は、第1動作を繰り返す設備について、第1動作の第1タイミングにおける設備を撮影した第1画像を繰り返し取得する(ステップS11)。検査部20は、設備で処理されたワークの品質を検査する(ステップS12)。処理部30は、設備の動作に関する情報を取得する(ステップS13)。この情報は、例えば、設備から出力される信号である。処理部30は、新規の第1画像を、過去の複数の第1画像と比較し、機械学習を行う(ステップS14)。また、処理部30は、新規の第1画像と過去の複数の第1画像との比較結果、及び設備の動作に関する情報に基づき、設備の動作が正常か判定する(ステップS15)。
設備の動作が異常と判定されると、処理部30は、複数の第1画像に基づいて、第1画像に写された設備の複数の評価を決定する(ステップS16)。処理部30は、複数の品質と複数の評価が相関しているか分析する(ステップS17)。相関していない場合、ステップS11が再度行われる。又は、相関していない場合、処理部30は、設備に異常が生じていること、設備の異常と品質は相関していないこと、を出力しても良い。相関している場合、例えば、処理部30は、評価の変化から将来の品質の変化を予測する(ステップS18)。品質が低下すると予測される場合、処理部30は、その結果を出力する(ステップS19)。
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
1 品質監視システム、 10 撮像部、 20 検査部、 30 処理部、 40 出力部、 50 記憶部、 90 設備、 90a アーム、 90b ハンド、 91 ワーク、 A1 第1画像、 L 直線、 T1 第1タイミング

Claims (4)

  1. ワークを処理する第1動作が繰り返される設備について、前記第1動作の第1タイミングにおける前記設備を撮影した第1画像を繰り返し取得する撮像部と、
    処理後の前記ワークの品質を検査する検査部と、
    複数の前記第1画像に基づいて前記複数の第1画像のそれぞれに写された前記設備の評価を決定し、複数の前記評価と複数の前記品質との相関を分析する処理部と、
    を備え
    前記処理部は、
    2つの前記第1画像をそれぞれ複数のメッシュに分割し、対応するメッシュ同士の間で最も特徴量の差が大きい第1メッシュを抽出し、
    前記複数の第1画像の前記第1メッシュにおける特徴量を、それぞれ、前記複数の評価とし、
    前記複数の評価と、前記複数の品質と、の相関を分析する、
    品質監視システム。
  2. 前記処理部は、前記複数の第1画像の特徴量をそれぞれ前記複数の評価とし、前記複数の評価と前記複数の品質との相関を分析する請求項1記載の品質監視システム。
  3. 前記品質と前記評価との間に相関がある場合、前記処理部は、前記評価と、前記品質と、前記相関と、を示す情報を出力する請求項1または2に記載の品質監視システム。
  4. ワークを処理する第1動作が繰り返される設備について、前記第1動作の第1タイミングにおける前記設備を撮影した第1画像を繰り返し取得する撮像部と、
    処理後の前記ワークの品質を検査する検査部と、
    新規の前記第1画像が取得された際に、過去の複数の前記第1画像に基づき、前記新規の第1画像に写された前記設備の異常を判定し、
    前記新規の第1画像に写された前記設備に異常が有った場合に、前記新規の第1画像及び前記過去の複数の第1画像に基づき、それぞれの前記第1画像に写された前記設備の評価を決定し、複数の前記評価と複数の前記品質との相関を分析する処理部と、
    を備え
    前記処理部は、
    2つの前記第1画像をそれぞれ複数のメッシュに分割し、対応するメッシュ同士の間で最も特徴量の差が大きい第1メッシュを抽出し、
    前記複数の第1画像の前記第1メッシュにおける特徴量を、それぞれ、前記複数の評価とし、
    前記複数の評価と、前記複数の品質と、の相関を分析する、
    品質監視システム。
JP2018057425A 2018-03-26 2018-03-26 品質監視システム Active JP6715282B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018057425A JP6715282B2 (ja) 2018-03-26 2018-03-26 品質監視システム
DE112018007375.0T DE112018007375T5 (de) 2018-03-26 2018-09-25 Qualitätsüberwachungssystem
PCT/JP2018/035333 WO2019187228A1 (ja) 2018-03-26 2018-09-25 品質監視システム
US16/423,907 US10789705B2 (en) 2018-03-26 2019-05-28 Quality monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057425A JP6715282B2 (ja) 2018-03-26 2018-03-26 品質監視システム

Publications (2)

Publication Number Publication Date
JP2019169022A JP2019169022A (ja) 2019-10-03
JP6715282B2 true JP6715282B2 (ja) 2020-07-01

Family

ID=68060990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057425A Active JP6715282B2 (ja) 2018-03-26 2018-03-26 品質監視システム

Country Status (3)

Country Link
JP (1) JP6715282B2 (ja)
DE (1) DE112018007375T5 (ja)
WO (1) WO2019187228A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6786136B1 (ja) * 2020-04-17 2020-11-18 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
JP7493390B2 (ja) 2020-06-15 2024-05-31 株式会社日立ハイテク 監視システム
WO2022130640A1 (ja) * 2020-12-18 2022-06-23 三菱電機株式会社 学習装置、推論装置、診断システム、モデル生成方法及びプログラム
DE102022103875A1 (de) 2022-02-18 2023-08-24 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine
WO2024134339A1 (en) * 2022-12-23 2024-06-27 G.D S.P.A System for monitoring a manufacturing machine

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH046404A (ja) * 1990-04-25 1992-01-10 Seikosha Co Ltd 画像監視方法
JPH09200734A (ja) * 1996-01-12 1997-07-31 Fuji Photo Film Co Ltd 監視装置
JP2003044120A (ja) * 2001-08-02 2003-02-14 Sharp Corp 製品データ管理システム、そのシステムを動作させるためのプログラム、そのプログラムが記録された記録媒体および製品データ管理方法
JP6088679B1 (ja) * 2016-02-19 2017-03-01 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Also Published As

Publication number Publication date
WO2019187228A1 (ja) 2019-10-03
JP2019169022A (ja) 2019-10-03
DE112018007375T5 (de) 2020-12-24

Similar Documents

Publication Publication Date Title
JP6715282B2 (ja) 品質監視システム
JP6121425B2 (ja) ラスタ画像のエッジ検出によるベルト摩耗の測定
JP6805199B2 (ja) 設備監視システム
US11521312B2 (en) Image processing apparatus, image processing method, and storage medium
US10699400B2 (en) Image processing apparatus, image processing method, and storage medium
KR102108956B1 (ko) 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
JP5168215B2 (ja) 外観検査装置
JP2006293820A (ja) 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
CN109313442B (zh) 用于事件检测的自动视觉和声学分析
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
US20240046443A1 (en) Analysis apparatus, analysis system, analysis program, and analysis method
JP2023047003A (ja) 機械学習システム、学習データ収集方法及び学習データ収集プログラム
US10789705B2 (en) Quality monitoring system
US10922823B2 (en) Motion analyis device, motion analysis method, and program recording medium
JP2020042668A (ja) 検査装置及び機械学習方法
US11120541B2 (en) Determination device and determining method thereof
TWI793883B (zh) 用於線材皮膜的缺陷檢測方法及系統
KR102233109B1 (ko) 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법
WO2021070173A2 (en) Motion in images used in a visual inspection process
JP7464451B2 (ja) 骨格検出システム及び作業管理装置
JP7130170B1 (ja) 異常検知プログラム、異常検知装置及び異常検知方法
KR20240020507A (ko) 펄프몰드 제품의 불량 판정 및 그 방법
WO2023234079A1 (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
WO2023132131A1 (ja) 検査装置、検査方法およびプログラム
JP7327548B2 (ja) 点検支援装置、点検支援方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R151 Written notification of patent or utility model registration

Ref document number: 6715282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151