JP7294768B2 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP7294768B2
JP7294768B2 JP2017151291A JP2017151291A JP7294768B2 JP 7294768 B2 JP7294768 B2 JP 7294768B2 JP 2017151291 A JP2017151291 A JP 2017151291A JP 2017151291 A JP2017151291 A JP 2017151291A JP 7294768 B2 JP7294768 B2 JP 7294768B2
Authority
JP
Japan
Prior art keywords
neural network
cnn
image processing
processing system
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017151291A
Other languages
English (en)
Other versions
JP2019028960A (ja
Inventor
ジェウック ホワン
紫朗 藤枝
泰之 池田
和志 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017151291A priority Critical patent/JP7294768B2/ja
Priority to US15/893,682 priority patent/US10885620B2/en
Priority to DE102018103244.7A priority patent/DE102018103244B4/de
Priority to CN201810153471.4A priority patent/CN109387521B/zh
Publication of JP2019028960A publication Critical patent/JP2019028960A/ja
Application granted granted Critical
Publication of JP7294768B2 publication Critical patent/JP7294768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

この発明は、画像処理システムに関し、特に、ニューラルネットワークを用いた画像処理システムに関する。
ＦＡ（Factory Automation）分野では、画像計測処理を用いた自動制御が広く実用化されている。例えば、ワークなどの被検査対象を撮像し、その撮像された画像から欠陥などの特徴量を算出することで、当該ワークについての良否を検査するような検査工程が実現される。
このような画像計測処理の一例として、畳み込みニューラルネットワーク（以下、単に「ＣＮＮ」とも称す。）が注目されている。例えば、非特許文献１に示すように、ＣＮＮは、畳み込み層とプーリング層とが交互に配置された多層化された構造を有するネットワークである。
"ImageNet Classification with Deep Convolutional Neural Networks", A. Krizhevsky, I. Sutskever, and G. E. Hinton, In Advances in Neural Information Processing Systems, 2012
上述の非特許文献１に開示される手法のように、ＣＮＮを用いて画像解析などを実行する場合には、複数の学習画像を用いた学習によりＣＮＮを構築し、その構築されたＣＮＮが画像解析に用いられる。
一方、ＣＮＮを用いた画像処理装置は、計測対象が学習した対象物以外の場合、ＣＮＮネットワークモデルのパラメータが最適化されていない。この場合、当該画像処理装置は、学習のために演算性能が必要であり、低機能装置では行なえない。また、当該画像処理装置に演算量の多いネットワークモデルを構築すると、低機能装置では演算性能が不足する。この場合、当該画像処理装置は、一定の時間内に判定を終わらせることができず、リアルタイムで対象物を検査することができない。
この発明の目的は、低機能装置を現場に配置した場合にも判定の確度を高めることが可能な画像処理システムを提供することである。
本開示のある局面によれば、１または複数の第１の装置と、第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、第１の装置は、対象物の撮像画像に第１のニューラルネットワークを適用して対象物を識別する第１の判定結果を出力する手段と、第１の判定結果が所定条件に合致すれば、撮像画像を第２の装置に出力する手段とを含み、第２の装置は、第１のニューラルネットワークと少なくとも一部が共通のサンプルで事前学習された第２のニューラルネットワークを撮像画像に適用して、対象物を識別する第２の判定結果を出力する手段を含み、第１のニューラルネットワークおよび第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有する。
本開示の他の局面によれば、１または複数の第１の装置と、第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、第１の装置は、対象物の撮像画像に第１のニューラルネットワークを適用して対象物を識別する第１の判定結果を出力する手段と、第１の判定結果が所定条件に合致すれば、第１のニューラルネットワークの中間段階のデータ信号を第２の装置に出力する手段とを含み、第２の装置は、第１のニューラルネットワークと少なくとも一部が共通する第２のニューラルネットワークを用いて対象物を識別する第２の判定結果を出力する手段を含み、第１のニューラルネットワークおよび第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有し、第２の判定結果を出力する手段は、第１のニューラルネットワークの中間段階に対応する第２のニューラルネットワークの層からデータ信号を適用する。
好ましくは、第１の装置は、第２の判定結果を受けて、対象物をリアルタイムで判定する。
好ましくは、第１の装置は、第１の判定結果が所定の確度未満の撮像画像を第２の装置に出力する手段を含み、第２の装置は、所定の確度未満の撮像画像に基づいて、第２のニューラルネットワークを再学習する手段を含む。
好ましくは、再学習する手段は、オフライン時に第２のニューラルネットワークを再学習する。
好ましくは、第２の装置は、再学習された第２のニューラルネットワークのうち、第１のニューラルネットワークと共通する部分に基づいて、第１のニューラルネットワークのモデルを作成する手段と、第１のニューラルネットワークのモデルうち、第１のニューラルネットワークに特有の部分を再学習する手段とを含む。
好ましくは、対象物ごとに判定結果を管理する管理装置をさらに備え、第１の装置は、第１の判定結果を管理装置に出力する手段と、第１の判定結果が所定の確度未満の撮像画像を第２の装置に出力する手段とを含み、第２の装置は、第２の判定結果を管理装置に出力する手段を含み、管理装置は、対象物ごとに、第１の判定結果および第２の判定結果の少なくとも一方を対象物と関連付ける。
好ましくは、第１のニューラルネットワークおよび第２のニューラルネットワークは、畳み込みニューラルネットワークである。
この発明によれば、低機能装置を現場に配置した場合であっても判定の確度を高めることが可能となる。
この発明の実施の形態１による画像処理システム１００Ａを示した模式図である。 この発明の実施の形態１による低機能装置１０の構成の一例を示した機能ブロック図である。 この発明の実施の形態１による高機能装置２０の構成の一例を示した機能ブロック図である。 この発明の実施の形態２による画像処理システム１００Ｂを示した模式図である。 この発明の実施の形態３による画像処理システム１００Ｃの判断の流れの一例を示した模式図である。 図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの一例を示した模式図である。 図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの他の一例を示した模式図である。 この発明の実施の形態４による画像処理システム１００Ｄの判断の流れの一例を示した模式図である。 図８の判断の流れに対応する画像処理システム１００ＤのＣＮＮモデルの一例を示した模式図である。 この発明の実施の形態５による画像処理システム２００を示した模式図である。 この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示した模式図である。 この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示したフロー図である。 この発明の実施の形態５による画像処理システム２００のワークの識別度に対するデータの配分を示した図である。
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
以下では、ニューラルネットワークの一例として、畳み込みニューラルネットワーク（ＣＮＮ）を例に説明する。しかし、画像処理に用いられるネットワーク構造は、ＣＮＮ以外にも、たとえば、ディープビリーフネットワーク（ＤＢＮ）や、積層デノイジングオートエンコーダ（ＳＤＡ）が存在する。
本発明では、中間層があり、少なくとも一部が共通の部分を持つネットワーク構造を対象としている。具体的には、ＣＮＮだけでなく、中間層を持つニューラルネットワーク、またはディープニューラルネットワークも本願発明の対象に含まれる。
［実施の形態１］
図１は、この発明の実施の形態１による画像処理システム１００Ａを示した模式図である。
図１を参照して、画像処理システム１００Ａは、低機能装置１０と、高機能装置２０とを含む。低機能装置とは、たとえば、ＦＡ現場において入力および判定を行なうセンサコントローラを含む、演算能力が比較的低い装置を指す。高機能装置とは、たとえば、低機能装置より演算能力が高いＰＣ（Personal Computer）またはワークステーション、あるいはクラウドなどにつながっているサーバーを含む、演算能力が比較的高い装置を指す。低機能装置１０は、撮像装置１１を含む。高機能装置２０は、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
撮像装置１１は、判定時間Ｔｊの間隔で流れてくるワーク１，２，３，・・・，ｎ（以下、ワークｎとも総称する）を順次撮像する。低機能装置１０は、撮像装置１１の撮像結果に基づいて、画像信号ＧｒまたはＣＮＮの中間段階のデータ信号Ｄｉを生成し、これを高機能装置２０に送信する。画像信号Ｇｒは、ワークｎの識別度が所定値（たとえば５０％）未満であって識別が曖昧なグレー判定を示す場合がある。画像処理システム１００Ａは、当該識別度に応じてワークｎの傷の有無等を判断する。
高機能装置２０は、画像信号Ｇｒおよびデータ信号Ｄｉを受けて、高ＣＮＮ演算部２３において画像信号Ｇｒまたはデータ信号ＤｉのＣＮＮ演算を行なう。高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎの判定結果を示す判定信号Ｊｄを生成し、これを低機能装置１０に送信する。高機能装置２０は、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍを低機能装置１０に送信する。
図２は、この発明の実施の形態１による低機能装置１０の構成の一例を示した機能ブロック図である。
図２を参照して、低機能装置１０は、撮像装置１１と、カメラＩ／Ｆ（Interface）１２と、ストレージ１３と、ＣＰＵ（Central Processing Unit）１４と、ＲＡＭ（Random Access Memory）１５と、通信Ｉ／Ｆ１６とを含む。
撮像装置１１は、ワークｎを撮像して、その撮像結果をカメラＩ／Ｆ１２に送信する。カメラＩ／Ｆ１２は、撮像結果をストレージ１３、ＣＰＵ１４、ＲＡＭ１５および通信Ｉ／Ｆ１６に送信する。ストレージ１３は、撮像装置１１での撮像結果、ＣＰＵ１４で用いられる演算プログラム、ＣＰＵ１４での演算結果などを長期的に記憶する。ＣＰＵ１４は、撮像装置１１での撮像結果を低ＣＮＮによって演算する。ＲＡＭ１５は、ＣＰＵ１４での演算の途中結果などを短期的に記憶する。通信Ｉ／Ｆ１６は、ＣＰＵ１４で演算された画像信号またはＣＮＮの中間段階のデータ信号を高機能装置２０に出力するとともに、高機能装置２０からの信号を受ける。
図３は、この発明の実施の形態１による高機能装置２０の構成の一例を示した機能ブロック図である。
図３を参照して、高機能装置２０は、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３と、ＲＡＭ２４と、通信Ｉ／Ｆ２５とを含む。高ＣＮＮ演算部２３は、精密な判定ができるＣＮＮの学習済みのネットワークモデルを備える。
マルチコアプロセッサ２１は、通信Ｉ／Ｆ２５を介して低機能装置１０から送信される画像信号またはデータ信号のＣＮＮ演算等を行なう。ストレージ２２は、低機能装置１０から送信される画像信号およびデータ信号、マルチコアプロセッサ２１で用いられる演算プログラム、マルチコアプロセッサ２１での演算結果などを長期的に記憶する。
高ＣＮＮ演算部２３は、低機能装置１０から送信される画像信号またはデータ信号を高ＣＮＮで演算する。また、高ＣＮＮ演算部２３は、オフラインで、蓄積されたグレー判定の画像信号を用いて再学習を行なう。また、高ＣＮＮ演算部２３は、低機能装置１０側で構築されたモデルに対しても再学習を行ない、当該再学習されたモデルを低機能装置１０に送信してＣＮＮを更新する。
ＲＡＭ２４は、マルチコアプロセッサ２１での演算の途中結果などを短期的に記憶する。通信Ｉ／Ｆ２５は、ワークｎの判定結果を示す判定信号および再学習済みのモデルデータ信号を低機能装置１０に出力するとともに、低機能装置１０からの信号を受ける。
以上のように、実施の形態１によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。また、高機能装置が低機能装置からＣＮＮの中間段階のデータ信号を受けて識別し判定することにより、リアルタイムで検査を行なうことができる。
［実施の形態２］
図４は、この発明の実施の形態２による画像処理システム１００Ｂを示した模式図である。
図４を参照して、画像処理システム１００Ｂは、低機能装置１０Ｘ，１０Ｙと、高機能装置２０とを含む。低機能装置１０Ｘ，１０Ｙは、撮像装置１１Ｘ，１１Ｙをそれぞれ含む。高機能装置２０は、図１と同様に、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
撮像装置１１Ｘは、判定時間Ｔ１の間隔で流れてくるワーク１Ｘ，２Ｘ，３Ｘ，・・・，ｎＸ（以下、ワークｎＸとも総称する）を順次撮像する。低機能装置１０Ｘは、撮像装置１１Ｘの撮像結果に基づいて、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これらを高機能装置２０に送信する。
撮像装置１１Ｙは、判定時間Ｔ２の間隔で流れてくるワーク１Ｙ，２Ｙ，３Ｙ，・・・，ｎＹ（以下、ワークｎＹとも総称する）を順次撮像する。低機能装置１０Ｙは、撮像装置１１Ｙの撮像結果に基づいて、画像信号Ｇｒ２またはＣＮＮの中間段階のデータ信号Ｄｉ２を生成し、これを高機能装置２０に送信する。
高機能装置２０は、画像信号Ｇｒ１，Ｇｒ２またはデータ信号Ｄｉ１，Ｄｉ２を受けて、高ＣＮＮ演算部２３において画像信号Ｇｒ１，Ｇｒ２またはデータ信号Ｄｉ１，Ｄｉ２のＣＮＮ演算を行なう。高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎＸの判定結果を示す判定信号Ｊｄ１を生成し、これを低機能装置１０Ｘに送信する。また、高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎＹの判定結果を示す判定信号Ｊｄ２を生成し、これを低機能装置１０Ｙに送信する。高機能装置２０は、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１，Ｄｍ２を低機能装置１０Ｘ，１０Ｙにそれぞれ送信する。
以上のように、実施の形態２によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において複数の低機能装置の１つ以上で判定が難しいワークであっても高機能装置を介してワークの識別度を高めて判定することができる。
［実施の形態３］
図５は、この発明の実施の形態３による画像処理システム１００Ｃの判断の流れの一例を示した模式図である。
図５の画像処理システム１００Ｃは、低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎと、高機能装置ＨＦＤとを含む。低機能装置ＬＦＤ１は、撮像装置の撮像結果を判断して、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これを高機能装置２０に送信する。高機能装置ＨＦＤは、高ＣＮＮ演算部での演算結果を判断して、ワークの判定結果を示す判定信号Ｊｄ１を生成し、これを低機能装置ＬＦＤ１に送信する。高機能装置ＨＦＤは、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１を低機能装置ＬＦＤ１に送信する。
図６は、図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの一例を示した模式図である。
図６に示すように、低機能装置ＬＦＤ１は、畳み込み層１０Ｃを含むＣＮＮ１０Ｍのネットワークモデルを有する。ＣＮＮは、畳み込み層（Convolution Layer）と全結合層（Fully Connected Layer）とを含む。この例では、低機能装置ＬＦＤ１から高機能装置ＨＦＤへの画像信号Ｇｒ１として画像信号が送られており、これを受けて高機能装置ＨＦＤが低機能装置ＬＦＤ１の判断を支援している。高機能装置ＨＦＤは、畳み込み層１０Ｃを含むＣＮＮ２０Ｍのネットワークモデルを有する。
図７は、図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの他の一例を示した模式図である。
図７に示すように、低機能装置ＬＦＤ１は、畳み込み層１０Ｃ１，１０Ｃ２を含むＣＮＮ１０Ｍのネットワークモデルを有する。この例では、低機能装置ＬＦＤ１から高機能装置ＨＦＤへＣＮＮの中間段階のデータ信号Ｄｉ１が送られており、これを受けて高機能装置ＨＦＤが低機能装置ＬＦＤ１の判断を一部支援している。低機能装置ＬＦＤ１は、ＣＮＮの中間段階のデータ信号Ｄｉ１を送った結果、畳み込み層１０Ｃ１を含むＣＮＮ１０ＸＭのネットワークモデルとなる。高機能装置ＨＦＤは、データ信号Ｄｉ１を受けた結果、畳み込み層１０Ｃ２を含むＣＮＮ２０ＸＭのネットワークモデルとなる。
以上のように、実施の形態３によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において、低機能装置から画像信号が送られた場合には、低機能装置の判断を支援する。また、低機能装置からＣＮＮの中間段階のデータ信号が送られた場合には、低機能装置の判断を一部支援する。これにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。
［実施の形態４］
図８は、この発明の実施の形態４による画像処理システム１００Ｄの判断の流れの一例を示した模式図である。
図８の画像処理システム１００Ｄは、低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎと、高機能装置ＨＦＤとを含む。低機能装置ＬＦＤ１は、撮像装置の撮像結果を判断して、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これを高機能装置２０に送信する。高機能装置ＨＦＤは、高ＣＮＮ演算部での演算結果を判断して、ワークの判定結果を示す判定信号Ｊｄ１０を生成し、これを低機能装置ＬＦＤ１に送信する。高機能装置ＨＦＤは、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１０を低機能装置ＬＦＤ１に送信する。
続いて、低機能装置ＬＦＤ２は、撮像装置の撮像結果を判断して、画像信号Ｇｒ２またはＣＮＮの中間段階のデータ信号Ｄｉ２を生成し、これを高機能装置２０に送信する。同様に、低機能装置ＬＦＤｎは、撮像装置の撮像結果を判断して、画像信号ＧｒｎまたはＣＮＮの中間段階のデータ信号Ｄｉｎを生成し、これを高機能装置２０に送信する（ｎ＝１～ｎ）。
高機能装置ＨＦＤは、低機能装置ＬＦＤｎからの画像信号ＧｒｎまたはＣＮＮの中間段階のデータ信号Ｄｉｎを受けて、ＣＮＮモデルを再学習する。高機能装置ＨＦＤは、再学習の結果をふまえて、ワークの判定結果を示す判定信号Ｊｄｎおよび再学習済みのモデルデータ信号Ｄｍｎを生成し、これらを低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎにそれぞれ送信する。
図９は、図８の判断の流れに対応する画像処理システム１００ＤのＣＮＮモデルの一例を示した模式図である。
図９に示すように、高機能装置ＨＦＤは、畳み込み層２０Ｃを含むＣＮＮ２０Ｍのネットワークモデルを有する。この例では、高機能装置ＨＦＤから低機能装置ＬＦＤ１，ＬＦＤ２へ、ワークの判定結果を示す判定信号および再学習済みのモデルデータ信号がそれぞれ送られている。低機能装置ＬＦＤ１，ＬＦＤ２は、再学習結果を受けて、ＣＮＮモデルのうち全結合層の部分を改変する。その結果、低機能装置ＬＦＤ１は、畳み込み層２０Ｃおよび全結合層１０Ｘｅを含むＣＮＮ１０ＸＭのネットワークモデルを有する。低機能装置ＬＦＤ２は、畳み込み層２０Ｃおよび全結合層１０Ｙｅを含むＣＮＮ１０ＹＭのネットワークモデルを有する。
上記のように、再学習では、まず、高機能装置ＨＦＤが、低機能装置ＬＦＤ１，ＬＦＤ２から画像信号またはＣＮＮの中間段階のデータ信号を受けて、ＣＮＮモデルの全体を再学習する。高機能装置ＨＦＤは、学習済みの高機能装置側のＣＮＮモデルの一部分を移植した低機能装置用のＣＮＮモデルを作成し、それを再学習する。低機能装置ＬＦＤ１，ＬＦＤ２は、高機能装置ＨＦＤから当該低機能装置用の再学習済みＣＮＮモデルをそれぞれ受ける。
以上のように、実施の形態４によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置き、低機能装置側ではそのネットワークの一部分を使用して新たなＣＮＮモデルを構築することにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。
［実施の形態５］
図１０は、この発明の実施の形態５による画像処理システム２００を示した模式図である。
図１０を参照して、画像処理システム２００は、低機能装置１０と、高機能装置２０と、品質管理装置３０と、ケーブル５０とを含む。低機能装置１０は、図１と同様に、撮像装置１１を含む。高機能装置２０は、図１と同様に、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
撮像装置１１は、流れてくるワーク１，２，３，・・・，ｎ（以下、ワークｎとも総称する）を順次撮像する。低機能装置１０は、撮像装置１１の撮像結果に基づいて、比較的識別度の高い画像信号Ｇｒ１、またはデータ信号Ｄｉ１を生成し、これをケーブル５０を介して品質管理装置３０に送信する。また、低機能装置１０は、撮像装置１１の撮像結果に基づいて、比較的識別度の低い画像信号Ｇｒ２、またはデータ信号Ｄｉ２を生成し、これをケーブル５０を介して高機能装置２０に送信する。高機能装置２０は、画像信号Ｇｒ２およびデータ信号Ｄｉ２を高ＣＮＮ演算部２３でさらに演算した判定信号Ｋｄおよびモデルデータ信号Ｅｍを品質管理装置３０に送信する。
図１１は、この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示した模式図である。
図１１の画像処理システム２００は、低機能装置ＬＦＤと、高機能装置ＨＦＤと、品質管理装置ＱＭＤとを含む。低機能装置ＬＦＤは、撮像装置の撮像結果を判断して、比較的識別度の高い画像信号Ｇｒ１、またはデータ信号Ｄｉ１を生成し、これを品質管理装置ＱＭＤに送信する。また、低機能装置ＬＦＤは、撮像装置の撮像結果に基づいて、比較的識別度の低い画像信号Ｇｒ２、またはデータ信号Ｄｉ２を生成し、これを高機能装置ＨＦＤに送信する。高機能装置ＨＦＤは、画像信号Ｇｒ２またはデータ信号Ｄｉ２を高ＣＮＮ演算部でさらに演算した判定画像および判定結果を含む判定信号Ｋｄならびに再学習時にはモデルデータ信号Ｅｍを品質管理装置ＱＭＤに送信する。
図１２は、この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示したフロー図である。
図１２を参照して、まず、ステップＳ１において、低機能装置１０で対象物たるワークｎを識別する。ワークｎの識別度が一定のしきい値（たとえば５０％）以上であれば、ステップＳ２において、ワークの番号、判定画像および判定結果を品質管理装置３０に送る。一方、ワークｎの識別度が一定のしきい値未満であれば、ステップＳ３において、ワークの番号および判定画像を高機能装置２０に送る。
ステップＳ４では、高機能装置２０で、低機能装置１０からの判定画像に基づいてワークを再度判定する。ステップＳ５では、ワークの番号、判定画像および判定結果を高機能装置２０から品質管理装置３０に送る。ステップＳ６では、ワークの残りがゼロかどうかを判定する。ワークの残りがゼロでなければ、ステップＳ１に戻る。ワークの残りがゼロであれば、検査を終了する。
図１３は、この発明の実施の形態５による画像処理システム２００のワークの識別度に対するデータの配分を示した図である。
図１３に示すように、ワーク１は、低機能装置ＬＦＤでの識別度が７０％であるため、低機能装置ＬＦＤから品質管理装置ＱＭＤにのみワークの番号、判定画像およびＯＫの判定結果が送られ、高機能装置ＨＦＤには送られない。一方、ワーク２は、低機能装置ＬＦＤでの識別度が４５％であるため、ワークの番号、判定画像およびＮＧの判定結果が、低機能装置ＬＦＤから高機能装置ＨＦＤに送られる。高機能装置ＨＦＤでは、判定画像を高ＣＮＮ演算部でさらに演算し、識別度が８０％に高められたＯＫの判定結果が、高機能装置ＨＦＤから品質管理装置ＱＭＤに送られる。品質管理装置ＱＭＤは、ワークの番号ごとに、ワークの判定情報等をワークと関連付ける。
以上のように、実施の形態５によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置き、さらに対象物を管理する品質管理装置を置くことにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して効率的に判定および管理することができる。
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１０，１０Ｘ，１０Ｙ，ＬＦＤ，ＬＦＤ１，ＬＦＤ２，ＬＦＤｎ 低機能装置、１０Ｃ，１０Ｃ１，１０Ｃ２，２０Ｃ 畳み込み層、１０Ｘｅ，１０Ｙｅ 全結合層、１１，１１Ｘ，１１Ｙ 撮像装置、１２ カメラＩ／Ｆ、１３，２２ ストレージ、１４ ＣＰＵ、１５，２４ ＲＡＭ、１６，２５ 通信Ｉ／Ｆ、２０，ＨＦＤ 高機能装置、２１ マルチコアプロセッサ、２３ 高ＣＮＮ演算部、３０，ＱＭＤ 品質管理装置、５０ ケーブル、１００Ａ，１００Ｂ，２００ 画像処理システム。

Claims (7)

  1. １または複数の第１の装置と、前記第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、
    前記第１の装置は、
    前記対象物の撮像画像に第１のニューラルネットワークを適用して前記対象物を識別する第１の判定結果を出力する手段と、
    前記第１のニューラルネットワークの中間段階のデータ信号を前記第２の装置に出力する手段とを含み、
    前記第１のニューラルネットワークは、第１の畳み込み層と、第２の畳み込み層とを有し、
    前記データ信号は、前記第１の畳み込み層の出力信号であり、
    前記第２の装置は、前記第２の畳み込み層を有する第２のニューラルネットワークを用いて前記対象物を識別する第２の判定結果を出力する手段を含み、
    前記第２の判定結果を出力する手段は、前記データ信号を前記第２の畳み込み層に入力する、画像処理システム。
  2. 前記第１の装置は、前記第２の判定結果を受けて、前記対象物をリアルタイムで判定する、請求項１に記載の画像処理システム。
  3. 前記第１の装置は、前記第１の判定結果が所定の確度未満の前記撮像画像を前記第２の装置に出力する手段を含み、
    前記第２の装置は、前記所定の確度未満の前記撮像画像に基づいて、前記第２のニューラルネットワークを再学習する手段を含む、請求項１に記載の画像処理システム。
  4. 前記再学習する手段は、オフライン時に前記第２のニューラルネットワークを再学習する、請求項３に記載の画像処理システム。
  5. 前記第２の装置は、
    前記再学習された前記第２のニューラルネットワークのうち、前記第１のニューラルネットワークと共通する部分に基づいて、前記第１のニューラルネットワークのモデルを作成する手段と、
    前記第１のニューラルネットワークのモデルうち、前記第１のニューラルネットワークに特有の部分を再学習する手段とを含む、請求項３に記載の画像処理システム。
  6. 前記対象物ごとに判定結果を管理する管理装置をさらに備え、
    前記第１の装置は、
    前記第１の判定結果を前記管理装置に出力する手段と、
    前記第１の判定結果が所定の確度未満の前記撮像画像を前記第２の装置に出力する手段とを含み、
    前記第２の装置は、前記第２の判定結果を前記管理装置に出力する手段を含み、
    前記管理装置は、前記対象物ごとに、前記第１の判定結果および前記第２の判定結果の少なくとも一方を前記対象物と関連付ける、請求項１～５のいずれか１項に記載の画像処理システム。
  7. 前記第１のニューラルネットワークおよび前記第２のニューラルネットワークは、畳み込みニューラルネットワークである、請求項１～６のいずれか１項に記載の画像処理システム。
JP2017151291A 2017-08-04 2017-08-04 画像処理システム Active JP7294768B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017151291A JP7294768B2 (ja) 2017-08-04 2017-08-04 画像処理システム
US15/893,682 US10885620B2 (en) 2017-08-04 2018-02-11 Neural network image processing system
DE102018103244.7A DE102018103244B4 (de) 2017-08-04 2018-02-14 Bildverarbeitugssystem
CN201810153471.4A CN109387521B (zh) 2017-08-04 2018-02-22 图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017151291A JP7294768B2 (ja) 2017-08-04 2017-08-04 画像処理システム

Publications (2)

Publication Number Publication Date
JP2019028960A JP2019028960A (ja) 2019-02-21
JP7294768B2 true JP7294768B2 (ja) 2023-06-20

Family

ID=65019955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017151291A Active JP7294768B2 (ja) 2017-08-04 2017-08-04 画像処理システム

Country Status (4)

Country Link
US (1) US10885620B2 (ja)
JP (1) JP7294768B2 (ja)
CN (1) CN109387521B (ja)
DE (1) DE102018103244B4 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053886A (ko) 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
JP7118364B2 (ja) * 2019-03-18 2022-08-16 オムロン株式会社 画像検査装置
JP7118365B2 (ja) * 2019-03-20 2022-08-16 オムロン株式会社 画像検査装置
KR20190087351A (ko) * 2019-07-05 2019-07-24 엘지전자 주식회사 머신 러닝 시스템, 방법 및 장치
DE102019209976A1 (de) * 2019-07-08 2021-01-14 Krones Ag Verfahren und Vorrichtung zur Inspektion von Behältern in einem Behältermassenstrom
JP7016179B2 (ja) * 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム
DE102021002363B3 (de) 2021-05-04 2022-09-08 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Gerät für eine lageunabhängige optische Oberflächeninspektion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164026A (ja) 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
WO2013157265A1 (ja) 2012-04-18 2013-10-24 パナソニック株式会社 画像処理システム、サーバ装置、撮像装置及び画像判定方法
JP2016191973A (ja) 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155803A (ja) * 1998-11-20 2000-06-06 Nec Corp 文字読取方法および光学式文字読取装置
JP2007166374A (ja) 2005-12-15 2007-06-28 Omron Corp 画像処理装置
JP4735255B2 (ja) 2005-12-29 2011-07-27 オムロン株式会社 画像処理装置および画像処理装置の動作条件設定方法
JP5184824B2 (ja) 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
JP5889727B2 (ja) * 2012-06-18 2016-03-22 新電元工業株式会社 電子機器の捺印シンボル検査装置、及びその方法
JP5376024B1 (ja) 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
CN103411974B (zh) 2013-07-10 2017-02-08 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
JP2017068627A (ja) * 2015-09-30 2017-04-06 株式会社東芝 画像処理端末及び画像処理サーバ
US9275347B1 (en) 2015-10-09 2016-03-01 AlpacaDB, Inc. Online content classifier which updates a classification score based on a count of labeled data classified by machine deep learning
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN106228177A (zh) 2016-06-30 2016-12-14 浙江大学 基于卷积神经网络的日常生活物体图像识别方法
CN106203333A (zh) 2016-07-08 2016-12-07 乐视控股（北京）有限公司 人脸识别方法及系统
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
CN106875373B (zh) 2016-12-14 2019-12-20 惠州旭鑫智能技术有限公司 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106940562B (zh) 2017-03-09 2023-04-28 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164026A (ja) 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
WO2013157265A1 (ja) 2012-04-18 2013-10-24 パナソニック株式会社 画像処理システム、サーバ装置、撮像装置及び画像判定方法
JP2016191973A (ja) 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
久保田展行，"深層学習の活用を加速するＩｏＴ向けソフトウエア基盤"，日経エレクトロニクス，第１１７９号，日経ＢＰ社，２０１７年４月２０日，ｐ．５９－６９

Also Published As

Publication number Publication date
JP2019028960A (ja) 2019-02-21
DE102018103244B4 (de) 2023-02-23
CN109387521A (zh) 2019-02-26
DE102018103244A1 (de) 2019-02-07
US10885620B2 (en) 2021-01-05
CN109387521B (zh) 2022-10-11
US20190043185A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP7294768B2 (ja) 画像処理システム
US20230321837A1 (en) Machine learning device, robot system, and machine learning method for learning object picking operation
US20180307198A1 (en) Machined surface quality evaluation device
US20180307203A1 (en) Machining defect factor estimation device
Wang et al. On line tool wear monitoring based on auto associative neural network
CN112884768B (zh) 基于神经网络的3d打印在线质量监测方法、系统、装置
JP2017199074A (ja) 製品の異常に関連する変数の判定値を設定する生産システム
CN114037673B (zh) 一种基于机器视觉的硬件衔接接口监测方法及系统
JP7164028B2 (ja) 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム
US11521120B2 (en) Inspection apparatus and machine learning method
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN111832432A (zh) 一种基于小波包分解和深度学习的刀具磨损实时预测方法
CN107977662A (zh) 一种实现高速处理计算机视觉图像的分层计算方法
JP7267841B2 (ja) システムの制御方法、及びシステム
CN108537791B (zh) 一种基于机器视觉的冲压件冲孔在线检测方法
Katam et al. A review on technological advancements in the field of data driven structural health monitoring
NO20230513A1 (en) Autonomous fluid management using fluid digital twins
EL Ghadoui et al. Intelligent surface roughness measurement using deep learning and computer vision: a promising approach for manufacturing quality control
Wang et al. Deep learning based multi-source heterogeneous information fusion framework for online monitoring of surface quality in milling process
CN111798518A (zh) 机械臂姿态检测方法、装置和设备及计算机存储介质
Lee et al. Development of edge-based deep learning prediction model for defect prediction in manufacturing process
Kushwaha et al. Analysis of CNN Model with Traditional Approach and Cloud AI based Approach
CN114202095A (zh) 关于经由制造过程制造的产品进行预测的系统和方法
Shanthi et al. Machine Learning Architecture in Soft Sensor for Manufacturing Control and Monitoring System Based on Data Classification
Ibrahim et al. Predictive maintenance of high-velocity oxy-fuel machine using convolution neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210630

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210720

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211013

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220927

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7294768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150